Consumer Group：消费者组，消费者组内每个消费者负责消费不同分区的数据，提高消费能力。逻 辑上的一个订阅者。 Topic：可以理解为一个队列，Topic 将消息分类，生产者和消费者面向的是同一个 ...

消息发送 ack=0，不重试 producer发送消息完，不管结果了，如果发送失败也就丢失了。 **ack=1，leader crash ** producer发送消息完，只等待lead写入成功就返回了，leader crash了，这时followe...

pull模式： 根据consumer的消费能力进行数据拉取，可以控制速率 可以批量拉取、也可以单条拉取 可以设置不同的提交方式，实现不同的传输语 缺点：如果kafka没有数据，会导致consumer空循环，消...

/brokers/ids：临时节点，保存所有broker节点信息，存储broker的物理地址、版本信息、启动时间 等，节点名称为brokerID，broker定时发送心跳到zk，如果断开则该brokerID会被删除 /brokers/topic...

consumer group中的消费者与topic下的partion重新匹配的过程 何时会产生rebalance： consumer group中的成员个数发生变化 consumer消费超时 group订阅的topic个数发生变化 group订阅的topic的分...

Kafka不基于内存，而是硬盘存储，因此消息堆积能力更强 顺序写：利用磁盘的顺序访问速度可以接近内存，kafka的消息都是append操作，partition是有序的， 节省了磁盘的寻道时间，同时通过批量操...

Azkaban处理工作流的方式涉及创建、定义、调度和执行工作流。 以下是Azkaban处理工作流的基本步骤： 1、创建工作流项目： 用户首先需要在Azkaban中创建一个工作流项目。工作流项目是一个逻辑容...