安装 Miniconda 在 Linux 服务器中安装 Miniconda 的步骤如下。本次使用的是 Ubuntu 20.04 系统。 切换到主目录（个人需要）。 cd /home/ubuntu 安装 Anaconda 或者 Miniconda。 # Anaconda wge...

Azkaban处理工作流的方式涉及创建、定义、调度和执行工作流。 以下是Azkaban处理工作流的基本步骤： 1、创建工作流项目： 用户首先需要在Azkaban中创建一个工作流项目。工作流项目是一个逻辑容...

Kafka不基于内存，而是硬盘存储，因此消息堆积能力更强 顺序写：利用磁盘的顺序访问速度可以接近内存，kafka的消息都是append操作，partition是有序的， 节省了磁盘的寻道时间，同时通过批量操...

consumer group中的消费者与topic下的partion重新匹配的过程 何时会产生rebalance： consumer group中的成员个数发生变化 consumer消费超时 group订阅的topic个数发生变化 group订阅的topic的分...

/brokers/ids：临时节点，保存所有broker节点信息，存储broker的物理地址、版本信息、启动时间 等，节点名称为brokerID，broker定时发送心跳到zk，如果断开则该brokerID会被删除 /brokers/topic...

pull模式： 根据consumer的消费能力进行数据拉取，可以控制速率 可以批量拉取、也可以单条拉取 可以设置不同的提交方式，实现不同的传输语 缺点：如果kafka没有数据，会导致consumer空循环，消...

消息发送 ack=0，不重试 producer发送消息完，不管结果了，如果发送失败也就丢失了。 **ack=1，leader crash ** producer发送消息完，只等待lead写入成功就返回了，leader crash了，这时followe...