pull模式： 根据consumer的消费能力进行数据拉取，可以控制速率 可以批量拉取、也可以单条拉取 可以设置不同的提交方式，实现不同的传输语 缺点：如果kafka没有数据，会导致consumer空循环，消...

/brokers/ids：临时节点，保存所有broker节点信息，存储broker的物理地址、版本信息、启动时间 等，节点名称为brokerID，broker定时发送心跳到zk，如果断开则该brokerID会被删除 /brokers/topic...

consumer group中的消费者与topic下的partion重新匹配的过程 何时会产生rebalance： consumer group中的成员个数发生变化 consumer消费超时 group订阅的topic个数发生变化 group订阅的topic的分...

Kafka不基于内存，而是硬盘存储，因此消息堆积能力更强 顺序写：利用磁盘的顺序访问速度可以接近内存，kafka的消息都是append操作，partition是有序的， 节省了磁盘的寻道时间，同时通过批量操...

Azkaban处理工作流的方式涉及创建、定义、调度和执行工作流。 以下是Azkaban处理工作流的基本步骤： 1、创建工作流项目： 用户首先需要在Azkaban中创建一个工作流项目。工作流项目是一个逻辑容...

安装 Miniconda 在 Linux 服务器中安装 Miniconda 的步骤如下。本次使用的是 Ubuntu 20.04 系统。 切换到主目录（个人需要）。 cd /home/ubuntu 安装 Anaconda 或者 Miniconda。 # Anaconda wge...

要查找目录或者文件，可以使用ls、find和locate命令； 要查找指定的源文件、二进制文件和manual文件等，可以使用whereis命令； 要查询命令或者别名的位置，可以使用which命令。 1. ls命令 ls（l...