Kafka权威指南（第2版）
薛命灯 译
出版时间：2022年10月
页数：483
“这本书为如何在云端或本地用好Kafka提供了所需的一切。如果你正在使用Kafka，那么这本书正是你所需要的。”
——Chris Riccomini
软件工程师、初创公司导师、The Missing README合著者
本书第1版出版时，有超过30%的《财富》世界500强公司使用Kafka。5年后，这个比例已经达到70%。毋庸置疑，作为大数据时代的核心技术，Kafka已然成为所有动态数据平台的事实基础。本书为使用Kafka的软件工程师、架构师和运维工程师勾勒出一条完整的学习曲线，并强调原理剖析和应用实践。
来自Confluent和LinkedIn的一线Kafka开发人员将为你解释如何部署生产级Kafka集群、编写可靠的事件驱动微服务，以及使用Kafka构建可伸缩的流处理应用程序。通过详细的示例，你将了解Kafka的设计原则、可靠性保证，以及架构细节，包括复制协议、控制器和存储层。
● 部署和配置Kafka的良好实践
● Kafka生产者和消费者如何读写消息
● 确保可靠传递数据的模式和用例要求
● 用Kafka构建数据管道和应用程序
● 用Kafka在生产环境中执行监控、调优和维护任务
● Kafka的关键运维指标
● Kafka针对流处理系统的交付能力
——Chris Riccomini
软件工程师、初创公司导师、The Missing README合著者
本书第1版出版时，有超过30%的《财富》世界500强公司使用Kafka。5年后，这个比例已经达到70%。毋庸置疑，作为大数据时代的核心技术，Kafka已然成为所有动态数据平台的事实基础。本书为使用Kafka的软件工程师、架构师和运维工程师勾勒出一条完整的学习曲线，并强调原理剖析和应用实践。
来自Confluent和LinkedIn的一线Kafka开发人员将为你解释如何部署生产级Kafka集群、编写可靠的事件驱动微服务，以及使用Kafka构建可伸缩的流处理应用程序。通过详细的示例，你将了解Kafka的设计原则、可靠性保证，以及架构细节，包括复制协议、控制器和存储层。
● 部署和配置Kafka的良好实践
● Kafka生产者和消费者如何读写消息
● 确保可靠传递数据的模式和用例要求
● 用Kafka构建数据管道和应用程序
● 用Kafka在生产环境中执行监控、调优和维护任务
● Kafka的关键运维指标
● Kafka针对流处理系统的交付能力
- 本书赞誉
- 第2版序
- 第1版序
- 前言
- 第1章 初识Kafka
- 1.1 发布与订阅消息系统
- 1.1.1 如何开始
- 1.1.2 独立的队列系统
- 1.2 Kafka登场
- 1.2.1 消息和批次
- 1.2.2 模式
- 1.2.3 主题和分区
- 1.2.4 生产者和消费者
- 1.2.5 broker和集群
- 1.2.6 多集群
- 1.3 为什么选择Kafka
- 1.3.1 多个生产者
- 1.3.2 多个消费者
- 1.3.3 基于磁盘的数据保留
- 1.3.4 伸缩性
- 1.3.5 高性能
- 1.3.6 平台特性
- 1.4 数据生态系统
- 1.5 起源故事
- 1.5.1 LinkedIn的问题
- 1.5.2 Kafka的诞生
- 1.5.3 走向开源
- 1.5.4 商业化
- 1.5.5 命名
- 1.6 开始Kafka之旅
- 第2章 安装Kafka
- 2.1 环境配置
- 2.1.1 选择操作系统
- 2.1.2 安装Java
- 2.1.3 安装ZooKeeper
- 2.2 安装broker
- 2.3 配置broker
- 2.3.1 常规配置参数
- 2.3.2 主题的默认配置
- 2.4 选择硬件
- 2.4.1 磁盘吞吐量
- 2.4.2 磁盘容量
- 2.4.3 内存
- 2.4.4 网络
- 2.4.5 CPU
- 2.5 云端的Kafka
- 2.5.1 微软Azure
- 2.5.2 AWS
- 2.6 配置Kafka集群
- 2.6.1 需要多少个broker
- 2.6.2 broker配置
- 2.6.3 操作系统调优
- 2.7 生产环境的注意事项
- 2.7.1 垃圾回收器选项
- 2.7.2 数据中心布局
- 2.7.3 共享ZooKeeper
- 2.8 小结
- 第3章 Kafka生产者——向Kafka写入数据
- 3.1 生产者概览
- 3.2 创建Kafka生产者
- 3.3 发送消息到Kafka
- 3.3.1 同步发送消息
- 3.3.2 异步发送消息
- 3.4 生产者配置
- 3.4.1 client.id
- 3.4.2 acks
- 3.4.3 消息传递时间
- 3.4.4 linger.ms
- 3.4.5 buffer.memory
- 3.4.6 compression.type
- 3.4.7 batch.size
- 3.4.8 max.in.flight.requests.per.connection
- 3.4.9 max.request.size
- 3.4.10 receive.buffer.bytes 和send.buffer.bytes
- 3.4.11 enable.idempotence
- 3.5 序列化器
- 3.5.1 自定义序列化器
- 3.5.2 使用Avro序列化数据
- 3.5.3 在Kafka中使用Avro记录
- 3.6 分区
- 3.7 标头
- 3.8 拦截器
- 3.9 配额和节流
- 3.10 小结
- 第4章 Kafka消费者——从Kafka读取数据
- 4.1 Kafka消费者相关概念
- 4.1.1 消费者和消费者群组
- 4.1.2 消费者群组和分区再均衡
- 4.1.3 群组固定成员
- 4.2 创建Kafka消费者
- 4.3 订阅主题
- 4.4 轮询
- 4.5 配置消费者
- 4.5.1 fetch.min.bytes
- 4.5.2 fetch.max.wait.ms
- 4.5.3 fetch.max.bytes
- 4.5.4 max.poll.records
- 4.5.5 max.partition.fetch.bytes
- 4.5.6 session.timeout.ms 和heartbeat.interval.ms
- 4.5.7 max.poll.interval.ms
- 4.5.8 default.api.timeout.ms
- 4.5.9 request.timeout.ms
- 4.5.10 auto.offset.reset
- 4.5.11 enable.auto.commit
- 4.5.12 partition.assignment.strategy
- 4.5.13 client.id
- 4.5.14 client.rack
- 4.5.15 group.instance.id
- 4.5.16 receive.buffer.bytes 和send.buffer.bytes
- 4.5.17 offsets.retention.minutes
- 4.6 提交和偏移量
- 4.6.1 自动提交
- 4.6.2 提交当前偏移量
- 4.6.3 异步提交
- 4.6.4 同步和异步组合提交
- 4.6.5 提交特定的偏移量
- 4.7 再均衡监听器
- 4.8 从特定偏移量位置读取记录
- 4.9 如何退出
- 4.10 反序列化器
- 4.10.1 自定义反序列化器
- 4.10.2 在消费者里使用Avro反序列器
- 4.11 独立的消费者：为什么以及怎样使用不属于任何群组的消费者
- 4.12 小结
- 第5章 编程式管理Kafka
- 5.1 AdminClient概览
- 5.1.1 异步和最终一致性API
- 5.1.2 配置参数
- 5.1.3 扁平的结构
- 5.1.4 额外的话
- 5.2 AdminClient生命周期：创建、配置和关闭
- 5.2.1 client.dns.lookup
- 5.2.2 request.timeout.ms
- 5.3 基本的主题管理操作
- 5.4 配置管理
- 5.5 消费者群组管理
- 5.5.1 查看消费者群组
- 5.5.2 修改消费者群组
- 5.6 集群元数据
- 5.7 高级的管理操作
- 5.7.1 为主题添加分区
- 5.7.2 从主题中删除消息
- 5.7.3 首领选举
- 5.7.4 重新分配副本
- 5.8 测试
- 5.9 小结
- 第6章 深入Kafka
- 6.1 集群的成员关系
- 6.2 控制器
- 6.3 复制
- 6.4 处理请求
- 6.4.1 生产请求
- 6.4.2 获取请求
- 6.4.3 其他请求
- 6.5 物理存储
- 6.5.1 分层存储
- 6.5.2 分区的分配
- 6.5.3 文件管理
- 6.5.4 文件格式
- 6.5.5 索引
- 6.5.6 压实
- 6.5.7 压实的工作原理
- 6.5.8 被删除的事件
- 6.5.9 何时会压实主题
- 6.6 小结
- 第7章 可靠的数据传递
- 7.1 可靠性保证
- 7.2 复制
- 7.3 broker配置
- 7.3.1 复制系数
- 7.3.2 不彻底的首领选举
- 7.3.3 最少同步副本
- 7.3.4 保持副本同步
- 7.3.5 持久化到磁盘
- 7.4 在可靠的系统中使用生产者
- 7.4.1 发送确认
- 7.4.2 配置生产者的重试参数
- 7.4.3 额外的错误处理
- 7.5 在可靠的系统中使用消费者
- 7.5.1 消费者的可靠性配置
- 7.5.2 手动提交偏移量
- 7.6 验证系统可靠性
- 7.6.1 验证配置
- 7.6.2 验证应用程序
- 7.6.3 在生产环境中监控可靠性
- 7.7 小结
- 第8章 精确一次性语义
- 8.1 幂等生产者
- 8.1.1 幂等生产者的工作原理
- 8.1.2 幂等生产者的局限性
- 8.1.3 如何使用幂等生产者
- 8.2 事务
- 8.2.1 事务的应用场景
- 8.2.2 事务可以解决哪些问题
- 8.2.3 事务是如何保证精确一次性的
- 8.2.4 事务不能解决哪些问题
- 8.2.5 如何使用事务
- 8.2.6 事务ID和隔离
- 8.2.7 事务的工作原理
- 8.3 事务的性能
- 8.4 小结
- 第9章 构建数据管道
- 9.1 构建数据管道时需要考虑的问题
- 9.1.1 及时性
- 9.1.2 可靠性
- 9.1.3 高吞吐量和动态吞吐量
- 9.1.4 数据格式
- 9.1.5 转换
- 9.1.6 安全性
- 9.1.7 故障处理
- 9.1.8 耦合性和灵活性
- 9.2 何时使用Connect API或客户端API
- 9.3 Kafka Connect
- 9.3.1 运行Connect
- 9.3.2 连接器示例：文件数据源和文件数据池
- 9.3.3 连接器示例：从MySQL到ElasticSearch
- 9.3.4 单个消息转换
- 9.3.5 深入理解Connect
- 9.4 Connect之外的选择
- 9.4.1 其他数据存储系统的数据摄入框架
- 9.4.2 基于图形界面的ETL工具
- 9.4.3 流式处理框架
- 9.5 小结
- 第10章 跨集群数据镜像
- 10.1 跨集群镜像的应用场景
- 10.2 多集群架构
- 10.2.1 跨数据中心通信的一些现实情况
- 10.2.2 星型架构
- 10.2.3 双活架构
- 10.2.4 主备架构
- 10.2.5 延展集群
- 10.3 MirrorMaker
- 10.3.1 配置MirrorMaker
- 10.3.2 多集群复制拓扑
- 10.3.3 保护MirrorMaker
- 10.3.4 在生产环境中部署MirrorMaker
- 10.3.5 MirrorMaker调优
- 10.4 其他跨集群镜像方案
- 10.4.1 Uber的uReplicator
- 10.4.2 LinkedIn的Brooklin
- 10.4.3 Confluent的跨数据中心镜像解决方案
- 10.5 小结
- 第11章 保护Kafka
- 11.1 锁住Kafka
- 11.2 安全协议
- 11.3 身份验证
- 11.3.1 SSL
- 11.3.2 SASL
- 11.3.3 重新认证
- 11.3.4 安全更新不停机
- 11.4 加密
- 11.5 授权
- 11.5.1 AclAuthorizer
- 11.5.2 自定义授权
- 11.5.3 安全方面的考虑
- 11.6 审计
- 11.7 保护ZooKeeper
- 11.7.1 SASL
- 11.7.2 SSL
- 11.7.3 授权
- 11.8 保护平台
- 保护密码
- 11.9 小结
- 第12章 管理Kafka
- 12.1 主题操作
- 12.1.1 创建新主题
- 12.1.2 列出集群中的所有主题
- 12.1.3 列出主题详情
- 12.1.4 增加分区
- 12.1.5 减少分区
- 12.1.6 删除主题
- 12.2 消费者群组
- 12.2.1 列出并描述消费者群组信息
- 12.2.2 删除消费者群组
- 12.2.3 偏移量管理
- 12.3 动态配置变更
- 12.3.1 覆盖主题的默认配置
- 12.3.2 覆盖客户端和用户的默认配置
- 12.3.3 覆盖broker的默认配置
- 12.3.4 查看被覆盖的配置
- 12.3.5 移除被覆盖的配置
- 12.4 生产和消费
- 12.4.1 控制台生产者
- 12.4.2 控制台消费者
- 12.5 分区管理
- 12.5.1 首选首领选举
- 12.5.2 修改分区的副本
- 12.5.3 转储日志片段
- 12.5.4 副本验证
- 12.6 其他工具
- 12.7 不安全的操作
- 12.7.1 移动集群控制器
- 12.7.2 移除待删除的主题
- 12.7.3 手动删除主题
- 12.8 小结
- 第13章 监控Kafka
- 13.1 指标基础
- 13.1.1 指标来自哪里
- 13.1.2 需要哪些指标
- 13.1.3 应用程序健康检测
- 13.2 服务级别目标
- 13.2.1 服务级别定义
- 13.2.2 哪些指标是好的SLI
- 13.2.3 将SLO用于告警
- 13.3 broker的指标
- 13.3.1 诊断集群问题
- 13.3.2 非同步分区的艺术
- 13.3.3 broker指标
- 13.3.4 主题的指标和分区的指标
- 13.3.5 Java虚拟机监控
- 13.3.6 操作系统监控
- 13.3.7 日志
- 13.4 客户端监控
- 13.4.1 生产者指标
- 13.4.2 消费者指标
- 13.4.3 配额
- 13.5 滞后监控
- 13.6 端到端监控
- 13.7 小结
- 第14章 流式处理
- 14.1 什么是流式处理
- 14.2 流式处理相关概念
- 14.2.1 拓扑
- 14.2.2 时间
- 14.2.3 状态
- 14.2.4 流和表
- 14.2.5 时间窗口
- 14.2.6 处理保证
- 14.3 流式处理设计模式
- 14.3.1 单事件处理
- 14.3.2 使用本地状态
- 14.3.3 多阶段处理和重分区
- 14.3.4 使用外部查找：流和表的连接
- 14.3.5 表与表的连接
- 14.3.6 流与流的连接
- 14.3.7 乱序事件
- 14.3.8 重新处理
- 14.3.9 交互式查询
- 14.4 Streams示例
- 14.4.1 字数统计
- 14.4.2 股票市场统计
- 14.4.3 填充点击事件流
- 14.5 Streams架构概览
- 14.5.1 构建拓扑
- 14.5.2 优化拓扑
- 14.5.3 测试拓扑
- 14.5.4 扩展拓扑
- 14.5.5 在故障中存活下来
- 14.6 流式处理应用场景
- 14.7 如何选择流式处理框架
- 14.8 小结
- 附录A 在其他操作系统中安装Kafka
- 附录B 其他Kafka工具
书名：Kafka权威指南（第2版）
译者：薛命灯 译
国内出版社：人民邮电出版社
出版时间：2022年10月
页数：483
书号：978-7-115-60142-1
原版书书名：Kafka: The Definitive Guide, Second Edition
原版书出版商：O'Reilly Media
本书封面上的动物是一只蓝翅笑翠鸟（Dacelo leachii）。笑翠鸟属于翠鸟科，生活在新几内亚南部和澳大利亚北部不那么干旱的地区。它们是河翠鸟。
雄性笑翠鸟拥有五颜六色的羽毛，翅膀和尾部的羽毛是蓝色的，雌性笑翠鸟的尾部则是红棕色，带有黑色的条纹。雄性笑翠鸟和雌性笑翠鸟都有奶油色的腹部，伴有棕色的条纹，它们的虹膜是白色的。成年笑翠鸟的体型要比其他翠鸟小一些，平均身长38~43厘米，体重260克~330克。
蓝翅笑翠鸟偏爱肉食，捕食对象随季节稍有不同。在夏季，它们捕捉蜥蜴、昆虫和青蛙为食，而在干燥的季节，它们则多以小龙虾、鱼、啮齿类动物和小型的鸟类为食。不过，在以鸟类为食的食物链里，红鹰和红褐色的猫头鹰喜欢以蓝翅笑翠鸟为食。
每年的9月~12月是蓝翅笑翠鸟的繁殖季节，它们把巢穴筑在树的上方，通过社区协作的方式养育下一代，一对笑翠鸟至少会得到另外一只笑翠鸟的帮助。它们一般会花大概26天的时间来孵蛋，每次孵3~4只蛋。雏鸟如果能够正常破壳而出，那么大概36天后就会长出羽毛。早出生的雏鸟会在第一周内尝试杀死更小的雏鸟。成年笑翠鸟会花6~8周的时间来训练那些存活下来的小鸟怎样捕食。
雄性笑翠鸟拥有五颜六色的羽毛，翅膀和尾部的羽毛是蓝色的，雌性笑翠鸟的尾部则是红棕色，带有黑色的条纹。雄性笑翠鸟和雌性笑翠鸟都有奶油色的腹部，伴有棕色的条纹，它们的虹膜是白色的。成年笑翠鸟的体型要比其他翠鸟小一些，平均身长38~43厘米，体重260克~330克。
蓝翅笑翠鸟偏爱肉食，捕食对象随季节稍有不同。在夏季，它们捕捉蜥蜴、昆虫和青蛙为食，而在干燥的季节，它们则多以小龙虾、鱼、啮齿类动物和小型的鸟类为食。不过，在以鸟类为食的食物链里，红鹰和红褐色的猫头鹰喜欢以蓝翅笑翠鸟为食。
每年的9月~12月是蓝翅笑翠鸟的繁殖季节，它们把巢穴筑在树的上方，通过社区协作的方式养育下一代，一对笑翠鸟至少会得到另外一只笑翠鸟的帮助。它们一般会花大概26天的时间来孵蛋，每次孵3~4只蛋。雏鸟如果能够正常破壳而出，那么大概36天后就会长出羽毛。早出生的雏鸟会在第一周内尝试杀死更小的雏鸟。成年笑翠鸟会花6~8周的时间来训练那些存活下来的小鸟怎样捕食。
购买选项
|
© 2025，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|