流式系统
陈守元 译
出版时间:2024年11月
页数:276
“如果你关心流式处理和批处理工作的正确性,那么这本书是必读的。它对该主题的讨论是我看到的思考最清晰、最合逻辑的,其思想也被精彩诠释。”
——Martin Kleppmann
剑桥大学
如今,流式数据在大数据领域中举足轻重。随着越来越多的企业试图控制遍布世界的大规模无界数据集,流式系统终于达到了业界主流可使用的成熟度。通过本书提供的一系列实用指导,数据工程师、数据科学家和开发者可以以与平台无关的方式从概念层面学习如何处理流数据。
本书从第一作者的热门博客文章“Streaming 101”和“Streaming 102”拓展而成。本书带领读者从入门内容出发,深入到探讨对处理实时数据流的定义、位置、时机和方法的理解。读者还会在本书另外两位作者的带领下深入研究水位和精确一次处理。
在本书中读者将探索以下内容:
● 流式数据处理模式和批处理数据处理模式的比较;
● 健壮的乱序数据处理背后的核心原则和概念;
● 如何用水位跟踪无界数据集的处理进度和完整性;
● “精确一次”数据处理技术如何确保正确性;
● 流和表的概念是如何构成批处理数据处理和流式数据处理的基
础的;
● 用真实的示例阐述强大的持久状态机制背后的实际动机;
● 时变关系如何在流式处理与大家熟悉的SQL和关系代数的世界之间提供连接。
- 第一部分 Beam模型
- 第1章 流式入门 3
- 1.1 术语:什么是流式
- 1.2 数据处理模式
- 1.3 小结
- 第2章 数据处理的来龙去脉
- 2.1 路线图
- 2.2 批处理基础:定义及位置
- 2.3 开始流式处理:时机及方法
- 2.4 小结
- 第3章 水位
- 3.1 定义
- 3.2 源水位的创建
- 3.3 水位传播
- 3.4 百分位数水位
- 3.5 处理时间水位
- 3.6 案例分析
- 3.7 小结
- 第4章 高级开窗
- 4.1 时机/位置:处理时间开窗
- 4.2 位置:会话
- 4.3 位置:自定义开窗
- 4.4 小结
- 第5章 精确一次及副作用
- 5.1 为什么精确一次这么重要
- 5.2 准确性与完整性
- 5.3 确保在混洗中精确一次
- 5.4 解决确定性
- 5.5 性能
- 5.6 源端的精确一次
- 5.7 汇端的精确一次
- 5.8 使用场景
- 5.9 其他系统
- 5.10 小结
- 第二部分 流和表
- 第6章 流和表
- 6.1 流和表的基础:流表相对性的特殊理论
- 6.2 批处理与流和表
- 6.3 流和表世界的定义、位置、时机和方法
- 6.4 流表相对性的通用理论
- 6.5 小结
- 第7章 持久状态的实践
- 7.1 动机
- 7.2 隐式状态
- 7.3 通用状态
- 7.4 小结
- 第8章 流式SQL
- 8.1 什么是流式SQL
- 8.2 回顾:流和表的偏好
- 8.3 展望:迈向健壮的流式SQL
- 8.4 小结
- 第9章 流式连接
- 9.1 所有连接都是流式连接
- 9.2 非开窗连接
- 9.3 开窗连接
- 9.4 小结
- 第10章 大规模数据处理的演进
- 10.1 MapReduce
- 10.2 Hadoop
- 10.3 Flume
- 10.4 Storm
- 10.5 Spark
- 10.6 MillWheel
- 10.7 Kafka
- 10.8 Cloud Dataflow
- 10.9 Flink
- 10.10 Beam
- 10.11 小结
书名:流式系统
译者:陈守元 译
国内出版社:人民邮电出版社
出版时间:2024年11月
页数:276
书号:978-7-115-64548-7
原版书书名:Streaming Systems
原版书出版商:O'Reilly Media
Tyler Akidau
Tyler Akidau是谷歌的高级软件工程师,他是数据处理语言与系统团队的技术负责人。他也是Apache Beam PMC的创始成员。
Slava Chernyak
Slava Chernyak是谷歌西雅图办公室的高级软件工程师。他花了6年多的时间研究谷歌内部使用的大规模流式数据处理系统。
Reuven Lax
Reuven Lax是谷歌西雅图办公室的高级软件工程师,过去10多年他一直在帮助制定谷歌的数据处理和分析战略。他也是Apache Beam PMC成员。
本书封面上的动物是褐鳟(Salmo trutta),一种原产于欧洲北部的中型鱼类,现在分布在全球各地。褐鳟一般重约99 克,长40~80 厘米。它们全身呈闪亮的棕色,并有许多黑色的斑点。
褐鳟主要以水生无脊椎动物为食,尽管它们中的较大个体也捕食其他鱼类。在产卵期间,雌性褐鳟会产下数千枚卵。褐鳟需要3~4 年才能长大成熟。
褐鳟深受垂钓者的欢迎,在19 世纪和20 世纪初期,被引入世界各地的湖泊和河流。时至今日,褐鳟仍被商业化养殖并被放养用于休闲钓鱼。褐鳟是可食用的,可以通过多种方式进行烹饪,包括烧烤、煎炸和烟熏。