基于Apache Flink的流处理
崔星灿 译
出版时间:2020年01月
页数:328
带你走近Apache Flink,一个为全世界多个最大规模级别的流处理应用提供支持的开源框架。通过本书,你将探索并行流处理的基本概念并了解该技术与传统批处理的区别。
Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API实现可伸缩的流式应用,以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多,包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异常检测和报警等。你可以在任意类型的持续数据(包括用户交互、金融交易和物联网等数据)生成后,立即对它们进行处理。
● 了解有关分布式状态化流处理的概念和挑战。
● 探索Flink的系统架构,包括事件时间处理模式和容错模型。
● 理解DataStream API的基础知识和构成要素,包括基于时间和有状态的算子。
● 以一次精确的一致性读写外部系统。
● 部署和配置Flink集群。
● 对持续运行的流式应用进行运维。
- 前言
- 第1章 状态化流处理概述
- 传统数据处理架构
- 事务型处理
- 状态化流处理
- 开源流处理的演变
- Flink快览
- 小结
- 第2章 流处理基础
- Dataflow编程概述
- 并行流处理
- 时间语义
- 状态和一致性模型
- 小结
- 第3章 Apache Flink架构
- 系统架构
- Flink中的数据传输
- 事件时间处理
- 状态管理
- 检查点、保存点及状态恢复
- 小结
- 第4章 设置Apache Flink开发环境
- 所需软件
- 在IDE中运行和调试Flink程序
- 在IDE中调试Flink程序
- 创建Flink Maven项目
- 小结
- 第5章 DataStream API (1.7版本)
- Hello, Flink!
- 转换操作
- 设置并行度
- 类型
- 定义键值和引用字段
- 实现函数
- 导入外部和Flink依赖
- 小结
- 第6章 基于时间和窗口的算子
- 配置时间特性
- 处理函数
- 窗口算子
- 基于时间的双流Join
- 处理迟到数据
- 小结
- 第7章 有状态算子和应用
- 实现有状态函数
- 为有状态的应用开启故障恢复
- 确保有状态应用的可维护性
- 有状态应用的性能及鲁棒性
- 更新有状态应用
- 小结
- 第8章 读写外部系统
- 应用的一致性保障
- 内置连接器
- 实现自定义数据源函数
- 实现自定义数据汇函数
- 异步访问外部系统
- 小结
- 第9章 搭建Flink运行流式应用
- 部署模式
- 高可用性设置
- 集成Hadoop组件
- 文件系统配置
- 系统配置
- 小结
- 第10章 Flink和流式应用运维
- 运行并管理流式应用
- 控制任务调度
- 调整检查点及恢复
- 监控Flink集群和应用
- 配置日志行为
- 小结
- 第11章 还有什么?
- Flink生态的其他组成部分
- 欢迎加入社区
书名:基于Apache Flink的流处理
译者:崔星灿 译
国内出版社:中国电力出版社
出版时间:2020年01月
页数:328
书号:978-7-5198-4011-2
原版书书名:Stream Processing with Apache Flink
原版书出版商:O'Reilly Media
Fabian Hueske
Fabian Hueske作为最早参与Flink建设的几人之一,是Apache Flink项目的Committer及PMC成员。他同时还是Ververica(前身为data Artisans)的联合创始人和软件工程师。该公司是一家总部位于柏林的创业公司,一直以来都致力于为Flink项目和社区发展提供支持。费比安在柏林工业大学取得了计算机科学博士学位。
Vasiliki Kalavri
Vasiliki Kalavri是苏黎世联邦理工学院系统组的博士后研究员,平日里会将Apache Flink广泛用于流式系统研究及教学工作。Vasia同样是Apache Flink项目的PMC成员。作为Flink早期的贡献者,她参与了图计算库Gelly以及初期版本Table API和流式SQL的建设工作。
本书封面上的动物是欧亚红松鼠(学名Sciurus vulgaris)。绝大多数生存在亚洲温带、欧洲以及美洲的树栖松鼠都属Sciurus属。vulgaris在拉丁文中是“寻常”的意思,欧亚红松鼠在欧洲和亚洲北部地区十分常见。
欧亚红松鼠的眼睛周围有一个白色的环,尾巴大而浓密,耳端有一簇毛。它们头部和背部的颜色从浅红色到黑色不等,胸腹部的皮毛则是奶油色或白色。在冬天,松鼠的皮毛会略微长长,高于耳朵并覆盖爪子,从而可以保护自己免受寒冷。它们在冬日的大部分时间里都会蜷缩在名为Dreys的巢穴中。
除非它们正在交配或需要抚育幼崽,否则每个Dreys内就只会住有一只欧亚红松鼠。虽然它们都各自居住,但由于数量众多,松鼠们的活动范围经常重叠。平均下来,雌性松鼠每年生产两次,每胎5仔。松鼠幼崽会在出生后大约两个月的时候离开母巢。欧亚红松鼠的天敌众多,包括鸟类、蛇类以及哺乳动物等,因此只有四分之一的小松鼠才能长到一岁。
欧亚红松鼠平日依靠种子、橡子以及坚果来维持生计。它们有时也会舔舐树汁,但不会经常尝试新的食物。这种松鼠的头部和身体长约9~10英尺,尾巴长度也大致与此相同。它们的体重约为8~12盎司,寿命最长可达12年。但在野外,它们的预期寿命只有4~7岁。
这些生活在树上的小家伙之所以能够攀爬树干,轻松倒立,并越过伸展的树枝,是因为它们有弯曲的利爪和宽大蓬松的尾巴。欧亚红松鼠的敏捷性和平衡性非常强。
许多奥莱利书籍封面上的动物都濒临灭绝,它们对于这个世界十分重要。要了解更多如何提供帮助的信息,请访问animals.oreilly.com。
封面插图由Karen Montgomery,基于Wood’s Animate Creation的黑白雕刻设计而来。