数据工程之道:设计和构建健壮的数据系统
Joe Reis, Matt Housley
王梦蛟, 阳沁珂, 李佳宁, 李卓恒 译
出版时间:2024年03月
页数:357
“数据工程发展至今已经经历过多轮迭代。从事数据工程的人员从数据库设计师开始,发展到数据库管理员、CIO、数据架构师。这本书揭示了数据行业的迭代和发展方向,是数据工程领域专业提升和职业发展的必读书。”
——Bill Inmon
数据仓库之父
“这是一本非常好的介绍移动、处理和操作数据的书。我向所有想要快速提高数据工程或者数据分析能力的人,以及想要查漏补缺的从业人员强烈推荐这本书。”
——Jordan Tigani
MotherDuck的创始人和CEO,BigQuery的初创工程师和联合创始人

数据工程在过去的十几年发展迅速,许多软件工程师、数据科学家和分析师想要追寻数据工程的全景。通过这本实用的书,你将学会通过数据工程生命周期框架评估现有的最佳技术,从而规划和构建系统来满足组织和客户的需求。
作者将带领你了解数据工程生命周期,并展示各种云技术的组合运用来满足下游数据消费者的需求。你将了解如何应用数据生成、摄取、编排、转换、存储和治理的概念,无论底层技术如何,这些概念在任何数据环境中都至关重要。
本书将帮助你:
● 全面概览数据工程领域。
● 使用端到端的最佳实践框架来评估数据工程问题。
● 看穿营销炒作,选择正确的技术、数据架构和流程。
● 使用数据工程生命周期来设计和构建健壮的架构。
● 将数据治理和数据安全融入数据工程生命周期。
  1. 前言
  2. 第一部分 基础和构建块
  3. 第1章 数据工程概述
  4. 1.1 什么是数据工程
  5. 1.2 数据工程技能和活动
  6. 1.3 组织内部的数据工程师
  7. 1.4 总结
  8. 1.5 补充资料
  9. 第2章 数据工程生命周期
  10. 2.1 什么是数据工程生命周期
  11. 2.2 数据工程生命周期中的主要底层设计
  12. 2.3 总结
  13. 2.4 补充资料
  14. 第3章 设计好的数据架构
  15. 3.1 什么是数据架构
  16. 3.2 好的数据架构的原则
  17. 3.3 主要架构概念
  18. 3.4 数据架构的示例和类型
  19. 3.5 谁参与了数据架构的设计
  20. 3.6 总结
  21. 3.7 补充资料
  22. 第4章 根据数据生命周期选择技术
  23. 4.1 团队大小和能力
  24. 4.2 加速市场化
  25. 4.3 互操作性
  26. 4.4 成本优化和商业价值
  27. 4.5 现在与未来:不变的与暂时的技术
  28. 4.6 部署位置
  29. 4.7 构建与购买
  30. 4.8 单体与模块化
  31. 4.9 无服务器与服务器
  32. 4.10 优化、性能和基准战争
  33. 4.11 底层设计及其对技术选择的影响
  34. 4.12 总结
  35. 4.13 补充资料
  36. 第二部分 深入数据工程生命周期
  37. 第5章 源系统中的数据生成
  38. 5.1 数据源:数据是如何生成的?
  39. 5.2 源系统:主要观点
  40. 5.3 源系统实际细节
  41. 5.4 你和谁一起工作
  42. 5.5 数据底层设计及其对源系统的影响
  43. 5.6 总结
  44. 5.7 补充资料
  45. 第6章 存储
  46. 6.1 数据存储的原材料
  47. 6.2 数据存储系统
  48. 6.3 数据工程存储抽象
  49. 6.4 存储的重要思想和趋势
  50. 6.5 你和谁一起工作
  51. 6.6 底层设计
  52. 6.7 总结
  53. 6.8 补充资料
  54. 第7章 获取
  55. 7.1 什么是数据获取
  56. 7.2 数据获取阶段的关键工程考虑因素
  57. 7.3 批量获取的考虑因素
  58. 7.4 消息和流获取的考虑因素
  59. 7.5 获取数据的方式
  60. 7.6 你和谁一起工作
  61. 7.7 底层设计
  62. 7.8 总结
  63. 7.9 补充资料
  64. 第8章 查询、建模和转换
  65. 8.1 查询
  66. 8.2 数据建模
  67. 8.3 转换
  68. 8.4 你和谁一起工作
  69. 8.5 底层设计
  70. 8.6 总结
  71. 8.7 补充资料
  72. 第9章 为分析、机器学习和反向ETL提供数据服务
  73. 9.1 提供数据服务的常见关注点
  74. 9.2 分析
  75. 9.3 机器学习
  76. 9.4 数据工程师需要理解的机器学习知识
  77. 9.5 为分析和机器学习提供数据服务的方法
  78. 9.6 反向ETL
  79. 9.7 你和谁一起工作
  80. 9.8 底层设计
  81. 9.9 总结
  82. 9.10 补充资料
  83. 第三部分 安全、隐私和数据工程的未来
  84. 第10章 安全和隐私
  85. 10.1 人员
  86. 10.2 流程
  87. 10.3 技术
  88. 10.4 总结
  89. 10.5 补充资料
  90. 第11章 数据工程的未来
  91. 11.1 常青的数据工程生命周期
  92. 11.2 复杂性的下降和易用的数据工具的兴起
  93. 11.3 云数据操作系统及其高互通性
  94. 11.4 “企业级”数据工程
  95. 11.5 数据工程师的头衔和职责将发生的变化
  96. 11.6 超越现代数据栈,迈向实时数据栈
  97. 11.7 总结
  98. 附录A 序列化和压缩技术的细节
  99. 附录B 云网络
书名:数据工程之道:设计和构建健壮的数据系统
作者:Joe Reis, Matt Housley
译者:王梦蛟, 阳沁珂, 李佳宁, 李卓恒 译
国内出版社:机械工业出版社
出版时间:2024年03月
页数:357
书号:978-7-111-74527-3
原版书书名:Fundamentals of Data Engineering
原版书出版商:O'Reilly Media
Joe Reis
 
Joe Reis是一名“恢复中的数据科学家”,也是一名数据工程师和架构师。
 
 
Matt Housley
 
Matt Housley是一名数据工程顾问和云专家。
 
 
购买选项
定价:139.00元
书号:978-7-111-74527-3
出版社:机械工业出版社