生成式深度学习
David Foster
马晶慧 译
出版时间:2021年04月
页数:316
“本书深入浅出地介绍了生成式建模的深度学习工具包。如果你建模的深度学习工具包。如果你是一位富有创造力的编程爱好者,希望在实际工作中应用深度者,希望在实际工作中应用深。”
——DavidHa
Google Brain的研究科学家
生成建模是人工智能中最热门的话题之一。如今我们可以教机器绘画、写作和作曲,甚至在这些方面超越人类。机器学习工程师 和数据科学家可以通过本书的学习,掌握如何构建最先进的生成式深度学习模型,例如变分自动编码器、生成对抗网络(GAN)、 编码器-解码器模型,以及世界模型等。
本书的作者在书中介绍了各项技术的内部工作原理,从最基础的使用Keras构建深度学习模型开始,深入浅出地介绍了该领域最先 进的算法。你可以通过书中的技巧和窍门,学习如何构建能够更有效地学习以及更具创造力的模型。
● 学习如何通过变分自动编码器改变图像中人物的面部表情。
● 学习如何构建GAN模型,包括风格迁移模型CycleGAN以及音乐生成模型MuseGAN。
● 学习如何通过循环生成模型来生成文本,以及如何利用注意力机制改善模型。
● 学习如何利用生成模型帮助智能体在强化学习环境中完成任务。
● 探索Transformer(BERT、GPT-2),以及ProGAN和StyleGAN等图像生成模型的架构。
  1. 前言
  2. 第一部分 生成式深度学习概述
  3. 第1章 生成建模
  4. 1.1 什么是生成建模?
  5. 1.1.1 生成建模与判别建模
  6. 1.1.2 机器学习的发展
  7. 1.1.3 生成建模的兴起
  8. 1.1.4 生成建模的框架
  9. 1.2 概率生成模型
  10. 1.2.1 你好,Wrodl!
  11. 1.2.2 你的第一个概率生成模型
  12. 1.2.3 朴素贝叶斯
  13. 1.2.4 你好,Wrodl!续篇
  14. 1.3 生成建模的难题
  15. 1.3.1表示学习
  16. 1.4 设置环境
  17. 1.5 小结
  18. 第2章 深度学习
  19. 2.1 结构化与非结构化数据
  20. 2.2 深度神经网络
  21. 2.2.1 Keras和TensorFlow
  22. 2.3 第一个深度神经网络
  23. 2.3.1 加载数据
  24. 2.3.2 建立模型
  25. 2.3.3 编译模型
  26. 2.3.4 训练模型
  27. 2.3.5 评估模型
  28. 2.4 改进模型
  29. 2.4.1 卷积层
  30. 2.4.2 批标准化
  31. 2.4.3 Dropout层
  32. 2.4.4 结合所有层
  33. 2.5 小结
  34. 第3章 变分自动编码器
  35. 3.1 画展
  36. 3.2 自动编码器
  37. 3.2.1 第一个自动编码器
  38. 3.2.2 编码器
  39. 3.2.3 解码器
  40. 3.2.4 连接编码器与解码器
  41. 3.2.5 分析自动编码器
  42. 3.3 变化后的画展
  43. 3.4 构建变分自动编码器
  44. 3.4.1 编码器
  45. 3.4.2 损失函数
  46. 3.4.3 分析变分自动编码器
  47. 3.5 使用VAE生成面部图像
  48. 3.5.1 训练VAE
  49. 3.5.2 分析VAE
  50. 3.5.3 生成新面孔
  51. 3.5.4 隐空间的算术
  52. 3.5.5 面部变形
  53. 3.6 小结
  54. 第4章 生成对抗网络
  55. 4.1 神秘兽
  56. 4.2 生成对抗网络简介
  57. 4.3 第一个生成对抗网络
  58. 4.3.1 判别器
  59. 4.3.2 生成器
  60. 4.3.3 训练GAN
  61. 4.4 GAN面临的难题
  62. 4.4.1 损失震荡
  63. 4.4.2 模式收缩
  64. 4.4.3 不提供信息的损失函数
  65. 4.4.4 超参数
  66. 4.4.5 解决GAN面临的难题
  67. 4.5 WGAN
  68. 4.5.1 Wasserstein损失
  69. 4.5.2 利普希茨约束
  70. 4.5.3 权重裁剪
  71. 4.5.4 训练WGAN
  72. 4.5.5 分析WGAN
  73. 4.6 WGAN-GP
  74. 4.6.1 梯度惩罚损失
  75. 4.6.2 分析WGAN-GP
  76. 4.7 小结
  77. 第二部分 教机器绘画、写作、作曲和玩游戏
  78. 第5章 绘画
  79. 5.1 苹果和橙子
  80. 5.2 CycleGAN
  81. 5.3 第一个CycleGAN模型
  82. 5.3.1 简介
  83. 5.3.2 生成器(U-Net)
  84. 5.3.3 判别器
  85. 5.3.4 编译CycleGAN
  86. 5.3.5 训练CycleGAN
  87. 5.3.6 分析CycleGAN
  88. 5.4 创建一个模仿莫奈作品的CycleGAN
  89. 5.4.1 生成器(ResNet)
  90. 5.4.2 分析CycleGAN
  91. 5.5 神经风格迁移
  92. 5.5.1 内容损失
  93. 5.5.2 风格损失
  94. 5.5.3 总方差损失
  95. 5.5.4 运行神经风格迁移
  96. 5.5.5 分析神经风格迁移模型
  97. 5.6 小结
  98. 第6章 写作
  99. 6.1 坏家伙们的文学社
  100. 6.2 长短期记忆网络
  101. 6.3 第一个LSTM网络
  102. 6.3.1 分词
  103. 6.3.2 建立数据集
  104. 6.3.3 LSTM架构
  105. 6.3.4 嵌入层
  106. 6.3.5 LSTM层
  107. 6.3.6 LSTM元胞
  108. 6.4 生成新文本
  109. 6.5 RNN扩展
  110. 6.5.1 堆叠式循环网络
  111. 6.5.2 门控制循环单元
  112. 6.5.3 双向元胞
  113. 6.6 编码器 - 解码器模型
  114. 6.7 问答生成器
  115. 6.7.1 问答数据集
  116. 6.7.2 模型架构
  117. 6.7.3 推断
  118. 6.7.4 模型的结果
  119. 6.8 小结
  120. 第7章 作曲
  121. 7.1 前提知识
  122. 7.1.1音符
  123. 7.2 第一个生成音乐的RNN
  124. 7.2.1 注意力
  125. 7.2.2 使用Keras建立注意力机制
  126. 7.2.3 分析注意力RNN
  127. 7.2.4 编码器 - 解码器网络中的注意力
  128. 7.2.5 生成复音音乐
  129. 7.3 MuseGAN
  130. 7.4 第一个MuseGAN
  131. 7.5 MuseGAN生成器
  132. 7.5.1 和弦、风格、旋律和律动
  133. 7.5.2 小节生成器
  134. 7.5.3 汇总
  135. 7.6 评论者
  136. 7.7 分析MuseGAN
  137. 7.8 小结
  138. 第8章 玩游戏
  139. 8.1 强化学习
  140. 8.1.1 OpenAI Gym
  141. 8.2 世界模型架构
  142. 8.2.1 变分自动编码器
  143. 8.2.2 MDN-RNN
  144. 8.2.3 控制器
  145. 8.3 设定
  146. 8.4 训练过程概述
  147. 8.5 收集随机rollout数据
  148. 8.6 训练VAE
  149. 8.6.1 VAE架构
  150. 8.6.2 探索VAE
  151. 8.7 收集训练RNN的数据
  152. 8.8 训练MDN-RNN
  153. 8.8.1 MDN-RNN的架构
  154. 8.8.2 从MDN-RNN中采样下一个z和奖励
  155. 8.8.3 MDN-RNN的损失函数
  156. 8.9 训练控制器
  157. 8.9.1 控制器的架构
  158. 8.9.2 CMA-ES
  159. 8.9.3 并行CMA-ES
  160. 8.9.4 控制器训练的输出结果
  161. 8.10 在想象环境中训练
  162. 8.10.1 在想象环境中训练控制器
  163. 8.10.2 在想象环境中训练的挑战
  164. 8.11 小结
  165. 第9章 生成建模的未来
  166. 9.1 五年的进步
  167. 9.2 Transformer
  168. 9.2.1 位置编码
  169. 9.2.2 多头注意力
  170. 9.2.3 解码器
  171. 9.2.4 Transformer的分析
  172. 9.2.5 BERT
  173. 9.2.6 GPT-2
  174. 9.2.7 MuseNet
  175. 9.3 图像生成的进步
  176. 9.3.1 ProGAN
  177. 9.3.2 自我注意力GAN(SAGAN)
  178. 9.3.3 BigGAN
  179. 9.3.4 StyleGAN
  180. 9.4 生成建模的应用
  181. 9.4.1 AI艺术
  182. 9.4.2 AI音乐
  183. 第10章 总结
  184. 作者介绍
  185. 封面介绍
书名:生成式深度学习
作者:David Foster
译者:马晶慧 译
国内出版社:中国电力出版社
出版时间:2021年04月
页数:316
书号:978-7-5198-5308-2
原版书书名:Generative Deep Learning
原版书出版商:O'Reilly Media
David Foster
 
David Foster是Applied Data Science的联合创始人,这是一家数据科学咨询公司,为客户提供创新的解决方案。他拥有英国剑桥三一学院的数学硕士学位,以及华威大学运筹学硕士学位。
David曾多次赢得国际机器学习竞赛,包括 InnoCentive Predicting Product Purchase 大奖赛,并获得了可视化的第一名,这项技术可以帮助美国的制药公司优化临床试验的选址。
David活跃在在线数据科学社区,并撰写了一系列有关深度强化学习的博客文章,包括《How To Build Your Own AlphaZero AI Using Python and Keras》(地址:http://bit. ly/2J6fGhU)。
 
 
本书封面的动物是一只彩绘锥尾鹦鹉(学名:Pyrrhura picta)。 Pyrrhura属于Psittacidae家族,是三大鹦鹉家族之一。西半球的金刚鹦鹉和长尾小鹦鹉属于其亚科。 彩绘锥尾鹦鹉栖居在南美东北部的沿海森林和山脉。
这种鹦鹉鸟体覆盖着明亮的绿色羽毛,鸟喙上方带有蓝色,脸颊为棕色,胸部以及 尾部则为红色。脖子上的羽毛就像鳞片一样,实属罕见。中心为棕色,而轮廓为灰 白色。这种颜色搭配与热带雨林的鸟类十分相像。
彩绘锥尾鹦鹉偏好在树林间觅食,绿色的羽毛是最好的掩饰。它们通常以5~12只的小群体觅食,主要以水果,种子和花朵为食。偶尔在树冠下觅食时,也会吃水塘表 面的水藻。成鸟身长约9英寸,寿命可达13~15年。通常每窝大约产5枚卵,孵化 时卵宽不足一英寸。
O’Reilly出版的图书,封面上很多动物都濒临灭绝。这些动物都是地球的至宝。如果 你想了解如何保护这些动物,请访问 animals.oreilly.com。
封面插图由Karen Montgomery绘制,基于Shaw’s Zoology的一幅黑白版画。