生成式AI入门与AWS实战
生成式AI技术兴趣小组 译
出版时间：2024年05月
页数：238
“我对这本书的出版感到非常兴奋——它很好地融合了重要的背景知识、理论信息及详细的实践代码和深入讲解。我很喜欢阅读它，相信你也会喜欢！”
——Jeff Barr
AWS副总裁兼首席布道师
如今，企业正迅速地将生成式AI整合到其产品和服务中。但是，关于这项技术的影响和前景，存在大量的炒作（和误解）。通过这本书，来自AWS的Chris Fregly、Antje Barth和Shelbee Eigenbrode将帮助CTO、机器学习从业者、应用程序开发者、业务分析师、数据工程师和数据科学家找到实际的方法来使用这一令人兴奋的新技术。
通过本书，你将学习生成式AI项目生命周期，包括确定用例、模型选择、模型微调、RAG、RLHF和模型量化、优化与部署。你还将探索不同类型的模型，包括大语言模型和多模态模型，如用于生成图像的Stable Diffusion和用于回答有关图像问题的Flamingo/IDEFICS。
● 将生成式AI应用于你的业务用例
● 确定哪种生成式AI模型适合你的任务
● 实践提示工程和上下文学习
● 通过LoRA在你的数据集上微调生成式AI模型
● 通过RLHF使生成式AI模型与人类价值观对齐
● 通过RAG增强你的模型
● 探索LangChain和ReAct等以开发agent
● 通过Amazon Bedrock构建生成式AI应用程序
——Jeff Barr
AWS副总裁兼首席布道师
如今，企业正迅速地将生成式AI整合到其产品和服务中。但是，关于这项技术的影响和前景，存在大量的炒作（和误解）。通过这本书，来自AWS的Chris Fregly、Antje Barth和Shelbee Eigenbrode将帮助CTO、机器学习从业者、应用程序开发者、业务分析师、数据工程师和数据科学家找到实际的方法来使用这一令人兴奋的新技术。
通过本书，你将学习生成式AI项目生命周期，包括确定用例、模型选择、模型微调、RAG、RLHF和模型量化、优化与部署。你还将探索不同类型的模型，包括大语言模型和多模态模型，如用于生成图像的Stable Diffusion和用于回答有关图像问题的Flamingo/IDEFICS。
● 将生成式AI应用于你的业务用例
● 确定哪种生成式AI模型适合你的任务
● 实践提示工程和上下文学习
● 通过LoRA在你的数据集上微调生成式AI模型
● 通过RLHF使生成式AI模型与人类价值观对齐
● 通过RAG增强你的模型
● 探索LangChain和ReAct等以开发agent
● 通过Amazon Bedrock构建生成式AI应用程序
- 第1章 生成式AI用例、基础知识和项目生命周期
- 1.1 用例和任务
- 1.2 基础模型和模型中心
- 1.3 生成式AI项目生命周期
- 1.4 AWS上的生成式AI
- 1.5 为什么选择基于AWS构建生成式AI
- 1.6 在AWS上构建生成式AI应用程序
- 1.7 小结
- 第2章 提示工程与上下文学习
- 2.1 提示与完成
- 2.2 token
- 2.3 提示工程
- 2.4 提示结构
- 2.4.1 指令
- 2.4.2 上下文
- 2.5 通过少样本推理进行上下文学习
- 2.5.1 零样本推理
- 2.5.2 单样本推理
- 2.5.3 少样本推理
- 2.5.4 上下文学习出错
- 2.5.5 上下文学习实践
- 2.6 提示工程实践
- 2.7 推理配置参数
- 2.8 小结
- 第3章 大型语言基础模型
- 3.1 大型语言基础模型简介
- 3.2 分词器
- 3.3 嵌入向量
- 3.4 Transformer
- 3.4.1 输入和上下文窗口
- 3.4.2 嵌入层
- 3.4.3 编码器
- 3.4.4 自注意力
- 3.4.5 解码器
- 3.4.6 Softmax输出
- 3.5 基于Transformer的基础模型的类别
- 3.6 预训练数据集
- 3.7 缩放定律
- 3.8 计算最优模型
- 3.9 小结
- 第4章 显存和计算优化
- 4.1 显存容量的挑战
- 4.2 数据类型和数值精度
- 4.3 量化
- 4.3.1 fp16
- 4.3.2 bfloat16
- 4.3.3 fp8
- 4.3.4 int8
- 4.4 优化自注意力层
- 4.4.1 FlashAttention
- 4.4.2 分组查询注意力
- 4.5 分布式GPU集群计算
- 4.5.1 分布式数据并行
- 4.5.2 全分片数据并行
- 4.6 基于AWS的分布式计算
- 4.6.1 通过Amazon SageMaker进行全分片数据并行
- 4.6.2 AWS Neuron SDK和AWS Trainium
- 4.7 小结
- 第5章 微调和评估
- 5.1 指令微调简介
- 5.1.1 Llama2-Chat
- 5.1.2 Falcon-Chat
- 5.1.3 FLAN-T5
- 5.2 指令数据集
- 5.2.1 多任务指令数据集
- 5.2.2 FLAN：示例多任务指令数据集
- 5.2.3 提示模板
- 5.2.4 将自定义数据集转换为指令数据集
- 5.3 指令微调的过程
- 5.3.1 Amazon SageMaker Studio
- 5.3.2 Amazon SageMaker JumpStart
- 5.3.3 将Amazon SageMaker Estimator用于Hugging Face
- 5.4 模型评估
- 5.4.1 评估指标
- 5.4.2 基准测试和数据集
- 5.5 小结
- 第6章 高效参数微调
- 6.1 全量微调与PEFT
- 6.2 LoRA和QLoRA
- 6.2.1 LoRA基础
- 6.2.2 秩
- 6.2.3 目标模块和网络层
- 6.2.4 应用LoRA
- 6.2.5 将LoRA 适配器与原始模型合并
- 6.2.6 维护独立的LoRA适配器
- 6.2.7 全量微调与LoRA性能比较
- 6.2.8 QLoRA
- 6.3 Prompt Tuning和软提示
- 6.4 小结
- 第7章 基于人类反馈的强化学习微调
- 7.1 与人类价值观对齐：有用的、诚实的、无害的
- 7.2 强化学习概述
- 7.3 训练自定义奖励模型
- 7.3.1 通过人机交互收集训练数据集
- 7.3.2 人类标注者的示例指令
- 7.3.3 通过Amazon SageMaker Ground Truth进行人工标注
- 7.3.4 准备训练奖励模型的排序数据
- 7.3.5 训练奖励模型
- 7.4 现有奖励模型：Meta的有害性检测器
- 7.5 通过人类反馈进行强化学习微调
- 7.5.1 在RLHF中使用奖励模型
- 7.5.2 近端策略优化强化学习算法
- 7.5.3 使用PPO进行RLH微调
- 7.5.4 缓解奖励破解
- 7.5.5 通过RLHF进行参数高效微调
- 7.6 评估RLHF微调模型
- 7.6.1 定性评估
- 7.6.2 定量评估
- 7.6.3 载入评估模型
- 7.6.4 定义评估指标聚合函数
- 7.6.5 比较前后的评估指标
- 7.7 小结
- 第8章 模型部署优化
- 8.1 模型推理优化
- 8.1.1 剪枝
- 8.1.2 通过GPTQ进行训练后量化
- 8.1.3 蒸馏
- 8.2 大模型推理容器
- 8.3 AWS Inferentia：专为推理而打造的硬件
- 8.4 模型更新和部署策略
- 8.4.1 A/B测试
- 8.4.2 影子模型部署
- 8.5 指标和监控
- 8.6 自动伸缩
- 8.6.1 自动伸缩策略
- 8.6.2 定义自动伸缩策略
- 8.7 小结
- 第9章 通过RAG和agent实现基于上下文的推断
- 9.1 大语言模型的局限性
- 9.1.1 幻觉
- 9.1.2 知识截断
- 9.2 RAG
- 9.2.1 外部知识源
- 9.2.2 RAG工作流
- 9.2.3 文档加载
- 9.2.4 分块
- 9.2.5 文档检索和重新排序
- 9.2.6 提示增强
- 9.3 RAG编排和实现
- 9.3.1 文档加载和分块
- 9.3.2 向量embedding存储和检索
- 9.3.3 检索链
- 9.3.4 通过MMR进行重新排序
- 9.4 agent
- 9.4.1 ReAct框架
- 9.4.2 PAL框架
- 9.5 生成式AI应用程序
- 9.6 FMOps：实施生成式人工智能项目生命周期
- 9.6.1 实验注意事项
- 9.6.2 开发注意事项
- 9.6.3 生产部署注意事项
- 9.7 小结
- 第10章 多模态基础模型
- 10.1 用例
- 10.2 多模态提示工程实践
- 10.3 图像生成和增强
- 10.3.1 图像生成
- 10.3.2 图像编辑和增强
- 10.4 图像补全、图像外部填充、depth-to-image
- 10.4.1 图像补全
- 10.4.2 图像外部填充
- 10.4.3 depth-to-image
- 10.5 图像描述和视觉问答
- 10.5.1 图像描述
- 10.5.2 内容审查
- 10.5.3 视觉问答
- 10.6 模型评估
- 10.6.1 文生图任务
- 10.6.2 正向扩散
- 10.6.3 非语言推理
- 10.7 扩散模型架构
- 10.7.1 正向扩散
- 10.7.2 反向扩散
- 10.7.3 U-Net
- 10.8 Stable Diffusion 2架构
- 10.8.1 文本编码器
- 10.8.2 U-Net和扩散过程
- 10.8.2 文本条件控制
- 10.8.3 交叉注意力
- 10.8.4 采样器
- 10.8.5 图像解码器
- 10.9 Stable Diffusion XL架构
- 10.9.1 U-Net和交叉注意力
- 10.9.2 精修器
- 10.9.3 条件控制
- 10.10 小结
- 第11章 通过Stable Diffusion进行受控生成和微调
- 11.1 ControlNet
- 11.2 微调
- 11.2.1 DreamBooth
- 11.2.2 DreamBooth和PEFT-LoRA
- 11.2.3 文本反演
- 11.3 通过RLHF进行人类偏好对齐
- 11.4 小结
- 第12章 Amazon Bedrock：用于生成式AI的托管服务
- 12.1 Bedrock基础模型
- 12.1.1 Amazon Titan基础模型
- 12.1.2 来自StabilityAI公司的Stable Diffusion基础模型
- 12.2 Bedrock推理API
- 12.3 大语言模型
- 12.3.1 生成SQL代码
- 12.3.2 总结文本
- 12.3.3 嵌入
- 12.4 微调
- 12.5 agent
- 12.6 多模态模型
- 12.6.1 文生图
- 12.6.2 图生图
- 12.7 数据隐私和网络安全
- 12.8 治理和监控
- 12.9 小结
书名：生成式AI入门与AWS实战
译者：生成式AI技术兴趣小组 译
国内出版社：人民邮电出版社
出版时间：2024年05月
页数：238
书号：978-7-115-64416-9
原版书书名：Generative AI on AWS
原版书出版商：O'Reilly Media
本书封面插图中的动物是棕背嘲鸫（Mimus dorsalis）。
这种非迁徙性、陆生的嘲鸫栖息在阿根廷和玻利维亚的干旱地带，如灌木丛和荒漠灌木丛中。它们在那里觅食并在仙人掌或灌木中筑巢。由于对棕背嘲鸫的研究较少，关于它的饮食、觅食和繁殖行为知之甚少。
幸运的是，棕背嘲鸫的叫声录音相对容易获得。目击者描述棕背嘲鸫的歌声为一系列重复的刺耳音符和轻笑。总的来说，嘲鸫以其模仿其他鸟类的歌声以及昆虫和两栖动物的声音而闻名，通常声音很大且快速连续。一组研究人员甚至将它们——凭借它们创造新颖歌曲模式的能力——与伟大的古典作曲家和现代艺术家如Kendrick Lamar相提并论。
尽管棕背嘲鸫的种群数量尚未精确量化，但国际自然保护联盟（IUCN）将其归类为无危物种。O’Reilly图书封面插图中的许多动物都是濒危物种，它们都对世界至关重要。
这种非迁徙性、陆生的嘲鸫栖息在阿根廷和玻利维亚的干旱地带，如灌木丛和荒漠灌木丛中。它们在那里觅食并在仙人掌或灌木中筑巢。由于对棕背嘲鸫的研究较少，关于它的饮食、觅食和繁殖行为知之甚少。
幸运的是，棕背嘲鸫的叫声录音相对容易获得。目击者描述棕背嘲鸫的歌声为一系列重复的刺耳音符和轻笑。总的来说，嘲鸫以其模仿其他鸟类的歌声以及昆虫和两栖动物的声音而闻名，通常声音很大且快速连续。一组研究人员甚至将它们——凭借它们创造新颖歌曲模式的能力——与伟大的古典作曲家和现代艺术家如Kendrick Lamar相提并论。
尽管棕背嘲鸫的种群数量尚未精确量化，但国际自然保护联盟（IUCN）将其归类为无危物种。O’Reilly图书封面插图中的许多动物都是濒危物种，它们都对世界至关重要。
购买选项
|
© 2024，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|