大模型实战：生成式AI原理、方法与最佳实践_[印] 阿米特·巴里（Amit Bahree）_9787115682321

本书系统地介绍了生成式AI 的理论基础、先进应用与部署实践，内容循序渐进，兼顾理论与实践。第一部分围绕大语言模型的基本概念与多模态应用展开，帮助读者建立坚实的认知框架。第二部分深入探讨提示工程、数据集成、模型微调等关键技术，旨在提高读者的AI 应用开发能力。第三部分则聚焦生产环境中的架构设计、扩展策略、性能评估与AI 伦理规范，为组织落地生成式AI 提供指导。本书以Azure OpenAI 和OpenAI 平台为核心，辅以大量实用示例代码，是生成式AI 的实践指南。本书主要面向开发者、数据科学家和技术决策者，也适用于希望应用生成式AI的小型组织与初创团队。

第一部分生成式AI基础第 1 章生成式AI 简介 2 11 本书的内容 3 12 生成式AI 简介 4 13 生成式AI 的功能 7 131 实体提取 7 132 文本生成 8 133 图像生成 10 134 代码生成 11 135 逻辑问题求解 13 136 音乐生成 15 137 视频生成 16 14 企业应用案例 16 15 生成式AI 的局限性 17 16 生成式AI 与传统AI 的区别 18 17 企业应采取何种策略 20 18 架构考量 21 19 企业部署生成式AI 的流程 22 110 小结 23 第 2 章大语言模型概述 24 21 基础模型简介 24 22 LLM简介 26 23 Transformer 架构 27 24 训练截止点 27 25 LLM的类型 28 26 小型语言模型 29 27 商业LLM 与开源LLM 31 271 商业LLM 32 272 开源LLM 32 28 LLM的核心概念 33 281 提示词 34 282 token 35 283 token 计数 38 284 嵌入 40 285 模型配置 42 286 上下文窗口 44 287 提示工程 45 288 模型适配 46 289 涌现行为 46 29 小结 50 第3 章使用API：文本生成 51 31 模型类别 52 311 依赖项 53 312 模型列表 55 32 文本补全API 56 321 文本补全详解 59 322 Azure 内容安全过滤器 61 323 生成多个文本补全结果 61 324 控制随机性 63 325 使用top_p 控制随机性 66 33 文本补全API 的高级选项 67 331 流式补全 67 332 使用logit_bias 影响token 的生成概率 69 333 存在惩罚和频率惩罚 72 334 对数概率 73 34 聊天补全API 75 341 系统角色 77 342 结束原因 79 343 聊天补全API 在非聊天场景中的应用 79 344 对话管理 80 345 管理token 的最佳实践 83 346 LLM及其供应商 83 35 小结 84 第4 章从像素到图像：图像生成 85 41 视觉模型 85 411 VAE 88 412 GAN 89 413 视觉Transformer 模型 90 414 扩散模型 92 415 多模态模型 94 42 使用Stable Diffusion 生成图像 96 421 依赖项 96 422 图像生成 97 43 使用其他模型生成图像 100 431 OpenAI DALL·E 3 101 432 Bing 图像生成器 101 433 Adobe Firefly 102 44 使用Stable Diffusion 编辑和增强图像 102 441 使用图生图API 生成图像 106 442 使用遮罩API 进行局部编辑 107 443 使用放大API 调整图像尺寸 109 444 图像生成技巧 111 45 小结 111 第5 章 AI 还能生成什么 113 51 代码生成 113 511 AI 生成的代码是否可信 115 512 GitHub Copilot 117 513 GitHub Copilot 的工作原理 120 52 其他代码相关任务 121 521 代码解释 121 522 生成测试代码 123 523 代码引用 124 524 代码重构 124 53 其他代码生成工具 125 531 Amazon CodeWhisperer 125 532 Code Llama 126 533 Tabnine 128 534 自我检查 128 535 代码生成的最佳实践 129 54 视频生成 130 55 音频和音乐生成 132 56 小结 133 第二部分高级技术与应用第6 章提示工程指南 136 61 什么是提示工程 136 62 提示工程基础 138 63 上下文学习与上下文提示 141 64 提示工程技术 143 641 系统消息 143 642 零样本学习、少样本学习和多样本学习 146 643 清晰的语法 148 644 让上下文学习发挥作用 149 645 推理：思维链 150 646 自一致性采样 154 65 图像提示 155 66 提示词注入 157 67 提示工程面临的挑战 159 68 最佳实践 160 69 小结 161 第7 章检索增强生成：秘密武器 162 71 什么是RAG 162 72 RAG 的优势 163 73 RAG 架构 165 74 检索器系统 166 75 理解向量数据库 167 751 什么是向量索引 168 752 向量搜索 168 76 RAG 系统面临的挑战 171 77 应对分块的挑战 172 771 分块策略 172 772 影响分块策略的因素 173 773 应对未知的复杂性 176 774 句子分块 177 775 基于NLP 的分块方法 178 78 PDF 分块 183 79 小结 186 第8 章与数据对话 187 81 企业使用自有数据的优势 187 811 更大的上下文窗口 188 812 使用自有数据构建聊天应用程序 189 82 使用向量数据库 190 83 信息检索规划 193 84 数据检索 200 85 使用Redis 进行搜索 204 86 基于RAG 的端到端聊天实现 206 87 使用Azure OpenAI 处理数据 209 88 使用RAG 集成数据的优势 211 89 小结 212 第9 章通过适配与微调定制模型 213 91 什么是模型适配 214 911 模型适配的基础 214 912 企业应用模型适配的优势和挑战 215 92 何时对LLM进行微调 216 921 微调LLM 的关键阶段 218 93 微调OpenAI 模型 219 931 准备微调数据集 219 932 LLM评估 223 933 微调 225 934 微调训练指标 229 935 使用Azure OpenAI 进行微调 232 94 部署微调模型 234 941 推理 235 95 训练LLM 236 951 预训练 237 952 监督微调 237 953 奖励建模 238 954 强化学习 238 955 直接策略优化 238 96 模型适配技术 238 961 LoRA 240 97 RLHF 概述 242 971 RLHF 面临的挑战 244 972 扩大RLHF 应用规模 245 98 小结 246 第三部分部署与伦理考量第 10 章生成式AI 应用架构设计 248 101 生成式AI 应用架构 248 1011 软件20 249 1012 Copilot 时代 250 102 生成式AI 应用技术栈 250 1021 集成生成式AI 技术栈 252 1022 生成式AI 架构原则 253 1023 生成式AI 应用架构详述 254 103 编排层 256 1031 编排框架的优势 257 1032 编排框架 258 1033 运营管理 259 1034 提示词管理 268 104 基础层 269 1041 数据的集成和预处理 269 1042 嵌入与向量管理 271 105 模型层 272 1051 模型集成架构 273 1052 模型服务 277 106 响应过滤层 277 107 小结 278 第 11 章规模化：生产部署的最佳实践 279 111 生产部署面临的挑战 280 112 部署选项 282 113 通过API 托管的LLM 282 114 生产部署的最佳实践 283 1141 LLM推理指标 283 1142 延迟 284 1143 可扩展性 287 1144 PAYGO 290 1145 配额和速率限制 290 1146 配额管理 291 1147 可观测性 293 1148 安全性与合规性考量 301 115 生成式AI 的运营考量 301 1151 可靠性与性能考量 301 1152 托管身份 302 1153 缓存 303 116 LLMOps 与MLOps 307 117 生产部署清单 309 118 小结 310 第 12 章评估与基准测试 311 121 LLM 评估 312 122 传统评估指标 312 1221 BLEU 313 1222 ROUGE 313 1223 BERTScore 314 1224 传统评估指标的示例 314 123 LLM 特定任务基准测试 317 1231 G-Eval：一种用于NLG 评估的测量方法 318 1232 基于LLM的评估指标示例 320 1233 HELM 324 1234 HEIM 325 1235 HellaSWAG 326 1236 MMLU 326 1237 使用Azure AI Studio 进行评估 327 1238 DeepEval：一个LLM 评估框架 328 124 新的评估基准 329 1241 SWE-bench 329 1242 MMMU 330 1243 MoCa 331 1244 HaluEval 331 125 人工评估 332 126 小结 333 第 13 章生成式AI 伦理指南：原则、实践和陷阱 334 131 生成式AI 的风险 335 1311 LLM 的局限性 335 1312 幻觉 336 132 生成式AI 攻击 337 1321 提示词注入 337 1322 不安全输出处理 343 1323 模型拒绝服务 343 1324 数据投毒与后门 344 1325 敏感信息泄露 344 1326 过度依赖 345 1327 模型盗窃 346 133 RAI 生命周期 347 1331 识别危害 348 1332 测量与评估危害 349 1333 缓解危害 350 1334 透明度与可解释性 351 134 红队测试 352 1341 红队测试示例 353 1342 红队测试工具和技术 354 135 内容安全 356 1351 Azure AI Content Safety 357 1352 Perspective API 362 1353 内容过滤器评估 365 136 小结 366 附录A 本书的GitHub 仓库 367 附录B RAI 工具 368 参考文献 372

你还可能感兴趣

我要评论