本书旨在带领读者全面掌握将Llama应用于多模态智能体、编程助手及私有化部署等场景的相关知识。全书共分三篇，内容由浅到深、层层递进。
基础篇(第1章~第3章)概览大模型技术，聚焦Transformer 显卡开发环境与自然语言处理任务
深入分析开源大模型的推理与训练。核心篇(第4章~第8章)探讨提示工程技术与应用，介绍如何基于Lama3打造SWE-Agent编程助手，详细阐述实现Lama3私有化落地应用的初级与进阶RAG，以及专用知识站与问答系统的构建。扩展篇(第9章~第10章)探索Llama3手机与边缘计算的部署，介绍Llama3的高级功能。本书是一部集理论与实践于一体的技术宝典，适合人工智能领域的开发者及对大模型感兴趣的读者阅读。
·覆盖Llama 3应用场景：包含多模态智能体、编程助手、私有化部署等前沿技术。
·实战案例丰富：提供大量案例分析和项目实践，助力快速上手。
·掌握大模型核心技巧：深入剖析提示工程、RAG技术，轻松应对复杂NLP任务。
·探索前沿部署领域：探索了Llama 3在移动端与边缘计算领域的部署价值与广阔前景，深入剖析了模型的功能，如世界模型的理念与多模态大模型的开发技巧。
刘 欣 东南大学工程博士在读，研究方向为大模型和类脑计算。多年来专注于Llama及Qwen等大模型的开发与应用，对开源大模型的设计与特性有着深刻的认识，擅长多模态智能体大模型的构建与落地。实战经验丰富，编写的多个优秀大模型系统已应用于实际项目，同时撰写了大量有关大模型的技术文章，相关研究成果在NEUROCOMPUTING 等国际知名期刊上发表。活跃于大模型开源社区，是RWKV、Wenda、ShareAl、Fay、Linly-Talker等多个社区型开源项目的核心成员。
基 础 篇
第 1 章 大模型技术概览 3
11 从机器学习到多模态智能体大模型 3
111 机器学习 3
112 大模型 5
113 多模态智能体大模型 7
12 动手搭建一个神经网络 9
121 PyTorch CUDA 显卡开发环境搭建 9
122 卷积神经网络与循环神经网络 14
123 一个典型的手写数字识别 CNN 15
13 注意力机制的学习训练 19
131 卷积神经网络中的注意力机制 20
132 循环神经网络中的注意力机制 22
133 Transformer 网络结构介绍 24
第 2 章 Transformer 显卡开发环境与 NLP 任务 29
21 Transformer 显卡开发环境搭建 29
22 BERT 系列模型执行 NLP 任务 31
221 BERT 模型网络结构 31
222 BERT 变体模型 33
223 BERT 模型处理自然语言处理任务 35
23 GPT 模型与早期多模态 ViT 模型 41
231 GPT 网络结构 41
232 ViT 网络结构 44
第 3 章 开源大模型的推理与训练 49
31 魔搭社区与复杂环境搭建 49
32 从零开始训练一个 GPT-2 小模型 51
321 数据的整理与清洗 51
322 GPT-2 小模型训练 55
323 GPT-2 小模型对话测试 58
33 全量微调训练与增量微调训练 61
34 Llama 3 与 Llama 4 63
35 Alpaca 指令式数据集 64
36 Llama 3 及其量化模型的部署 65
361 Llama 3 常规模型部署 65
362 Llama 3 量化模型部署 68
37 LoRA、P-Tuning、SFT、DPO、PPO 等各种增量微调技术 74
38 基于 PEFT 库使用 LoRA 对 Llama 3 进行微调 76
核 心 篇
第 4 章 提示工程技术与应用 83
41 提示工程的思维链与策略技巧 83
42 Llama 3 利用提示工程策略完成自然语言处理任务 87
43 构建多角色的 GPT 应用：Llama 3 的提示工程实践 89
44 多任务提示系统的构建与智能体工具链集成 91
45 意图识别与 Agent Tool Calling 95
46 LMStudio Llama 3 实现多轮历史对话与长文本对话 101
第 5 章 基于 Llama 3 打造 SWE-Agent 编程助手 107
51 Llama 3 SWE-Agent 的框架结构 107
52 数据集的准备、清洗与指令 Token 化 109
53 Code-Llama 3-Instruct 底座模型的微调开发 110
54 智能体的规划、决策、搜索、项目管理与编码 115
55 Llama 3 SWE-Agent 的前端与应用部署 120
第 6 章 Llama 3 私有化落地应用之初级 RAG 125
61 私有化大模型的巨大潜力 125
62 在落地场景中比较微调与 RAG 126
63 M3E、E5、Tao8k 等第 一代向量编码模型 127
64 知识库中的向量编码库与向量数据库 129
65 ChatPDF 案例与单篇文档对话 132
第 7 章 Llama 3 私有化落地应用之进阶 RAG 137
71 BGE、BCE、ACGE 等第二代向量编码模型 137
72 多渠道检索数据来源 139
73 精准指令向量化 143
74 Zpoint、GTE、Xiaobu 等第三代向量编码模型 145
75 Clinical-Llama 3 的 Lora 微调 148
76 Clinical-Llama 3 的向量化重排 152
第 8 章 基于 Llama 3 打造专用知识站与问答系统 155
81 Python 自动化处理文档的方法 155
82 使用 LangChain 构建关键工作链 158
83 构建问答系统的全栈架构 161
831 架设后端服务 161
832 实现前端界面 164
扩 展 篇
第 9 章 Llama 3 手机与边缘计算部署 171
91 端侧大模型的价值与前景 171
92 再探 llamacpp 172
93 Maid 与 MLC-Chat 分析 173
94 算力板的选配 175
95 llamacpp Android 工程 179
第 10 章 Llama 3 的高级功能 183
101 世界模型与多模态大模型 183
102 Llama 3 与视觉大模型联动开发多模态对话平台 185
103 Llama 3 与语音大模型联动制作数字世界的分身 188
104 Llama 3 与绘图大模型联动进行 AI 图片设计 192
105 星河滚烫，你就是理想具身智能 AGI 194
后记 196
书单推荐
