本书提供了全面、系统的深度学习知识，从基础理论到前沿应用，覆盖了深度学习的各个重要领域。本书首先从深度学习基础出发，帮助初学者对深度学习基础技术有初步的理解和认识。随后，本书转向计算机视觉和自然语言处理两大基础领域，揭示了深度学习如何赋能图像和语言的理解，还介绍了生成式模型与大模型这一当下研究热点，引领读者探索了当前深度学习的前沿领域，感受技术创新的魅力。此外，本书还介绍了深度强化学习的相关知识，帮助读者掌握从强化学习的基本原理到复杂深度强化学习算法的全面理解和实际操作能力。最后，本书特别关注了深度学习在自动驾驶和AI4S两大热门应用领域的实践，让读者能够了解并思考深度学习如何推动社会进步与科学发展。 本书可作为普通高等院校计算机、人工智能、电子信息等相关专业本科生及研究生深度学习课程的教材，也可作为对深度学习感兴趣的研究人员和工程技术人员的参考资料。
1.关本书提供了全面、系统的深度学习知识，从基础理论到前沿应用，覆盖了深度学习的各个重要领域。注重强调深度学习在不同领域的应用具体分析，帮助企业和技术人员理解如何将深度学习技术应用于实际生产和服务中，解决实际问题，从而加速技术从理论到实践的转化。
2.内容涵盖大模型、自动驾驶、AI4S等当前科研和技术发展的热点，与时俱进。
3.注重理论与实践相结合，提供丰富的实际案例。
4.资源丰富，提供PPT、教学大纲、教案、习题答案、案例指导、微课等，宜教宜学。
严峻驰 上海交通大学计算机系教授，CCF杰出会员/杰出讲者。国家优青、IET Fellow、科技部2030新一代人工智能重大项目、基金委人工智能重大研究计划项目负责人，教育部深度学习资源建设首席专家。曾任IBM研究院首席研究员。《中国图象图形学报》编委。主要研究兴趣为机器学习及交叉应用。发表第一/通讯作者CCF-A类论文超百篇，谷歌引用过万次，成果先后获PaperDigest评选的最具影响力AAAI21、IJCAI23论文榜首，及陕西省自然科学一等奖（排三）。长期任机器学习三大会议ICML/NeurIPS/ICLR领域主席，模式识别旗舰期刊PRJ编委。指导学生获得挑战杯特等奖、CCF优博/CV新锐奖、交大学术之星等荣誉和本科生自然科学基金。
1 深度学习基础 15
1.1 深度学习的分类 15
1.1.1 监督学习 16
1.1.2 无监督学习 16
1.1.3 其他分类 16
1.2 回归模型 17
1.2.1 线性回归 17
1.2.2 逻辑回归 18
1.3 深度神经网络 19
1.3.1 感知机 19
1.3.2 DNN 网络结构 20
1.4 激活函数 21
1.5 卷积神经网络 23
1.5.1 二维卷积运算 23
1.5.2 池化层 25
1.5.3 全连接层 26
1.6 循环神经网络 26
1.6.1 原始循环神经网络 26
1.6.2 门控循环单元 27
1.6.3 长短期记忆网络 28
1.7 自注意力机制和 Transformer模型 29
1.7.1 自注意力机制 29
1.7.2 Transformer模型 31
1.8 训练算法 32
1.8.1 梯度下降 33
1.8.2 反向传播 34
1.8.3 其他优化算法 35
1.9 参数初始化和归一化 37
1.9.1 全零初始化和随机初始化 37
1.9.2 Xavier 初始化 37
1.9.3 He 初始化 39
1.9.4 批量归一化和层归一化 39
1.10 神经网络压缩与搜索 40
1.10.1 网络剪枝 40
1.10.2 参数量化 41
1.10.3 知识蒸馏 41
1.10.4 神经网络架构搜索 42
1.11 本章小结 44
1.12 习题 44
2 视觉模型 45
2.1 图像分类 45
2.1.1 LeNet 46
2.1.2 AlexNet 46
2.1.3 VGG 47
2.1.4 GoogLeNet 48
2.1.5 ResNet 49
2.1.6 DenseNet 50
2.1.7 Vision Transformer 51
2.1.8 Swin Transformer 52
2.2 目标检测 53
2.2.1 R-CNN 53
2.2.2 Fast R-CNN 54
2.2.3 Faster R-CNN 55
2.2.4 YOLO 56
2.2.5 SSD 57
2.2.6 DETR 58
2.3 语义分割 59
2.3.1 FCN 59
2.3.2 U-Net 60
2.3.3 DeepLab 系列 61
2.3.4 SegFormer 62
2.4 自监督学习 63
2.4.1 任务定义 63
2.4.2 对比学习 64
2.4.3 图像掩码学习 66
2.5 针对视觉模型的对抗攻击 67
2.5.1 攻击扰动类型 68
2.5.2 白盒对抗攻击 68
2.5.3 黑盒对抗攻击 71
2.5.4 物理世界攻击 72
2.6 视觉模型的防御方法 73
2.6.1 认证防御 74
2.6.2 对抗性（重新）训练作为防御机制 75
2.6.3 利用对抗性示例 75
2.6.4 鲁棒优化 75
2.6.5 Ensemble 对抗训练 76
2.6.6 正则化方法 76
2.6.7 可验证防御：随机平滑 77
2.7 本章小结 78
2.8 习题 78
3 自然语言处理 80
3.1 自然语言处理简介 80
3.1.1 自然语言处理概念阐述 80
3.1.2 自然语言结构分析简述 82
3.2 基于深度学习的自然语言处理 85
3.2.1 基于深度学习的文本表征 85
3.2.2 基于深度学习的传统建模范式 89
3.3 预训练-微调和上下文学习范式 91
3.3.1 预训练-微调范式 91
3.3.2 上下文学习范式 94
3.4 基于深度学习的序列模型架构 97
3.4.1 循环神经网络 97
3.4.2 外部记忆网络 98
3.5 深度自然语言模型的应用 99
3.5.1 信息抽取 99
3.5.2 机器理解问答 100
3.5.3 机器翻译 102
3.5.4 对话系统 103
3.6 自然语言处理现存的开放问题 105
3.7 本章小结 109
3.8 习题 109
4 生成模型及其提示学习 110
4.1 变分自编码器（VAE） 110
4.1.1 自编码器 111
4.1.2 问题定义 111
4.1.3 优化目标 112
4.1.4 正态分布实例 113
4.2 生成对抗网络（GAN） 114
4.2.1 生成器与判别器 114
4.2.2 算法设计 115
4.3 扩散模型（DM） 116
4.3.1 前向过程与反向过程 116
4.3.2 训练与生成 117
4.4 自然语言提示学习方法 118
4.4.1 完型填空提示 119
4.4.2 前缀提示 120
4.5 计算机视觉提示学习方法 120
4.5.1 串接提示向量 121
4.5.2 学习提示网络层 121
4.5.3 添加像素级扰动 121
4.5.4 提示键值查询 121
4.5.5 网络结构搜索 121
4.5.6 样例模版创建 122
4.6 视觉语言多模态提示学习方法 122
4.6.1 纯文本提示学习 122
4.6.2 图文联合提示学习 123
4.6.3 组合提示学习 123
4.6.4 基于分布的提示学习 124
4.6.5 基于梯度的提示学习 124
4.6.6 图文对齐的提示学习 124
4.7 本章小结 124
4.8 习题 124
5 深度强化学习 126
5.1 强化学习基础 126
5.1.1 强化学习的基本概念 126
5.1.2 马尔科夫决策过程 127
5.2 表格型强化学习 128
5.2.1 动态规划 129
5.2.2 蒙特卡洛方法 129
5.2.3 时序差分算法 130
5.3 深度价值估计 132
5.3.1 深度 Q 网络算法 132
5.3.2 DQN 中的过估计问题 133
5.3.3 DQN 改进算法 133
5.4 策略梯度 134
5.4.1 策略梯度定理 135
5.4.2 信任区域策略优化 136
5.4.3 近端策略优化 137
5.4.4 深度确定性策略梯度 138
5.5 本章小结 140
5.6 习题 141
6 自动驾驶 142
6.1 背景介绍 142
6.1.1 历史发展 142
6.1.2 技术分级 143
6.2 自动驾驶系统 144
6.2.1 整体架构 144
6.2.2 硬件系统 144
6.2.3 软件系统 145
6.3 数据集和榜单生态 146
6.3.1 概述 146
6.3.2 感知类数据集 146
6.3.3 建图类数据集 147
6.3.4 预测及规划数据集 148
6.3.5 数据算法闭环体系 149
6.4 感知算法 150
6.4.1 单目感知技术 150
6.4.2 俯视图感知技术 151
6.4.3 激光雷达算法 152
6.4.4 传感器融合算法 153
6.5 端到端自动驾驶 154
6.5.1 端到端 vs. 模块化 155
6.5.2 发展历程 155
6.5.3 主流工作 156
6.5.4 现状与挑战 159
6.5.5 未来发展趋势 159
6.6 本章小结 160
6.7 习题 160
7 人工智能驱动的科学研究 161
7.1 AI 与科学研究范式的变迁 161
7.1.1 模型驱动：AI 加速计算求解 162
7.1.2 数据驱动：AI 处理科学大数据 165
7.1.3 模型与数据的融合：AI4S 的系统工程 165
7.2 AI4S 的科学数据表征 166
7.2.1 图的基础知识 166
7.2.2 图的表示学习 168
7.2.3 谱域图神经网络 170
7.2.4 空域图神经网络 172
7.2.5 图生成 174
7.3 AI4S 实战案例：显微镜下的 AI——AI 赋能材料表征 176
7.3.1 材料科学背景知识 177
7.3.2 问题描述：二维材料缺陷检测 178
7.3.3 主要挑战：标注数据的困难 179
7.3.4 解决方案 180
7.3.5 效果展示与工具使用 182
7.4 AI4S “四梁N 柱”的发展框架 182
7.4.1 基本原理与数据驱动的算法模型和软件系统 184
7.4.2 高效率、高精度的实验表征系统 186
7.4.3 替代文献的数据库与知识库系统 188
7.4.4 高度整合的算力平台系统 189
7.5 本章小结 191
7.6 习题 191
8 参考文献 192
书单推荐
