章毓晋1989年获比利时列日大学应用科学博士学位。1989 1993年先后在荷兰德尔夫特大学从事博士后研究并担任专职研究员。1993年到清华大学任教，1997年被聘为教授，1998年被聘为博士生导师，2014年成为教学科研系列长聘教授。2003年学术休假一年，期间同时被聘为新加坡南洋理工大学访问教授。在清华大学，先后开出并讲授过10多门本科生和研究生课程，包括图象处理图象分析图象理解基于内容的视觉信息检索等。在南洋理工大学，开出并讲授过研究生课程Advanced Image Analysis。已编写出版了中英文教材30多本（共印刷30多万册）。已在国内外发表了30多篇教学研究论文。主要科研领域为其积极倡导的图像工程（图像处理、图像分析、图像理解及其技术应用）和相关学科。已在国内外发表500多篇图像工程研究论文；出版了专著《图象分割》《基于内容的视觉信息检索》《基于子空间的人脸识别》；编著了《英汉图像工程辞典》（第1版、第2版和第3版）及《图像工程技术选编》《图像工程技术选编（二）》；将Computational Geometry, Topology and Physics of Digital Images with Applications (Springer-Verlag, Germany)翻译为中文；主持编著了Advances in Image and Video Segmentation和Semantic-Based Visual Information Retrieval (IRM Press, USA)，以及Advances in Face Image Analysis: Techniques and Technologies (IGI Global, USA)；编著了Handbook of Image Engineering (Springer Nature, Singapore)，以及A Selection of Image Processing Techniques, A Selection of Image Analysis Techniques, A Selection of Image Understanding Techniques (CRC Press, USA)。现为中国图象图形学学会会士和名誉监事长、国际光学工程学会（SPIE）会士（因在图像工程方面的成就）；曾任第二十四届国际图象处理学术会议（ICIP2017）程序委员会主席。
第1章 绪论 001
1.1 计算机视觉简介 002
1.1.1 人类视觉要点 002
1.1.2 计算机视觉 003
1.1.3 相关学科 004
1.2 计算机视觉理论和框架 007
1.2.1 视觉计算理论 007
1.2.2 框架问题和改进 011
1.2.3 关于马尔重建理论的讨论 013
1.2.4 新理论框架的研究 016
1.2.5 从心理认知出发的讨论 018
1.3 图像工程简介 021
1.3.1 图像工程的3个层次 021
1.3.2 图像工程的研究和应用 023
1.4 深度学习简介 024
1.4.1 卷积神经网络的基本概念 024
1.4.2 深度学习的核心技术 028
1.4.3 计算机视觉中的深度学习 030
1.5 本书的组织架构和内容 032
参考文献 033
第2章 摄像机成像和标定 036
2.1 亮度成像模型 037
2.1.1 光度学概念 037
2.1.2 基本的亮度成像模型 038
2.2 空间成像模型 039
2.2.1 投影成像几何 039
2.2.2 基本空间成像模型 040
2.2.3 通用空间成像模型 043
2.2.4 完整空间成像模型 045
2.3 摄像机模型 047
2.3.1 线性摄像机模型 047
2.3.2 非线性摄像机模型 050
2.4 摄像机标定方法 053
2.4.1 标定方法分类 053
2.4.2 传统标定方法 055
2.4.3 自标定方法 058
2.4.4 结构光主动视觉系统标定方法 061
2.4.5 在线摄像机外参数标定方法 066
参考文献 069
第3章 深度图像采集 071
3.1 深度图像和深度成像 072
3.1.1 深度图像 072
3.1.2 深度成像 074
3.2 直接深度成像 075
3.2.1 激光扫描介绍 075
3.2.2 飞行时间法 079
3.2.3 LiDAR 081
3.2.4 结构光法 082
3.2.5 莫尔等高条纹法 084
3.3 间接深度成像 087
3.3.1 双目横向模式 087
3.3.2 双目会聚横向模式 092
3.3.3 双目轴向模式 095
3.4 单像素深度成像 097
3.4.1 单像素成像原理 097
3.4.2 单像素相机 098
3.4.3 单像素3D成像 100
3.5 生物视觉与立体视觉 102
3.5.1 生物视觉和双目视觉 102
3.5.2 从单目到双目立体 102
参考文献 103
第4章 3D点云数据采集及加工 105
4.1 点云数据概况 106
4.1.1 点云数据获取方式 106
4.1.2 点云数据类型 107
4.1.3 点云数据加工任务 108
4.1.4 LiDAR测试数据集 109
4.2 点云数据预处理 109
4.2.1 点云数据补漏 110
4.2.2 点云数据去噪 110
4.2.3 点云数据地面区域滤波 111
4.2.4 点云数据精简/压缩 112
4.2.5 多平台点云数据配准 114
4.2.6 点云数据与影像数据配准 116
4.3 激光点云3D建模 117
4.3.1 德劳内三角网法 117
4.3.2 面片拟合法 118
4.4 3D模型的纹理映射 121
4.4.1 颜色纹理映射法 121
4.4.2 几何纹理映射法 123
4.4.3 过程纹理映射法 123
4.5 点云特征描述 124
4.5.1 全局特征描述符和局部特征描述符 124
4.5.2 3种局部特征描述符 125
4.6 点云理解与深度学习 126
4.7 仿生优化配准点云 128
4.7.1 布谷鸟搜索 128
4.7.2 改进的布谷鸟搜索 129
4.7.3 点云配准应用 131
参考文献 132
第5章 双目立体视觉 137
5.1 基于区域的双目立体匹配 138
5.1.1 模板匹配 138
5.1.2 立体匹配 141
5.2 基于特征的双目立体匹配 147
5.2.1 基本步骤 147
5.2.2 尺度不变特征变换 150
5.2.3 加速鲁棒性特征 152
5.2.4 动态规划匹配 158
5.3 视差图误差检测与校正 160
5.3.1 误差检测 160
5.3.2 误差校正 161
5.4 基于深度学习的立体匹配 163
5.4.1 立体匹配网络 163
5.4.2 基于特征级联CNN的匹配 165
参考文献 166
第6 章 多目立体视觉 170
6.1 水平多目立体匹配 171
6.1.1 多目图像和SSD 171
6.1.2 倒距离和SSSD 173
6.2 正交三目立体匹配 175
6.2.1 正交三目 175
6.2.2 基于梯度分类的正交匹配 180
6.3 多目立体匹配 184
6.3.1 任意排列三目立体匹配 185
6.3.2 正交多目立体匹配 189
6.4 等基线多摄像机组 190
6.4.1 图像采集 191
6.4.2 图像合并方法 192
6.5 单摄像机多镜反射折射系统 193
6.5.1 总体系统结构 194
6.5.2 成像和标定模型 195
参考文献 196
第7 章 单目多图像场景恢复 199
7.1 单目图像场景恢复 200
7.2 由光照恢复形状 201
7.2.1 物体亮度和图像亮度 202
7.2.2 表面反射特性和亮度 205
7.2.3 物体表面朝向 207
7.2.4 反射图和图像亮度约束方程 209
7.2.5 图像亮度约束方程求解 211
7.3 由运动恢复形状 215
7.3.1 光流和运动场 215
7.3.2 光流场和光流方程 217
7.3.3 光流方程求解 219
7.3.4 光流与表面取向 225
7.3.5 光流与相对深度 227
7.4 由分割轮廓恢复形状 228
7.5 光度立体技术综述 230
7.5.1 光源标定 230
7.5.2 非朗伯表面反射模型 231
7.5.3 彩色光度立体 232
7.5.4 3D重建方法 233
7.6 基于GAN的光度立体 234
7.6.1 网络结构 234
7.6.2 损失函数 235
参考文献 236
第8章 单目单图像场景恢复 241
8.1 由影调恢复形状 242
8.1.1 影调与形状 242
8.1.2 图像亮度方程求解 245
8.2 由纹理恢复形状 251
8.2.1 单目成像和纹理畸变 252
8.2.2 由纹理变化恢复表面朝向 254
8.2.3 纹理消失点检测 260
8.3 由焦距确定深度 265
8.4 根据三点透视估计位姿 267
8.4.1 三点透视问题 267
8.4.2 迭代求解 268
8.5 混合表面透视投影下的由影调恢复形状 269
8.5.1 改进的Ward反射模型 269
8.5.2 透视投影下的图像亮度约束方程 270
8.5.3 图像亮度约束方程求解 272
8.5.4 基于Blinn-Phong反射模型的方程 273
8.5.5 新图像亮度约束方程求解 274
参考文献 276
第9章 广义匹配 278
9.1 匹配介绍 279
9.1.1 匹配策略 279
9.1.2 匹配算法分类 280
9.1.3 匹配评价 281
9.2 目标匹配 282
9.2.1 匹配的度量 282
9.2.2 对应点匹配 285
9.2.3 惯量等效椭圆匹配 286
9.3 动态模式匹配 288
9.3.1 匹配流程 288
9.3.2 绝对模式和相对模式 289
9.4 匹配和配准 291
9.4.1 配准的实现 291
9.4.2 基于特征匹配的异构遥感图像配准 293
9.4.3 基于空间关系推理的图像匹配 294
9.5 关系匹配 295
9.6 图同构匹配 298
9.6.1 图论简介 298
9.6.2 图同构和匹配 301
9.7 线条图标记和匹配 304
9.7.1 轮廓标记 304
9.7.2 结构推理 305
9.7.3 回朔标记 307
9.8 多模态图像匹配 308
9.8.1 基于区域的技术 308
9.8.2 基于特征的技术 310
参考文献 312
第10章 同时定位和制图 317
10.1 SLAM概况 318
10.1.1 激光SLAM 318
10.1.2 视觉SLAM 321
10.1.3 对比和结合 323
10.2 激光SLAM算法 324
10.2.1 Gmapping算法 324
10.2.2 Cartographer算法 326
10.2.3 LOAM算法 330
10.3 视觉SLAM算法 331
10.3.1 ORB-SLAM算法系列 331
10.3.2 LSD-SLAM算法 336
10.3.3 SVO算法 341
10.4 群体机器人和群体SLAM 343
10.4.1 群体机器人的特性 344
10.4.2 群体SLAM要解决的问题 344
10.5 SLAM的一些新动向 345
10.5.1 SLAM与深度学习的结合 345
10.5.2 SLAM与多智能体的结合 346
参考文献 347
第11 章 时空行为理解 354
11.1 时空技术 355
11.1.1 新的研究领域 355
11.1.2 多个层次 356
11.2 动作分类和识别 357
11.2.1 动作分类 358
11.2.2 动作识别 360
11.3 主体与动作联合建模 363
11.3.1 单标签主体?动作识别 363
11.3.2 多标签主体?动作识别 364
11.3.3 主体?动作语义分割 365
11.4 活动和行为建模 368
11.4.1 动作建模 369
11.4.2 活动建模和识别 373
11.4.3 基于关节点的行为识别 378
11.5 异常事件检测 381
11.5.1 自动活动分析 381
11.5.2 异常事件检测方法分类 383
11.5.3 基于卷积自编码器的检测 386
11.5.4 基于单类神经网络的检测 387
参考文献 388
主题索引 392
书单推荐
