在科技蓬勃发展的今天，机器人技术犹如一颗璀璨的明星，照亮着人类探索未知世界的道路。而在机器人技术中，三维视觉技术扮演着至关重要的角色，它赋予了机器人看世界的能力，让机器人能够更深入地理解并交互我们所处的三维空间。特别是在智能制造领域，机器人三维视觉可以推动智能化生产，提升机器人的感知与控制能力，实现高精度的定位、加工控制与质量检测等功能，展现了巨大的市场潜力。例如，在上下料工序，利用三维视觉技术，机器人可以对不规则摆放的物体进行准确抓取，提高抓取的成功率和效率，这在仓储自动化、物流处理等领域具有重要意义。在质量控制方面，通过机器人三维视觉技术对产品进行高效高精度的三维扫描和建模，实现对产品质量的实时监控和检测，替代烦琐的人工操作，提高生产效率和产品质量。在机械加工方面，机器人三维视觉技术能够实时定位工件姿态，感知和监测加工过程，通过获取的数据进行分析和处理，为加工流程的优化提供指导，从而提升制造质量。机器人的这些优势将共同推动智能制造的发展，提升制造业的智能化水平和竞争力。
三维视觉技术是机器人感知环境和实现复杂任务的重要基础，但机器人三维视觉技术不同于单纯的视觉技术和机器人技术，需要同时考虑机器人运动学与视觉成像等多方面的技术，才能使三维视觉传感器和机器人更好地融合与协作。例如要实现汽车轮毂、电控端盖等多品种无序零件的批量质量检测，进行机器人测量路径自动规划时，既要考虑机器人关节极限、可达性、灵巧性、避障等因素，也要考虑三维视觉传感器视场角、视角、景深、可视性等因素。基于此，本书从视觉成像、系统标定、路径规划、点云融合、数据处理与目标检测六个方面展开，将机器人三维视觉技术系统化。
全书共8章，在阐述了机器人三维技术基本原理的基础上，也总结了笔者团队多年来的研究成果、应用案例与国内外最新进展。第1章介绍了结构光、激光雷达等工业上常见的三维视觉传感器的成像原理及特点，为读者在不同应用场景选择传感器提供技术参考；第2章介绍了位姿描述和齐次变换、操作臂正逆运动学、微分运动与雅可比矩阵等机械臂运动相关的基础知识；第3章介绍了机器人视觉系统标定技术，指导如何通过位姿误差传递建模、辨识与补偿精确获取传感器与机械臂之间的空间位姿；第4章介绍了机器人测量路径规划技术，包含传感器视点规划和机械臂运动路径技术，以实现测量数据获取的全面性、准确性或效率等目标；第5章介绍了多视角点云融合技术，以此将来自不同视角或不同时间点的点云数据进行精确对齐，重建出物体的完整三维模型；第6章介绍了精简、去噪光顺等点云处理技术；第7章从点、图像、点-图像三个角度介绍了常见的三维目标检测技术。第8章介绍了视觉引导的机器人上下料、坡口切割、铣削切边、质量检测、导航建图等应用案例。
本书第1章由钟富强撰写，第2、3章由王刚撰写，第4、5章由彭伟星撰写，第6、7 章由谢核撰写，第8章由谢核、王刚、钟富强等共同撰写。
本书内容的研究得到了国家重点研发计划项目智能机器人专项(多机器人协同制造中的自主智能与群智涌现，2023YFB4704800)、国家自然科学基金重大项目(面向重大装备制造的集群机器人协同控制基础理论与关键技术研究，62293512)等项目的资助。
机器人视觉技术发展日新月异，很多理论与应用问题还有待进一步深入研究，由于笔者学识有限，书中还有许多不足之处，敬请读者和专家批评指正。
编著者
第1章机器人三维视觉成像技术 001
1.1立体视觉技术 002
1.1.1系统标定 002
1.1.2立体匹配 004
1.1.3三维点重建 006
1.2结构光技术 007
1.2.1基于相移法的结构光技术 007
1.2.2基于格雷码法的结构光技术 010
1.2.3基于散斑法的结构光技术 014
1.3线激光扫描三维成像技术 015
1.3.1系统的标定 016
1.3.2激光轮廓中心线的提取 018
1.4激光雷达三维成像技术 019
1.4.1直接脉冲飞行时间测量法 019
1.4.2幅度调制连续波测量法 020
1.4.3频率调制连续波测量法 021
1.4.4激光雷达的扫描方式 021
1.53D 点云和2D 图像的融合成像技术 022
参考文献 024
第2章操作臂运动学 026
2.1位姿描述和齐次变换 026
2.1.1位姿描述 027
2.1.2齐次变换 029
2.1.3欧拉角与旋转变换 029
2.2操作臂正运动学 032
2.2.1连杆参数 032
2.2.2连杆变换 033
2.2.3操作臂正运动学方程 035
2.3操作臂逆运动学 038
2.3.1几何解法 039
2.3.2代数解法 039
2.4操作臂的速度雅可比矩阵与微分运动 043
2.4.1雅可比矩阵 043
2.4.2速度雅可比矩阵 045
2.4.3伴随矩阵 047
2.4.4微分运动 049
2.5刚体运动的四元数表达 052
2.5.1刚体运动 052
2.5.2双四元数 054
2.6本章小结 055
参考文献 055
第3章机器人视觉系统标定与误差补偿 057
3.1单机器人测量-作业系统的误差传递建模 057
3.1.1作业系统运动链构建 058
3.1.2曲面作业误差定义 059
3.1.3运动学误差模型 061
3.1.4关节刚度误差模型 062
3.1.5工件/工具误差传递模型 064
3.2机器人手眼标定 065
3.2.1标定物坐标系建立 066
3.2.2目标函数为AX＝XB 的手眼标定 067
3.2.3目标函数为AX＝YB 的手眼标定 069
3.3单机器人系统运动学误差辨识与补偿 071
3.3.1机器人运动学误差以及手眼误差建模 071
3.3.2运动学误差与手眼误差辨识 074
3.3.3非标准旋转矩阵最佳正交化计算 075
3.4双机器人测量系统同步标定 077
3.4.1双机器人测量-作业系统标定模型建立 077
3.4.2姿态转换矩阵求解封闭式同步求解方法 078
3.4.3姿态转换矩阵求解数值迭代求解方法 082
3.5双机器人系统误差辨识与补偿 086
3.5.1误差源分析建模 086
3.5.2误差辨识与推导 087
3.5.3位姿误差补偿模型 088
3.6本章小结 091
参考文献 091
第4章机器人测量路径规划 092
4.1测量扫描仪可视锥模型 092
4.1.1球笼型三维扫描仪可视锥模型 092
4.1.2三维面结构光扫描仪可视锥模型 093
4.2基于先验模型的视点规划 095
4.2.1基于先验模型表面采样与候选视点集的生成 095
4.2.2候选视点评估 097
4.3无模型视点规划 098
4.3.1基于体素模型效益函数的视点规划 098
4.3.2基于体素信息增益度量的视点规划 100
4.3.3基于曲面边界的视点规划 104
4.4机器学习视点规划 106
4.4.1基于深度学习的视点规划方法 106
4.4.2基于深度强化学习的视点规划方法 110
4.5测量路径规划模型 115
4.5.1基于捕食者-猎物的面阵扫描仪覆盖路径规划方法 115
4.5.2基于蚁群算法的面阵扫描仪覆盖路径规划方法 117
4.6本章小结 118
参考文献 118
第5章多视角点云配准 120
5.1点云及配准的基本概念 120
5.1.1点云数据采集 120
5.1.2点云配准概述 121
5.2全局粗配准 123
5.2.1点云特征提取 123
5.2.2点云特征匹配及位姿解算 126
5.3基于迭代最近点（ICP）的点云配准 127
5.3.1点云配准数学基础 127
5.3.2ICP 129
5.3.3点面ICP 130
5.3.4GICP 131
5.3.5VGICP 134
5.4基于神经网络的点云配准 136
5.4.1点云特征提取网络 137
5.4.2点云配准网络 139
5.5多视角点云配准 145
5.5.1问题定义 145
5.5.2基于成对点云配准的多视角点云配准 145
5.5.3基于概率模型的多视角点云配准 146
5.5.4基于深度学习的多视角点云配准 149
5.6本章小结 153
参考文献 153
第6章三维点云数据处理 155
6.1点云精简与点云下采样 155
6.1.1概述 155
6.1.2随机下采样 156
6.1.3体素下采样 157
6.1.4均匀下采样 159
6.1.5曲率下采样 161
6.2点云光顺与点云去噪 163
6.2.1概述 163
6.2.2点云半径滤波 165
6.2.3点云统计滤波 167
6.2.4局部异常因子LOF 168
6.2.5聚类法点云去噪 170
6.2.6点云平滑滤波 172
6.2.7点云拉普拉斯滤波 174
6.2.8点云双边滤波 175
6.2.9基于移动最小二乘的点云光顺 178
6.2.10RIMLS 179
6.3本章小结 182
参考文献 182
第7章三维目标检测 184
7.1基于点云的三维目标检测方法 185
7.1.1基于点的三维目标检测方法 186
7.1.2基于网格的三维目标检测方法 197
7.1.3基于点-体素融合的三维目标检测方法 205
7.2基于图像的三维目标检测方法 209
7.2.1基于单目图像的三维目标检测方法 210
7.2.2基于多视图的三维目标检测方法 216
7.3基于点云-图像多模态融合的三维目标检测方法 221
7.3.1前期融合 222
7.3.2特征融合 224
7.3.3后期融合 228
7.4本章小结 230
参考文献 231
第8章应用实例介绍 234
8.1视觉引导的机器人上下料 234
8.1.1硬件组成及系统标定 234
8.1.2视觉定位 235
8.1.3机器人抓取路径规划 239
8.2视觉引导的机器人等离子坡口切割 241
8.2.1视觉引导的机器人坡口系统设计 242
8.2.2机器人坡口系统关键几何参数整体优化 243
8.2.3基于坡口特征精确识别的机器人切割路径补偿 246
8.2.4机器人高精度坡口寻位软件开发与应用 250
8.3大型薄壁蒙皮机器人铣削切边 253
8.3.1蒙皮加工关键技术 253
8.3.2刀具轨迹生成与光顺优化 253
8.3.3多约束下机器人姿态优化 258
8.3.4蒙皮铣削加工案例 262
8.4航空叶片机器人三维视觉检测 263
8.4.1机器人测量系统手眼标定 264
8.4.2机器人测量位姿规划 265
8.4.3航空叶片截面特征参数提取 267
8.4.4航空叶片截面特征参数软件 270
8.5移动机器人双目视觉惯性SLAM 272
8.5.1数据预处理 273
8.5.2初始化 275
8.5.3基于滑动窗口的局部BA 优化 276
8.5.4回环检测 278
8.5.5实验验证 278
参考文献 280
书单推荐
