本书系统深入地论述了机器学习与水声目标识别的理论和方法,内容从基础理论到实际应用,涵盖了复杂海洋环境下水声目标特性、机器学习与水声目标识别的基本理论、经典机器学习算法在水声目标识别中的应用、专用深度学习水声目标识别方法、类脑听觉深度学习水声目标识别方法及水声目标深度识别网络的可视化与可解释;并详细论述了面向边缘设备的水声目标深度学习识别系统的设计、部署与优化策略。本书还提供了丰富的实战算法与工程实践案例。 本书可作为高等院校人工智能、水声工程等专业的课程参考书,也可供计算机信息处理、水声信号处理等领域从事人工智能、模式识别、机器学习、数据挖掘工作的学者、工程师等参考。
杨宏晖,博士学位,西北工业大学副教授,博士生导师。分别于1992年、1998年和2006年在西北工业大学获得本科学位、硕士学位和博士学位。2000—2003年在英国XN有限公司新加坡研发中心从事计算机系统设计。2009年在美国著名大脑神经影像研究所The Mind Research Network任访问学者。二十年来围绕人工智能、机器学习、深度学习与大数据分析、水声目标识别、工业图像识别等方向开展研究工作,突破类脑智能+水声目标感知与认知关键技术,突破工业图像极微弱缺陷检测技术。主持国家级、省部级、地市级项目近30项。发表高水平学术论文60余篇,出版著作6部。主讲工信部硕博士特色优质课程“机器学习与声信号处理”。
第1章 水声目标识别基本原理 1
1.1 水声目标识别系统 1
1.2 基于机器学习的水声目标识别系统的工作原理 2
1.3 水声目标特征提取 2
1.3.1 时域波形结构特征提取 2
1.3.2 频域谱特征提取 2
1.3.3 时频分析特征提取 2
1.3.4 听觉感知特征提取 3
1.4 水声目标特征选择 3
1.5 水声目标识别的分类器设计 3
1.6 基于深度学习的水声目标识别 4
1.7 基于类脑智能的水声目标识别 4
1.8 本章小结 4
参考文献 5
第2章 海洋中的声音 7
2.1 声音的基本概念 7
2.1.1 声音 7
2.1.2 声音的基本参量 7
2.2 海洋噪声综述 8
2.2.1 海洋中的声音类型 8
2.2.2 舰船辐射噪声 9
2.2.3 海洋哺乳动物叫声 10
2.3 船舶类型及分类规则 14
2.3.1 劳埃德船级社船舶类型划分方法 14
2.3.2 按照国际海事组织规定进行船舶类型划分 16
2.4 海洋声环境特性 22
2.4.1 海洋声传播损失 22
2.4.2 海洋声传播理论 23
2.4.3 海洋声信道特性 24
2.5 海洋环境噪声特性 28
2.6 舰船辐射噪声特性 29
2.6.1 舰船辐射噪声的组成及特性 29
2.6.2 船舶工况对舰船辐射噪声特性的影响 31
2.6.3 基于特征分析的舰船辐射噪声特性分析 33
2.7 海洋哺乳动物叫声特性 41
2.8 本书使用的水声目标数据 42
2.8.1 舰船辐射噪声数据 42
2.8.2 海洋哺乳动物叫声数据 43
2.9 本章小结 44
参考文献 44
第3章 机器学习基础 46
3.1 机器学习的概念 46
3.1.1 机器学习问题 46
3.1.2 机器学习算法的分类 46
3.2 回归分析的含义、分类及应用 46
3.3 一元线性回归算法 47
3.3.1 一元线性回归模型 47
3.3.2 损失函数 47
3.3.3 一元线性回归应用实例 48
3.4 一元线性回归梯度下降求解方法 49
3.4.1 随机梯度下降法 50
3.4.2 批量梯度下降法 50
3.4.3 小批量梯度下降法 50
3.5 多元线性回归算法 51
3.5.1 多元线性回归原理 51
3.5.2 多元线性回归应用实例 52
3.6 逻辑回归算法 53
3.6.1 逻辑回归原理 53
3.6.2 逻辑回归应用实例 55
3.7 常用的机器学习算法评价指标 55
3.7.1 欠拟合与过拟合 55
3.7.2 机器学习模型的性能评价指标 56
3.8 本章小结 60
第4章 水声目标特征提取 61
4.1 水声目标时频域特征提取方法 61
4.1.1 波形结构特征 61
4.1.2 小波变换特征 61
4.2 水声目标听觉特征提取方法 63
4.2.1 心理声学参数特征 63
4.2.2 听觉谱特征 64
4.3 水声目标特征提取实验 65
4.4 本章小结 65
第5章 水声目标特征选择与压缩 66
5.1 水声目标特征选择定义 66
5.1.1 特征相关性定义 66
5.1.2 特征选择定义 67
5.2 特征选择过程 67
5.2.1 特征子集生成 67
5.2.2 特征子集评价 69
5.2.3 特征子集搜索的终止 70
5.2.4 选择结果确认 70
5.3 特征选择方法及算法实现 70
5.3.1 滤波式 70
5.3.2 封装式 71
5.3.3 混合式 72
5.3.4 嵌入式 73
5.4 特征选择算法的评价指标 73
5.4.1 特征选择算法的两个重要参数 73
5.4.2 特征选择算法的稳定性评价指标 73
5.5 本章小结 75
第6章 基于支持向量机的水声目标分类 76
6.1 统计学习理论 76
6.1.1 统计学习理论的研究背景 76
6.1.2 机器学习模型 77
6.1.3 经验风险最小化原则 77
6.1.4 统计学习理论的核心内容 78
6.2 支持向量机水声目标识别原理 80
6.2.1 线性支持向量机 80
6.2.2 非线性支持向量机 82
6.2.3 SVM多类分类算法 83
6.3 支持向量机分类器的分类性能估计 83
6.4 支持向量机核函数及其参数选择与实验 84
6.4.1 SVM核函数及其参数的选择算法 84
6.4.2 水声目标数据的SVM核函数及其参数选择实验 85
6.5 水声目标识别实验 90
6.5.1 水声目标数据的分类识别实验 90
6.5.2 公共数据集SVM分类识别实验 91
6.5.3 实验结论 92
6.6 本章小结 93
第7章 基于单类分类支持向量机的水声目标半监督识别方法 94
7.1 单类分类支持向量机原理与算法实现 94
7.1.1 单类分类支持向量机算法 94
7.1.2 支持向量数据描述算法 96
7.1.3 等价条件分析 97
7.2 参数C、σ对分界面的影响 98
7.2.1 错分惩罚因子C对分界面的影响 98
7.2.2 RBF核函数参数σ对分界面的影响 99
7.2.3 SVDD参数选择实验 100
7.3 基于Tri-training的半监督SVDD算法与实验 102
7.3.1 Tri-SVDDE算法 102
7.3.2 基于Tri-SVDDE算法的水声目标识别实验 103
7.4 本章小结 105
第8章 水声目标集成学习识别方法 106
8.1 分类器集成概述 106
8.2 经典分类器集成方法 107
8.2.1 个体分类器构成 107
8.2.2 个体分类器集成 109
8.3 用于水声目标识别的分类器选择性集成算法及实验 110
8.4 基于SVDD集成的水下目标识别 112
8.4.1 SVDD分类器的Bagging集成 113
8.4.2 基于SVDD的多类水下目标识别算法 115
8.5 本章小结 119
第9章 深度学习识别模型基础 120
9.1 深度神经网络基本算法模块 120
9.1.1 人工神经元 120
9.1.2 全连接神经网络 120
9.1.3 自编码器 121
9.1.4 受限玻耳兹曼机 121
9.1.5 循环神经网络及其变体 123
9.1.6 卷积层及其变体 127
9.1.7 池化层 130
9.1.8 全局池化层 131
9.1.9 注意力模块 131
9.1.10 生成对抗网络 133
9.1.11 批量归一化 137
9.1.12 随机失活 138
9.2 经典激活函数的功能与特点 138
9.2.1 Sigmoid激活函数 138
9.2.2 tanh激活函数 138
9.2.3 ReLU激活函数及其变体 139
9.2.4 Softmax激活函数 140
9.3 经典损失函数构建方法与性能 141
9.3.1 平方损失 141
9.3.2 均方误差 141
9.3.3 绝对误差 141
9.3.4 平均绝对误差 141
9.3.5 平均绝对百分比误差 141
9.3.6 对数损失函数 142
9.3.7 交叉熵 142
9.4 深度神经网络的优化算法 142
9.4.1 梯度下降算法 142
9.4.2 批量梯度下降算法 143
9.4.3 随机梯度下降算法 143
9.4.4 小批量梯度下降算法 143
9.4.5 动量梯度下降算法 144
9.4.6 涅斯捷罗夫梯度加速算法 144
9.4.7 自适应的梯度下降算法 145
9.4.8 均方根传递 145
9.4.9 自适应矩估计算法 146
9.5 深度学习识别算法的评价指标 147
9.5.1 混淆矩阵 147
9.5.2 P-R曲线 147
9.5.3 F1分数 147
9.5.4 ROC曲线 148
9.5.5 AUC 149
参考文献 149
第10章 用于水声目标识别的深度学习方法、算法及实验 150
10.1 基于深度置信网络的水声目标识别 150
10.1.1 基于深度置信网络的水声目标识别原理 150
10.1.2 竞争深度置信水声目标识别原理 156
10.1.3 实验结果及分析 159
10.2 基于深度卷积神经网络的水声目标识别 160
10.2.1 基于深度卷积神经网络的水声目标识别原理 160
10.2.2 舰船个体识别实验 162
10.2.3 舰船个体识别实验结果及分析 163
10.2.4 水声通信调制识别实验 164
10.2.5 水声通信调制识别实验结果及分析 166
10.3 用于水声目标识别的时、频、空域注意力深度学习 167
10.3.1 基于通道注意力的水声目标识别原理 167
10.3.2 基于空间注意力的水声目标识别原理 169
10.3.3 基于频率注意力的水声目标识别原理 170
10.3.4 基于倍频注意力的水声目标识别原理 171
10.3.5 实验数据及实验设置 173
10.3.6 实验结果及分析 174
10.4 用于水声目标识别的时、频、空域自注意深度学习 180
10.4.1 基于水声特征通道自注意力机制的水声目标识别原理 180
10.4.2 基于水声特征时频自注意力机制的水声目标识别原理 182
10.4.3 基于水声特征频率自注意力机制的水声目标识别原理 182
10.4.4 实验数据及实验设置 183
10.4.5 实验结果及分析 184
10.5 基于深度递归神经网络的水声目标识别 189
10.5.1 基于深度递归神经网络的水声目标识别原理 189
10.5.2 水声目标识别实验 192
10.5.3 实验结果及分析 192
10.6 本章小结 193
第11章 基于深度集成学习的水声目标识别方法 194
11.1 深度神经网络集成学习理论和方法 194
11.1.1 机器学习集成学习方法 194
11.1.2 结合方法 194
11.1.3 集成模型的性能影响因素 195
11.2 深度神经网络集成学习的评价准则 196
11.3 基于多样性度量选择性集成的深度水声目标识别方法 197
11.3.1 选择性集成学习方法 197
11.3.2 基于多样性度量的识别模型子集选择算法 198
11.4 基于多样性度量选择性集成的深度水声目标识别实验 199
11.4.1 实验方法 199
11.4.2 实验结果及分析 199
11.5 本章小结 203
参考文献 203
第12章 基于图神经网络的水声目标识别方法 204
12.1 图神经网络基本原理 204
12.1.1 图的表示和性质 204
12.1.2 基于谱的图卷积方法 206
12.2 水声目标特征图构建 209
12.2.1 水声目标识别深度特征提取 209
12.2.2 水声目标识别人工提取特征 210
12.2.3 水声目标识别特征图的构建方法 212
12.3 基于图神经网络的水声目标识别多特征融合及识别系统 213
12.3.1 图神经网络结构及参数设置 213
12.3.2 构建图神经网络的输入 214
12.3.3 多特征融合及调制方式识别 215
12.4 基于图神经网络的水声目标识别实验 215
12.4.1 不同特征子集对识别性能的影响分析实验 215
12.4.2 特征图边关系对识别性能的影响分析实验 218
12.4.3 实测数据上的调制识别实验 219
12.5 本章小结 220
参考文献 220
第13章 水声目标深度识别网络可视化与可解释 222
13.1 水声目标深度识别网络的可视化与可解释概述 222
13.1.1 深度学习可视化与可解释的目的及意义 222
13.1.2 深度学习可视化与可解释的原理 222
13.2 水声目标深度识别网络可视化与可解释方法和实验 223
13.2.1 加权梯度类激活映射方法 225
13.2.2 最大激活方法 228
13.2.3 反卷积方法 231
13.2.4 基于特征降维t-SNE可视化方法 235
13.3 本章小结 237
参考文献 237
第14章 脑听觉感知及机制 238
14.1 人类大脑基本概念 238
14.2 人脑听觉系统 238
14.2.1 听觉外周 238
14.2.2 听觉中枢 239
14.3 脑听觉机制 240
14.3.1 听觉频率感知机制 240
14.3.2 音色感知机制 241
14.3.3 被动注意机制 242
14.3.4 主动选择性注意机制 244
14.4 本章小结 245
参考文献 245
第15章 基于类脑听觉深度学习的水声目标识别方法、算法及实验 246
15.1 基于神经竞争机制的深度水声目标识别 246
15.1.1 基于神经竞争机制的深度水声目标识别的原理 246
15.1.2 水声目标识别实验设计 249
15.1.3 水声目标识别实验结果及分析 249
15.2 基于听觉滤波机制的深度水声目标识别 253
15.2.1 基于听觉滤波机制的深度水声目标识别的原理 253
15.2.2 水声目标识别实验设计 255
15.2.3 水声目标识别实验结果及分析 256
15.3 基于深度频率分解机制的深度水声目标识别 258
15.3.1 基于深度频率分解机制的深度水声目标识别原理 258
15.3.2 水声目标识别实验设计 260
15.3.3 水声目标识别实验结果及分析 260
15.4 基于音色感知的深度水声目标识别 262
15.4.1 基于音色感知的深度水声目标识别原理 262
15.4.2 水声目标识别实验设计 263
15.4.3 水声目标识别实验结果及分析 264
15.5 基于多属性协同感知的深度水声目标识别 266
15.5.1 基于多属性协同感知的深度水声目标识别原理 266
15.5.2 水声目标识别实验设计 268
15.5.3 水声目标多属性协同感知实验结果及分析 269
15.6 类脑水声目标识别极深模型构建与优化 273
15.6.1 类脑水声目标识别极深模型原理 273
15.6.2 水声目标识别实验设计 275
15.6.3 水声目标识别实验结果及分析 276
15.7 基于听觉被动注意机制的水声目标识别 278
15.7.1 水声目标听觉被动注意理论与方法 278
15.7.2 水声目标听觉被动注意模型的损失函数构建及优化方法 279
15.7.3 单目标干扰条件下的水声目标识别实验设计 283
15.7.4 单目标干扰条件下的水声目标识别实验结果及分析 286
15.8 基于听觉主/被动融合注意的深度水声目标识别 295
15.8.1 多目标干扰条件下的水声目标识别问题 295
15.8.2 基于深度学习的水声目标听觉主/被动融合注意识别框架 296
15.8.3 水声目标听觉主动注意算法 298
15.8.4 多目标干扰条件下的决策方法 300
15.8.5 多目标干扰条件下的水声目标实验数据及模型 302
15.8.6 多目标干扰条件下的水声目标识别实验结果及分析 304
15.9 本章小结 307
第16章 面向边缘设备的水声目标深度学习识别 308
16.1 用于水声目标识别的边缘计算平台 308
16.2 轻量化水声目标识别深度学习模型 308
16.2.1 深度神经网络轻量化 309
16.2.2 轻量化网络结构设计 309
16.2.3 神经网络模型压缩 310
16.2.4 轻量化水声目标感知方法 314
16.3 水声目标深度识别网络模型网络剪枝方法 318
16.3.1 水声目标深度识别网络模型的权重剪枝与卷积核剪枝 318
16.3.2 剪枝识别模型的测试与评价 320
16.4 基于边缘计算平台的深度学习网络能耗剪枝方法 323
16.4.1 Jetson AGX Xavier计算平台 323
16.4.2 识别模型的推理速度 324
16.4.3 识别模型的推理能耗 327
16.4.4 基于推理能耗的识别模型卷积核剪枝方法 329
16.5 基于边缘计算平台的水声目标识别系统 331
16.5.1 硬件系统 331
16.5.2 软件系统 332
16.6 本章小结 334
参考文献 334