本书针对分布式机器学习中网络通信、在线学习、隐私保护等问题，研究无中心的分布式优化算法。主要内容包括：①分布式一阶梯度算法，提出在线学习的自适应次梯度算法和随机块坐标的次梯度投影算法、自适应最小最大优化算法，旨在研究分布式的优化算法，理论分析所提算法的收敛性能；②分布式无投影梯度算法，提出随机块坐标无投影梯度算法、面向子模最大化问题的分布式在线学习无投影算法，旨在降低计算代价，加快模型训练速度；③零阶算法，提出子模最大化的分布式随机块坐标Frank-Wolfe算法，解决了高维约束优化问题的梯度计算问题。
更多科学出版社服务，请扫码获取。
发表多篇高水平论文，先后获得多项省部级奖励
目录
“信息科学技术学术著作丛书”序
前言
第1章 绪论 1
1.1 机器学习 1
1.2 机器学习优化算法的发展 5
1.3 分布式多智能体系统 8
1.4 本章小结 10
参考文献 10
第2章 分布式在线学习的自适应次梯度算法 11
2.1 引言 11
2.2 基本概念与定义 13
2.2.1 符号 13
2.2.2 图论 14
2.2.3 随机矩阵 14
2.2.4 凸函数 14
2.3 问题描述与算法设计 15
2.3.1 问题描述 15
2.3.2 算法设计 15
2.4 算法相关假设与收敛结果 17
2.5 算法收敛性能分析 18
2.6 仿真实验 32
2.6.1 实验设置 32
2.6.2 实验结果与分析 39
2.7 本章小结 39
参考文献 39
第3章 分布式随机块坐标无投影梯度算法 43
3.1 引言 43
3.2 问题描述与算法设计 47
3.2.1 问题描述 47
3.2.2 算法设计 47
3.3 算法相关假设与收敛结果 49
3.4 算法收敛性能分析 52
3.5 仿真实验 66
3.5.1 实验描述——多类别分类问题 66
3.5.2 实验结果与分析 66
3.6 本章小结 68
参考文献 68
第4章 面向子模最大化问题的分布式在线学习无投影算法 73
4.1 引言 73
4.2 基本概念与定义 75
4.3 问题描述与算法设计 76
4.3.1 问题描述 76
4.3.2 算法设计 77
4.4 算法相关假设与收敛结果 80
4.5 算法收敛性能分析 82
4.5.1 对抗性在线设置 83
4.5.2 随机在线设置 103
4.6 仿真实验 108
4.7 本章小结 110
参考文献 111
第5章 隐私保护的分布式随机块坐标次梯度投影算法 114
5.1 引言 114
5.2 问题描述、算法设计与假设 116
5.3 算法收敛结果 119
5.4 算法收敛性能分析 122
5.5 仿真实验 141
5.6 本章小结 144
参考文献 144
第6章 基于一致性的分布式自适应最小最大优化算法 148
6.1 引言 148
6.2 算法设计和假设 150
6.2.1 DADAMC算法设计 150
6.2.2 算法相关假设、引理与收敛结果 152
6.3 算法收敛性能分析 155
6.4 仿真实验 167
6.4.1 实验环境 167
6.4.2 实验结果与分析 167
6.5 本章小结 170
参考文献 170
第7章 子模最大化的分布式随机块坐标Frank-Wolfe算法 173
7.1 引言 173
7.2 问题描述与算法设计 175
7.3 算法相关假设与收敛结果 177
7.4 算法收敛性能分析 179
7.5 仿真实验 189
7.6 本章小结 191
参考文献 191
第8章 分布式机器学习优化算法发展与展望 196
8.1 存在的问题与挑战 196
8.2 发展趋势 197
参考文献 197
书单推荐
