异策略安全约束强化学习 国防工业出版社 当当图书 杨奇松,常燕等

定　　价：88 元

• 作者：杨奇松，常燕，武健，李邦杰，王顺宏，赵久奋 著;
• 出版时间：2025/7/1
• ISBN：9787118137071
• 出 版 社：国防工业出版社

• 中图法分类：TP181 
• 纸张：胶版纸
• 开本：16开

内容简介

本书聚焦强化学习应用安全性，深入探讨强化学习框架内安全风险控制与训练安全。介绍 Worst - Case Soft Actor Critic（WCSAC）算法，分析累积安全成本分布、引入条件风险值平衡奖励与安全；讲解估计安全成本分布的高斯近似法和分位数回归法及其实验效果；阐述 Constrained Entropy Maximization（CEM）算法，学习安全前提下均匀访问状态的探索策略；介绍 Safe Guide（SaGui）框架，通过正则化快速迁移安全策略、促进目标任务学习。研究为强化学习现实应用提供新视角方法，适合强化学习、人工智能安全等领域研究人员、工程师及高校师生，对关注复杂环境安全决策与优化者有参考价值 。

目 录

目录第一部分 绪 论第 1 章 引言

1.1 安全定义及算法
1.1.1 安全约束强化学习
1.1.2 安全强化学习分类
1.1.3 测试基准环境
1.2 安全风险规避
1.3 训练安全保证
1.4 关键问题
1.5 全书概览
1.6 参考文献

第 2 章 背景

2.1 约束马尔可夫决策过程
2.2 约束最大熵强化学习
2.3 值分布强化学习
2.4 无模型状态熵估计
2.5 参考文献

第二部分 安全风险规避第 3 章 安全强化学习

3.1 引言
3.2 风险规避问题定义
3.3 WCSAC 强化学习算法
3.3.1 值分布安全评估
3.3.2 策略更新
3.3.3 完整算法
3.4 实证分析
3.5 结论
3.6 参考文献

第 4 章 安全风险控制

4.1 引言
4.2 分位数回归安全成本分布
4.2.1 基于 IQN 的安全评估
4.2.2 基于样本均值的 CVaR 安全度量
4.2.3 完整算法
4.3 实证分析
4.3.1 SpyGame 环境
4.3.2 Safety Gym 环境
4.4 相关工作
4.5 结论
4.6 参考文献

第三部分 训练安全保证第 5 章 安全迁移强化学习

5.1 引言
5.2 源任务先验获取
5.2.1 迁移问题设置
5.2.2 迁移度量
5.2.3 方法概览
5.3 引导式安全探索
5.3.1 训练安全向导
5.3.2 安全向导中的策略提炼
5.3.3 复合采样
5.4 实证分析
5.4.1 超参数
5.4.2 消融试验
5.4.3 基线算法对比试验
5.5 相关工作
5.6 结论
5.7 参考文献

第 6 章 安全无监督探索

6.1 引言
6.2 任务不可知安全探索
6.3 约束熵最大化方法
6.3.1 传统方法可行性分析
6.3.2 约束熵最大化的对偶性
6.3.3 CEM 算法
6.3.4 收敛保证
6.4 实证分析
6.4.1 安全探索能力评估
6.4.2 参数敏感性
6.4.3 安全迁移学习的评估
6.5 相关工作
6.6 结论
6.7 参考文献

第四部分 结 语第 7 章 结论

7.1 关键结论
7.2 局限和未来工作
7.3 其他应用难题
7.4 参考文献