CCF 2024中国计算机科学技术发展报告大模型篇中国计算机学会_中国计算机学会_9787111786917

本书充分体现了对大模型技术发展中的新问题、前沿技术、交叉融合的思考，主要内容包括：大语言模型理论的研究进展与趋势、领域大模型的研究进展与趋势、大模型下的软件工程研究进展与趋势、数据准备与语言模型交叉技术的研究进展及发展趋势、大模型基础软件的研究进展与趋势、大模型时代智能音频信号处理的研究进展与趋势、大语言模型价值对齐的研究进展与趋势，以及基于大模型的智能体的理论、关键技术与展望。内容具有权威性、全面性和前沿性。本书主要供中国计算机学会会员了解2024年计算机大模型技术发展的最新动态，也非常适合计算机学者和从业者阅读与收藏。

计算机及其相关网络基础设施已经成为人类信息社会的重要基石，计算技术发展水平也成为衡量国家发展水平和竞争力的重要指标。《中国计算机科学技术发展报告》（简称《发展报告》）记录和见证了中国计算机领域的发展，所涉及的内容涵盖计算技术的诸多重要领域，展现了我国计算技术及相关领域的研究进展，可以帮助读者更完整地认识新时期面临的挑战和机遇，并指出新的开拓领域和方向。这几年大模型的研究和应用蓬勃发展，大语言模型、视觉大模型、多模态大模型取得了性能上的突破，在各行各业产生了广泛的影响。2024年的学科发展报告尤其体现了这一趋势：无论是在提出申请的报告还是在最终入选的报告中，大模型主题在数量上遥遥领先，主题覆盖了大模型理论、基础软件、智能体、安全、领域大模型和多模态大模型等。大模型的发展将推动上下游产业链如芯片、基础软件、高性能计算、计算机应用等方面的快速发展，给整个计算机行业带来新的变革和机遇。本年度《发展报告》的组织和策划工作得到了中国计算机学会各专业委员会和广大会员的大力支持与积极响应，共收到32份反映不同方向进展的报告申请。中国计算机学会学术工作委员会组织了多轮评审，遴选出具有代表性的高水平报告共22篇，其中通用领域14篇，大模型相关的8篇。在此，特别向本年度所有发展报告的执笔人表示感谢，也衷心感谢各专业委员会的主任和秘书的辛勤付出。中国计算机学会孙凝晖理事长、梅宏前理事长、唐卫清秘书长等对本报告的整理和出版给予了指导和支持，中国计算机学会学术工作委员会的委员在选题、组织、评审等方面不辞辛劳，学会秘书处协助处理了繁杂的事务性工作，在此一并表示感谢。陈文光中国计算机学会学术工作委员会主任

前言大语言模型理论的研究进展与趋势CCF人工智能与模式识别专业委员会1大语言模型理论概述：统计学习视角21.1大语言模型的理论框架21.2大语言模型的表达能力41.3大语言模型的泛化分析41.4大语言模型的优化算法62大语言模型的构建原则：理论指导实践82.1预训练理论及其启发82.2有监督微调理论及其启发102.3提示工程理论及其启发133大语言模型的涌现能力：数学机理分析143.1扩展法则机理分析153.2情境学习能力机理分析173.3思维链能力机理分析194结论20参考文献20作者简介26领域大模型的研究进展与趋势CCF人工智能与模式识别专业委员会1引言282领域大模型的构建流程292.1大模型评测292.2数据准备与设计332.3持续性知识注入382.4提示工程423领域大模型驱动的应用框架473.1工作流473.2大模型智能体484国内外领域大模型的典型实例544.1医疗领域554.2金融领域554.3法律领域564.4科研领域564.5商用领域565总结与展望57参考文献57作者简介66大模型下的软件工程研究进展与趋势CCF软件工程专业委员会1引言702软件工程领域大模型712.1软件工程领域的基础大模型722.2基于指令调优的软件工程领域大模型742.3软件工程领域大模型的评估753大模型辅助软件工程773.1大模型下的需求与设计773.2大模型下的代码辅助生成793.3大模型下的软件测试823.4大模型下的代码分析与检视843.5大模型下的软件运维853.6大模型下的漏洞工程864大模型下的开源生态884.1大模型加速开源生态的演进与技术创新884.2大模型使生态复杂性加剧884.3大模型促进软件泛在化与生态扩展895大模型下的软件工程挑战915.1整体层面的挑战915.2具体层面的挑战925.3软件工程大模型数据与评估的挑战995.4软件工程领域大模型在可信性方面的挑战1006总结100参考文献101作者简介110数据准备与语言模型交叉技术的研究进展及发展趋势CCF数据库专业委员会1引言1141.1初识基于语言模型的数据准备1151.2初识面向语言模型的数据准备1171.3报告结构1202基于语言模型的数据准备1202.1国内外研究现状1202.2基于传统方法的数据准备1212.3基于语言模型的数据发现1262.4基于语言模型的数据查询1292.5基于语言模型的数据融合1332.6基于语言模型的数据清洗1363面向语言模型的数据准备1393.1国内外研究现状1403.2面向预训练的数据准备1403.3面向指令微调的数据准备1453.4面向模型推理的数据准备1504发展趋势与展望1544.1基于语言模型的数据准备发展趋势与展望1544.2面向语言模型的数据准备发展趋势与展望1575结束语160参考文献161作者简介170大模型基础软件的研究进展与趋势CCF系统软件专业委员会1引言1722国内外研究和产业现状1742.1大模型训练微调软件1742.2大模型推理基础软件1802.3大模型开发工具链软件1872.4面向RAG的大模型数据管理基础软件1952.5大模型编排软件2032.6大模型操作系统2083国内学术研究及产业进展2133.1学术研究进展2133.2产业结构演化2154我国大模型基础软件研究的优势和挑战2164.1我国大模型基础软件研究优势2164.2我国大模型基础软件研究面临的挑战2175发展趋势与展望2185.1大模型训练框架走向多模态和异构融合2185.2加速大模型推理从“作诗”走向“作诗+做事”，赋能千行百业2195.3与平台特性、模型特征深入融合，大模型开发工具链软件向领域化发展2195.4数据管理向多模态和多层次发展，与传统数据存储系统进一步融合2205.5多智能体编排软件蓬勃发展，智能体与传统软件加速融合2206结束语221参考文献222作者简介233大模型时代智能音频信号处理的研究进展与趋势CCF语音对话与听觉专业委员会1引言2372音频表征学习2392.1传统声学特征2392.2深度学习表征2402.3自监督学习语音表征2413基于大模型的音频理解任务2463.1按标签类型分类2463.2按任务类型分类2473.3音频标签预测2483.4序列事件检测2493.5音频事件检测2493.6音频描述2503.7大模型时代的音频理解2503.8大模型时代的音频理解评估指标2514基于大模型的音频生成任务2524.1语音生成大模型2524.2音效生成2544.3音乐生成2555通用音频大模型进展2575.1通用音频大模型的3种形式2575.2基于编码器的通用音频大模型2585.3基于编码器-解码器的通用音频大模型2615.4基于解码器的通用音频大模型2625.5融合其他模态的通用音频大模型2665.6通用音频大模型的数据集建设2676未来研究趋势展望2687结束语269参考文献269作者简介278大语言模型价值对齐的研究进展与趋势CCF自然语言处理专业委员会1引言2801.1大语言模型概述2801.2价值对齐的概念与意义2811.3大语言模型的对齐方法与分类2831.4本文的组织形式2832国际研究现状2842.1整体研究方向与趋势2842.2价值对齐方法研究2842.3价值对齐评估与可解释性2893国内研究进展2923.1整体研究方向与趋势2923.2价值对齐方法研究2933.3价值对齐评估与可解释性2954国内外研究进展比较2974.1技术路线的共性2974.2技术路线的差异2984.3研究焦点与方法的比较2984.4应用领域与场景对比3005发展趋势与展望3015.1挑战与机遇3015.2研究趋势与创新方向3035.3对行业与社会的长远影响3056结束语307参考文献307作者简介315基于大模型的智能体：理论、关键技术与展望CCF自然语言处理专业委员会1引言3181.1智能体的背景介绍3181.2智能体的发展历程3181.3基于大模型的智能体的意义3201.4本文的组织安排3202基于大模型的智能体的框架结构3222.1感知模块3232.2规划模块3242.3记忆模块3252.4工具使用模块3273基于大模型的智能体的能力演化路径3293.1基座模型能力拓展3293.2智能体工作流编排3313.3自主探索与进化3333.4多智能体协同演化3333.5智能体标杆数据集3344基于大模型的智能体的应用范式3354.1单智能体范式3354.2多智能体协作范式3364.3人机交互范式3375智能体社会的环境与行为机制3385.1智能体的社会行为与人格3385.2模拟社会的运行环境3405.3使用智能体进行社会模拟3426总结和展望344致谢345参考文献345作者简介359

你还可能感兴趣

我要评论