《大数据分析基础》首先全面介绍了信息技术、计算机基础，以及计算机的起源与发展、计算机系统的组成、操作系统和文件管理等内容，然后深入探讨了Python编程的基础知识，包括编程环境、语法、流程控制、组合数据类型、函数和模块、常用的库等，并通过丰富的实操练习帮助读者掌握Python在文件管理、数据处理、科学计算等领域的应用能力。此外，本书涵盖了机器学习、大数据分析框架及国产大模型DeepSeek等内容，有助于读者建立从基础到前沿 的Python知识体系。本书包含丰富的代码示例和综合案例，可以帮助读者快速掌握大数据分析理论和实用的编程技能。
本书适用于高等院校计算机相关专业的学生、Python编程初学者，以及对数据科学、机器学习感兴趣的读者。
?构建从基础到前沿的知识体系，涵盖Python、机器学习及国产大模型
?以问题为导向，通过实战解析技术应用逻辑与设计初衷
?包含丰富代码示例与综合案例，强化实操技能掌握
?覆盖多行业场景，聚焦从数据到决策的落地能力培养
?架构设计聚焦数据友好型语法，突出实战脉络呈现
作者简介
李石明， 博士，毕业于中国科学技术大学，主要研究方向为大数据、电子政务、企业管理等学科的教学和研究工作；近年来，主持省部级以上课题4项，参与课题2项，出版《绿色未来： ESG视角下的碳信息披露与企业价值重塑》《电子商务专业办学特色的探索与实践》专著2部，《公司战略与风险管理》《Python编程：从入门到实践》等教材4部，公开发表SCI 、CSSCI及北大核心期刊论文12篇。
序言
在数字化浪潮席卷的今天，数据已无可争议地成为推动社会进步、经济繁荣与科技创新的核心要素。从微观的企业运营到宏观的国家治理，从日常生活的便捷化到科学研究的深化，数据的力量无处不在，其价值之巨大，堪比工业时代的原油。然而，正如原油须经提炼方能成为动力之源，数据的价值也需要通过深度挖掘、精准分析与有效转化方能显现。这正是大数据分析技术的魅力所在，也是《大数据分析基础》 一书的初衷与使命。
在大数据时代的背景下，培养具备跨学科视野、扎实技术基础与创新能力的人才何等重要。Python，这门融合了简洁性与强大功能的编程语言，凭借其丰富的开源生态与高效的开发效率，在大数据处理与分析领域大放异彩，已成为连接理论与实践、学术与产业的桥梁。《大数据分析基础》以Python为工具，旨在为读者搭建一个从理论到实践、从基础到进阶的全方位学习平台，助力大家在大数据的海洋中乘风破浪，探索未知。
大数据分析技术的应用，早已超越了单一行业的界限，它正以前所未有的速度渗透到金融、医疗、教育、政务、农业等各个领域，成为推动行业变革与升级的关键力量。然而，面对庞杂的技术栈与多变的应用场景，初学者往往感到无所适从，或是学了一堆技术却不知如何用于解决实际问题。《大数据分析基础》正是为了解决这一痛点而著，它摒弃了传统技术书籍单纯罗列知识点的做法，转而以问题为导向，以实战为脉络，通过一系列精心设计的案例，引导读者从真实场景出发，深入理解大数据分析的精髓。
书中，不仅详细介绍了Python编程的基础知识，包括数据友好型语法、 Pandas库的使用、Matplotlib与Seaborn的可视化技巧等，还深入探讨了机器学习、分布式计算、大模型构建等前沿话题。通过电商数据分析、社交媒体情感分析、财务大数据分析、政务大数据分析等真实案例，展示了如何将理论知识用于解决实际问题，实现从数据到商业价值的转化。这种“从数据到行动”的闭环思维，不仅能够帮助读者建立扎实的理论基础，更能够培养大家的实践能力和创新思维。
作为教育者，我深知一本好书对于学生成长的重要性。《大数据分析基础》不仅是一本技术书籍，更是一本启发思维、激发潜能的宝典。它鼓励读者先跑通代码，再优化细节；善用工具箱思维，掌握核心范式；从“为什么”到“怎么做”，培养批判性思维；加入社区，保持好奇心，持续精进。通过阅读本书，读者不仅能够掌握大数据分析的核心技能，更能够在实践中不断探索、不断创新，成为推动社会进步的重要力量。
最后，我衷心希望《大数据分析基础》能够成为广大读者探索数据世界的得力助手，助力大家在算法的海洋中锚定方向，在信息的洪流中捕捉价值。携手共进，在这场“解码世界”的旅程中，不断探索、不断前行，共同开创一个更加智慧、更加美好的未来。
黄恒学
2025年5月1 日写于北京大学廖凯原楼
前言
在数据驱动的时代，信息技术的每一次革新都在重塑人们的认知范式。从智能手机的普及到人工智能的突破，从物联网到云计算的泛在化，数据已成为推动社会发展的新“原油”。需要指出的是，数据的价值并非与生俱来—它必须经过挖掘、分析和转化，这正是大数据技术的核心使命。
Python作为一门兼具简洁性与强大功能的编程语言，凭借其丰富的开源生态和高效的开发效率，已成为大数据处理与分析领域的“通用语言”。无论是数据清洗、机器学习建模，还是实时流处理、分布式计算，都可以使用Python完成。《大数据分析基础》旨在帮助读者跨越理论与实践的鸿沟，掌握使用Python解决实际数据问题的能力。
本书特色
大数据技术的应用早已突破科技公司的边界，融入金融、医疗、教育、政务、农业等各个领域。零售企业需要通过用户行为数据分析优化库存，城市需要通过交通流量数据分析缓解拥堵，医院需要通过患者数据分析预测疾病风险……这些场景的共同点在于：数据是起点，决策才是终点。许多初学者往往陷入两种困境：一是被庞杂的技术栈(如Hadoop 、Spark 、Flink等)所困扰；二是学了一堆技术，却不知如何解决实际问题。
《大数据分析基础》的初衷即在于此—以问题为导向，以实战为脉络。本书摒弃了单纯罗列技术的写法，从真实场景出发，通过实操练习，让读者不仅学会“如何写代码”，而且理解“为什么这样设计”。例如，介绍文本分析时，会从社交媒体评论出发，逐步展示如何用Python提取关键词、分析情感倾向、定位问题根源，最终形成可落地的改进方案。这种“从数据到行动”的闭环思维，正是本书区别于其他相关技术书籍的核心特色。
本书的结构与主要内容
全书围绕基础、工具、应用、拓展四层架构展开，共分为三大部分。
(1) 第1部分“筑基篇—Python与数据科学的桥梁”共包含四章内容，帮助读者奠定知识基础。
第1章从信息技术的演进切入，解析大数据的5V(volume 、velocity 、variety 、veracity、value)特征，并探讨数据驱动决策的底层逻辑。
第2章和第3章深入介绍Python编程，但与传统编程语言书籍不同，本书聚焦“数据友好型”语法，如列表推导式处理多维数据、使用Pandas库实现类SQL操作、使用Matplotlib与Seaborn构建可视化叙事。
第4章揭开机器学习的神秘面纱，通过scikit-learn库的实战，阐释如何用Python训练一个预测模型，并重点讨论过拟合陷阱、特征工程等容易被忽视的实战要点。
(2) 第2部分“进阶篇—分布式计算与生态工具”共包含两章内容，引领读者初步认识工业级大数据处理领域。
第5章深入解析Hadoop与Spark架构设计，避免陷入配置参数细节，通过PySpark实例演示如何用Python调用分布式计算能力。例如，用弹性分布式数据集(RDD)处理TB级日志文件，用MLlib库构建分布式推荐系统。
第6章专章剖析国产大模型DeepSeek，包含从预训练数据集的构建到垂直领域的微调策略等大模型构建过程，并通过医疗影像分析、金融风控等案例，展现国产AI框架的独特优势与技术突破。
(3) 第3部分“实战篇—从数据到商业价值”包含一章内容，是全书的提高篇，介绍了六个案例，均源自真实业务场景。
电商数据分析案例：数据科学中的一个重要应用场景，涉及数据清洗、探索性分析、可视化、用户行为分析、销售趋势分析等。
社交媒体情感分析案例：自然语言处理(NLP)中的一个重要应用场景，旨在通过分析社交媒体上的文本数据(如推文、评论等)来判断用户的情感倾向(正面、负面或中性)。
财务大数据分析案例：数据科学在金融领域的重要应用，涉及财务报表分析、趋势预测、风险评估、组合优化等任务。
政务大数据分析案例：利用大数据技术对政府相关数据进行分析，以支持政策制定、资源分配、公共服务优化等决策。
自媒体大数据分析案例：利用大数据技术对自媒体平台(如微博、
李石明，博士，毕业于中国科学技术大学，主要研究方向为大数据、电子政务、企业管理等学科的教学和研究工作；近年来，主持省部级以上课题4项，参与课题2项，出版《绿色未来：ESG视角下的碳信息披露与企业价值重塑》《电子商务专业办学特色的探索与实践》专著2部，《公司战略与风险管理》《Python编程：从入门到实践》等教材4部，公开发表SCI、CSSCI及北大核心期刊论文12篇。
目录
第 1 部分 筑基篇——Python 与数据科学的桥梁
第1章 信息技术与计算机基础 / 2
1.1 信息社会与计算机 / 3
1.1.1 信息与信息处理 / 3
1.1.2 计算机的起源与发展 / 4
1.1.3 计算机的分类和应用领域 / 9
1.1.4 计算思维 / 11
1.2 计算机基础知识 / 13
1.2.1 信息编码 / 13
1.2.2 计算机系统 / 24
1.2.3 操作系统和文件 / 32
本章小结 / 37
习题 / 38
第2章 Python编程基础 / 39
2.1 Python概述 / 40
2.1.1 产生背景 / 40
2.1.2 历史发展 / 40
2.1.3 版本更迭 / 41
2.1.4 应用分析 / 41
2.1.5 发展趋势 / 42
2.2 编程环境 / 42
2.2.1 安装Python解释器 / 43
2.2.2 选择合适的IDE / 43
2.2.3 安装常用的库和工具 / 43
2.2.4 配置环境变量 / 43
2.2.5 测试和验证 / 44
2.3 基础知识 / 45
2.3.1 标识符 / 45
2.3.2 变量 / 46
2.3.3 数据类型 / 46
2.3.4 字符串的表示及格式化 / 47
2.3.5 语句input/output / 48
2.4 流程控制 / 50
2.4.1 程序的基本结构 / 50
2.4.2 分支结构 / 50
2.4.3 循环结构 / 53
2.4.4 综合案例 / 55
2.5 组合数据类型 / 61
2.5.1 列表及其操作 / 61
2.5.2 元组及其操作 / 64
2.5.3 字典及其操作 / 66
2.5.4 集合及其操作 / 68
2.6 函数和模块 / 71
2.6.1 函数 / 71
2.6.2 实操练习：成绩管理系统 / 77
2.6.3 模块 / 79
2.6.4 实操练习：学生管理系统 / 80
2.7 常用的库 / 82
2.7.1 随机数random库 / 82
2.7.2 绘图工具turtle库 / 83
2.7.3 中文分词jieba库 / 85
2.7.4 词云工具wordcloud库 / 85
本章小结 / 86
习题 / 87
第3章 Python操作实践 / 88
3.1 文件和目录操作 / 89
3.1.1 基本概念 / 89
3.1.2 文件的打开与关闭 / 89
3.1.3 文件的读写 / 90
3.1.4 文件和目录的管理 / 91
3.1.5 实操练习：文件和目录管理 / 92
3.2 Word文档处理 / 93
3.2.1 安装 python-docx 库 / 93
3.2.2 创建新文档 / 93
3.2.3 修改现有文档 / 94
3.2.4 高级功能与扩展功能 / 94
3.2.5 实操练习：Word文档处理 / 95
3.3 PDF文件处理 / 99
3.3.1 安装 PyPDF2 和 pdfplumber / 99
3.3.2 内容提取 / 99
3.3.3 合并与拆分 / 99
3.3.4 加密与解密 / 100
3.3.5 实操练习：自动生成报告 / 100
3.4 Excel电子表格处理 / 101
3.4.1 安装依赖库 / 101
3.4.2 读取Excel中的数据 / 101
3.4.3 数据清洗与处理 / 101
3.4.4 将数据写入Excel / 101
3.4.5 高级操作 / 101
3.4.6 实操练习：自动生成销售数据分析报告 / 102
3.5 PPT演示文稿处理 / 102
3.5.1 安装 python-pptx 库 / 102
3.5.2 创建基础PPT / 103
3.5.3 高级功能 / 104
3.6 NumPy 科学计算库 / 105
3.6.1 Nu
书单推荐
