本书主要介绍了如何使用Python进行数据清洗、转换和整合，以及如何确保数据的准确性和一致性。本书涵盖了数据整理基础、数据清洗、数据转换、数据整合、数据质量检查和数据可视化等内容。
数据无处不在，它们蕴含着独特的信息和有价值的故事，本书将帮助你发掘它们。无论你已经开始处理数据，还是想要学习如何处理数据，都能通过本书中的示例与技术学会更好地清洗、评估并分析数据，以形成有意义的洞见，并制作出有说服力的可视化图表。
作者既讲解了基本概念，也给出了专业建议，并且提供了相应的资源来帮助大家学会提取、评估并分析各种数据源和数据格式。另外，作者还讲解了相应的工具，让你能够有效地与他人交流，让对方了解自己通过分析这些数据所得到的观点。本书没有艰深的术语，适合各种水平的数据从业者阅读，无论你是纯粹的新手还是有经验的专业人士，都可以通过本书学会如何驾驭数据。
通过学习本书，你将：
? 使用Python 3.8以上的版本读写和转换各种来源的数据。
? 理解并使用基本的Python编程技术来整理大规模的数据。
? 使用各种经验法则来组织代码的结构并为其撰写文档。
? 从结构化数据文件、网页和API中收集数据。
? 执行基本的统计分析，以便从数据集中得出有意义的结论。
? 用清晰且具有说服力的方式可视化和展示数据。
Susan E. McGregor 是哥伦比亚大学数据科学研究所的研究员，也是该研究所数据、媒
体和社会中心的联合主管。十多年来，她一直在向非理工科的专业人士、研究生及本科
生讲授编程与数据分析课程，并不断完善自己的教学方式。
McGregor 于 2011 年加入哥伦比亚大学新闻学院及 Tow 数字新闻中心，此后，她一直在
哥伦比亚大学任教并从事研究工作。McGregor 开设了学院的首个数据新闻课程，并担任
新闻学及计算机科学双学位计划的导师。她主要研究与新闻工作者及媒体有关的安全及
隐私问题，她的第一本书 Information Security Essentials: A Guide for Reporters, Editors,
and Newsroom Leaders（哥伦比亚大学出版社，2021）讨论的也是这个话题。
加入哥伦比亚大学之前，McGregor 在《华尔街日报》的 News Graphics 团队做了几年
资深程序员。她参与制作了该报的“ What They Know”系列，并由此获得 2011 年的
Gerald Loeb Award 奖。McGregor 在许多讨论安全及隐私的前沿学术会议上发言并发表
文章。她的工作受到美国国家科学基金会、奈特基金会（Knight Foundation）、Google 以
及哥伦比亚大学多个学院与机构的资助。McGregor 还关注如何运用艺术来激发批判思
维，以及如何通过艺术给技术问题带来新的思路。她拥有哈佛大学交互信息设计学士学
位及纽约大学教育传播与技术硕士学位。
目录
前言1
第1章 数据整理与数据质量简介7
1.1 什么是数据整理8
1.2 什么是数据质量9
1.3 为什么选用Python语言整理数据12
1.4 编写并运行Python代码14
1.5 如何在自己的设备上编写Python代码16
1.6 在网页版的开发环境中编写Python代码25
1.7 编写“Hello World!”程序25
1.8 添加代码28
1.9 运行代码29
1.10 撰写文档、保存工作资料和管理不同版本的资料29
1.11 小结40
第2章 Python 入门41
2.1 词性42
2.2 用循环结构与条件结构控制程序的走向51
2.3 代码中可能出现的各种错误59
2.4 用Citi Bike数据来演示如何编写数据整理程序67
2.5 小结74
第3章 了解数据质量75
3.1 判断数据是否合适77
3.2 判断数据是否完整83
3.3 提升数据的质量92
3.4 小结94
第4章 用Python处理基于文件与基于feed的数据95
4.1 结构化的数据与非结构化的数据97
4.2 处理结构化的数据101
4.3 以了解失业情况为例来整理现实数据110
4.4 处理非结构化的数据141
4.5 小结147
第5章 访问网络数据148
5.1 联网访问在线的 XML 与 JSON 数据150
5.2 API 简介152
5.3 以搜索引擎为例讲解如何调用基本的API153
5.4 如何调用带有基本身份认证机制的API155
5.5 阅读API文档157
5.6 使用Python时保护你的API密钥160
5.7 如何调用带有 OAuth 认证机制的API166
5.8 调用API时所应遵循的行为准则178
5.9 获取数据的最后一招：网页抓取180
5.10 小结189
第6章 评估数据质量190
6.1 流行病与PPP192
6.2 评估数据的完整程度192
6.3 评估数据的适合程度220
6.4 小结225
第7章 清洗、转换和增强数据227
7.1 如何从 Citi Bike 数据中选取一部分内容228
7.2 把数据文件清洗干净238
7.3 把 Excel 表格中的日期处理好241
7.4 把定宽数据转换成真正的 CSV 文件244
7.5 修正拼写不一致的现象246
7.6 为了找到简单方案而走过的弯路251
7.7 一些容易出错的地方254
7.8 增强数据255
7.9 小结257
第 8 章 调整并重构代码259
8.1 重新思考自定义的函数259
8.2 什么是作用域261
8.3 为函数设计参数263
8.4 返回值266
8.5 以嵌套的形式调用函数267
8.6 既有趣又有用的重构269
8.7 用 pydoc 给自定义的脚本与函数撰写文档279
8.8 让Python脚本支持命令行参数283
8.9 命令行脚本与notebook的区别286
8.10 小结287
第9章 数据分析入门288
9.1 情境很重要289
9.2 常规与反常290
9.3 评估集中趋势291
9.4 另辟蹊径：识别异常值293
9.5 数据分析可视化293
9.6 这些200万美元的贷款记录是怎么回事306
9.7 注意按比例计算317
9.8 小结320
第10章 展示数据322
10.1 视觉说服力323
10.2 把整理数据后形成的观点表达出来325
10.3 如何选择图表326
10.4 视觉说服力要素342
10.5 通过 seaborn与matplotlib库自定义更好的可视化图表346
10.6 提高设计水平351
10.7 小结352
第11章 Python 以外的工具353
11.1 查看数据的其他工具353
11.2 分享并展示数据的其他工具357
11.3 考虑原则问题359
11.4 小结360
附录A 其他Python编程资源361
附录B 再讲一讲 Git365
附录C 获取数据的渠道371
附录D 与可视化及信息设计有关的资源376
书单推荐
