本书是为广大数据分析师量身定制的入门读物，它旨在帮助读者站在大数据时代的制高点。数据分析处于统计学、计算机信息科学、运筹学、数据库等多个领域的交叉地带，大数据时代的到来大大丰富了数据分析的内涵，数据分析师的职责与以往相比发生了巨大的改变。本书全面介绍了经典数据分析、模式识别、机器学习、深度学习、数据挖掘、商务智能等多个领域的数据分析算法，将大数据时代的数据分析热点技术一网打尽。本书为每个数据分析算法都搭配了一个经典案例，并按照由易到难的原则构建知识框架，充分照顾了不同水平读者的阅读习惯。通过阅读本书，读者将对大数据时代下的数据分析有一个全面的认识。无论是入门级的数据分析员还是有一定基础的数据分析师，都能通过本书完善、加深对数据分析的认识。
任昱衡，博士，副研究员，高级电子商务师，高级硬件工程师，中国电子商务协会电子商务研究院副院长，中国电子商务协会信用体系建设管理中心主任助理，中国电子商务师资质（职称）认证管理中心主任助理。参与国家多项电子商务法律、法规、标准制定工作，目前主要负责国家电子商务师职业水平（职称）认证体系的构建和国家电子商务行业企业信用监督工作。
目 录
第1章 经典的探索性数据分析案例 1
1.1 探索性数据分析综述 2
1.1.1 什么是探索性数据分析 2
1.1.2 如何收集数据 4
1.1.3 数据预处理技术 5
1.2 数据巧收集——红牛的大数据营销案例 8
1.2.1 状况百出的红牛企业 8
1.2.2 红牛企业巧妙收集消费者数据 9
1.2.3 数据收集小结 12
1.3 数据可视化——数据新闻促使英军撤军 13
1.3.1 维基解密带来的海量数据 13
1.3.2 百花齐放的数据新闻 15
1.3.3 数据可视化小结 18
1.4 异常值分析——Facebook消灭钓鱼链接 19
1.4.1 Facebook和广告商之间的拉锯战 20
1.4.2 异常值分析指导排名算法工作 22
1.4.3 异常值分析小结 26
1.5 对比分析——TrueCar指导购物者寻找最合算的车价 27
1.5.1 火中取栗的TrueCar网站 28
1.5.2 数据对比赢得消费者信赖 29
1.5.3 对比分析小结 32
第2章 经典的相关分析与回归分析案例 35
2.1 相关回归综述 36
2.1.1 相关回归简介 36
2.1.2 相关性分析的发展介绍 38
2.1.3 回归分析的发展介绍 39
2.2 皮尔逊相关值——纽约市政府利用相关分析监控违法建筑 40
2.2.1 简约而不简单的消防检测系统 40
2.2.2 使用相关分析洞察60个变量的关系 42
2.2.3 相关分析小结 45
2.3 时间序列分析——人寿保险的可提费用预测 47
2.3.1 人寿保险公司和可提费用 47
2.3.2 使用4种时间序列回归预测模型解决问题 49
2.3.3 时间序列分析小结 52
2.4 线性回归分析——梅西百货公司的12项大数据策略 54
2.4.1 从“一亿豪赌”说起的零售商困境 54
2.4.2 SAS公司帮助梅西百货构建模型 56
2.4.3 线性回归分析小结 59
2.5 Logistic回归分析——大面积流感爆发的预测分析 62
2.5.1 究竟谁才是流感预测算法之王 62
2.5.2 向Logistic算法中引入更多变量 64
2.5.3 Logistic回归分析小结 67
第3章 经典的降维数据分析案例 69
3.1 降维分析算法综述 70
3.1.1 为什么要使用降维算法 70
3.1.2 线性降维算法 72
3.1.3 非线性降维算法 73
3.2 粗糙集算法——协助希腊工业发展银行制定信贷政策 74
3.2.1 银行信贷政策的制定原则 75
3.2.2 粗糙集算法的原理和应用 76
3.2.3 粗糙集算法小结 80
3.3 因子分析——基于李克特量表的应聘评价法 82
3.3.1 源于智力测试的因子分析 82
3.3.2 使用因子分析解构问卷 84
3.3.3 因子分析小结 87
3.4 最优尺度分析——直观评估消费者倾向的分析方法 89
3.4.1 市场调查问题催生的最优尺度分析 89
3.4.2 6种经典的最优尺度分析解读方法 91
3.4.3 最优尺度分析小结 95
3.5 PCA降维算法——智能人脸识别的应用与拓展 97
3.5.1 刷脸的时代来了 97
3.5.2 使用PCA算法完成降维工作 99
3.5.3 PCA算法小结 102
第4章 经典的模式识别案例 105
4.1 模式识别综述 106
4.1.1 模式识别简介 106
4.1.2 模式识别的发展脉络 107
4.1.3 模式识别应用简介 110
4.2 图像分析——谷歌的超前自动驾驶技术 111
4.2.1 以安全的名义呼吁自动驾驶技术 111
4.2.2 快速成熟的无人驾驶技术 113
4.2.3 图像分析小结 116
4.3 遗传算法——经典的人力资源优化问题 118
4.3.1 使用有限资源实现利益最大化 118
4.3.2 遗传算法的计算过程 120
4.3.3 遗传算法小结 123
4.4 决策树分析——“沸腾时刻”准确判断用户健康水平 124
4.4.1 打造我国最大的健身平台 124
4.4.2 信息增益和决策树 126
4.4.3 决策树小结 129
4.5 K均值聚类分析——HSE24通过为客户分类降低退货率 131
4.5.1 在电子商务市场快速扩张的HSE24 131
4.5.2 使用K均值聚类为客户分类 133
4.5.3 K均值聚类小结 136
第5章 经典的机器学习案例 139
5.1 机器学习综述 140
5.1.1 机器学习简介 140
5.1.2 机器学习的主流发展和应用 142
5.2 语义搜索——沃尔玛搜索引擎提升15%销售额 143
5.2.1 注重用户体验的沃尔玛公司 144
5.2.2 语义搜索引擎的底层技术和原理 145
5.2.3 语义搜索技术小结 148
5.3 顺序分析——搜狗输入法的智能纠错系统 150
5.3.1 搜狗输入法的王牌词库和智能算法 151
5.3.2 频繁树模式和顺序分析算法 153
5.3.3 顺序分析小结 156
5.4 文本分析——经典的垃圾邮件过滤系统 158
5.4.1 大数据时代需要文本分析工作 158
5.4.2 垃圾邮件过滤中的分词技术和词集模型 160
5.4.3 文本分析小结 163
5.5 协同过滤——构建个性化推荐系统的经典算法 164
5.5.1 协同过滤算法为什么这么流行 165
5.5.2 基于用户和基于产品的协同过滤 166
5.5.3 协同过滤算法小结 169
第6章 经典的深度学习案例 171
6.1 深度学习综述 172
6.1.1 深度学习简介 172
6.1.2 深度学习在图像处理方面的应用 174
6.1.3 深度学习在自然语言处理方面的应用 176
6.2 支持向量机——乔布斯利用大数据对抗癌症 178
6.2.1 乔布斯和胰腺癌的抗争 178
6.2.2 医学统计学和支持向量机 180
6.2.3 支持向量机小结 184
6.3 感知器神经网络——最佳的房产价格预测算法 185
6.3.1 如何预测房价 186
6.3.2 多层感知器和误差曲面 188
6.3.3 感知器神经网络小结 191
6.4 自组织神经网络——如何又快又好地解决旅行商问题 193
6.4.1 最优路径问题的典型模式和解决方法 193
6.4.2 自组织神经网络的拓扑结构和权值调整 194
6.4.3 自组织神经网络小结 198
6.5 RBM算法——为新闻报道智能分类 199
6.5.1 新闻报道智能分类的难与易 199
6.5.2 RBM算法的学习目标和学习方法 201
6.5.3 RBM算法小结 204
第7章 经典的数据挖掘案例 207
7.1 数据挖掘综述 208
7.1.1 什么是数据挖掘 208
7.1.2 数据挖掘的主要应用领域 209
7.1.3 数据挖掘模型的评价指标 211
7.2 判别分析——美国运通构建客户流失预测模型 213
7.2.1 美国运通公司的旧日辉煌 213
7.2.2 判别分析的假设条件和判别函数 214
7.2.3 判别分析小结 218
7.3 购物篮分析——找出零售业的最佳商品组合 220
7.3.1 名动天下的“啤酒和尿布”案例 220
7.3.2 购物篮分析的频繁模式 222
7.3.3 购物篮分析小结 225
7.4 马尔可夫链——准确预测客运市场占有率 227
7.4.1 复杂的客运市场系统 227
7.4.2 概率转移矩阵的求解方法 229
7.4.3 马尔可夫链小结 232
7.5 AdaBoost元算法——有效侦测欺诈交易的复合算法 233
7.5.1 弱分类器和强分类器之争 233
7.5.2 AdaBoost元算法的分类器构建方法 235
7.5.3 AdaBoost元算法小结 238
第8章 经典的商业智能分析案例 241
8.1 商业智能分析综述 242
8.1.1 什么是商业智能 242
8.1.2 商业智能的主流发展与应用 244
8.2 KXEN分析软件——构建欧洲博彩业下注预测平台 246
8.2.1 现代博彩业背后的黑手 247
8.2.2 集体智慧和庄家赔率的联系 248
8.2.3 KXEN软件小结 252
8.3 数据废气再利用——物流公司数据成功用于评估客户信用 253
8.3.1 数据废气和黑暗数据的异同 254
8.3.2 论如何充分利用物流公司数据 255
8.3.3 数据废气再利用小结 258
8.4 必应预测——使用往期信息预测自然灾害 259
8.4.1 预测自然灾害的必要性 260
8.4.2 微软大数据预测的优与劣 261
8.4.3 必应预测小结 263
8.5 点球成金——助力NBA大数据分析的多种神秘软件 265
8.5.1 NBA的有效球员数据 265
8.5.2 有关点球成金的靠谱方法 268
8.5.3 点球成金小结 270
书单推荐
