大数据和大分析
作者：段云峰 编著
出版时间：2015年版
内容简介
《大数据和大分析》首先阐述了大数据出现的背景，解释数据资产、数据驱动等基本概念，剖析数据分析的重要性，介绍了大分析的内容和范围以及关键点等；其次，阐述了大数据建设的基本内容、有关应用领域等，涉及收集、存储、标准、技术选择等内容；辨析了大数据与数据仓库的关系，重点介绍了数据质量、安全管理等数据管控的内容；最后，给出了与大数据建设配套的营销管理分析等方面的内容和经验，分享了如何引入互联网思维、开辟新视野的理念。本书适合电信、金融、互联网等各个行业的大数据相关从业者，包括企业管理者、开发工程师、系统建设者、业务应用者和运营人员参考阅读。
目录
第1章 背景 //1
1.1 大数据的引出和影响 //3
1.1.1 “大数据，大商机” //3
1.1.2 “数据资产”的引出 //6
1.1.3 数据量庞大 //9
1.1.4 数据结构复杂 //10
1.1.5 数据价值有待挖掘 //11
1.1.6 “数据驱动”的变革 //12
1.1.7 互联网发展中的“数联网” //15
1.2 为何需要大分析 //16
1.2.1 数据价值评估 //16
1.2.2 “数据资产”变现问题 //18
1.2.3 大分析的技术基础 //20
1.2.4 大分析面临的问题 //26
1.3 大分析的应用案例 //29
1.3.1 新的“啤酒和尿布” //29
1.3.2 KPI信息地图 //30
1.3.3 “大数据、超细分、微营销” //32
1.4 小结 //34
第2章 大数据基础 //35
2.1 大数据的基本理念 //36
2.1.1 概念和定义探索 //36
2.1.2 大数据的技术基础 //37
2.1.3 没有大分析，大数据就是大垃圾 //38
2.1.4 大数据如何借鉴“数据仓库”的经验 //38
2.1.5 企业级数据中心 //41
2.2 大数据与数据仓库的关系 //42
2.2.1 大数据扩展数据仓库理论架构 //42
2.2.2 大数据继承数据仓库数据管理的经验 //43
2.2.3 大数据开启了非结构化数据的处理 //43
2.2.4 大数据要借鉴数据仓库的生态圈 //43
2.2.5 大数据应继承数据分析技术 //44
2.2.6 与数据库的关系 //44
2.2.7 数据仓库借鉴大数据的营销模式 //44
2.3 大数据的基本特点 //45
2.3.1 “4V”特点 //45
2.3.2 大分析角度的大数据特征 //45
2.4 大数据的价值和意义 //46
2.4.1 围绕客户信息，提供全方位服务 //46
2.4.2 构筑“虚拟团队”，提升团队管理水平 //46
2.4.3 让“智慧城市”“智能交通”等变为可能 //47
2.4.4 构筑“理性社会”终于成为可能 //47
2.4.5 中国前所未有的一次“弯道超车”机遇 //47
2.5 大数据的问题和挑战 //48
2.5.1 数据质量问题越发突出 //48
2.5.2 数据分析技术尚缺实质突破 //48
2.5.3 大数据应用水平需要逐步演进、逐步深化 //48
2.5.4 大数据技术架构面临突破 //49
2.5.5 数据理念与国外仍然相距甚远 //49
2.5.6 大数据是一项系统工程 //49
2.6 小结 //50
第3章 大数据的管理 //51
3.1 数据如何收集 //52
3.1.1 能获取哪些数据 //52
3.1.2 基于数据价值，决定数据的收集、存放策略 //53
3.1.3 没有应用时，是否收集数据 //53
3.2 数据的标准 //53
3.2.1 数据接口 //53
3.2.2 数据模型 //55
3.3 大数据的ETL过程 //57
3.4 大数据如何存储 //58
3.4.1 数据库/数据仓库 //58
3.4.2 分布式文件系统（HDFS） //59
3.4.3 混搭模式 //63
3.4.4 Hive /Hbase等 //63
3.4.5 MPP //65
3.5 数据如何估值和计费 //65
3.5.1 什么数据最好卖 //66
3.5.2 市场价格 //66
3.5.3 数据的开放 //67
3.6 大数据的“数据资产”管理 //67
3.7 数据如何保障安全 //68
3.8 小结 //71
第4章 大数据的技术架构 //73
4.1 大数据处理架构 //74
4.1.1 大数据处理层级和域 //75
4.1.2 哪些计算适合并行 //78
4.2 为何是混搭架构 //78
4.2.1 大数据混搭架构的利弊分析 //79
4.2.2 架构是否去IOE //80
4.2.3 大数据混搭架构实例 //80
4.3 数据集市的模式 //83
4.3.1 数据沙盒模式 //85
4.3.2 贴近角色的平台及应用 //85
4.3.3 文件集市 //89
4.4 数据管控模块 //89
4.4.1 元数据 //89
4.4.2 数据质量 //91
4.5 大数据的“爬虫”技术 //93
4.5.1 定制爬虫Nutch //94
4.5.2 分词技术—庖丁分词 //94
4.5.3 索引及全文检索—Splunk //95
4.5.4 上网数据解析流程 //97
4.6 大数据安全管理框架 //99
4.6.1 安全管控技术架构 //99
4.6.2 管理制度建设 //101
4.6.3 去隐私化技术举例 //103
4.7 小结 //108
第5章 大数据的数据质量管控 //111
5.1 数据质量概念 //113
5.1.1 基本概念 //113
5.1.2 大数据就不考虑质量了吗 //117
5.2 元数据 //118
5.2.1 数据的数据 //118
5.2.2 元数据的CWM标准 //120
5.2.3 元数据分类 //122
5.3 数据质量管控 //123
5.3.1 数据质量管控目标 //123
5.3.2 数据质量子系统架构 //124
5.4 如何建立数据质量管理制度 //129
5.4.1 数据质量分工管理流程 //129
5.4.2 及时监控和告警 //136
5.5 数据质量管控产品的客户体验 //139
5.5.1 降低技术门槛 //139
5.5.2 产品的手机App化 //140
5.6 小结 //141
第6章 大数据如何带来大分析 //143
6.1 没有应用的数据是垃圾数据 //145
6.1.1 应用的广度 //145
6.1.2 应用的深度 //145
6.1.3 应用的实时性/融合性 //146
6.2 大分析（BA）的概念 //147
6.2.1 “大分析”的发展变化 //147
6.2.2 大分析的“群众路线” //150
6.3 大分析（BA）的产品开发 //151
6.3.1 基于数据分析，解决实际问题 //152
6.3.2 BA产品和分析工具产品的区隔 //154
6.3.3 自助分析 //158
6.3.4 导航式分析 //161
6.4 应用推广问题 //170
6.4.1 市场的“冬天”就是大分析的“春天” //170
6.4.2 为何需要应用推广 //170
6.4.3 如何证明分析的独特价值 //171
6.4.4 如何解决员工实际的问题 //172
6.4.5 电信和互联网行业应用推广对比 //172
6.4.6 不同的企业用不同的推广方法 //172
6.5 大分析的“闭环”问题 //173
6.5.1 分析和执行的闭环执行 //173
6.5.2 营销流程的设计—营销管理平台 //173
6.6 小结 //176
第7章 大分析应用案例 //179
7.1 大分析的应用阶段 //180
7.2 非结构化数据的分析 //181
7.2.1 客户投诉内容分析 //181
7.2.2 互联网舆情监控分析 //183
7.3 客户分析 //184
7.3.1 客户生命周期 //184
7.3.2 客户内容属性 //197
7.3.3 客户行为属性 //203
7.3.4 客户新业务分析 //218
7.3.5 客户满意度分析 //220
7.3.6 客户流失分析 //223
7.4 产品分析 //234
7.4.1 建设背景和目的 //235
7.4.2 整体流程 //235
7.4.3 建设中涉及的模型 //235
7.5 内容营销分析 //240
7.5.1 手机视频产品营销触发 //240
7.5.2 手机视频内容分析 //240
7.5.3 目标客户筛选和细分 //240
7.5.4 方案设计 //241
7.5.5 营销脚本设计 //242
7.5.6 营销方式选择 //243
7.5.7 营销方式使用效果 //243
7.5.8 效益评估 //244
7.6 网格化管理分析 //245
7.7 社会渠道欺诈分析 //247
7.7.1 概述 //247
7.7.2 模型方法 //248
7.7.3 模型定义 //250
7.7.4 业务应用 //255
7.7.5 优化方法 //256
第8章 大数据中的互联网思维 //257
8.1 互联网思维介绍 //258
8.1.1 九大特征 //258
8.1.2 大数据为何需要互联网思维 //260
8.1.3 大数据如何借助互联网思维 //260
8.2 BA产品定义 //260
8.3 BA产品的客户体验 //263
8.3.1 客户是谁 //263
8.3.2 客户的体验是什么 //264
8.3.3 提升客户体验的展示形式 //266
8.3.4 提升客户体验的解决问题能力 //270
8.4 BA产品迭代开发 //280
8.4.1 如何构建共享方式 //280
8.4.2 提供API接口 //282
8.4.3 提供类似App Store开发环境 //284
8.5 BA产品的“客户入口”把控 //286
8.5.1 抓住客户的入口 //286
8.5.2 让客户参与BA产品开发 //287
8.5.3 BA产品的内部客户营销 //287
第9章 大数据的管理架构及探索 //289
9.1 BA产品生态圈的建设 //290
9.1.1 生态圈组成 //290
9.1.2 生态圈盈利模式 //292
9.1.3 生态圈的“共赢” //293
9.2 管理架构举例 //294
9.2.1 互联网企业架构 //294
9.2.2 运营公司的架构 //295
9.2.3 架构的特点分析 //295
9.3 人才的培养 //296
9.3.1 知识结构要求 //296
9.3.2 交际（团队）能力要求 //297
9.3.3 耐压能力要求 //297
9.4 团队的构建及激励 //298
9.4.1 技术人员转型业务人员 //298
9.4.2 业务经验的培养和积累 //298
9.4.3 待遇激励 //298
第10章 后记 //299
