Hadoop应用开发基础
作者：刘雯
出版时间：2019年版
内容简介
Hadoop是一个分布式系统的基础架构，支持对大量数据进行分布式处理，能以高效、可靠的方式完成数据处理。本书围绕Hadoop生态圈技术进行讲解，主要包括Hadoop环境配置、Hadoop分布式文件系统（HDFS）、Hadoop分布式计算框架MapReduce、Hadoop资源调度框架YARN与Hadoop新特性、Hadoop分布式数据库HBase、Oozie工作流调度系统等内容。本书以Linux操作系统为平台，紧密结合实际应用，贯穿了大量实践案例。另外，本书配以多元的学习资源和平台服务，包括参考教案、案例素材下载、学习交流社区等，为读者提供全方位的学习体验。通过系统地学习本书内容和操作实践，读者可以掌握大数据相关技能。本书适合作为高等学校计算机专业大数据等相关课程的教材使用，也适合具有一定Linux、Java开发经验且想从事大数据开发工作的人员自学使用，还适合作为大数据分析与运维人员的参考用书。
目录
第 1章 Hadoop入门 1
任务1 了解大数据现状 2
1．1．1 大数据基本概念和特征 2
1．1．2 大数据带来的机遇和挑战 3
任务2 了解Hadoop基础 4
1．2．1 Hadoop概述 4
1．2．2 Hadoop生态圈 7
1．2．3 Hadoop应用案例 9
任务3 搭建移动通信业务的Hadoop处理平台 11
1．3．1 安装虚拟机 11
1．3．2 安装Linux操作系统 13
1．3．3 搭建移动通信业务的Hadoop处理平台 25
1．3．4 大数据集群管理平台 28
1．3．5 技能实训 29
本章总结 29
本章作业 29
第 2章 Hadoop分布式文件系统HDFS 31
任务1 了解HDFS 32
2．1．1 认识HDFS 32
2．1．2 HDFS架构 34
任务2 使用HDFS处理移动通信数据文件 35
2．2．1 使用HDFS shell操作完成移动通信数据的管理 35
2．2．2 使用Java API操作完成移动通信数据的管理 38
2．2．3 技能实训 43
任务3 了解HDFS运行原理 43
2．3．1 HDFS读写流程 43
2．3．2 HDFS副本机制 45
2．3．3 HDFS负载均衡 46
2．3．4 HDFS机架感知 46
任务4 实现移动通信数据的行文件方式存储 47
2．4．1 Hadoop序列化机制 47
2．4．2 文件格式 51
2．4．3 技能实训 56
本章总结 56
本章作业 56
第3章 Hadoop分布式计算框架MapReduce 57
任务1 使用MapReduce完成词频统计功能 58
3．1．1 MapReduce基础 58
3．1．2 MapReduce编程模型 59
3．1．3 MapReduce词频统计编程实例 60
3．1．4 技能实训 64
任务2 按号段统计手机号码 65
3．2．1 MapReduce输入/输出格式 65
3．2．2 Combiner类 67
3．2．3 Partitioner类 69
3．2．4 Shuffle阶段 72
3．2．5 自定义RecordReader 73
3．2．6 技能实训 77
任务3 使用MapReduce编写应用案例 77
3．3．1 使用MapReduce实现join操作 78
3．3．2 使用MapReduce实现排序功能 84
3．3．3 使用MapReduce实现二次排序功能 86
3．3．4 技能实训 91
本章总结 91
本章作业 91
第4章 Hadoop YARN 93
任务1 在YARN集群上运行MapReduce作业 94
4．1．1 YARN的产生背景 94
4．1．2 YARN简介 95
4．1．3 YARN架构设计 101
4．1．4 技能实训 103
任务2 配置YARN容错 104
4．2．1 ResourceManager自动重启 104
4．2．2 ResourceManager高可用 105
本章总结 108
本章作业 108
第5章 ZooKeeper简介及安装 109
任务1 了解ZooKeeper 110
5．1．1 ZooKeeper概念 110
5．1．2 ZooKeeper的作用及优势 111
5．1．3 ZooKeeper架构 111
5．1．4 ZooKeeper的应用案例 113
任务2 搭建ZooKeeper单机环境 114
5．2．1 ZooKeeper下载安装 114
5．2．2 ZooKeeper配置 114
5．2．3 启动ZooKeeper 115
5．2．4 技能实训 115
任务3 实现分布式系统服务器上下线的动态感知 116
5．3．1 ZooKeeper Client命令行操作 116
5．3．2 Java API操作ZooKeeper 119
5．3．3 技能实训 129
本章总结 130
本章作业 130
第6章 HBase基础 131
任务1 了解HBase 132
6．1．1 HBase是什么 132
6．1．2 HBase发展历史 133
6．1．3 HBase使用案例 133
任务2 理解HBase体系架构 134
6．2．1 架构简介 134
6．2．2 HMaster 135
6．2．3 HRegion 135
6．2．4 HRegionServer 136
6．2．5 ZooKeeper 136
任务3 理解HBase数据模型 136
6．3．1 数据模型 137
6．3．2 概念视图 137
6．3．3 物理视图 139
任务4 搭建HBase环境 140
6．4．1 HBase安装包下载 140
6．4．2 HBase解压安装 141
6．4．3 HBase伪分布式环境搭建 141
6．4．4 技能实训 145
本章总结 145
本章作业 146
第7章 HBase操作 147
任务1 使用HBase Shell完成《王者荣耀》游戏玩家信息管理操作 148
7．1．1 DDL操作 148
7．1．2 DML操作 154
7．1．3 技能实训 159
任务2 使用HBase Java API完成《王者荣耀》游戏玩家信息管理操作 159
7．2．1 开发环境搭建 159
7．2．2 核心API 163
7．2．3 技能实训 170
任务3 使用HBase Rest API访问《王者荣耀》游戏玩家信息表 170
7．3．1 启动/停止Rest服务命令 170
7．3．2 访问方式 171
7．3．3 技能实训 172
本章总结 172
本章作业 172
第8章 HBase应用 173
任务1 使用表空间管理《王者荣耀》游戏玩家信息表 174
8．1．1 HBase名字空间简介 174
8．1．2 名字空间操作 174
8．1．3 技能训练 182
任务2 对《王者荣耀》游戏玩家信息表进行权限管理 182
8．2．1 授予权限GRANT 182
8．2．2 查看权限USER_PERMISSION 184
8．2．3 收回权限REVOKE 184
8．2．4 技能实训 185
任务3 理解HRegion切分 185
8．3．1 HRegion切分概念 185
8．3．2 切分策略 185
任务4 了解HBase中的Compaction过程 186
8．4．1 Compaction概念 187
8．4．2 Compaction实现方式 187
8．4．3 Compaction参数 187
本章总结 188
本章作业 188
第9章 工作流调度框架Oozie 189
任务1 理解Apache Oozie架构 190
9．1．1 Oozie简介 190
9．1．2 Oozie架构 190
任务2 搭建Oozie环境 194
9．2．1 Oozie下载安装 194
9．2．2 Oozie配置 195
9．2．3 Oozie启动 198
9．2．4 技能实训 198
任务3 实现游戏玩家搜索功能 198
9．3．1 Shell Action 199
9．3．2 Java Action 201
9．3．3 MapReduce Action 203
9．3．4 实现游戏玩家搜索功能 205
9．3．5 技能实训 210
本章总结 210
本章作业 210
第 10章 项目实训——《王者荣耀》游戏英雄排行榜 211
10．1 项目需求 212
10．2 项目环境准备 213
10．3 项目覆盖的技能点 213
10．4 难点分析 214
10．5 项目实现思路 219
本章总结 233
本章作业 233
