大数据专业应用型人才培养规划教材 Spark大数据技术与应用
作者:韦德泉,许桂秋主编
出版时间: 2020年版
丛编项: 大数据专业应用型人才培养规划教材
内容简介
《Spark大数据技术与应用/大数据专业应用型人才培养规划教材》共分为10章,第1~8章阐述了spark核心组件的用法,以及使用相应组件进行大数据分析应用的方法,通过综合性实践案例将理论和实践相结合;第9~10章通过两个综合实例让读者从理论阶段上升到实际应用层面,可以帮助读者更深入理解Spark的使用方法。《Spark大数据技术与应用/大数据专业应用型人才培养规划教材》作为大数据分析与内存计算的入门教材,希望能够帮助读者打开大数据分析与应用的大门。《Spark大数据技术与应用/大数据专业应用型人才培养规划教材》采用理论结合实践的方式,循序渐进地介绍了Spark的运行原理,并引入综合性的实践案例,以引导读者运用所学知识解决现实中的问题。
目录
第1章 Spark简介与运行原理
1.1 Spark是什么
1.2 Spark的生态系统
1.3 Spark的架构与原理
1.4 Spark 2.X新特性
第2章 Spark的环境搭建
2.1 环境搭建前的准备
2.2 Spark相关配置
2.3 Spark集群启动与关闭
2.4 Spark应用提交到集群
2.5 Spark Web监控页面
第3章 开发Spark应用
3.1 Java编程语言
3.2 Scala编程语言
3.3 R编程语言
3.4 Python编程语言
3.5 PySpark的启动与日志设置
3.6 PySpark开发包的安装
3.7 使用PyCharm编写Spark应用
第4章 Spark RDD
4.1 弹性分布式数据集
4.2 transform算子
4.3 action算子
4.4 RDD Key——Value转换算子
4.5 RDD Key——Value动作运算
4.6 共享变量
4.7 依赖关系
4.8 Spark RDD的持久化
第5章 DataFrame与Spark SQL
5.1 DataFrame
5.2 Spark SQL
5.3 Spark SQL、DataFrame的常用操作
第6章 Spark Streaming
6.1 Spark Streaming介绍
6.2 流数据加载
6.3 DStream转换操作
6.4 DStream输出操作
6.5 DataFrame与SQL操作
6.6 实时WordCount实验
第7章 Spark机器学习库
7.1 Spark机器学习库
7.2 准备数据
7.3 使用ML机器学习库
第8章 GraphFrames图计算
8.1 图
8.2 GraphFrames介绍
8.3 GraphFrame编程模型
8.4 GraphFrames实现的算法
8.5 基于GraphFrames的网页排名
第9章 出租车数据分析
9.1 数据处理
9.2 数据分析
9.3 百度地图可视化
第10章 图书推荐系统
10.1 Django简介
10.2 Django项目搭建
10.3 推荐引擎设计
10.4 系统设计与实现
参考文献