大数据技术与应用丛书 数据清洗
作者：黑马程序员 编著
出版时间：2020年版
丛编项： 大数据技术与应用丛书
内容简介
数据清洗是大数据预处理的关键环节。面对错综复杂的数据，传统的清洗“脏”数据工作单调且异常辛苦，如果能利用正确的工具和方法，可以让数据清洗工作变得事半功倍。该书讲解数据清洗的理论知识和实际应用，全书共8章： 第1章主要带领大家简单认识数据清洗；第2章主要讲解ETL技术相关的知识；第3章讲解Kettle工具的基本使用；第4章主要讲解数据清洗的第一步——数据抽取；第5章主要讲解数据清洗与检验；第6章主要讲解数据转换相关的知识；第7章主要讲解数据加载相关的知识；第8章利用前面章节所学的知识构建一个DVD租赁商店数据仓库，目的是实现定期从源数据库sakila中抽取增量数据，转换成符合DVD租赁业务的数据，最后加载到DVD租赁商店数据仓库中，便于后续在线DVD租赁商店的决策者对数据进行分析得出商业决策。该书附有配套视频、源代码、习题、教学设计、教学课件等资源。同时，为了帮助初学者更好地学习该书中的内容，还提供了在线答疑，欢迎读者关注。《数据清洗/大数据技术与应用丛书》可作为高等院校本专科计算机、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考，是一本适合广大计算机编程爱好者的优秀读物。
目录
第1章 数据清洗概述
1．1 数据清洗的背景
1．1．1 数据质量概述
1．1．2 数据质量的评价指标
1．1．3 数据质量的问题分类
1．2 数据清洗的定义
1．3 数据清洗的原理
1．4 数据清洗的基本流程
1．5 数据清洗的策略
1．6 常见的数据清洗方法
1．7 本章小结
1．8 本章习题
第2章 初识ETL
2．1 基于ETL的数据清洗
2．1．1 ETL的概念
2．1．2 ETL的体系结构
2．2 ETL关键技术
2．2．1 数据的抽取
2．2．2 数据的清洗转换
2．2．3 数据的加载
2．3 ETL常见工具介绍
2．4 本章小结
2．5 本章习题
第3章 Kettle工具的基本使用
3．1 Kettle简介
3．1．1 Kettle概述
3．1．2 Kettle的设计原则203．2 Kettle的下载安装
3．3 Kettle的基本概念
3．3．1 转换
3．3．2 作业
3．4 Kettle的基本功能
3．4．1 转换管理
3．4．2 作业管理
3．4．3 数据库连接
3．5 本章小结
3．6 本章习题
第4章 数据抽取
4．1 抽取文本数据
4．1．1 TSV文件的抽取
4．1．2 CSV文件的抽取
4．2 抽取Web数据
4．2．1 HTML网页的数据抽取
4．2．2 XML文件的数据抽取
4．2．3 JSON文件的数据抽取
4．3 抽取数据库数据
4．3．1 抽取关系型数据库的数据
4．3．2 抽取非关系型数据库的数据
4．4 本章小结
4．5 本章习题
第5章 数据的清洗与检验
5．1 数据去重
5．1．1 完全去重
5．1．2 不完全去重
5．2 缺失值处理
5．2．1 缺失值清洗策略
5．2．2 去除缺失值
5．2．3 填充缺失值
5．3 异常值
5．3．1 出现异常值的原因
5．3．2 检测异常值
5．3．3 删除包含异常值的记录
……
第6章 数据转换
第7章 数据加载
第8章 综合案例——构建DVD租赁商店数据仓库
