大数据清洗技术
作者：王宏志著
出版时间：2020年版
丛编项： 国之重器出版工程
内容简介
本书主要介绍了大数据清洗方面的研究成果。全书共分7章，重点面向大数据清洗中计算困难、错误混杂、缺少知识等难题，针对实体识别、真值发现、缺失值填充、不一致检测与修复等问题提出了相应的技术和算法，并在第7章提出了多数据质量问题综合清洗与优化技术。本书可作为高等院校和科研机构大数据、数据质量管理、数据治理等方面的教学和科研参考书。
目录
第 1章 绪论 1
1．1 大数据的定义及其应用 2
1．2 数据质量问题 4
1．3 大数据的质量问题与挑战 12
1．4 数据清洗研究进展 13
1．5 本书的内容 16
本章参考文献 17
第 2章 大数据处理技术概述 21
2．1 大数据并行计算平台 22
2．2 众包技术 26
本章参考文献 29
第3章 实体识别 30
3．1 实体识别概述 31
3．2 串行实体识别算法 35
3．3 并行实体识别算法 45
3．4 增量实体识别算法 77
3．5 基于众包的实体识别 94
本章参考文献 100
第4章 真值发现 107
4．1 真值发现算法概述 108
4．2 并行真值发现算法 109
4．3 增量真值发现算法 127
4．4 基于众包的真值发现 140
本章参考文献 144
第5章 缺失值填充 145
5．1 缺失值填充算法概述 146
5．2 基于贝叶斯网络的串行缺失值填充算法 150
5．3 实验结果及分析 175
5．4 并行缺失值填充算法 182
5．5 基于众包的缺失值填充算法 196
本章参考文献 202
第6章 不一致数据检测与修复 205
6．1 不一致数据检测与修复概述 206
6．2 并行不一致数据检测与修复算法 211
6．3 基于众包的不一致数据检测与修复算法 225
6．4 扫描数据一次的大数据不一致检测算法 229
本章参考文献 244
第7章 多数据质量问题综合清洗与优化 249
7．1 数据质量维度的关联 250
7．2 基于任务合并的并行数据清洗优化 274
7．3 综合大数据清洗系统 293
本章参考文献 303
名词索引 307
