Web数据分析关键技术及解决方案
出版时间：2017
内容简介
本书集中讨论Web数据自动分析的关键技术——Web数据自动获取、特征抽取、表达建模及Web挖掘等相关理论和方法，在此基础上，分析了几种典型的Web数据分析需求，提出并介绍了具有针对性的解决方案及方法。主要解决方案包括：基于Web公共舆情自动分析及预警方案、基于语义的Web信息自动聚合方法、多源电商数据挖掘等。
本书选取当前Web数据分析的热点问题，总结了实际科研工作的研究成果，理论与实际案例相结合，适合高校电子信息、计算机等相关专业的教师、学生及研究人员阅读。
目 录
目 录
第1章 Web大数据挖掘概述1
1.1 大数据与网络大数据1
1.2 Web大数据应用及特点2
1.2.1 Web大数据2
1.2.2 Web大数据特点3
1.3 Web挖掘及Web挖掘类型4
1.3.1 Web挖掘及Web挖掘类型4
1.3.2 Web内容挖掘5
1.3.3 Web结构挖掘6
1.3.4 Web使用挖掘6
1.4 Web挖掘过程7
1.4.1 Web内容挖掘过程7
1.4.2 Web结构挖掘过程7
1.4.3 Web使用挖掘过程8
参考文献10
第2章 Web数据挖掘基础12
2.1 Web信息程序获取方式12
2.1.1 网络爬虫12
2.1.2 其他Web信息程序获取方式15
2.2 Web信息数据抽取16
2.2.1 Web网页信息抽取16
2.2.2 自然语言文本结构化信息抽取17
2.3 Web信息文本模型的文本特征表示19
2.3.1 文本模型与文本特征19
2.3.2 VSM向量空间模型20
2.3.3 布尔模型21
2.3.4 概率主题模型 21
2.4 模式发现常用方法24
2.4.1 统计分析24
2.4.2 关联分析24
2.4.3 分类分析25
2.4.4 聚类分析27
参考文献28
第3章 Web内容及结构挖掘应用案例1:基于Web公共舆情自动分析及预警30
3.1 概述30
3.1.1 基于Web的公共舆情30
3.1.2 网络舆情研究现状31
3.2 基于Web意见的舆情分析预测模型32
3.2.1 舆情分析预测模型概述32
3.2.2 热点舆情发现模型研究33
3.2.3 热点舆情发展趋势预测模型35
3.3 基于意见挖掘的热点舆情发现模型37
3.3.1 改进的热点舆情发现模型38
3.3.2 基于Web意见挖掘的报道特征表示38
3.4 来源加权的舆情分析模型43
3.4.1 舆情来源量化分析指标43
3.4.2 PageRank算法拓展44
3.4.3 构建来源加权的舆情分析模型45
3.5 热点舆情识别46
3.5.1 话题热度特征描述46
3.5.2 话题热度计算函数47
3.6 实验及评估48
3.6.1 网络新闻数据的抓取48
3.6.2 中文分词及文本表示51
3.6.3 模型改进效果分析52
3.7 C5.0和BP神经网络结合的舆情预测模型53
3.7.1 基于C5.0的意见分类53
3.7.2 基于BP神经网络预测模型56
3.7.3 实验及评估57
3.8 小结60
参考文献60
第4章 Web内容挖掘应用案例2：
基于语义的Web信息自动聚合系统的
关键技术研究62
4.1 信息聚合及相关技术62
4.1.1 信息聚合62
4.1.2 信息聚合问题研究现状63
4.1.3 简易信息聚合技术RSS64
4.1.4 数字签名算法Simhash65
4.2 一种基于主题的Web信息自动聚合方案66
4.2.1 方案架构66
4.2.2 信息获取67
4.2.3 信息预处理69
4.2.4 按主题聚合72
4.3 基于标点符号及标签相似度的正文抽取方法73
4.3.1 网页类型及结构73
4.3.2 常用网页正文抽取方法分析74
4.3.3 基于标点分布的网页正文抽取算法74
4.3.4 基于标签相似度的多正文网页抽取技术77
4.3.5 算法设计及实验80
4.4 基于潜在语义的Web信息聚合80
4.4.1 概率主题模型与潜在语义分析模型81
4.4.2 LDA模型84
4.4.3 面向Web信息的LDA模型改进方法87
4.4.4 实验结果分析91
4.5 本章小结94
参考文献94
第5章 分布式多源电商数据挖掘96
5.1 电子商务及电商数据分析96
5.2 电商数据分析挖掘98
5.2.1 引言98
5.2.2 电商数据定义98
5.2.3 电商数据采集101
5.2.4 数据分析挖掘103
5.3 多源电商数据融合114
5.3.1 引言114
5.3.2 数据融合114
5.3.3 多源电商数据的特点115
5.3.4 多数据源电商数据融合总体解决方案116
5.3.5 多数据源电商数据融合方案117
5.3.6 多数据源电商数据融合的具体实现119
5.3.7 实验结果与分析120
5.4 分布式电商数据分析挖掘系统121
5.4.1 引言121
5.4.2 基于Hadoop的分布式电商数据分析挖掘系统122
5.4.3 基于 Hadoop平台的层次聚类124
5.4.4 电商数据的层次聚类分析132
参考文献136
