大数据技术原理与应用:概念、存储、处理、分析与应用
作者:林子雨 编著
出版时间:2015年版
内容简介
大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受关注。大数据处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材,为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术,介绍大数据技术的基本原理和大数据主要应用,帮助读者形成对大数据知识体系及其应用领域的轮廓性认识,为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上,感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书,继续深入学习和实践大数据相关技术。
目录
第一篇大数据基础第1章大数据概述1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1.1.3数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据的概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.2.4价值密度低1.3大数据的影响1.3.1大数据对科学研究的影响1.3.2大数据对思维方式的影响1.3.3大数据对社会发展的影响1.3.4大数据对就业市场的影响1.3.5大数据对人才培养的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.6.1批处理计算1.6.2流计算1.6.3图计算1.6.4查询分析计算1.7大数据产业1.8大数据与云计算、物联网1.8.1云计算1.8.2物联网1.8.3大数据与云计算、物联网的关系1.9本章小结1.10习题第2章大数据处理架构Hadoop2.1概述2.1.1Hadoop简介2.1.2Hadoop的发展简史2.1.3Hadoop的特性2.1.4Hadoop的应用现状2.2Hadoop的项目结构2.2.1Common2.2.2Avro2.2.3HDFS2.2.4HBase2.2.5MapReduce2.2.6Zookeeper2.2.7Hive2.2.8Pig2.2.9Sqoop2.2.10Chukwa2.3Hadoop的安装与使用2.3.1创建Hadoop用户2.3.2Java的安装2.3.3SSH登录权限设置2.3.4安装单机Hadoop2.3.5Hadoop伪分布式安装2.4本章小结2.5习题第二篇大数据存储第3章Hadoop分布式文件系统3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS简介3.3HDFS的相关概念3.3.1块3.3.2名称节点和数据节点3.4HDFS体系结构3.4.1概述3.4.2HDFS命名空间管理3.4.3通信协议3.4.4客户端3.4.5HDFS体系结构的局限性3.5HDFS的存储原理3.5.1冗余数据的保存3.5.2数据存取策略3.5.3数据错误与恢复3.6HDFS的数据读写过程3.6.1读数据的过程3.6.2写数据的过程3.7HDFS编程实践3.7.1HDFS常用命令3.7.2HDFS的Web界面3.7.3HDFS常用JavaAPI及应用实例3.8本章小结3.9习题第4章分布式数据库HBase4.1概述4.1.1从BigTable说起4.1.2HBase简介4.1.3HBase与传统关系数据库的对比分析4.2HBase访问接口4.3HBase数据模型4.3.1数据模型概述4.3.2数据模型的相关概念4.3.3数据坐标4.3.4概念视图4.3.5物理视图4.3.6面向列的存储4.4HBase的实现原理4.4.1HBase的功能组件4.4.2表和Region4.4.3Region的定位4.5HBase运行机制4.5.1HBase系统架构4.5.2Region服务器的工作原理4.5.3Store的工作原理4.5.4HLog的工作原理4.6HBase编程实践