大数据开发与应用青岛英谷教育科技股份有限公司

图书信息

作者：青岛英谷教育科技股份有限公司著

出版社：西安电子科技大学出版社

定价：50.00

ISBN：9787560650159

出版时间：2018-08-01

分类：图书,行业职业,计算机,教材和读物

商品介绍

目录

第1章 概论 1第1章 概论 11.1 大数据技术简介 21.1.1 大数据技术的起源 21.1.2 大数据应用领域 31.1.3 大数据基础设施 41.2 大数据技术与大数据开发 61.2.1 什么是大数据开发 61.2.2 大数据开发的作用 71.2.3 大数据开发技术框架 81.2.4 大数据开发与大数据分析的异同 101.3 本书中你将学习到的内容 11本章小结 12本章练习 12第2章 Hadoop集群环境搭建 132.1 Hadoop简介 142.1.1 Hadoop的优点 142.1.2 Hadoop生态系统 142.2 Hadoop集群环境搭建 152.2.1 修改主机名 152.2.2 修改主机IP映射 152.2.3 配置SSH无密码登录 162.2.4 安装JDK 172.2.5 安装Hadoop 18本章小结 21本章练习 22第3章 HDFS 233.1 HDFS的概念 243.2 HDFS的特点 243.3 HDFS的原理 253.3.1 HDFS体系结构 253.3.2 HDFS主要组件 263.4 HDFS中的文件读/写 293.4.1 HDFS读数据 293.4.2 HDFS写数据 293.5 HDFS的安全性措施 303.6 HDFS命令行操作 323.7 常用HDFS Java API详解 333.7.1 新建Hadoop项目 333.7.2 读取数据 343.7.3 创建目录 353.7.4 创建文件 353.7.5 删除文件 363.7.6 遍历文件和目录 363.7.7 复制上传本地文件 383.7.8 复制下载文件 39本章小结 39本章练习 40第4章 MapReduce 414.1 MapReduce概述 424.2 MapReduce技术特征 424.3 MapReduce工作流程 444.3.1 MapReduce工作原理 444.3.2 MapReduce任务流程 454.4 MapReduce工作组件 464.5 MapReduce错误处理机制 474.5.1 硬件故障处理 474.5.2 任务失败处理 484.6 案例分析一：单词计数 484.6.1 设计思路 494.6.2 程序源代码 494.6.3 程序解读 514.6.4 程序运行 554.7 案例分析二：数据去重 574.7.1 设计思路 584.7.2 程序源代码 584.7.3 程序解读 594.7.4 程序运行 60本章小结 60本章练习 60第5章 ZooKeeper 615.1 ZooKeeper简介 625.1.1 主要优势 625.1.2 总体架构 625.1.3 应用场景 635.2 ZooKeeper的特性 645.2.1 数据模型 645.2.2 节点类型 655.2.3 Watcher机制 665.2.4 分布式锁 675.2.5 权限控制 695.3 ZooKeeper问题与应对 695.4 ZooKeeper安装和配置 705.4.1 单机模式 705.4.2 集群模式 715.4.3 伪分布模式 735.5 ZooKeeper命令行工具 755.6 ZooKeeper Java API 775.6.1 常用接口 775.6.2 创建节点 785.6.3 添加数据 795.6.4 获取数据 795.6.5 删除节点 81本章小结 81本章练习 82第6章 HBase 836.1 HBase简介 846.2 HBase与RDBMS 846.3 HBase数据结构 856.3.1 相关概念 866.3.2 存储特点 876.4 HBase组成架构 886.4.1 HMaster 886.4.2 HRegionServer 896.4.3 HRegion 896.4.4 ZooKeeper 906.4.5 HFile 906.4.6 HLog 906.5 HBase表结构 916.6 HBase集群安装 926.6.1 单机模式 926.6.2 伪分布模式 936.6.3 全分布模式 946.7 HBase Shell 966.8 HBase Java API的基本操作 986.8.1 创建Java工程 986.8.2 创建表 996.8.3 添加数据 1006.8.4 查询数据 1016.8.5 删除数据 1026.9 HBase过滤器 1026.9.1 过滤器简介 1036.9.2 行键过滤器 1046.9.3 列族过滤器 1046.9.4 列过滤器 1056.9.5 值过滤器 1056.9.6 单列值过滤器 105本章小结 106本章练习 106第7章 Hive 1077.1 Hive简介 1087.1.1 系统结构和工作方式 1087.1.2 Hive数据模型 1107.1.3 Hive内置服务 1117.2 Hive环境搭建 1127.3 Hive命令行 1147.3.1 Hive CLI交互式命令行 1147.3.2 hive命令 1157.4 HiveQL详解 1167.4.1 DDL操作 1167.4.2 DML操作 1287.5 Hive JDBC 1327.5.1 配置和启动HiveServer2 1327.5.2 JDBC访问Hive 1337.5.3 JDBC示例代码 134本章小结 138本章练习 138第8章 Storm 1398.1 简介 1408.1.1 基础知识 1408.1.2 集群环境搭建 1448.2 Topology入门 1468.2.1 Hello World Topology 1468.2.2 Topology生命周期 1548.3 命令行和UI 1568.3.1 常用命令行简介 1578.3.2 Storm UI简介 1598.4 常用API详解 1668.4.1 TopologyBuilder 1678.4.2 Component 168本章小结 172本章练习 172第9章 Sqoop 1739.1 Sqoop简介 1749.1.1 Sqoop基本架构 1749.1.2 Sqoop实际应用 1759.2 导入/导出工具 1759.2.1 数据导入工具import 1769.2.2 数据导出工具export 1779.3 Sqoop安装与配置 1779.4 案例分析：使用Sqoop进行数据导入/导出 1789.4.1 将MySQL表数据导入到HDFS中 1799.4.2 将HDFS中的数据导出到MySQL中 1809.4.3 将MySQL表数据导入到HBase中 180本章小结 182本章练习 182第10章 Kafka 18310.1 Kafka简介 18410.1.1 基本概念 18510.1.2 集群架构 18610.1.3 主题和分区 18610.1.4 消费者组 18710.1.5 主要特性 18810.1.6 应用场景 18910.2 Kafka集群搭建 19010.2.1 前提条件 19010.2.2 搭建步骤 19110.3 Kafka集群测试 19210.3.1 创建主题 19210.3.2 查询主题 19310.3.3 创建生产者 19310.3.4 创建消费者 19310.4 Kafka Java API 19410.4.1 创建生产者 19410.4.2 创建消费者 19610.4.3 运行程序 198本章小结 199本章练习 200第11章 Spark 20111.1 Spark简介 20211.1.1 Spark基本概念 20211.1.2 Spark的优势 20511.1.3 Spark的核心组件 20611.1.4 Spark应用程序执行流程 20711.2 Spark集群环境搭建 20811.2.1 前提条件 20811.2.2 搭建步骤 20911.3 Spark Shell命令操作 21111.4 Spark编程 21411.4.1 IntelliJ IDEA开发环境搭建 21411.4.2 初始化SparkContext 22611.4.3 向Spark提交应用程序 22611.4.4 RDD编程 22911.5 Spark数据读写 23611.5.1 Spark文件的读取与保存 23611.5.2 文件系统和数据库简介 239本章小结 239本章练习 240第12章 ElasticSearch 24112.1 简介 24212.1.1 ES的起源 24212.1.2 ES的功能特性 24212.1.3 ES的应用场景 24312.2 基础知识 24412.2.1 基本概念 24412.2.2 面向文档 24612.2.3 与ES交互 24712.3 环境搭建 24912.4 RESTful API简介 25212.4.1 集群操作 25212.4.2 文档操作 25412.4.3 数据操作 25712.5 Java API简介 26812.5.1 传输客户端简介 26812.5.2 文档API 26912.5.3 搜索API 274本章小结 277本章练习 2771.1 大数据技术简介 21.1.1 大数据技术的起源 21.1.2 大数据应用领域 31.1.3 大数据基础设施 41.2 大数据技术与大数据开发 61.2.1 什么是大数据开发 61.2.2 大数据开发的作用 71.2.3 大数据开发技术框架 81.2.4 大数据开发与大数据分析的异同 101.3 本书中你将学习到的内容 11本章小结 12本章练习 12第2章 Hadoop集群环境搭建 132.1 Hadoop简介 142.1.1 Hadoop的优点 142.1.2 Hadoop生态系统 142.2 Hadoop集群环境搭建 152.2.1 修改主机名 152.2.2 修改主机IP映射 152.2.3 配置SSH无密码登录 162.2.4 安装JDK 172.2.5 安装Hadoop 18本章小结 21本章练习 22第3章 HDFS 233.1 HDFS的概念 243.2 HDFS的特点 243.3 HDFS的原理 253.3.1 HDFS体系结构 253.3.2 HDFS主要组件 263.4 HDFS中的文件读/写 293.4.1 HDFS读数据 293.4.2 HDFS写数据 293.5 HDFS的安全性措施 303.6 HDFS命令行操作 323.7 常用HDFS Java API详解 333.7.1 新建Hadoop项目 333.7.2 读取数据 343.7.3 创建目录 353.7.4 创建文件 353.7.5 删除文件 363.7.6 遍历文件和目录 363.7.7 复制上传本地文件 383.7.8 复制下载文件 39本章小结 39本章练习 40第4章 MapReduce 414.1 MapReduce概述 424.2 MapReduce技术特征 424.3 MapReduce工作流程 444.3.1 MapReduce工作原理 444.3.2 MapReduce任务流程 454.4 MapReduce工作组件 464.5 MapReduce错误处理机制 474.5.1 硬件故障处理 474.5.2 任务失败处理 484.6 案例分析一：单词计数 484.6.1 设计思路 494.6.2 程序源代码 494.6.3 程序解读 514.6.4 程序运行 554.7 案例分析二：数据去重 574.7.1 设计思路 584.7.2 程序源代码 584.7.3 程序解读 594.7.4 程序运行 60本章小结 60本章练习 60第5章 ZooKeeper 615.1 ZooKeeper简介 625.1.1 主要优势 625.1.2 总体架构 625.1.3 应用场景 635.2 ZooKeeper的特性 645.2.1 数据模型 645.2.2 节点类型 655.2.3 Watcher机制 665.2.4 分布式锁 675.2.5 权限控制 695.3 ZooKeeper问题与应对 695.4 ZooKeeper安装和配置 705.4.1 单机模式 705.4.2 集群模式 715.4.3 伪分布模式 735.5 ZooKeeper命令行工具 755.6 ZooKeeper Java API 775.6.1 常用接口 775.6.2 创建节点 785.6.3 添加数据 795.6.4 获取数据 795.6.5 删除节点 81本章小结 81本章练习 82第6章 HBase 836.1 HBase简介 846.2 HBase与RDBMS 846.3 HBase数据结构 856.3.1 相关概念 866.3.2 存储特点 876.4 HBase组成架构 886.4.1 HMaster 886.4.2 HRegionServer 896.4.3 HRegion 896.4.4 ZooKeeper 906.4.5 HFile 906.4.6 HLog 906.5 HBase表结构 916.6 HBase集群安装 926.6.1 单机模式 926.6.2 伪分布模式 936.6.3 全分布模式 946.7 HBase Shell 966.8 HBase Java API的基本操作 986.8.1 创建Java工程 986.8.2 创建表 996.8.3 添加数据 1006.8.4 查询数据 1016.8.5 删除数据 1026.9 HBase过滤器 1026.9.1 过滤器简介 1036.9.2 行键过滤器 1046.9.3 列族过滤器 1046.9.4 列过滤器 1056.9.5 值过滤器 1056.9.6 单列值过滤器 105本章小结 106本章练习 106第7章 Hive 1077.1 Hive简介 1087.1.1 系统结构和工作方式 1087.1.2 Hive数据模型 1107.1.3 Hive内置服务 1117.2 Hive环境搭建 1127.3 Hive命令行 1147.3.1 Hive CLI交互式命令行 1147.3.2 hive命令 1157.4 HiveQL详解 1167.4.1 DDL操作 1167.4.2 DML操作 1287.5 Hive JDBC 1327.5.1 配置和启动HiveServer2 1327.5.2 JDBC访问Hive 1337.5.3 JDBC示例代码 134本章小结 138本章练习 138第8章 Storm 1398.1 简介 1408.1.1 基础知识 1408.1.2 集群环境搭建 1448.2 Topology入门 1468.2.1 Hello World Topology 1468.2.2 Topology生命周期 1548.3 命令行和UI 1568.3.1 常用命令行简介 1578.3.2 Storm UI简介 1598.4 常用API详解 1668.4.1 TopologyBuilder 1678.4.2 Component 168本章小结 172本章练习 172第9章 Sqoop 1739.1 Sqoop简介 1749.1.1 Sqoop基本架构 1749.1.2 Sqoop实际应用 1759.2 导入/导出工具 1759.2.1 数据导入工具import 1769.2.2 数据导出工具export 1779.3 Sqoop安装与配置 1779.4 案例分析：使用Sqoop进行数据导入/导出 1789.4.1 将MySQL表数据导入到HDFS中 1799.4.2 将HDFS中的数据导出到MySQL中 1809.4.3 将MySQL表数据导入到HBase中 180本章小结 182本章练习 182第10章 Kafka 18310.1 Kafka简介 18410.1.1 基本概念 18510.1.2 集群架构 18610.1.3 主题和分区 18610.1.4 消费者组 18710.1.5 主要特性 18810.1.6 应用场景 18910.2 Kafka集群搭建 19010.2.1 前提条件 19010.2.2 搭建步骤 19110.3 Kafka集群测试 19210.3.1 创建主题 19210.3.2 查询主题 19310.3.3 创建生产者 19310.3.4 创建消费者 19310.4 Kafka Java API 19410.4.1 创建生产者 19410.4.2 创建消费者 19610.4.3 运行程序 198本章小结 199本章练习 200第11章 Spark 20111.1 Spark简介 20211.1.1 Spark基本概念 20211.1.2 Spark的优势 20511.1.3 Spark的核心组件 20611.1.4 Spark应用程序执行流程 20711.2 Spark集群环境搭建 20811.2.1 前提条件 20811.2.2 搭建步骤 20911.3 Spark Shell命令操作 21111.4 Spark编程 21411.4.1 IntelliJ IDEA开发环境搭建 21411.4.2 初始化SparkContext 22611.4.3 向Spark提交应用程序 22611.4.4 RDD编程 22911.5 Spark数据读写 23611.5.1 Spark文件的读取与保存 23611.5.2 文件系统和数据库简介 239本章小结 239本章练习 240第12章 ElasticSearch 24112.1 简介 24212.1.1 ES的起源 24212.1.2 ES的功能特性 24212.1.3 ES的应用场景 24312.2 基础知识 24412.2.1 基本概念 24412.2.2 面向文档 24612.2.3 与ES交互 24712.3 环境搭建 24912.4 RESTful API简介 25212.4.1 集群操作 25212.4.2 文档操作 25412.4.3 数据操作 25712.5 Java API简介 26812.5.1 传输客户端简介 26812.5.2 文档API 26912.5.3 搜索API 274本章小结 277本章练习 277

内容简介

本书系统讲解了目前大数据开发领域的主流技术与实用技能，尤其侧重于对Hadoop生态系统的讲解，包括Hadoop框架的运作流程、执行原理及数据工具等内容。全书共分12章，分别对大数据概论、Hadoop集群环境搭建以及HDFS、MapReduce、ZooKeeper、HBase、Hive、Storm、Sqoop、Kafka、Spark和ElasticSearch的核心知识进行了介绍，同时辅以对各种API及实例的深入解析与实践指导，旨在使读者迅速理解并掌握大数据的相关知识框架体系，提高动手能力，熟练使用Hadoop集成环境等大数据开发工具，完成大数据相关应用的开发、调试和运行工作。本书适用面广，可作为高等学校大数据专业、计算机类专业的教材，也可作为大数据从业者、软件开发人员以及程序设计爱好者的参考用书。