循序渐进Spark大数据应用开发

图书信息

作者：柳伟卫著

出版社：清华大学出版社

定价：89.00

ISBN：9787302675204

出版时间：2024-11-01

分类：图书,行业职业,计算机,数据库

商品介绍

目录

第1章 Spark概述 1

1.1 Spark简介 1

1.1.1 诞生与初始阶段 1

1.1.2 开源与社区建设 2

1.1.3 成为很好项目 2

1.1.4 版本更新 3

1.2 Spark组成 4

1.2.1 Spark Core 5

1.2.2 集群管理器 5

1.2.3 Spark UI 5

1.2.4 Spark SQL 6

1.2.5 Spark Streaming 6

1.2.6 Structured Streaming 6

1.2.7 MLlib 6

1.2.8 GraphX 7

1.2.9 其他 7

1.3 Spark数据类型 7

1.3.1 RDD 7

1.3.2 DataFrame 8

1.3.3 Dataset 8

1.3.4 数值类型 8

1.3.5 字符串类型 8

1.3.6 日期和时间类型 9

1.3.7 复杂类型 9

1.4 Spark的使用场景 9

1.4.1 批处理 9

1.4.2 实时流处理 9

1.4.3 分布式文件系统 10

1.4.4 机器学习 10

1.4.5 图计算 10

1.5 Spark与Hadoop的联系与区别 11

1.5.1 Hadoop概述 11

……

内容简介

本书结合作者一线开发实践，循序渐进地介绍了新版Apache Spark 3.x的开发技术。全书共10章，第1章和第2章主要介绍Spark的基本概念、安装，并演示如何编写最简单的Spark程序。第3章深入探讨了Spark的核心组件RDD。第4章讲解了Spark集群管理，帮助读者理解任务提交与执行的基本原理。第5章介绍了Spark SQL，这是处理结构化数据的基础工具。第6章展示了Spark Web UI，通过界面化的方式了解Spark集群运行状况。第7章和第8章分别介绍了Spark流式数据处理框架Spark Streaming和Structured Streaming。第9章和第10章则分别介绍了业界流行的机器学习和图计算处理框架MLlib和GraphX。书中各章节还提供了丰富的实战案例和上机练习题，以便读者在学习的同时进行实际操作，迅速提升动手能力。

本书技术先进，案例丰富，适合对Spark大数据应用感兴趣的学生、大数据开发人员及架构师使用，也可作为培训机构和高校大数据课程的教学用书。

作者简介

柳伟卫，网名老卫、waylau，在IT公司担任过项目经理、架构师、高级技术顾问等职位，拥有十余年开发经验，具有丰富的软件开发管理及系统架构经验。主导过多个省、重量大型分布式系统的设计与研发，参与过面向全球的供应链系统服务化改造。在实际工作中，积累了大量的分布式系统、微 服务架构以及性能调优经验。业余时间创建了 waylau.com 网站，用于分享个人技术心得。喜欢开源，长期跃于各大开源社区，编著了《跟老卫学HarmonyOS开发》《Netty 实战(精髓)》等近30余本开源技术教程（见 https://waylau.com/books/），广受网友好评，是 CSDN、 开源中国、阿里云开发者、华为开发者等技术社区专家，慕课网、华为开发者联盟社区认证讲师。已出版包括《HarmonyOS应用开发入门》《分布式系统常用技术及案例分析》《Java核心编程》《轻量级Java EE企业应用开发实战》《Node.js+Express+MongoDB+Vue.js全栈开发实战》《Netty原理解析与开发实战》等在内的几十本专著。