|
|
Java电子书：图解Spark：核心技术与案例实战 格式 pdf 电子书 PDF 电子书 Java吧 java8.com
( E8 N$ _" N4 ]$ b6 G# ?, N% Z& W
! B' ^; c/ \! F) @
4 j" M7 D7 {2 ~% F7 ]# M编号：mudaima-P0303【Java吧 java8.com】7 [. \- Z$ W* y; {9 V
) n( B9 E* B- H# Y2 N7 O! a8 i$ }+ p y5 Y' t
0 [( ?$ U+ p* m5 g+ m& W8 `; `. NJava电子书目录：第1章 Spark及其生态圈概述
+ }6 L4 z$ \, y+ @! e. ^; t1.1 Spark简介& W j/ o" ^/ L
1.1.1 什么是Spark: o+ \) V! |, G+ i7 I; S" S
1.1.2 Spark与MapReduce比较! B0 j; v7 }) p4 D D2 W6 ~' @
1.1.3 Spark的演进路线图* f( `7 A) }: r6 `* M8 f J
1.2 Spark生态系统" Y( ]7 n9 T' Q9 O7 K8 a& H
1.2.1 Spark Core
- i) B c; f: E" @; e4 k; g0 C% M1.2.2 Spark Streaming5 u1 d$ B4 F1 ]& Y6 J" b
1.2.3 Spark SQL
, K- P4 Q$ ]- c: C: o- n. Z1.2.4 BlinkDB# g- m" a* t! c" R
1.2.5 MLBase/MLlib& |% n% z- x& K
1.2.6 GraphX5 w H9 X8 _- ^9 D) ^4 i& M
1.2.7 SparkR- Z- j$ E1 p h
1.2.8 Alluxio
: I7 I7 ]) X1 i0 q1.3 小结
. P5 }9 E- {: y5 R+ H第2章 搭建Spark实战环境
4 B/ M- }, D5 G* q2.1 基础环境搭建
5 N4 x, q9 ?, R: C2 q$ f2.1.1 搭建集群样板机1 y ?" |0 R* R
2.1.2 配置集群环境
# V" l' o/ j6 K2 t2.2 编译Spark源代码
8 j4 g, | D3 c9 W( E) K( j9 N2.2.1 配置Spark编译环境- q* p1 ^7 O3 n& ]
2.2.2 使用Maven编译Spark
( d+ t$ C# C$ @; b6 h2.2.3 使用SBT编译Spark
* k2 C s' E8 |6 V6 ~# w2.2.4 生成Spark部署包
& K& |" B& H& |( _2.3 搭建Spark运行集群
' a5 P: {4 }5 t, M( T" `7 z% [$ h2.3.1 修改配置文件
9 E) {8 f* t" m0 ?3 z2.3.2 启动Spark1 @3 t, K5 k4 P" @
2.3.3 验证启动
/ s2 {% E* S. G* J2.3.4 个实例
3 ^' B/ ~" Z T) {3 k. W1 n2.4 搭建Spark实战开发环境
. l& H8 W, B3 T. m2.4.1 CentOS中部署IDEA9 `) P' ], r( f* l9 |3 S M8 {8 Z4 S2 T6 s
2.4.2 使用IDEA开发程序" l+ ^- L* d! P
2.4.3 使用IDEA阅读源代码
: F2 u& g. d4 w& Q0 [2.5 小结
9 U, |! I; F0 i' x# d: y; M0 M; h+ ?, \$ `% C* a+ f
第二篇 核心篇6 i; {/ I- {( m9 ]
第3章 Spark编程模型
* G/ H1 t! h) B, G, Y8 d% B+ I3.1 RDD概述
7 g6 y# ?4 H6 a3 K% P) {) X) t8 ~3.1.1 背景
" S' F# v! o/ |6 k: g3.1.2 RDD简介: S9 J: R/ a/ S) h$ G } J& O
3.1.3 RDD的类型9 ?3 |& P) m1 N+ J/ p
3.2 RDD的实现3 L W! V* K( C! o
3.2.1 作业调度
" d; H& b/ f! r! ?3.2.2 解析器集成( ?8 k+ g/ |7 M- K2 p; C4 u" t! w5 b
3.2.3 内存管理8 j& E* H0 M& r- t" o
3.2.4 检查点支持9 s1 [ _' b' v7 R6 s' ]# X
3.2.5 多用户管理
0 F" a8 r( S1 s3.3 编程接口
; S( T& O+ n3 q: g% G/ r. p3.3.1 RDD分区（Partitions）
2 h j ^$ u& Y- ^, m3.3.2 RDD位置（PreferredLocations）
6 p- E# l; U. T3.3.3 RDD依赖关系（Dependencies）6 g' ]( W, Q6 a4 S/ B) |; T d
3.3.4 RDD分区计算（Iterator）. `6 ~, P! t3 M7 I% G& R5 g6 q0 r
3.3.5 RDD分区函数（Partitioner） {# G, R; [6 T( p. C% h0 t2 r
3.4 创建操作
+ d5 H2 Q2 a; h2 S: F$ Z5 l2 c3.4.1 并行化集合创建操作4 f! Y9 O6 q. ]
3.4.2 外部存储创建操作/ I# L0 g8 w! b$ a: F* }
3.5 转换操作
* l+ o% G& D: g) q- z) ], G3 o+ |3.5.1 基础转换操作
; N/ R' d1 x5 b& D% J& t, [3.5.2 键值转换操作
, c( H5 G. `# I1 Y. a- ^! j3.6 控制操作4 [8 u, j0 D. P$ `& m% q
3.7 行动操作
3 n! w. v4 ?% t3.7.1 集合标量行动操作
1 L/ u, b- G( k$ x3.7.2 存储行动操作
/ N* B9 P$ {: ^, M( K5 F3 I, U3.8 小结
3 T0 q; O, q9 O* L6 ?: f第4章 Spark核心原理
: [& i5 `! Y6 v( t& M4.1 消息通信原理
$ p3 x2 j; w$ K4.1.1 Spark消息通信架构
$ l7 T( }/ O& m+ p4 a' C0 n* q4.1.2 Spark启动消息通信; Y% x" f5 Z( w+ D) K
4.1.3 Spark运行时消息通信
1 s2 b; q- {+ Q, P; F1 `% A: e; d4.2 作业执行原理
# Z8 F. \' ~% t/ {6 k7 @! P! O2 k% b4.2.1 概述
$ L7 Z- J7 }( s$ _ _/ i$ r4.2.2 提交作业3 a ]# G+ q, R( m
4.2.3 划分调度阶段/ U; L) `& n& R& }8 a4 r
4.2.4 提交调度阶段' a* w/ Q" t' y
4.2.5 提交任务
9 }$ z" [( g& X0 `2 r6 J4.2.6 执行任务
! T1 g( ^- G; M! S# W4 w5 x4.2.7 获取执行结果. S8 B' o2 L$ V! X2 ]& H
4.3 调度算法' e* [* m6 r# {& [: O
4.3.1 应用程序之间
1 ~8 ~4 {) g U1 E, j+ A4.3.2 作业及调度阶段之间5 W4 Y8 R" P% s g s5 Q+ l9 X
4.3.3 任务之间
7 i2 _0 v- [6 o2 Y5 F0 r# R4 [- ^4.4 容错及HA0 p6 g, N7 }) V& j
4.4.1 Executor异常4 |, V' @# f, b, {
4.4.2 Worker异常
& F; }3 V8 @( u4.4.3 Master异常
/ w6 }8 R% H2 _2 W# u4.5 监控管理/ o5 j9 U$ j: N% `
4.5.1 UI监控
" L/ \; c* [* v, H/ w4.5.2 Metrics
$ o9 `$ m" A9 u4 G, g4.5.3 REST
7 G+ b* C% ]- ?' ~; [* G4.6 实例演示
$ @7 J0 L6 b# J3 c* e4.6.1 计算年降水实例
- I; S/ t0 z. K4.6.2 HA配置实例
5 f* a: ^% H- s' S4.7 小结2 o* A( l% W% Y$ G" B
第5章 Spark存储原理
, \3 A# n, l9 @ A' R) b5.1 存储分析
. z- @" t8 u8 S/ ~5.1.1 整体架构
3 P; _1 u% ]/ Y. M+ Y5.1.2 存储级别: q. A( P+ h) V' y
5.1.3 RDD存储调用& n3 }5 F2 m- u! S+ f; y2 G e4 h4 {
5.1.4 读数据过程
5 l2 F4 W* _9 ^6 u; W' ~5.1.5 写数据过程
" g+ z) N; V& H! U: a6 z5.2 Shuffle分析
y$ c- u) G9 E7 p8 L5.2.1 Shuffle简介
9 _) V" `. Z* k) a1 a1 H5.2.2 Shuffle的写操作9 S" I7 H- r5 X% P$ R3 x9 U
5.2.3 Shuffle的读操作
% [. ~, K2 ?( C9 k) t7 S5.3 序列化和压缩
3 h, m _" i: ^3 [6 }- d5.3.1 序列化& Q; l& Z& O( G* m9 Z
5.3.2 压缩
5 l: i# i% w& Q' v5.4 共享变量$ u( q$ ^2 R1 E* v7 G: ^
5.4.1 广播变量
6 t8 e t. B5 I7 Z( \) j4 ?5.4.2 累加器
9 a! {7 A" b1 p+ D0 g& R! O8 b5.5 实例演示0 z, z$ v1 f. z S; _
5.6 小结1 j' p" \# M4 ~1 `; P% ?
第6章 Spark运行架构$ E5 ?; F5 F; O( K+ F; G/ l. r
6.1 运行架构总体介绍
; d3 P4 P9 c& u6.1.1 总体介绍
/ z- E& ~6 i7 V6.1.2 重要类介绍 ^1 ?& i9 w& j# Q4 ~. [( F& Z+ V4 _
6.2 本地（Local）运行模式
3 U. E" ?( G; D- m+ Q6.2.1 运行模式介绍5 z( t& ?9 r9 T L( ^
6.2.2 实现原理
" V% Z8 o) @7 Y3 d: G1 b- F6.3 伪分布（Local-Cluster）运行模式. n4 s3 I1 @9 W/ @& C' a
6.3.1 运行模式介绍, O2 D8 u# y2 a5 T
6.3.2 实现原理4 u3 X6 }: _ ?! J+ t
6.4 独立（Standalone）运行模式/ @1 w3 ^# G, h: M# u/ y+ d
6.4.1 运行模式介绍$ K. [% }, x8 w- g5 ]
6.4.2 实现原理
8 I- j k! S+ `2 U0 b6 @+ s- V) d! P6.5 YARN运行模式
& u2 P4 `6 v: W' {* r6.5.1 YARN运行框架; |* @ X/ f3 v; k
6.5.2 YARN-Client运行模式介绍
2 K# G& o! b6 i; `1 o% z# ]3 z6.5.3 YARN-Client 运行模式实现原理! B0 J8 l. ?. R6 Y% p& s: F
6.5.4 YARN-Cluster运行模式介绍
3 n( }2 A; B9 D( g v( M6.5.5 YARN-Cluster 运行模式实现原理9 G; Q: Z4 {0 n6 e' G9 _4 i
6.5.6 YARN-Client与YARN-Cluster对比% K% [& a. I. z& o0 T( v3 H9 K
6.6 Mesos运行模式
: A4 \9 `$ H3 N: {6.6.1 Mesos介绍
; H, ^$ R0 N. Y- ?0 M+ z- w6.6.2 粗粒度运行模式介绍
) c$ p/ B8 J U( J! l2 |6.6.3 粗粒度实现原理
! ?0 W; W+ U: O) @) t: Z6.6.4 细粒度运行模式介绍9 |' e; \% E% y6 P2 @4 H
6.6.5 细粒度实现原理
: Q6 l/ ]2 S! E: }0 f0 Z- Z6.6.6 Mesos粗粒度和Mesos细粒度对比# A; d3 _$ E/ ]/ F( Q# ~4 d
6.7 实例演示
/ \* ~7 F( S5 I+ u6 n8 |6.7.1 独立运行模式实例0 P* Q- H2 @ W
6.7.2 YARN-Client实例
5 M# \& }" I6 B; k8 a! i: `6.7.3 YARN-Cluster实例
: Q, [& T* g9 E# E6 Z$ z6.8 小结
8 A% ?0 ]! L2 ~' I! _ d! J: W3 U( U4 Z5 N
第三篇 组件篇
) a& h: V6 A1 C/ S! h7 `' K' A第7章 Spark SQL
+ A; u6 k# g( A4 }( y7 c8 f! @0 @7.1 Spark SQL简介( l! \$ M3 Q; l, J, y% A8 t" w! W4 u5 M
7.1.1 Spark SQL发展历史$ ~: y p2 t; c8 I0 x( m# J# V' {
7.1.2 DataFrame/Dataset介绍
c6 w: m$ i' o' |- N. |% p7.2 Spark SQL运行原理) _# |" h$ M& K- d# E. s" N
7.2.1 通用SQL执行原理# H- j! U7 r; q4 p% G7 D5 {" R) H
7.2.2 SparkSQL运行架构6 g2 [+ c; f+ @8 a1 N, f
7.2.3 SQLContext运行原理分析
$ d5 S1 `( B8 \7.2.4 HiveContext介绍: A" G' O( Q+ F; n
7.3 使用Hive-Console
Y, @( t, z& I. w7.3.1 编译Hive-Console
' o4 ^ g9 B& I4 F; o7.3.2 查看执行计划% Z; ^& M7 \ D! O' l3 X( ?+ T. k; H- W
7.3.3 应用Hive-Console' O! A( P2 y9 b6 w& v. p* j8 U
7.4 使用SQLConsole
% e2 ~' t0 U& V; F7.4.1 启动HDFS和Spark Shell$ O) t5 Q! e. Q% m8 K: U0 I
7.4.2 与RDD交互操作3 z+ a2 ?; j/ Z' m E$ X {
7.4.3 读取JSON格式数据) p7 \; U9 L, d7 `
7.4.4 读取Parquet格式数据: I: l4 a7 j+ v$ R. x1 ^5 b$ S
7.4.5 缓存演示7 O+ J8 [$ j; J% \
7.4.6 DSL演示
0 W/ @$ W8 G" L3 {5 L; N1 i7.5 使用Spark SQL CLI9 l. {3 R4 D8 f0 c1 e# m
7.5.1 配置并启动Spark SQL CLI) G4 X+ A% ^) m: r
7.5.2 实战Spark SQL CLI) e0 R+ L* b. Y" ?/ R, |8 y+ d
7.6 使用Thrift Server
2 E! M, w6 `9 ?7 F7.6.1 配置并启动Thrift Server H* E# }5 f6 W! F0 |, i
7.6.2 基本操作6 |- L$ [" g1 R4 g, ^8 L8 S, S, H
7.6.3 交易数据实例
. F7 \! I' j% S. I8 A5 z" l7.6.4 使用IDEA开发实例 ]6 Y, y# G: n6 B: N& J! l7 ]) U
7.7 实例演示8 @2 ?# ]" n6 Q2 @' |5 L
7.7.1 销售数据分类实例7 l9 N$ {- ~# b5 C/ j
7.7.2 网店销售数据统计
4 e. O& {; z9 }# t2 T' I7.8 小结5 ?# r( o- {& ^6 l) ?
第8章 Spark Streaming
2 T( p: Z2 i& r8.1 Spark Streaming简介& K9 m) V5 L$ X# }2 w1 r
8.1.1 术语定义
- F* U) A+ x3 g# B, R Q) @/ P8.1.2 Spark Streaming特点6 I' C' }' p/ L6 Z' \$ O& L
8.2 Spark Streaming编程模型
, ~2 ]9 T6 y+ b8 [8.2.1 DStream的输入源0 h9 k) l- `- o+ P# q$ l2 V
8.2.2 DStream的操作. D2 h2 t5 {) e5 @# ]
8.3 Spark Streaming运行架构6 z2 M+ b: [6 m n! O& X! b
8.3.1 运行架构9 a' ]. O; G) K l3 H& ]( w/ P
8.3.2 消息通信6 s8 l' B+ v% d; @0 Y
8.3.3 Receiver分发; A- ]# {! l5 ^4 w
8.3.4 容错性
/ Z3 Q% m$ N+ g, |8.4 Spark Streaming运行原理
" Q2 @; b" z. P; q2 R9 i; E; [1 R; O/ k8.4.1 启动流处理引擎4 r3 H4 f5 C* c/ G" M+ w
8.4.2 接收及存储流数据2 m& }8 V+ a1 }+ R" J, C! w" |
8.4.3 数据处理0 J0 G% R2 p S7 J+ w. c
8.5 实例演示
. B5 h [! `1 ?# F- s k* a8.5.1 流数据模拟器; R& A4 |. k7 m6 z. E. z
8.5.2 销售数据统计实例& M9 y1 |: A" r0 I& E/ w$ Y
8.5.3 Spark Streaming Kafka实例- S. Q* W7 ?2 S+ T
8.6 小结; k8 H% N8 k$ v8 b9 j
第9章 Spark MLlib
- [( s* k4 z5 n9.1 Spark MLlib简介
& ?0 h8 P% K4 N9.1.1 Spark MLlib介绍
; U$ l F- X8 g8 m9.1.2 Spark MLlib数据类型
3 Z' H F' Q5 ]0 L ~+ o9.1.3 Spark MLlib基本统计方法
' L0 s* i9 D" N( m8 E9.1.4 预言模型标记语言
# N5 W; ]( b0 x5 G" A/ r3 T9.2 线性模型) a8 Z3 a2 F5 E# l* ]
9.2.1 数学公式
0 h: H0 T# i8 K$ Z2 k' ~5 r9.2.2 线性回归
3 G' R/ q* j# X2 G9 r+ F9.2.3 线性支持向量机6 F# G* ~$ p/ ^# I- c: u& @! \' P
9.2.4 逻辑回归
: } H0 D+ Z3 ~5 t' s9 j. a9.2.5 线性小二乘法、Lasso和岭回归
0 q* Z3 C' l, J- v3 p) G. C; z3 _9.2.6 流式线性回归3 w$ C/ s( y2 f
9.3 决策树) J* u; f6 t% |% W! ~3 W1 k
9.4 决策模型组合" r! o) U7 J+ r
9.4.1 随机森林& W( ?2 E& I' W2 @. u
9.4.2 梯度提升决策树4 B5 z7 J8 w" B. L( }
9.5 朴素贝叶斯
. U( A' N/ y: d) ] u# C9.6 协同过滤5 D$ j7 ?1 F& a! G/ ]
9.7 聚类4 f9 M- n4 C; f# X7 A
9.7.1 K-means5 r/ [' [% u, D( R5 `
9.7.2 高斯混合
' y0 c* s( c' W9.7.3 快速迭代聚类
. ?- C+ Y+ ?$ ]; l- u9.7.4 LDA! L- ]6 s% `6 `7 }& K3 G
9.7.5 二分K-means# Z f0 X% _; x3 c
9.7.6 流式K-means4 `5 N# X7 ~! h* k6 ^9 U# W
9.8 降维
, a4 G8 x/ \6 a3 X' I9.8.1 奇异值分解降维' {7 M3 K- ^ @# [
9.8.2 主成分分析降维, ~: Y- ]! g9 i$ _+ g' ~
9.9 特征提取和变换
2 P. T) R+ h! R7 x+ u( n- L9.9.1 词频—逆文档频率3 K( v8 { U+ n I
9.9.2 词向量化工具
/ A' I! ?) t+ |, m; ]) @# |( @9.9.3 标准化8 i8 K. U# c7 T& v5 z
9.9.4 范数化: p/ h* Y4 X _; D ~1 k! s& N
9.10 频繁模式挖掘
! F1 [, e3 E% ?$ Y% S' t9.10.1 频繁模式增长$ I2 |7 q9 d0 o, G# [6 ^$ P2 ~
9.10.2 关联规则挖掘3 T, s3 \* E& f+ m: O0 y c
9.10.3 PrefixSpan
" @( j/ |( R) j. T! i( g9.11 实例演示! s2 S6 T+ }) b. b' T+ o
9.11.1 K-means聚类算法实例9 f/ h: r7 B- i3 L# q
9.11.2 手机短信分类实例: d- w$ J( d# g, N
9.12 小结 B3 l* m2 ^8 Y7 [
第10章 Spark GraphX: f- H; h4 v( x! l" t' P$ n
10.1 GraphX介绍
- C- C0 I0 F& e* J; r3 a5 Z2 D3 z10.1.1 图计算- x) E' u% l5 O" L- g4 T7 T
10.1.2 GraphX介绍; N. K9 }) R4 r% y+ j; r
10.1.3 发展历程/ |' r$ S+ |" k, `! R& I
10.2 GraphX实现分析
6 \9 }! T7 A' V10.2.1 GraphX图数据模型+ y2 ? v; @3 ?
10.2.2 GraphX图数据存储
- c8 _% X# z6 J" G10.2.3 GraphX图切分策略+ b) I9 b$ N, d' q# ?" D
10.2.4 GraphX图操作; E+ @3 O) \& |( U
10.3 实例演示
$ ?, j- L1 N; A. R( y10.3.1 图例演示
! O8 t u* e; ]9 {) p10.3.2 社区发现演示 I: {2 Y. \# U( a, f7 F! v: B& o
10.4 小结. _1 `/ ]" B P# e
第11章 SparkR
( k9 x: d! f6 b( s7 {5 Q0 p11.1 概述# V) f5 t; q8 I8 j9 _% @
11.1.1 R语言介绍
; U$ m) O! t. w- S& n$ h2 [6 x) j+ T11.1.2 SparkR介绍
, E0 e, |$ M+ Z' P" N* P9 z4 {8 E11.2 SparkR与DataFrame/ j# t8 b2 Q# Q9 H( A. i" d! w
11.2.1 DataFrames介绍
. C8 E* P$ _' j* {0 T. m11.2.2 与DataFrame的相关操作 w/ @+ T! r& ], n- m
11.3 编译安装SparkR0 G, o$ y4 x8 F9 I1 B/ X
11.3.1 编译安装R语言
, y) g: b$ \7 Z11.3.2 安装SparkR运行环境6 N4 w/ _4 }7 Y, h) R9 X) r
11.3.3 安装SparkR9 a) [. ?2 M$ a- G9 c
11.3.4 启动并验证安装
8 h, h$ ? i& y* `) w2 x& s11.4 实例演示
$ }, N9 a6 j; O( t' Q11.5 小结
, V; W* l, x4 f; ?第12章 Alluxio
* ]* M; a/ O7 V: z12.1 Alluxio简介
J5 }1 M# K- o8 |. d* y# O8 q12.1.1 Alluxio介绍 y4 O+ E1 n# M, ~+ _# U
12.1.2 Alluxio系统架构; ]' K) w) x0 A. r% f3 B1 G
12.1.3 HDFS与Alluxio
9 v: w3 N/ k9 A$ y. H% [0 d12.2 Alluxio编译部署
; j6 Z" B2 I# z8 F8 e6 x$ H9 m12.2.1 编译Alluxio
/ h, ?; _/ z4 J12.2.2 单机部署Alluxio
- J: H. E% D4 a ?% Z12.2.3 集群模式部署Alluxio: l1 V5 y/ a- x5 p3 U1 [* F* y: I
12.3 Alluxio命令行使用$ L% \' P. \. C2 G+ W( V3 W8 V
12.3.1 接口说明
U( y7 a! ]6 g! r8 w12.3.2 接口操作示例! P; N, @5 M" g2 `
12.4 实例演示
4 {8 J) W: U E2 H8 G; ~# K! }4 I12.4.1 启动环境
+ S4 k' w6 l W" j5 R12.4.2 Alluxio上运行Spark' p$ ~$ I. |- z" z! _ g
12.4.3 Alluxio上运行MapReduce8 g& }# y7 M& N) B
12.5 小结
5 |* Q/ x7 o) M$ ]4 { Z6 B8 ]
+ U w$ q Q. D+ H2 ?! Y3 X- j9 ]' c# F* \ [0 |, b
百度云盘下载地址(完全免费-绝无套路)：
; |' L+ w6 e, {( T |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
746 人阅读
|
16 人回复
|
2023-09-01
