|
|
Java电子书：Flink设计与实现：核心原理与源码解析 格式 pdf 电子书 PDF 电子书 Java吧 java8.com
* s$ A. `7 R8 b6 w V& c3 J
( ^6 _0 D( B3 k8 D
% P" ?0 S Z' A3 Z2 a# ~: E编号：mudaima-P0304【Java吧 java8.com】# V5 `; a2 N' c" S
% N3 A% `" f" V2 b% t5 ^. }" y: Y
9 {' T" i+ z1 J/ W9 C8 j2 m7 N9 ]: p1 l
Java电子书目录：第1章 Flink设计理念与基本架构 19 N( ^1 n x' p$ o% K/ K
1.1 Flink基本设计思想 1" d- t& i2 G3 F. {& G
1.1.1 Stratosphere系统架构 1$ M5 _) k( H. G) a' r
1.1.2 DataFlow模型的设计思想 3
# n) g! c2 g/ t r1.1.3 分布式异步快照算法 6
5 H M ]' q/ F2 n* T0 }1.2 Flink整体架构 9
/ w! D. x5 u M8 `8 ^+ S$ a1.2.1 架构介绍 95 H2 @* I+ l; X1 d( m/ \3 A
1.2.2 Flink集群架构 11
9 H' a1 F3 j1 y# x8 ~( w1.2.3 核心概念 12, c; C$ d; `1 W( U
1.3 Flink源码分析与编译 14
7 l. U7 Z; Y) M1.3.1 源码编译 14* @/ p' j' I7 ^/ U1 o4 _# Q5 b8 I) a
1.3.2 源码调试环境搭建 15
+ W) i7 L! g/ v1.4 本章小结 198 L+ g8 J$ w2 n+ ]( p5 J
第2章 DataStream的设计与实现 20; ^. P( E1 g* R7 }- e
2.1 DataStream API的主要组成 208 d, G& n% }, o* X; j0 d
2.1.1 DataStream API应用实例 204 |5 _0 e& i, F0 k4 |8 @3 W F# V
2.1.2 Transformation详解 23/ S D$ a& ?7 ?2 z6 {, q
2.2 StreamOperator的定义与实现 259 \9 R( v% i$ x/ b4 [
2.2.1 StreamOperator接口实现 267 o9 _: E( i1 g3 S3 N
2.2.2 OneInputStreamOperator与TwoInputStreamOperator 310 c& [+ I" o3 _( v O! w- ~8 d
2.2.3 StreamOperatorFactory详解 33
& p! e9 k! m2 w, W9 j1 X) N: ~2.3 Function的定义与实现 35 v3 W j6 u, l0 m% M
2.3.1 RichFunction详解 36
7 I" d7 X8 y( c" }1 T/ g2.3.2 SourceFunction与SinkFunction 38
1 _) @& y, v! i, v) m3 `1 e/ o" W2.3.3 ProcessFunction的定义与实现 44
3 l8 O$ Z( r% A! u2.4 TimerService的设计与实现 47
( F% x* J; `" _0 \. o9 C+ r% y8 e2.4.1 时间概念与Watermark 47
@: ^9 @ H* `3 _& E! E; ?2.4.2 TimerService时间服务 53
# M7 h h S' v2.5 DataStream核心转换 59/ z% \3 ?' b: p; P
2.5.1 KeyedStream与物理分区 59 E% t3 u- r/ g% E5 }
2.5.2 WindowedStream的设计与实现 62
$ i9 V/ l. N5 d2.6 本章小结 682 i6 g: O% A. A0 H- b
第3章 运行时的核心原理与实现 69
8 N A, G! g' W* S3.1 运行时的整体架构 69- K1 E3 k! x% H0 W5 i5 x
3.1.1 运行时整体架构概览 69
! ]& O# h& L5 t: k# u) t$ R8 i3.1.2 集群的启动与初始化 72& L* H8 h( Z. ^2 Y \7 |
3.2 运行时组件的创建和启动 79
7 j, D; Q8 M: w( `) U/ `( d3.2.1 集群组件的创建和启动 79& r! X% n# u& F6 |( z
3.2.2 WebMonitorEndpoint的创建与初始化 85$ U% z& k; c# y6 K6 H% [* q) X
3.2.3 Dispatcher的创建与初始化 91
- N1 I. [5 j! F! @- Q3.2.4 ResourceManager的创建与初始化 98
* _ @% N/ j" U4 Y; q( E9 T3.2.5 TaskManager的创建与启动 106/ a2 j, c$ k" L/ m: H4 f
3.3 集群资源管理 115% T- J, w5 j1 b( h4 E' @) ]+ f. Q
3.3.1 ResourceManager详解 116' F( s% x4 c9 O, |. h2 h2 l
3.3.2 ResourceManagerGateway接口实现 118* @" p% \ I, I) \" A8 Z: F
3.3.3 Slot计算资源管理 119
$ o9 l" N0 ?& h1 [/ S4 E3.4 系统高可用与容错 130$ ?3 ]1 t& C" K0 u( O2 E- R
3.4.1 HighAvailabilityServices的设计与实现 130
5 \ p( |0 f/ K3.4.2 基于ZooKeeper实现高可用 135$ @, Q, l, l$ x# k. Q
3.4.3 JobGraphStore的设计与实现 141
w* ]( i$ T7 N7 b3.5 本章小结 1444 K& h* X7 ~* O, O
第4章 任务提交与执行 145) `) a; Y; v5 `. H
4.1 客户端作业提交 1454 K0 n# I! @& l
4.1.1 命令行提交 145
: D+ f3 N7 U6 _& j( K4.1.2 创建和初始化CLIFrontend 148# U/ k j _( _0 `" T2 c" I
4.1.3 PackagedProgram构造 150
1 m6 k' s8 W) _8 C7 D: A% y( | ~/ V2 n4.2 ExecutionEnvironment初始化 152, {4 \% Z, K8 L+ J3 @
4.2.1 ExecutionEnvironment类型 152
! W+ U s8 L# m6 b4.2.2 StreamExecutionEnvironment详解 154* r9 z9 ^, z+ D% O3 P
4.3 将Pipeline转换成JobGraph 161; b D$ W2 N3 I6 G& r
4.3.1 用Transformation生成StreamGraph 162& p2 {' E+ c1 Z( Y# i7 z" O
4.3.2 将StreamGraph转换为JobGraph 169
5 {+ h% \$ e) |9 q4.3.3 将JobGraph提交到集群运行时 176
( X& C0 H+ U( a9 z7 {7 Q/ l) S+ p3 c: V4.4 JobGraph的接收与运行 178
1 g1 B4 O9 _! |1 `$ t% Y4.4.1 JobGraph提交整体流程 178
6 ^- R& [+ p3 ~+ Z. m+ `4.4.2 Dispatcher任务与分发 180! G( H" C; Y- ] R5 o, @# B( @
4.4.3 JobManager启动与初始化 184/ a& B# P9 r) e/ ~ ~2 t* l; X. B
4.4.4 JobMaster详解 1886 S. p- c$ G7 u0 o
4.5 ExecutionGraph的调度与执行 195; T& l. m: P Y5 }/ B
4.5.1 ExecutionGraph生成 198
* z) [1 `, R2 M ?" t3 ^# K4.5.2 SchedulerNG调度器 200# s O5 W8 l7 t4 z) ?
4.6 Task的执行与注销 206! r5 x u3 H* D
4.6.1 Task的启动与注销 208
, E% w4 Q/ C! I4.6.2 AbstractInvokable的加载与初始化 2116 d f; Z& j" s1 T1 W {/ |
4.6.3 StreamTask详解 212
$ R2 P1 q' M3 p0 S8 p7 E) R: @4.6.4 StreamTask线程模型 2169 U2 {4 m2 P2 o
4.6.5 Task重启与容错策略 223
$ {; z X8 h' A3 c" e* [ R% }; W+ Q4.7 本章小结 234
, E* v- Q& o% w$ \0 Z# N# X5 w第5章 集群部署模式 235) o+ H% }5 I" k: M c
5.1 基本概念 235+ ?! ^% z4 u$ q" F( c
5.1.1 ClusterClient的创建与获取 235
9 R9 h6 [; V1 F# [; B9 l5 r5.1.2 ClusterEntrypoint集群启动类 2413 e. j: |$ d8 O0 j) M0 Y- {
5.2 Flink On Yarn的设计与实现 245
4 O2 W: [: W# Y; J0 ^6 L( p5.2.1 Yarn架构的设计与实现 2450 ]% p3 l1 u/ o
5.2.2 Session集群的部署与启动 247
: h" k1 F B# F! F8 _5.2.3 YarnResourceManager详解 2531 b2 T8 b8 P W* B& _+ L( e7 ]2 B8 N
5.3 Flink On Kubernetes的设计与实现 258& k g& n% T3 I7 p6 `
5.3.1 Flink On Kubernetes架构 259
0 ?2 `2 `. S& d, g/ S5.3.2 Session集群的部署与启动 261* T* r J, K0 p$ q9 z J' s& f) b
5.3.3 KubernetesResourceManager详解 2687 E. y1 Z$ S" H5 E
5.4 本章小结 274: g8 u5 x# v5 h5 Q- S% C
第6章 状态管理与容错 275: l$ `9 f+ b5 B. z1 \
6.1 状态数据管理 275
, m9 z+ T* b: L0 {( \& ?# N2 H6.1.1 状态数据类型 275; }4 O* t! W$ Q4 f) Z4 n
6.1.2 状态初始化流程 2791 n# \% ]0 [; j7 V. n5 s7 ?! E
6.2 KeyedState的创建与管理 2857 y6 Q. _6 b- `5 S$ u
6.2.1 KeyedStateBackend的整体设计 285/ i' {2 C* m& Y$ E
6.2.2 HeapKeyedStateBackend的实现 286
& L! v6 k/ Z9 C* v; B6.3 OperatorState的创建与管理 295( e) H- B8 \/ S# ]7 g
6.3.1 OperatorStateBackend的整体设计 295
9 ~2 O; f* [" M; A5 V: u1 V2 Q6.3.2 基于DefaultOperatorState-Backend创建OperatorState 296
7 M6 D, ^# y8 }4 [/ N1 W* b: _6.4 StateBackend详解 299! G$ d6 ~( x7 _5 S& P& b+ o
6.4.1 StateBackend的整体设计 299; f& c; b+ K- ~' Z! h
6.4.2 MemoryStateBackend的实现 303
$ \3 r+ g9 k3 G/ Q6.5 Checkpoint的设计与实现 308
4 Y" c4 R+ b; o- J% c# n- g; Q6.5.1 Checkpoint的实现原理 308# Q, x% o7 l, q4 _- B
6.5.2 Checkpoint的触发过程 315' D( b" {) b0 P% B+ B% w
6.6 本章小结 341
- x/ |/ W$ R4 I0 x- C/ h第7章 网络通信 3420 N8 _5 r+ y( L/ n2 u3 g% t4 S& O' _
7.1 集群RPC通信机制 342
0 _3 P `% x1 ^% f* Z7.1.1 Flink RPC框架的整体设计 3426 K( N. J( {( V
7.1.2 AkkaRpcService详解 347
0 Y+ j. @- [/ S) R8 g) f+ F8 Y( Y7.1.3 Rp . g( K1 J# d# a% ~3 [3 `+ \
2 v% m4 l6 ]0 D! z" s: A
) U, X* t1 Q7 f5 p; U百度云盘下载地址(完全免费-绝无套路)：: {- _+ g8 }; {
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
1116 人阅读
|
30 人回复
|
2023-09-01
