本书赞誉 xvii, W7 v4 O" ^1 w: C. k
! X5 s* q9 s% H9 l3 {, ~4 u$ ^第 2 版序 xix- _3 T, O E& E9 u( n7 |7 ]5 T9 M
; O) o z' ]! M9 \' \& |
第 1 版序 xxi
" P+ B+ Q. k2 S! k9 b) M' O* q8 t% y1 m+ w7 {) n
前言 xxiii q7 t* C: Y& v/ `7 I w- X
6 l# Q6 S+ X: J: ]! S
第 1 章 初识Kafka 1
% L* }. c7 ?5 I! \+ P( p! g* s2 G# J
1.1 发布与订阅消息系统 1
( v( T$ t5 p; z: |- ?6 r; K P- M/ w) ^5 Y+ P
1.1.1 如何开始 2" ^3 N9 O* |% ^' \6 `: ]8 @
* M) \4 k5 v" }- X0 h6 R
1.1.2 独立的队列系统 3
4 T! \+ }; e# V0 f* Z
2 L5 F( x0 l% Z# S' f& H1.2 Kafka登场 3
1 w9 O5 o6 X O
$ E- }- l8 {4 p) \7 d8 K& }2 w1.2.1 消息和批次 4
8 e8 z7 F2 X) C. x( m1 ]. l% }3 v$ Q4 c6 m
1.2.2 模式 4
4 G9 ~; K% X, L% l# i
- ]3 n. |+ { t! }$ F1.2.3 主题和分区 49 ^ U2 x- ^3 ~. K
. g% e3 r! ~- J" h; {) j1.2.4 生产者和消费者 50 u/ G$ \: O8 ?- r
# M; R, W; |4 K; @1.2.5 broker和集群 6
( f) t3 N2 ?2 z1 m S3 k
6 x" L1 N! A3 H0 ~ n+ ]" o8 [1.2.6 多集群 7
) K8 Z. E3 ]+ u3 i! R6 R* r2 O
* \; C6 F* a9 w2 @/ E1.3 为什么选择Kafka 8
6 P5 [# ?, b! R8 K
! y7 m. A/ E! g7 ~- z/ A3 a1.3.1 多个生产者 8
( M4 C* [2 J9 U: H- z
8 X3 M" H% j8 ~, |3 k$ D' c1.3.2 多个消费者 8# B$ D% H4 J! [1 h8 j( ^/ ^
# [) _% B" e8 `2 x" m5 U
1.3.3 基于磁盘的数据保留 9
# _- l. W' d- X8 R; i1 r
8 |1 o) u4 T9 L Z( m! }1.3.4 伸缩性 9
) y w" E; B; D! E9 `
2 U& ^5 ]( ~9 ?8 u3 a1.3.5 高性能 9
6 d4 G( p+ ?9 W4 p! n4 D/ s6 Z' @, r0 H
1.3.6 平台特性 9; S' w* z9 i" l$ }
+ C) K* z) ?1 v1.4 数据生态系统 9" P) C0 k: z) e% i2 ^
% a* d$ Q/ N$ l9 v; `1.5 起源故事 11
R5 J @5 O7 i# o: U, a+ M0 R, z- [2 m- B1 J
1.5.1 LinkedIn的问题 11. ?7 X; m* }) K% |
3 S) H( F# S5 j9 e" }
1.5.2 Kafka的诞生 12" i6 R' H. r% l/ w" d
4 Y3 v# C) R4 }2 y- {, Q
1.5.3 走向开源 127 d! N: m% z' m
. w ]) j6 E7 @6 m/ u
1.5.4 商业化 13 o8 R8 l5 x4 _3 G
I' a/ f1 d, O" [5 R
1.5.5 命名 13
% P) a8 y0 s6 \% U/ O/ s$ ^% k( F5 L+ X
1.6 开始Kafka之旅 13, d4 A, Q M1 O7 n5 z8 s# L
3 ~' |9 X* s5 V! f w' j9 H) }1 F
第 2 章 安装Kafka 14
3 X! @# L$ f% o2 j N5 y2 B& u$ E4 d) [$ I7 v! M; {5 p
2.1 环境配置 14
. k: K3 Q5 P$ E" U* E0 W- O) h% J0 a# Q! N9 @
2.1.1 选择操作系统 145 u# r# D! ^, V3 d+ X8 y7 |, p# M9 ?
$ F9 K) v# d! _5 d2 J
2.1.2 安装Java 14% m4 |1 R. l# {7 j2 ?9 ?6 T; e5 c
: D! p3 }$ T, @, L1 i2.1.3 安装ZooKeeper 15
/ ^# z' O" A& K5 P( x+ M, [5 e& H S) d& l: v5 A: l
2.2 安装broker 179 d6 C* e; `( v6 C4 {5 A6 f
! U5 X" L. a9 \# w' u9 m! {2.3 配置broker 18
8 ]" |& U# E1 j" ]4 ?: ], _$ x6 E3 E$ l" Z
2.3.1 常规配置参数 18' O6 O& H6 F. M+ d; k j3 l
0 o' v+ h+ X2 |1 B" b2.3.2 主题的默认配置 20
3 w* h( B! T7 {/ Q$ i
3 n- ]$ T. w+ V; z" {' g2.4 选择硬件 24
) h) P& y0 E* u3 ~: ]- D2 L$ Y1 {6 o# r+ V+ }2 C9 ?( q+ B. ] m
2.4.1 磁盘吞吐量 25
! f; r1 {( Q+ L0 X$ R) t9 K( c
/ l0 h- b8 j6 b4 f. @3 E2.4.2 磁盘容量 25 G7 a' a) C, K2 b+ H
7 K! k7 q) t* d0 n
2.4.3 内存 25' T, T5 V9 [" w% R8 A0 V4 r
/ ^; ?3 T: r( B) c( F6 k; {2.4.4 网络 25
* a0 V' n+ {4 c( ^
) G" {- G" o" `" {; J# q& D2.4.5 CPU 26
& \) L8 M9 {" \. [7 z9 y3 P- J b9 ~$ d" Y
2.5 云端的Kafka 262 ?. f1 A) }, j5 g' E! n5 G8 O
) U: k: s, `0 p5 L* X
2.5.1 微软Azure 266 w1 y. q9 o/ p0 p1 _
! i3 t' ]/ ^8 C
2.5.2 AWS 26
/ M- Q& t5 m C( a( A3 w9 \! u3 U
: I5 m0 i! Z3 h* L" u8 [2.6 配置Kafka集群 27 |9 D' z. ]+ [6 O8 X: K, `( o. r
0 u3 l4 f) e/ n: G* U! W
2.6.1 需要多少个broker 27
- A+ p; c) z2 s; h3 S8 e. J6 l
5 l' e- `# U/ T6 M, K2.6.2 broker配置 28
% _: W7 U5 }7 S! ?, a6 M; |: L2 z+ l; n5 H( E: y* V# z
2.6.3 操作系统调优 28" `/ g: A6 X# u+ i' J9 \
* L' D0 [- o5 _/ E- t8 z
2.7 生产环境的注意事项 31' |8 k# T6 ~: e& \
6 ~0 \6 G2 M( x Z1 X) P2.7.1 垃圾回收器选项 317 T* Q, b0 W# d' d; t
" [3 ?7 C! m' Q* y, B2.7.2 数据中心布局 322 O$ Q/ y' V) P5 U" H+ k
5 ^+ E/ z% N" B, H2 r2.7.3 共享ZooKeeper 32
2 t+ J8 O/ [$ Y
7 P6 E5 i' e5 J$ o2.8 小结 33+ P: ^( ^2 H/ l$ b& ~
3 M! Y) y7 x \2 R$ ]% K
第 3 章 Kafka生产者——向Kafka写入数据 342 ?2 b, B/ U4 Y2 ]1 D/ N4 o2 S( _
3 N9 n. I, a- m2 L3 i/ N
3.1 生产者概览 35
8 ^& R( e& r7 a" C: n- X$ _6 I( V, N, m8 r, u+ \
3.2 创建 Kafka生产者 36; @) P9 e. y3 i2 m. t1 T
9 d# H8 j( V8 @. C3.3 发送消息到Kafka 376 C1 k) v* o( \; x* |
% S+ n2 F; P1 f! k7 F/ o* g
3.3.1 同步发送消息 38' T, H7 Z, X. E3 R' k
( i; J' ]( b5 _! J, G4 @* J1 F3.3.2 异步发送消息 393 \) [( p3 _3 w3 l$ U3 t( S
2 b+ @0 u( }% q2 @) J) n: n+ X* n
3.4 生产者配置 39% x4 m) e: {% E7 k
: S E# x6 S! I1 ~; i; s2 g n& ^3.4.1 client.id 408 e! } [% d) | _, \4 I& C, D
4 A# c% F5 U: ?, E- C ?/ m2 d* N
3.4.2 acks 409 M- a- y" x* E2 t: r. d, ?$ ]! Q
; O+ ]1 T6 b5 {$ j3.4.3 消息传递时间 41; v9 o% \8 m R0 M5 y
/ k6 d1 y% }, Y4 Y- C9 S3.4.4 linger.ms 43& F) C8 c; C3 S$ s0 m2 x
# S% S( W. _6 v: J3.4.5 buffer.memory 43
8 f# L; S6 ^1 l* Z& U C# ~3 p5 z2 {' e D- g( w+ h( ^
3.4.6 compression.type 43! F% X: z& D& g. R4 e& W
3 o* {# J0 p5 h$ o2 W1 ?0 R3.4.7 batch.size 43
: v, R5 z4 e) M, d2 p! k$ a0 q1 W$ O& _5 C2 Y1 |- C- f
3.4.8 max.in.flight.requests.per.connection 43
7 i$ E: D' e7 V" e$ \9 U! p7 _7 Z: c O' c* V
3.4.9 max.request.size 44
3 Q) c3 [5 ]/ C2 h7 S" F8 _+ [9 [1 l1 o, P. G' X9 O
3.4.10 receive.buffer.bytes和send.buffer.bytes 449 G, j; l- h7 I3 q3 C5 b' p
/ h' n% V) Q5 `7 w) d
3.4.11 enable.idempotence 44
) u% h7 J3 X6 i( n! I: W; T0 B6 l# {7 Y4 w) i: _' W
3.5 序列化器 45
! N) w$ d2 K0 W0 S V" M& J
' S T% A- d8 w: y: X0 u3 {3.5.1 自定义序列化器 45
8 C8 k: e$ P \* v6 T* @8 i# o% w: ~3 e8 x( W) n/ \
3.5.2 使用Avro序列化数据 47, \4 G$ `% O8 l' J( n% E; k
- ]8 O" }2 G/ c) v0 H% I
3.5.3 在Kafka中使用Avro记录 48
. x# g5 y2 u2 G) p% ]! D5 d1 k8 O+ \, A5 ~5 f3 u
3.6 分区 51
$ m R7 i3 ~. s0 b8 K, ~" [4 } E2 ]' \. A o. n; Z
3.7 标头 52
9 k& F: w& m( ?3 ]3 r/ ~; _3 n+ Y0 N
3.8 拦截器 53
1 J3 d9 d0 Z7 t& x8 j
+ C# Y9 g; v0 O1 K \3.9 配额和节流 54
1 H& `* p, S* b/ ]( J
* H7 E8 D5 ]" H3 V# O* J3.10 小结 56
6 b' n; N, k. Q& P2 b/ @. H
9 z7 x( N4 c1 [/ K+ j7 L5 H第 4 章 Kafka消费者——从Kafka读取数据 57
* D+ l( b' r% }2 q
! E# l [' i( V# K( V4.1 Kafka消费者相关概念 57
; X4 a3 b0 \$ l3 j, t
+ y% q; \4 \( ^( W& @- N4.1.1 消费者和消费者群组 57" w4 T& h3 M1 x! u+ L
; v0 C0 L- [0 x$ v
4.1.2 消费者群组和分区再均衡 60
/ S) i" A# C- F
: }0 l3 A5 y' B9 y" x/ O4.1.3 群组固定成员 62
$ _! r: W x$ G) B
4 g$ z3 j+ s0 U7 ]4.2 创建 Kafka消费者 630 I" F: q& ]. i5 R) K& B' S
- i, Y9 ?. D2 M
4.3 订阅主题 63
; w4 a8 ?2 }% b4 t0 T+ k; C& Q7 ^8 h2 [6 T3 D, G( ^
4.4 轮询 641 F! P( C) x, X
3 h% O* h( T) i7 ?- W4 }, T8 b/ R
4.5 配置消费者 665 ?8 z5 B0 U; _; w6 e. q/ T7 N
6 l( I8 K: A. d5 ]0 s/ z4.5.1 fetch.min.bytes 66
8 n( u6 g/ A" Q* e0 f5 N% c' L( J# S) i4 P& D, ] X' H6 {
4.5.2 fetch.max.wait.ms 66
* X# _" j! l* k* p/ ]9 k- f# g9 L4 e/ ]1 Y# O
4.5.3 fetch.max.bytes 66
& { m" B- }4 B( L# A, a+ b) k& u& V: L* N0 [
4.5.4 max.poll.records 67
0 m5 K' W3 r2 z& r1 x
+ L6 I* n7 T" c4 Q: b' G) F4.5.5 max.partition.fetch.bytes 67
8 G1 d) S. u" A3 T# ?/ _5 R7 @* y4 Z0 }+ {& r9 t
4.5.6 session.timeout.ms和heartbeat.interval.ms 67- O# d! @0 w8 i
! i4 b+ s& i5 s- {" Z. j5 G4.5.7 max.poll.interval.ms 67
9 o. i' e3 n0 Z5 `. z0 x" X, z# v6 X' j$ }4 `
4.5.8 default.api.timeout.ms 682 b5 B; [" i6 I0 T4 X
7 F: I, [9 y2 ^' B- Y/ j4.5.9 request.timeout.ms 68
W1 j' Q& \) P: B5 f7 v) m2 X- }/ M' G* }# Q( }7 g$ x! ^
4.5.10 auto.offset.reset 681 M; t- W. c+ R8 Z8 M: u/ G9 |
5 }) H- v7 B- @* p( \+ c9 j2 c! P; m4.5.11 enable.auto.commit 68 q9 v% f7 _. E% B- c1 R
! `% A1 ]- T" M
4.5.12 partition.assignment.strategy 68* U0 o( J9 ~2 `: @7 ^$ F M9 n, V
0 I8 u* m, ^* N9 I
4.5.13 client.id 69+ x' N2 r7 W* D2 T3 P/ \! Q
" [7 q1 Y' S$ m1 @1 o0 Q
4.5.14 client.rack 690 z* y0 c( j2 C6 O! E
2 T' e E& C4 p$ h, n, A0 ?
4.5.15 group.instance.id 70
, ^+ ^- o2 V/ w, r% O
/ c' M( m) ~. w* f N3 r4.5.16 receive.buffer.bytes和send.buffer.bytes 70& P6 W# }( Q, r& e7 f& Z
# W: [' |* P3 D, n4.5.17 offsets.retention.minutes 70
+ f# c% V5 h* `6 }" O) p& G. N2 q7 a0 n# z& u
4.6 提交和偏移量 70& n% S5 p$ B6 ?$ r
( x, k* Z g5 @" X: W7 p4.6.1 自动提交 713 c! t2 ~6 ~% }# I1 N- ^* S
' K1 h1 Q5 r( D7 r/ O
4.6.2 提交当前偏移量 72
7 `; @! C5 \$ s$ i- V; C4 k# g9 u4 Z0 a5 J3 T6 z& k9 g9 h
4.6.3 异步提交 73; {$ X! N% e$ K4 f# Z% t. H3 U! u
' r6 e& N6 p+ K( F) d# F4.6.4 同步和异步组合提交 74 m. c% t X1 j5 R5 @1 C/ ~
+ X9 A, y- T8 [% G/ x
4.6.5 提交特定的偏移量 75- |' d5 H# l6 s9 N$ d h
0 _$ z: r/ z& f A4.7 再均衡监听器 76
B0 f' [7 w3 F& i: Q
7 K8 N. X& f) x9 @1 a' n: O4.8 从特定偏移量位置读取记录 78
# O7 u" W: x/ L; x; L, M1 H7 I, k
# H; w2 }) x$ r4.9 如何退出 79
4 K8 r6 G- f: C8 K! C, y3 A" B. l
7 v" i+ ?9 k _/ Z4.10 反序列化器 80
6 f- f8 Z8 J+ S( Y
0 [8 [& L/ |- P2 J& q7 f: |4.10.1 自定义反序列化器 81
9 C1 s0 y0 H! O V4 r3 d
( X3 n( t; E1 {; h/ j; x4.10.2 在消费者里使用Avro反序列器 83
& g6 Q( p! v2 S' {$ W- M# n" S# X4 r H2 f$ _# I/ ?3 m
4.11 独立的消费者：为什么以及怎样使用不属于任何群组的消费者 83
- S: ~! r, W) O, |$ h( Y) V; t7 N8 [: L. A6 i+ l
4.12 小结 842 K! Z$ T# }% H& u
& \( A0 j6 f& o2 l7 |- R# o, x# D第 5 章 编程式管理Kafka 85# r3 J$ ?0 w$ i4 J& J# z6 w5 I! l6 L
" L0 `: M+ X4 @. }! V2 I9 A
5.1 AdminClient概览 85- }" A$ c( [8 h4 r, _! x
. t, {- ~, D3 P, j' m1 M
5.1.1 异步和终一致性API 86
3 P- J2 p# T7 x" S; j/ Q6 `7 ~) ?4 K& L" O: `3 N' ]
5.1.2 配置参数 86# t% M7 \- v3 a% r, `
7 _. X+ E$ j% f5.1.3 扁平的结构 860 P# w5 [' s' l
# {$ R' a0 ^0 j# F. r' k. c2 s2 O5.1.4 额外的话 86 P1 \/ D* ]+ u8 b7 w* C. H; b
- Q4 b1 `8 m, f$ A5.2 AdminClient生命周期：创建、配置和关闭 87; Q) ~& {' N# Z# O
}$ [4 }* ]* i. I5 u, E3 m0 ~5.2.1 client.dns.lookup 87
) O+ D9 H0 g0 {, [. t% W C/ Q% G7 Z' V7 |* r
5.2.2 request.timeout.ms 88: G1 O6 G. W7 h3 N
/ Z% t) G' v: D& t) c+ e% W8 H5.3 基本的主题管理操作 88# E, { H6 [: g3 U
/ v1 }2 a* B+ a/ ]
5.4 配置管理 91+ ^3 e: a/ u8 P4 M# D/ B! q
& ^* f# n4 n s2 D' S- y
5.5 消费者群组管理 92
7 m! I; v: S$ t- ?4 ?1 O4 w8 g) ~* H9 {+ J) G
5.5.1 查看消费者群组 93
% g2 f$ `# @, r! V. K) Z' U- C) \+ h. q* w9 n+ ~- J8 ?
5.5.2 修改消费者群组 94" i# _* c0 i3 {
$ ]: E$ _: A! R$ v5 _0 X5.6 集群元数据 95' B V# |- _0 ]% r' q# C
2 A' |! F1 _+ j# Q4 l- q2 ~7 G
5.7 高级的管理操作 96
) ~2 \6 F$ U! j$ M4 q
0 N3 G: V* t# }+ W3 W! C7 n4 Q5.7.1 为主题添加分区 96
2 Z( n. u' X# Q+ R1 q* c, |5 @/ v9 m" A. x2 J# G
5.7.2 从主题中删除消息 96
* C& U9 f2 @. x5 t. ~: J
6 c; F: v3 Z |5.7.3 首领选举 97' l- @* t/ G7 }
9 _# M! G1 H8 ~$ W& q1 ?/ ?5.7.4 重新分配副本 98' a2 C, J; x; n/ D! \3 w
7 t4 s7 z4 i0 B5.8 测试 99
. q, C& B6 W6 [' v- W; J2 m" _! F$ b: h
5.9 小结 101
+ a- u0 L4 i, B: m5 y" Y/ @" a) z$ n9 k; z! [5 F
第 6 章 深入Kafka 102
3 G1 U# W9 f1 R$ m4 S2 A9 A; X
+ y9 ^, i) ]3 S4 y' c( g5 w) p6.1 集群的成员关系 102$ {5 j0 Z- b. e' J+ F. b
$ H0 I+ Y, x$ c3 R6.2 控制器 103' ^5 i, m) a; ^
9 N* H5 D% c* J( t$ \5 x) \6.3 复制 1056 R- J8 t. Q/ `5 I& X I
3 u. T3 p1 N! G$ K
6.4 处理请求 107. j$ Y- ]+ L8 ~2 X
: d# Y9 O9 \( w8 i) d6.4.1 生产请求 1092 v; S$ |$ a3 A6 ?
2 C6 ^+ \6 a# V7 m
6.4.2 获取请求 109
3 o" H9 W ~/ R) S9 {9 O5 U$ O: h( N
6.4.3 其他请求 1117 P3 k4 { b' Z# h& A' j
: r8 s0 R. C, A' C0 d- x( S0 I6.5 物理存储 112
" E: O3 f% A4 @) R8 c }$ y
2 d6 o6 _# R9 z2 g9 [5 B' Q6.5.1 分层存储 113
! L8 t3 l* ~) y' k5 y( Z
! a% O4 b3 Z' k. { F- P) C% f6.5.2 分区的分配 1140 T; `: y8 S7 F: \& Q \. w
- q4 W( E p! i* X' D0 V7 z- h6.5.3 文件管理 115' |9 h9 j T: Y) W
; S7 f+ @7 i7 q
6.5.4 文件格式 115
- v' w1 X7 e6 _
3 T$ D, g) c6 x6 w' Q6.5.5 索引 117; s* c1 G. `" \9 S( B
- z+ S/ m! H% B1 J" F, ?) s
6.5.6 压实 117
; j7 R/ R4 [( Q( p! U8 S
' ]8 c m7 a; x1 _( }6.5.7 压实的工作原理 118
6 ^( h6 o0 S3 B# t% i
5 X1 b) V/ w2 L6.5.8 被删除的事件 119% [$ D, p6 A8 ^' W0 K" ^. n
7 t- [! c8 d- q6.5.9 何时会压实主题 119
% e; N+ }" A& |0 ?( L: o- R# h( N
6.6 小结 120! a: Z3 t+ D N
0 A$ _* Q! ^0 q' d0 f* y) ~
第 7 章 可靠的数据传递 121: H/ d: o2 ~! G
% r$ d2 m$ r5 `" k
7.1 可靠性保证 121
* C# v( T4 T: ^# j" X8 c# R" X3 D4 ~( b% w3 m: Z- m/ o6 d& _( ?7 j# d
7.2 复制 122& ^8 p4 B4 C7 _" s1 i2 c6 h
9 ^- _& k7 o' j; P7 r/ ~7.3 broker配置 123. a2 u0 N4 w& h9 M/ P4 Y& O6 h
r+ K6 P& X4 l8 i' N* c2 ?$ v& o1 o
7.3.1 复制系数 123
+ {0 n' o$ ~( J. L5 D; Z& B P4 w1 {6 Q: v) ]" @
7.3.2 不彻底的首领选举 1250 x4 O6 o+ C9 B5 R0 O) W
5 _8 B% w, M5 m3 d+ j4 `7.3.3 少同步副本 126
1 Q) e% f1 V/ Q/ T; x% N- N; w0 q6 M4 V) ] `$ }# A
7.3.4 保持副本同步 1264 _, h) Z2 k" S' m/ H
7 ^0 p: g( ~9 V2 d3 y$ U% J
7.3.5 持久化到磁盘 126
4 x- k* H b2 V! {$ T
$ R `' S- K, e3 L7.4 在可靠的系统中使用生产者 127
" `$ X# W, Q1 C: V" G2 l
- g; x6 k, R5 V l+ |( _% J+ y0 |- J7.4.1 发送确认 127
- u* r3 u/ r g* F4 k- ]: `* _& w
1 m0 n$ \% M8 J1 h. b0 W8 \7.4.2 配置生产者的重试参数 128
7 [$ q0 p+ o! J' @8 d9 r. j, B- T( p: E5 N* t
7.4.3 额外的错误处理 129* Z+ \9 k" L/ R5 [
7 X4 X) [2 W: h( X5 U( F: Y
7.5 在可靠的系统中使用消费者 129 K1 A: a I( \* H" F: K) k
4 w. X4 M# [- ]- \3 G7.5.1 消费者的可靠性配置 1305 O( A& V3 Q: b, e% w6 r9 ?/ N
% z6 g# c. J! |, o: I, N7.5.2 手动提交偏移量 130 |! m* s Y& Y" p5 q1 \
! `$ g: B1 e* L% Y' p* O# s7.6 验证系统可靠性 132/ D1 W* i. \$ Z4 t
* A" ]) s8 ^8 t1 ?" q2 M( ^
7.6.1 验证配置 1327 |( f9 V; o7 q
! h* S& W6 d6 S2 K2 g6 d' @
7.6.2 验证应用程序 133) a; F' M+ h+ |3 v4 F4 [+ i% ]: ~2 b
( x0 [ {- b5 W6 A6 l. `$ p7.6.3 在生产环境中监控可靠性 133
" P: i' a+ S/ l8 {) O+ m
! k. c* N6 J8 v4 i5 f) M; V: a! ]) X7.7 小结 134
, K* }4 x8 ^& E' F# O3 E! W! Y, l1 C
第 8 章 精确一次性语义 1350 g& _1 f# ]8 R# o, A2 G
' V, r/ V5 c% s8 E6 C
8.1 幂等生产者 135
/ n! @) I3 _3 b2 E, Y5 {8 S
/ ]0 O8 M# `9 U) G1 J: f* ^8.1.1 幂等生产者的工作原理 136
1 i! {# D) T/ m/ [7 f. T( }
. G0 \( o# E2 N8 V8.1.2 幂等生产者的局限性 137 x6 U3 i. L1 ?5 N/ C9 L F, K+ @
7 v. t2 g7 v, K9 q: G4 i4 y8.1.3 如何使用幂等生产者 138
5 ?9 b1 M7 g( E% G0 ?- u" |) B
4 a0 j1 [+ c% I8.2 事务 1386 v F9 O, e4 }! J% Z. c( I
/ n9 M7 O2 c W: J8.2.1 事务的应用场景 139
6 U: h2 { @) s8 L0 U! {- Z+ j0 K7 M ^3 J% b( m% H
8.2.2 事务可以解决哪些问题 139
6 q& l. O2 a3 o# B4 B- T8 ?7 i
1 D1 r! x# `. R* D9 E4 T, H8.2.3 事务是如何保证精确一次性的 140# a9 S- j4 m# y- E- d% y. X( ]
/ }. v& M R$ T/ H# Q7 n
8.2.4 事务不能解决哪些问题 1419 P4 d& I0 y% Y
1 D6 L" q$ m8 f. y M
8.2.5 如何使用事务 143
$ Q4 E9 r9 h8 ?' {. D! }1 d+ K3 X( h6 o m! S# V/ ^: M) K% V0 a
8.2.6 事务ID和隔离 145$ e8 U& [* b5 M3 S
! g+ f+ T Q2 ?8 Q1 v* F4 O2 p
8.2.7 事务的工作原理 146
3 C- ]8 r% h4 M6 i. \
& c5 j0 \; f" k' _8.3 事务的性能 148! Q4 t& L! D* m6 F B
9 { S+ w3 v: a7 J8.4 小结 148+ D4 V8 R+ [5 P( p6 j1 N: ]/ K
! v& N% S: A$ w$ m8 P第 9 章 构建数据管道 149
+ [- o+ x% A& C
% o* I3 q7 @: C9 g8 H9.1 构建数据管道时需要考虑的问题 150* P+ z: `, s1 I
# s' _+ a( L4 O- w+ ?, ?9.1.1 及时性 1508 G9 t4 L5 X5 ?* ~, n
: Y* z2 O- E* _9.1.2 可靠性 150
3 a/ {! m+ ?/ l; t, f6 O5 u, o
4 g. b3 F& n5 o5 H) d, K% I9.1.3 高吞吐量和动态吞吐量 151
" }& z) x; R# C; ~8 [' `
, T+ u* {/ b/ i# O& O! _9.1.4 数据格式 151
. p, S& \6 N0 ?8 {4 A* c$ q, f- n8 w
9.1.5 转换 152; l0 w) r) x$ I, {6 O
' L) W' g0 q. X% h
9.1.6 安全性 152
5 ~" f! S/ }# f" w2 ^/ U/ h9 F7 x$ y) p# _% N* @3 z# Y1 C
9.1.7 故障处理 153
- k& h/ U$ n' p
& b- ~) \4 a/ X: b9.1.8 耦合性和灵活性 153
' i- v) A4 x" C% ] z2 {6 {
2 J5 e0 w: l( U. q) q9 s! `9.2 何时使用Connect API或客户端API 154
8 }. R' o0 W3 J! s$ ?2 }; L1 f9 ^2 n8 B, }3 Y4 o
9.3 Kafka Connect 154, C0 |* i6 z4 z4 {7 y4 n0 a
$ d1 X7 j: p/ D9.3.1 运行Connect 155
8 m8 O% U; C+ w3 |: w& e3 l! v2 {% V2 X8 E \0 G
9.3.2 连接器示例：文件数据源和文件数据池 157
' u/ q7 k* b, M% G2 ^
5 o- m! u, Z6 x9 Q9.3.3 连接器示例：从MySQL到ElasticSearch 159
" P! D- s7 x0 I( R# c: x4 B& q! k5 i
9.3.4 单一消息转换 164) ?5 v/ A, X3 F; P2 `
5 c0 r$ T0 z0 o2 E% z) J9.3.5 深入理解Connect 167" E5 T% d) b9 A/ \0 d
4 C0 T n( _ @# T- S+ a @9.4 Connect之外的选择 1693 X- v$ ^: t: e
8 e) Z T4 e8 t1 s2 S- P5 w9.4.1 其他数据存储系统的数据摄入框架 169, h1 P$ i- ]& h) G n% D
8 m4 d# E/ a& _9.4.2 基于图形界面的ETL工具 169( D$ R+ u' T6 O
3 \- B, t& i! s# z, m5 s1 L4 ]
9.4.3 流式处理框架 170
! G: f- a, d8 u; F2 ?
+ w7 ]% K3 ~( [9.5 小结 170
0 G( ]2 _, w; H$ Y0 O0 K+ X, f6 I% K
第 10 章 跨集群数据镜像 171* a7 ^. W- @8 J( |
/ }0 y) K% e: W- x! }10.1 跨集群镜像的应用场景 1715 i8 d3 `+ X4 ?* H0 m; i! R( D
7 P! p2 A! A6 z- C% f10.2 多集群架构 172
0 U% I9 b$ S( |3 K9 v8 @/ K9 i% H- N
10.2.1 跨数据中心通信的一些现实情况 173- w( k, B3 k4 e& g9 o G) b
/ L% y$ z- K/ i/ W* B
10.2.2 星型架构 1730 r3 T& U. P0 T; w5 n8 T
) ]5 Q8 U: ~: y, T0 ?10.2.3 双活架构 175
$ r0 r. g. ^/ g$ V9 g; u- x
, y2 J1 P3 v7 r( ?) ?4 N- F10.2.4 主备架构 176
$ F0 ]$ A7 \; \/ x" h
# `4 r. j! V. T0 n4 a10.2.5 延展集群 180
% f; O# Q* f* m5 a9 k! u1 O J, \$ G. q% `8 B7 b
10.3 MirrorMaker 181
# b7 m4 v, y$ W* B, J" r& I( A% [" p, x
10.3.1 配置MirrorMaker 183
3 I" j) ?' B; X/ L8 p/ x6 j
" [6 R) q# _" E, ?10.3.2 多集群复制拓扑 1846 N$ Z- e8 U- d2 C- V2 i8 V* [
2 q/ o# L7 L) t9 c5 I1 z4 O10.3.3 保护MirrorMaker 1854 Z. L+ d- G6 O: M
' Y/ [3 r7 Z2 A& V7 V* j9 J
10.3.4 在生产环境中部署MirrorMaker 186
1 Q* r' @/ o7 X, m$ K! Q5 v" V! H, |0 X2 V$ P2 U3 \% w
10.3.5 MirrorMaker调优 189
M# o$ e- L" Y" g1 c
+ H& v/ x7 P1 ?1 j10.4 其他跨集群镜像方案 190. c) y1 G3 a5 T
% z) D* J* F- A. R10.4.1 Uber的uReplicator 190, B9 |' o2 v7 z: L* d9 ]
5 N! H1 a6 n8 s9 F _
10.4.2 LinkedIn的Brooklin 191
6 Y4 A# t- y& Z$ X3 v/ Z! }3 c D: `* C, @. p+ z
10.4.3 Confluent的跨数据中心镜像解决方案 191; f7 s1 a1 e8 r
8 b' i' C$ ?3 w' U3 k) p" U. o/ E j10.5 小结 193
+ `6 t% ?" p, ]- R; t7 t( D: p
7 }5 k2 ~2 T+ ~! |* `第 11 章 保护Kafka 194
5 g; b3 z5 d# t8 T f0 \% K
) u9 j! i3 s6 l, W: z11.1 锁住 Kafka 1944 d0 j7 n9 H o- [
. F/ h, m4 S, ~( `3 q6 Y11.2 安全协议 1967 Y# V6 c* N; ?* v3 y9 [
9 Y3 b/ n3 C( [& H+ N- D
11.3 身份验证 197) q5 o, v }: H( ^. h8 q
( m- ]' V1 ?, u# ]5 _1 ^9 y& q11.3.1 SSL 1989 Y Q, J7 c5 k
, b+ d" m* F0 D% H3 t; ^
11.3.2 SASL 201
: s$ b" v0 X4 q/ a; b2 `0 Q" Q0 L: ^5 x4 h4 x- C0 B ^
11.3.3 重新认证 210
: A3 H% d8 b R' ]/ C( W L9 B( i* W, b
11.3.4 安全更新不停机 211# I8 U5 M. ^6 v* b# n9 A0 b
2 i( N, g" m' G11.4 加密 2120 q! u- ]6 V5 b: B! E6 E! H
" M' |* z& I m- }
11.5 授权 214$ E. p2 Q* w3 f" C8 X" q u* d
) D I/ F. ^$ ]9 {8 v7 p; _
11.5.1 AclAuthorizer 2147 E+ [( x4 B4 }5 v% P
9 o' N6 w/ @, P/ m( _8 t11.5.2 自定义授权 217$ B8 @9 d3 |' C
$ o2 \- Z2 u. N. b) y% u* \ J' b
11.5.3 安全方面的考虑 219
- e/ r8 A3 K6 X0 g1 u& }3 }* e2 Q ]1 X1 g3 v0 t" i
11.6 审计 2192 M( ]- P4 f9 H+ w
8 Y! P% S8 T' r8 Z3 F11.7 保护ZooKeeper 220
! G. q# @6 Q. T6 |! m
: W1 `7 w% k* f; `! [; y2 r0 H11.7.1 SASL 220
$ Y- T4 D2 q' B7 a! ^% h2 Y7 N4 e' a( l0 ~
11.7.2 SSL 2214 U2 N5 |- ?( P; R' O. p+ Q$ V
( N/ F8 ~8 P2 r11.7.3 授权 2213 u) L0 S* H! z+ ]$ M& r0 P
2 W1 \0 l8 }! [0 \3 [; ^4 j2 B5 T
11.8 保护平台 222
: c% x; _+ s7 K. v# f7 R
4 d9 p1 A" W& B0 u# J* Z11.9 小结 223
& d0 u$ u5 W* P( x/ y6 d8 M: S/ O1 Q1 Y4 ?" M, {
第 12 章 管理Kafka 225' ?- T3 ]# ]) t
, x" y2 u/ f& M0 c9 N12.1 主题操作 2253 b$ J, v7 f, D8 }2 E
% D: Q5 |8 n2 o5 T' F& s8 u1 h' }12.1.1 创建新主题 226
. q0 \1 s# j$ M @# l" x" u! P$ l/ `, _3 C L
12.1.2 列出集群中的所有主题 227
! n `& |3 z& J; `
3 P: c' c! Q C" o$ a5 k% N/ R12.1.3 列出主题详情 227: S9 v0 K& x, N
X: C& Q. j3 K12.1.4 增加分区 228
3 Z' e9 J5 J1 J9 Q4 F5 |) `& D: I! L- a
12.1.5 减少分区 229( y. k1 U! F) f( M; f% w X
2 O4 O* d, g- y
12.1.6 删除主题 229# _! _1 a4 H& h- M5 _$ w6 Y/ s! T5 D
# d% D4 N# i4 o; c1 E2 x9 y! e12.2 消费者群组 230
4 S; |5 J7 X8 r- A; x/ B, \# C8 M2 T1 O
12.2.1 列出并描述消费者群组信息 2307 F' b( g5 B/ N; T# A6 Q6 s
1 j0 v5 V. s6 y @. g4 m12.2.2 删除消费者群组 2319 Q# {4 N; [+ ] @1 h) b1 O" J
* q5 ]5 Q! U1 w
12.2.3 偏移量管理 232
4 z: _9 v8 I3 D* r, h
( u W0 w5 d: J1 ^! X12.3 动态配置变更 233
1 q) V8 {) G2 `% c" v3 g3 b5 d
: V* D2 u; h' D" K A! q: m12.3.1 覆盖主题的默认配置 233
9 k f! [8 }1 g; z) J
7 r& z3 D5 u' Q. T- [0 d12.3.2 覆盖客户端和用户的默认配置 234
! U& ` r1 r( f! ]8 g" x) S
; q) F5 w; O5 Z3 z9 C& k5 ^12.3.3 覆盖broker的默认配置 235
2 k. I% j7 h+ Y0 w S/ q2 s( _( \" p% m3 A" m1 a. E; w! |( R
12.3.4 查看被覆盖的配置 236. v6 \& {) m7 b' m; M" Y8 p
2 m! H+ R" W/ Y I( M* f12.3.5 移除被覆盖的配置 236
, ^' d7 E* {. m% I; O) i/ A' o2 r! d0 X# ~1 j4 a$ @) {3 P
12.4 生产和消费 236. H4 G( k9 b5 @: d6 G" V1 M* B
5 T& e0 n, F# C4 c$ V( ?' E, n
12.4.1 控制台生产者 237
0 ]: d3 \: u8 H
* r! R8 c8 Y2 ~9 {5 S& P2 d8 V& S12.4.2 控制台消费者 238
4 A* z" r! L5 E+ o: v% N) K- e0 p: }; ^. s# K! l7 T$ W
12.5 分区管理 241
# ?% e5 d& V, L* ?
' v4 R B1 P- R) }+ B9 M- {, J12.5.1 首领选举 241
# [$ O) Z% b/ K$ d( B: N' {
* L$ t! f6 p0 I) y b12.5.2 修改分区的副本 242% e4 g' t$ i! _! i$ F9 w
! }8 k7 q8 e; o12.5.3 转储日志片段 2468 ^2 p2 L4 ?, F- ?) Y+ m
, k" Y2 `* a" Y. ~' m7 ^12.5.4 副本验证 248
6 \) J" b0 C0 n. e+ J( g1 _9 S t0 w2 a2 o7 d; V# r0 V& O& n
12.6 其他工具 248
6 Y, `, c* G! W
$ ^6 r" t0 q' l4 r( P! W. p12.7 不安全的操作 249
+ A; a. _4 U8 r2 t
, h: N, Q2 n- `! n) k, F2 n3 u4 q12.7.1 移动集群控制器 249* u% i* Z+ N$ S% R) ?
+ n( H; i. q. z1 _0 Y6 Q# @12.7.2 移除待删除的主题 249
+ x4 X2 r% w9 y* x: f7 w6 j+ {
1 `$ l3 t: B0 U12.7.3 手动删除主题 250" Y; M- n5 g. u8 q4 f4 W5 a
. m3 |' e" m0 X7 K4 ^& W+ f# V7 L12.8 小结 250: \0 ?, w' M/ z& } u) n. Q
8 [; [1 X# u. _第 13 章 监控Kafka 251
/ ~( o- H* x( b* c& n
$ F, L- f) e- M% c* w13.1 指标基础 2510 i) u4 z3 G- S3 Y3 d
- A6 Z9 S$ [9 c/ p8 d% X
13.1.1 指标来自哪里 251
6 J5 `0 S$ `% |& `
7 \8 N' |% P$ Y( ?: U- O8 i" \13.1.2 需要哪些指标 252
) ]+ Q$ f3 I1 J- H+ ~$ G
9 L E- `/ Z; a13.1.3 应用程序健康检测 2534 x4 \& }+ u2 b6 J Y/ z
; o. e% C# R2 X2 `6 g( N13.2 服务级别目标 254
) ]) S6 O; P; e6 z8 L* k8 A9 q, t" g) i* I3 c# \
13.2.1 服务级别定义 254! g3 S( X/ \# G2 \
8 K/ \/ L/ e" l
13.2.2 哪些指标是好的SLI 255
4 |/ B2 t+ @% @. w' V( m8 \; W3 z7 I i, o0 B
13.2.3 将SLO用于告警 255
4 _- z4 P! [ e3 }. f' Z/ s; d+ {! Y4 z! t+ M$ i9 @ ?
13.3 broker的指标 256
* c. D! m m8 J L
# R0 n6 S+ r; G+ W! l! @5 h( b3 c/ N13.3.1 诊断集群问题 257' T( |& T4 @4 j6 D2 s7 Q( U
1 r7 f: n# ]0 A# [& U K5 T
13.3.2 非同步分区的艺术 257; c# L1 [; [' c! R" W& f7 {. G
_( T* s" ~1 J- t; P' P
13.3.3 broker指标 261
' v F3 m6 c% w; X
- h* D& `0 w- i2 F& S13.3.4 主题的指标和分区的指标 268
0 o6 N: v# B: f V! |/ Q* v `
. w0 D- g5 y" A9 w13.3.5 Java虚拟机监控 269: e2 F$ i4 K$ A( }2 K
' ~* p2 H; n3 Q* R6 C
13.3.6 操作系统监控 270
7 q8 K$ y0 [# o) ]3 M8 _" B# T# |0 u& R& O
13.3.7 日志 272
9 U+ j( X, |! H, g" {0 Y/ a' l! ~9 l2 g/ e2 k% z
13.4 客户端监控 272
4 L& b% ~( b9 @* S+ z2 y
1 x9 J, n8 K. }2 q* ]13.4.1 生产者指标 272
4 t/ [6 |( Y% J2 M! W5 ]( j1 Q% x
0 ?" S. a0 l9 ?( ^* H% p13.4.2 消费者指标 274
: K3 \' L$ z2 e0 b& Z; [7 ?- c! p8 P( ~
13.4.3 配额 276! ]' M+ f1 o' a- j E( ~
: g: y: @' Y; l( o) |# M+ b13.5 滞后监控 277
0 w5 S" a7 x4 Q Y+ H$ i
9 k4 @( s- x8 x13.6 端到端监控 2771 ]8 e. Q& ]! D1 p4 O' B
! u8 ]; H8 n. p# u: w9 Z2 e" s13.7 小结 278
% K) i; c: v1 D* ?( X' k7 ?5 p. D& {. H: J
第 14 章 流式处理 279, Y& s+ E: M* g9 u7 U
7 D! [' B4 I, a$ Z' b5 A14.1 什么是流式处理 280
/ i. h) P4 O6 Q
& ?* i: [- V& {9 m& L9 g14.2 流式处理相关概念 282
* J6 _, ^( w6 E/ k8 T+ x+ s
: f3 z. y- Q3 d. r. o) c14.2.1 拓扑 282
4 x' G6 ~- A8 \
! A8 ~* Z* l) O4 M8 u) b14.2.2 时间 282
) i2 }5 w$ ?! I
6 l) V% x4 M# x14.2.3 状态 284+ L f2 m+ @- m! M1 o" m! T, T
1 Q- w- E* q; f% }9 x7 n3 K14.2.4 流和表 284
6 o1 {% D% [' h* F
4 C" R0 Q$ d6 Q% [14.2.5 时间窗口 285
" S" E7 a$ L9 p2 X- T7 J" j
' Y/ W, k7 ^: X3 M4 a. T# T14.2.6 处理保证 287; f- e" O0 ^. F, h
% ?% w. p1 D( |) I+ f' X3 [& k14.3 流式处理设计模式 287/ D) L E w& N6 u6 k8 B
7 R, R, s* `$ @8 o3 L6 e0 S
14.3.1 单事件处理 287( J- s: z, |+ V$ z Z5 U
) ~, t! M. Q/ s' Z3 q. \; W( E14.3.2 使用本地状态 288
) Z# h0 t# y) J" O, Q2 q& p; J8 @6 O, V4 f$ C3 Z1 I5 R, Q
14.3.3 多阶段处理和重分区 289
/ Z% t9 s H s2 Y+ `/ y9 o$ ]4 D/ ]5 `$ b. e. E
14.3.4 使用外部查找：流和表的连接 290) J- F7 W$ Q3 A
, F3 z6 v7 \3 ^, L8 e14.3.5 表与表的连接 291
- |$ k0 b- C, L. Y6 W, W2 r3 t, {/ `: l+ I# t7 \
14.3.6 流与流的连接 291$ {5 `$ a, ]8 V6 x4 Y a2 z
5 N y- Z. z1 o2 s# p' E14.3.7 乱序事件 292
$ o3 Q; g' w# ~/ V7 T/ J. w
_0 ^4 i& @; L& F! W7 B14.3.8 重新处理 293. m1 y D; Q- r" J7 n" j* V1 d
7 l' L. p+ Q7 q14.3.9 交互式查询 294- r: p! }7 v% k% \: i
/ f. F2 U6 E; i }1 @, b; E# \
14.4 Streams示例 294
" s8 h& G5 y( W( z! ]
0 P% n+ _! V( w6 x) i0 q14.4.1 字数统计 2945 r9 P+ X6 G8 L7 M6 z7 `
/ j% H' T& q Q6 C& a4 L14.4.2 股票市场统计 296; e$ a7 H: J/ T% L
; B1 B; a$ V: e0 Z9 W g
14.4.3 填充点击事件流 298( `: H1 L- M& c* M3 O6 B" I
) b6 A# w ~. M5 ^( }2 o* h2 V14.5 Streams架构概览 300
. |! c6 q# {: w) V: }/ U5 R9 j$ U$ M
14.5.1 构建拓扑 300/ F0 d- q3 }+ {+ z
2 u' }3 C5 T1 @' L9 O4 l
14.5.2 优化拓扑 301
" N# Y- x0 l* i: q- L
% Y$ w4 _# o5 P0 j14.5.3 测试拓扑 301
3 ^9 s& h$ |, N- R: O( I3 a$ l! b* j3 j
14.5.4 扩展拓扑 302
1 G7 E( d; G K3 }$ Ujava8.com! m( X, T' x( C/ w: R" c0 I
14.5.5 在故障中存活下来 304, M0 {( {1 D& O5 L# B! W
- I g3 h8 L4 |# ?
14.6 流式处理应用场景 305! C6 Z" j$ e) p# m1 s
u" Y1 @! m8 g14.7 如何选择流式处理框架 3060 J! W5 Z! ]- g3 j1 \0 [
8 j% J0 {1 h( \
14.8 小结 307
t- x, Q1 F" w" L: `+ p; G! `: h$ R# [: h
附录 A 在其他操作系统中安装Kafka 309
3 r& @- w1 u" `8 r- O8 ^/ A& |7 W- H' ^ ^' E
附录 B 其他Kafka工具 314
- T- Z2 ^- Q# ]9 y
2 o" o, ~' o3 U6 J, ]2 n+ ~) B
电子书
3958 人阅读
|
48 人回复
|
2024-03-14
