TA的每日心情 | 开心
11 小时前 |
|---|
签到天数: 277 天 [LV.8]以坛为家I
管理员
- 积分
- 9563
|
Java电子书：Apache Kafka实战 PDF 电子书 Java吧 java8.com) e3 n( _8 J4 T s
9 p( C& Q- C6 E9 ?( R' I% D
作者:胡夕出版社:电子工业出版社出版时间:2018年05月
1 o. k- Z! [( B4 _0 b. Q3 r6 U7 C0 F3 m3 z
编号：166-Java吧资源免费-X0100【Java吧 java8.com】
, F& J/ `. H4 O
2 X6 \- L1 P1 Q& r8 d8 d5 w, i* J% J! R- N- Q& Z- U8 A+ `0 W; K
) s# K' J, {7 s! N& ^# u9 b
目录：
1 J: O9 z: C5 ?% ]第1章 认识Apache Kafka 1" n* d1 K) M5 H
1.1 Kafka快速入门 1
: C6 |6 R6 ]) P8 c' _1.1.1 下载并解压缩Kafka二进制代码压缩包文件 25 G, j7 p K, O# D- B. [
1.1.2 启动服务器 3
# x w, M& l- g8 M1.1.3 创建topic 3
3 S, G' ]/ o* q& h7 m1.1.4 发送消息 41 S4 W/ V- a5 U( {1 }6 l
1.1.5 消费消息 4 I9 t! Y" E% q
1.2 消息引擎系统 5$ J! K7 X+ C7 k- ^: T( S1 r2 |
1.2.1 消息设计 6
; ^) }- q& o3 D. ?: a1.2.2 传输协议设计 6
4 ~0 T+ q3 v' `% O! b9 y1.2.3 消息引擎范型 6
2 H* Z% m' A8 n- C8 _. ~% w1.2.4 Java消息服务 8
0 u" V0 B2 C; A. m0 K0 @1.3 Kafka概要设计 83 o1 z# K: o4 G- `* @# J& I5 Q
1.3.1 吞吐量/延时 8! q& @( B& S* T
1.3.2 消息持久化 11( z7 d+ f+ m$ y6 u1 D* l( N6 l
1.3.3 负载均衡和故障转移 12
W3 g5 b( n, l5 f9 E1.3.4 伸缩性 13* S$ G) O$ g! J+ W
1.4 Kafka基本概念与术语 13" l" @1 E& V2 T9 R* e# d2 @
1.4.1 消息 146 Q6 D0 G- y. ]6 I; j1 J1 E
1.4.2 topic和partition 16
" q! @( {7 \2 e4 x E. t1.4.3 offset 174 p# ^, p# h {! G0 E
1.4.4 replica 188 Y h8 l1 O2 Y% ?3 l% d
1.4.5 leader和follower 18: ?& S7 D) C& _6 C7 X. n& z
1.4.6 ISR 19* x' J; c( I, N5 q O
1.5 Kafka使用场景 207 i$ i2 ^6 x( ~9 a3 q
1.5.1 消息传输 209 _8 @8 z. C! {, F* ~8 J
1.5.2 网站行为日志追踪 20
6 S; ~7 l' v& n0 U( [+ z2 T7 L1.5.3 审计数据收集 20
: f' r. _, u) r5 P1 P" n1.5.4 日志收集 209 n# ]' C( t5 T4 a$ T+ |, s' z2 ?# T
1.5.5 Event Sourcing 21/ }, k8 j7 u( i( |4 A) x0 l- c
1.5.6 流式处理 21
3 p& M( _; p% `( Q3 X2 E1.6 本章小结 21
7 {3 Y* D9 i# w: o8 g+ i& p第2章 Kafka发展历史 22 r* L% z6 r( ^, k2 g
2.1 Kafka的历史 22
' w9 d! D* k" |9 {2.1.1 背景 22) v9 o1 p# b% r% q/ C
2.1.2 Kafka横空出世 23
4 H( d* T8 ]) c9 k0 `6 F% k2.1.3 Kafka开源 24
4 G& U3 }# J) d4 m( I8 W. f- N2.2 Kafka版本变迁 25 m# b3 Q) c" i0 x1 Q
2.2.1 Kafka的版本演进 256 p2 {. S) h" `+ S
2.2.2 Kafka的版本格式 269 {* w8 r- H: T+ C7 s3 _
2.2.3 新版本功能简介 26
6 a! n# y; s) v1 T2.2.4 旧版本功能简介 31) U$ s$ A: P, x( z7 s# f2 M k
2.3 如何选择Kafka版本 35
6 H! U' o0 M$ m6 g2 G' s2.3.1 根据功能场景 35, ~% `5 J6 g9 e M# N, K
2.3.2 根据客户端使用场景 351 j- m8 J( j8 @+ X
2.4 Kafka与Confluent 364 a$ O% ]1 W- a: W, b) `* q
2.5 本章小结 37# s# h% d$ w. Y$ x
第3章 Kafka线上环境部署 38
4 r- K) C) ~; \9 v, _0 f3 ~ |3.1 集群环境规划 38
4 B' y2 E, P& K. m3.1.1 操作系统的选型 38
: `2 Z* D( Q( R- E+ m) ~! o3.1.2 磁盘规划 40
4 M) u( C$ r" u0 ?3.1.3 磁盘容量规划 42
6 f( V6 p5 Z7 d3.1.4 内存规划 43 c; s5 b0 l$ z/ A6 z9 U6 T
3.1.5 CPU规划 43
/ [$ a% T- `+ e9 `9 `3.1.6 带宽规划 44
, N+ A0 m! H& Z9 y, ?% W3.1.7 典型线上环境配置 45
/ P( N' R+ B7 k3 t+ \3.2 伪分布式环境安装 45
# l: V% [; v( s1 T) \+ N4 T3.2.1 安装Java 46' U3 F! k( j# A# L( d
3.2.2 安装ZooKeeper 47
* m2 o8 L" m3 V: |+ p& A% `; ]) d3.2.3 安装单节点Kafka集群 48
# j1 y. [3 P- t4 T2 L& A3.3 多节点环境安装 490 t; f" ?# r; `2 u: f
3.3.1 安装多节点ZooKeeper集群 50
7 y: ~9 W! [1 E& A: W3 p3 _3.3.2 安装多节点Kafka 54
+ a% Y# q+ R3 z4 h& P% v* i9 R3.4 验证部署 55
, k( z8 b! ]$ H( [' _& A5 |3.4.1 测试topic创建与删除 55
2 q7 V" t$ g, w5 c/ g: S& R3.4.2 测试消息发送与消费 57
- I* o. F7 r" J* {* S5 I3.4.3 生产者吞吐量测试 58' k9 i) \! \. Z. `3 y' K* }
3.4.4 消费者吞吐量测试 58
$ w% R0 _ t7 R: i7 s) ?- Z3.5 参数设置 59
' R8 i9 W" v: H6 e3.5.1 broker端参数 59
" G9 F" F& E# }3 i& g/ }3.5.2 topic级别参数 628 D$ \: H4 M4 z9 j
3.5.3 GC参数 63
2 d6 l9 \+ ^) i7 \0 w* A3.5.4 JVM参数 64
( F! y _- U: k; W$ {3.5.5 OS参数 64
5 }6 z3 t3 D) A. H3.6 本章小结 652 p3 ]" j- r* n1 Z I
第4章 producer开发 664 e+ [; v; g5 O5 Q
4.1 producer概览 66
# H8 o/ ^) B. _+ h4 b( n2 Q4.2 构造producer 69
- h2 @: ]/ a7 }3 c9 d4.2.1 producer程序实例 69# c8 I# y/ D: {$ ?" `
4.2.2 producer主要参数 75
. B0 _6 T8 W+ R4.3 消息分区机制 80
/ K( U5 X- V0 [4.3.1 分区策略 80
$ _& g2 j+ j# d6 o$ I7 {4.3.2 自定义分区机制 80) s" ^- W1 }' \% ~( K4 i
4.4 消息序列化 839 k* R3 U/ M9 D- ^, [* z
4.4.1 默认序列化 83) S# @, D: ?0 x5 \
4.4.2 自定义序列化 84) Q. F7 e7 J" ?" X( A
4.5 producer拦截器 87
! W3 k% c* L X# v4 f7 ~4.6 无消息丢失配置 90
% {0 I% b; A# @/ n( {2 |4.6.1 producer端配置 91
- @/ n2 b) k) t4.6.2 broker端配置 92$ K) m7 G! e& d3 [6 |
4.7 消息压缩 92
A* J% ?: u, b% F4.7.1 Kafka支持的压缩算法 931 n1 u2 b+ Z. i9 U( X: x. c5 F9 z
4.7.2 算法性能比较与调优 93
j7 a3 ^& h. o S. J4.8 多线程处理 95& N. X; x8 w( ^4 l# b
4.9 旧版本producer 96" \- m# ^) p3 h9 P8 N4 I1 w
4.10 本章小结 98) ~3 }6 S% \: T+ A$ C0 G- ], j1 u
第5章 consumer开发 99
+ u ? F& W# |9 ~+ k7 K9 H4 A5.1 consumer概览 99
w# l9 x: A1 t( R& o+ n& c" g( R5.1.1 消费者（consumer） 99
: F, I9 @. f: f" }7 d ~4 r8 T5.1.2 消费者组（consumer group） 101
( J& X' L' D8 g+ U5.1.3 位移（offset） 102( b1 v! }3 U H: g1 d" N t( M0 S+ r
5.1.4 位移提交 1032 A1 F+ b0 s/ L; f+ l6 f
5.1.5 __consumer_offsets 104
4 n+ }% I9 w9 o4 s5.1.6 消费者组重平衡（consumer group rebalance） 106 j) Q. C8 [3 a. }- N& E
5.2 构建consumer 1067 T, f5 V) a) w$ j5 @& X/ z! s8 i
5.2.1 consumer程序实例 106
* [4 I: V+ W6 a5 ]$ ^! s5.2.2 consumer脚本命令 1114 ~8 c" X' C# ]2 x7 ^0 G
5.2.3 consumer主要参数 112( Q$ n. h7 R+ U. a9 M3 ^ ?+ {
5.3 订阅topic 115# j- Z }1 v2 e
5.3.1 订阅topic列表 115) S- t$ |/ j0 z/ t; G3 ^) J; Z
5.3.2 基于正则表达式订阅topic 115( K& H; ^2 l8 J8 y& M4 L7 o8 P" b
5.4 消息轮询 115. p7 Q+ N- s4 c$ b
5.4.1 poll内部原理 1151 X% b& b: @5 Q! v
5.4.2 poll使用方法 116, ], Y8 a7 E- W9 F
5.5 位移管理 118
1 k: `3 n) I6 _ W# k: z/ X5.5.1 consumer位移 119
; q: W* _& _ M: U6 {5.5.2 新版本consumer位移管理 120* z+ y p3 u! x. v! q- c) E
5.5.3 自动提交与手动提交 1218 e `8 s1 d2 C/ Z! H5 A
5.5.4 旧版本consumer位移管理 123
9 w6 }' D$ }: l+ p, \' W5.6 重平衡（rebalance） 123
6 p- e+ W |$ K4 k* z5.6.1 rebalance概览 123
9 Z" H( l \5 V9 R5.6.2 rebalance触发条件 124
9 G7 P9 y V) J5.6.3 rebalance分区分配 124
; [1 V7 N& T# q4 D+ z4 _5.6.4 rebalance generation 126
9 E# d* e% H* ]9 k5 H9 _# R5.6.5 rebalance协议 126* z6 B- |3 T, u. I$ [: L
5.6.6 rebalance流程 127
/ z" U8 [$ r. _5.6.7 rebalance监听器 128& W2 H# Q0 a! T
5.7 解序列化 130
; u6 x- }$ ^1 D( E7 R2 l' N$ k# R5.7.1 默认解序列化器 130 ?0 T$ O0 v/ [7 ^/ |- u
5.7.2 自定义解序列化器 131
2 t" n: P/ y! e3 U# a) g' S' G6 d5.8 多线程消费实例 132
0 I& B0 X2 {: e: U5.8.1 每个线程维护一个KafkaConsumer 133
1 z1 O4 f8 T1 E3 n0 a, Y5.8.2 单KafkaConsumer实例 多worker线程 135
" f# b( f' B" W9 i- `3 w5.8.3 两种方法对比 140
$ x/ I. v* X- M5 B P* L5.9 独立consumer 141
j( M' E) \9 |+ a) d8 y5.10 旧版本consumer 142
& u1 _1 Q" o O* E5.10.1 概览 142! B& K# s, g4 m. G
5.10.2 high-level consumer 143
/ f( | c+ g l& N" p5.10.3 low-level consumer 1479 y6 ^- _* h! h* o* R
5.11 本章小结 153' m& \, h, C. ]4 L0 p
第6章 Kafka设计原理 154
% P: N7 i* v9 Z% k$ a2 m# P2 a6.1 broker端设计架构 154
, S' J# o' B1 C# _$ y2 E6.1.1 消息设计 155
2 f: f! J `2 u7 h6.1.2 集群管理 166* Z' x6 m0 W# p; E, ? D v
6.1.3 副本与ISR设计 1695 K$ [9 u! A( J8 m
6.1.4 水印（watermark）和leader epoch 174
* s9 c2 i! I* P8 O8 n6.1.5 日志存储设计 185: N' X& F f Z, c
6.1.6 通信协议（wire protocol） 194
6 _8 B& w' H) J( t1 ]6.1.7 controller设计 205. y' e2 `7 Z/ ~2 o" R/ X! \
6.1.8 broker请求处理 216* R" f* `* o% i# q
6.2 producer端设计 219% p% C9 y7 x' _3 x
6.2.1 producer端基本数据结构 219" a) L% Y5 W/ y6 M7 O) N2 ]( C
6.2.2 工作流程 220- I# N2 {/ E( u4 j
6.3 consumer端设计 223
5 T; r( W; S7 o/ x6 [% s6.3.1 consumer group状态机 2234 l A5 x$ T+ A
6.3.2 group管理协议 226
( ^7 o! x% O4 X3 y" R$ I6.3.3 rebalance场景剖析 227
( V; k1 y- h9 X$ ~6.4 实现精确一次处理语义 230& S/ j5 H6 I3 }! y% e1 [$ |9 X7 n% D- _: f
6.4.1 消息交付语义 230+ K, j5 Y8 C: }0 ^5 {* _: s8 R
6.4.2 幂等性producer（idempotent producer） 231, Q3 Q$ h+ Y7 _1 v( C# ?+ y
6.4.3 事务（transaction） 2322 a- q' { D U9 C
6.5 本章小结 234
4 @! c- z) Q/ g: r2 g* v4 j% \第7章 管理Kafka集群 2350 |" A* }# E+ H+ N4 A
7.1 集群管理 2352 ?* ? c! H& w
7.1.1 启动broker 235
4 @! X$ K7 K" {7.1.2 关闭broker 2364 U1 z9 W8 ~9 ~4 Z. y3 c: K$ e7 ]4 O8 J
7.1.3 设置JMX端口 237! C9 ~% b! [- Y4 }& D3 s
7.1.4 增加broker 238
) Z# E% Q$ e% H, @2 C2 f7.1.5 升级broker版本 238
7 q* }! S4 V: b! E( f8 {: C7.2 topic管理 241
+ T7 [0 ~, i5 [) t+ ~/ z8 h7.2.1 创建topic 241
, v c# C F, q; J2 [( }0 w7.2.2 删除topic 243; k% ]1 s2 ~: U8 h) t% ?* v) J6 I! ?9 m0 O
7.2.3 查询topic列表 244# }8 t8 B i% S6 f! X, _7 H* V' u
7.2.4 查询topic详情 244& O# ~ \4 w4 H% H' X
7.2.5 修改topic 245
. |( b4 S2 Y& c6 U7.3 topic动态配置管理 246
$ c3 i6 Q8 Z0 J$ H3 K9 d* W7.3.1 增加topic配置 246
, a; i u. P0 c# n( h) T+ ]7.3.2 查看topic配置 247# m. L' f% c. F" s& p& Q% s& Q
7.3.3 删除topic配置 248
: w7 g% |$ N" d7.4 consumer相关管理 248; k' |5 N! @3 r |
7.4.1 查询消费者组 248
& x) f- ^. L9 p) j2 F! {/ i7.4.2 重设消费者组位移 2517 b- |4 i1 I3 {4 u2 P+ ?, y
7.4.3 删除消费者组 256
! v8 f/ P: X: W7.4.4 kafka-consumer-offset-checker 2578 [$ W' d8 a& V/ G1 q
7.5 topic分区管理 258
+ \. p0 ?$ ^: R0 J7.5.1 preferred leader选举 258$ ]8 {6 y2 L& U$ ], G* Y# Z
7.5.2 分区重分配 260
i! a$ c( w" d! n* J5 _7.5.3 增加副本因子 263 |$ B- Z `+ W) R5 s
7.6 Kafka常见脚本工具 264) b- m6 p4 Z& p1 K+ A; r5 ]
7.6.1 kafka-console-producer脚本 264
" _; c; k; k7 d& e- x! [7.6.2 kafka-console-consumer脚本 2653 {- r2 }8 _, L9 I. R- g
7.6.3 kafka-run-class脚本 267
: _* P3 f' W7 M* k1 X% \, m0 }- E7.6.4 查看消息元数据 268
* g! N8 h+ t6 n6 W7.6.5 获取topic当前消息数 270
( @/ ]: f/ }& k! ?, ?- K; A ]7.6.6 查询__consumer_offsets 271
, R& {8 \1 f9 S* h) K+ V7.7 API方式管理集群 273
5 \+ r! h7 S4 \0 A7.7.1 服务器端API管理topic 273; N/ Q) J9 c7 W6 k1 z+ K
7.7.2 服务器端API管理位移 275
# z) [. ~; s7 X' s' n" c) A9 Y( \7 a7.7.3 客户端API管理topic 276/ V) X8 E! F: v+ d; k
7.7.4 客户端API查看位移 280
8 K$ Y7 l' {6 v4 K& x7.7.5 0.11.0.0版本客户端API 281
1 O$ a. r; b0 f# B1 J6 R7.8 MirrorMaker 285
0 F& q( \2 @2 [$ f- o, j7.8.1 概要介绍 285
4 d2 w0 N! V3 v# Q7.8.2 主要参数 286
5 }0 [% ^$ Z3 J4 _% I7.8.3 使用实例 287
6 T- ]$ A3 [* c4 n g+ [7.9 Kafka安全 288
2 @% |8 Y' k- o* z: ]7.9.1 SASL ACL 289* K# t: g; I% D z8 b
7.9.2 SSL加密 297
- j- n) U7 z" M7.10 常见问题 301
, ]4 w' u k' h3 c1 [6 {! f7.11 本章小结 304$ a% F) o8 O$ p* p
第8章 监控Kafka集群 305: J% W4 h3 O# m/ \& k" E' g+ P* f+ d
8.1 集群健康度检查 3059 I7 }. ^2 d/ O! b
8.2 MBean监控 306
; r8 u& J9 S, z& l4 a1 ?' Q3 s8.2.1 监控指标 3062 C {7 y2 a' H( S: o
8.2.2 指标分类 3086 D' P4 D: r+ d F$ H6 Q. t
8.2.3 定义和查询JMX端口 3096 q$ p6 e: b H: \3 }! n
8.3 broker端JMX监控 310
& V# d% r* m4 u4 t' n8.3.1 消息入站/出站速率 310
! `6 ~# ^8 e, f/ [* j2 h8.3.2 controller存活JMX指标 311
" r2 k r0 B) E# S6 M, w( Z `8.3.3 备份不足的分区数 312/ @9 R/ V L) g& \( o" d1 W4 F
8.3.4 leader分区数 3124 R5 X. _; J& @( x2 v y
8.3.5 ISR变化速率 3137 Y" [6 n# E; k1 x1 m4 V
8.3.6 broker I/O工作处理线程空闲率 313& B6 W* X3 m6 A
8.3.7 broker网络处理线程空闲率 314
+ l6 c4 `* F: X9 \; B8.3.8 单个topic总字节数 314$ Y |* j* Y5 E7 e
8.4 clients端JMX监控 314$ z5 T8 S' }; k' \, [3 I9 l+ Z
8.4.1 producer端JMX监控 314
% E- c+ W Z3 }8.4.2 consumer端JMX监控 316
0 f" k& v; T+ B0 b; [( `- n) k8.5 JVM监控 317 @2 A" K' |4 E$ i' j ^
8.5.1 进程状态 3188 U! L4 m1 t1 Y& C( ^3 Z" F
8.5.2 GC性能 3188 ]% B: N) S+ x v
8.6 OS监控 318; Z- \6 a4 M* H! s
8.7 主流监控框架 319
6 d8 C" i7 S' m/ j7 y( D8.7.1 JmxTool 3208 f& v. p; ~; s* f/ D
8.7.2 kafka-manager 3204 z& a1 x3 s# _1 K1 d9 T" F
8.7.3 Kafka Monitor 325
9 h# P- I% n0 t) b) K# ?8.7.4 Kafka Offset Monitor 327
0 j. | \) ?. L4 J6 Y1 U5 N& r2 n8.7.5 CruiseControl 3292 C+ o; e7 r( n' Q: v" h
8.8 本章小结 330
* V( L1 F/ ~. _8 U+ _6 d, y% [+ h第9章 调优Kafka集群 331* x( N9 a( | Q# U9 I; }, P3 Z
9.1 引言 331% b' W( A" S0 t; @! n; e* T7 z
9.2 确定调优目标 333
6 W0 `' m. O* R, n5 E9.3 集群基础调优 334
" D0 @2 l6 K/ ^ [9.3.1 禁止atime更新 335$ u7 V! N2 O: g w- R5 Q
9.3.2 文件系统选择 335; m/ B6 [+ B9 p% h; w A' ?. h- R
9.3.3 设置swapiness 336
, H7 E1 C. W9 C% }1 e3 H( o" e9.3.4 JVM设置 337
2 O6 W R2 u! M4 G5 z9.3.5 其他调优 337) P& _! _' ~: M1 E
9.4 调优吞吐量 338
$ M- [3 @# G4 b2 }2 M9.5 调优延时 342
. k) G/ K' L# b9.6 调优持久性 3434 E% Y- c4 e$ A t6 B
9.7 调优可用性 347( S5 ]" q* J3 P7 U
9.8 本章小结 349/ V9 o$ C" D' } H
第10章 Kafka Connect与Kafka Streams 3508 z. |8 o$ G) G$ _
10.1 引言 350 java8.com7 C7 y2 E' R7 q1 n$ F" ]
10.2 Kafka Connect 351
1 |* r) F7 G O7 y0 ~& f10.2.1 概要介绍 351- G! _) R5 ]4 p# o
10.2.2 standalone Connect 353 {# n+ Y" O3 Y% N
10.2.3 distributed Connect 356: a4 }7 l1 n+ B
10.2.4 开发connector 359 v6 _' L! b+ s# d+ k+ A2 O
10.3 Kafka Streams 3620 x. G6 r9 x, ]/ T
10.3.1 流处理 362' \( E: `& S0 L2 |2 R$ |5 x7 k* D
10.3.2 Kafka Streams核心概念 364+ d2 G$ W# _/ _; b4 w6 b
10.3.3 Kafka Streams与其他框架的异同 3685 c: V/ s+ \( K A
10.3.4 Word Count实例 369 x8 [! h( d! k w6 p* \, R1 ^$ ]4 Y: _
10.3.5 Kafka Streams应用开发 3726 A h4 y( g) h9 c+ H+ c# ?
10.3.6 Kafka Streams状态查询 382: ?9 F" T& F$ n5 C
10.4 本章小结 3867 |6 V, l% P( u, F
$ p( e* j; t4 k! i9 [0 D! L
# @8 ^6 E: U# n# R5 V: v% Q$ N' b- t7 V
) }& I5 {2 W: n6 G* B# W2 m' Z! X* T% j* b* e+ U
5 P1 ^7 G: x4 l2 [% L& e+ a6 Z" \3 k+ A, O! {) W# A
|
|
电子书
1752 人阅读
|
28 人回复
|
2023-12-18
