第1章 Kafka简介 1
, {- B. ~% Y+ H8 z0 d: @
1 [% G5 z) b. D# x1.1 Kafka背景 1
( x6 Y, O5 x O$ i4 g8 `. ]. R( Q0 P* u+ \
1.2 Kafka基本结构 2" \6 d1 m9 Y1 y$ W: A
0 e; J" j& v+ G0 \- M1.3 Kafka基本概念 2& Q7 a: O" \0 Y/ ?& \! F$ y, ^
+ \$ x; C* W9 ~! j: S1.4 Kafka设计概述 6# V% h3 q' K& W1 o, j* A' M) m
* } R5 t. z. p( d2 f1.4.1 Kafka设计动机 69 m% z" j/ X2 N; U6 g- I2 I1 b
) c- a3 | N. T7 z2 d ?. u
1.4.2 Kafka特性 6
$ A) t8 m7 k! }! Z) L1 w
4 [7 B8 K- m- Y* y8 @8 A1.4.3 Kafka应用场景 8
; t& j6 m/ t& y! b/ _- {% B J( M$ X2 t P4 p% v
1.5 本书导读 9& y. Q" B2 D( P" s6 P, o
1 L7 K. z2 g3 l* d8 m1.6 小结 9
# y+ B: N n$ I- m& S5 J+ R: E: t4 n& k% T f9 @
第2章 Kafka安装配置 11
& D, y8 l- l0 F% x3 @/ m$ R$ `
& A( v, r5 t/ t# ~6 Z& i/ N2.1 基础环境配置 11# H' h$ u9 |) G. A
, y( W+ ^' W+ V) q1 b8 y2.1.1 JDK安装配置 11' u: _% m3 B4 Y5 c) M
* N1 u" d' P8 h, T
2.1.2 SSH安装配置 13) ?; b8 n# O5 l4 V: Z
+ n5 n: U! s% V3 k% W) `: I; T2.1.3 ZooKeeper环境 15
* d) s2 v; o7 e+ N$ m! q" J# E: c
2 K* }& L" w' R4 x% d0 c2.2 Kafka单机环境部署 186 w: q$ e5 W( }4 N7 b2 Y5 j$ L
- a0 {( Z& p! n' B0 m5 b5 K+ z( o2.2.1 Windows环境安装Kafka 19+ K7 l& T+ I' e5 F9 Y! ?
) E8 B% O' I { t! n, Y2.2.2 Linux环境安装Kafka 19
! o. a* }. p2 w k' ]/ O! W( ?& z( o
! o( n* b$ c" S' a3 F3 O3 A2.3 Kafka伪分布式环境部署 21
% y! r1 J$ W5 D7 l1 E& e) |- p4 G- K
2.4 Kafka集群环境部署 22
4 j6 W# `- I5 S- U0 z" ?$ q1 g1 z% h; S
2.5 Kafka Manager安装 22
: t: C9 O/ ~5 s( d' w" f% N. o1 v$ A
# K; V# Q2 t- r5 W2.6 Kafka源码编译 25' n- Z2 d. l: q; |- h8 Z3 q
, ~7 O) ] c% L8 |2.6.1 Scala安装配置 25- B! z+ ]6 L+ n- \! S, _4 o
+ v! a6 D. D+ C/ U8 ~6 g
2.6.2 Gradle安装配置 26
6 L: E0 Y0 x- k4 N) Q5 Y- |
- `/ o! p+ W. s2.6.3 Kafka源码编译 26 T* D2 g# J! p$ a; Y. ~: y
) g3 u. `1 B/ }5 @# ~. D
2.6.4 Kafka导入Eclipse 30# V3 w: ?2 r8 P, d/ l) p, C
) \+ D w0 g4 { d6 D( A
2.7 小结 31" s" a+ W% {! ~ s
; I2 [4 b) S) `. z5 e* S( w
第3章 Kafka核心组件 33, T& ~; F+ z* f
$ @" \& g" D6 n# N+ h6 @' B3.1 延迟操作组件 33
7 |2 m7 \/ d; R. F+ W5 F$ g" y
& A- G7 m* n+ v0 P+ c+ l. b# L3.1.1 DelayedOperation 33
. w5 I" R% Z# n4 B# X8 O9 [. c
3.1.2 DelayedOperationPurgatory 35
9 D# I i# o' x6 E1 O% e( _5 F# ^8 F. l, h- k M
3.1.3 DelayedProduce 367 p9 E" C% c) d
5 \ [9 W. I. o3.1.4 DelayedFetch 38
b' F; X! K8 p6 k: S( l4 g9 ?6 C% K
7 d* f' x4 f* K$ w. u4 P _3.1.5 DelayedJoin 38
* n8 A) R0 r5 Z5 R3 k% z+ o j: X9 p( b0 e' n& V1 I3 M
3.1.6 DelayedHeartbeat 39
: l) x5 O% i7 L$ H) H! p, m! w
" O, }/ T8 G0 i3.1.7 DelayedCreateTopics 40
/ w; c- H( u, i5 C0 o3 b. c, W* j( h; k [ m
3.2 控制器 40$ F3 @3 V/ O: z* q, p+ _" I' w
# q d& T. ]8 X' u& h x
3.2.1 控制器初始化 41; j! s0 h4 z+ H5 ~
3 ]6 i! w& P, Y4 Y& F- [
3.2.2 控制器选举过程 46
. T6 N% n* V+ d) y( t3 F8 f" K
3.2.3 故障转移 48
. k5 j! D5 c1 t* b8 c) b
" q6 F9 @" H# M" C8 z3.2.4 代理上线与下线 494 U9 k7 s& I" R/ k
" @ T+ q/ i* t/ j0 _; B# S! v3.2.5 主题管理 51
0 U2 Q0 I! D6 x. E8 |7 j" L9 ]4 n* o1 d7 O
3.2.6 分区管理 54, p4 w( _& _1 x) N) [
! f5 E) B! P" P E) D' Z" o9 x* |3.3 协调器 58) j, A5 {7 U6 w. `
/ [7 v# S2 f6 n3 P5 {7 f4 m* Z/ ~3.3.1 消费者协调器 58
) A* @5 X7 G/ y9 O0 z' i' p8 z7 ]; H7 a2 k6 I' A2 `7 V
3.3.2 组协调器 60 N- I# v d6 I. z
! [& d2 l& e- X
3.4 网络通信服务 64, H: B! g$ C* ] G. l
8 L, M. i. a! V" P9 u; p' m" L
3.4.1 Acceptor 65
0 I8 {" T i) Z6 M+ s9 C9 T& F. r9 m: _/ r6 ^* r$ Y
3.4.2 Processor 66& H: ?/ t( c6 x1 Q
# B) k3 I- i; {6 H& J+ w
3.4.3 RequestChannel 68
( [9 h- J5 ^: j2 {& G5 c! I
9 T6 x6 p8 Y* E" l" w/ c: H3.4.4 SocketServer启动过程 69
4 }) C [5 x: \0 v9 q' a7 ^: T. b0 j8 ^
3.5 日志管理器 701 w0 Y% d* a9 D* T( A
6 m* ]: D2 \5 F5 v9 [3.5.1 Kafka日志结构 70
: J j3 V; `+ s6 N
, {2 U _( s6 D+ ]( S b3.5.2 日志管理器启动过程 77. D/ ]- Z9 L5 A$ W1 [: _# n9 q. H; \
/ ]: H0 n4 z% K& `( I% H7 P1 I3.5.3 日志加载及恢复 79
5 T4 {" C1 S" O
% N6 Y+ j1 h/ x& C7 U2 C3.5.4 日志清理 80
; a% g8 U" q/ u+ ^& V3 o
5 `. m. p: P1 g' a( X- Z4 \3.6 副本管理器 84
. J, G1 {2 n! W1 o* C: W7 P A/ _. v4 Z8 N, q. ~# f. F
3.6.1 分区 86
) y" ~; E4 E/ J- C3 N* {( Q+ K9 h' H1 E8 f1 U: V1 I( n1 W
3.6.2 副本 88
" P8 Q, L! g# [9 A5 q9 e+ \; F
* V4 g* I: N4 A& [% p' q I3.6.3 副本管理器启动过程 896 F3 M4 Q0 c; j8 S# e
2 M5 t4 x( K4 b( F4 B3.6.4 副本过期检查 903 ] F! u5 c4 ^. }3 d
4 r! |! F3 A0 m' c3.6.5 追加消息 92' ^/ ~1 k+ H) C" M
! w% x0 U0 c9 h! o4 j3.6.6 拉取消息 95
( W. `1 R% c! Y! E
; G4 X" I; ?* O" n3.6.7 副本同步过程 97
9 R9 d" U- q% d+ V% b9 v
$ d# a) C1 p, @( x3.6.8 副本角色转换 99
* z: a1 w/ k1 `- U% z) S$ }
$ W0 ^% h! X/ K3.6.9 关闭副本 101
9 p" T9 E9 o2 V) y5 {" V. G1 }- _" G; \+ ]: J1 I
3.7 Handler 103
. S& D8 W, H/ }; H- Y, ~( k9 n" P7 `. U h w+ A9 x( Z3 ?7 ~) |
3.8 动态配置管理器 104+ ~3 _4 `, M' F# y4 |( S, n
: I* @' F$ \( r3.9 代理健康检测 106
$ Y, y9 y- G- m, S8 L* g2 l0 G: G7 Q0 M- B
3.10 Kafka内部监控 1079 {" Z) X7 M* b s
/ y5 F% E# ^) _% J* C2 Z. z
3.11 小结 110
. t' z+ @/ Q' y+ H& ~) j8 J
( o5 r- K! c( N% T2 @" U c第4章 Kafka核心流程分析 1113 E! `4 e8 \6 j: ]4 U. t
4 t3 x" ?. V3 N9 Z6 P+ F1 ^: ~
4.1 KafkaServer启动流程分析 1119 T' X9 V! p8 l: O8 H
/ ^( }0 f: |. N4.2 创建主题流程分析 115# S# ]# W3 X% b) Y T: P; x
2 Q+ r& E5 J& V( W# t* G. `4.2.1 客户端创建主题 115
/ A8 Q) R2 |$ ~( _" J$ }# N" m
: ?6 ~5 I# K1 s; Q4.2.2 分区副本分配 117/ {. h$ z9 e4 V
0 I* f3 u1 |+ t/ ^% B9 T
4.3 生产者 121
% \$ `9 y ]7 O5 R9 q# p
1 }5 h' ?* B& o# G- f8 o x# n4.3.1 Eclipse运行生产者源码 121
& |) J: \" d$ u, F$ r6 N+ v' U3 D6 y2 v! `$ b' L; q
4.3.2 生产者重要配置说明 123
7 y0 p1 V. t: t1 r
3 d7 F8 }, q+ N6 q3 V; X7 x4.3.3 OldProducer执行流程 124: q5 W! ~# g N/ l$ p5 k P
3 u; ?* W" _( t, x
4.3.4 KafkaProducer实现原理 127
* i* k$ O8 ~/ r7 H. A1 B, K: }! |5 O
4.4 消费者 140# f- y* H4 R1 Y+ Z) K$ K2 Y
6 @- l! o# u# t0 J Q4.4.1 旧版消费者 140
1 @+ n+ p( k8 D& s) S% ~" q. c5 E9 V2 H% B U2 o) f* I/ `
4.4.2 KafkaConsumer初始化 140; ^8 x F, [0 T. R
4 I$ p! Q/ ~3 t, m! p$ @- k4.4.3 消费订阅 144$ v v/ Z' |' X
0 O9 E9 h$ `5 {9 P3 L: }0 X& S- Y4.4.4 消费消息 145! q: T; K/ ~& w
) I. |' o: v. M Z! W& K0 Q4.4.5 消费偏移量提交 149
9 N+ Z1 u! [" k- Z# v* {5 \1 s; S% [% o) V) [
4.4.6 心跳探测 1503 b4 n/ k9 Z/ _
+ V, @* b4 a# y
4.4.7 分区数与消费者线程的关系 151# G1 o1 ]5 N( J1 j
2 I2 m, M! L/ P; I8 I* ~0 y
4.4.8 消费者平衡过程 153+ w7 H7 x5 J% \: b1 r
# D N B/ q; f. P9 H+ A2 o4.5 小结 154
) g& w3 ~* \7 A4 R0 @7 B. [: a0 |* {2 o
第5章 Kafka基本操作实战 1552 P$ ` ]" x6 h9 ?2 z- P& n2 }5 t
& H+ Z! T* e) S0 d( {4 b
5.1 KafkaServer管理 155" I3 D' {9 v e8 M! O# L
' J5 x5 b8 n# }5.1.1 启动Kafka单个节点 155+ @) Q4 o' y- {
1 v3 J. g$ t0 B) `8 L5.1.2 启动Kafka集群 159' T2 j' c7 |% j' q
0 }) O5 c/ S% U! N
5.1.3 关闭Kafka单个节点 160
" ?" Q p: N' t% M
% b# p) K. r# G; a2 V( b5.1.4 关闭Kafka集群 1612 ?! D0 w0 a# U# X2 e
: s$ Y8 Y( u# Z& G0 V3 a$ U5.2 主题管理 162
0 i8 \" K" g8 F% H- i4 `
9 x$ E( l' v" a9 Z5.2.1 创建主题 162
+ D6 h: s" }. d* ~+ b# B% B& o0 F; r2 ~$ u
5.2.2 删除主题 164( z2 B# J5 @+ V$ u) i/ M+ D4 s1 d
3 s6 n0 l5 l- j3 S
5.2.3 查看主题 165
. N* L& \ J7 G9 A' ?9 t5 w7 \/ n8 g5 D+ R N' [: p9 K
5.2.4 修改主题 166; H, V% P; E5 s( N7 D/ s4 A
, {6 B! d q0 O1 V5.3 生产者基本操作 168& o8 C1 w( x) A" n# x9 r
" W; }; ~" C2 ^' k8 J, N5.3.1 启动生产者 1688 Y2 p7 H# [( L* K1 \' J8 {/ {
$ J+ b2 Y) w) r" }2 z5 d d" ?5.3.2 创建主题 169
$ Y: X3 n) t5 {8 ^1 V8 `5 z# X2 y/ v$ ?: Q
5.3.3 查看消息 170
& U, W3 b2 v4 P9 i, z. M- ?& T) A: I. K- V- o
5.3.4 生产者性能测试工具 1704 q4 q# w# r$ e1 w
% |5 W3 h; o2 c5.4 消费者基本操作 174
- D1 z0 X& Y" O0 E) W
( i" w* C- V2 e- S5.4.1 消费消息 174
( q. f- x+ f$ K& o0 n8 ?* L/ i$ A. R! M8 Q1 @9 g) K
5.4.2 单播与多播 1798 V1 }% L8 @" b7 ?& k. d5 r
% S/ k# g; ^9 x+ T5.4.3 查看消费偏移量 181
) D7 p0 B. p$ l3 V2 r2 `% Q5 k* g: D4 D0 }2 R, B* L
5.4.4 消费者性能测试工具 183# p% y; U) T/ ^& v
" \5 c4 ?7 ~) v; l& y4 f0 i7 Y
5.5 配置管理 183
- c% O7 ^2 H5 S7 w2 R( A
2 p& Z3 [; ^* y% B5.5.1 主题级别配置 184' X8 o; y- d9 E
0 e) `, A9 E! c8 y7 c' C5.5.2 代理级别设置 185
' r" F* k! w& q8 t6 v- h6 p
5 q' g; z# W8 G1 h( O# L5.5.3 客户端/用户级别配置 187
( a' N. I% I% [5 W- w
6 q9 u8 c/ Y+ l0 H0 H) O. ^5.6 分区操作 1889 @1 C+ ^# s0 i! V
+ K; j$ w$ u& i) H# M; v5.6.1 分区Leader平衡 1885 M- N) G/ ~" l; T; f/ v7 j
3 {. n5 q2 P' s* d
5.6.2 分区迁移 1904 P( {5 N4 a1 \, F6 X
+ Q( [" R5 \. W7 e: v$ E
5.6.3 增加分区 194
4 ?+ V* f0 m* V6 C5 ^4 w
1 b; Y% E, r' g5.6.4 增加副本 1958 `) |7 {2 E& u/ _4 A; m7 w
" g% [: ~4 x7 Y+ u% K1 q5 ~: U2 E5.7 连接器基本操作 198
7 P [7 ?( l) c+ J7 z) y, T/ A+ u" m3 z3 g# Z( y- n! c @4 e' I) n" G
5.7.1 独立模式 198
8 S" `! Z/ `/ L! X+ N" ]( B% f" D7 S5 \# B- s
5.7.2 REST风格API应用 201! @( c3 G5 f& ]& U- w+ ~
; S7 ?6 b5 s3 \9 ?$ w5.7.3 分布式模式 2046 G" x7 B8 ?$ [+ S
1 ~. z5 V9 \- |. u8 ]
5.8 Kafka Manager应用 209
# i; Z' O3 U+ ^" O! Z
& ]( ?, ?1 `% O$ _2 X n4 ~5.9 Kafka安全机制 211) |2 v% W) E$ ]: z
! ^" \+ `2 ]7 F1 e6 _
5.9.1 利用SASL/PLAIN进行身份认证 212
7 h4 K( d4 b* X! |& X' P p9 @6 P0 ]0 s
5.9.2 权限控制 215
. [0 r# e/ T$ G+ g/ C
# _: w* h+ W; E5.10 镜像操作 218
6 D9 E2 L: p1 s) ^" c* G* z; i7 d: h3 y; P
5.11 小结 219
: a+ i& ^- G/ y; \ r% k3 d( L$ q8 W+ J, K8 i2 `
第6章 Kafka API编程实战 2211 k) ?, o1 W4 `+ G
l m, Y6 d/ Y7 @$ x
6.1 主题管理 2222 }5 W- ~& i2 L- ~
- F% x4 B$ M- W! B% @! Y6 F U! z6.1.1 创建主题 222
; E; J: ]9 T. R3 \* W, ]6 H& Q0 L6 p% z$ m' v% Y/ H$ }
6.1.2 修改主题级别配置 223
g6 V! N: o0 r2 @, }, L( ^8 l7 R2 G- q
6.1.3 增加分区 2241 }: G3 R: ~, N: T2 V, P- ^5 R
$ t6 Z2 t4 e) R8 y, v1 f6.1.4 分区副本重分配 224
3 e: D* D' G' z3 h$ q A3 f# J; w* Z9 P% Z4 e
6.1.5 删除主题 2259 T5 U; |" n+ o- V
( S, x# ~& V% t; Z6 f$ C+ z# w
6.2 生产者API应用 2258 ?3 @9 ^( _: G) D y" n$ j7 p. ]
) T8 ?# J% U& [) i! `" Z6.2.1 单线程生产者 226
9 }2 z6 D+ X/ L: N7 k0 o- i) p6 d& z5 o- E$ U! n
6.2.2 多线程生产者 231
2 K3 K7 s0 X& N+ b ^! ]. V Z3 G2 e; m9 [2 U$ y# h
6.3 消费者API应用 2331 N: [( Q+ m2 L. l* O; [
; e0 B& n$ v9 {8 }6.3.1 旧版消费者API应用 233
. O3 N; b4 U, N% P e. f( r$ y4 F/ p& g \
6.3.2 新版消费者API应用 239
. G; \) s# R) [! |& k* w W( A7 ?3 ^. X( R' D3 M) P0 q- |4 \
6.4 自定义组件实现 247
: X. ] \" G t; D9 ]& U5 n( t- d% E# |0 b: O; Z
6.4.1 分区器 2477 v9 e \/ v/ N- H# ]) s3 P) m
% _/ \9 Q) B/ K/ W. `3 w8 B: D6.4.2 序列化与反序列化 249
/ j( s! D$ q$ S5 x$ ^+ @0 X3 P) m( h0 Q) S% Q( ]$ k1 a
6.5 Spring与Kafka整合应用 257
4 }) X- L; q0 S0 a8 r8 z" X! [. e; F
6.5.1 生产者 259
+ x, S& P0 ? \/ }% ? b& c' f9 ~; ?! b9 }3 V g: I! o
6.5.2 消费者 263( q6 I9 f$ @7 c1 b
% @5 i* J+ X3 N2 D0 k- P1 u6.6 小结 2666 `; Z( u' }, U1 @ I2 M
) L& E; I9 u% T0 A! n第7章 Kafka Streams 267
# g! y' N L8 g- W. I% Y, W6 \9 u6 g% b& S* P
7.1 Kafka Streams简介 267
- }& h- _6 y1 R& n
2 [) V3 T( k& T+ M" ]7.2 Kafka Streams基本概念 268
) O5 P3 k" o. J* k! a4 L
5 P' I$ d' ^# s# `6 @) g H7.2.1 流 268
% K, C w( k. V: y$ d3 d
5 L) Y: D' ^2 b5 G+ I: z7.2.2 流处理器 268
5 q5 R0 z* a9 d, [: j- J. C* \' |: ^5 |- G/ f2 Z
7.2.3 处理器拓扑 268
! P9 r7 W# e" @% D9 F* p
! L3 f; \5 P0 o# Z7.2.4 时间 269
+ l! d. F" Z! a: @6 u/ I0 M8 u" [1 q* E- `
7.2.5 状态 270( p! d, }" ]6 e1 e* r
% G3 G: [7 w2 P h8 H: O7.2.6 KStream和KTable 270
% p6 m5 R: z6 B: R+ |
9 @- n# {, a6 j* x: ~7 \1 i7.2.7 窗口 271
; N# X) s5 e& i+ @. V8 v/ z" `9 ]% r. }& o7 J( p3 l% l
7.3 Kafka Streams API介绍 272, [1 Q R* a2 j% L& b' x
$ f0 u9 t8 V% [/ G! v+ e4 U" B7.3.1 KStream与KTable 2724 G1 j+ y+ l. Z7 {& [
8 C/ e# O1 X8 D7.3.2 窗口操作 274. p/ x5 a! v {* @5 H5 i
) z0 ?; X% X5 p1 b% j; X! g7.3.3 连接操作 275
! j. Y+ _) o4 r! p: M+ m: x! G- j8 Y9 }: g5 _# C. |
7.3.4 变换操作 277
9 Y4 x' D% P5 T$ N3 F! x% Y8 p
/ p( f1 T7 K6 a8 A) q+ Z7.3.5 聚合操作 279+ i! k% v l/ J/ M9 z& Y# U
3 ~& J( P/ W3 s5 o1 t$ w7.4 接口恶意访问自动检测 281
4 X" Y7 L% ^; y( o% d$ t9 I' |% Y+ x: ]2 p, u; m, m+ p/ {
7.4.1 应用描述 281
5 h3 H6 o% I8 D5 m
2 g" T$ | y( v1 L" |9 ?% U7.4.2 具体实现 282
3 E; R/ |& D9 h4 p) E& U, u3 y- z- c$ d) |
7.5 小结 285
& |& z* L, }" I0 {) i! R
1 Q7 y& Y. ^4 N- ^第8章 Kafka数据采集应用 287# ~* s; R6 [" g7 v2 N8 b
4 C- f$ {9 `2 _) Q$ u* A: h8.1 Log4j集成Kafka应用 2871 h4 e2 p- }- c9 j1 E9 {! b7 x
t1 T" Y6 E; t: |1 v$ i ^1 `
8.1.1 应用描述 287
' y. S$ e0 b2 I/ D1 }& r
2 l4 O) L7 Z( p8.1.2 具体实现 287
+ @7 D0 K. x2 ?0 A# ] |# }' F+ W1 m% @4 k9 a: O: S6 f$ Y9 u
8.2 Kafka与Flume整合应用 289
$ g' o4 b$ O7 S3 N3 w
- H7 u" y6 T s) {& P8.2.1 Flume简介 2905 h, k4 U+ x; n2 A0 [+ @1 A
* z8 H' f+ b N/ z F8.2.2 Flume与Kafka比较 291
( A: G# R5 o5 ^! x0 M( p, L! f7 |3 o' V" u5 P+ ?7 n
8.2.3 Flume的安装配置 291- S+ }5 _" w0 D! ]; i
; n0 a1 \9 O0 c8.2.4 Flume采集日志写入Kafka 293
& W5 L% N2 R( T
: q. r0 F' J' F' K, F8.3 Kafka与Flume和HDFS整合应用 294
2 k' J+ ^3 u2 b( b0 m! c. ^# Y( k- d$ T
8.3.1 Hadoop安装配置 295
" K+ ` A. }. V
+ ^. M7 d) B0 o# h8.3.2 Flume采集Kafka消息写入HDFS 2982 z5 S, B. X5 P2 \* s
5 g- d! W3 R! b2 J% a. E: o
8.4 小结 301& z2 J: F4 E$ j0 |; K, s
, T/ x) a6 q6 ]2 f& c
第9章 Kafka与ELK整合应用 3031 Q, e% E% ^) k' Q
8 o; g3 G% ^% F0 A- D9.1 ELK环境搭建 304
+ Z; \9 ]4 X6 P/ P8 l! ?* E9 ]
+ \1 P- x$ r6 \# H9.1.1 Elasticsearch安装配置 3045 u! d, Z' n( W+ f& w
% O v' c( T: A6 }: x5 G9.1.2 Logstash安装配置 3070 Z' ^6 k9 W' N1 K- r
' G1 G9 ?% p! \4 V& l) }9.1.3 Kibana安装配置 308
& x, i# b4 H! [5 Q, ]2 N- n/ n \# r9 }* p
9.2 Kafka与Logstash整合 309
2 q$ s6 e Z/ {# k1 I6 ~6 C" s2 |1 z; w4 `) C q* `% i' b1 N' }
9.2.1 Logstash收集日志到Kafka 309
, I' j% U' e2 C* Z
3 p i8 j$ g, Q4 y+ k) Y8 F' Q& \6 Q+ h9.2.2 Logstash从Kafka消费日志 3104 R6 y3 ^" F3 M! G. l
" L" o% i7 r, ]; V( i9 k9.3 日志采集分析系统 312
2 F* D/ d$ R* Q+ U. H2 K$ t7 L# G
9.3.1 Flume采集日志配置 312( L# a' e6 G# Z1 s' s* a
! \+ V8 c/ d3 {$ x$ M, }* ?, y9.3.2 Logstash拉取日志配置 313! M7 `) |0 N" e0 S
/ b, O$ _0 v1 C+ c; I' y; Y9.3.3 Kibana日志展示 314
. ]8 @- X Y5 Z/ M! ]2 O
9 l+ [+ z. g' ]9.4 服务器性能监控系统 315* i4 B' M% |) q& U/ R3 [
8 `5 Q0 D$ H) f0 I, b
9.4.1 Metricbeat安装 316
' J- d5 J5 S2 b4 ~
4 M/ U4 m& o+ ^, J$ M: b% z" L- l9.4.2 采集信息存储到Elasticsearch 316( O9 _1 i( U5 @9 h# P
5 g5 u! F1 O- E8 h) t# ~5 G' p- N9.4.3 加载beats-dashboards 3187 ?; }" }3 _2 j/ I
q+ ~, M; y: o R, | V9.4.4 服务器性能监控系统具体实现 318. R3 ~+ V% S" \- _' O, |
& x9 [, @* x- h5 C! X; {
9.5 小结 321
6 c' {* b& O. Y2 l) e
6 Z- m4 B) x k3 Z第10章 Kafka与Spark整合应用 323
) e/ X! @- [9 H8 ^0 S5 O. n
( k: g4 z* ^" N- R# c% g10.1 Spark简介 323
" o! c0 `+ ?: n' E+ w y6 [
g$ E( Y9 Z- D8 x: u1 s$ I$ y* z10.2 Spark基本操作 324' J" }9 Z5 C( P; |
$ _; S8 ]/ k* v4 B" D4 ?- E% C/ R
10.2.1 Spark安装 3250 P& C9 Z9 i- l9 g/ p
9 }# K0 n6 s- Y" X I: Q, M10.2.2 Spark shell应用 326
- u. b; `4 ]! m+ v( j0 W2 A* I+ U* E' E9 F0 `) ]
10.2.3 spark-submit提交作业 327
3 G2 M* Y9 W3 y
/ a8 l& ]# l/ ?# v+ O10.3 Spark在智能投顾领域应用 328! `4 I5 m5 t4 W4 \9 o
! Y4 O/ x- C8 G' E10.3.1 应用描述 328
5 c' ~7 D* Y0 M l5 i1 r: l, hjava8.com
; c3 u5 @- A+ m' Y+ x% y) {10.3.2 具体实现 329- ?( Z. X! R- a e, D& ^* w
- B1 y9 P: u- V. {
10.4 热搜词统计 334
; Q- |. ]/ {2 P# p& e: b! e7 Y3 M
7 H0 w2 I' M- Y- s10.4.1 应用描述 334
% j8 U- W+ {3 _) e' A) k8 O/ u2 q3 _+ d: o4 K
10.4.2 具体实现 3352 \9 J- L; A, Y/ E: S" F! ]! B. X
2 ~& S! h7 {# ^10.5 小结 340
1 N. L. f) a8 s
电子书
2083 人阅读
|
22 人回复
|
2023-12-10
