TA的每日心情 | 开心
20 小时前 |
|---|
签到天数: 270 天 [LV.8]以坛为家I
管理员
- 积分
- 9359
|
Java电子书：Kafka入门与实践 PDF 电子书 Java吧 java8.com
e# N' Y% X& P1 E8 f/ |. _# @: w G. @1 `) r* x1 \- Z* L* q
作者:牟大恩出版社:人民邮电出版社出版时间:2017年11月 4 z' m( f% H ?9 I1 r* P6 V' q2 R1 {
! |% [$ M% n [6 [编号：166-Java吧资源免费-X0093【Java吧 java8.com】
% x% {7 r9 A, b: G$ x( ?/ b) K+ O7 X
9 |0 e+ l5 Y1 M, ~, `6 Z
1 y' N8 B. |# {: c( U目录：# [9 Q5 E6 U/ _5 u5 P
第1章 Kafka简介 1
* n$ y0 |9 d2 T6 o
+ f. @3 W# K: u* j9 M1.1 Kafka背景 1
# r. v4 v; c- P U/ I ^7 B4 b
* N; c1 W9 c9 h1 K1 ~1.2 Kafka基本结构 2
6 i( |$ b3 t' F/ s' f* o
- G, G" A$ ]- x4 ]5 }2 }1.3 Kafka基本概念 2
/ ^ q' k# I9 D2 V9 ]# B4 l
$ [2 e4 T! z2 k8 |6 K- f) S( m. X# K1.4 Kafka设计概述 64 l9 U* y7 C# Q9 \6 h
$ z; O8 [; v) o/ M" B- v' H1.4.1 Kafka设计动机 6, e4 O) m9 {& u* F. W# ~0 _, m
) B4 N1 \# z4 k0 p, m
1.4.2 Kafka特性 6! f1 Q! i7 b9 ?" \
: l8 j7 A' ?& Z- J& ^- t0 M' S1.4.3 Kafka应用场景 8
( h, o' t0 Y$ e$ W. v7 V
% n# b: p% b9 _2 [1.5 本书导读 9
1 m. |1 w A: Z i" o: k" w O, @" r! W' |' Q2 X0 r4 k$ V( K
1.6 小结 9
) w2 E% |8 \9 k/ L3 A. y. S0 n( X6 D5 y
第2章 Kafka安装配置 11
& _ E6 G9 d0 P1 w' q9 t
3 I: c7 @' _. B7 k4 d# O" ]2.1 基础环境配置 114 _0 L# _/ b: ?' l
' t2 \" s" `$ Y$ c; V+ I; h
2.1.1 JDK安装配置 11
. Q2 b) _* z3 t, O! `. j, k0 c/ w7 Q0 h4 ~ {) c; E! W: j6 Y
2.1.2 SSH安装配置 13/ X& |- }) H" {# V: v% _
' @- c3 q9 Z/ d" Q1 [" [9 @2.1.3 ZooKeeper环境 15- h7 v! a; ^* j% }) |- v
" c2 K5 ^9 _2 r, n2.2 Kafka单机环境部署 18* k9 m: ]0 d0 Z7 q5 q
+ R; v. @* O$ |& B1 G2.2.1 Windows环境安装Kafka 19/ \% }/ b' \, X X G
0 v1 i; @7 z# I# Z
2.2.2 Linux环境安装Kafka 19
9 ^5 [- Y/ A+ y9 [( S7 c1 F( C8 j/ g- Q, H, I
2.3 Kafka伪分布式环境部署 21
6 ]( P. X* [* _3 Z' {# q) ~; c' p6 ^5 ]% | H, H
2.4 Kafka集群环境部署 22" g# l% {; Y* O" E6 O/ @- ~
4 Y* B$ \4 e$ Q- A. a! M4 |
2.5 Kafka Manager安装 22( d/ z0 C' H" t, ]
5 J7 ?& `7 G2 E, v+ z7 Q2.6 Kafka源码编译 25' M- T2 Y3 \7 f, Z) p
: E7 }8 ~1 }/ ^; K3 T
2.6.1 Scala安装配置 25; C, P+ ?+ Q4 I! b0 n4 P" {+ v6 _# I
% J" x, p: q- I" y
2.6.2 Gradle安装配置 267 H+ O* R- A9 `
" d4 y% f3 ^! t) A2 u; V2.6.3 Kafka源码编译 26/ r: T- |5 F$ }; \# E" l/ S
$ `+ v& X, ?2 u& H' q- F' e& x2.6.4 Kafka导入Eclipse 30
3 h* y4 H+ i' f
3 C2 {% a+ J- U$ C& p6 d- N2.7 小结 312 i: C0 o; _# X# Y; t
; c! V$ F. N! I
第3章 Kafka核心组件 33! ~$ H; L7 [, {$ e
! {. X, W% e( l* i( |( H# n8 ^/ C
3.1 延迟操作组件 33
+ ?9 v9 d; N# P8 x7 O0 p
. u- c% Q; B) {6 `+ y* D3.1.1 DelayedOperation 33
0 ?% ?2 U9 p/ [ z
: @) t& Z9 H4 R# s/ M3.1.2 DelayedOperationPurgatory 352 b0 |- f5 Q. ?4 e- k
# s8 e( E8 y$ D
3.1.3 DelayedProduce 36
6 R* w9 g2 C' {9 Y( l- Z7 t5 W9 O5 K1 |" \5 w
3.1.4 DelayedFetch 38
$ b1 r, T' a* k- _; p* `1 v7 ?0 T; y0 t r7 {. t
3.1.5 DelayedJoin 38
4 D3 X! D$ _, B0 r/ K" ?4 T( g" S9 `0 V3 ~, ~7 L
3.1.6 DelayedHeartbeat 39
: `; S5 T$ D5 |5 m0 W5 K; x- F8 Z# j" \, a/ @# U. k
3.1.7 DelayedCreateTopics 40
- ?4 ~5 ]# Z' Y9 t- P4 q( r! F+ I; l. v3 t; D3 R
3.2 控制器 40
! w1 |& h, M" t2 {& C/ d0 K9 z' I' ?
* a x. N( n) S0 a) K' X7 }4 \; B3.2.1 控制器初始化 41
. {4 R3 A1 @# b9 g5 M: v6 J8 k; Z& {& R7 g
0 }& M$ G/ P3 [5 G) f9 a: p a3.2.2 控制器选举过程 46
, g$ y& T# X& M0 q+ G" `6 G/ Q) P0 U' r. S8 j4 y2 Z. b5 w
3.2.3 故障转移 48
* Y7 e6 I [8 X
! X: {' V; J. y) d9 X- k3.2.4 代理上线与下线 49; `, w/ J! a$ G: \4 b1 S# t
: O$ r8 h4 G' i9 V0 W3 \! f3.2.5 主题管理 51
" j5 }8 o' \+ Z( u9 x# w, b
; o. M/ {: ~7 |5 b/ m3.2.6 分区管理 54 _, {- W* R/ D! g# l4 s6 R
; I0 Y) V- u5 O/ @* j. F3 j
3.3 协调器 58
; z! i Y6 L* L+ t4 N% ^0 v) A- M
0 ^+ l+ z0 l8 |3.3.1 消费者协调器 58$ C8 P a, [7 J- [! S$ p
# ^" a; h9 s' b' k5 z: e# b+ K3.3.2 组协调器 60+ ^" [; Q! a) E# |4 B+ f3 D
. z3 |9 x- ?- Y3.4 网络通信服务 64
9 _; `1 k! O( t( x# Y
& @( Q+ Q0 ^9 o3.4.1 Acceptor 653 e8 v. A# Y. \6 y6 D! p: O
6 u; S2 U1 a- q1 a! R
3.4.2 Processor 66
/ N+ A3 H7 x9 I$ m) p2 C$ ]- |* Y% }# L' y E
3.4.3 RequestChannel 68- ?2 x# @- z b7 s
8 {* y$ y" D2 u# h
3.4.4 SocketServer启动过程 69
: Q* {* W8 h. _1 }6 @. b+ R) i! ^
! |! Z% [# m: y8 n# i3.5 日志管理器 70
7 |- O0 w- P5 m& W* x p D. w/ `# [% E2 s; t& ^
3.5.1 Kafka日志结构 70
( V6 m6 L$ r- S# [2 ]* n3 D6 G) K& e
3.5.2 日志管理器启动过程 77
" T) d. @" F& X s0 G
8 o) v' R& r6 O! R. _3.5.3 日志加载及恢复 79" k5 a7 w& @3 N. y U
* v0 ~) N4 {$ w% g5 v" h) b0 w3.5.4 日志清理 80
' A* D& o9 a* ^, R7 v; ?, ?7 n+ n6 N: I' K! }3 o
3.6 副本管理器 84
1 E+ J/ ?) ~/ x X# l4 j. d
# v4 u8 _9 L7 K) H3.6.1 分区 86. i1 G0 w6 p$ a3 `0 P
* K3 N1 S5 T0 l) o
3.6.2 副本 88& ~0 n" Y/ G+ k, h& R+ a7 u
: l" D7 I) z7 Y$ }3.6.3 副本管理器启动过程 89
' P) A2 p1 ~3 d8 ~; R" y8 P3 X0 B- R6 I+ a. n! t7 T
3.6.4 副本过期检查 907 A. Z) N4 F9 y: Z l& W
+ P+ v; q! S) P' {$ H; T9 ~$ Q3.6.5 追加消息 92
3 q4 Y* @* _9 `6 P( ^$ t8 Z
- |; J5 N$ Z9 D7 \3.6.6 拉取消息 95 ~; Y1 P" X3 U
4 D/ a @! u8 S
3.6.7 副本同步过程 97& U6 {, x( i/ f3 c6 L
0 J3 w- W0 J1 D* Z4 j. c3.6.8 副本角色转换 99
! }8 u& M9 x, b- m1 y
4 Y& `% D9 r: Y# c3.6.9 关闭副本 101
- w& b' u5 V! M2 Y2 h/ [
! R: F" Z& S# q0 Z" B5 `3 E3.7 Handler 103
/ I2 Y" \) s y9 e) t0 N7 y. I8 i/ g+ U' G2 @+ Q
3.8 动态配置管理器 1043 ^8 x5 c2 D9 O7 G+ ]
$ b8 b6 ^7 R. ~4 x3.9 代理健康检测 1064 Z3 s" [$ ?7 c7 @& w. }
- y# R2 K; V, \# h3.10 Kafka内部监控 1078 d5 k- `( g* x5 w @. d
3 K" |0 y3 q$ }! `4 y
3.11 小结 1100 R& v" b s1 X! \4 Q
+ L$ i8 A/ {. @/ n第4章 Kafka核心流程分析 111
3 V" |& [1 Q% U. T( f0 \1 o; D- H* f6 n0 I) b# {: Q( T2 k. j
4.1 KafkaServer启动流程分析 111
9 z/ X# c7 V0 [! U9 |6 ]7 G$ d; I! o9 K/ {
4.2 创建主题流程分析 115
4 q" |0 \+ o& r( |. U/ Q* R: \; }9 f) Q& m
4.2.1 客户端创建主题 115' b4 d# D7 t+ M" ~2 F$ \' |$ j0 S
1 N1 u, w/ x* d/ K' M2 @4.2.2 分区副本分配 117
5 ~* u* x# R% M6 [$ X0 v9 O7 a) r0 J/ x3 Q2 i
4.3 生产者 1210 ?5 r* Y) y, _" G: S m L& j
8 ^' O5 ?" V/ t" D# [1 S* X4.3.1 Eclipse运行生产者源码 121
, Y/ F$ Z6 R& N( ], S7 L; w. G4 n7 K" O. K$ Y/ J0 j) d
4.3.2 生产者重要配置说明 123
% m% w2 p( `* U3 c4 \( a# \. L( p' {
# z' d0 v4 K) u4.3.3 OldProducer执行流程 124
0 v' F6 U* f6 U4 s8 U5 p- y) S+ o! ]8 O3 ]1 J) I- ]6 d/ Q6 V) U* S
4.3.4 KafkaProducer实现原理 1270 k. B" ~6 O& {; x% B
/ T& b& ^ s3 h( H' z' F
4.4 消费者 140
% K, M0 [2 C% c' ?
$ Z; E& D- y. J$ d0 ^4.4.1 旧版消费者 140
6 E) u1 D' \( U1 B. N4 }, j( V' v. R9 k6 `# h
4.4.2 KafkaConsumer初始化 140
c1 K0 I! y2 O7 s2 \0 [( o8 d; I" v0 [; p% r8 {1 ]
4.4.3 消费订阅 144
. i* V @$ G/ B$ L! @8 ]9 i0 @8 e- n4 Q
4.4.4 消费消息 145
% ^$ a, x9 [8 e& _/ }
" Y7 Q! C5 G |; s' t4.4.5 消费偏移量提交 149* \; V, I k0 o( k% ?. S a- r# @
1 W7 v7 D# h+ k9 F! o8 q4.4.6 心跳探测 150
5 O& } l, Q5 u$ n3 l( P* Q/ y: |
) E$ `$ e8 w4 `+ ]1 R7 M4.4.7 分区数与消费者线程的关系 151
! ` O8 m! v/ q8 T8 f
, C; y W- S3 V: t; o4.4.8 消费者平衡过程 1530 A! g7 T4 L) P5 Y3 |; M* @3 E
- J9 }. E' K" N; n4.5 小结 154
/ l% Z( t0 U, q9 I9 \, u4 C; \! g7 R
第5章 Kafka基本操作实战 1551 I- ]5 P8 U' `' M
* T5 W: C e$ Z2 Q5 X# w \5.1 KafkaServer管理 155 r) F5 G3 P* y
' d9 y( n- H8 \3 G7 o; ]
5.1.1 启动Kafka单个节点 155
' ]& |2 X+ L/ I) {5 |% D+ Q; v7 ~9 p, i9 w. N% Y: ~. q
5.1.2 启动Kafka集群 159
; S* w' B* N g+ P4 l3 R, H1 A7 g: y; Z9 ]& f
5.1.3 关闭Kafka单个节点 160/ Z9 T& B: ^$ x9 n" c( ^9 X
( J5 ] [/ p+ v5 d+ o5.1.4 关闭Kafka集群 1618 s+ k( }2 i8 q0 ?- \: p/ z
3 S- K! s! E- i( c5 D5.2 主题管理 162* a* B9 h0 I6 N" U* E
5 x" Z- r0 s7 R0 w5.2.1 创建主题 1628 I; x4 B; G! K* V" Z' g7 G
' i7 R1 K, v" `7 I5.2.2 删除主题 164+ s% ?& `9 v+ {
/ u! ^+ y$ D1 L# `- f2 I. e- C- t" I8 \5.2.3 查看主题 1659 ^8 r: l' T8 {) K1 d5 C. y' g
6 O8 n& \3 c k& V8 D5.2.4 修改主题 166
* t: h2 C `$ v! h: k9 P& g% [# A7 B
7 Q/ P! T' c- A9 k' ]* @5.3 生产者基本操作 168/ F) F4 ^6 Y; }4 k" w: z
3 K% g3 Z& i* T* v5.3.1 启动生产者 168( _2 D( k& G) U% l7 K- K
! x) \( N$ P# b9 y5 ]
5.3.2 创建主题 169
! o5 Z2 ]: [; L- l7 n* d3 H/ ]" ?( o0 N/ Y2 v( G& d1 @$ K8 G- T
5.3.3 查看消息 170/ `6 n4 K/ j8 V2 W
) Q! q: J3 R4 N3 j/ [2 t" L
5.3.4 生产者性能测试工具 170
' r3 U. T$ i4 X. l6 ?0 t& f( s w2 R+ j5 W& n
5.4 消费者基本操作 174# H9 o8 E* s+ E5 J% c9 N
k7 r& ~$ K' T
5.4.1 消费消息 174
: Q7 y8 P; n& R% V5 J {
4 L: ~4 X, j9 X% R; }* P5.4.2 单播与多播 179
H4 h8 \- `, m- e0 ~' `$ t
! ~( b, L3 p% h6 i3 G; s9 y. u5.4.3 查看消费偏移量 181" F% d2 G c! }4 D0 T
) G' J; L7 H- T2 O N% L5 ~0 l
5.4.4 消费者性能测试工具 183- Z0 D& S/ ?) V3 ^" V' k4 f
% `& L* Y# o" W2 ^5.5 配置管理 183
% C" z9 ?$ R' g! S4 n0 R
/ ^' R8 X- {8 k3 e" O1 L6 Q5.5.1 主题级别配置 184
7 J& |2 h p4 ^- f3 @, Q
0 `0 d8 F# x V- Y5.5.2 代理级别设置 185
3 w: N1 R8 g3 {; s' i2 a7 |" S2 @* I, q9 p W6 X; E/ C! G: C( A: q/ z. G
5.5.3 客户端/用户级别配置 187$ l% o5 S( O. z( ]! Y# j
3 Z5 r2 C. G* ?
5.6 分区操作 188 b: y# S$ t |7 P
+ A2 N; z3 ~/ ?; t" r3 F! T
5.6.1 分区Leader平衡 188
+ r. w% P2 Z* }6 Q8 _
, d2 n* h& t( U) ^6 z; ?5.6.2 分区迁移 190( D. W3 ~/ ^: G! s
- v. \8 s0 D0 q- J1 A+ B/ f3 R5.6.3 增加分区 194
" f: N# ]6 q( `* O* G4 }+ G, x3 n5 C6 o
5.6.4 增加副本 195% D6 x9 l( ~" l8 G9 O
' T5 ~1 k) s) m6 I% F5.7 连接器基本操作 198
8 G2 B2 d( z0 b z
/ H% U. e$ p& Q' w* U* p) _. |; K5.7.1 独立模式 198( O3 X( K, N* R: V: P- A. ~3 t% r
% T& [( X, a6 U, b: V; E8 W5.7.2 REST风格API应用 201
- r( i/ X7 B/ [) S9 ` I, `0 g- |, G- P: f5 Z# ?4 B" G2 Q
5.7.3 分布式模式 204
: E7 ^/ o( N. B; t1 J% o/ E3 ^' x! B. U# B' `0 Q/ B3 C0 B
5.8 Kafka Manager应用 209* [7 |' ]* m2 C' g# D. l* X
# p( N% T/ b, r, ^' A
5.9 Kafka安全机制 211# c% C. ^6 o. Y; b) b4 V/ h
0 f5 Y3 t/ u5 |& x& E. w. y! j
5.9.1 利用SASL/PLAIN进行身份认证 212
" _4 ?9 ^0 \7 d4 K" F7 V
4 U8 s- C6 H* H8 x2 D+ X& ]+ h( W! [5.9.2 权限控制 215
M! d% n( a( F% b
# K* L+ M3 n8 j K/ y0 B5.10 镜像操作 2185 R$ l) k3 i# Z F- C& b1 D2 G
) m& ~' ~- I# ?; g( j& A
5.11 小结 219
" K! ]8 m9 ~ Z' ?
% }4 u8 o# X) H4 y, |! e第6章 Kafka API编程实战 221
6 B. p) n, _7 C3 |6 H
7 `. k! d0 a* A. H3 |/ p: z6.1 主题管理 222
0 t/ D) t- g4 W& U9 U/ f; @1 I, K- L) Z5 f
6.1.1 创建主题 222$ x/ h3 _/ x m2 s* U& O
- O- T7 F W' S
6.1.2 修改主题级别配置 2234 m& N/ R" e) ~7 D" b
" k# g5 L x. V" q3 _: x
6.1.3 增加分区 224
7 q- m! O2 @$ o: O9 I$ J- N3 ?1 w: b4 I( Z8 v4 j
6.1.4 分区副本重分配 224+ H$ ` r8 p8 z$ ~! D
: G( N; r4 P/ M6 U+ P
6.1.5 删除主题 225
3 R& a3 {* q2 b9 S
7 R b$ ]0 M7 \. l8 v( V6.2 生产者API应用 225
4 z6 n! t& y& X* f, M& t$ K; C! Q; E
7 T1 H6 @ x% X& y. |# t6.2.1 单线程生产者 226
, F) Y. v3 p! J I4 T
4 K8 k3 [* L# d& f7 U4 o6.2.2 多线程生产者 231
* s0 h4 P4 m7 k! R# C ~0 G" X
5 Q. \ n6 S$ y9 K7 c& I6.3 消费者API应用 233
4 }, U* e6 E8 d% G( _$ k S; J! q4 E! A
6.3.1 旧版消费者API应用 2330 @9 [ u$ U8 w4 {0 V$ `& m- B
5 h- C- u9 k1 j K$ n
6.3.2 新版消费者API应用 2398 ^( f( X9 K) t6 _- g7 T9 T& y
: |* `2 H& j+ s! g9 l$ t
6.4 自定义组件实现 247
" C# l& Z$ n* |
A- T) |2 V2 k) F! B* Y6.4.1 分区器 247
& [, v6 H, n' R \8 \! P s3 p5 b+ v% `
6.4.2 序列化与反序列化 249 b1 y$ z" T8 n* f
8 A! K1 c0 A" Z9 n Q' P
6.5 Spring与Kafka整合应用 257# h3 f. c* e1 p$ Z
* [: s& S0 _8 e0 E- b% y# X3 y6.5.1 生产者 259
% d% A G: D( b0 \/ `1 [+ l% r" J+ @3 b |1 T+ ]
6.5.2 消费者 263
. I9 s& K$ h4 \% y% S6 ^: Z+ _
0 p& H- t: K4 {5 n8 a( h z6.6 小结 266
/ I6 x, w3 q' J, [$ p- M' ~3 {! ^) g. |5 x' e( v1 S( `
第7章 Kafka Streams 267
. m* C9 f& t! t6 D
" h/ T2 g, b# V( C; K7.1 Kafka Streams简介 267
: O$ B" ~7 L( s) k2 J2 T. o7 K9 q: ]/ r
7.2 Kafka Streams基本概念 268
3 R) B1 G! W! o q! ~+ n
* P2 H# Z1 v- u+ h# U7.2.1 流 268; |- r9 i/ s6 T# i8 y+ }
1 B; w# {% t/ ~4 t+ i' _7.2.2 流处理器 268
' r3 w# f" N) n: U2 D* L2 ] |$ X# O
7.2.3 处理器拓扑 268+ q4 e* c9 d4 }2 S4 B. \
8 n) ]# `8 P+ ~7 I+ Q7.2.4 时间 269, E+ g6 e, f/ H) l
/ v* \1 V9 v! y: I7.2.5 状态 2708 _5 o: P& r+ ~7 @8 K
. ~" w% I w0 l3 Z2 w+ X! P5 V7.2.6 KStream和KTable 2704 X) A! H6 E% ^" e9 B6 }" N
# Y; e4 l# u; W7 n
7.2.7 窗口 271; P K. H2 |7 \. R! t7 L. S7 p( n
2 u# ?' b4 O+ x; |- X. O7.3 Kafka Streams API介绍 272
/ G* w' N4 U& ]5 i3 d3 m- ?. c2 M4 X; N: x
7.3.1 KStream与KTable 272
# |' E' M5 n" i3 ~8 b/ }3 `6 e, Z r F
7.3.2 窗口操作 274) \* Z( g" \- b% v
V5 f# l% S* I) R: J
7.3.3 连接操作 275
8 ?& q" ^1 @# B" ?2 H$ z: C; d# E) N8 Z1 O5 c5 N
7.3.4 变换操作 277 a- N& Q2 Z) r" k
; v. ^, u; r: N* _4 j7.3.5 聚合操作 2790 Q9 q7 L" w' ~, h& N2 p3 R! @
/ D0 |, f# k' T* v$ Y2 z3 H! C: }+ B7.4 接口恶意访问自动检测 281
; g0 C8 K7 }: _, T2 c8 H5 {' @6 X
8 Y) [9 ~: y' x: M" ]; A# m7.4.1 应用描述 281- P9 R5 I0 F+ ?9 g( c" @
6 i. Z$ q$ d+ a- ~( G, t7.4.2 具体实现 282; B9 u2 w1 G& S# p g$ j
$ v1 A/ M8 A6 c9 ~# x# B" h
7.5 小结 285
+ j) m/ D9 e# }6 E2 s9 X$ u; s' M1 n; O* W, r* k
第8章 Kafka数据采集应用 287; Z' D: s' {1 S; ?+ z+ c
! [# @8 j1 |" g5 |9 m: y8.1 Log4j集成Kafka应用 2879 L4 }" H0 c0 n! P
7 o( j. L. @( G1 o8.1.1 应用描述 2871 Y/ b' c. u: ^ U R9 y! m7 K1 k
7 u2 F) V& T4 ^! T4 v
8.1.2 具体实现 287* z: M* G# Q9 O
: C1 S+ d" X6 Z* P' z
8.2 Kafka与Flume整合应用 289
- F' P' T2 W+ R5 h( @ Z$ f5 C n+ B+ L8 z5 j/ K
8.2.1 Flume简介 290
1 k4 {( `5 R: P3 m- ~1 \4 I
8 W) @& S# ~ s5 u; j' G% V8.2.2 Flume与Kafka比较 2910 ~2 e5 M. t0 j( l# R% _( p8 f8 D
9 _* p+ d: T( `+ }, X
8.2.3 Flume的安装配置 291
0 n/ y& F2 ?5 f/ N# |* b+ x0 ^/ ?) P; M( ^& [2 R
8.2.4 Flume采集日志写入Kafka 2930 _. ^7 F) @: x
7 H# W# O! g) J; f$ P8.3 Kafka与Flume和HDFS整合应用 294
^1 W( F1 L3 N1 z" p9 z1 t& ~/ m0 L6 T
8.3.1 Hadoop安装配置 2956 s! Z2 p8 K* h" C
% X3 v2 Y3 {7 A6 n* ^. n8.3.2 Flume采集Kafka消息写入HDFS 298
7 K. \3 ~( D* `/ C! f) d; J4 _6 R3 e7 R
8.4 小结 301
8 a% }% k7 T4 T& p1 h4 E/ \( Q( g0 N7 u% f! Y
第9章 Kafka与ELK整合应用 3032 d' i& g3 j: F. J9 r
& X+ S4 C5 z) s0 H
9.1 ELK环境搭建 304
( X4 w0 X! V; g) ~8 k1 M# q' w# {; x) J
9.1.1 Elasticsearch安装配置 3045 H9 a r* o7 q1 G$ P4 |
8 M: Z$ Z& |3 S; F h ]
9.1.2 Logstash安装配置 307" i' D3 z( g* }1 Z
* {1 d1 f* f2 m9 D/ W1 I6 N3 p9 A0 [: X
9.1.3 Kibana安装配置 3083 P, r& A3 H# R! e+ y4 r3 v8 d
/ e7 t: o* X7 P, ^5 E4 S
9.2 Kafka与Logstash整合 309
+ B, D F- s- J; L& G1 G
. L0 z9 v5 }* h+ O. ?) f9.2.1 Logstash收集日志到Kafka 309
9 Z. n7 ]/ |) u6 W+ ^$ R" H# |% _3 S5 }9 x4 s6 ^
9.2.2 Logstash从Kafka消费日志 3107 d& i* e( R E
2 Z8 l" ?/ g: F. H2 k g
9.3 日志采集分析系统 3125 U8 V i4 m% V' a" I/ O( L8 O, @
) F& [, V8 D6 J5 [4 @. T
9.3.1 Flume采集日志配置 312
" v% p, x3 H( @, n4 a
' k0 z4 q: u$ \" }; Z9.3.2 Logstash拉取日志配置 313, b7 ^7 X. r: [$ z0 e
. M j7 ]0 `! n+ j" r7 `5 s! H) {9.3.3 Kibana日志展示 314
9 ^- {- C- D. a! y4 T1 m9 n
3 h1 n3 M, r: E& J7 @9.4 服务器性能监控系统 315
0 E; B* n7 |. t/ t+ ?- j* H, v6 l! g& Z1 H! n) W
9.4.1 Metricbeat安装 316, Z) C9 K. X8 \4 X& l" D3 q; e; f
# v! X9 y; z8 `0 _- P: T! Z% b0 _9.4.2 采集信息存储到Elasticsearch 316
6 g3 C5 Z6 g) A/ p, y( ?# K& C, s/ {$ T
9.4.3 加载beats-dashboards 3185 K3 R2 j2 X. V+ a
9 }) p3 v( w9 ^) H0 M+ r9.4.4 服务器性能监控系统具体实现 318
1 @4 @6 @/ D1 u; I: {/ V% p) E& o* V( O' p I3 g
9.5 小结 321
8 o, B% B6 D% L5 {# Y2 J" ]& B, ^/ i6 L$ O
第10章 Kafka与Spark整合应用 323
1 C) d3 N4 Q7 q
' @3 S3 h/ O' y* L10.1 Spark简介 323
7 G l8 D0 J" ~) r) C( y+ _* x! A" q' Z
10.2 Spark基本操作 324
8 q% F1 r5 H4 l6 H
0 w2 v0 f/ }! ?/ d, L1 m4 x10.2.1 Spark安装 325# F2 O7 h9 Z( ^; K2 }
1 v- `1 j" F+ @- F3 B3 F% a10.2.2 Spark shell应用 326
8 h3 B, [3 b& m7 `. t6 G
1 |' }2 X- P. ^) D1 A10.2.3 spark-submit提交作业 327
5 Q7 J) x1 v" B2 M0 `: h3 \1 ]4 A
- C8 R3 D9 B! z3 R3 U5 ^, u10.3 Spark在智能投顾领域应用 328% b R2 z1 U, C% V4 N: X
+ \, _, j7 K; P! \1 G
10.3.1 应用描述 328
% H9 v8 O: X9 K' _) F7 w6 tjava8.com( }, N) z2 }1 u& N+ G$ W
10.3.2 具体实现 329
/ l* e1 @; `; U i6 V( A# I# C' N2 p" C6 G! l0 k9 W5 k5 n4 X
10.4 热搜词统计 334
" i5 p* {) y$ H- r! @9 O1 f9 {, K: x4 ?4 s4 B# ?* u
10.4.1 应用描述 334: W& J( g+ d5 K; {" I* U
% K U$ B9 G+ m7 R
10.4.2 具体实现 3358 M7 J# B( L1 a: T& U5 T. u
! @9 X$ V2 l: t; F- G
10.5 小结 340+ e- \' D' I& z9 ?% t. E: t% m
- ?* y1 F. I c% c0 v" k- R" f* B7 j+ M3 N" G4 |
- e% d- Q+ U( g' o/ w/ @ m3 f3 R% `9 o
* h' A. @( U2 y k* K R+ `7 J8 H: u- r
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
1503 人阅读
|
22 人回复
|
2023-12-10
