Kafka入门与实践 PDF 电子书 X0093

java8

Java电子书：Kafka入门与实践  PDF 电子书 Java吧 java8.com
% w2 h" a& O+ J2 K5 `2 \6 q: q
作者:牟大恩出版社:人民邮电出版社出版时间:2017年11月
  ~/ Q5 K5 F) Y" A1 F' l
编号：166-Java吧资源免费-X0093【Java吧 java8.com】



目录：

第1章　Kafka简介 1
  S& [( o* L+ _, q! j' {: z
" ~% V' ^1 E# d1.1　Kafka背景 1

1.2　Kafka基本结构 2
4 _2 z6 s! c& _$ |2 U! _5 c
1.3　Kafka基本概念 2

1.4　Kafka设计概述 6

, N5 n; J  ]1 y( M. g0 v1.4.1　Kafka设计动机 6
* j* i. V  \( f& A' ~" ]4 _1 I
1.4.2　Kafka特性 6
% \( v) N' z) k8 X# ]) G
" w5 L& {, V+ M' Y; N4 g& S% m1.4.3　Kafka应用场景 8

1.5　本书导读 9

; z& K  u  l6 Z$ p: @; j1.6　小结 9

4 Y+ [& f: r" a: I" A/ V第2章　Kafka安装配置 11

2.1　基础环境配置 11
# [' y; N; I: ?" X! [# f. |& t. o
' b, M3 Y% J5 p/ l( Y! g9 Q2.1.1　JDK安装配置 11
; t6 I  ~5 p: M1 [
2.1.2　SSH安装配置 13
9 I+ U( O- F. X, F' _3 P
2.1.3　ZooKeeper环境 15

2.2　Kafka单机环境部署 18

2.2.1　Windows环境安装Kafka 19

: {) d5 |. x; K; D% Z2.2.2　Linux环境安装Kafka 19
, j4 p3 T) |* s; V
2.3　Kafka伪分布式环境部署 21

! V7 x& O) q. j4 B5 i# A( ]2.4　Kafka集群环境部署 22

" E8 L& f. s2 H- m. q" l2.5　Kafka Manager安装 22
; }: w7 p) L- i1 @
7 Q5 S' T/ \: a$ q. I( H. ~2.6　Kafka源码编译 25
% D# @- z% {0 N( N7 z
! X0 N) u% k5 D. x+ O! ]1 H2.6.1　Scala安装配置 25
7 j: H# O& v3 O8 L# _& e- u5 d3 U
2.6.2　Gradle安装配置 26

2.6.3　Kafka源码编译 26

2.6.4　Kafka导入Eclipse 30
2 x3 Z$ R4 U/ E' r
2.7　小结 31

: `7 u. s  w5 W" m! ~第3章　Kafka核心组件 33
# `  ]' Y* j) v8 u* ^8 D7 Z5 ?, m
* Q( W, d% {9 ?* o7 V; Q3.1　延迟操作组件 33

3.1.1　DelayedOperation 33
( C' L7 R1 w' n' M
7 y$ V. {# G/ H7 |& e4 [7 F4 o6 o3.1.2　DelayedOperationPurgatory 35
! s) L& E) k+ Q  p& Z% z
& J8 a9 D; O+ J9 V! w7 `3.1.3　DelayedProduce 36

3.1.4　DelayedFetch 38

0 i4 L1 j2 j1 N. ~  h' u! R3.1.5　DelayedJoin 38

/ z* d* {4 u& F' V6 b' `3 w# e9 q3.1.6　DelayedHeartbeat 39

3.1.7　DelayedCreateTopics 40

3.2　控制器 40

6 _+ n1 Y0 T5 g, u3.2.1　控制器初始化 41
' l3 S( N* P$ V
  M  I: k1 y  ^3.2.2　控制器选举过程 46
2 h4 n9 ?: x) l7 i% r7 s
  Y# r& \' G( A. u" j. A2 ]' |: v3.2.3　故障转移 48

' w: u+ N7 g4 i5 Y, o0 c7 n3.2.4　代理上线与下线 49
' i4 x8 L# W: i( F' F
3.2.5　主题管理 51
" [( @' ^! C7 V6 D4 o+ t( Y
3.2.6　分区管理 54
8 k. A& O2 c3 d$ R+ _4 F
3.3　协调器 58

* x& ~+ ^5 |/ Y% d, V: W) W% Z3.3.1　消费者协调器 58
5 s4 {  Z3 m$ h& A
; d. g* M" G7 P% f& C3.3.2　组协调器 60

# K! K2 R1 f8 u# a; f3 D3.4　网络通信服务 64
6 L8 M* k; G; d9 J( a
3.4.1　Acceptor 65
& J& v& |) l( D! s+ a
9 X* g# J2 J; U0 R! B3.4.2　Processor 66
- [% g5 y$ z8 K* k
) ~5 e- [2 ]/ W7 a8 w3.4.3　RequestChannel 68
3 S. g1 g5 c* n! m' G2 X
3.4.4　SocketServer启动过程 69

3.5　日志管理器 70

3.5.1　Kafka日志结构 70

: l; A6 C9 I1 e2 ?) P: X: y. Y5 b; n3.5.2　日志管理器启动过程 77
( ^) b9 o1 `9 R- m$ q+ P2 O: |
2 v9 q- F8 m5 |+ }* M3.5.3　日志加载及恢复 79
, o0 C7 Y& m) [9 v# P' S- q" C$ d
3.5.4　日志清理 80

; u7 Q6 W  [" _3 |3.6　副本管理器 84

  P; W# ~, W: ^8 ?/ X3.6.1　分区 86

, h# J) ~4 l  y8 q1 F3.6.2　副本 88
) V& E- a% ]3 r2 U3 y4 T$ O9 i$ U
1 v+ s3 R% K" [8 z3.6.3　副本管理器启动过程 89
" Q% T( }' a. H, o7 b" {
1 T+ l4 B* e$ p3.6.4　副本过期检查 90
* H( I/ P' B3 D
& b% }/ _2 @/ z/ Z& R3.6.5　追加消息 92

3.6.6　拉取消息 95

# k  E( p- z/ h) |+ R; T1 h, m3.6.7　副本同步过程 97
& `$ b) b" s( v2 J% K
3.6.8　副本角色转换 99
' Z: m" Y0 A' }  z& b) H! w
  w. m5 ]  H4 w3 ^8 }- I- K, B3.6.9　关闭副本 101

( _8 q% d5 v! ?3.7　Handler 103

3.8　动态配置管理器 104

3.9　代理健康检测 106

3.10　Kafka内部监控 107

3.11　小结 110

第4章　Kafka核心流程分析 111

4.1　KafkaServer启动流程分析 111

4.2　创建主题流程分析 115

* d/ z* O6 x2 o/ V( r$ R5 E4.2.1　客户端创建主题 115
/ R' c, ^1 }$ K" y% a6 L4 M
4.2.2　分区副本分配 117
  g' V! D* o) r9 X
4.3　生产者 121

( @2 y' T$ H2 @2 V% b: u: h) j  q6 a! q4.3.1　Eclipse运行生产者源码 121

7 N" I* |8 {; W" x# X4.3.2　生产者重要配置说明 123

4.3.3　OldProducer执行流程 124
0 {: d# J' }& j, C9 I' X: ~2 k
4.3.4　KafkaProducer实现原理 127

" {) g  p. f4 Y4.4　消费者 140
# h: J2 S, R7 a# `1 r0 P: `9 _
! U3 `8 E: T# G; ^' l$ @# u4.4.1　旧版消费者 140
2 [2 t; c, o" E3 ?, F$ z7 a- Z
4.4.2　KafkaConsumer初始化 140

4 J6 p. O* K) l3 q2 a( F- S4.4.3　消费订阅 144
, m; a$ [5 B# @: N! s; O
4.4.4　消费消息 145

4.4.5　消费偏移量提交 149

7 e- {7 x; _7 V+ l4.4.6　心跳探测 150

4.4.7　分区数与消费者线程的关系 151

) Y- M. W. [# T5 v5 j4.4.8　消费者平衡过程 153
0 F" F( l" C6 d8 }
4.5　小结 154
# z5 I  k/ [) O: ~+ ?8 O$ _' c
第5章　Kafka基本操作实战 155
# w  H+ N( b( [1 y+ F
; I( t. i9 o9 l8 ]5.1　KafkaServer管理 155
, n8 l* I6 X: J: H  \
4 i9 n2 X3 c# S5.1.1　启动Kafka单个节点 155
8 F3 Y1 o8 z6 D$ k" a
5.1.2　启动Kafka集群 159
3 Y( Q. Y$ F* ^9 U/ |' @& l
0 K( y' m* x, Z7 [# w$ |$ u6 e5.1.3　关闭Kafka单个节点 160
+ C8 D5 i( d/ I2 g! v
9 I8 R7 {* M9 p5.1.4　关闭Kafka集群 161
; r3 y0 a* Q' h+ I* Y
7 R5 _2 W& d6 k5 b5.2　主题管理 162

( q2 o5 V$ D6 z. v& c% z: w  l* r5.2.1　创建主题 162
: M8 J7 G. l* g8 ^0 |4 M
3 ^" E3 r( a6 A1 d# X2 e9 V5 ^5.2.2　删除主题 164
* @  ]- ^- q/ _4 g3 Y+ G# j
5.2.3　查看主题 165

# `( p1 Z- {# k; \; w2 @5.2.4　修改主题 166
# U6 }9 q1 E: @- ?+ W/ O& j
5.3　生产者基本操作 168

" t- {0 r* A6 P5 W0 n5 y5.3.1　启动生产者 168
5 ~3 X8 A9 m  d5 e( m
2 w" r$ ]9 u% e; M# ^/ E5.3.2　创建主题 169

5.3.3　查看消息 170
" c& g! x+ U3 l( P8 ]
5.3.4　生产者性能测试工具 170

5.4　消费者基本操作 174

( ~5 ?) M5 i" _6 K5 H: l5 |5.4.1　消费消息 174

5.4.2　单播与多播 179
; m' X/ e( [  l2 s. o
5.4.3　查看消费偏移量 181

+ u6 u5 O. I( |1 e7 F/ ]! u5.4.4　消费者性能测试工具 183
5 E; z+ J* y" t/ F
5.5　配置管理 183
/ M8 |! V& f$ w0 E/ ]5 C4 Z+ I
5.5.1　主题级别配置 184
3 L- U2 v" L* Z2 h
5.5.2　代理级别设置 185
  W. V4 D  J6 e5 u( _
! T( t0 H( t0 Y# ?6 _4 M5.5.3　客户端/用户级别配置 187
* _  ~0 i; ]; |) x1 l6 Q5 @
5.6　分区操作 188
4 g9 I3 }) Z# D
5.6.1　分区Leader平衡 188
. C4 o& [/ e4 H
5.6.2　分区迁移 190

5.6.3　增加分区 194
; U/ J5 O8 c8 G) |7 N8 d$ q% ~  Y& f
5.6.4　增加副本 195
6 W; H$ x, F" t
2 J' E' i  [3 o! M4 `5.7　连接器基本操作 198
3 B2 P1 p* D* _
5.7.1　独立模式 198

5.7.2　REST风格API应用 201

5.7.3　分布式模式 204
( j# U. J& d! ]8 ^. ^% _$ D( n/ r
5.8　Kafka Manager应用 209

5.9　Kafka安全机制 211
1 z5 l; C  f. }! P3 m- r( v
5.9.1　利用SASL/PLAIN进行身份认证 212

5.9.2　权限控制 215

5.10　镜像操作 218
2 r, N! u# T+ s# r& ?( o( M" l; ~
+ ?" a7 ^: L6 j) K5.11　小结 219
$ M, \4 _+ r) p
第6章　Kafka API编程实战 221
. A  a4 j- M4 L! W/ A, F6 N4 r
) s1 N! D1 _# Y% q6.1　主题管理 222

* ?3 Q7 e, k8 n; T' _6.1.1　创建主题 222

6.1.2　修改主题级别配置 223

9 k/ i6 P3 @' o3 O% }5 G: b& Q6 B# c  J6.1.3　增加分区 224

0 L1 V5 v/ }* R! b6.1.4　分区副本重分配 224

6.1.5　删除主题 225
% s0 d+ u+ M0 F/ ?! _* ^5 m
6.2　生产者API应用 225

" y8 r6 Q6 |- ?6.2.1　单线程生产者 226

  m) [  @7 n2 P+ B5 S- V  _6.2.2　多线程生产者 231
7 l( ^/ ?1 I: C
" \" d4 O4 U' C# M# s, L6.3　消费者API应用 233
6 W' K2 j) b4 a+ s) i) H# L
$ g3 u1 t& g1 O9 M# k2 z% t5 @6.3.1　旧版消费者API应用 233
  e; N+ `1 g* i1 y+ ^4 D( x
6.3.2　新版消费者API应用 239

6.4　自定义组件实现 247
7 k. a/ c4 G( M8 S6 o8 ^( B
6.4.1　分区器 247

) O7 H$ A9 Z. ]  H5 ?/ L7 n6.4.2　序列化与反序列化 249
( `5 K$ \& M, o2 Y
$ {) |( Z' |5 l! d9 z6.5　Spring与Kafka整合应用 257

) r) o2 ~, |: H9 `: H& W6.5.1　生产者 259

6 R4 W% D: o( E9 l4 ^& b# w6.5.2　消费者 263
5 i# t9 Y  b. ^
6.6　小结 266

第7章　Kafka Streams 267
& J* n8 `$ {" w: w! x* w0 ^
7.1　Kafka Streams简介 267
  n2 K' q/ V  N6 ]
% D  m& F" L( J2 ~$ _7.2　Kafka Streams基本概念 268

$ y  c  R9 d% h+ Y0 Z7 t  _7 o7.2.1　流 268

( H' r* y3 e* D7.2.2　流处理器 268

% d6 K- f8 w3 V8 M/ U2 p" Y7.2.3　处理器拓扑 268

6 R; A, X6 y$ Q" C! N) N" {  M7.2.4　时间 269
) J0 ?7 d2 }( f2 E
7.2.5　状态 270

7 c5 o! M. J. i# S0 E9 w1 L. e7.2.6　KStream和KTable 270
  w8 l7 D4 O2 @1 v9 a; s
7 c2 X# v, x4 ~' q) D" t- R7.2.7　窗口 271

# E9 U; ]/ K" ^  p) Q2 z7.3　Kafka Streams API介绍 272
2 h1 u" C5 z' r6 r) p
7.3.1　KStream与KTable 272
5 f$ i* v* q# S+ O9 T
7.3.2　窗口操作 274
& _4 y; w: I1 Y; G$ W* A/ A- t
7.3.3　连接操作 275
; X6 ~: N: {4 e9 D, _7 n' S( a3 _
' G+ U9 p; P! w/ O, J7.3.4　变换操作 277
3 H9 K8 U. {5 D4 c/ P! m2 r
! o% b  Z0 M; d; D  P( @7.3.5　聚合操作 279

7.4　接口恶意访问自动检测 281
/ u# b% b% V4 r( w9 \( h9 L
7.4.1　应用描述 281

% Y; f. b4 d" }; W7.4.2　具体实现 282

7.5　小结 285
# D0 m/ Q) l$ d! }* a
. P% X, T( j: I/ `, H第8章　Kafka数据采集应用 287

% D- l4 q, q6 V4 b) z1 S! E7 h8.1　Log4j集成Kafka应用 287
( i% W, w9 c  p2 v4 Y# ^
8.1.1　应用描述 287
' w: w" `: I7 ?8 f& |$ x7 G
8.1.2　具体实现 287

8.2　Kafka与Flume整合应用 289
9 ^; A! I5 L, O0 P+ Z
8.2.1　Flume简介 290
6 a6 Z! [( ~6 b; w
: z7 i( i* v( J) X2 W* p8.2.2　Flume与Kafka比较 291

8.2.3　Flume的安装配置 291

8.2.4　Flume采集日志写入Kafka 293
9 ?! Y; u1 _( M: e4 _
. e$ q+ _# f" S7 p4 W8.3　Kafka与Flume和HDFS整合应用 294

8.3.1　Hadoop安装配置 295

8.3.2　Flume采集Kafka消息写入HDFS 298

8.4　小结 301
* p* b+ s$ ~0 }/ |6 ]- k7 a3 A# p* ^& j
第9章　Kafka与ELK整合应用 303

9.1　ELK环境搭建 304
4 v$ k5 S. I. z* q
9.1.1　Elasticsearch安装配置 304

, r' }, D" I/ k/ N+ x; m- z9.1.2　Logstash安装配置 307
3 t, c/ L8 v% l' d& I7 r( O; g
% E- d! g1 Y1 Y  ~9.1.3　Kibana安装配置 308
! H4 b1 Q1 Q9 `! |) A
5 ^7 ^, I+ j! p1 v2 [9.2　Kafka与Logstash整合 309
" k! c# F/ b: Z8 D
2 Q# m6 r, L/ l2 Y6 f& [5 Q9.2.1　Logstash收集日志到Kafka 309
& P, z9 p2 u, q. A3 B9 z3 q, C
9.2.2　Logstash从Kafka消费日志 310

9.3　日志采集分析系统 312
. O/ s) w( g7 }0 G6 W
9 O2 G! \$ ~2 j6 l% Z9.3.1　Flume采集日志配置 312

9.3.2　Logstash拉取日志配置 313
1 V- C- E! p# u# i6 |- e
' ^( B. S% f; f. E4 u' S( ?9.3.3　Kibana日志展示 314

3 J+ @9 t; f+ s3 [9.4　服务器性能监控系统 315
" p# _( u) o* t: f$ q% h) M
8 n3 J+ d8 W% l; {) K8 y, l9.4.1　Metricbeat安装 316
0 g: j+ w% R' F; E( \
9.4.2　采集信息存储到Elasticsearch 316

& D: j9 F, n& J) I: B8 n  x0 D: J9.4.3　加载beats-dashboards 318

9.4.4　服务器性能监控系统具体实现 318

: o& ^7 p: v6 d9 L  R" ~* L8 l& F9.5　小结 321
* W: b( @; A$ b7 r, x( b& {: }+ p
6 c# o( I* {% [+ z" j# r% C# r: d: I& E第10章　Kafka与Spark整合应用 323

. \" A0 p( S8 B# U% V10.1　Spark简介 323

10.2　Spark基本操作 324

10.2.1　Spark安装 325

/ {# V3 h$ E! Z) L' i7 M, i10.2.2　Spark shell应用 326

4 u+ @" f' j) i* I10.2.3　spark-submit提交作业 327
+ M, o8 @. j# r) V- D
) i/ w; f" m. s, \, I6 w' v" W$ k10.3　Spark在智能投顾领域应用 328

% ]6 K  l) C0 t, l. z7 J10.3.1　应用描述 328
java8.com
10.3.2　具体实现 329

  ^, \. s2 J: }  J2 K  \) V3 p10.4　热搜词统计 334

% v  v" T7 I6 i10.4.1　应用描述 334

10.4.2　具体实现 335
) m0 A# k) i) Q2 d4 P! O# _
10.5　小结 340
6 W5 ?- P/ O; x6 j$ g9 C

9 H7 T6 \" W5 u! U

百度云盘下载地址(完全免费-绝无套路)：

游客，如果您要查看本帖隐藏内容请回复

2 W8 m  b7 r- P; w+ [


3 v& k/ C% P- i/ O$ A

雨拂竹叶

白漂来了

神仙哥哥

真的免费下载 难得

原来只爱你

不错，好资源

寂寞的等待

java吧 真给力

天宝广告

太爽了  干货很多！！！

钟情文君

java吧 真给力

杲秋

免费下载的网站 头一次遇到 不错

萧一哥

太爽了  干货很多！！！

马坤

路过，收下了，不错的论坛