前 言
1 }) Z4 D5 t4 d, Q& @: Z/ h: ]: T) X' _第1章 浅谈企业级大数据平台的重要性 1
& c( c% G* ~; a8 C2 H1 {1.1 缺乏统一大数据平台的问题 29 @; b# l6 }. L- Q- `
1.1.1 资源浪费 2" c9 S9 q9 O2 ^' O& @
1.1.2 数据孤岛 2) s, r" ^4 ^0 ]
1.1.3 服务孤岛 3
) u- c* Z& Z1 H1.1.4 安全存疑 3$ J4 J2 U# j, a- A% E
1.1.5 缺乏可维护性和可扩展性 3( j* D1 C1 R! ] j* s& a
1.1.6 缺乏可复制性 46 F2 r/ }) H% ~+ z: c3 }
1.2 构建统一大数据平台的优势 4
/ l ?) A: ~7 u1.3 企业级大数据平台需要具备的基本能力 6
3 k! a. R% ~' N6 V# H0 u1 e# ^2 }7 B1.3.1 集群管理与监控 7& N2 A; @0 G4 b9 n6 C
1.3.2 数据接入 74 I2 I1 I7 r5 r3 L {
1.3.3 数据存储与查询 7
/ y4 e) Q4 A- k* E3 p1.3.4 数据计算 8
3 l9 X* `" y) N6 I0 A, P' Y1.3.5 平台安全与管理 107 l E. t( U, g+ F
1.4 平台辅助工具 12$ U- w! ?0 K- w/ `. J. s
1.5 本章小结 137 n& k3 \5 W9 K. u5 E. Q( }
第2章 企业级大数据平台技术栈介绍 15
: K9 z/ y4 q5 Y& T; N1 P0 {+ `2.1 HDFS 16
/ p. o2 |# [" V7 z2.1.1 概述 16
2 S& n7 p7 G* M5 H9 `$ m% I2.1.2 RAID技术 17
/ u% M+ h: \8 o( _' E: x2.1.3 核心设计目标 18
! F2 g9 J/ u, q3 P7 T, e. n2.1.4 命名空间 19
3 |) @+ C$ M& b. p4 V, X2.1.5 数据模型 207 {8 |! j. D7 b
2.1.6 Namenode和Datanode 20
' x# n* i% v* c a2.1.7 使用场景 21
. j" w' E7 L- y) {: t9 \3 d% ]% R2.2 Zookeeper 22$ L# A5 @+ w7 ^& q
2.2.1 概述 22
1 D' @& I7 @# X! G2.2.2 核心特性 23
7 j- O1 A7 J! L, Q8 k3 `7 r. s2.2.3 命名空间 24
2 w$ N. r, r: h m) }' m$ G2.2.4 数据模型 24/ w: u- v8 s0 ^& W
2.2.5 节点状态监听 25
6 m. W6 l/ n, D" H8 [8 ]2.2.6 原子消息广播协议 25) ~6 ]! S3 j7 Z0 ]6 ~
2.2.7 使用场景 321 ` M2 _0 Z P L c3 {
2.3 HBase 33
/ n* f; B( ?5 G$ `# {2.3.1 概述 33- O l5 F9 k b. h0 X! x, d( U
2.3.2 数据模型 34. t, P5 ]5 Y, H+ @) N
2.3.3 Regions 34
- s- a# Y8 r9 F- c) d* ^2.3.4 HBase Master 35
2 B2 _3 f1 \* q1 J* d, ]2.3.5 Region Server 36
% g& F/ R+ Y' s J0 H2.3.6 MemStore与HFile 37
, V/ ?) r$ i2 J6 X/ u2.3.7 使用场景 37
( a3 G |; ]1 `& s8 z- T; x5 j$ Y2.4 YARN 38' Z- j- `# f- p+ e7 U. e+ ]9 S e3 E
2.4.1 概述 38: }( A: z' _! Q; t; U/ A6 T/ E) s
2.4.2 资源模型和Container 40
6 `6 Q; d0 q% \( `9 S1 O2.4.3 ResourceManager 408 e) o' J- }2 y
2.4.4 ApplicationMaster 40- y- [( x& s$ P- }: E! n! ^
2.4.5 NodeManager 41
& S" ]' t0 \8 {4 [+ p2.4.6 单一集群架构 41
* n, N, n0 u! P U3 q4 [! ~2.4.7 工作流程 41
5 ]' q' d: M' M2.4.8 使用场景 43
) K4 j2 x) q9 z! g5 B/ L- g2.5 Spark 433 S! n* C6 H% y; h5 D
2.5.1 概述 43
[: a. ] V9 N5 f$ Y7 M2.5.2 数据模型 45
2 T" ]9 A, s. P9 R2.5.3 编程模型和作业调度 45/ y. |3 T( G2 k9 } v1 H
2.5.4 依赖 466 V! [0 e, Y M- ^' d* i" @5 e
2.5.5 容错 47% Z( `3 D" r2 [; J
2.5.6 集群模式 477 C( S& f" f8 `7 U
2.5.7 使用场景 48
3 N' K# W4 d8 n) B2.6 本章小结 49! U, v7 E" S& B1 e
第3章 使用Ambari安装Hadoop集群 50
# A, P1 F# \- k, }3 e' B- f1 G$ U3.1 概述 50. ], z7 }6 F& _+ s
3.2 集群设计 52
8 a( H4 I; r9 A3 l% Q3.2.1 主控节点 52; C9 {) s- |' T, H, t; u' U! T
3.2.2 存储与计算节点 53
- u1 c' w9 L, S0 U9 t, ~! n3.2.3 安全认证与管理节点 54
* S7 K4 u( P* t7 a3 S& k+ C4 J3.2.4 协同管理与其他节点 549 L# N2 L: ?, d
3.3 Ambari的安装、配置与启动 55
/ i' s$ q: U0 I6 g+ \3.3.1 安装前的准备 551 y' G* b1 c, E% z% T! F
3.3.2 安装Ambari-Server 626 M. ?# j: H' {" l3 [
3.3.3 Ambari-Server目录结构 64) T; O" ^% R2 b% f# v
3.3.4 配置Ambari-Server 65( f& }6 @% Q1 k* u% y# R3 `
3.3.5 启动Ambari-Server 66. a. I7 ~$ `; a0 B8 u( {
3.4 新建集群 67 @; R$ T- X6 b& a4 z7 k
3.4.1 设置集群名称并配置HDP安装包 67
; r- b/ `2 I2 m5 a2 m' o( p3.4.2 配置集群 69
2 c; R1 G6 u4 J. d. ]3.5 Ambari控制台功能简介 77
, M( ^" v- \# G* e3.5.1 集群服务管理 786 B/ X s; r( L# J/ L; u
3.5.2 集群服务配置 809 N, C$ L$ p" X$ u* R2 `1 K# F4 f
3.5.3 辅助工具 82 i% w- i% t5 K' _ F3 l; T
3.6 本章小结 86+ Q" U1 D: a1 J9 a; f5 E
第4章 构建企业级平台安全方案 87
3 I' @( u; j) O( r4.1 浅谈企业级大数据平台面临的安全隐患 88( e/ Q4 F9 W8 C3 ]/ t! g
4.1.1 缺乏统一的访问控制机制 88. y) |% u0 H& l+ f; N
4.1.2 缺乏统一的资源授权策略 88
$ [& M8 B3 |8 x( H4.1.3 缺乏Hadoop服务安全保障 896 h6 ]" h% k% E; m7 b
4.2 初级安全方案 89- o$ G, b u; m0 [3 b y, z
4.2.1 访问控制 899 A& |! j! y3 j) d8 Z
4.2.2 数据授权与管理 975 N' F3 e8 ]& N" q" G
4.3 本章小结 110
! D1 G: h2 Y: r第5章 Hadoop服务安全方案 1119 z- ]) {7 H/ [
5.1 Kerberos协议简介 1119 |' n6 e, C. _- M3 z4 H4 G
5.2 使用FreeIPA安装Kerberos和LDAP 113
2 D$ M& A% r o' C$ L# a! f; G5.2.1 安装FreeIPA 115+ x* p8 g3 Z6 _" D; n. q
5.2.2 IPA-Server管理控制台功能介绍 119! x( z# n; s% k
5.2.3 IPA CLI功能介绍 122
/ l0 Z( L- i" @* [5.3 开启Ambari的Kerberos安全选项 127
$ @- z; q, z5 ^2 ~5.3.1 集成前的准备 127
. G N5 _) a' J$ n' |5 o$ k: ]8 {& o9 B5.3.2 集成IPA 129& x/ h+ w! W" q X
5.3.3 测试Kerberos认证 133
4 d* x9 h6 E- {. u) J* u$ ?* O! H% s5.4 本章小结 136% J+ g9 y H; H. {
第6章 单点登录与用户管理 1372 C' g8 P3 n/ n
6.1 集成单点登录 139 N& I e$ b5 k7 h0 L
6.1.1 CAS简介 140 i0 ^' b" h) s7 g8 N
6.1.2 安装CAS-Server 141
: i( M$ ]* i: t; q: C) z1 c6.1.3 集成Knox网关与CAS-( e, o3 ?; l) V4 H
Server 1484 o1 s3 w- Z$ s x2 G T
6.1.4 集成Ranger与CAS-Server 151
3 Z$ l0 t% z% @+ ?$ U6.1.5 集成Ambari与CAS-Server 152% |+ H" l% ^5 v6 [1 V# | ]/ ?$ ~
6.2 实现统一的用户管理系统 155
% B8 C6 F/ y# Q+ ?! g6.3 使用Java程序调用脚本 161+ \5 b2 d% ^! P7 [4 S' a( G
6.4 创建Ranger扩展用户 166- l( A [7 K/ {
6.5 本章小结 1690 i+ g3 R, w9 p! n' v$ b' Z
第7章 搭建平台管理端RESTful服务 170
+ D5 _9 m1 Y: @+ u7.1 搭建RESTful服务框架 170% p9 c* L2 f( }1 E
7.2 用户查询 174
6 i4 N9 F2 V q$ q) ~" z- G7.2.1 引入LDAP模块 174/ @: J2 x+ q2 [5 }, |, h0 ?; A
7.2.2 配置LDAP 174
! ` o- O; a9 m$ D k3 q7.2.3 实现持久层 1772 B' R5 K2 `7 t2 k
7.2.4 实现服务层 1817 t( B/ E( y3 V: V: _6 ?8 m) S. X
7.2.5 实现RESTful服务 1814 \0 d+ g; V6 p/ M8 x8 p
7.2.6 整合用户管理 183
3 e1 P8 u! g' P! u% h5 G) E7.3 RESTful服务安全认证 1847 `3 B$ z# S* o N0 b% b' E5 Q$ a
7.3.1 用户登录服务 185
' n( m: X" M! ~, g; ~. o: {7.3.2 使用JWT认证 185
7 K6 c8 Y5 r& X% Y. G L- Z2 o( c7.3.3 创建用户登录RESTful服务 1885 v! T( n2 a) l% l. c% ^, |* T
7.3.4 认证过滤器 194
* i3 R7 b; K$ i7.3.5 测试服务安全认证 198- @$ [ R- \7 C N! l
7.4 数据仓库数据查询 2002 R5 P4 E) i5 i* _, E
7.4.1 创建JDBC连接 200
7 `4 {9 {/ \" b( D3 S" K7.4.2 Kerberos登录 202 o" U6 X+ O1 M1 F! I9 y$ _/ H# k3 k3 i
7.4.3 使用JDBC协议查询 2027 G3 V$ |7 c$ [3 O [: e
7.4.4 实现服务层与RESTful服务 206
5 T" t2 |0 y! ^3 V5 M. M) N7 L7.4.5 测试查询 207! z7 |" q0 a4 Z! ?: O
7.5 数据仓库元数据查询 208' z+ V9 \1 u' k( w6 T
7.5.1 使用query服务查询数仓元数据 208: A2 T" [/ H8 f" W0 v
7.5.2 引入JdbcTemplate模块 209- U( H8 C% x# C7 G( e' ]
7.5.3 增加Hive元数据库配置 210
1 k2 M; _0 h! y7.5.4 实现元数据持久层 211 java8.com* P @# f5 n) H* j( F6 K
7.5.5 实现元数据服务层与RESTful服务 216
- c/ Z6 G" z N- ?1 w0 ]7.5.6 测试元数据查询 218) v' s n2 }3 k0 |- c( S8 c" q
7.6 本章小结 2195 O; U9 b1 W! }/ {' D5 E
第8章 Spark任务与调度服务 220+ j; W# p5 X/ k$ }( G
8.1 提交Spark任务的3种方式 220
/ G0 z! O7 t# w; p/ B9 v8.1.1 使用Spark-Submit脚本提交 220
; q6 \0 S( Q7 u1 f" I8.1.2 使用Spark Client提交 226/ `! x3 J8 i( k1 v9 p+ v
8.1.3 使用YARN RESTful API提交 229
9 K; G% C4 K) t f0 ^5 Y8.2 查询Spark日志 234
- G& n& ~* z* @- E* q* P# ~: i8.3 任务调度 236
7 B4 ?) ?( O/ u L8 s8.3.1 引入Quartz模块 2375 t+ d/ p, [% A+ [
8.3.2 增加Quartz配置 237
) d p4 p) v( o8.3.
2 E$ ?9 k: l4 M( ~0 j; R$ a; s
! h0 l/ O+ N9 t% `( y7 a" N% w
电子书
2263 人阅读
|
23 人回复
|
2024-05-19
