企业级大数据平台构建：架构与实现 PDF 电子书 X0246

java8

Java电子书：企业级大数据平台构建：架构与实现  PDF 电子书 Java吧 java8.com
# A) y% _! `" d5 a
作者:朱凯出版社:机械工业出版社出版时间:2018年04月
6 _' o5 I& E; b) Q6 r
编号：166-Java吧资源免费-X0246【Java吧 java8.com】



7 A4 I" k6 K  k' i) }3 t- ?目录：

前　言
第1章　浅谈企业级大数据平台的重要性 1
$ `" S9 m2 }6 Q! N1.1　缺乏统一大数据平台的问题 2
1.1.1　资源浪费 2
1.1.2　数据孤岛 2
" K. @9 r2 N9 l0 c1.1.3　服务孤岛 3
. V+ w  S0 i! P( A- x& w1.1.4　安全存疑 3
1.1.5　缺乏可维护性和可扩展性 3
1.1.6　缺乏可复制性 4
8 {* y( S8 O/ _' Z) b6 Z1.2　构建统一大数据平台的优势 4
1.3　企业级大数据平台需要具备的基本能力 6
; P7 Z! d2 I+ Y( |0 T& h1.3.1　集群管理与监控 7
1.3.2　数据接入 7
1.3.3　数据存储与查询 7
1.3.4　数据计算 8
1.3.5　平台安全与管理 10
1.4　平台辅助工具 12
) Y; ?8 i+ M6 @: t8 N& e/ d1.5　本章小结 13
* a$ y; b+ D0 Q. Y第2章　企业级大数据平台技术栈介绍 15
- S! \& L& p5 d' \! ?% a8 `- O2.1　HDFS 16
2.1.1　概述 16
- i' F2 x  X* E8 Z2 J: @2.1.2　RAID技术 17
2.1.3　核心设计目标 18
2.1.4　命名空间 19
2.1.5　数据模型 20
2.1.6　Namenode和Datanode 20
2 n1 A3 E2 u/ h6 z0 |# o( S9 M2.1.7　使用场景 21
. V( p0 ?3 ~; J& U8 Y! z2.2　Zookeeper 22
2.2.1　概述 22
1 z" s, i, g* |  Q2.2.2　核心特性 23
2.2.3　命名空间 24
2.2.4　数据模型 24
; X, c# k$ H8 T7 L+ y% B/ }6 F2.2.5　节点状态监听 25
0 b+ n+ w6 x9 e- q/ Z) A7 U2.2.6　原子消息广播协议 25
3 A" o0 Y/ f* [3 }: ~2.2.7　使用场景 32
2.3　HBase 33
1 U9 |1 J' [7 X$ F5 ]2.3.1　概述 33
2.3.2　数据模型 34
2.3.3　Regions 34
2.3.4　HBase Master 35
2.3.5　Region Server 36
( I. t0 m9 V& u$ e  Q2.3.6　MemStore与HFile 37
, v. O1 R* F. r( d  v# ^$ C2.3.7　使用场景 37
5 Z: M2 o& {+ [# N: X9 K* t3 M2.4　YARN 38
" v: S+ q! n) |1 _# w2.4.1　概述 38
2.4.2　资源模型和Container 40
" r5 V! I) Y5 L1 E4 s2.4.3　ResourceManager 40
: k  J- h! H. ?- h7 h/ n2.4.4　ApplicationMaster 40
7 I$ Y2 K: x: g# C% b# |( @- Q2.4.5　NodeManager 41
2.4.6　单一集群架构 41
2.4.7　工作流程 41
2.4.8　使用场景 43
- k& r0 _2 H4 i2.5　Spark 43
+ C0 N- C4 c: x0 g2 H; r2.5.1　概述 43
2.5.2　数据模型 45
" u4 x3 Q/ s1 N* g! `/ y' Z2.5.3　编程模型和作业调度 45
2.5.4　依赖 46
% Z9 `  V. `" r1 T, s2.5.5　容错 47
2.5.6　集群模式 47
  j7 Z: }3 W9 h5 w4 T  T2.5.7　使用场景 48
2.6　本章小结 49
第3章　使用Ambari安装Hadoop集群 50
0 I+ Z1 r! [3 v; b3.1　概述 50
0 i( p/ k0 [. O0 }, z6 \3 K3.2　集群设计 52
3.2.1　主控节点 52
3.2.2　存储与计算节点 53
3.2.3　安全认证与管理节点 54
$ n5 F: Q/ l9 ~$ F+ w3.2.4　协同管理与其他节点 54
6 A+ H4 ?# b2 [5 v# ]* I2 O! ?5 r3.3　Ambari的安装、配置与启动 55
" I- H. I9 ?+ d7 }3.3.1　安装前的准备 55
3.3.2　安装Ambari-Server 62
: E2 z* V7 r! T" M% Y% h9 G7 P3.3.3　Ambari-Server目录结构 64
3.3.4　配置Ambari-Server 65
3.3.5　启动Ambari-Server 66
3.4　新建集群 67
3.4.1　设置集群名称并配置HDP安装包 67
. U- ^. ~4 S2 K* x& J, N3.4.2　配置集群 69
3.5　Ambari控制台功能简介 77
3.5.1　集群服务管理 78
2 P4 a7 i1 ]; L- B0 }" C3.5.2　集群服务配置 80
6 l( }* f* @' a8 C3.5.3　辅助工具 82
' S" v6 @* K+ X# u; [; S3.6　本章小结 86
第4章　构建企业级平台安全方案 87
4.1　浅谈企业级大数据平台面临的安全隐患 88
4.1.1　缺乏统一的访问控制机制 88
2 c) \, c! F; p* T5 \6 V4.1.2　缺乏统一的资源授权策略 88
( `. e& e& ~6 f  r2 X" H4.1.3　缺乏Hadoop服务安全保障 89
4.2　初级安全方案 89
4.2.1　访问控制 89
' [  z  S; \, h$ S7 [4.2.2　数据授权与管理 97
* P/ u% S0 H5 |7 i$ g. O4.3　本章小结 110
第5章　Hadoop服务安全方案 111
5.1　Kerberos协议简介 111
- b$ n% [% m; m+ ~5.2　使用FreeIPA安装Kerberos和LDAP 113
6 `+ y8 Z" b& I% s  S  ?& k) I1 b5.2.1　安装FreeIPA 115
5 z! L8 g2 u) R9 h( X% I9 [5.2.2　IPA-Server管理控制台功能介绍 119
" [) M" b: U) `" Y3 j0 W( P+ \5.2.3　IPA CLI功能介绍 122
/ ]3 g& R2 G9 V8 H' [  q% f3 T5.3　开启Ambari的Kerberos安全选项 127
6 i) V# S7 R5 L+ q) K8 c2 \; a5.3.1　集成前的准备 127
3 T( E  S9 z0 s3 a9 d5.3.2　集成IPA 129
! k+ w$ t/ Z# F2 g( v. [" ~5.3.3　测试Kerberos认证 133
5.4　本章小结 136
第6章　单点登录与用户管理 137
6.1　集成单点登录 139
6.1.1　CAS简介 140
6.1.2　安装CAS-Server 141
6.1.3　集成Knox网关与CAS-
　Server 148
6.1.4　集成Ranger与CAS-Server 151
% S/ @/ r6 ~, n5 i0 h( K  n6.1.5　集成Ambari与CAS-Server 152
7 r7 p6 ?8 k* p1 p6.2　实现统一的用户管理系统 155
) M0 V9 z/ n6 q# a0 H( n8 f6.3　使用Java程序调用脚本 161
6.4　创建Ranger扩展用户 166
2 C' X/ S% s4 [, l/ z6 N: v" f2 R6.5　本章小结 169
& L0 c, m  `% W3 w$ ]) A5 B第7章　搭建平台管理端RESTful服务 170
7.1　搭建RESTful服务框架 170
  j0 s( X( a$ T* f& q7.2　用户查询 174
7.2.1　引入LDAP模块 174
7.2.2　配置LDAP 174
7 j0 J. m* h% C3 c7.2.3　实现持久层 177
7.2.4　实现服务层 181
7.2.5　实现RESTful服务 181
7.2.6　整合用户管理 183
% M5 _  Y, {; C( `0 D& i& [7.3　RESTful服务安全认证 184
0 N8 h2 t3 ]$ x1 w  h  X) y7.3.1　用户登录服务 185
' Z9 p$ D' }: K; r7.3.2　使用JWT认证 185
7.3.3　创建用户登录RESTful服务 188
# G4 O2 H: h# G0 @2 m7.3.4　认证过滤器 194
2 l0 @# Y; [9 }2 I' A7.3.5　测试服务安全认证 198
7.4　数据仓库数据查询 200
7.4.1　创建JDBC连接 200
7.4.2　Kerberos登录 202
7.4.3　使用JDBC协议查询 202
8 a' h7 A( ?' R5 J4 ?" D7.4.4　实现服务层与RESTful服务 206
$ B$ |2 s0 v( Q5 M0 E  {7.4.5　测试查询 207
7.5　数据仓库元数据查询 208
7.5.1　使用query服务查询数仓元数据 208
6 c: [" j/ [/ M/ c- y% L7.5.2　引入JdbcTemplate模块 209
7.5.3　增加Hive元数据库配置 210
7.5.4　实现元数据持久层 211 java8.com
7.5.5　实现元数据服务层与RESTful服务 216
7.5.6　测试元数据查询 218
# m: f. \% Q6 a2 C9 ^- D2 D% m7.6　本章小结 219
# |" [; O5 a4 U8 F9 T0 G第8章　Spark任务与调度服务 220
1 P2 k4 k" }) A4 o( y0 r  N8.1　提交Spark任务的3种方式 220
% T' k4 s! h9 L% l, d8.1.1　使用Spark-Submit脚本提交 220
8.1.2　使用Spark Client提交 226
) a, t8 O9 H9 @4 |8.1.3　使用YARN RESTful API提交 229
8.2　查询Spark日志 234
9 _4 s7 s0 a) v# i# a2 D" U8.3　任务调度 236
2 g: g& m- m6 h8.3.1　引入Quartz模块 237
9 T. |9 n. j2 t+ v" K8.3.2　增加Quartz配置 237
7 M/ g* m$ M. i3 k* ~' {; k( R8.3.

+ L: Y6 g6 u0 F7 [, g1 Y+ y

百度云盘下载地址(完全免费-绝无套路)：

游客，如果您要查看本帖隐藏内容请回复

本资源由Java吧收集整理【www.java8.com】
$ [! ?; o" |1 w% I9 |% g5 B2 f; a
6 {1 s& w$ q2 l
- K% ~+ b* V$ g; _0 l7 S
9 U- |5 ^0 R# K! V: |

方方方方方方

免费资源 真的无套路

万信卫浴

路过，收下了，不错的论坛

苟延残喘

免费资源 真的无套路

三代农人

太爽了  干货很多！！！

昆山男人

资料免费 给力

大牙嘎嘎乐

免费下载的网站 头一次遇到 不错

梦萱

给力，真免费

多情总被无情恼

不错不错，下载到了

米兰天空

路过，收下了，不错的论坛