rgb</p>1.2 大数据平台架构
- f: V2 r8 Q! _2 I( c/ y S
1.2.1 数据获取
, i1 ?( {0 M |# C* C, J
1.2.2 数据存储
" X# D$ ~) i3 y) j I
1.2.3 数据处理
- `* a5 w) ]. G2 z* s* l1.2.4 交互式分析
+ n" c1 g& j2 \) y& ]( X
1.2.5 机器学习与数据挖掘
1 i9 m' L6 h0 d0 D9 B3 {4 `
1.2.6 资源管理
0 O m9 N1 a! [1 T+ H5 |1.3 大数据工程师的技能树
6 k$ X$ ^4 g8 M( A" z- U1.3.1 大数据主流开发语言
# v$ [( N+ o7 E) ~# t6 k3 R1.3.2 大数据平台的构建
; H; G1 i( D- \2 W, f% @/ @7 F8 b) y1.3.3 大数据采集
! k4 ^: ] V) k% o
1.3.4 大数据存储与交换
9 N+ d5 D+ X, Q, ~4 \& c. |1.3.5 大数据离线计算
7 }+ l H. \' D) W9 _9 g" ?& o
1.3.6 大数据实时计算
8 C9 S4 p/ S0 k- f" Q
1.4 大数据项目需求分析与设计
0 L+ t+ _: E+ R1.4.1 项目需求分析
0 I- s, i. \% V. s" `
1.4.2 系统架构设计
5 |4 I: @3 U. i; B( s
1.4.3 离线和实时计算数据流程设计
" |& H! O0 p8 e5 l# A1.4.4 大数据平台规划
1 N7 n9 m8 C" h5 q- g/ c) w, R1.5 本章小结
7 Y$ k1 P9 y" h: @3 B第2章 搭建IDEA开发环境及Linux虚拟机
: G5 h% B0 |: K; w" s# e2.1 搭建IDEA开发环境
8 R, y; i) o7 d7 e1 v! j% w; L# N2.1.1 JDK的安装与配置
# d2 J2 E7 W; @/ o2.1.2 Maven的安装与配置
( F: M. N# i: Y1 C
2.1.3 IDEA的安装与配置
( [+ A% i" i. c* T1 I* `! ?2 G2.1.4 使用IDEA构建Maven项目
: z/ \& ~3 K6 x% R% \2 R0 u
2.2 搭建Linux虚拟机
7 T& R" c# J9 U) B/ L$ `2.2.1 安装Linux系统
) ~# @# u2 M6 H' x6 O! T) l2.2.2 配置Linux静态IP
F7 g8 d- n. m1 `# m4 M2.2.3 Linux主机名和IP映射
; b5 S9 ~8 H5 a9 N
2.2.4 关闭Linux防火墙
5 @; c- C- U: q& `2.2.5 创建Linux用户和用户组
/ j2 P$ Q4 W; r; k
2.2.6 Linux SSH免密登录
6 P N* ~" _% x( O9 n2.3 本章小结 java8.com
4 a. e% y4 O8 \第3章 基于Hadoop构建大数据平台
`6 `# A" R) s9 t9 u2 L- Q2 A
3.1 Zookeeper分布式协调服务
, N! a7 H# J' @* K8 p5 m8 z3.1.1 Zookeeper架构设计及原理
9 b1 x# e: M' m5 M
3.1.2 Zookeeper集群安装前的准备工作
; h# t( v" f: |) z: [( x9 l! _3.1.3 Zookeeper集群的安装部署
' S7 b) n0 ~! Z! X; [
3.1.4 Zookeeper shell的操作
) T1 E7 G2 F; W" o3.2 HDFS分布式文件系统
, q" N5 v6 P4 I$ R
3.2.1 HDFS架构设计及原理
" `' b U- q/ Q: m k9 a7 ]3 ~3.2.2 HDFS的高可用(HA)
. ^: n9 e; }. j# g* [: ~
3.2.3 HDFS联邦机制
M" u# O0 M5 x5 N7 r3.3 YARN资源管理系统
+ D: Q: H6 Q/ \' m! n3 X
3.3.1 YARN架构设计及原理
6 C0 m7 G2 J/ O+ ^/ \
3.3.2 MapReduce on YARN工作流程
! K& N+ w0 U- ^
3.3.3 YARN的容错性
: T3 N! m/ \) A2 s1 n3 @' L8 _3.3.4 YARN的高可用(HA)
- p' v4 Q" z1 }: \) P2 q3.3.5 YARN的调度器及使用
" Q/ [ o& A1 R! Y3.4 Hadoop分布式集群的构建
' \0 f' }+ o2 ~3.4.1 HDFS分布式集群的构建
3 J; `# I8 U! V% T/ |% ?. i
3.4.2 YARN分布式集群的构建
, |5 V4 R" M9 b1 `3.4.3 Hadoop集群运行测试
( B% z) t2 \% T, g
3.4.4 Hadoop集群调优
I0 U: Z9 b) u6 p/ P) t3.5 MapReduce分布式计算框架
f$ M5 W+ F- H3.5.1 MapReduce概述
! x/ X. [' [& J6 i6 u/ f% d
3.5.2 MapReduce编程模型
+ ]: ^- {4 j) H8 n% c3 p9 @/ n
3.5.3 MapReduce应用示例
8 O) Y% a/ T" }; R* S" [, c3.5.4 WordCount代码实现
9 p, C; _( f: z9 |+ j3.6 本章小结
, i* a0 o" s% ~* q6 z
第4章 基于HBase和Kafka构建海量数据存储与交换系统
4 [, {0 r- t( p5 X9 ]- Y9 a
4.1 构建HBase分布式实时数据库
& Q1 _4 t5 b0 ?5 |3 u; `3 K" \! t9 j4.1.1 HBase概述
# k7 [! n% Y3 h8 E. h
4.1.2 HBase架构设计
1 s9 O W5 r0 r
4.1.3 HBase分布式集群的构建
, \/ n9 C* \8 T4.1.4 HBase性能调优
7 D+ [7 A+ c" l2 S
4.1.5 HBase新闻业务表建模
! n, e* W0 q9 ]% V! H4.2 搭建Kafka分布式消息系统
) |* J8 P2 f( d4.2.1 Kafka概述
4 B: @+ r9 h1 p0 T! @6 p O4.2.2 Kafka架构设计
, p' m4 N" W* O2 ^ f" ]* @6 A
4.2.3 Kafka分布式集群的构建
) J$ J4 ` r* X& h' h) z. h* Y
4.2.4 Kafka集群监控
+ _4 [2 I1 p2 L# m9 H9 f9 P2 O
4.3 本章小结
( q/ u$ t0 W* f. q9 f6 I7 D
第5章 用户行为离线分析——构建日志采集和分析平台
. E) P( R$ [+ b5 v8 A; j, T6 \* ]5.1 搭建Flume日志采集系统
$ @$ N4 X% c- j- T8 @
5.1.1 Flume概述
! s: ~6 t0 ?1 f" ?; j" W9 y9 ]
5.1.2 Flume架构设计
3 I: u! G" _9 O. V' r6 B9 D* u5.1.3 Flume环境的搭建
^0 L8 J8 V+ p4 d
5.1.4 构建Flume集群
# x; M7 | H, D/ y0 A. C+ s5.2 使用Flume采集用户行为数据
% G0 ?1 r: k4 S- v9 q8 [6 R5.2.1 Flume与Kafka集成
+ j- J4 z- r4 e( Q5.2.2 Flume与HBase集成
7 l. O$ b6 z5 N
5.2.3 Flume与Kafka、HBase集成
! [; d3 X" F% N( A$ \8 s1 V
5.3 基于Hive的离线大数据分析
. z- |, ?9 y8 j5.3.1 Hive概述
! z4 ?+ c+ F' H* N6 \/ A6 T
5.3.2 Hive架构设计
3 k* o5 ~- Y3 g3 _* I5.3.3 Hive的安装部署
# h/ K) F+ Z& z! u5 P' y5.3.4 Hive在大数据仓库中的应用
, E1 T+ w' c8 G" `" B! u
5.3.5 Hive与HBase集成
5 D; v7 |/ R0 Y
5.4 基于Hive的用户行为数据离线分析
5 x. K1 z5 `, Q" `/ {
5.4.1 离线项目架构设计
( Q0 t) z& ?0 q9 L/ x
5.4.2 用户行为离线分析
0 Z; n) E' M" S! L* R/ |& D5.5 本章小结
0 |3 @! ?( @8 D' M- t# M5 z0 y第6章 基于Spark的用户行为实时分析
. f5 X5 R0 m, G+ J. G6 V6.1 Spark快速入门
) x( {* T" x& N$ s0 g9 x/ G
6.1.1 Spark概述
# h9 m6 r! W6 B o4 z
6.1.2 Spark的最简安装
, h; U; v- I8 l0 o) I/ a6.1.3 Spark实现WordCount
+ h% `4 _ r" u' s+ }6.2 Spark Core的核心功能
4 g/ p6 F6 d# B
6.2.1 Spark架构的原理
. `7 A, P: t5 L% c0 y! i6.2.2 弹性分布式数据集RDD
) B4 e4 f1 m, ^9 o* ?6.2.3 Spark算子
( j R! ]* f! R/ M' p5 X
6.2.4 Pair RDD及算子
- ~: M4 r5 C7 X# W4 n
6.3 Spark分布式集群的构建
6 k4 {1 }/ [/ @/ B6.3.1 Spark的运行模式
6 O- ~& u- z" W) I/ i1 P' b# K6.3.2 Standalone模式集群的构建
7 U' P# u6 R/ F7 U b6.3.3 Spark on YARN模式集群的构建
. J' w# \) F6 U
6.4 基于Spark Streaming的新闻项目实时分析
2 Z; u9 X+ C! a; a. @, O
6.4.1 Spark Streaming概述
. ?% ]/ D* [' v5 e
6.4.2 Spark Streaming的运行原理
: O! Q4 y8 a# L* \) K5 s6.4.3 Spark Streaming编程模型
$ v( ?1 _2 u0 G2 b B
6.4.4 Spark Streaming实时分析用户行为
" n3 O: R6 U0 m6 r
6.5 基于Spark SQL的新闻项目离线分析
3 _3 b6 q" v. o8 O9 v1 \
6.5.1 Spark SQL架构的原理
" I) h. `5 Z5 v$ E3 c6.5.2 Spark SQL与Hive、MySQL、HBase集成
9 L8 ? u3 t3 k. B- v* r' g( ~
6.5.3 Spark SQL用户行为离线分析
7 F) P; e1 N" G& X6.6 基于Spark Structured Streaming的新闻项目实时分析
/ B8 W( Z3 e* \6.6.1 Structured Streaming概述
* C: w: p3 P7 Q6.6.2 Structured Streaming编程模型
1 O4 O1 \- Z7 n( O6.6.3 基于Structured Streaming的用户行为实时分析
H/ j' T& } K( K2 ^9 a P* d6.7 本章小结
, }6 n4 x- r/ x* ~第7章 基于Flink的用户行为实时分析
+ N. g) [1 ]' Q+ F8 ?6 o; |; Z
7.1 Flink快速入门
9 S' [7 |2 v$ ^7.1.1 Flink概述
; x( ~) E% _# ? X9 w
7.1.2 Flink的最简安装
' m/ s; W: y/ H0 B7 M% i ]
7.1.3 Flink实现WordCount
$ g1 o0 ?9 Y' K/ e+ W7.2 Flink分布式集群的构建
V4 Q" X3 E2 K) a7.2.1 Flink的运行模式
! q1 ?7 b$ \7 u7 V( i
7.2.2 Flink Standalone模式集群的构建
# g! v- }( W, l- X: w8 ?/ F1 z9 S" X7.2.3 Flink on YARN模式集群的构建
7 G _4 ]* N# k/ U& I% N0 S
7.3 基于Flink DataStream的新闻项目实时分析
; Z* j% `9 [1 A7 C! N4 A) Z7.3.1 Flink DataStream概述
- I4 c5 r2 [1 R; d- p7.3.2 Flink DataStream编程模型
# Z) K1 ]- V/ y" O! z d! @7.3.3 Flink DataStream用户行为实时分析
, ~, k& p5 K1 ?( E; I" d2 A
7.4 基于Flink DataSet的新闻项目离线分析
" q9 S% K0 P) R
7.4.1 Flink DataSet的运行原理
0 i, g8 i; g8 B C- @. \
7.4.2 Flink DataSet编程模型
. ~: R9 Z( U: _- \& a# m; M
7.4.3 Flink DataSet用户行为离线分析
o1 A" ]% q: G! \7.5 本章小结
8 e/ r6 P3 S. M' B第8章 用户行为数据可视化
5 ]; K [1 w# d. Z: Y- X6 o8.1 构建Java Web系统查询用户行为
* i# z( l. ?* ?( v! y2 E( J+ B
8.1.1 基于Java Web的系统架构
$ x. e4 c1 t- J9 B9 {) n
8.1.2 构建并部署Java Web项目
% d% |. o% m6 o8.1.3 用户行为查询代码开发
, @- A( l( W- W8 {% d0 s$ F# @8.2 用户行为数据展示与分析
1 I/ l, i0 D x# P2 N) Z; E A
8.2.1 项目打包发布
# v0 k3 O1 k' M% `! ]5 i
8.2.2 项目整体联调
8 b+ H' D: a0 ?6 e p
8.2.3 数据大屏展示与用户行为分析
& b9 o6 G- v' h4 Q+ W q) Z
8.3 本章小结
, g- a+ Q( Y6 a/ N% a) I