机器学习基础知识篇
第1章 人工智能概述 002
, [ M, _: F1 a( B( C6 C; Q, @0 W1.1 人工智能的定义 002! _+ }' u* G/ ?) p
1.2 人工智能发展简史 003+ d/ M* t3 S: P+ j
1.2.1 史前文明，曙光初现(1956年前) 004
- Y. w1 o0 X6 ]! V7 Q1.2.2 初出茅庐，一战成名(1956—1974年) 008
+ h8 h6 b' `# P& m$ S- i1.2.3 寒风凛冽，首次入冬(1974—1980年) 010) a! p! @) E. H; P5 d# D$ @
1.2.4 卷土重来，威震八方(1980—1987年) 010
1 N( i7 z% g/ O' S1.2.5 失望弥漫，再度入冬(1987—1993年) 0120 C& z2 O, K6 D2 d
1.2.6 重出江湖，渐入佳境(1993年至今) 013& |5 S4 T# S: @9 B1 I' N
1.3 人工智能经典流派 016
& q7 \6 C( H- v$ j. @) j) }7 `% G1.3.1 符号主义 018
x$ B, Q' K) A1.3.2 连接主义 019* [& \" a" T7 k: @8 ^5 q6 t
1.3.3 行为主义 023& m! T: K8 q1 q+ o' ^0 D
1.3.4 贝叶斯派 026. I; ~7 X4 E4 Y
1.4 人工智能与机器学习 027- b( }6 W$ {3 c4 x
1.5 如何选择机器学习算法 029
5 a+ |- @" Q+ R* R! s% ]. y+ P# q1.5.1 没有免费的午餐理论 030) x( U4 o& ]; n2 m
1.5.2 Scikit Learn小抄 031+ y6 Q6 A5 E7 j. }& l+ `
1.5.3 Microsoft Azure小抄 032
0 W: q0 u5 Y. |1 ]7 x" H1.6 机器学习的典型应用场景 032
+ ~, W! b8 @0 y1 a: ~1.6.1 计算机图像领域 035
7 E) z: @# \% z8 q, }' ^# f8 [1.6.2 自然语言处理简述及其应用 0368 T `( }7 I3 B/ c5 J; S
1.6.3 制造业中的预测性维护 038& k A6 ^! p1 ~# G% I
1.6.4 软件自动化开发和测试 042
& K) I8 B& s2 \1 }1.7 本书的组织结构 043
第2章 机器学习中的数学基础 045
# o4 g/ k3 w1 k; C, n( t2.1 微分学 045
- D% `* q `* }5 k7 E4 i* O3 _% b2.1.1 链式求导法则 045% \( @& `/ ^1 \' \5 I
2.1.2 对数函数求导 045
4 k' h8 i6 J l9 Q+ V2.1.3 梯度和梯度下降算法 046
/ h8 i+ U. F! H" x$ I9 r2.2 线性代数 047
2 N* R. ~, Z G2.2.1 向量 047
2 K; V: i/ V" A& L! H2.2.2 矩阵拼接 0520 \( G! ]# u" r2 l6 F% q6 b
2.2.3 特征值和特征向量 057
: e- u9 a, l# a& Q2 ?- Q2.2.4 仿射变换 0590 G \* I9 ~) w4 ?( c9 L$ u3 v Q
2.3 概率论 060
6 d% b1 q! |7 Z( p u8 _( b2.3.1 概率分布 0616 y! ~. k7 m( C6 b; ~3 J
2.3.2 先验/后验概率 062
3 G5 f2 }, o; A6 E& I2.3.3 似然估计 063
& C; c/ p: E; R1 m2.3.4 贝叶斯法则 0644 o2 c+ B4 ^" n3 J! d# V0 B% S
2.4 统计学 065
, F q3 f/ f3 x0 y/ E$ Z* j6 S2.4.1 数据的标准化和归一化 065
6 `7 R% W' ~; S7 Q7 V6 M8 z' \2.4.2 标准差 066
6 {/ U+ \$ Q3 n# l4 C E$ C$ J2.4.3 方差和偏差 066 E _/ a7 l0 ^. Y
2.4.4 协方差和协方差矩阵 067
% ], ?1 j+ I, b3 k% t2.5 化理论 068
) L4 ?7 {) }( Q: E. Y d' L2.5.1 概述 068- m. n, k: ?) C: n: g
2.5.2 函数等高线 070. q. L9 f) K4 k: M, e
2.5.3 拉格朗日乘子法 0710 n; |. ?- q' w' ?
2.5.4 拉格朗日对偶性 0749 o. o/ ] Q: j D
2.5.5 KKT 079! e3 T- s( y/ k& c' c2 G. M
2.6 其他 088
' H' B6 A5 W& G3 T" d( S2.6.1 训练、验证和测试数据集 088
' a* V( `# U5 p2.6.2 过拟合和欠拟合 090
* b+ S( G: P! S$ t% P7 n o7 T2.6.3 奥卡姆的剃刀 092
( f8 ` c7 ~$ ]( J1 ]/ i$ k/ s2.6.4 信息熵 093
% f% Y2 d4 T$ B5 U$ d0 ^- h2.6.5 IOU 094
5 Q2 v$ Z! |9 I5 E1 l2.6.6 NMS 095
- }$ Z) \) M, ^2.6.7 Huffman树 096
第3章 机器学习模型的度量指标 099
8 M4 H1 f7 \: N: K: Y3.1 Precision、Recall和mAP 0991 V4 G' D8 c8 ?% @' X3 c
3.2 F1 Score 101
0 E$ c) K, g+ z9 r, K3.3 混淆矩阵 102
# R9 ?4 ~* R9 i+ ~# `3 j8 x/ |3.4 ROC 103
8 w! u4 w; }8 [ x' i3.5 AUC 105
2 m- q9 P# l6 Y* I5 V5 d N3.6 PRC 107
( h" y, P0 D0 w! d, c* T3.7 工业界使用的典型AI指标 108
经典机器学习篇
第4章 回归算法 112
) J7 f, d. r9 W( t+ Y6 H( e4.1 回归分析 112
- \- ]9 I6 c. t/ H( A% v. q4.2 线性回归 112
$ c5 g- J: `4 x7 C' g2 `$ X4.2.1 线性回归的定义 1126 l8 a8 b/ h$ S
4.2.2 线性回归的损失函数 113
1 H0 d: J4 n7 y+ ^1 X0 I/ W& C4.2.3 线性回归范例 113
! ?6 A9 d" ?) y7 @( l4.3 逻辑回归 1154 s" I$ ?1 C* L) t4 e' @) B7 G
4.3.1 逻辑回归—二分类 115* r% j i9 C. I1 l4 I% g; ^: z
4.3.2 逻辑回归—多分类及Softmax 119
第5章 K-NN算法 122
- L+ n+ ]. G4 Z7 s8 \5.1 K-NN概述 122
6 F$ ?0 L. b- n: i5.2 K-NN分类算法 1239 Z* K# g h, x7 G* r; w
5.3 K-NN回归算法 124
' _" y9 _( _# j5.4 K-NN的优缺点 125
/ W4 ~% c. @6 l% r* b0 W* k+ V& ]5.4.1 K-NN的优点 125
7 a3 W" k0 Q. F9 r7 N& Q5.4.2 K-NN的缺点 126
5 o# @! g+ m r9 A c5.5 K-NN工程范例 126
第6章 k-means 129+ u* m# e7 q" g5 N
6.1 k-means概述 129; {& p4 S5 L5 l' a
6.2 k-means核心算法 129! x2 _, e2 L# j# Q
6.3 k-means算法的优缺点 131- r# b! X; x* _3 S: j
6.3.1 k-means算法的优点 131
: ^5 w7 u; N! y& l6.3.2 k-means算法的缺点 131
9 f# l8 m, O7 x0 B6 r6.4 k-means工程范例 132
第7章 朴素贝叶斯 135
4 [* r: E$ H i8 R! Z# N; K( w7.1 朴素贝叶斯分类算法 135
5 `& x' h+ q8 Z; l7.2 朴素贝叶斯的实际应用 137
第8章 决策树和随机森林 141
4 P1 E+ j! t3 _, A3 W8.1 决策树 141
, X) r6 f% L4 T. l& S, g- ~8.1.1 决策树的主要组成元素 1415 L7 G# b n6 U" i, G
8.1.2 决策树的经典算法 1410 C6 k/ Y( i( C' E# x# J7 X1 k
8.1.3 决策树的优缺点 145# z D: O, y: M
8.1.4 决策树的过拟合和剪枝 145
- [; p& E9 A" `. G8.2 随机森林 146
第9章 支持向量机 149
4 W- p8 e; d# K% L" y4 k7 A' x9.1 SVM可以做什么 149
7 d% |" ^0 p9 j1 u+ o+ l6 H9.2 SVM的数学表述 151
( B$ ^+ p, m4 S% q: {7 D7 o9.2.1 决策面的数学表述 151$ N% X0 I5 p; ]* f/ r( a$ E
9.2.2 分类间隔的数学表述 152) N3 \2 e5 A% x* Z% f- n. `0 @
9.2.3 比较超平面的数学公式 153& I8 M# v2 j x% M( ~7 m5 k. L% j
9.2.4 决策面的数学表述 159" e; }; l- z4 @" [/ [1 k: {; f
9.3 SVM相关的化理论 160; x3 h, ?8 c' k) K/ l% [
9.3.1 感知机学习算法 160
! u! \+ g+ D. @: Z5 {9.3.2 SVM化问题 173
; I1 b8 `( F% t) G t. M/ ]9.4 硬间隔SVM 1747 p5 Z/ e" k: Y" O2 [, H
9.5 软间隔SVM 177
6 K! V* }$ b3 [1 T) d5 |& O9.6 核函数技巧 1827 |$ B# n2 o+ Q! o
9.7 多分类SVM 187. U" C% o, S5 u2 V+ S) G: U+ f2 C
9.8 SVM实践 193
第10章 PCA降维 1960 ^9 Q8 v: m$ J( n
10.1 降维概述 196/ A, V0 m3 P! L; j9 b1 M' P: Y
10.2 PCA降维实现原理 197
9 \* H3 b' o. v* J! U10.2.1 PCA的直观理解 197) Q7 F; q. U) _& ?8 g
10.2.2 PCA的理论基础—方差理论 199* R- {- \5 `3 O0 O* a
10.2.3 PCA的核心处理过程 1991 H5 B5 V! {; E
10.3 PCA实例 200
第11章 集成学习 2029 T6 z/ S4 D7 l% \. @1 b: h9 e3 t
11.1 集成学习概述 2025 Y1 f% [# p: B! S% Q6 f8 J
11.2 集成学习架构 203
" _4 @, g* W' b% i8 ]" m11.2.1 聚合法 203' I. g9 e. |2 h; m$ Q5 P9 p5 X
11.2.2 提升法 204
% z9 B8 S; h9 {4 C) d {3 T7 ]9 r11.2.3 堆叠法 2050 I7 j5 z5 ~# _( Q, o
11.3 典型的集成方法 206: A. k5 W1 J+ E3 e
11.3.1 平均法 206
( G) s8 O! O. X$ O" P! W$ L# c11.3.2 投票法 207, r; e: {. K6 c+ M
11.3.3 学习法 208
深度学习进阶篇
第12章 深度神经网络 212) Y" @ Q) D" x- J9 P7 Y
12.1 神经元 212
, o; v% S; W; D/ j5 M) K12.2 激活函数 214- ?3 I$ }; l' ?7 N+ W
12.2.1 Sigmoid 214
! z2 l0 Q' X2 Z O12.2.2 tanh 216# l }, T5 L+ ?8 M1 S
12.2.3 ReLU 217, ~- v( ~" G0 H6 V
12.2.4 Leaky ReLU 218) T! j- O1 E. k
12.2.5 ReLU的其他变种 2190 M1 c) H6 f7 W1 J. M" ?
12.2.6 激活函数的选择 220 P4 O% G1 C* N7 H
12.3 前向传播和后向传播算法 220
8 V( r' o- F) Q& _3 C. t* ?$ ]# _12.4 损失函数 2248 p; @0 _3 ]) J) I" ` F
12.4.1 分类场景 225
7 f4 }% M! B+ l1 |9 I( }$ y12.4.2 回归场景 228
1 s, R% A- J& |8 Z; ]5 Q12.4.3 其他任务类型的损失函数 230
第13章 卷积神经网络 232
( \- g" _, U/ V1 @% ?- x7 d' @13.1 CNN发展历史简述 232
o# Y; ^) y7 l& y' _8 P2 W, o13.2 CNN的核心组成元素 2338 L& E, @. f, P, i' v4 G8 A2 a
13.2.1 卷积层 233
1 N `4 z: @/ c( Y0 }13.2.2 池化层 235! b5 y9 }' i, c. K4 N) s9 x
13.2.3 全连接层 236( f @# M' B5 ~7 Z8 {
13.2.4 Softmax层 237
0 I3 m( W3 ] Q8 I13.3 CNN经典框架 237
: Y" o$ J; q3 P$ s2 e! p13.3.1 LeNet 2377 o) n8 J$ C+ i0 K6 G! ?
13.3.2 AlexNet 238
7 \& G* _: s& d( T13.3.3 VGG 240
( A& F* z4 ^/ J5 ^1 f" M$ S13.3.4 GoogLeNet 242: i0 A0 l! l2 m O$ f& J
13.3.5 ResNet 245
+ i' L- ~% f* V. a1 I7 v13.4 CNN的典型特性 249
; \ Y& |1 M1 }( F13.4.1 CNN位移不变性 250
6 j c- V& _ b$ S( G+ v! n% F13.4.2 CNN尺度不变性 252
3 O( o; j9 y& f. s. |) ?13.4.3 CNN旋转不变性 253
) c% [" |% y) o: D# d' G8 |* L$ ]& `13.4.4 CNN视角不变性 255
第14章 RNN与LSTM 256
+ H! p# J% M$ P$ f% z8 p, }8 B14.1 RNN 2561 N, F" U/ L1 A+ m) s: s+ p
14.2 RNN的多种形态 257
& N$ g% t/ N" L% G14.3 RNN存在的不足 258# G; B3 o% q% }& s8 `% K- D" I
14.4 LSTM 2594 b7 H* m: ]; H& [: P# d8 k1 d) t
14.5 LSTM核心框架 259- ]) ~5 m6 E* S; O) O& y# r, Z( S! _3 [8 U
14.5.1 遗忘门 261. a( z9 Y5 X3 i
14.5.2 输入门 261/ t, B& I+ K4 U. ^
14.5.3 输出门 262
! _' e; [- z1 u7 d3 G6 h- a14.6 GRU 263
第15章 深度强化学习 265
! `) h5 ^, a4 v1 O* D15.1 强化学习和MDP 265
% M! m& K5 W3 ?15.1.1 强化学习的基础概念 2658 M( Z) ]! ]6 p* R' \8 q/ |7 f
15.1.2 MDP 266
" ~! A$ ~: e( X5 Z1 O- a+ y15.1.3 强化学习的核心三要素 267
+ z, a R! V$ M3 N15.2 MDP问题的解决方案分类 268 J& ~5 W- H; @
15.3 基于模型的动态规划算法 269
1 K, D" [0 _+ d! M; |15.4 基于无模型的强化学习算法 272: o3 T) H! t2 y
15.4.1 蒙特·卡罗强化学习算法 272
5 m6 q$ ?( r( k4 E; X* K2 f15.4.2 时间差分算法 275
- Z' s+ E9 V' u% L7 G' H4 H2 C15.5 DQN 2781 _4 y! m( H1 v/ V* o
15.6 基于策略的强化学习算法 2801 e+ x6 L2 b9 X4 V
15.6.1 有限差分策略梯度 283
3 A2 G! z$ z0 `0 F# k! J15.6.2 蒙特·卡罗策略梯度 283
第16章 MCTS 285
; P( X4 s+ n' K/ T: X16.1 MCTS概述 285
$ [( U; o. O4 c) L% v; i16.2 MCTS算法核心处理过程 286
2 Q, x' @( ?& Q16.3 UCB和UCT 286 _, S& _3 B7 P
16.4 MCTS实例解析 288
机器学习应用实践及相关原理
第17章 数据集的建设 292$ O/ ]5 P6 f! x% m1 R
17.1 数据集建设的核心目标 292; R/ L* T* W% z) {6 T& R0 h) N+ u
17.2 数据采集和标注 294/ o& ]; ?& ~7 j" V
17.2.1 数据从哪来 294
; K* ]% E" E+ D1 l( k9 l3 E8 z4 g4 |17.2.2 数据分布和多样性 296' H' {- }" D7 i2 @& @
17.2.3 如何扩大数据量 298
/ C' }7 M& u2 a( ] n4 ^17.3 数据分析和处理 299
+ i0 ^; w8 w% O4 h5 ^: E2 G a: A; o17.3.1 数据集分析的典型方法 299# b" o+ w, l. ^/ e
17.3.2 标签类别合理性 301
' S0 [2 {5 U9 Z: W) x17.3.3 数据清洗 303
第18章 CNN训练技巧 304" ^: d- o# F5 i) {
18.1 数据预处理 304
5 P4 B, [7 s$ @/ J8 [4 F18.1.1 数据零中心化 304$ l; ~' j( \; q' a5 F/ W
18.1.2 数据标准化 306
" f8 D) }9 Q7 Z6 }- N6 D18.1.3 尺寸调整 3064 L8 C4 b( |$ I+ R v* C# v6 b
18.1.4 其他 307; R0 ]4 }6 J9 C, n; P x* ?% d
18.2 数据增强 308
) {, z% [; }) O% U18.3 CNN核心组件择优 309
7 D0 t2 U) c& B18.3.1 激活函数 309
" Y5 ?. |9 u, y18.3.2 超参数设定 309
( _: F) `! {5 P, a1 L18.4 参数初始化策略 3106 O8 S1 q" J1 R2 G- w& a
18.4.1 全零初始化策略 310% B9 q0 K2 B# C) _+ d
18.4.2 随机初始化策略 311
+ f. d% T- c+ w5 a8 e18.4.3 采用预训练模型 319" c5 M* u+ T, Q9 e- y P! M
18.5 模型过拟合解决方法 319
( y4 p' d! O' M6 r18.5.1 正则化 319! U1 t' x M4 W8 R
18.5.2 批标准化 320
! D+ b/ W. R- _" ^* W$ I0 X18.6 模型的可解释性 328) m! M5 b- j' L7 O# N( |' s
18.6.1 反卷积网络 331, g3 x- C- m! R$ B: @# P: D
18.6.2 类别激活映射 334
% d2 U: p2 E: s U# F0 \6 c/ p18.6.3 LIME 339$ k. i" D# w% c) [
18.6.4 可视化集成工具Darkon 344: {1 z( u( o @8 v+ n
18.7 Auto ML 346
第19章 CV和视觉识别经典模型 348: M; m: |! M3 b! e% B5 s
19.1 CV发展简史 348" A: I4 a# j2 I6 z4 f% y
19.2 视觉识别概述 353! B0 q4 E& x" F, O9 e$ b& ^/ a$ r4 r
19.3 R-CNN 359. M* ]3 z5 K% {# V% x" o# b
19.3.1 R-CNN简述 359
3 H6 f4 i- R8 g- `6 L9 E" Z19.3.2 R-CNN中的候选区域 3600 S+ S, H2 T5 u. {
19.3.3 R-CNN算法处理流程 361
. O% M# a4 P& Z8 C. X19.4 Fast R-CNN 364- X/ x- u$ b6 _1 r" K
19.5 SPP-Net 365
I- {! f9 D- F8 _5 b) p& k; v" M$ E. x19.5.1 空间金字塔池化 366
5 [+ r# }4 d" E5 R19.5.2 特征图和原图的映射关系 367# M2 ]0 e% e9 w" V, I0 C
19.5.3 基于SPP-Net的目标识别 367: f/ V5 b( z7 l9 D- Q
19.6 Faster R-CNN 3688 ]6 v/ J; \2 n# u+ l
19.6.1 Faster R-CNN简述 368
8 H8 o7 S. }) v1 o19.6.2 候选区域网络 370
; y" j' N) u+ N Q* O7 J) Q0 J19.6.3 分类器和边框回归 375
+ Y3 T% X% D. W& Y# Z. e1 \19.7 YOLO 375" U( T7 M8 ^7 ~6 \ a5 T! _
19.8 SSD 383+ R4 m& S u) j9 k0 B" F: z
19.8.1 SSD的网络框架 383
$ J9 U1 D% Z0 |. Q* ^6 C# J19.8.2 SSD的应用推理过程 384( u M' g- d2 k
19.8.3 SSD的性能评估和缺点 388
$ i7 i+ u- N6 n7 o" u19.9 不基于CNN来实现目标识别 390' L) i, E7 ~" K O: B- O0 d$ V1 E, x
19.9.1 相关的OpenCV函数 390
+ W8 G% R, C: m) G. k7 [8 R) z19.9.2 利用OpenCV识别形状物体范例 394
第20章 自然语言处理和CNN 397
, u6 j- ]1 j* Z; S20.1 NLP简述 3974 W- N: N! ~1 V' @& M/ K8 }" O
20.2 NLP发展历史 399
! }- n+ [% Z' k0 p3 j B9 p20.3 自然语言基础 400
$ L% s+ {, C* K& n& i20.4 词的表达方式 403/ H. t- w# q4 ?+ `
20.5 自然语言模型 405
- N, Y7 r% T+ Q) W; I20.5.1 基于N-Gram的语言模型 406
& R; L F; z: G4 s20.5.2 基于神经网络的语言模型—经典NNLM 409
- D# V6 a e8 ]6 O& d+ D6 I2 f20.5.3 基于神经网络的语言模型—NNLM的改进者CBOW模型 411
( g9 U' {' n: }5 j20.5.4 基于神经网络的语言模型—NNLM的改进者Skip-gram模型 414
' V1 B( B3 w6 N2 h! T20.6 word2vec 4164 q5 `% Q' n% Z
20.6.1 word2vec简介 416
8 n/ L# Q/ h" U/ B7 F3 Q20.6.2 word2vec源码与编译 417
) \/ F2 D- C- t7 U: N; e" a" L: F3 w* ^20.6.3 word2vec使用范例 418
' o- V# w$ E0 f' n0 P5 O20.7 常用语料库 420 u9 A' t0 Q7 O/ R: e
20.8 NLP应用：文本分类 424
4 |8 Z6 U/ u8 \20.8.1 传统的文本分类方法 424
Z5 H6 x$ C0 d9 y20.8.2 基于深度学习的文本分类方法 425
第21章 自然语言处理和CNN 430
' _ m0 Q9 d+ Y, R21.1 应用程序场景识别背景 430
" K% i& K% s1 W6 l3 E/ V% C21.2 特征向量 431
/ s8 O7 m5 v8 _. f5 [21.3 数据采集 432
2 \7 t2 W: A% Q" y21.4 算法模型 433 D/ h; L$ `2 I& Q! g
21.5 落地应用 433
第22章 软件自动修复 436! S: x$ {+ ^! ?% ~3 q5 X
22.1 什么是软件自动修复 436
6 k* B. t) R$ I. T$ A1 w$ k22.1.1 软件自动修复的定义 436. N, X7 u! p/ V4 ]% n8 n( C0 _1 E
22.1.2 软件自动修复的价值 437
+ D& N8 l, I& e22.2 软件自动修复基础知识 437: P: @7 s- C& c. t) [0 x+ ]: ^0 C
22.2.1 软件自动修复技术分类 437
- V+ r9 k0 h: c6 U7 ~22.2.2 软件自动修复基础概念 439
, C+ v6 z" G& E( B4 ~9 k22.3 阶段1：缺陷定位 441' k( Q9 Y6 Z2 P% O) D1 w) C% [
22.3.1 基于程序频谱的缺陷定位 443, R$ S0 Z5 Y7 H! T9 }$ L
22.3.2 SFL中测试套件的构造 447
* ^! K$ `5 {, J& P5 I22.3.3 SFL中程序频谱的构造 451
2 k: v- R3 O J% z. v* ^22.4 阶段2：补丁生成 458
/ y2 ~" w- n7 u3 f22.4.1 基于搜索的补丁生成和自动修复 459% k- R6 o3 p* a$ s
22.4.2 基于模板的补丁生成和自动修复 4600 F# o4 {: h$ A+ g, F; n
22.5 APR领域经典框架 4627 o8 ^ i3 e. \0 Y0 N+ v
22.5.1 Facebook SapFix 463
/ y9 R- C; S; f1 Y% m) t22.5.2 Microsoft DeepCoder 4655 q+ `: k) S. e# \% n
22.5.3 GenProg 474
第23章 基于强化学习的经典应用—AlphaGO 479
4 y+ q4 [( ?, @( Z) z) X23.1 AlphaGO简述 479" |& V8 `9 |$ g- c* [2 T3 D
23.2 AlphaGO核心原理 480
+ U* J% ^( f8 c- U' \23.3 策略网络 481/ s. F" z5 x7 E2 f& m# B2 ?
23.4 估值网络 483! I; S3 a8 q; d, t+ i1 Y
23.5 MCTS 483
机器学习平台篇
第24章 分布式机器学习框架基础知识 488
! v2 x7 }4 A3 o+ f' i% x24.1 分布式机器学习核心理念 488) U) j4 v0 g# U
24.2 GPU硬件设备 491& v, f: }, ~" f2 j5 ]
24.2.1 GPU架构 492
* h& h) q3 E' s: L24.2.2 GPU的共享访问 494
0 u; K0 g; K5 Z; Y# f24.3 网络标准 498
5 y9 u1 b: j! o, y0 v% e( G24.3.1 Ethernet 498
' X) m5 M4 U0 [7 {! \& E6 v24.3.2 InfiniBand 4997 s* f: G% E+ u9 D
24.4 分布式通信框架 5009 r1 r( T7 b+ Q2 y9 Y1 x' r
24.4.1 MPI 5005 B$ k$ [! p3 F/ U J @8 Z3 S. {4 o
24.4.2 P2P和聚合通信 503$ k" L" \% W* e% R2 K) v
24.4.3 NCCL 505- k' Z, \: l0 @$ \8 x$ ^
24.4.4 NV-Link 5087 F6 r/ ]" l$ B5 L- i6 G! j
24.4.5 RDMA 5103 a3 I( G( P0 S( u. H3 H
24.5 经典分布式ML框架Caffe-MPI 511
第25章 Tensorflow 5143 G+ O+ {9 e% B, F5 y0 @4 |! g- c
25.1 Tensorflow安装过程 514; f1 [& K" }8 C7 z
25.2 Tensorflow基础知识 516- L" C5 u* ` i" t' N- p( M
25.2.1 Tensorflow核心概念 516- r5 O. a' O& A9 Q) x: I7 X
25.2.2 Tensorflow模型/数据的保存和恢复 519
0 ~6 [) x& P/ u/ k, h4 l$ v25.2.3 Tensorflow模型fine-tuning 523
9 P0 z9 |5 d8 p! b/ E* P3 H25.2.4 Tensorflow模型调试 526) i7 `1 H h# i( B
25.2.5 Tensorflow的多语言支持 528 N+ f: W3 D4 a( p7 r9 {( L7 z
25.2.6 可视化利器TensorBoard 529: \! g+ t+ |; u5 U8 R. |9 r
25.3 Tensorflow分布式训练 533
; O7 }& T% U) }& j25.3.1 Tensorflow的分布式原理 533! }) c: | q5 _2 y
25.3.2 单机多GPU下的并行计算 535
( T7 g& ^, Z9 W9 Q+ f5 P/ G25.3.3 多机多GPU下的分布式计算 5422 ^, U' m) t" }0 q, t2 x: K
25.4 Tensorflow分布式部署 5492 ~4 v* l$ D* A: W$ [9 r1 ?0 H0 u# w
25.4.1 Tensorflow Serving概述 5490 u# s/ o% I- w* y0 y
25.4.2 基于GPU的Tensorflow Serving 549
8 J. I& V8 ^3 X$ H25.4.3 Tensorflow Serving的核心概念 552; x! O: W% z- s! j/ N
25.4.4 Tensorflow模型分布式部署实例 553
2 K+ I: B8 `' Q' H0 {25.5 Tensorflow范例解析 560& v0 i: j. \/ d$ C8 x6 q% a
25.6 Tensorflow的“变种” 563- G& Q$ Q9 j( Z" E& ?4 v% c: c
25.6.1 Tensorflow Lite 5638 _! K3 P4 H- g6 r* z& \' A
25.6.2 Tensorflow RS 565
第26章 Caffe 568
7 D0 a" I* b5 j( a26.1 Caffe的安装 568
+ f4 y/ e+ x/ b# M6 i4 E26.1.1 Ubuntu下安装Caffe 568
% M) J( Y6 s# v4 V( _1 C4 O% Z26.1.2 Windows下安装Caffe 572: q) P9 A' Y2 B% E* _4 C
26.2 Caffe支持的数据集格式 5876 D; y1 j3 d8 [6 P' Y( m
26.2.1 LevelDB 587
7 q q( i4 w3 m) f26.2.2 LMDB 590
# a/ c$ I. L" Q; a26.2.3 数据库的生成 592- H' c; x1 c& j% s; T* z8 w
26.3 Caffe中的网络模型构建 594
+ z) \* J1 [3 W: | i) ]$ b$ u8 Z26.4 Google Protocol Buffer 598 Q/ I/ y7 v% X1 Z
26.5 Caffe2源码结构 600
% R2 ]3 V; o" x3 D2 s6 q26.6 Caffe工程范例 601
; y- R& E, a5 ~$ [2 X; a* \26.7 Caffe中的Model Zoo 607
第27章 scikit-learn 609* S" B9 a" F1 Z! h
27.1 scikit-learn的安装 6109 J J6 t/ O0 G/ f0 K
27.2 scikit-learn中的机器学习算法 610$ H+ _# v0 d6 t4 R3 n9 l
27.2.1 分类 610
6 H' F0 f- q! ?9 r4 T2 ]! @( W; @27.2.2 回归 611
, c' d: p3 o9 {. P- a27.2.3 聚类 611
1 @# X3 E0 E" ^2 P) ^% L27.2.4 降维 612
: R: I3 f4 C' D H. }7 I27.3 scikit-learn中的Model selection 613
; l. z# S6 H. k5 U/ K% w4 D27.3.1 网络搜索 613! r# b& c; E& N1 }8 I9 ~
27.3.2 交叉验证 616; G- m/ M" `3 m; [4 g9 c& A3 G7 p7 b
27.3.3 度量标准 616 @; b1 P. \$ S8 d2 ~; z9 d- s
27.4 scikit-learn中的预处理 619
( _& v3 s, O6 @1 j" r27.4.1 数据标准化等预处理 619
7 g7 ^+ w, O1 z4 t/ c0 _27.4.2 数据特征提取预处理 621
第28章 主流AI云平台 628* r4 `7 t5 D4 N! z j1 r6 A- |9 @
28.1 Microsoft OpenPAI 628 \- i, I9 u( Q) D' Z) v
28.2 Google Cloud 631
" W2 z) M7 y: r d2 j3 n5 ~28.3 Baidu 631+ f8 ? Q |5 E ^
28.3.1 百度AI云服务 6327 ~* U7 q3 v! i
28.3.2 PaddlePaddle 6367 J! U) f D# t5 z9 a1 y
28.4 Alibaba 6374 ?& D5 J# F O$ n" u
28.4.1 阿里飞天平台 6385 }+ d4 @7 C) B4 y
28.4.2 MaxCompute平台 639$ R, B1 h' |* n; b" O
28.4.3 PAI 640
第29章 图像处理基础 650
' E# d" s4 }/ \6 T" W2 D+ t4 a( f29.1 光、色彩和人类视觉系统 650. m8 o9 V. G& @8 [+ V
29.2 图像的颜色模型 653$ y7 {7 E! ^ `& _' \! [& T' ]5 a
29.3 图像的基本属性 655
4 m/ D3 r6 J0 D' E! G: @29.3.1 灰度值 655! l! A5 C! [ N' K. G
29.3.2 亮度 6565 }2 R# t9 z5 x6 b8 ?" \
29.3.3 对比度 657# Z* h }" J- x& e
29.3.4 色相 658
1 X4 W. `# ^ I! j' g29.3.5 饱和度 658
' F% \# E, P0 G29.4 图像特征 659
$ W" B Q; t* `2 h$ k: Q1 @29.4.1 颜色特征 659
) |$ |6 c; p+ P6 S' B6 b+ O29.4.2 纹理特征 660# K8 a4 {, W- b X- E
29.4.3 形状特征 661
8 \5 q+ Y# k' y& L" f* [29.5 图像的典型特征描述子 661
; A1 D. @' T/ Z1 C29.5.1 LBP 661( z g! J0 P6 p* e
29.5.2 HOG 677* Y* _( w. L8 h( H1 w+ R; m4 Q
29.5.3 Haar-like 特征 6817 t; I: e6 i U) X8 F
29.5.4 图像的傅里叶变换 686. S1 E! ?& T' L+ W- B
29.6 图像处理实例(图像质量检测) 690
第30章 程序切片技术 693
& ~; q1 F! p* q) U$ D30.1 程序切片综述 693
+ W u& a; M2 _, w; H30.2 程序切片基础知识 695, a# {2 ^* x- h3 c1 k: R- B
30.2.1 控制流图 6952 J) K1 w& B- C8 u
30.2.2 控制流分析 699
9 j! I! V/ U2 I0 _30.2.3 数据流 706 java8.com& d( k# ?% A+ J& A# H
30.3 静态切片技术 715! U2 j4 R3 d) B5 c0 m6 T1 Z$ D
30.3.1 基本定义 715
' L+ c5 a# R% I) a" l8 F/ B/ z& g30.3.2 静态切片算法 717
- V, m C' c e7 o5 C9 E; ]30.4 动态切片技术 721
6 z* |: @8 }! |# E3 }30.4.1 动态切片基本概念 721
5 _! F2 Z! i) [! T. |30.4.2 动态切片算法概述 723/ Z1 f( U6 m( | l5 J, t' d
30.4.3 基于PDG的动态切片算法 723
第31章 业界主流数据集分析 726$ M+ P/ m- G* D0 r
31.1 ImageNet简述 726
0 ~( |7 h6 Z% B6 W: V% R31.2 ImageNet的构建逻辑 726: F% _: i# L4 n) I& M
31.3 ImageNet数据源的选择与处理 730& X3 ?' a+ K& h5 ~: `. S5 ^1 P
31.4 ImageNet的下载 733
参考文献 736
电子书
440 人阅读
|
19 人回复
|
2024-05-11
