章引言1
1.1本書面向的讀者7
1.2深度學(xué)習(xí)的歷史趨勢8
1.2.1神經(jīng)網(wǎng)絡(luò)的眾多名稱和命運(yùn)變遷8
1.2.2與日俱增的數(shù)據(jù)量12
1.2.3與日俱增的模型規(guī)模13
1.2.4與日俱增的精度、復(fù)雜度和對現(xiàn)實(shí)世界的沖擊15

部分應(yīng)用數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)
第2章線性代數(shù)19
2.1標(biāo)量、向量、矩陣和張量19
2.2矩陣和向量相乘21
2.3單位矩陣和逆矩陣22
2.4線性相關(guān)和生成子空間23
2.5范數(shù)24
2.6特殊類型的矩陣和向量25
2.7特征分解26
2.8奇異值分解28
2.9Moore-Penrose偽逆28
2.10跡運(yùn)算29
2.11行列式30
2.12實(shí)例：主成分分析.30
第3章概率與信息論.34
3.1為什么要使用概率34
3.2變量35
3.3概率分布36
3.3.1離散型變量和概率質(zhì)量函數(shù)36
3.3.2連續(xù)型變量和概率密度函數(shù)36
3.4邊緣概率37
3.5條件概率37
3.6條件概率的鏈?zhǔn)椒▌t38
3.7獨(dú)立性和條件獨(dú)立性38
3.8期望、方差和協(xié)方差38
3.9常用概率分布39
3.9.1Bernoulli分布40
3.9.2Multinoulli分布40
3.9.3高斯分布40
3.9.4指數(shù)分布和Laplace分布41
3.9.5Dirac分布和經(jīng)驗(yàn)分布42
3.9.6分布的混合42
3.10常用函數(shù)的有用性質(zhì)43
3.11貝葉斯規(guī)則45
3.12連續(xù)型變量的技術(shù)細(xì)節(jié)45
3.13信息論47
3.14結(jié)構(gòu)化概率模型49
第4章數(shù)值計(jì)算52
4.1上溢和下溢52
4.2病態(tài)條件53
4.3基于梯度的優(yōu)化方法53
4.3.1梯度之上：Jacobian和Hessian矩陣56
4.4約束優(yōu)化60
4.5實(shí)例：線性小二乘61
第5章機(jī)器學(xué)習(xí)基礎(chǔ).63
5.1學(xué)習(xí)算法63
5.1.1任務(wù)T63
5.1.2性能度量P66
5.1.3經(jīng)驗(yàn)E66
5.1.4示例：線性回歸68
5.2容量、過擬合和擬合70
5.2.1沒有免費(fèi)午餐定理73
5.2.2正則化74
5.3超參數(shù)和驗(yàn)證集76
5.3.1交叉驗(yàn)證76
5.4估計(jì)、偏差和方差.77
5.4.1點(diǎn)估計(jì)77
5.4.2偏差78
5.4.3方差和標(biāo)準(zhǔn)差80
5.4.4權(quán)衡偏差和方差以小化均方誤差81
5.4.5一致性82
5.5大似然估計(jì)82
5.5.1條件對數(shù)似然和均方誤差84
5.5.2大似然的性質(zhì)84
5.6貝葉斯統(tǒng)計(jì)85
5.6.1大后驗(yàn)(MAP)估計(jì)87
5.7監(jiān)督學(xué)習(xí)算法88
5.7.1概率監(jiān)督學(xué)習(xí)88
5.7.2支持向量機(jī)88
5.7.3其他簡單的監(jiān)督學(xué)習(xí)算法90
5.8無監(jiān)督學(xué)習(xí)算法91
5.8.1主成分分析92
5.8.2k-均值聚類.94
5.9梯度下降94
5.10構(gòu)建機(jī)器學(xué)習(xí)算法96
5.11促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn)96
5.11.1維數(shù)災(zāi)難97
5.11.2局部不變性和平滑正則化97
5.11.3流形學(xué)習(xí)99

第2部分深度網(wǎng)絡(luò)：現(xiàn)代實(shí)踐
第6章深度前饋網(wǎng)絡(luò)105
6.1實(shí)例：學(xué)習(xí)XOR107
6.2基于梯度的學(xué)習(xí)110
6.2.1代價函數(shù)111
6.2.2輸出單元113
6.3隱藏單元119
6.3.1整流線性單元及其擴(kuò)展120
6.3.2logisticsigmoid與雙曲正切函數(shù)121
6.3.3其他隱藏單元122
6.4架構(gòu)設(shè)計(jì)123
6.4.1近似性質(zhì)和深度.123
6.4.2其他架構(gòu)上的考慮.126
6.5反向傳播和其他的微分算法.126
6.5.1計(jì)算圖127
6.5.2微積分中的鏈?zhǔn)椒▌t.128
6.5.3遞歸地使用鏈?zhǔn)椒▌t來實(shí)現(xiàn)反向傳播128
6.5.4全連接MLP中的反向傳播計(jì)算131
6.5.5符號到符號的導(dǎo)數(shù).131
6.5.6一般化的反向傳播.133
6.5.7實(shí)例：用于MLP訓(xùn)練的反向傳播.135
6.5.8復(fù)雜化137
6.5.9深度學(xué)習(xí)界以外的微分137
6.5.10高階微分138
6.6歷史小記139
第7章深度學(xué)習(xí)中的正則化141
7.1參數(shù)范數(shù)懲罰142
7.1.1L2參數(shù)正則化142
7.1.2L1正則化144
7.2作為約束的范數(shù)懲罰146
7.3正則化和約束問題147
7.4數(shù)據(jù)集增強(qiáng)148
7.5噪聲魯棒性149
7.5.1向輸出目標(biāo)注入噪聲.150
7.6半監(jiān)督學(xué)習(xí)150
7.7多任務(wù)學(xué)習(xí)150
7.8提前終止151
7.9參數(shù)綁定和參數(shù)共享156
7.9.1卷積神經(jīng)網(wǎng)絡(luò)156
7.10稀疏表示.157
7.11Bagging和其他集成方法.158
7.12Dropout159
7.13對抗訓(xùn)練.165
7.14切面距離、正切傳播和流形正切分類器167
第8章深度模型中的優(yōu)化.169
8.1學(xué)習(xí)和純優(yōu)化有什么不同169
8.1.1經(jīng)驗(yàn)風(fēng)險小化169
8.1.2代理損失函數(shù)和提前終止170
8.1.3批量算法和小批量算法170
8.2神經(jīng)網(wǎng)絡(luò)優(yōu)化中的挑戰(zhàn)173
8.2.1病態(tài)173
8.2.2局部極小值174
8.2.3高原、鞍點(diǎn)和其他平坦區(qū)域.175
8.2.4懸崖和梯度爆炸177
8.2.5長期依賴177
8.2.6非梯度178
8.2.7局部和全局結(jié)構(gòu)間的弱對應(yīng)178
8.2.8優(yōu)化的理論限制179
8.3基本算法180
8.3.1梯度下降180
8.3.2動量181
8.3.3Nesterov動量.183
8.4參數(shù)初始化策略184
8.5自適應(yīng)學(xué)習(xí)率算法187
8.5.1AdaGrad187
8.5.2RMSProp188
8.5.3Adam189
8.5.4選擇正確的優(yōu)化算法.190
8.6二階近似方法190
8.6.1牛頓法190
8.6.2共軛梯度191
8.6.3BFGS193
8.7優(yōu)化策略和元算法194
8.7.1批標(biāo)準(zhǔn)化194
8.7.2坐標(biāo)下降196
8.7.3Polyak平均197
8.7.4監(jiān)督預(yù)訓(xùn)練197
8.7.5設(shè)計(jì)有助于優(yōu)化的模型199
8.7.6延拓法和課程學(xué)習(xí).199
第9章卷積網(wǎng)絡(luò)201
9.1卷積運(yùn)算201
9.2動機(jī)203
9.3池化207
9.4卷積與池化作為一種無限強(qiáng)的先驗(yàn)210
9.5基本卷積函數(shù)的變體211
9.6結(jié)構(gòu)化輸出218
9.7數(shù)據(jù)類型219
9.8高效的卷積算法220
9.9或無監(jiān)督的特征220
9.10卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)221
9.11卷積網(wǎng)絡(luò)與深度學(xué)習(xí)的歷史226
0章序列建模：循環(huán)和遞歸網(wǎng)絡(luò)227
10.1展開計(jì)算圖228
10.2循環(huán)神經(jīng)網(wǎng)絡(luò)230
10.2.1導(dǎo)師驅(qū)動過程和輸出循環(huán)網(wǎng)絡(luò)232
10.2.2計(jì)算循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度233
10.2.3作為有向圖模型的循環(huán)網(wǎng)絡(luò)235
10.2.4基于上下文的RNN序列建模237
10.3雙向RNN239
10.4基于編碼-解碼的序列到序列架構(gòu)240
10.5深度循環(huán)網(wǎng)絡(luò)242
10.6遞歸神經(jīng)網(wǎng)絡(luò)243
10.7長期依賴的挑戰(zhàn)244
10.8回聲狀態(tài)網(wǎng)絡(luò)245
10.9滲漏單元和其他多時間尺度的策略247
10.9.1時間維度的跳躍連接.247
10.9.2滲漏單元和一系列不同時間尺度247
10.9.3刪除連接248
10.10長短期記憶和其他門控RNN248
10.10.1LSTM248
10.10.2其他門控RNN250
10.11優(yōu)化長期依賴.251
10.11.1截?cái)嗵荻?51
10.11.2引導(dǎo)信息流的正則化252
10.12外顯記憶253
1章實(shí)踐方法論256
11.1性能度量.256
11.2默認(rèn)的基準(zhǔn)模型258
11.3決定是否收集更多數(shù)據(jù)259
11.4選擇超參數(shù)259
11.4.1手動調(diào)整超參數(shù)259
11.4.2自動超參數(shù)優(yōu)化算法.262
11.4.3網(wǎng)格搜索262
11.4.4搜索263
11.4.5基于模型的超參數(shù)優(yōu)化264
11.5調(diào)試策略.264
11.6示例：多位數(shù)字識別267
2章應(yīng)用.269
12.1大規(guī)模深度學(xué)習(xí)269
12.1.1快速的CPU實(shí)現(xiàn)269
12.1.2GPU實(shí)現(xiàn)269
12.1.3大規(guī)模的分布式實(shí)現(xiàn).271
12.1.4模型壓縮271
12.1.5動態(tài)結(jié)構(gòu)272
12.1.6深度網(wǎng)絡(luò)的專用硬件實(shí)現(xiàn)273
12.2計(jì)算機(jī)視覺274
12.2.1預(yù)處理275
12.2.2數(shù)據(jù)集增強(qiáng)277
12.3語音識別.278
12.4自然語言處理279
12.4.1n-gram.280
12.4.2神經(jīng)語言模型281
12.4.3高維輸出282
12.4.4結(jié)合n-gram和神經(jīng)語言模型286
12.4.5神經(jīng)機(jī)器翻譯287
12.4.6歷史展望289
12.5其他應(yīng)用.290
12.5.1推薦系統(tǒng)290
12.5.2知識表示、推理和回答292

第3部分深度學(xué)習(xí)研究
3章線性因子模型297
13.1概率PCA和因子分析297
13.2獨(dú)立成分分析298
13.3慢特征分析300
13.4稀疏編碼.301
13.5PCA的流形解釋304
4章自編碼器306
14.1完備自編碼器306
14.2正則自編碼器307
14.2.1稀疏自編碼器307
14.2.2去噪自編碼器309
14.2.3懲罰導(dǎo)數(shù)作為正則.309
14.3表示能力、層的大小和深度310
14.4編碼器和解碼器.310
14.5去噪自編碼器詳解311
14.5.1得分估計(jì)312
14.5.2歷史展望314
14.6使用自編碼器學(xué)習(xí)流形314
14.7收縮自編碼器317
14.8預(yù)測稀疏分解319
14.9自編碼器的應(yīng)用319
5章表示學(xué)習(xí)321
15.1貪心逐層無監(jiān)督預(yù)訓(xùn)練322
15.1.1何時以及為何無監(jiān)督預(yù)訓(xùn)練有效有效323
15.2遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)326
15.3半監(jiān)督解釋因果關(guān)系.329
15.4分布式表示332
15.5得益于深度的指數(shù)增益336
15.6提供發(fā)現(xiàn)潛在原因的線索337
6章深度學(xué)習(xí)中的結(jié)構(gòu)化概率模型339
16.1非結(jié)構(gòu)化建模的挑戰(zhàn).339
16.2使用圖描述模型結(jié)構(gòu).342
16.2.1有向模型342
16.2.2無向模型344
16.2.3配分函數(shù)345
16.2.4基于能量的模型346
16.2.5分離和d-分離.347
16.2.6在有向模型和無向模型中轉(zhuǎn)換350
16.2.7因子圖352
16.3從圖模型中采樣353
16.4結(jié)構(gòu)化建模的優(yōu)勢353
16.5學(xué)習(xí)依賴關(guān)系354
16.6推斷和近似推斷354
16.7結(jié)構(gòu)化概率模型的深度學(xué)習(xí)方法.355
16.7.1實(shí)例：受限玻爾茲曼機(jī)356
7章蒙特卡羅方法359
17.1采樣和蒙特卡羅方法.359
17.1.1為什么需要采樣359
17.1.2蒙特卡羅采樣的基礎(chǔ).359
17.2重要采樣.360
17.3馬爾可夫鏈蒙特卡羅方法362
17.4Gibbs采樣.365
17.5不同的峰值之間的混合挑戰(zhàn)365
17.5.1不同峰值之間通過回火來混合367
17.5.2深度也許會有助于混合368
8章直面配分函數(shù)369
18.1對數(shù)似然梯度369
18.2大似然和對比散度370
18.3偽似然375
18.4得分匹配和比率匹配.376
18.5去噪得分匹配378
18.6噪聲對比估計(jì)378
18.7估計(jì)配分函數(shù)380
18.7.1退火重要采樣382
18.7.2橋式采樣384
9章近似推斷385
19.1把推斷視作優(yōu)化問題.385
19.2期望大化386
19.3大后驗(yàn)推斷和稀疏編碼387
19.4變分推斷和變分學(xué)習(xí).389
19.4.1離散型潛變量390
19.4.2變分法394
19.4.3連續(xù)型潛變量396
19.4.4學(xué)習(xí)和推斷之間的相互作用397
19.5學(xué)成近似推斷397
19.5.1醒眠算法398
19.5.2學(xué)成推斷的其他形式.398
第20章深度生成模型399
20.1玻爾茲曼機(jī)399
20.2受限玻爾茲曼機(jī)400
20.2.1條件分布401
20.2.2訓(xùn)練受限玻爾茲曼機(jī).402
20.3深度信念網(wǎng)絡(luò)402
20.4深度玻爾茲曼機(jī)404
20.4.1有趣的性質(zhì)406
20.4.2DBM均勻場推斷406
20.4.3DBM的參數(shù)學(xué)習(xí)408
20.4.4逐層預(yù)訓(xùn)練408
20.4.5聯(lián)合訓(xùn)練深度玻爾茲曼機(jī)410
20.5實(shí)值數(shù)據(jù)上的玻爾茲曼機(jī)413
20.5.1Gaussian-BernoulliRBM413
20.5.2條件協(xié)方差的無向模型414
20.6卷積玻爾茲曼機(jī)417
20.7用于結(jié)構(gòu)化或序列輸出的玻爾茲曼機(jī)418
20.8其他玻爾茲曼機(jī)419
20.9通過操作的反向傳播419
20.9.1通過離散操作的反向傳播420
20.10有向生成網(wǎng)絡(luò).422
20.10.1sigmoid信念網(wǎng)絡(luò)422
20.10.2可微生成器網(wǎng)絡(luò).423
20.10.3變分自編碼器.425
20.10.4生成式對抗網(wǎng)絡(luò).427
20.10.5生成矩匹配網(wǎng)絡(luò).429
20.10.6卷積生成網(wǎng)絡(luò).430
20.10.7自回歸網(wǎng)絡(luò)430
20.10.8線性自回歸網(wǎng)絡(luò).430
20.10.9神經(jīng)自回歸網(wǎng)絡(luò).431
20.10.10NADE432
20.11從自編碼器采樣433
20.11.1與任意去噪自編碼器相關(guān)的馬爾可夫鏈434
20.11.2夾合與條件采樣.434
20.11.3回退訓(xùn)練過程.435
20.12生成網(wǎng)絡(luò).435
20.12.1判別性GSN436
20.13其他生成方案.436
20.14評估生成模型.437
20.15結(jié)論438
參考文獻(xiàn).439
索引486