神經網路與PyTorch實戰

前言
第1章 初識神經網路1
1.1 例說神經網路1
1.1.1 從圍棋和AlphaGo說起1
1.1.2 人的神經系統3
1.1.3 人工神經元3
1.1.4 人工神經網路5
1.1.5 神經網路的設計和權重的學習7
1.2 神經網路與人工智慧等概念的關係7
1.2.1 人工智慧和資料採擷7
1.2.2 機器學習和模式識別9
1.2.3 人工神經網路和深度學習11
1.2.4 各概念之間的聯繫11
1.3 本章小結12
第2章 初識PyTorch13
2.1 人工神經網路庫PyTorch13
2.1.1 PyTorch是什麼13
2.1.2 編寫PyTorch程式14
2.2 例說PyTorch14
2.2.1 迷你AlphaGo介紹15
2.2.2 迷你AlphaGo的完整實現16
2.3 PyTorch學習路線19
2.4 本章小結20
第3章 使用PyTorch進行科學計算21
3.1 初識張量21
3.1.1 張量的數學定義21
3.1.2 PyTorch裡的張量22
3.2 構造torch.Tensor類實例24
3.2.1 構造含有特定資料的張量24
3.2.2 構造特定大小的張量25
3.2.3 構造等比數列和等差數列張量26
3.2.4 構造隨機張量26
3.3 組織張量的元素28
3.3.1 重排張量元素28
3.3.2 選取部分張量元素29
3.3.3 張量的擴展和拼接31
3.4 張量的科學計算32
3.4.1 有理運算和廣播語義32
3.4.2 逐元素運算33
3.4.3 張量點積和Einstein求和35
3.4.4 統計函數38
3.4.5 比較和邏輯運算39
3.5 例子：用蒙特卡洛演算法計算圓周率40
3.5.1 隨機計算與蒙特卡洛演算法40
3.5.2 蒙特卡洛演算法求解圓周率的實現41
3.6 本章小結42
第4章 求解優化問題43
4.1 梯度及其計算43
4.1.1 梯度的定義43
4.1.2 梯度的性質和計算45
4.1.3 使用PyTorch計算梯度數值45
4.2 優化演算法與torch.optim包46
4.2.1 梯度下降演算法46
4.2.2 梯度下降演算法的缺陷和解決方案48
4.2.3 各種優化演算法50
4.3 例子：Himmelblau函數的優化55
4.3.1 Himmelblau函數及視覺化55
4.3.2 求解Himmelblau的最小值57
4.3.3 求解Himmelblau的局部極大值59
4.4 本章小結59
第5章 線性回歸60
5.1 一元線性回歸60
5.1.1 最小二乘法60
5.1.2 正規方程法62
5.2 多元線性回歸63
5.3 其他損失情況下的線性回歸63
5.3.1 MSE損失、損失和平滑損失64
5.3.2 torch.nn子包與損失類65
5.3.3 使用優化器求解線性回歸66
5.3.4 數據的歸一化68
5.4 例子：世界人口的線性回歸70
5.4.1 從維琪百科頁面獲取世界人口資料70
5.4.2 對世界人口做最小二乘法線性回歸71
5.4.3 用優化演算法實現最小二乘回歸72
5.5 本章小結74
第6章 線性判決與邏輯回歸75
6.1 線性判決與互熵損失75
6.1.1 判定問題與準確率75
6.1.2 線性判決76
6.1.3 極大似然和互熵損失77
6.2 邏輯回歸78
6.2.1 expit()函數和logit()函數78
6.2.2 用優化器實現邏輯回歸80
6.2.3 Newton-Raphson方法81
6.3 多項邏輯回歸82
6.4 例子：數位圖像的識別84
6.4.1 使用torchvision讀取MNIST資料集84
6.4.2 利用多項邏輯回歸識別MNIST資料86
6.5 例子：股票成交量預測88
6.5.1 股票資料的讀取和視覺化88
6.5.2 成交量變化方向預測89
6.6 本章小結91
第7章 全連接神經網路92
7.1 前饋神經網路92
7.1.1 前饋神經網路的定義92
7.1.2 使用torch.nn.Sequential類搭建前饋神經網路93
7.1.3 權重的確定與反向傳播94
7.2 全連接層和全連接神經網路95
7.3 非線性啟動96
7.3.1 逐元素啟動97
7.3.2 非逐元素啟動101
7.4 網路結構的選擇102
7.4.1 欠擬合和過擬合102
7.4.2 訓練集、驗證集和測試集103
7.5 例子：基於全連接網路的非線性回歸105
7.5.1 資料的生成和資料集分割105
7.5.2 確定網路結構並訓練網路106
7.5.3 測試性能108
7.6 本章小結109
第8章 卷積神經網路110
8.1 卷積層110
8.1.1 序列的互相關和卷積110
8.1.2 一維張量的互相關114
8.1.3 一維張量的轉置卷積117
8.1.4 高維張量的互相關和轉置卷積121
8.1.5 torch.nn包裡的卷積層121
8.2 池化層、視覺層和補全層123
8.2.1 張量的池化124
8.2.2 張量的反池化125
8.2.3 torch.nn包裡的池化層126
8.2.4 張量的上採樣128
8.2.5 torch.nn包裡的視覺層130
8.2.6 張量的補全運算131
8.2.7 torch.nn包裡的補全層131
8.3 例子：MNIST圖片分類的改進132
8.3.1 搭建卷積神經網路133
8.3.2 卷積神經網路的訓練和測試135
8.4 本章小結137
第9章 迴圈神經網路138
9.1 神經網路的迴圈結構138
9.1.1 單向單層迴圈結構138
9.1.2 多層迴圈結構139
9.1.3 雙向迴圈結構140
9.2 迴圈神經網路中的迴圈單元141
9.2.1 基本迴圈神經元141
9.2.2 長短期記憶單元141
9.2.3 門控迴圈單元144
9.3 迴圈神經網路的實現145
9.3.1 torch.nn子包中的迴圈單元類145
9.3.2 torch.nn子包中的迴圈神經網路類146
9.4 例子：人均GDP的預測147
9.4.1 使用pandas-datareader讀取世界銀行資料庫147
9.4.2 搭建LSTM預測模型148
9.4.3 網路的訓練和使用149
9.5 本章小結151
第10章 生成對抗網路152
10.1 生成對抗