Python數據科學指南

第1章 Python在數據科學中的應用 1
1.1　簡介　2
1.2　使用字典對象　2
1.2.1　准備工作　2
1.2.2　操作方法　2
1.2.3　工作原理　3
1.2.4　更多內容　4
1.2.5　參考資料　6
1.3　使用字典的字典　6
1.3.1　准備工作　6
1.3.2　操作方法　6
1.3.3　工作原理　7
1.3.4　參考資料　7
1.4　使用元組　7
1.4.1　准備工作　7
1.4.2　操作方法　8
1.4.3　工作原理　9
1.4.4　更多內容　12
1.4.5　參考資料　12
1.5　使用集合　13
1.5.1　准備工作　13
1.5.2　操作方法　13
1.5.3　工作原理　14
1.5.4　更多內容　15
1.6　寫一個列表　16
1.6.1　准備工作　16
1.6.2　操作方法　16
1.6.3　工作原理　18
1.6.4　更多內容　19
1.7　從另一個列表創建列表——列表推導　20
1.7.1　准備工作　20
1.7.2　操作方法　20
1.7.3　工作原理　20
1.7.4　更多內容　21
1.8　使用迭代器　22
1.8.1　准備工作　22
1.8.2　操作方法　23
1.8.3　工作原理　23
1.8.4　更多內容　24
1.9　生成一個迭代器和生成器　24
1.9.1　准備工作　25
1.9.2　操作方法　25
1.9.3　工作原理　25
1.9.4　更多內容　25
1.10　使用可迭代對象　26
1.10.1　准備工作　26
1.10.2　操作方法　26
1.10.3　工作原理　27
1.10.4　參考資料　27
1.11　將函數作為變量傳遞　28
1.11.1　准備工作　28
1.11.2　操作方法　28
1.11.3　工作原理　28
1.12　在函數中嵌入函數　28
1.12.1　准備工作　29
1.12.2　操作方法　29
1.12.3　工作原理　29
1.13　將函數作為參數傳遞　29
1.13.1　准備工作　29
1.13.2　操作方法　29
1.13.3　工作原理　30
1.14　返回一個函數　30
1.14.1　准備工作　31
1.14.2　操作方法　31
1.14.3　工作原理　31
1.14.4　更多內容　32
1.15　使用裝飾器改變函數行為　32
1.15.1　准備工作　32
1.15.2　操作方法　32
1.15.3　工作原理　33
1.16　使用lambda創造匿名函數　34
1.16.1　准備工作　34
1.16.2　操作方法　35
1.16.3　工作原理　35
1.17　使用映射函數　35
1.17.1　准備工作　36
1.17.2　操作方法　36
1.17.3　工作原理　36
1.17.4　更多內容　36
1.18　使用過濾器　37
1.18.1　准備工作　37
1.18.2　操作方法　37
1.18.3　工作原理　38
1.19　使用zip和izip函數　38
1.19.1　准備工作　38
1.19.2　操作方法　38
1.19.3　工作原理　38
1.19.4　更多內容　39
1.19.5　參考資料　40
1.20　從表格數據使用數組　40
1.20.1　准備工作　40
1.20.2　操作方法　41
1.20.3　工作原理　41
1.20.4　更多內容　42
1.21　對列進行預處理　43
1.21.1　准備工作　44
1.21.2　操作方法　44
1.21.3　工作原理　45
1.21.4　更多內容　45
1.22　列表排序　46
1.22.1　准備工作　46
1.22.2　操作方法　46
1.22.3　工作原理　46
1.22.4　更多內容　47
1.23　采用鍵排序　47
1.23.1　准備工作　48
1.23.2　操作方法　48
1.23.3　工作原理　49
1.23.4　更多內容　49
1.24　使用itertools　52
1.24.1　准備工作　52
1.24.2　操作方法　52
1.24.3　工作原理　53
第2章　Python環境　55
2.1　簡介　55
2.2　使用NumPy庫　55
2.2.1　准備工作　55
2.2.2　操作方法　56
2.2.3　工作原理　58
2.2.4　更多內容　64
2.2.5　參考資料　64
2.3　使用matplotlib進行繪畫　64
2.3.1　准備工作　64
2.3.2　操作方法　64
2.3.3　工作原理　66
2.3.4　更多內容　72
2.4　使用scikit-learn進行機器學習　73
2.4.1　准備工作　73
2.4.2　操作方法　73
2.4.3　工作原理　75
2.4.4　更多內容　81
2.4.5　參考資料　82
第3章　數據分析——探索與爭鳴　83
3.1　簡介　84
3.2　用圖表分析單變量數據　85
3.2.1　准備工作　85
3.2.2　操作方法　86
3.2.3　工作原理　87
3.2.4　參考資料　92
3.3　數據分組和使用點陣圖　92
3.3.1　准備工作　93
3.3.2　操作方法　93
3.3.3　工作原理　95
3.3.4　參考資料　97
3.4　為多變量數據繪制散點陣圖　97
3.4.1　准備工作　98
3.4.2　操作方法　98
3.4.3　工作原理　99
3.4.4　參考資料　100
3.5　使用熱圖　101
3.5.1　准備工作　101
3.5.2　操作方法　101
3.5.3　工作原理　102
3.5.4　更多內容　104
3.5.5　參考資料　105
3.6　實施概要統計及繪圖　105
3.6.1　准備工作　105
3.6.2　操作方法　106
3.6.3　工作原理　107
3.6.4　參考資料　110
3.7　使用箱須圖　110
3.7.1　准備工作　110
3.7.2　操作方法　110
3.7.3　工作原理　111
3.7.4　更多內容　112
3.8　修補數據　113
3.8.1　准備工作　113
3.8.2　操作方法　113
3.8.3　工作原理　114
3.8.4　更多內容　115
3.8.5　參考資料　116
3.9　實施隨機采樣　116
3.9.1　准備工作　116
3.9.2　操作方法　117
3.9.3　工作原理　117
3.9.4　更多內容　118
3.10　縮放數據　118
3.10.1　准備工作　118
3.10.2　操作方法　118
3.10.3　工作原理　119
3.10.4　更多內容　119
3.11　數據標准化　121
3.11.1　准備工作　121
3.11.2　操作方法　121
3.11.3　工作原理　122
3.11.4　更多內容　122
3.12　實施分詞化　123
3.12.1　准備工作　123
3.12.2　操作方法　123
3.12.3　工作原理　124
3.12.4　更多內容　125
3.12.5　參考資料　127
3.13　刪除停用詞　127
3.13.1　操作方法　128
3.13.2　工作原理　129
3.13.3　更多內容　130
3.13.4　參考資料　130
3.14　詞提取　130
3.14.1　准備工作　131
3.14.2　操作方法　132
3.14.3　工作原理　132
3.14.4　更多內容　133
3.14.5　參考資料　133
3.15　執行詞形還原　134
3.15.1　准備工作　134
3.15.2　操作方法　134
3.15.3　工作原理　135
3.15.4　更多內容　135
3.15.5　參考資料　135
3.16　詞袋模型表示文本　136
3.16.1　准備工作　136
3.16.2　操作方法　136
3.16.3　工作原理　138
3.16.4　更多內容　140
3.16.5　參考資料　141
3.17　計算詞頻和反文檔頻率　142
3.17.1　准備工作　142
3.17.2　操作方法　142
3.17.3　工作原理　144
3.17.4　更多內容　145
第4章　數據分析——深入理解　146
4.1　簡介　146
4.2　抽取主成分　147
4.2.1　准備工作　148
4.2.2　操作方法　149
4.2.3　工作原理　151
4.2.4　更多內容　152
4.2.5　參考資料　154
4.3　使用核PCA　154
4.3.1　准備工作　154
4.3.2　操作方法　154
4.3.3　工作原理　156
4.3.4　更多內容　159
4.4　使用奇異值分解抽取特征　160
4.4.1　准備工作　161
4.4.2　操作方法　161
4.4.3　工作原理　162
4.4.4　更多內容　163
4.5　用隨機映射給數據降維　164
4.5.1　准備工作　164
4.5.2　操作方法　165
4.5.3　工作原理　166
4.5.4　更多內容　167
4.5.5　參考資料　168
4.6　用NMF分解特征矩陣　168
4.6.1　准備工作　169
4.6.2　操作方法　170
4.6.3　工作原理　172
4.6.4　更多內容　175
4.6.5　參考資料　176
第5章　數據挖掘——海底撈針　177
5.1　簡介　177
5.2　使用距離度量　178
5.2.1　准備工作　178
5.2.2　操作方法　179
5.2.3　工作原理　180
5.2.4　更多內容　183
5.2.5　參考資料　184
5.3　學習和使用核方法　184
5.3.1　准備工作　184
5.3.2　操作方法　185
5.3.3　工作原理　186
5.3.4　更多內容　187
5.3.5　參考資料　187
5.4　用k-means進行數據聚類　188
5.4.1　准備工作　188
5.4.2　操作方法　190
5.4.3　工作原理　191
5.4.4　更多內容　192
5.4.5　參考資料　193
5.5　學習向量量化　193
5.5.1　准備工作　193
5.5.2　操作方法　194
5.5.3　工作原理　197
5.5.4　更多內容　199
5.5.5　參考資料　199
5.6　在單變量數據中找出異常點　200
5.6.1　准備工作　200
5.6.2　操作方法　202
5.6.3　工作原理　203
5.6.4　更多內容　205
5.6.5　參考資料　207
5.7　使用局部異常因子方法發現異常點　207
5.7.1　准備工作　207
5.7.2　操作方法　208
5.7.3　工作原理　210
5.7.4　更多內容　216
第6章　機器學習1　217
6.1　簡介　217
6.2　為建模准備數據　218
6.2.1　准備工作　218
6.2.2　操作方法　218
6.2.3　工作原理　221
6.2.4　更多內容　222
6.3　查找最近鄰　223
6.3.1　准備工作　224
6.3.2　操作方法　226
6.3.3　工作原理　227
6.3.4　更多內容　229
6.3.5　參考資料　230
6.4　用朴素貝葉斯分類文檔　230
6.4.1　准備工作　232
6.4.2　操作方法　232
6.4.3　工作原理　238
6.4.4　更多內容　242
6.4.5　參考資料　242
6.5　構建決策樹解決多類問題　243
6.5.1　准備工作　244
6.5.2　操作方法　247
6.5.3　工作原理　249
6.5.4　更多內容　251
6.5.5　參考資料　252
第7章　機器學習2　253
7.1　簡介　253
7.2　回歸方法預測實數值　254
7.2.1　准備工作　255
7.2.2　操作方法　256
7.2.3　工作原理　259
7.2.4　更多內容　263
7.2.5　參考資料　267
7.3　學習L2縮減回歸——嶺回歸　267
7.3.1　准備工作　268
7.3.2　操作方法　268
7.3.3　工作原理　271
7.3.4　更多內容　273
7.3.5　參考資料　276
7.4　學習L1縮減回歸——LASSO　276
7.4.1　准備工作　277
7.4.2　操作方法　277
7.4.3　工作原理　280
7.4.4　更多內容　283
7.4.5　參考資料　283
7.5　L1和L2縮減交叉驗證迭代　283
7.5.1　准備工作　284
7.5.2　操作方法　284
7.5.3　工作原理　288
7.5.4　更多內容　294
7.5.5　參考資料　295
第8章　集成方法　296
8.1　簡介　296
8.2　理解集成——掛袋法　297
8.2.1　准備工作　298
8.2.2　操作方法　298
8.2.3　工作原理　300
8.2.4　更多內容　304
8.2.5　參考資料　305
8.3　理解集成——提升法　305
8.3.1　准備工作　307
8.3.2　操作方法　307
8.3.3　工作原理　312
8.3.4　更多內容　319
8.3.5　參考資料　319
8.4　理解集成——梯度提升　320
8.4.1　准備工作　321
8.4.2　操作方法　321
8.4.3　工作原理　325
8.4.4　更多內容　330
8.4.5　參考資料　330
第9章　生長樹　331
9.1　簡介　331
9.2　從生長樹到生長森林——隨機森林　332
9.2.1　准備工作　333
9.2.2　操作方法　333
9.2.3　工作原理　336
9.2.4　更多內容　340
9.2.5　參考資料　342
9.3　生成超隨機樹　342
9.3.1　准備工作　343
9.3.2　操作方法　343
9.3.3　工作原理　345
9.3.4　更多內容　349
9.3.5　參考資料　349
9.4　生成旋轉森林　349
9.4.1　准備工作　350
9.4.2　操作方法　350
9.4.3　工作原理　353
9.4.4　更多內容　358
9.4.5　參考資料　358
第10章　大規模機器學習——在線學習　359
10.1　簡介　359
10.2　用感知器作為在線學習算法　360
10.2.1　准備工作　361
10.2.2　操作方法　362
10.2.3　工作原理　363
10.2.4　更多內容　366
10.2.5　參考資料　367
10.3　用隨機梯度下降解決回歸問題　367
10.3.1　准備工作　369
10.3.2　操作方法　369
10.3.3　工作原理　370
10.3.4　更多內容　373
10.3.5　參考資料　375
10.4　用隨機梯度下降解決分類問題　375
10.4.1　准備工作　376
10.4.2　操作方法　376
10.4.3　工作原理　377
10.4.4　更多內容　379
10.4.5　參考資料　380