大數據走向雲計算

第1章　雲時代　1
1.1　雲計算力量　1
1.2　雲計算概述　2
1.2.1　雲基本特征　3
1.2.2　雲計算簡史　4
1.2.3　雲計算演化　5
1.2.4　雲服務形式　6
1.2.5　雲時代誰是主角　10
1.3　雲計算的原動力　11
1.3.1　芯片與硬件技術　12
1.3.2　資源虛擬化　12
1.3.3　面向服務架構　13
1.3.4　軟件即服務　13
1.3.5　互聯網技術　14
1.3.6　Web技術　14
1.4　雲研究趨勢　14
1.5　雲計算技術　16
1.5.1　虛擬化技術　16
1.5.2　數據存儲技術　17
1.5.3　資源管理技術　19
1.5.4　能耗管理技術　20
1.5.5　雲監測技術　21
1.6　雲優勢分析　23
1.6.1　優化產業布局　23
1.6.2　推進專業分工　24
1.6.3　提升資源利用率　25
1.6.4　降低運營成本　26
1.6.5　產生新創價值　26
1.7　雲業務實施　26
1.7.1　基礎設施層　27
1.7.2　平台層　28
1.7.3　實施應用層　30
1.8　移動雲　31
1.8.1　移動雲優勢　31
1.8.2　應用案例　31
1.9　雲標准　32
1.9.1　雲標准定制　32
1.9.2　雲標准主要內容　32
1.9.3　雲計算潛在需求分析　33
1.9.4　雲標准意義　34
1.9.5　雲標准發展趨勢　34
1.10　雲安全　35
1.10.1　雲安全發展趨勢　36
1.10.2　雲安全難點問題　36
1.10.3　雲安全新增及增強功能　37
1.10.4　雲安全存在問題　38
1.11　雲計算的九大威脅　39

第2章　大數據時代　41
2.1　什麼是大數據　41
2.2　大數據來源　42
2.3　大數據商業價值　43
2.4　打造高能效數據中心　44
2.5　大數據變革　45
2.5.1　變革公共衛生　45
2.5.2　變革商業　46
2.5.3　變革思維　48
2.5.4　開啟重大的時代轉型　48
2.6　大數據的核心　51
2.7　大數據的挑戰　51
2.8　大數據的現狀　53
2.9　大數據推進力　55
2.10　大數據存儲　56
2.11　大數據治理　57
2.12　大數據未來五年路線　58
2.13　大數據的應用　59

第3章　大數據走向雲端　63
3.1　時代雙雄　63
3.2 「大數據」走進雲端　64
3.3　雲計算與大數據的聯系　66
3.3.1　雲與大數據的聯系　66
3.3.2　大數據和雲計算的不同之處　67
3.4　數據向雲計算遷移　67
3.4.1　遷移過程　67
3.4.2　數據的丟失與備份　67
3.4.3　遷移應注意問題　68
3.4.4　管理與監控　68
3.5　雲延伸　68
3.5.1　雲計算的延伸　69
3.5.2　網絡管理維護優化　69
3.5.3　用戶行為分析　69
3.5.4　個性化推薦　70
3.5.5　數據雲服務(DaaS)　70
3.6　雲計算與大數據挑戰與機遇並存　70

第4章　雲下的大數據工程　72
4.1　信息所需求的新生力量　72
4.1.1　技術因素　72
4.1.2　商業模式因素　73
4.2　信息系統工程　73
4.2.1　雲計算基本思想　73
4.2.2　雲計算實現　74
4.3　信息系統工程架構轉變　81
4.3.1　豎井式的信息系統　81
4.3.2　逐漸完善的系統需求　83
4.3.3　全新的系統架構　86
4.3.4　新型企業信息系統模塊　87
4.4　商業變革因素　92
4.4.1　零售企業的流程再造　92
4.4.2　IT資源使用新方式　94
4.4.3　整合的新平台　95
4.4.4　轉型新思路　96
4.4.5　創新的新動力　97
4.5　信息工業革命　97
4.5.1　解放生產力　97
4.5.2　雲計算改變信息生活　98
4.5.3　推動社會變革　100
4.6　雲計算機遇　102
4.6.1　私有雲發展更快　103
4.6.2　數據集中　105
4.6.3　企業的「雲」機遇　106
4.6.4　中國「雲」企業的機遇挑戰　107

第5章　搭建雲計算開發環境　109
5.1　Hadoop環境搭建　109
5.1.1　在Linux下安裝Hadoop　109
5.1.2　Hadoop安裝步驟　110
5.1.3　在Windows下安裝Hadoop　115
5.2　Hadoop的優點　120
5.3　HBase環境搭建　121
5.3.1　HBase的系統框架　121
5.3.2　HBase的模型　123
5.3.3　HBase的安裝配置　126
5.4　ZooKeeper環境搭建　128
5.4.1　ZooKeeper的原理　128
5.4.2　Zookeeper的特點　128
5.4.3　Zookeeper的安裝　129
5.5　MapReduce概述　131
5.5.1　MapReduce實現機制　131
5.5.2　MapReduce執行流程　132
5.5.3　MapReduce映射和化簡　133
5.6　Pig環境搭建　133
5.6.1　Pig概述　133
5.6.2　Pig安裝　134

第6章　分布式文件系統　135
6.1　分布式文件系統概述　135
6.1.1　發展史　135
6.1.2　實現方法　136
6.1.3　研究狀況　136
6.2　分布式文件系統類型　137
6.2.1　網絡文件系統　137
6.2.2　Andrew文件系統　142
6.2.3　分布式文件系統　143
6.3　xFS概述　144
6.3.1　xFS體系結構　144
6.3.2　xFS通信　145
6.3.3　xFS進程　145
6.3.4　xFS緩存　147
6.3.5　xFS容錯性　147
6.3.6　xFS安全性　148
6.3.7　xFS特性　148
6.3.8　xFS性能考慮　149
6.4　DAFS概述　149
6.4.1　DAFS基本原理　150
6.4.2　DAFS設計目的　150
6.4.3　文件訪問方式　151
6.4.4　實現客戶端　151
6.5　GFS概述　152
6.5.1　文件系統架構　153
6.5.2　GFS的特點　154
6.5.3　文件系統的容錯性　155
6.5.4　系統管理技術　155
6.6　GPFS共享文件　156
6.6.1　GPFS概述　156
6.6.2　GPFS特性　158
6.6.3　GPFS的高性能和可擴展性　159
6.7　Lustre並行文件系統　159
6.7.1　Lustre概述　159
6.7.2　Lustre組成部分　161
6.8　分布式鎖服務Chubby　162
6.8.1　Paxos算法　163
6.8.2　Chubby目標設計　164
6.8.3　Chubby中的Paxos　165
6.8.4　Chubby文件系統　167
6.8.5　Chubby通信協議　168
6.8.6　正確性和性能　170
6.9　分布式結構數據表　171
6.9.1　Bigtable設計目標　171
6.9.2　Bigtable數據模型　172
6.9.3　Bigtable系統架構　173
6.9.4　Bigtable功能　174
6.9.5　Bigtable主服務器　174
6.9.6　Bigtable組件　175
6.9.7　性能優化　179

第7章　並行計算　181
7.1　並行計算概述　181
7.2　MapReduce基礎　183
7.2.1　編程模型　183
7.2.2　執行過程　184
7.2.3　映射和化簡　185
7.2.4　數據類型　185
7.2.5　Map類和Reduce類　186
7.2.6　Job對象配置　187
7.3　MapReduce模板　188
7.4　MapReduce計算流程　191
7.4.1　作業的提交　191
7.4.2　Map任務的分配　192
7.4.3　Map任務的執行　193
7.4.4　Reduce任務的分配與執行　194
7.5　MapReduce數據流優化　194
7.5.1　MapReduce輸入與輸出　194
7.5.2　流機制　195
7.5.3　管道機制　196
7.5.4　數據流優化　197
7.6　MapReduce數據類型　198
7.6.1　數據內置輸入格式　198
7.6.2　數據定制輸入格式　199
7.6.3　數據定制輸出格式　201
7.7　MapReduce使用算法　203
7.7.1　向量乘法實現　203
7.7.2　內存處理　203
7.7.3　關系運算　204
7.8　參數/數據文件的傳遞與使用　208
7.8.1　傳遞全局作業參數　208
7.8.2　查詢全局MapReduce作業屬性　209
7.8.3　全局數據文件的傳遞　210

第8章　大數據存儲倉庫　212
8.1　數據倉庫　212
8.1.1　RDBMS擴展到HBase　212
8.1.2　列數據庫　213
8.1.3　HBase的特點　215
8.2　HBase數據庫　216
8.2.1　HBase集群架構　216
8.2.2　HBase系統架構　219
8.3　HBase模型　219
8.3.1　邏輯模型　219
8.3.2　物理模型　220
8.4　HBase接口　221
8.4.1　HBase訪問接口　221
8.4.2　shell命令接口　221
8.4.3　HBase Java接口　222
8.5　HBase基本操作　224
8.5.1　HBase存儲格式　225
8.5.2　HBase讀寫流程　225
8.5.3　HBase表操作　226

第9章　分布式鎖　231
9.1　ZooKeeper基本概述　231
9.1.1　ZooKeeper基本原理　231
9.1.2　統一命名服務　235
9.1.3　配置管理　235
9.1.4　集群管理　236
9.1.5　分布式鎖　237
9.1.6　共享鎖(Locks)　238
9.1.7　隊列　238
9.2　ZooKeeper角色　239
9.2.1　系統模型　239
9.2.2　數據模型　240
9.2.3　ZooKeeper的特性　241
9.2.4　ZooKeeper的一致性　242
9.3　ZooKeeper接口與編程　242
9.3.1　ZooKeeper接口　243
9.3.2　ZooKeeper編程實現　244
9.4　性能　246
9.4.1　讀/寫性能測試　246
9.4.2　可靠性測試　246
9.5　ZooKeeper的典型應用　247
9.5.1　數據發布與訂閱應用　248
9.5.2　負載均衡應用　248
9.5.3　分布式通知　249

第10章　數據挖掘　250
10.1　數據挖掘概述　250
10.1.1　數據挖掘起源　251
10.1.2　數據挖掘作用　252
10.1.3　定義數據挖掘　254
10.1.4　哈希函數　255
10.1.5　索引　257
10.1.6　實現數據挖掘步驟　257
10.2　PageRank工具　258
10.2.1　PageRank概述　258
10.2.2　PageRank定義　259
10.2.3　PageRank相關算法　262
10.2.4　影響PageRank的因素　263
10.3　關聯分析　263
10.3.1　關聯分析原理及算法　264
10.3.2　數據關聯推測功能　264
10.3.3　基於用戶行為分析的關聯推薦　264
10.3.4　數據關聯注意問題　266
10.4　聚類分析　266
10.4.1　聚類分析作用　266
10.4.2　聚類的典型要求　267
10.4.3　聚類分析算法　268
10.4.4　在數據挖掘中的應用　269
10.5　分類分析　281
10.5.1　決策樹法　281
10.5.2　神經網絡　283
10.6　異常挖掘　284
10.6.1　異常挖掘概述　284
10.6.2　異常挖掘的方法　285
10.7　特異群組分析　288
10.7.1　特性群級挖掘根源　288
10.7.2　何為特異群組挖掘　289
10.7.3　與聚類、異常挖掘的差異　289
10.8　矩估計　293
10.8.1　二階矩估計的AMS算法　293
10.8.2　高階矩估計　294
10.8.3　無限流的處理　294
10.9　衰減窗口　295
10.9.1　定義衰減窗口　296
10.9.2　網絡流頻繁項集　296
10.10　頻繁項集　297
10.10.1　項集概述　297
10.10.2　A-Priori算法　298
10.10.3　A-Priori算法改進　299
10.10.4　更大數據集處理　300
10.11　數據降維處理　303
10.11.1　相關定義　304
10.11.2　降維算法　305
10.11.3　降維方法　306

第11章　社會中的大數據　314
11.1　普適計算　314
11.1.1　普適計算定義　315
11.1.2　普適計算核心思想　315
11.1.3　普適計算目的　315
11.1.4　普適計算特點　315
11.1.5　普適計算面臨挑戰　315
11.1.6　普適計算應用　316
11.2　數據應用於治國上　318
11.2.1　循「數」管理　318
11.2.2　數據驗證民權　319
11.2.3　數據「打」假　320
11.3　商務智能　321
11.3.1　數據到知識的跨越　322
11.3.2　數據倉庫　323
11.3.3　聯機分析　324
11.3.4　數據挖掘智能產生　326
11.3.5　數據可視化　327
11.4　數據質量法與隱私　328
11.4.1　數據質量法　328
11.4.2　數據隱私　329
11.5　數據運動　331
11.5.1　數據開放　331
11.5.2　數據之爭　333
11.6　數據大趨勢　334
11.6.1　數據權　334
11.6.2　數據大合流　335
11.6.3　互聯網再造　336
11.7　數據大挑戰　338
11.7.1　數據競爭　338
11.7.2　從大數據到社會　340

第12章　雲下的大數據應用　342
12.1　雲計算如何實現價值　342
12.2　雲與大數據　342
12.2.1　大的數據優先級　343
12.2.2　雲與大數據　343
12.3　雲計算與大數據的強強聯合　343
12.3.1　大數據的企業與技術　344
12.3.2　大數據的經濟意義　344
12.4　大數據時代下的雲計算應用部署　345
12.5　雲計算在快速消費品行業的應用　345
12.5.1　改變傳統交通管理的路徑　346
12.5.2　在智能交通應用上的優勢　347
12.6　大數據在視頻監控中的應用　348
12.6.1　解決實時視點監控需求　349
12.6.2　大數據處理解決方案　349
12.6.3　實時高效的分布式視頻監控　350
12.7　區域醫療大數據應用案例　350
12.7.1　挑戰　351
12.7.2　海量數據的處理和分析　351
12.7.3　結論　352
12.7.4　價值　352