構建Apache Kafka流數據應用

構建Apache Kafka流數據應用
定價:474
NT $ 374
  • 作者:(印)曼尼施·庫馬爾
  • 出版社:清華大學出版社
  • 出版日期:2018-09-01
  • 語言:簡體中文
  • ISBN10:7302509360
  • ISBN13:9787302509363
  • 裝訂:平裝 / 236頁 / 22.8 x 18.4 x 1.4 cm / 普通級 / 單色印刷 / 1-1
 

內容簡介

Apache Kafka是一個流行的分散式流平台,充當消息隊列或企業消息傳遞系統。它用來發布和訂閱數據流,並在發生錯誤時以容錯方式處理它們。本書共13章,全面介紹使用Apache Kafka等大數據工具設計和構建企業級流應用方面的內容,包括構建流應用程序的最好實踐,並解決了一些常見的挑戰,例如如何高效地使用Kafka輕鬆處理高容量數據。

完成本書的學習后,讀者能使用Kafka設計高效的流數據應用程序。本書既適合Kafka初學者、大數據應用開發人員、大數據應用運維人員閱讀,也適合高等院校與培訓學校相關專業的師生教學參考。



 

作者介紹

蔣守壯,現就職于金拱門(中國)有限公司,擔任大數據卓越中心高級工程和平台經理,負責大數據平台的架構和產品研發。譯者擁有多年豐富的大數據生產實戰經驗和產品研發能力,著有圖書《基於Apache Kylin構建大數據分析平台》。
 

目錄

其他生產者配置 40
Java程式設計語言:Kafka生產者示例 42
常見的消息發佈模式 44
……
總 結 48

第4章 深入研究Kafka消費者 49
Kafka消費者內部機制 50
理解Kafka消費者的職責 50
Kafka消費者API 52
消費者配置 52
訂閱和輪詢 54
提交和輪詢 56
其他配置 59
利用Java實現Kafka消費者 60
利用Scala實現Kafka消費者 62
Rebalance listeners 64
常用的消息消費模式 64
……
總 結 68

第5章 集成Kafka 構建Spark Streaming應用 69
Spark介紹 70
Spark架構 70
Spark的核心 72
Spark生態系統 73
Spark Streaming 75
Receiver-based集成 75
Receiver-based approach的缺點 77
Receiver-based集成的Java示例 77
Receiver-based集成的Scala示例 79
Direct approach 80
Direct approach的Java示例 82
Direct approach的Scala示例 83
日誌處理用例—欺詐IP檢測 84
Maven 85
生產者 89
Reader屬性 89
生產者代碼 90
欺詐IP查找 92
暴露Hive表 93
Streaming代碼 94
總 結 97

第6章 集成Kafka構建Storm應用 98
Apache Storm介紹 98
Storm集群架構 99
Storm應用程式的概念 100
Apache Heron介紹 101
Heron架構 102
Heron topology架構 103
集成Apache Kafka與Apache Storm - Java 104
示 例 105
集成Apache Kafka與Apache Storm - Scala 110
用例—使用Storm、Kafka和Hive處理日誌 114
生產者 118
生產者代碼 119
欺詐IP查找 122
Storm應用程式 123
運行項目 132
總 結 133

第7章 使用Kafka與 Confluent Platform 134
Confluent Platform介紹 135
深入Confluent Platform架構 136
理解Kafka Connect 和 Kafka Stream 139
Kafka Streams 139
使用Schema Registry與Avro交互 140
將Kafka資料移動到HDFS 142
Camus 142
運行Camus 143
Gobblin 144
Gobblin架構 144
Kafka Connect 146
Flume 147
總 結 150

第8章 使用Kafka構建ETL管道 151
在ETL管道中使用Kafka 151
介紹Kafka Connect 153
深入研究Kafka Connect 154
介紹使用Kafka Connect示例 155
Kafka Connect常見的用例 159
總 結 160

第9章 使用Kafka Streams 構建流應用程式 161
介紹Kafka Streams 161
在流處理中使用Kafka 162
Kafka Stream—羽量級流處理庫 163
Kafka Stream架構 164
集成框架的優勢 166
理解Tables和Streams 167
Maven依賴 167
Kafka Stream單詞計數 168
KTable 170
Kafka Stream使用案例 171
Kafka Streams的Maven依賴 171
reader屬性 172
IP記錄生產者 173
IP查詢服務 176
欺詐檢測應用程式 177
總 結 179

第10章 Kafka集群部署 180
Kafka集群的內部結構 180
Zookeeper角色 181
複 制 182
中繼資料(Metadata)請求處理 184
生產者(Producer)請求處理 184
消費者(Consumer)請求處理 185
容量規劃 186
容量規劃的目標 186
複製因數 186
內 存 187
硬碟驅動器 187
網 絡 188
CPU 188
Kafka單集群部署 189
Kafka多集群部署 190
退役brokers 192
資料移轉 192
總 結 193

第11章 在大資料應用中使用Kafka 194
管理Kafka的高容量 195
適當的硬體選擇 195
生產者讀取和消費者寫入的選擇 197
Kafka消息傳遞語義 198
至少一次傳遞 199
最多一次傳遞 202
正好一次傳遞 203
大資料和Kafka常見的使用模式 204
Kafka和資料治理 206
報警和監控 207
有用的Kafka指標 208
Kafka生產者指標 208
Kafka broker指標 209
Kafka消費者指標 209
總 結 210

第12章 Kafka安全 211
Kafka安全的概述 211
SSL有線加密 212
Kafka啟用SSL的步驟 213
為Kafka broker配置SSL 214
為Kafka用戶端配置SSL 214
Kerberos SASL認證 215
在Kafka中啟用SASL/GSSAPI的步驟 217
為Kafka broker配置SASL 217
為Kafka用戶端配置SASL―生產者和消費者 219
理解ACL和授權 220
常見的ACL操作 221
ACLs列表 222
Zookeeper身份驗證 223
Apache Ranger授權 224
為Ranger添加Kafka服務 224
添加策略(policies) 225
……
總 結 229

第13章 流應用程式設計的考慮 230
延遲和輸送量 231
資料和狀態的持久性 232
資料來源 232
外部資料查詢 233
資料格式 233
數據序列化 234
並行度 234
無序的事件 235
消息處理語義 235
總 結 236
網路書店 類別 折扣 價格
  1. 新書
    79
    $374