內容簡介

Kafka超限精析：重磅級大數據流處理技術平台


內容簡介

Kafka自LinkedIn開源以來就以高性能、高輸送量、分散式的特性著稱，本書以0.10版本的源碼為基礎，深入分析了Kafka的設計與實現，包括生產者和消費者的消息處理流程，新舊消費者不同的設計方式，存儲層的實現，協調者和控制器如何確保Kafka集群的分散式和容錯特性，兩種同步集群工具MirrorMaker和uReplicator，流處理的兩種API以及Kafka的一些高級特性等。


本書特色

•圖文詳解Kafka的內部原理、設計與實踐
•全面分析以Kafka為中心的分散式串流資料平台
•Kafka特性詳細解說，包含連接器和流處理

內容目錄

目錄

01 Kafka 入門
1.1 Kafka 流式資料平台
1.2 Kafka 的基本概念
1.3 Kafka 的設計與實現
1.4 快速開始
1.5 環境準備

02 生產者
2.1 新生產者用戶端
2.2 舊生產者用戶端
2.3 服務端網路連接
2.4 小結

03 消費者：進階API和低階API
3.1 消費者啟動和初始化
3.2 消費者再平衡操作
3.3 消費者拉取資料
3.4 消費者消費訊息
3.5 消費者傳送分區偏移量
3.6 消費者低階API 範例
3.7 小結

04 新消費者
4.1 新消費者用戶端
4.2 消費者的網路用戶端端輪詢
4.3 心跳工作
4.4 消費者傳送偏移量
4.5 小結

05 協調者
5.1 消費者加入消費組
5.2 協調者處理請求
5.3 延遲的加入組操作
5.4 消費組狀態機
5.5 小結

06 儲存層
6.1 記錄檔的讀寫
6.2 服務端處理讀寫請求
6.3 延遲操作
6.4 小結

07 控制器
7.1 Kafka 控制器
7.2 服務端處理LeaderAndIsr請求
7.3 中繼資料快取
7.4 Kafka 服務關閉
7.5 小結

08 基於Kafka 建置資料流程管線
8.1 Kafka 叢集同步工具：MirrorMaker
8.2 Uber 叢集同步工具：uReplicator
8.3 Kafka 連接器
8.4 小結

09 Kafka 流處理
9.1 低階Processor API
9.2 進階流式DSL
9.3 小結

10 進階特性介紹
10.1 使用者端配額
10.2 訊息與時間戳記
10.3 交易處理
10.4 小結