<內容簡介>

隨著大數據時代的到來，企業資料每天都在急劇快速膨脹，如何發掘這些資料的價值，需要一種高效而穩定的分散式運算框架和模型。Spark恰逢其時，應運而生。本書對Spark進行詳細的闡述，包括核心模組和各個子系統，能讓Spark初學者快速瞭解和上手，是學習Spark的敲門磚，希望此書能讓更多的讀者去深入發掘Spark之美。

——淘寶技術部資料採擷與計算團隊負責人 黃明(明風)

Apache Spark由於其基於記憶體的高性能計算模式以及豐富靈活的程式設計介面，得到廣泛的支援和應用，大有逐漸取代Hadoop MapReduce成為新一代大數據計算引擎的趨勢。本書從原始程式碼角度深入淺出地分析了Apache Spark及相關大數據技術的設計及實現，包含很多實戰經驗和使用心得。相信本書對於進行大數據、記憶體計算及分散式系統研究，Apache Spark的深入理解以及實際應用，都有很好的參考價值。

——英特爾亞太研發有限公司技術總監 段建剛

適用：從事安防監控領域的應用開發和工程施工的技術人員。

<章節目錄>

前言

Chapter 01   Spark 系統概述

1.1 大數據處理架構
1.2 Spark 大數據處理架構
1.3 小結

Chapter 02   Spark RDD 及程式設計介面

2.1 Spark 程式"Hello World"
2.2 Spark RDD
2.3 建立操作
2.4 轉換操作
2.5 控制操作（control operation）
2.6 行動操作（action operation）
2.7 小結

Chapter 03   Spark 執行模式及原理

3.1 Spark 執行模式概述
3.2 Local 模式
3.3 Standalone 模式
3.4 Local cluster 模式
3.5 Mesos 模式
3.6 YARN standalone / YARN cluster 模式
3.7 YARN client 模式
3.8 各種模式的實現細節比較
3.9 Spark 1.0 版本之後的變化
3.10 小結

Chapter 04   Spark 排程管理原理

4.1 Spark 作業排程管理概述
4.2 Spark 排程相關基本概念
4.3 作業排程模組頂層邏輯概述
4.4 作業排程實際工作流程
4.5 工作集管理模組詳解
4.6 排程池和排程模式分析
4.7 其他排程相關內容
4.8 小結

Chapter 05   Spark 的儲存管理

5.1 儲存管理模組整體架構
5.2 RDD 持久化
5.3 Shuffle 資料持久化
5.4 廣播（Broadcast）變數持久化
5.5 小結

Chapter 06   Spark 監控管理

6.1 UI 管理
6.2 Metrics 管理
6.3 小結

Chapter 07   Shark 架構與安裝設定

7.1 Shark 架構淺析
7.2 Hive/Shark 各功能元件比較
7.3 Shark 安裝設定與使用
7.4 Shark SQL 命令列工具（CLI）
7.5 使用Shark Shell 指令
7.6 啟動SharkServer
7.7 Shark Server2 設定與啟動
7.8 快取資料表
7.9 常見問題分析
7.10 小結

Chapter 08   SQL 程式擴充

8.1 程式擴充平行執行模式
8.2 Evaluator 和ObjectInspector
8.3 自訂函數擴充
8.4 自訂資料存取格式
8.5 小結

Chapter 09   Spark SQL

9.1 Spark SQL 邏輯架構
9.2 Catalyst 上下文（Context）
9.3 SQL DSL API
9.4 Java API
9.5 Python API
9.6 Spark SQL CLI
9.7 Thrift 服務
9.8 小結

Chapter10   Spark Streaming 串流資料處理架構