內容簡介
本書是由Spark這個專案的成員所撰寫,詳盡的說明如何使用、部署與維運Apache Spark。本書將帶領您探索Spark結構化API基礎操作、結構化串流,並透過新的高階API建立端到端的串流應用。開發與系統管理人員可由本書學習到如何進行Spark的監控、調校以及除錯,以及如何使用MLlib分散式機器學習函式庫。
.完整說明大數據與Spark
.透過實際的範例學習DataFrame、SQL與Dataset等Spark核心API概念
.深入了解Spark低階API、RDD以及DataFrame與SQL的關係
.學習如何在叢集環境運行Spark
.針對Spark叢集與應用程式進行除錯、監控與調校
.體會Spark結構化串流處理引擎的威力
.學習MLlib函式庫並將其應用於多種分類或推薦等機器學習專案中
Bill Chambers是Databricks的產品經理,專注於大數據分析並提供企業用戶完整的文件與協作讓客戶藉由Spark與Databricks取得成功。
Matei Zaharia是史丹佛電腦科學系的助理教授以及Databricks的技術長。他於2009在加州柏克萊大學發起Spark專案,同時他也是Apache Mesos專案的共同發起人以及Apache Hadoop的早期貢獻者。
.完整說明大數據與Spark
.透過實際的範例學習DataFrame、SQL與Dataset等Spark核心API概念
.深入了解Spark低階API、RDD以及DataFrame與SQL的關係
.學習如何在叢集環境運行Spark
.針對Spark叢集與應用程式進行除錯、監控與調校
.體會Spark結構化串流處理引擎的威力
.學習MLlib函式庫並將其應用於多種分類或推薦等機器學習專案中
Bill Chambers是Databricks的產品經理,專注於大數據分析並提供企業用戶完整的文件與協作讓客戶藉由Spark與Databricks取得成功。
Matei Zaharia是史丹佛電腦科學系的助理教授以及Databricks的技術長。他於2009在加州柏克萊大學發起Spark專案,同時他也是Apache Mesos專案的共同發起人以及Apache Hadoop的早期貢獻者。
作者簡介
Bill Chambers
於2014年開始在多個實驗專案中使用Spark。Bill目前在Databricks公司擔任產品經理,這家公司協助使用者撰寫各式Apache Spark應用程式。Bill也經常撰寫關於Spark的網誌並參與相關的研討會與社群聚會。Bill擁有柏克萊大學資訊管理與系統碩士學位。
Matei Zaharia
於2009年在柏克萊大學博士生期間建立了Spark專案。Matei與柏克萊其他研究學者以及外部協力者共同設計了Spark核心API並發展Spark社群。他也持續參與Spark的新功能開發,例如結構化API與Structured Streaming。Matei與其他柏克萊Spark團隊的成員在2013年共同創立了Databricks,旨在促進Spark開放原始碼專案成長以及提供商業支援服務。至今Matei仍在Databricks擔任首席技術長,並且為史丹佛大學資訊科學系助理教授,研究大規模系統與人工智慧。Matei於2013年取得柏克萊大學資訊科學博士學位。
於2014年開始在多個實驗專案中使用Spark。Bill目前在Databricks公司擔任產品經理,這家公司協助使用者撰寫各式Apache Spark應用程式。Bill也經常撰寫關於Spark的網誌並參與相關的研討會與社群聚會。Bill擁有柏克萊大學資訊管理與系統碩士學位。
Matei Zaharia
於2009年在柏克萊大學博士生期間建立了Spark專案。Matei與柏克萊其他研究學者以及外部協力者共同設計了Spark核心API並發展Spark社群。他也持續參與Spark的新功能開發,例如結構化API與Structured Streaming。Matei與其他柏克萊Spark團隊的成員在2013年共同創立了Databricks,旨在促進Spark開放原始碼專案成長以及提供商業支援服務。至今Matei仍在Databricks擔任首席技術長,並且為史丹佛大學資訊科學系助理教授,研究大規模系統與人工智慧。Matei於2013年取得柏克萊大學資訊科學博士學位。
內容目錄
第一篇 大數據與Spark概覽
第1章 何為Apache Spark?
第2章 Spark 簡介
第3章 Spark 工具組導覽
第二篇 結構化API—DataFrame、SQL與Dataset
第4章 結構化API 概覽
第5章 基礎結構化操作
第6章 操作不同型別的資料
第7章 聚合
第8章 關聯
第9章 資料源
第10章 Spark SQL
第11章 Datasets
第三篇 低階API
第12章 彈性分散式資料集(RDD)
第13章 進階RDD
第14章 分散式共享變數
第四篇 Production Applications
第15章 如何在叢集上運行Spark
第16章 開發Spark 應用程式
第17章 部署Spark
第18章 監控與除錯
第19章 效能調校
第五篇 串流
第20章 串流處理基礎
第21章 結構化串流基礎
第22章 事件時間和狀態處理
第23章 生產級的結構化串流
第六篇 進階分析與機器學習概覽
第24章 進階分析與機器學習概覽
第25章 前處理與特徵工程
第26章 分類
第27章 迴歸
第28章 推薦
第29章 非監督式學習
第30章 圖形分析
第31章 深度學習
第32章 其他特定語言: Python(PySpark) 與R(SparkR 和sparklyr)
第33章 生態系與社群
第1章 何為Apache Spark?
第2章 Spark 簡介
第3章 Spark 工具組導覽
第二篇 結構化API—DataFrame、SQL與Dataset
第4章 結構化API 概覽
第5章 基礎結構化操作
第6章 操作不同型別的資料
第7章 聚合
第8章 關聯
第9章 資料源
第10章 Spark SQL
第11章 Datasets
第三篇 低階API
第12章 彈性分散式資料集(RDD)
第13章 進階RDD
第14章 分散式共享變數
第四篇 Production Applications
第15章 如何在叢集上運行Spark
第16章 開發Spark 應用程式
第17章 部署Spark
第18章 監控與除錯
第19章 效能調校
第五篇 串流
第20章 串流處理基礎
第21章 結構化串流基礎
第22章 事件時間和狀態處理
第23章 生產級的結構化串流
第六篇 進階分析與機器學習概覽
第24章 進階分析與機器學習概覽
第25章 前處理與特徵工程
第26章 分類
第27章 迴歸
第28章 推薦
第29章 非監督式學習
第30章 圖形分析
第31章 深度學習
第32章 其他特定語言: Python(PySpark) 與R(SparkR 和sparklyr)
第33章 生態系與社群
ISBN: 9789865022990