本書側重於大數據的實踐性技術,系統地介紹了主流大數據平臺及工具的安裝部署、管理維護和應用開發。平臺和工具的選擇均為當前業界主流的開源產品,因此,對於讀者來說,有很強的可操作性。
本書涉及的開源技術包括:HDFS、MapReduce、YARN、Zookeeper、HBase、Hive、Sqoop、Storm、Kafka、Flume等。除介紹一般性的背景知識、安裝部署、管理維護和應用開發技術外,還特別注重案例實踐,重要的技術點以實際工作場景或案例為依託,使讀者能快速入門,參考案例動手實踐,透過具體深入的實踐,體會大數據的技術本質特徵,領略大數據技術帶來的創新理念,更好地理解和把握訊息技術的發展趨勢。
本書主要內容包括以下幾大部分。
大數據存儲篇:以HDFS為基礎,介紹分佈式文件系統的原理、安裝、fs命令的使用、編程,介紹如何用HDFS實現,並透過HTTP調用。
大數據計算篇:以MapReduce、YARN為基礎,介紹分佈式計算的原理、部署,以及編程案例。
非關係型數據庫篇:以HBase為基礎,重點介紹非關係型數據庫的優勢、原理、部署,以及命令行使用,編程案例,與Sqoop配合使用等。
大數據倉庫篇:以Hive、數據倉庫等為基礎,重點介紹數據的抽取、原理、部署、分析與編程。
大數據實時計算篇:以Storm、Kafka為基礎,介紹實時計算的架構、組成、使用與開發。
本書非常適合從事大數據技術開發與使用的初學者,以及從事大數據技術研發的企事業單位工程師學習和參考,也適合高校計算機相關專業的專科生、本科生和研究生學習使用。