Python + Spark 2.0 + Hadoop 機器學習與大數據分析實戰 | 拾書所

Python + Spark 2.0 + Hadoop 機器學習與大數據分析實戰

$ 530 元 原價 680

<內容簡介> 

◆本書淺顯易懂的原理說明

◆Step by Step實機操作

◆範例程式詳細解說

◆大幅降低機器學習與大數據技術的學習門檻

 

機器學習正熱門

機 器學習是近20多年興起的多領域學科,機器學習演算法可從大量數據中建立模型,並利用模型對未知數據進行預測。近年來各大公司google、 facebook、microsoft、IBM…等,全力投入機器學習研究與應用,以Google為例,Google早已將機器學習,運用在垃圾郵件判 斷、自動回覆、照片分類與搜尋、翻譯、語音辨識等功能。在你在不知不覺中,機器學習已經讓日常生活更便利。

 

「大數據」與「機器學習」相輔相成

大 數據的特性: 大量資料、多樣化、速度快。因此如何從大量資料中擷取出有用的資訊,是大數據的主要課題。機器學習需要大量資料進行訓練,並且訓練過程需大量運算。正好大 數據的興起帶來大量資料,以及可儲存大量數據的分散式儲存技術,例如:Hadoop HDFS、NoSQL..。還有分散式運算可進行大量運算,例如Spark 基於記憶體內的分散式運算框架,可以大幅提升效能。

 

Python與Spark與Hadoop的完美結合

本 書的主題是Python+Spark+Hadoop機器學習與大數據分析:使用Python開發Spark應用程式,具有多重好處,既可以享有 Python語言特性所帶來的好處:程式碼簡明、易學習、高生產力的特質。再加上Spark基於記憶體內的分散式運算框架,非常適合需多次重覆運算的機器 學習演算法,可以大幅提升效能。Spark可輕易讀取Hadoop分散式儲存技術HDFS。Spark也可以在Hadoop 新MapReduce架構YARN執行。

 

Python與Spark機器學習與資料視覺化

Python資料分析的相 關模組如NumPy、Matplotlib、Pandas、Scikit-learn,讓Python成為資料分析主要語言之一。使用Python開發 Spark機器學習應用時,你仍然可以繼續使用這些模組,這對於Python開發者帶來很大的方便,例如:你可以使用Spark ML Pipeline機器學習、訓練、預測。並且可以將Spark DataFrames轉換為Pandas DataFrame。轉換後你就可以運用Python豐富的資料視覺化套件,例如matplotlib、Bokeh…等,進行資料視覺化。 

本書特色:實機操作建置Spark+Hadoop機器學習與大數據平台

一般人學習大數據的困難是,沒有多台機器建立分散式系統,但是透過本書介紹使用Virtual Box虛擬機器的方法,就能在自家電腦演練建立Hadoop叢集,並且建立Python Spark機器學習開發環境。

 

本書特色:以實務範例程式學會Python+Spark機器學習與大數據

以 大數據實務案例MovieLens(電影喜好推薦引擎)、StumbleUpon (網頁二元分類)、Covtype(森林覆蓋多元分類),BikeSharing(類Ubike租借數量迴歸分析),介紹如何使用Python Spark運用機器學習演算法:決策樹、邏輯迴歸、支持向量機器SVM、單純貝氏。進行資料處理、訓練、建立模型、訓練驗證找出最佳模型、預測結果。

<目錄>
Chapter01 Python Spark機器學習與Hadoop大數據 
1.1 機器學習介紹
1.2 Spark介紹
1.3 Spark資料處理RDD、DataFrame、Spark SQL
1.4 使用Python開發Spark機器學習與大數據應用
1.5 Python Spark 器學習
1.6 Spark ML Pipeline機器學習流程介紹
1.7 Spark 2.0介紹
1.8 大數據定義
1.9 Hadoop簡介
1.10 Hadoop HDFS分散式檔案系統
1.11 Hadoop MapReduce介紹
1.12 結論
Chapter02 Virtual Box虛擬機器軟體安裝 
2.1 VirtualBox下載安裝
2.2 設定Virtual Box儲存資料夾
2.3 在VirtualBox建立虛擬機器
2.4 結論
Chapter03 Ubuntu Linux作業系統安裝 
3.1 Ubuntu Linux的作業系統安裝
3.2 在Virtual Box設定Ubuntu虛擬光碟檔案
3.3 開始安裝Ubuntu
3.4 啟動Ubuntu
3.5 安裝Guest Additions
3.6 設定預設輸入法
3.7 設定終端機程式
3.8 設定終端機白底黑字
3.9 設定共用剪貼簿
3.10 設定最佳下載伺服器
3.11 結論
Chapter04 Hadoop Single Node Cluster安裝 
4.1 安裝JDK
4.2 設定SSH無密碼登入
4.3 下載安裝Hadoop
4.4 設定Hadoop環境變數
4.5 修改Hadoop組態設定檔
4.6 建立與格式化HDFS目錄
4.7 啟動Hadoop
4.8 開啟Hadoop Resource Manager Web介面
4.9 NameNode HDFS Web介面
4.10 結論
Chapter05 Hadoop Multi Node Cluster安裝 
5.1 複製Single Node Cluster到data1
5.2 VirtualBox介面卡設定
5.3 設定data1伺服器&

Brand Slider