巨量資料(又稱大數據Big Data),是2010年以來最紅的技術名詞,但隨著巨量資料已經逐漸成熟應用在各個大型網站,巨量資料技術的下一步該怎麼走?
◆當NoSQL已經成熟,SQL真的這麼不堪用嗎?NewSQL是新的答案!
◆虛擬化在雲端運算中是三大基礎之一,在巨量資料的時代,虛擬化能否再進化來滿足巨量資料的需求?
◆儲存設備已從電腦運算的弱勢,在SSD加持之後,成為新興的伺服器寵兒。新一代的儲存設備硬體技術及軟體功能,和巨量資料結合後會有什麼樣子的結果?
◆昂貴的網路設備,在南北向資料傳輸量慢慢被東西向取代時,新一代的SDN(軟體定義網路)能否幫助降低網路的成本,同時又提昇更大的效能?
◆巨量資料在中國14億人口中的醫療體系中,有什麼成功實例可讓我們借鏡的?
◆在物聯網時代,巨量資料如何幫助火力發電廠降低成本,降低空污?
◆Facebook、LinkedIn、Twitter是如何解決巨量資料的問題?
歐巴馬的巨量資料
選戰之初最為關鍵的是籌集更多的資金。
歐巴馬的資料分析團隊發現在網上或透過簡訊重複捐錢,而無須重新輸入信用卡資訊的人,捐出的資金是其他捐獻者的4 倍。
負責資金籌集的部門在替目標客戶打電話前,已經收到一份由動員投票團隊提供的詳盡名單,上面不僅列出對方的名字與號碼,還有他們可能被說服的內容,並按照競選團隊最重要的優先訴求來排序。
架設資料平台並完成資料整合這件事被證明是歐巴馬資料科學團隊走的最為關鍵的一步棋!
知己知彼百戰百勝,所謂知者,乃資料也。歐巴馬和他的巨量資料團隊證明了擁有巨量資料和相對應的處理資料的能力,的確是瞬息萬變的政治角力中不可或缺的一支力量。
預測犯罪
「犯罪活動即時監測中心」為員警工作引用了一種全新的半自動資料分析方法。自上線以後,伴隨著資訊電子化,發生變化的不僅僅有記錄下的資訊數量,還有因電腦輔助分析帶來的快速。這些分析的結果給警方繪製一幅城市治安情況的藍圖,哪裡是犯罪高發區域,哪個時間段是不法分子活躍的時期,都在巨量資料面前無處遁形。警方得以將有限的警力投放到最需要保護的時段和地區,大幅提升了警力使用效率和治安滿意度。
讓遊戲更精彩
「英雄聯盟」(LOL)這款網路遊戲。每天深夜,當大多數玩家已經奮戰一天,呼呼酣睡的時候,資料伺服器正努力的工作著。
世界各地的電信業者,會把當日的資料,發送到位於美洲的資料中心。隨即一個極大的資料分析引擎轉動起來,需要執行上千個資料分析的工作。當日所有的比賽都會被分析,資料分析師會發現,某一個英雄單位太強或太弱,在接下來的2 ∼ 3 周內,會推出一個新更新,及時調整所有的平衡性問題,並加入一個新單位。整個遊戲被保持在一個快速更新,並且良好平衡的狀態。正是靠著巨量資料的魔力,「英雄聯盟」才能成為這個時代最受歡迎的遊戲。
「開心農場」這個遊戲最重要的就是即時,玩家必須能在第一時間偷到其他玩家的菜。這樣對遊戲資料部分造成了極大的壓力。為了應對蒸蒸日上的業務,Zynga使用公有雲和私有雲結合的混合雲技術。將資料放在自建的記憶體中資料庫上,資料保障在記憶體,則確保了高吞吐、高即時性,也確保了給玩家最佳的遊戲體驗,這是使得" 開心農場" 之類的社交遊戲得以流行的重要支柱。
巨量資料的姻緣
被網友們戲稱為「約砲神器」的微信,只要用手機搖一搖就能找到週邊和你同一時刻搖動手機的人。「搖一搖」是即時巨量資料分析的最好案例,巨量資料系統能夠在短短幾秒鐘內,匯集數億的玩家的地理資訊及使用者資料,找到附近搭訕機率最高的使用者。「約砲神器」並非徒有虛名,而是建立在資料基礎之上的。
本書從實際技術解決方案出發,提出了大數據技術四層架構,即基礎設施層、管理層、分析層、應用層。在此基礎上,全面剖析了目前大數據領域中的主流技術,並配以行業應用實例和一線研發人員的獨到見解。力求使讀者能透過此書,全面瞭解當前大數據技術動態和發展趨勢,並可針對自己面臨的大數據問題找到可行的解決方案。