Hadoop如何迎擊大數據分析的挑戰

大數據分析是現在十分火熱的話題，從農業到工業、從金融到體育、從傳統企業到初創公司，各行各業都在積極應用大數據分析，似乎你的企業不和大數據沾點邊就會顯得沒有逼格一樣。

創新互聯公司2013年成立，是專業互聯網技術服務公司，擁有項目網站設計制作、成都網站制作網站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元天祝藏族自治做網站,已為上家服務,為天祝藏族自治各地企業和個人服務,聯系電話:028-86922220

隨著大數據分析的持續走紅，大數據分析工具也呈現出了遍地開花的態勢，我們今天要說的Hadoop就是其中之一。

Hadoop是Apache開發的一個開源項目，短短幾年的時間，我們就見證了Hadoop從無到有、從簡陋到穩定的轉變。目前Hadoop因其具有高度可擴展性，靈活性和成本效益，已經成為大數據分析的理想工具。

Hadoop對大數據存儲和預測分析有什么好處?

Apache Hadoop軟件庫是一個框架，允許在集群服務器上使用簡單的編程模型對大數據集進行分布式處理，它的可擴展性非常好，可以從單臺服務器擴展到數以千計的服務器。Hadoop在大數據存儲和分析方面表現十分出色：

低故障率

每臺機器都會進行數據復制，這一特點也使得Hadoop成為大文件備份的一個好選擇。當一個節點復制了一個數據塊，那么同一數據集群中的其他節點也會復制。數據備份跨越多個節點，所以數據被永久改變或破壞的可能性非常小，系統的容錯性也隨之提高了。

成本效益

Hadoop是最具成本效益的大數據分析和存儲解決方案之一。 根據Cloudera的研究，Hadoop存儲數據的成本僅僅是其它大數據存儲解決方案很小的一部分。

Cloudera公司產品副總裁Zedlewski Zedlewski認為，目前網絡存儲的市場行情大約是1TB數據5000美元，在具體情況下可能會有價格的上下浮動。在數據庫、數據集市、數據倉庫以及相關的硬件領域，通常1TB數據的價格可能要達到10000美元到15000美元。

靈活性

Hadoop是一個非常靈活的解決方案，用戶可以使用SQL輕松添加提取結構化和非結構化數據集。這一特點對醫療行業來說特別有價值，因為醫療行業需要不斷地更新患者記錄。根據Dezyre報告顯示：,美國醫療保健行業內大的軟件及服務提供商Sage已經在利用Hadoop進行基因組學、癌癥治療以及患者生命監測等相關工作。

可擴展性

Hadoop支持高度可擴展，它可以存儲TB級數據，并同時運行數千個數據節點。

利用SQL迎擊Hadoop和大數據分析的挑戰

Hadoop與SQL兼容，所以適用范圍廣泛，用戶可以使用多種SQL方法來提取和使用Hadoop存儲的大數據，如果已經熟練掌握了SQL，那么Hadoop就可能成為最佳的大數據分析解決方案。

但是如果想要從Hadoop中提取數據，那么就需要一個復雜的SQL引擎，目前市面上有很多開源解決方案，Apache Hive就是其中之一。

Apache Hive有三個主要功能：運行數據查詢、匯總數據、大數據分析，它可以自動將SQL查詢轉換為Hadoop MapReduce作業，但是它有一個很大的缺點就是它隨著數據集群的大小會有時間延遲的問題。

“Hive本身就不是為OLTP工作負載設計的，所以不提供實時查詢或行級更新，它更適合于大量僅附加數據(如Web日志)的批處理作業。”Hive在大數據集項目上的時間延遲十分明顯，因此它不適合需要實時分析數據的可擴展項目。

除了Hadoop Hive之外，還有一些其它的SQL引擎：

Rick van der Lans報告表示：上圖這些解決方案基本上都能夠彌補Apache Hive的不足，它們的特性之一就是多語言持久性，這一特性意味著它們既可以跨數據庫訪問數據，也可以訪問存儲在Hadoop上的數據。另外，目前也有很多用于實時大數據分析的應用程序。

InfoWorld報告顯示目前Spark、Storm和DataTorrent是Hadoop實時大數據分析領域的三大領先解決方案，目前Hadoop中的流數據實時處理通常會選擇Storm或Spark，而DataTorrent是開源自一個之前的商業產品，現在已經加入到了Hadoop戰局中。

分享文章：Hadoop如何迎擊大數據分析的挑戰
轉載來于：http://m.kartarina.com/article24/soooce.html

成都網站建設公司_創新互聯，為您提供響應式網站、服務器托管、云服務器、App開發、網站改版、網頁設計公司

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯