從技術(shù)架構(gòu)的角度去豐富你的大數(shù)據(jù)知識(shí)

      對(duì)于大數(shù)據(jù)的學(xué)習(xí)，很長(zhǎng)一段時(shí)間，都覺(jué)得非常迷茫。不知道具體該學(xué)習(xí)什么！進(jìn)而導(dǎo)致知識(shí)的知識(shí)點(diǎn)挺多，而自己所會(huì)的內(nèi)容都不能夠形成很好的體系，進(jìn)而為自己的職場(chǎng)加分。而最近一直在學(xué)習(xí)相關(guān)大數(shù)的架構(gòu)知識(shí)，進(jìn)而具體到一個(gè)廠商。這樣反而自己學(xué)的很快，總結(jié)一下前段時(shí)間的學(xué)習(xí)，溫故而知新!!!

創(chuàng)新互聯(lián)公司主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、成都響應(yīng)式網(wǎng)站建設(shè)公司、程序開發(fā)、網(wǎng)站優(yōu)化、微網(wǎng)站、小程序制作等，憑借多年來(lái)在互聯(lián)網(wǎng)的打拼，我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站建設(shè)、成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn)，集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體。

     首先，大數(shù)據(jù)開始做為概念開始進(jìn)入公眾并在實(shí)際業(yè)務(wù)中落地是在13年。從一項(xiàng)技術(shù)的發(fā)展來(lái)看，這項(xiàng)技術(shù)會(huì)在18年形成一個(gè)很好的閉環(huán)。而在此期間，不管你是不是大數(shù)據(jù)的項(xiàng)目，在這五年內(nèi)，只要冠以大數(shù)據(jù)名稱都可以獲益。

      所以，大數(shù)據(jù)第一件能做的事就忽悠！不管你是不是大數(shù)據(jù)的項(xiàng)目，只要是你懂一點(diǎn)分布式，知道一點(diǎn)Hadoop,Spark。就可以去說(shuō)我可以承接相關(guān)的項(xiàng)目，這是相關(guān)冒險(xiǎn)的。因?yàn)楫?dāng)你不能夠?qū)Υ髷?shù)據(jù)有一個(gè)整全的理解，而是靠著在實(shí)際工程中不斷的學(xué)習(xí)進(jìn)而再去指導(dǎo)并優(yōu)化工作。這樣做無(wú)異于事倍功半！所以回歸到題目的方向，就是如何從技術(shù)架構(gòu)的解度去豐富你的知識(shí)。

 

 1，存儲(chǔ)

       大數(shù)據(jù)，顧名思義。就是你的數(shù)據(jù)量很大，傳統(tǒng)的數(shù)據(jù)有EXCEL，TXT，WORD........剛開始這些還可以存儲(chǔ)到硬盤上。但多到一定程度，勢(shì)必會(huì)影響你開機(jī)的速度，這時(shí)，就要引入數(shù)據(jù)庫(kù)的概念來(lái)存儲(chǔ)。而你用數(shù)據(jù)庫(kù)來(lái)存數(shù)據(jù)時(shí)，就又要涉及要你與數(shù)據(jù)庫(kù)的對(duì)話語(yǔ)言－－SQL語(yǔ)句。

      單點(diǎn)，結(jié)構(gòu)化的數(shù)據(jù)完成了以后，你的工作效率得到了很大的提升。相鄰城鎮(zhèn)的人看著這樣不錯(cuò)的時(shí)候，就也開始了相應(yīng)的部署。但數(shù)據(jù)庫(kù)內(nèi)容還是要和總部鏈接的。這樣就形成了我們常說(shuō)的分布式存儲(chǔ)。

      隨著經(jīng)濟(jì)的不均衡發(fā)展，各種地區(qū)推出的營(yíng)銷活動(dòng)不同。所要存儲(chǔ)用戶的信息也不同。這樣就造成了傳統(tǒng)結(jié)構(gòu)化的存儲(chǔ)效率下降，轉(zhuǎn)而改變?yōu)橛脩魡我籌D+相關(guān)行為的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。

      好了，存完了數(shù)據(jù)，放到那里呢，放在硬盤上的起名叫Hadoop,放在內(nèi)存中的就叫Spark.

2,計(jì)算

       任何的數(shù)據(jù)都是要參于到運(yùn)算當(dāng)中來(lái)的，而在運(yùn)算的過(guò)程中是一定要調(diào)用CPU的，而傳統(tǒng)的高帥富的大型機(jī)在高性能運(yùn)算上是有優(yōu)勢(shì)的?？稍诖髷?shù)據(jù)如海水一般的涌來(lái)時(shí)，這些高帥富的大型機(jī)就不好起到作用了。

       還是老祖宗的智慧過(guò)人，分而治之。這是治水的思路，也是解決一個(gè)高帥富面對(duì)眾多請(qǐng)求時(shí)不知所措的茫然。在技術(shù)上，用100臺(tái)PC或小型機(jī)來(lái)分而治之所涌來(lái)的數(shù)據(jù)。然后再統(tǒng)一匯報(bào)解決情況。這個(gè)也就是大數(shù)據(jù)里邊常說(shuō)的那句話：100個(gè)窮吊絲相當(dāng)于一個(gè)高富帥！這是第一種計(jì)算方案。

      那還有一種是什么呢！類似于周伯通的左右互博擊，你想想，你一臺(tái)PC可以做的事情，我再加一顆CPU，是不是就相當(dāng)于模擬出來(lái)兩套。而這樣計(jì)算的好處是可以將數(shù)據(jù)分類處理，而這一方面，在技術(shù)上是通過(guò)虛擬化來(lái)實(shí)現(xiàn)的。

3，可視

     講完了前邊的基礎(chǔ)之后，我們就來(lái)看看數(shù)據(jù)展現(xiàn)，數(shù)據(jù)的展現(xiàn)有許多種，而這一部人是需要代碼人員有一些藝術(shù)細(xì)胞的（什么，沒(méi)有！那藝術(shù)細(xì)菌也行）。

     畢竟，要將你所計(jì)算的結(jié)果呈現(xiàn)現(xiàn)大眾面前。相應(yīng)的邏輯清楚就一點(diǎn)就顯得非常重要。在這方面，建議多看一些其他人的優(yōu)秀作品。更重要的是你要具備一些心理學(xué)的知識(shí)，數(shù)據(jù)的突顯及策略的把控?？梢哉f(shuō)，大數(shù)據(jù)項(xiàng)目的成敗基本上就是在可視的這一塊是否能產(chǎn)生效果了。

好了，這次就先總結(jié)這么多。以后學(xué)習(xí)過(guò)程中，再慢慢總結(jié)！

文章題目：從技術(shù)架構(gòu)的角度去豐富你的大數(shù)據(jù)知識(shí)
地址分享：http://m.kartarina.com/article18/gescgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站維護(hù)、小程序開發(fā)、用戶體驗(yàn)、全網(wǎng)營(yíng)銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)