海量數據下的輿情分析，該如何搭建？

2021-03-03 分類：網站建設

互聯網的飛速發展促進了很多新媒體的發展，不論是知名的大V，明星還是圍觀群眾都可以通過手機在微博、朋友圈或者點評網站上發表動態，分享自己的所見所想，使得“人人都有了麥克風”。不論是熱點新聞還是娛樂八卦，傳播速度遠超我們的想象，一則信息可以在短短數分鐘內，有數萬計轉發，數百萬的閱讀。海量信息可以得到爆炸式的傳播，那么如何實時把握信息并作出對應的處理呢?是不是真的難以應對?今天，阿里云智能事業群的宇珩來跟我們聊聊大數據輿情系統對數據存儲和計算系統會有哪些需求，如何根據需求來進行系統設計。

大數據時代下，除了媒體信息以外，商品在各類

整個計算流程會產生實時的輿情計算結果。重大輿情事件的預警，通過Tablestore和函數計算觸發器對接來實現。Tablestore和函數計算做了增量數據的無縫對接，通過結果表寫入事件，可以輕松的通過函數計算觸發短信或者郵件通知。完整的輿情分析結果和展示搜索利用了Tablestore的新功能多元索引，徹底解決了開源Hbase+Solr 多引擎的痛點：

運維復雜，需要有運維hbase和solr兩套系統的能力，同時還需要維護數據同步的鏈路。

Solr數據一致性不如Hbase，在Hbase和Solr數據語意并不是完全一致，加上Solr/Elasticsearch在數據一致性很難做到像數據庫那么嚴格。在一些極端情況下會出現數據不一致的問題，開源方案也很難做到跨系統的一致性比對。

查詢接口需要維護兩套API，需要同時使用Hbase client和Solr client，索引中沒有的字段需要主動反查Hbase，易用性較差。

文章標題：海量數據下的輿情分析，該如何搭建？
URL鏈接：http://m.kartarina.com/news4/104054.html

成都網站建設公司_創新互聯，為您提供服務器托管、微信公眾號、品牌網站制作、網站排名、網站營銷、小程序開發

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容