hadoop中slot簡介（mapslot和reduceslot）

Slots是Hadoop的一個重要概念。然而在Hadoop相關論文，slots的闡述難以理解。網上關于slots的概念介紹也很少，而對于一個有經驗的Hadoop開發者來說，他們可能腦子里已經理解了slots的真正含義，但卻難以清楚地表達出來，Hadoop初學者聽了還是云里霧里。我來嘗試講解一下，以期拋磚引玉。

公司主營業務：成都網站建設、做網站、移動網站開發等業務。幫助企業客戶真正實現互聯網宣傳，提高企業的競爭能力。成都創新互聯是一支青春激揚、勤奮敬業、活力青春激揚、勤奮敬業、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創新互聯推出城區免費做網站回饋大家。

首先，slot不是CPU的Core，也不是memory chip，它是一個邏輯概念，一個節點的slot的數量用來表示某個節點的資源的容量或者說是能力的大小，因而slot是 Hadoop的資源單位。

Hadoop利用slots來管理分配節點的資源。每個Job申請資源以slots為單位，每個節點會確定自己的計算能力以及memory確定自己包含的slots總量。當某個Job要開始執行時，先向JobTracker申請slots，JobTracker分配空閑的slots，Job再占用slots，Job結束后，歸還slots。每個TaskTracker定期（例如淘寶Hadoop心跳周期是5s）通過心跳(hearbeat)與Jobtracker通信，一方面匯報自己當前工作狀態，JobTracker得夠某個TaskTracker是否Alive；同時匯報自身空閑slots數量。JobTracker利用某個調度規則，如Hadoop默認調度器FIFO或者Capacity Scheduler、FairScheduler等。（注：淘寶Hadoop使用云梯調度器YuntiScheuler，它是基于Fair Scheduler進行修改的）。

Hadoop里有 兩種slots, map slots和reduce slots，map task使用map slots，一一對應，reduce task使用reduce slots。注： 現在越來越多的觀點認為應該打破map slots與 reduce slots的界限，應該被視為統一的資源池，they are all resource，從而提高資源的利用率。區分map slots和reduce slots，容易導致某一種資源緊張，而另一個資源卻有空閑。在Hadoop的下一代框架MapR中，已經取消了map slots與reduce slots的概念，并將Jobtracker的功能一分為二，用ResourceManager來管理節點資源，用ApplicationMaster來監控與調度作業。ApplicationMaster是每個Application都有一個單獨的實例，application是用戶提交的一組任務，它可以是一個或多個job的任務組成。

Hadoop中通常每個tasktracker會包含多個slots，Job的一個task均對應于tasktracker中的一個slot。系統中map slots總數與reducer slots總數的計算公式如下：

Map slots總數=集群節點數×mapred.tasktracker.map.tasks.maximum

Reducer slots總數=集群節點數×mapred.tasktracker.reduce.tasks.maximum

分享名稱：hadoop中slot簡介（mapslot和reduceslot）
當前地址：http://m.kartarina.com/article46/pgojeg.html

成都網站建設公司_創新互聯，為您提供ChatGPT、網站改版、用戶體驗、云服務器、Google、面包屑導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯