資深程序員多年總結：解密Kafka吞吐量高的原因

眾所周知kafka的吞吐量比一般的消息隊列要高，號稱the fastest，那他是如何做到的，讓我們從以下幾個方面分析一下原因。

生產者（寫入數據）

生產者（producer）是負責向Kafka提交數據的，我們先分析這一部分。
Kafka會把收到的消息都寫入到硬盤中，它絕對不會丟失數據。為了優化寫入速度Kafak采用了兩個技術，順序寫入和MMFile。

順序寫入

因為硬盤是機械結構，每次讀寫都會尋址->寫入，其中尋址是一個“機械動作”，它是最耗時的。所以硬盤最“討厭”隨機I/O，最喜歡順序I/O。為了提高讀寫硬盤的速度，Kafka就是使用順序I/O。

通過mmap，進程像讀寫硬盤一樣讀寫內存（當然是虛擬機內存），也不必關心內存的大小有虛擬內存為我們兜底。
使用這種方式可以獲取很大的I/O提升，省去了用戶

先復制到內核

Zero Copy中直接從內核空間（DMA的）到內核空間（Socket的），然后發送網卡。
這個技術非常普遍，The C10K problem 里面也有很詳細的介紹，Nginx也是用的這種技術，稍微搜一下就能找到很多資料。

Java的NIO提供了FileChannle，它的transferTo、transferFrom方法就是Zero Copy。

Kafka是如何耍賴的?

想到了嗎？Kafka把所有的消息都存放在一個一個的文件中，當消費者需要數據的時候Kafka直接把“文件”發送給消費者。這就是秘訣所在，比如：10W的消息組合在一起是10MB的數據量，然后Kafka用類似于發文件的方式直接扔出去了，如果消費者和生產者之間的網絡非常好（只要網絡稍微正常一點10MB根本不是事。。。家里上網都是100Mbps的帶寬了），10MB可能只需要1s。所以答案是——10W的TPS，Kafka每秒鐘處理了10W條消息。
可能你說：不可能把整個文件發出去吧？里面還有一些不需要的消息呢？是的，Kafka作為一個“高級作弊分子”自然要把作弊做的有逼格。Zero Copy對應的是sendfile這個函數（以Linux為例），這個函數接受

out_fd作為輸出（一般及時socket的句柄）

in_fd作為輸入文件句柄

off_t表示in_fd的偏移（從哪里開始讀取）

size_t表示讀取多少個

沒錯，Kafka是用mmap作為文件讀寫方式的，它就是一個文件句柄，所以直接把它傳給sendfile；偏移也好解決，用戶會自己保持這個offset，每次請求都會發送這個offset。（還記得嗎？放在zookeeper中的）；數據量更容易解決了，如果消費者想要更快，就全部扔給消費者。如果這樣做一般情況下消費者肯定直接就被壓死了；所以Kafka提供了的兩種方式——Push，我全部扔給你了，你死了不管我的事情；Pull，好吧你告訴我你需要多少個，我給你多少個。

總結

Kafka速度的秘訣在于，它把所有的消息都變成一個的文件。通過mmap提高I/O速度，寫入數據的時候它是末尾添加所以速度最優；讀取數據的時候配合sendfile直接暴力輸出。阿里的RocketMQ也是這種模式，只不過是用Java寫的。

單純的去測試MQ的速度沒有任何意義，Kafka這種“暴力”、“流氓”、“無恥”的做法已經脫了MQ的底褲，更像是一個暴力的“數據傳送器”。所以對于一個MQ的評價只以速度論英雄，世界上沒人能干的過Kafka，我們設計的時候不能聽信網上的流言蜚語——“Kafka最快，大家都在用，所以我們的MQ用Kafka沒錯”。在這種思想的作用下，你可能根本不會關心“失敗者”；而實際上可能這些“失敗者”是更適合你業務的MQ。

文章名稱：資深程序員多年總結：解密Kafka吞吐量高的原因
文章來源：http://m.kartarina.com/news/99160.html

成都網站建設公司_創新互聯，為您提供微信公眾號、外貿建站、建站公司、做網站、Google、用戶體驗

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯