mesos與yarn簡要介紹


Mesos是一個開源的資源管理系統,可以對集群中的資源做彈性管理,目前twitter, apple等公司在大量使用mesos管理集群資源,大家記得apple的siri嗎,它的后端便是采用的mesos進行資源管理(自行在網上查找文章:“新一代Siri后端將采用開放源代碼平台Mesos”)。國內也有零零散散的公司在使用mesos,比如豆瓣。

Mesos是高仿google內部的資源管理系統borg(論文已經發表)實現的,隨着近期它對docker容器支持的越來越好,將備受關注。(注:Mesosphere,一家試圖圍繞 Apache Mesos 項目開展商業活動的公司,不久前從 Andreessen Horowitz 那里獲得了 1000 萬美元投資。他做的事情就是用開源方案實現一個borg,選用的技術棧是:mesos+docker)。

談到資源管理系統,更多人一下子想到的是Hadoop生態系統中的YARN,如何看待它與mesos的關系。

 

目前看來,Hadoop YARN要比Mesos更主流,前景更廣闊。YARN在實現資源管理的系統前提下,能夠跟hadoop生態系統完美結合,在YARN的東家hortonworks看來,YARN定位為大數據中的數據操作系統,能夠更好地為上層各類應用程序(MapReduce/Spark)提供資源管理和調度功能。另外,非常重要的一點,YARN的社區力量要比Mesos強大的多,它的參與人員眾多,周邊系統的建設非常完善(包括最新誕生的apache二級項目Twill,Apache Twill ,cloudera的Kitten,均是方便大家使用YARN而誕生的項目)。

YARN是從MapReduce中演化而來的,因而在大數據處理中扮演重要角色,但這也使得它受限:它現在還不能看做是一個通用的資源管理系統,太多的內部實現過於狹隘,比如資源申請和分配模型,對長服務的支持等。不過,YARN自己仍把它定位在通用資源管理系統上,因而在不斷改進,比如最近的版本中,增加了對長服務和docker的支持。

下面是Meos和YARN的對比:

總結

目前Mesos和YARN的優勢還是稍有不同的,YARN更多地是用在大數據平台中,對上層計算框架支持的非常好;而Mesos更多是定位在資源的抽象和管理上,以便支持各種應用,不僅僅是計算框架。不過,隨着兩者的不斷完善,他們之間的界限越來越模糊。

原創文章,轉載請注明: 轉載自董的博客

本文鏈接地址: http://dongxicheng.org/apache-mesos/mesos-and-yarn/

作者:Dong,作者介紹:http://dongxicheng.org/about/

本博客的文章集合:


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com