首页 ›存档› 技术 › 查看内容

Mesos架构与去哪儿的统一框架实践

2018-3-30 13:00 |来自: 互联网 318 0

摘要: 编者按：本文是徐磊在数人云北京 Mesos User Group No. 4 活动的演讲，授权「高可用架构」首发。转载请注明来自高可用架构公众号「ArchNotes」。徐磊，去哪儿网高级运维开发工程师，负责实时日志平台的建设和维护 ...

编者按：本文是徐磊在数人云北京 Mesos User Group No. 4 活动的演讲，授权「高可用架构」首发。转载请注明来自高可用架构公众号「ArchNotes」。

徐磊，去哪儿网高级运维开发工程师，负责实时日志平台的建设和维护工作，对 Mesos 有深入研究，参与《Mesos 中文文档》的翻译和整理工作，Alluxio 代码贡献者，曾任职于 Red Hat。

Mesos 架构

在官方文档中，Mesos 定义成一个分布式系统内核。它使用和 Linux 内核相同的设计原则，只是设计在不同的抽象层级上。它运行在一个机房的所有服务器上并且通过 API 的形式给应用（比如 Hadoop，Spark，Kafka，Elastic Search）提供资源管理、计划任务等功能。

Mesos 是一个在 2009年由 Benjamin Hindman 等人联合发起的伯克利大学研究项目。随后引入 Twitter，如今已经完美运行在 Twitter，Airbnb 等环境。

Mesos 的架构图如下。

在图中，Master 主要负责 slave 以及 Framework scheduler 的注册，以及资源分配；Slave 主要接受来自 master 的任务。Mesos applications （也称为 frameworks ）在 slave 上运行 task。

在官方文档中，Mesos 的资源分配流程如图所示。

Slave 1 向 Master 汇报其空闲资源：4 CPU、4GB 内存。然后 Master 调用分配策略模块，得到的反馈是 Framework 1 要请求全部可用资源。
Master 向 Framework 1 发送资源 offer，描述了Slave 1上可用资源。
Framework 的调度器（Scheduler）响应 Master，需要在 Slave 上运行两个任务，第一个任务分配

声明：文章版权归原作者所有部分文章转自互联网如有侵权请联系 [邮箱地址] 删除

上一篇：追根究底Linux内存中的Cache真的能被回收么？下一篇：消息总线之模型重构

相关分类