当前位置: 软件>java软件
Hadoop作业调度管理系统 Corona
本文导语: Corona是Map-Reduce的改进版本，可以更好地利用集群资源，更适合Facebook的“多租户（Multi-Tenant）”环境。 在Facebook，Map-Reduce有一个单一的作业跟踪器（JobTracker），用来管理集群资源和跟踪每个作业的状态。而使用Corona，集群资...
Corona是Map-Reduce的改进版本，可以更好地利用集群资源，更适合Facebook的“多租户（Multi-Tenant）”环境。
在Facebook，Map-Reduce有一个单一的作业跟踪器（JobTracker），用来管理集群资源和跟踪每个作业的状态。而使用Corona，集群资源通过一个中央集群管理器来跟踪，每个作业都有自己的跟踪器，这些跟踪器只需跟踪一个作业。
![Hadoop作业调度管理系统 Corona[图片]](/img/tech-article-img/img_1418225364_790900.jpeg)
Corona在Map-Reduce的基础上进行了如下改进：
- 可扩展性：单独的Corona JobTrackers来负责任务的跟踪，这为作业的数量和规模提供了更好的扩展性。
- 延迟：任务调度工作在push模型中。Corona Job Tracker推送资源请求到Cluster Manager，然后在收到Cluster Manager的许可后，推送任务到Corona Task Tracker。这种调度决策是在收到heartbeats时发生，对于小的作业来说，heartbeat模型相关的延迟就变得重要。
- 与Map-Reduce v1相比，Corona中的Fair Scheduler能更好地分配资源到资源池中。
- 由于调度开销较低，集群可以得到更好的利用。
中文介绍内容来自 iteye
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。