电子技术与软件工程

2020, No.173(03) 183-185

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

Hadoop环境下节点负载均衡调度策略的设计与实现

王溪波;王珊珊;王越峰;

摘要(Abstract):

本文提出一种计算节点负载的任务调度策略,通过节点的本地任务预计完成时间与全部节点执行本地任务的预计完成时间的平均值做比较,小于平均值即为负载较轻的节点,反之较重。在任务的执行过程中根据计算节点的负载情况来进行任务调度,把负载较重的任务适当分给负载较轻的任务,合理进行任务分配,该策略可以减少非本地任务数量的产生,从而减少数据的迁移次数,也可以避免出现某些节点空闲而其他节点任务繁重的情况,从而提高集群处理数据的能力。理论分析和实验验证表明基于数据本地化的节点负载均衡任务调度策略可以提高数据本地性,使数据间的传输更高效,提高系统中资源的利用率。

关键词(KeyWords): MapReduce;非本地任务;网络I/O;任务调度策略;预计完成时间;负载均衡;任务分配

Abstract:

Keywords:

基金项目(Foundation): 辽宁“百千万人才工程”培养经费资助(项目编号:2012921041)

作者(Author): 王溪波;王珊珊;王越峰;

Email:

DOI:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享