《计算机应用研究》|Application Research of Computers

Heron环境下基于实例重分配的传输负载优化策略

Transmission load optimization strategy based on instance reallocation in heron

免费全文下载 (已被下载 次)  
获取PDF全文
作者 刘宇,于炯,蒲勇霖,李梓杨,张译天
机构 新疆大学 软件学院;新疆大学 信息科学与工程学院
统计 摘要被查看 次,已被下载
摘要 作为新一代大数据流式计算框架,Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题,导致系统性能下降。针对这一问题,设计了节点资源限制模型、通信开销优化模型和实例数据流关系模型,并在此基础上提出了Heron环境下基于实例重分配的传输负载优化策略(Transmission Load Optimization Strategy based on Instance Reallocation in Heron,TLIR-Heron)。该策略包括节点资源限制算法和实例重分配算法,通过判定实例重分配条件并执行重分配算法,将节点间数据流转化为节点内数据流,从而降低通信开销。实验结果表明:在三组拓扑测试下,TLIR-Heron相较于Heron默认调度策略能够降低节点间通信开销和系统的计算延迟,并提升了计算节点资源利用的均衡性。
关键词 大数据;流式计算;Apache Heron;资源限制;通信开销
基金项目 国家自然科学基金资助项目(61862060,61462079,61562086,61562078)
国家科技部科技支撑基金资助项目(2015BAH02F01)
新疆大学博士生科技创新项目(XJUBSCX-201902)
本文URL http://www.arocmag.com/article/02-2021-01-058.html
收稿日期
修回日期
页码 -
中图分类号 TP311
文献标志码