《计算机应用研究》|Application Research of Computers

多MapReduce作业协同下的大数据挖掘类算法资源效率优化

Resource efficiency optimization for big data mining algorithm with multi MapReduce collaboration scenario

免费全文下载 (已被下载 次)  
获取PDF全文
作者 廖彬,张陶,于炯,黄静莱,国冰磊,刘炎
机构 新疆财经大学 统计与信息学院;新疆大学 信息科学与工程学院;清华大学 软件学院
统计 摘要被查看 次,已被下载
摘要 由于任意的MapReduce作业都需要独立的进行任务调度、资源分配等一系列复杂的操作,这使得同一算法协同的多个MapReduce作业之间,存在着大量的冗余磁盘I/O及资源重复申请操作,导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce Job协作完成,以ItemBased算法为例,对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析,提出基于DistributedCache的ItemBased算法,利用DistributedCache将多个MapReduce Job之间的I/O数据进行缓存处理,打破作业之间独立性的缺陷,减少Map与Reduce任务之间的等待时延。实验结果表明,DistributedCache能够提高MapReduce作业的数据读取速度,利用DistributedCache重构后的算法极大地减少了Map与Reduce任务之间的等待时延,资源效率提高3倍以上。
关键词 MapReduce优化;ItemBased算法;内存文件系统;I/O效率;资源优化
基金项目 新疆维吾尔自治区自然科学基金资助项目(2016D01B014)
本文URL http://www.arocmag.com/article/02-2020-05-007.html
收稿日期
修回日期
页码 -
中图分类号 TP393.09
文献标志码