《计算机应用研究》|Application Research of Computers

基于FIUT的并行频繁项集增量更新算法

Incremental updating algorithm of parallel frequent itemsets based on FIUT

免费全文下载 (已被下载 次)  
获取PDF全文
作者 张航,张欣,张平康,李琪
机构 贵州大学 大数据与信息工程学院,贵阳 550025
统计 摘要被查看 次,已被下载
文章编号 1001-3695(2019)07-016-1991-03
DOI 10.19734/j.issn.1001-3695.2017.12.0854
摘要 针对目前大数据快速增加的环境下,海量数据的频繁项集挖掘在实际中所面临的增量更新问题,在频繁项超度量树算法(frequent items ultrametric trees,FIUT)的基础上,引入MapReduce并行编程模型,提出了一种针对频繁项集增量更新的面向大数据的并行算法。该算法通过检查频繁超度量树叶子节点的支持度来确定频繁项集,同时采用准频繁项集的策略来优化并行计算过程,从而提高数据挖掘效率。实验结果显示,所提出的算法能快速完成扫描和更新数据,具有较好的可扩展性,适合于在动态增长的大数据环境中进行关联规则相关数据挖掘。
关键词 大数据; 频繁项集; MapReduce; 增量更新; 频繁项超度量树
基金项目 国家国际科技合作专项项目(2014DFA00670)
贵州省研究生教育教学改革重点课题项目(黔教研合JG字[2016]15)
贵州省科技厅工业攻关项目(黔科合GY字[2010]3056)
本文URL http://www.arocmag.com/article/01-2019-07-016.html
英文标题 Incremental updating algorithm of parallel frequent itemsets based on FIUT
作者英文名 Zhang Hang, Zhang Xin, Zhang Pingkang, Li Qi
机构英文名 College of Big Data & Information Engineering,Guizhou University,Guiyang 550025,China
英文摘要 With the rapid increase in the big data environment, frequent itemsets data mining faces in the actual incremental update problem. This paper proposed a parallel incremental updating algorithm based on MapReduce for frequent itemsets in frequent items ultrametric trees. The algorithm utilized the support of frequent check ultrametric tree leaf node to determine the frequent itemsets and frequent itemsets using quasi strategies to optimize the parallel computing process, so as to improve the efficiency of data mining. According to the compared experiment results, it shows that the proposed algorithm is able to scan and update data efficiently, and has good scalability. It can be used for mining association rules in the incremental big data environment.
英文关键词 big data; frequent itemsets; MapReduce; incremental updating; frequent items ultrametric trees
参考文献 查看稿件参考文献
 
收稿日期 2017/12/18
修回日期 2018/1/31
页码 1991-1993
中图分类号 TP301.6
文献标志码 A