《计算机应用研究》|Application Research of Computers

基于MapReduce和IFOA的并行密度聚类算法

Density-based clustering algorithm by using improve fruit fly optimization based on MapReduce

免费全文下载 (已被下载 次)  
获取PDF全文
作者 胡健,徐锴滨,毛伊敏
机构 江西理工大学 信息工程学院;江西理工大学 应用科学学院 信息工程系
统计 摘要被查看 次,已被下载
摘要 针对大数据下密度聚类算法中存在的数据划分不合理、参数寻优能力不佳、并行性能较低等问题,提出一种基于IFOA的并行密度聚类算法MR-DBIFOA(the density-based clustering algorithm by using improve fruit fly optimization based on MapReduce)。首先,该算法基于KD树,提出网格划分策略KDG(divide gird based on KD tree)来自动划分数据网格;其次在局部聚类中,提出基于自适应搜索策略KLSS(step strategy based on knowledge learn)和聚类判定函数CCF(the clustering criterion function)的果蝇群优化算法IFOA(the improve fruit fly optimization algorithm);然后根据IFOA算法进行局部聚类中最优参数的动态寻优,从而使局部聚类的聚类效果得到提升;同时结合MapReduce模型提出局部聚类算法DBIFOA(the density-based clustering algorithm using IFOA);最后提出了基于QR-Tree的并行合并局部簇算法(cluster merging algorithm by using MapReduce,MR-QRMEC),实现局部簇的并行合并,使算法整体的并行性能得到加强。实验表明,MR-DBIFOA算法在大数据下的并行效率更高,且聚类效果更好。
关键词 大数据;密度聚类算法;KD树;果蝇优化
基金项目 国家重点研发计划资助项目(2018YFC1504705)
国家自然科学基金资助项目(41562019)
江西省教育厅科技项目(GJJ151528,GJJ151531)
本文URL http://www.arocmag.com/article/02-2021-05-033.html
收稿日期
修回日期
页码 -
中图分类号 TP315.69
文献标志码