《计算机应用研究》|Application Research of Computers

深度神经网络的压缩研究

Compression of deep neural networks

免费全文下载 (已被下载 次)  
获取PDF全文
作者 韩云飞,蒋同海,马玉鹏,徐春香,张睿
机构 中国科学院新疆理化技术研究所;新疆民族语音语言信息处理实验室;中国科学院大学
统计 摘要被查看 次,已被下载
摘要 深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案:首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5×和12.1×。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。
关键词 神经网络;压缩;网络删减;参数共享
基金项目 中国科学院科技服务网络计划(STS计划)资助项目(KFJ-EW-STS-129)
中国科学院西部之光人才培养计划资助项目(XBBS201319)
中国科学院青年创新促进会
新疆维吾尔自治区引进高层次人才计划资助项目
本文URL http://www.arocmag.com/article/02-2018-10-001.html
收稿日期
修回日期
页码 -
中图分类号 TP183
文献标志码