《计算机应用研究》|Application Research of Computers

一种基于信息瓶颈的神经网络混合压缩方法

Neural network hybrid compression method based on information bottleneck

免费全文下载 (已被下载 次)  
获取PDF全文
作者 卓越,姜黎
机构 湘潭大学 微电子科学与工程系
统计 摘要被查看 次,已被下载
摘要 如何在计算能力和存储能力有限的移动或嵌入式设备中部署神经网络是神经网络发展过程中必须面对的一个问题。为了压缩模型大小和减轻计算压力,提出了一种基于信息瓶颈理论的神经网络混合压缩方案。以信息瓶颈理论为基础,找到相邻神经网络层之间冗余信息,并以此为基础修剪冗余的神经元,然后对剩余的神经元进行三值量化从而进一步减少模型存储所需内存。实验结果表明,在MNIST和CIFAR-10数据集上与同类算法对比,所提方法具有更高的压缩率和更低的计算量。
关键词 信息瓶颈;剪枝;三值量化;模型压缩
基金项目
本文URL http://www.arocmag.com/article/02-2021-02-029.html
收稿日期
修回日期
页码 -
中图分类号 TP391
文献标志码