《计算机应用研究》|Application Research of Computers

基于BiGRU-attention神经网络的文本情感分类模型

Text sentiment classification model based on BiGRU-attention neural network

免费全文下载 (已被下载 次)  
获取PDF全文
作者 王伟,孙玉霞,齐庆杰,孟祥福
机构 辽宁工程技术大学 a.科学技术研究院;b.电子与信息工程学院;c.矿业技术学院,辽宁 葫芦岛 125105
统计 摘要被查看 次,已被下载
文章编号 1001-3695(2019)12-008-3558-07
DOI 10.19734/j.issn.1001-3695.2018.07.0413
摘要 针对双向长短时记忆神经(BiLSTM)模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环(BiGRU)神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制(attention)层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。
关键词 文本情感分类; 注意力机制; 双向门控循环神经网络
基金项目 国家自然科学基金资助项目(61772249)
2016年辽宁省教育厅城市研究院一般项目(LJCL008)
本文URL http://www.arocmag.com/article/01-2019-12-008.html
英文标题 Text sentiment classification model based on BiGRU-attention neural network
作者英文名 Wang Wei, Sun Yuxia, Qi Qingjie, Meng Xiangfu
机构英文名 a.Institute of Science & Technology,b.College of Electronic & Information Engineering,c.College of Mining Technology,Liaoning Technical University,Huludao Liaoning 125105,China
英文摘要 The BiLSTM neural network model has long training time and cannot fully learn text sentiment information. In order to solve the problems, this paper proposed a text sentiment classification model based on BiGRU-attention neural network. Firstly, it used the bidirectional gated recurrent unity(BiGRU) neural network layer to extract the features of the deep text information. Secondly, it used the attention mechanism(attention) layer to allocate the corresponding weight of the extracted text deep information. Finally, it put the text feature messages of different weights into the softmax function layer to carry out the text sentiment classifications. The experimental results on the IMDB data set show that the accuracy of the proposed neural network model is 90.54%, the loss rate is 0.2430 and the time cost is 1 100 s and the validity of the BiGRU-attention model is verified.
英文关键词 text sentiment classification; attention mechanism; bidirectional gated recurrent unity(BiGRU)
参考文献 查看稿件参考文献
 
收稿日期 2018/7/23
修回日期 2018/9/12
页码 3558-3564
中图分类号 TP391
文献标志码 A