《计算机应用研究》|Application Research of Computers

基于稳健设计的SGNS算法的超参数调优方法

Tuning method of hyper-parameters for sgns algorithm based on robust design

免费全文下载 (已被下载 次)  
获取PDF全文
作者 牛倩,曹学飞,王瑞波,李济洪
机构 山西大学 软件学院
统计 摘要被查看 次,已被下载
摘要 表示学习算法中的超参数调优是自然语言处理常见的问题。通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法)。但是此方法的稳健性差。为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法)。具体地,以SGNS算法中的超参数调优为例,在词语推断任务上实验并得出:1)经方差分析得到SGNS算法中的7个超参数中的5个对算法预测性能有显著影响,确定为主控因子,其余2个确定为噪声因子,且主控因子中有3个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;2)稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性。该方法的稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。
关键词 稳健设计;信噪比;SGNS算法;超参数调优;词向量表示学习
基金项目 国家自然科学基金青年基金项目(61806115,61603228)
本文URL http://www.arocmag.com/article/02-2021-02-039.html
收稿日期
修回日期
页码 -
中图分类号 TP391
文献标志码