《计算机应用研究》|Application Research of Computers

基于语义语法分析的中文语句困惑度评价

Evaluating perplexity of Chinese sentences based on grammar & semantics analysis

免费全文下载 (已被下载 次)  
获取PDF全文
作者 何天文,王红
机构 1.山东师范大学 信息科学与工程学院,济南 250358;2.山东省分布式计算软件新技术重点实验室,济南 250014
统计 摘要被查看 次,已被下载
文章编号 1001-3695(2017)12-3538-05
DOI 10.3969/j.issn.1001-3695.2017.12.004
摘要 目前用来评价机器翻译系统译文质量的方法主要有IBM提出的BLEU、TER和METEOR等方法,分别以词汇的重现率、译文与参考译文之间的编辑距离和语言学知识等特征作为评价依据,在判定中文句子的困惑度方面具有一定局限性。提出在依存语法分析的基础上,通过对中文句子及其句子主干的语法和语义两方面进行分析得出中文句子的困惑度。实验证明这种方法比通过译文加权改进后的BLEU方法准确率高出4%。
关键词 困惑度;病句;语法;语义;机器翻译
基金项目 国家自然科学基金资助项目(61672329,61373149,61472233,61572300,81273704)
山东省科技计划资助项目(2014GGX101026)
山东省教育科学规划资助项目(ZK1437B010)
山东省泰山学者基金资助项目(TSHW201502038,20110819)
山东省精品课程资助项目(2012BK294,2013BK399,2013BK402)
本文URL http://www.arocmag.com/article/01-2017-12-004.html
英文标题 Evaluating perplexity of Chinese sentences based on grammar & semantics analysis
作者英文名 He Tianwen, Wang Hong
机构英文名 1.SchoolofInformationScience&Engineering,ShandongNormalUniversity,Jinan250358,China;2.ShandongProvincialKeyLaboratoryforDistributedComputerSoftwareNovelTechnology,Jinan250014,China
英文摘要 Methods currently used to evaluate the translation quality of machine translation system are BLEU introduced by IBM, TER, METEOR. These methods do evaluation according to the recurrence rate, the edit distance and the linguistic knowledge, respectively. Although they are superior to other methods, they have some defects in judging the perplexity of Chinese sentences. This paper proposed a method for evaluating the perplexity of Chinese sentences. Specifically, it analyzed the grammar and the semantics together for Chinese sentences and their trunks, based on the parsing of dependency grammar. In the comparison experiments, this method outperforms the mainstream evaluating ones, with accuracy 4 percent higher than improved weighting BLEU method.
英文关键词 perplexity; wrong sentences; grammar; semantics; machine translation
参考文献 查看稿件参考文献
  [1] 秦颖. 翻译质量自动评价研究综述[J] . 计算机应用研究, 2015, 32(2):326-329.
[2] 黄炎孙. 人工智能的符号主义立场研究[D] . 北京:北京化工大学, 2014.
[3] 钱宏泽. 基于中草药语义网的自动问答系统的研究与实现[D] . 杭州:杭州大学, 2016.
[4] 张辉, 刘奕群, 马少平. 文本情感分类中生成式情感模型的发展[J] . 计算机应用研究, 2014, 31(12):3521-3526.
[5] Britz D. Deep learning for Chatbots, part 2:implementing a retrieval-based model in Tensorflow[EB/OL] . (2016-07-04). http://www. wildml. com/2016/07/.
[6] 梁华参. 基于短语的统计机器翻译模型训练中若干关键问题的研究[D] . 哈尔滨:哈尔滨工业大学, 2013.
[7] Yao Kaisheng, Zweig G, Peng Baolin. Attention with intention for a neural network conversation model[EB/OL] . (2015-10). http://www. oalib. com/paper/4052520#. WNt1BIVOJkd. [8] Papineni K, Roukos S, Ward T, et al. BLEU :a method for automatic evaluation of machine translation[C] //Proc of the 40th Annual Meeting for Association for Computational Linguistics. 2002:311-318.
[9] 王茜. 基于BLEU的英语翻译自动评分研究[J] . 安徽电子信息职业技术学院学报, 2010, 9(4):65-66.
[10] 张剑, 吴际, 周明. 机器翻译评测的新进展[J] . 中文信息学报, 2003, 17(6):1-8.
[11] 赵红梅, 刘群. 机器翻译及其评测技术简介[J] . 产品安全与召回, 2010(1):36-41.
[12] 刘章. 面向服务机器人的口语对话系统和语言模型技术研究[D] . 合肥:中国科学技术大学, 2014.
[13] 贺敏, 王丽宏, 杜攀, 等. 基于有意义串聚类的微博热点话题发现方法[J] . 通信学报, 2013, 34(S1):256-262.
[14] 常若愚. 汉语语义组块识别研究[D] . 杭州:杭州电子科技大学, 2015.
[15] 李优, 黄德根. 一个基于规则的汉语句子组块识别系统[C] //中国模糊逻辑与计算智能联合学术会议论文集. 2005.
[16] Wang Hao, Lu Zhengdong, Li Hang, et al. A dataset for research on short-text conversation[C] //Proc of Intemational Conference on Empirical Methods in Natural Language Processing. 2013:935-945 .
[17] Che Wanxiang, Li Zhenghua, Liu Ting. LTP:a Chinese language technology platform[C] //Proc of the 23rd International Conference on Computational Linguistics:Demonstrations. 2010:13-16.
[18] 孙连恒, 杨莹, 姚天顺. OpenE:一种基于n-gram共现的自动机器翻译评测方法[J] . 中文信息学报, 2004, 18(2):15-22.
[19] 唐承亮, 肖海青, 向华政. 基于文字RGB颜色变化的脆弱型文本数字水印技术[J] . 计算机工程与应用, 2005, 41(36):6-8.
[20] 华琳, 阎岩, 张建. 关于对诊断一致性Kappa系统的探讨[J] . 数理医药学杂志, 2006, 19(5):518-520.
收稿日期 2016/10/27
修回日期 2016/12/23
页码 3538-3542,3546
中图分类号 TP391.1
文献标志码 A