《计算机应用研究》|Application Research of Computers

TSPT:基于预训练的三阶段复合式文本摘要模型

TSPT: three-stage compound text summarization model based on pre-training

免费全文下载 (已被下载 次)  
获取PDF全文
作者 吕瑞,王涛,曾碧卿,刘相湖
机构 华南师范大学 计算机学院
统计 摘要被查看 次,已被下载
摘要 抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可以生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型(TSPT),结合抽取式方法和生成式方法,将源经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明该模型在CNN/Daily Mail数据集中取得良好了效果。
关键词 预训练;复合式文本摘要模型;抽取式方法;生成式方法;双向上下文信息词向量
基金项目 国家自然科学基金资助项目(61772211,61503143)
本文URL http://www.arocmag.com/article/02-2020-10-012.html
收稿日期
修回日期
页码 -
中图分类号 TP391
文献标志码