《计算机应用研究》|Application Research of Computers

基于文本引导对抗哈希的跨模态检索方法

Text-guided adversarial hashing for cross-modal retrieval

免费全文下载 (已被下载 次)  
获取PDF全文
作者 朱杰
机构 中央司法警官学院信息管理系
统计 摘要被查看 次,已被下载
摘要 随着深度学习方法的不断发展,跨模态哈希检索技术也取得了长足的进步。但是,目前的跨模态哈希检索方法通常基于两种假设,第一,相似的文本描述的图像内容也相似。第二,相同类别的图像有着较好的全局相似性。但是,真实数据集中的数据往往不能满足以上两种假设,导致了跨模态哈希检索模型性能的降低。针对以上两个问题,提出了一种基于文本引导对抗哈希的跨模态检索方法(Text-guided Adversarial Hashing for Cross-Modal Retrieval,TAH),此方法在构建的网络结构基础上,将文本哈希码作为训练图像网络的基础,并将图像的局部特征与全局特征结合用于表示图像内容,此外,还针对性的提出了文本模态内全局一致性损失、模态间局部与全局一致性损失和分类对抗损失用于训练跨模态网络。实验证明,TAH可以在三个数据集中取得良好检索性能。
关键词 文本特征;图像局部与全局特征;跨模态检索;哈希码
基金项目 河北省自然科学基金青年基金项目(F2018511002)
河北省教育厅人文社科重大攻关项目(ZD202102)
本文URL http://www.arocmag.com/article/02-2022-01-014.html
收稿日期
修回日期
页码 -
中图分类号 TP391
文献标志码