黑龙江大学自然科学学报

2021, v.38(02) 246-252

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于深度监督的跨模态图文检索方法研究
Research on cross-modal image and text retrieval method based on deep supervision

焦隆;徐慧铭;程海;

摘要(Abstract):

基于深度监督的学习结构应用于跨模态图文检索领域,弥补了不同数据模式之间的异质性差异,通过端到端的方式同时保持语义鉴别和模态不变性,有效地学习异构数据的共同表示。本文构建了图像和文本双模态CNN神经网络模型,对损失函数进行改进,优化神经网络模型训练学习过程,以监督网络学习跨模态转换函数。在Pascal sentence数据集的基础上,增加了5种不同类别的图文内容,通过训练数据集调整神经网络模型参数,保存最优模型。实验结果表明,改进算法的图文匹配正确率最高达到了98.2%,通过改进损失函数将算法的平均精度值MAP(Mean average precision)提升到了0.716,较传统深度学习ACMR算法的MAP提高了6.2%,证明本文改进的算法有效提高了跨模态图文检索匹配的精度。

关键词(KeyWords): 跨模态;深度监督;损失函数;卷积神经网络

Abstract:

Keywords:

基金项目(Foundation): 国家自然科学基金资助项目(61471158);; 黑龙江省省属高等学校基本科研业务费基础研究项目(KJCX201904)

作者(Author): 焦隆;徐慧铭;程海;

Email:

DOI: 10.13482/j.issn1001-7011.2020.12.043

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享