针对传统图像类别标签识别系统只能单一模态识别图像类别标签的问题,设计一种生成对抗网络图像类别标签跨模态识别系统。将待识别图像输入系统跨模态多标签标定模块中,该模块采用卷积神经网络构建图像模型和文本模型,采用同质迁徙学习和混合迁徙学习训练两个模型,融合训练后的图像内容和说明文本两种模态,多模态类别标签标定图像;将标定图像传输到生成对抗网络中,该网络采用流行一致方法结合生成器生成的图像和隐变量、真实图像和编码器获取的图像特征,将结合结果传输到鉴别器后采用循环交替优化方式训练对抗网络,输出图像类别标签识别结果。经过实验分析发现,该系统能跨模态识别出原始图像中的花、电视图像类别标签,汉明损失数值均低于0.02,宏平均值高于0.97,系统跨模态识别图像类别标签效果好。
资料为PDF文档格式.
本文档关键词:类别,标签,图像,识别,生成
