基于多域特征融合的多模态命名实体识别

多模态命名实体识别(MNER)致力于准确检测文本中的命名实体,并结合图像信息将其分类到预定义类型中。然而,现有的MNER模型在不同模态特征的使用上仍存在不足,如图文噪声难以避免,不相关的图像区域可能误导文本信息,导致模型性能下降。为此,提出一种基于多域特征融合的MNER方法。该方法通过提取图像的频域特征作为补充模态,并结合特征融合工程对三种模态的特征向量进行整合,以捕获模态间的深层语义联系,从而提高命名实体识别的准确性。在Twitter-2015和Twitter-2017两个公开数据集上的实验结果表明,所提方法能够显著提升MNER任务中的实体识别准确率,验证了该方法的有效性。

资料为PDF文档格式.

本文档关键词:识别,实体,命名,融合,特征