异构数字媒体流数据的实时关联挖掘

为有效捕捉数据流不同模态之间的关联,提高数据挖掘效果,提出一种异构数字媒体流数据的实时关联挖掘方法。通过滑动窗口处理异构数字媒体流数据,提取具有潜在价值的候选数据,并输入到异构数字媒体流数据关联挖掘双路分支框架中。文本模态分支通过BERT-Large与双向GRU网络学习文本模态数字媒体流数据的特征表示,再构建文本连接图并结合GCN建模文本模态关系,提取文本模态数字媒体流数据特征。视觉模态分支利用Faster-RCNN以及多头注意力的GCN建模视觉模态关系,得到视觉模态数字媒体流数据特征;采用交叉注意力机制捕捉跨模态间的关联性,生成融合后的视觉、文本模态数字媒体流数据特征,数据挖掘模块通过在语义空间中计算二者相似度,实现异构数字媒体流数据关联挖掘。实验结果表明,所提方法可实现不同模态数字媒体流数据关联挖掘,挖掘结果与待查询媒体事件高度匹配,Recall@5、MRR指标分别为0.50、0.40,挖掘时间低于0.2 s。

资料为PDF文档格式.

本文档关键词:实时,关联,挖掘,媒体,数据