融合注意力机制的LSTM-GCN网络人体行为识别

针对现有人体骨架行为识别方法中因只侧重于视频数据中时间或空间信息的单独提取而存在的时空特征提取不充分的问题,提出一种融合注意力机制的LSTM-GCN网络。该网络设计为LSTM层和图卷积层两层,其中LSTM层重点提取骨架序列的时间信息,图卷积层重点提取骨架序列的空间信息。同时在两个网络层中融入了注意力机制,并按人体骨骼点对整体动作贡献程度对其分配不同的权重,实现了对数据中显著特征及关键帧的增强识别。两个网络层按一定的比重融合后利用Softmax对动作进行分类识别。为验证该方法的优越性,在Kinetics和NTU-RGB+D两个比较典型的公开数据集上进行了仿真实验和消融实验。同时录制了一些相似度高、易混淆的视频,并对其识别结果可视化,再次证明该方法的普适性。实验结果表明该方法可以有效增强人体骨骼行为识别性能,并在计算精度和识别效率上具有一定的优势。

资料为PDF文档格式.

本文档关键词:注意力,识别,融合,人体,机制