CNN-LSTM在多模态人体动作识别中的应用研究

针对环境中存在多种类物体,且光照条件、遮挡情况等可能影响动作识别效果的问题,文中提出一种基于CNN-LSTM的多模态人体动作识别方法。采集人体运动时深度图像数据、合加速度两种可以体现人体动作的多模态行为数据,输入CNN模型,经卷积、降采样等处理,提取人体运动深度图像的骨骼关节特征图、合加速度方差特征图,作为人体动作多模态特征样本,输入LSTM模型,结合人体动作的时域性,学习当前多模态特征样本与动作类型之间的仿射变换关系,在全部时间步中,收集LSTM模型输出门输出的动作分类结果,引入投票决策方法,将出现次数最多的分类结果作为多模态人体动作识别结果。实验结果表明,该方法在正常光照、弱光环境中均可准确识别多种人体动作类型。

资料为PDF文档格式.

本文档关键词:识别,人体,中的,动作,研究