1. 研究目的与意义
人体运动识别是指计算机通过读取人体运动特征,经过特征提取,数据预处理,算法识别等过程,对人体所作的动作进行分类识别的过程。人体动作识别在人机交互、智能监控、虚拟现实以及基于内容的视频检索等领域中,均具有广泛的应用前景。
目前,用于进行人体运动识别研究的数据集大多是由鼓掌,起立,走路,弹跳等类别构成的,这些研究样本的动作类别相对简单,运动速度较低并且类间离散度较大,利于区分。然而在某些场景下,例如体育竞技评分、人机协作救援等,需要人体运动识别算法能更够识别更加复杂的动作种类。
2. 研究内容和预期目标
为实现视频中的人体动作识别,了解一些基本的识别方式是必需的,从视频中获得人体的骨骼点序列信息,通过对骨骼点序列信息进行提取学习,从而达到识别人体动作的目的。为了获得视频帧上的人体骨骼点,首先,对于单张图片中的人,通过使用人体检测模型,获得人体在图片中的位置,其位置为一个坐标框表示,通过这种方法将人体与背景分割开来:其次,在所检测的人体区域,通过使用人体姿态估计模型获得人体的骨骼点坐标信息。通过人体检测和人体姿态估计两步,准确获得单张图片中人体的骨骼点坐标;最后,对整个视频序列中的每一帧图片都使用人体检测和人体姿态估计,获得视频中的人体骨骼点序列。在此基础上,使用一个动作分类模型对骨骼点序列信息进行特征提取与学习,最终实现对视频中的人体动作进行分类。
或者可以对数据集进行了骨骼点特征提取,建立数据集的时空骨架图,针对不同的动作识别任务,对动作的骨骼点数据进行了预处理优化,并将预处理方法在现有的模型算法上进行实验验证。并设计一种实现新的用于骨骼点动作分类的算法模型,现有的图卷积动作识别网络可以作为参考
基于这些研究思路,我需要通过使用人体检测模型和人体姿态估计模型获得视频中的人体骨骼点序列,再将人体骨骼点序列信息输入人体动作识别模型,完成动作识别。
3. 国内外研究现状
人体动作识别在人机交互、视频检索、公共安全等多个领域中有着重要的应用价值。近年来,基于骨骼点的人体动作识别受到了广泛关注,涌现出大量识别算法。相比于基于RGB视频的人体动作识别算法,基于骨骼点的人体动作识别算法有以下几点优势:首先,骨骼点数据是人体姿态和动作的高层次抽象表达,人类可以仅靠观察关节的运动就能分别出动作种类而不需要依靠RGB视频的色彩信息。其次,随着深度摄像头和人体姿态检测算法的高速发展使得获取人体运动的骨骼点特征变得更加容易。再次,相比于RGB视频,骨骼点特征对于观察视点和人体外观的变化更具有鲁棒性。同时,骨骼点特征维度较少,可以有效的减少识别过程的计算量。另外,基于骨骼点特征的识别结果可以对RGB视频特征的识别结果进行互补。
对于基于骨骼点识别算法的设计,早期的骨骼点识别算法依赖于手工设计的特征算子局部性地描述目标特征,比如 Laptev使用拉普拉斯算子使用时空兴趣点描述人体运动;而改进的密集策略‘使用多种特征组合特征刻画运动区域。虽然它们3被广泛应用于动作识别并取得了不错效果,但是特征维度低以及时间尺度不足极大地限制了此类方法的发展。随着神经网络理论的迅速发展,许多神经网络的方法被应用到以骨骼点为特征的人体动作。
4. 计划与进度安排
了解构建基于YOLO Nano的人体检测模型;构建基于SNHRNet的人体姿态估计模型;构建了基于ST-GCN的人体动作识别模型的方法
在构建人体检测模型、人体姿态估计模型和人体动作识别模型的基础上,了解使用MV-EM130C相机和手机在室内和室外场景采集了共6类动作视频,每类动作采集10个动作序列进行的实验测试和实验结果进行对比。
了解动作识别相关基础技术以及卷积神经网络、图卷积神经网络和凸包算法等可能需要的技术,在动作数据集上如何提取骨骼点特征,随后对于在识别不同的动作中可能出现的样本时长不均衡,骨骼点数据波动幅度大,样本数量少等问题提出了相应的预处理方案,并且在数据集上复现了相关识别算法,验证了预处理优化的有效性。
5. 参考文献
1] 山罗会兰,童康,孔繁胜.基于深度学习的视频中人体动作识别进展综述[叮]电子学报,2019,47(05):1162-1173.
2] 钱慧芳.易剑平,付云虎,基于深度学习的人休动作识别综述[J].计算机科学与探索,2021,15(03):438--455.
3] ZhuJ,ZhuZ,Zou W.End-o-end video-level representation learning for action recognition: 2018 24th
以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。