WO2018120964A1 - 一种基于深度信息和骨骼信息的姿势矫正方法 - Google Patents

一种基于深度信息和骨骼信息的姿势矫正方法 Download PDF

Info

Publication number
WO2018120964A1
WO2018120964A1 PCT/CN2017/104990 CN2017104990W WO2018120964A1 WO 2018120964 A1 WO2018120964 A1 WO 2018120964A1 CN 2017104990 W CN2017104990 W CN 2017104990W WO 2018120964 A1 WO2018120964 A1 WO 2018120964A1
Authority
WO
WIPO (PCT)
Prior art keywords
bone
user
points
skeleton
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/104990
Other languages
English (en)
French (fr)
Inventor
许宏吉
孙君凤
房海腾
周英明
潘玲玲
党娟
李菲菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Publication of WO2018120964A1 publication Critical patent/WO2018120964A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the invention relates to a posture correction method based on depth information and bone information, and belongs to the technical field of intelligent perception and intelligent computing.
  • posture correction In daily life, posture correction is used in many fields. For example, in medicine, it can be used for rehabilitation of sports disorders such as Parkinson's syndrome and muscle spasm; in education, it can be used for teaching basketball, rhythmic gymnastics, dance and other projects; For fitness and recreation, it can be used for posture correction of yoga, Pilates and other projects to help the fitness person achieve the desired fitness effect. According to reports, one out of every three people over the age of 40 may have Locomotive Syndrome. Reasonable exercise therapy is an indispensable means of rehabilitation for these conditions. In yoga, Pilates and other projects, the quality of the posture of the posture will affect the effect of the later training, and the wrong posture may also cause bone dislocation or muscle strain. Therefore, in order to achieve better medical rehabilitation and reduce unnecessary physical injury in training, it is especially important to study an intelligent and efficient posture monitoring and correction method.
  • Microsoft's Kinect somatosensory device has instant 3D motion capture, microphone input and video recognition, especially the second generation Kinect sensor provides optimized bone tracking, enhanced fidelity depth camera combined with improved software, bringing A series of bone tracking enhancements, in addition to now tracking 6 sets of complete bones (the first generation of Kinect tracking up to 2 sets) and 25 bone points per target (20 first-generation Kinect), automatic tracking and positioning More accurate and stable than the previous generation, and the tracking range is also larger.
  • the present invention proposes a posture correction method based on depth information and bone information.
  • the invention utilizes the Kinect camera to acquire the advantages of the user's depth data and bone data, and aims to develop a posture correction method which is strong in anti-interference ability, convenient, practical and effective.
  • the method includes: 1) data acquisition: using Kanect2.0 to collect the sensor's field of view Depth data and bone data (25 bone points from 6 people), based on the user ID (Kinect's unique bone tracking ID, assigned to each user in the field of view to distinguish the current bone data is Bone point screening for which user's) and bone space coordinate depth values; 2) Data preprocessing: smoothing the bone data to normalize the coordinates of the bone points, drawing the skeleton vector according to the anatomy of the human body; 3) Feature extraction and recognition: calculation The cosine of the direction of the skeletal vector, and the cosine values of the three directions of each skeletal vector are extracted as features, and input into the Bayesian regularized BP neural network for further identification. Finally, the recognition result is analyzed and processed, and the processing result is displayed. On the user interface
  • the invention improves the practicability, accuracy and robustness of posture correction.
  • BP Back Propagation neural network
  • Rumelhart and McCelland is a multi-layer feedforward network trained by error inverse propagation algorithm, and is one of the most widely used neural network models.
  • BP neural networks can learn and store a large number of input-output mode mapping relationships without the need to reveal mathematical equations describing such mapping relationships in advance. Its learning rule is to use the steepest descent method to continuously adjust the weights and thresholds of the network through backpropagation to minimize the sum of squared errors of the network.
  • the BP neural network model topology includes an input layer, a hidden layer, and an output layer.
  • Deep data flow refers to a series of deep data collected by kinect in real time
  • color data stream refers to a series of color data collected by kinect in real time
  • a posture correction method based on depth information and bone information, and the specific steps include:
  • Effective bone point screening based on user ID and bone space coordinate depth value use the Kinect2.0 camera to obtain user bone data and depth data, select all the bone points of the target user; user ID refers to the unique Kinect2.0 sensing device User tracking identifier for assigning to each user within the effective line of sight to distinguish which user the bone information is;
  • step (2) Smoothing the bone data selected in step (1), normalizing the coordinates of the bone points in the bone space coordinate system; reducing the difference in the position of the bone points between the bone frames, and the data of the kinect development tool kinect for windows sdk Object types are provided in the form of skeleton frames, each frame consisting of 25 bone points.
  • step (2) According to the coordinates of the skeletal point normalized in the skeletal space coordinate system in step (2), draw the skeletal vector, calculate the direction cosine value of each skeletal vector, and extract the cosine values in these directions as features. ;
  • step (4) The training data set and test data set obtained in step (4) are input as Bayesian regularized BP neural network, Bayesian regularized BP neural network identifies 25 skeletal points and 24 bone segments;
  • the step (1) comprises the steps of:
  • the bone data refers to the coordinates of the bone point in the bone space coordinate system; the bone space coordinate system refers to: the Kinect2.0 camera.
  • the Z axis is aligned with the orientation of the Kinect 2.0 camera, the Y axis is extending in the positive semi-axial direction, and the viewing angle of the X-axis positive semi-axial Kinect sensor is extended; the effective viewing distance means that the Kinect 2.0 camera can correctly collect information.
  • the effective line of sight ranges from 0.8 to 3.0 m;
  • the bone points include: head, neck, right index finger, right thumb, right palm, right wrist, right elbow, right shoulder, Shoulder center, left shoulder, left elbow, left wrist, left palm, left thumb, left index finger, spine, hip center, right hip, left hip, right knee, left knee, right ankle, left ankle, right foot, left A total of 25 bone points in the foot;
  • Kinect2.0 can simultaneously track 25 skeletal points on 6 target users and deep data streams and color data streams of objects in the field of view.
  • the skeletal API in Kinect for windows sdk can provide location information for up to 5 people in front of Kinect.
  • the three-dimensional coordinate information including detailed poses and skeleton points also has user ID information, and the data object type is provided in the form of skeleton frames, and each frame can hold 25 skeleton points.
  • the step (2) comprises the following steps:
  • the smoothing value ranges from 0 to 1.
  • the smoothed value is larger, and the smoother is more.
  • the smoothed value is 0, indicating no smoothing.
  • the value of the correction value is between 0 and 1 floating point data, the smaller the correction value, the smoother the bone information;
  • MaxDeviationRadius is a floating-point data range from 0 to 1. Any point that exceeds the maximum boundary of the jitter radius is not considered to be jittery and is considered a new point;
  • the value range is between 0 and 1 floating point data, the default value is 0;
  • step D Calling the kinect bone data smoothing algorithm to pass the smoothing parameters in step C to SkeletonStream.Enable() to smooth the bone data.
  • Smoothing bone data can have performance overhead. The more smoothing, the more performance is consumed. Setting individual smoothing parameters has no experience to follow. Continuous testing and debugging are required to achieve the best performance and results. Different smoothing parameters may need to be set at different stages of the program run.
  • the skeletal motion exhibits a leap-like change.
  • the target user's actions are not coherent, Kinect hardware performance is poor, and so on.
  • the relative position of the bone points may vary greatly from frame to frame, which can have some negative effects on the application, such as affecting the user experience and causing accidental control.
  • the step (3) comprises the following steps:
  • the adjacent two bone points are sequentially connected to form a bone segment, and the bone segment is defined as a bone vector, which is obtained in total.
  • the direction cosine of the defined 24 bone vectors can be used to represent a certain type of motion.
  • the step (4) comprises the following steps:
  • the target user completes a series of standard actions under the guidance of the professional.
  • the Kinect2.0 camera acquires three of the 24 bone vectors corresponding to each action.
  • test data set The target user completes a series of actions in the effective viewing distance of the Kinect2.0 camera. Through steps (1) to (3), the Kinect2.0 camera obtains 24 bone vectors corresponding to each action. The cosine value in three directions, the test data set.
  • the Kinect2.0 camera will record these actions in the form of skeleton frames, and then pass the bone point screening, bone data smoothing, and the direction cosine of the bone vector. Feature value extraction, and finally generate the training data set we need.
  • the training set has a total of several data frames (the more the number of frames, the higher the precision).
  • Each frame of bone data contains 24 bone vectors of one pose, and each bone vector has three.
  • Cosine value in the direction; during the posture correction phase, the user will complete a series of actions in the Kinect field of view. Kinect will also record these possible irregular movements in the form of skeleton frames, and then filter through the corresponding bone points and smooth the bone data. Process, extract the cosine feature values of the skeletal vector, and finally generate the test data set we need.
  • the step (5) comprises the following steps:
  • n is the number of nodes of the input layer
  • l is the number of nodes of the output layer
  • ⁇ is an integer between 1 and 10;
  • the number of nodes in the input and output layers is generally determined by the dimensions of the input and output variables based on actual problems.
  • the input variable of the BP neural network is the cosine eigenvalue in the three-dimensional direction, so the number of nodes in the input layer is 3, and the skeletal vector of the output variable matches the skeletal vector of the standard pose, that is, 1 or 0, so the number of output layer nodes is 1.
  • the number of hidden layer nodes has a great influence on network performance. The number of nodes is different. The final result will be very different.
  • the number of nodes is too small, and the network iterative rate is fast. However, the network modeling is insufficient, resulting in poor network performance. If the number of nodes is too large, the network structure will be complicated, the amount of calculation will increase, and the training time will be longer. Therefore, it is necessary to select the appropriate number of nodes.
  • the training data set is input as a training set to the Bayesian regularized BP neural network.
  • the test data set is input to the trained Bayesian regularized BP nerve.
  • the correctness of each bone vector is identified, that is, whether it matches the corresponding bone vector of the standard bone pose of the training set.
  • Kinect sensors provide third-dimensional depth data. It can overcome the shortcomings of the color camera being vulnerable to external interference such as light, accurately track the human body within the field of view, and also improve the naturalness of human-computer interaction.
  • Kinect can extract human bone information, when the user makes different actions, the corresponding bone points and bone segments have different position and angle information, this information will provide a very reliable and direct method to achieve human body gesture recognition.
  • Kinect2.0 is a comprehensive upgrade of the first generation of Kinect sensors, bone tracking can track 6 sets of complete bones (the first generation of Kinect track up to 2 sets) and 25 bone points per person (first generation Kinect is 20), and the automatic tracking and positioning function is more accurate and stable than the previous generation, and the tracking range is also larger.
  • the use of Kinect2.0 can greatly improve the accuracy of gesture recognition.
  • the traditional feature extraction method requires complex mathematical algorithms, which is difficult to implement and has low operational efficiency.
  • the invention directly studies the angle information of the human skeleton and is more convenient and intuitive, and also improves the running speed of the program.
  • BP neural network has many defects, especially the generalization ability caused by over-fitting phenomenon is abnormally obvious.
  • Bayesian regularization algorithm can effectively suppress over-fitting phenomenon and has high generalization ability.
  • the user ID and the bone space coordinate depth value are used to locate the target user, which improves the accuracy of the bone tracking.
  • the invention recognizes and corrects the action postures of the 25 bone points and 24 bone segments of the human body, and improves the correctness and robustness of the posture correction.
  • FIG. 1 is a flow chart of a posture correction method based on depth information and bone information according to the present invention
  • FIG. 2 is a schematic diagram of a skeleton point screening process of the present invention
  • FIG. 3 is a schematic diagram of 24 bone vectors defined by the present invention.
  • FIG. 5 is a schematic diagram of a process of extracting a direction cosine feature value according to the present invention.
  • a posture correction method based on depth information and bone information as shown in FIG. 1, the specific steps include:
  • Effective bone point screening based on user ID and bone space coordinate depth value use the Kinect2.0 camera to obtain user bone data and depth data, select all the bone points of the target user; user ID refers to the unique Kinect2.0 sensing device The user tracking identifier is used to assign to each user in the effective line of sight to distinguish which user the bone information is; as shown in FIG. 2, the following steps are included:
  • the bone data refers to the coordinates of the bone point in the bone space coordinate system; the bone space coordinate system refers to: the Kinect2.0 camera.
  • the Z axis is aligned with the orientation of the Kinect 2.0 camera, the Y axis is extending in the positive semi-axial direction, and the viewing angle of the X-axis positive semi-axial Kinect sensor is extended; the effective viewing distance means that the Kinect 2.0 camera can correctly collect information.
  • the effective line of sight ranges from 0.8 to 3.0 m;
  • the bone points include: head, neck, right index finger, right thumb, right palm, right wrist, right elbow, right shoulder, Shoulder center, left shoulder, left elbow, left wrist, left palm, left thumb, left index finger, spine, hip center, right hip, left hip, right knee, left knee, right ankle, left ankle, right foot, left 25 bone points such as feet;
  • Kinect2.0 can simultaneously track 25 skeletal points on 6 target users and deep data streams and color data streams of objects in the field of view.
  • the skeletal API in Kinect for windows sdk can provide location information for up to 5 people in front of Kinect.
  • the three-dimensional coordinate information including detailed poses and skeleton points also has user ID information, and the data object type is provided in the form of skeleton frames, and each frame can hold 25 skeleton points.
  • step (2) Smoothing the bone data selected in step (1), normalizing the coordinates of the bone points in the bone space coordinate system; reducing the difference in the position of the bone points between the bone frames, and the data of the kinect development tool kinect for windows sdk Object types are provided in the form of skeleton frames, each frame consisting of 25 bone points.
  • the steps are as follows:
  • the smoothing value ranges from 0 to 1.
  • the smoothed value is larger, and the smoother is more.
  • the smoothed value is 0, indicating no smoothing.
  • the value of the correction value is between 0 and 1 floating point data, the smaller the correction value, the smoother the bone information;
  • MaxDeviationRadius is a floating-point data range from 0 to 1. Any point that exceeds the maximum boundary of the jitter radius is not considered to be jittery and is considered a new point;
  • the value range is between 0 and 1 floating point data, the default value is 0;
  • step D Calling the kinect bone data smoothing algorithm to smooth the bone data by passing each smoothing parameter in step C to SkeletonStream.Enable().
  • Smoothing bone data can have performance overhead. The more smoothing, the more performance is consumed. Setting individual smoothing parameters has no experience to follow. Continuous testing and debugging are required to achieve the best performance and results. Different smoothing parameters may need to be set at different stages of the program run.
  • the skeletal motion exhibits a leap-like change.
  • the target user's actions are not coherent, Kinect hardware performance is poor, and so on.
  • the relative position of the bone points may vary greatly from frame to frame, which can have some negative effects on the application, such as affecting the user experience and causing accidental control.
  • step (3) According to the coordinates of the skeletal point normalized in the skeletal space coordinate system in step (2), draw the skeletal vector, calculate the direction cosine value of each skeletal vector, and extract the cosine values in these directions as features.
  • the steps are as follows:
  • the adjacent two bone points are sequentially connected to form a bone segment, and the bone segment is defined as a bone vector, which is obtained in total.
  • the cosine values of the four directions of the 24 bone vectors are sequentially calculated, and these cosine values are extracted as features, as shown in FIG. 5.
  • the direction cosine of the defined 24 bone vectors can be used to represent a certain type of motion.
  • each frame bone frame contains 24 sets of bone vectors
  • each bone vector contains three directions cosine values; as follows:
  • the target user completes a series of standard actions under the guidance of the professional.
  • the Kinect2.0 camera acquires three of the 24 bone vectors corresponding to each action.
  • test data set The target user completes a series of actions in the effective viewing distance of the Kinect2.0 camera. Through steps (1) to (3), the Kinect2.0 camera obtains 24 bone vectors corresponding to each action. The cosine value in three directions, the test data set.
  • the Kinect2.0 camera will record these actions in the form of skeleton frames, and then pass the bone point screening, bone data smoothing, and the direction cosine of the bone vector. Feature value extraction, and finally generate the training data set we need.
  • the training set has a total of several data frames (the more the number of frames, the higher the precision).
  • Each frame of bone data contains 24 bone vectors of one pose, and each bone vector has three.
  • Cosine value in the direction; during the posture correction phase, the user will complete a series of actions in the Kinect field of view. Kinect will also record these possible irregular movements in the form of skeleton frames, and then filter through the corresponding bone points and smooth the bone data. Process, extract the cosine feature values of the skeletal vector, and finally generate the test data set we need.
  • step (4) The training data set and test data set obtained in step (4) are used as input of Bayesian regularized BP neural network, and 25 bone points and 24 bone segments are identified by Bayesian regularized BP neural network;
  • the steps are as follows:
  • n is the number of nodes of the input layer
  • l is the number of nodes of the output layer
  • ⁇ is an integer between 1 and 10;
  • the number of nodes in the input and output layers is generally determined by the dimensions of the input and output variables based on actual problems.
  • the input variable of the BP neural network is the cosine eigenvalue in the three-dimensional direction, so the number of nodes in the input layer is 3, and the skeletal vector of the output variable matches the skeletal vector of the standard pose, that is, 1 or 0, so the number of output layer nodes is 1.
  • the training data set is input as a training set to the Bayesian regularized BP neural network.
  • the test data set is input to the trained Bayesian regularized BP nerve.
  • the correctness of each bone vector is identified, that is, whether it matches the corresponding bone vector of the standard bone pose of the training set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度信息和骨骼信息的姿势矫正方法，包括：(1)基于用户ID和骨骼空间坐标深度值的有效骨骼点筛选；(2)对骨骼信息进行平滑处理，将骨骼点在骨骼空间坐标系中的坐标标准化；(3)绘制骨骼向量，计算每个骨骼向量的方向余弦值；(4)获取训练数据集和测试数据集；(5)数据集作为贝叶斯正则化BP神经网络的输入，通过贝叶斯正则化BP神经网络对25个骨骼点和24个骨骼段进行识别；(6)结果分析和处理。本方法克服了彩色摄像头易受光线等外界干扰的缺点，可以准确追踪到视野范围内的人体，同时也提高了人机交互的自然性。

Description

一种基于深度信息和骨骼信息的姿势矫正方法 技术领域
本发明涉及一种基于深度信息和骨骼信息的姿势矫正方法，属于智能感知与智能计算技术领域。
背景技术
日常生活中，姿势矫正被应用于诸多领域，例如，医学方面，可用于帕金森综合症、肌肉痉挛等运动障碍疾病的康复治疗；教育方面，可用于篮球、艺术体操、舞蹈等项目的教学；健身娱乐方面，可用于瑜伽、普拉提等项目的体态纠正，帮助健身者达到预期的健身效果。据报道，在40岁以上的亚洲人中，每3人中就有1人可能患有运动障碍综合征(Locomotive Syndrome)，合理的运动治疗是这类病症必不可少的康复手段，而对于体操、瑜伽、普拉提等项目，动作姿势完成的质量会影响后期训练的效果，错误的动作姿势还可能会造成骨骼错位或肌肉拉伤。所以为了实现更好的医疗康复效果和减少训练中不必要的身体伤害，研究一种智能、高效的姿势监督矫正方法显得尤为重要。
医疗方面，传统的姿势矫正方法都需要专业人员的陪同与指导，浪费诸多人力物力的同时也令参与者感到枯燥乏味，往往不能达到预期的康复疗效。此外，已有一些研究机构将索尼体感设备EyeToy和任天堂Wii应用于肢体运动康复训练中，但其二维图像处理的局限性制约了此项技术在康复领域的发展。
微软发布的Kinect体感设备有即时3D运动捕捉、麦克输入和影音识别等功能，特别是第二代Kinect体感器提供了优化版骨骼追踪功能，增强保真度的深度相机结合改进版软件，带来了一系列骨骼追踪功能提升，除了现在可以追踪6套完整骨骼(第一代Kinect最多追踪2套)以及每个目标25个骨骼点(第一代Kinect为20个)之外，自动追踪定位也比上一代更加精确稳定，且追踪范围也更大。
发明内容
针对现有方法的不足，本发明提出了一种基于深度信息和骨骼信息的姿势矫正方法。
本发明利用Kinect摄像头获取用户深度数据和骨骼数据的优势，旨在开发一种抗干扰能力强、便捷实用有效的姿势矫正方法。该方法包括：1)数据采集：使用Kinect2.0采集传感器视野范围内 的深度数据和骨骼数据(可采集6个人体身上的25个骨骼点)，基于用户ID(Kinect唯一的骨骼跟踪ID，用于分配给视野中的每个用户，用以区分现在这个骨骼数据是哪个用户的)和骨骼空间坐标深度值进行骨骼点筛选；2)数据预处理：对骨骼数据平滑处理将骨骼点的坐标标准化，根据人体结构学原理绘制骨骼向量；3)特征提取与识别：计算骨骼向量的方向余弦值，并将每个骨骼向量的3个方向余弦值作为特征进行提取，并输入到贝叶斯正则化BP神经网络进一步识别，最后对识别结果进行分析与处理，处理结果显示在用户界面上，标准的骨骼段和骨骼点用亮绿显示，非标准的骨骼段和骨骼点用亮红显示同时使用语音进行提示。
本发明提高了姿势矫正的实用性、准确性及鲁棒性。
本发明的技术方案为：
术语解释：
1、BP(Back Propagation)神经网络，是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP神经网络能学习和存储大量的输入—输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input layer)、隐含层(hidden layer)和输出层(output layer)。
2、深度数据流，指kinect实时采集的一系列深度数据；
3、彩色数据流，指kinect实时采集的一系列彩色数据；
一种基于深度信息和骨骼信息的姿势矫正方法，具体步骤包括：
(1)基于用户ID和骨骼空间坐标深度值的有效骨骼点筛选：利用Kinect2.0摄像头获取用户骨骼数据和深度数据，选择目标用户的所有骨骼点；用户ID是指Kinect2.0传感设备唯一的用户跟踪标识，用于分配给有效视距内的每个用户，用以区分骨骼信息是哪个用户的；
(2)对步骤(1)选定的骨骼数据进行平滑处理，将骨骼点在骨骼空间坐标系中的坐标标准化；减少骨骼帧之间的骨骼点位置差异，kinect开发工具kinect for windows sdk的数据对象类型以骨骼帧的形式提供，每一帧包括25个骨骼点。
(3)根据步骤(2)中已经实现骨骼空间坐标标准化的骨骼点在骨骼空间坐标系中的坐标，绘制骨骼向量，计算每个骨骼向量的方向余弦值，将这些方向余弦值作为特征进行提取；
(4)获取训练数据集和测试数据集；这些数据集均是用户骨骼向量的方向余弦值，每一帧骨骼帧包含24个骨骼向量，每一个骨骼向量又包含三个方向余弦值；
(5)步骤(4)获取的训练数据集和测试数据集作为贝叶斯正则化BP神经网络的输入，通过 贝叶斯正则化BP神经网络对25个骨骼点和24个骨骼段进行识别；
(6)结果分析和处理，将每个骨骼段和骨骼点的分析与处理结果实时显示在用户界面上。Kinect2.0摄像头捕捉到的有效视距内目标用户的骨骼数据帧会实时呈现在用户界面上，与标准姿势相匹配的骨骼向量所对应的骨骼段和骨骼点会呈现出亮绿色，而与姿势错误的骨骼向量相对应的骨骼段和骨骼点会呈现出亮红色，同时会伴随语音提示。
根据本发明优选的，所述步骤(1)，包括以下步骤：
A、利用Kinect2.0摄像头获取有效视距内所有物体的骨骼数据和深度数据，所述骨骼数据是指骨骼点在骨骼空间坐标系中的坐标；骨骼空间坐标系是指：以Kinect2.0摄像头为原点，Z轴与Kinect2.0摄像头的朝向一致，Y轴正半轴向上延伸，X轴正半轴向Kinect感应器的视角延伸；所述有效视距指Kinect2.0摄像头能正确采集信息的视野范围，所述有效视距的取值范围为0.8-3.0m；所述骨骼点包括：头部、颈部、右手食指、右手拇指、右手掌心、右手腕、右肘部、右肩、肩部中心、左肩、左肘部、左手腕、左手掌心、左手拇指、左手食指、脊柱、髋部中心、右髋、左髋、右膝盖、左膝盖、右脚踝、左脚踝、右脚、左脚共25个骨骼点；
B、确定目标用户的骨骼点，对其他用户的骨骼点进行滤除：利用Kinect2.0摄像头获取每一个用户的骨骼点的深度值，并进行累加，计算每一个用户的所有骨骼点的平均深度值，对比这些平均深度值，平均深度值最小的用户即目标用户，保存该目标用户的骨骼点，滤除其他用户的骨骼点。在有效视距内仍有多个用户，就会出现许多无效骨骼点影响后期特征值提取的精度，因此，我们需要确定目标人体的骨骼点，对其他无效骨骼点进行滤除。
Kinect2.0可以同时追踪6个目标用户身上的25个骨骼点以及视野范围内物体的深度数据流和彩色数据流，Kinect for windows sdk中的骨骼API可以提供位于Kinect前方至多5个人的位置信息，包括详细的姿势和骨骼点的三维坐标信息还有用户ID信息，数据对象类型以骨骼帧的形式提供，每一帧可以保存25个骨骼点。
根据本发明，所述步骤(2)，包括步骤如下：
C、设置平滑值(Smoothing)属性，所述平滑值的取值范围为0到1之间的浮点型数据，平滑值越大，平滑的越多，平滑值为0表示不进行平滑；
设置修正值(Correction)属性，所述修正值的取值范围为0到1之间的浮点型数据，修正值越小，骨骼信息越平滑；
设置抖动半径(JitterRadius)属性，所述抖动半径的取值范围为0到1之间的浮点型数据，当骨骼点抖动超过了设置的抖动半径，将会被纠正到这个抖动半径之内；
设置抖动半径的最大边界(MaxDeviationRadius)属性，取值范围为0到1之间的浮点型数据， 任何超过抖动半径的最大边界的点都不会认为是抖动产生的，而被认定为是一个新的点；
设置预测帧大小(Prediction)属性，取值范围为0到1之间的浮点型数据，默认值为0；
D、调用kinect骨骼数据平滑算法即向SkeletonStream.Enable()中传递步骤C中的各个平滑参数对骨骼数据进行平滑处理。
对骨骼数据进行平滑处理会产生性能开销。平滑处理的越多，性能消耗越大。设置各个平滑参数没有经验可以遵循。需要不断的测试和调试已达到最好的性能和效果。在程序运行的不同阶段，可能需要设置不同的平滑参数。
在骨骼点跟踪过程中，有些情况会导致骨骼运动呈现出跳跃式的变化。例如，目标用户的动作不够连贯，Kinect硬件性能差等等。骨骼点的相对位置可能在帧与帧之间变动很大，这会对应用程序产生一些负面的影响，例如，会影响用户体验和给控制造成意外等。通过对骨骼数据进行平滑，将骨骼点的坐标标准化，来减少帧与帧之间的骨骼点位置差异。
根据本发明优选的，所述步骤(3)，包括步骤如下：
E、根据人体结构学原理，针对步骤(2)提取到的25个骨骼点，依次将相邻的两个骨骼点连接组成一个骨骼段，并将这一个骨骼段定义为一个骨骼向量，共得到24个骨骼向量，即：
Figure PCTCN2017104990-appb-000001
F、设任一骨骼向量
Figure PCTCN2017104990-appb-000002
为在骨骼空间坐标系中的坐标为(x1,y1,z1)的骨骼点与在骨骼空间坐标系中的坐标为(x2,y2,z2)的骨骼点连接所得，
Figure PCTCN2017104990-appb-000003
骨骼向量
Figure PCTCN2017104990-appb-000004
表示如式(Ⅰ)所示：
Figure PCTCN2017104990-appb-000005
G、设骨骼向量
Figure PCTCN2017104990-appb-000006
与骨骼空间坐标系X轴、Y轴和Z轴的夹角分别为α、β和γ，由此，可得到骨骼向量
Figure PCTCN2017104990-appb-000007
的三个方向余弦值，计算公式如式(Ⅱ)、式(Ⅲ)和式(Ⅳ)所示：
Figure PCTCN2017104990-appb-000008
Figure PCTCN2017104990-appb-000009
Figure PCTCN2017104990-appb-000010
通过上述算法，依次计算24个骨骼向量的三个方向余弦值，并将这些余弦值作为特征进行提 取。
当用户做出不同姿势时，对于人体每一个骨骼段而言，都具有不同的位置和角度信息，因此，可以利用定义的24个骨骼向量的方向余弦值来表征某一类动作。
根据本发明优选的，所述步骤(4)，包括步骤如下：
H、获取训练数据集：目标用户在专业人员的指导下完成一系列的标准动作，通过步骤(1)至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即训练数据集；
I、获取测试数据集：目标用户在Kinect2.0摄像头有效视距内独自完成一系列动作，通过步骤(1)至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即测试数据集。
姿势矫正前期，用户会在专业人员的指导下完成一系列的标准动作，Kinect2.0摄像头会以骨骼帧的形式记录下这些动作，然后经过骨骼点筛选、骨骼数据平滑处理、骨骼向量的方向余弦特征值提取，最后生成我们所需要的训练数据集，训练集总共有若干数据帧(帧数越多精度越高)，每一帧骨骼数据包含一个姿势的24个骨骼向量，每个骨骼向量有三个方向余弦值；姿势矫正阶段，用户会在Kinect视野范围内独自完成一系列动作，Kinect同样会以骨骼帧的形式记录下这些可能不规范的动作，然后经过相应的骨骼点筛选、骨骼数据平滑处理、骨骼向量的方向余弦特征值提取，最后生成我们所需要的测试数据集。
根据本发明优选的，所述步骤(5)，包括步骤如下：
G、确定BP神经网络层数为3，确定输入层的节点数为3，确定输出层的节点数为1，并通过式(Ⅴ)确定隐含层的节点数m，式(Ⅴ)如下所示：
Figure PCTCN2017104990-appb-000011
式(Ⅴ)中，n为输入层的节点数；l为输出层的节点数；α为1-10间的整数；
通过对BP神经网络的学习，对于简单的动作识别问题通过单隐层网络即可实现，所以在此选择三层BP神经网络。输入层和输出层的节点数，一般是根据实际问题，由输入变量和输出变量的维数确定。BP神经网络输入变量为三维方向余弦特征值，所以输入层的节点数为3，输出变量每个骨骼向量与标准姿势的骨骼向量匹配与否即1或0，所以输出层节点数为1。隐含层节点数对网络性能影响很大，节点数不同，最终结果将会差异很大，节点数太少，网络的迭代速率很快，但网络的建模不充分，导致网络性能较差；节点数太多，会导致网络结构复杂，计算量增大，训练时间较长，所以要选择合适的节点数。
K、将训练数据集作为训练集输入到贝叶斯正则化BP神经网络，对每一个骨骼向量训练学习，在姿势矫正阶段，将测试数据集输入到已训练完毕的贝叶斯正则化BP神经网络中，对每一个骨骼向量的正确性进行识别，即与训练集的标准骨骼姿势的相应骨骼向量匹配与否。
本发明的有益效果为：
1、与传统彩色摄像头不同，Kinect传感器能够提供第三维深度数据。它能克服彩色摄像头易受光线等外界干扰的缺点，准确追踪到视野范围内的人体，同时也提高了人机交互的自然性。
2、Kinect能够提取人体骨骼信息，当用户做出不同动作时，相应的骨骼点与骨骼段具有不同的位置和角度信息，这些信息将提供非常可靠和直接的方法来实现人体姿态识别。
3、Kinect2.0是对第一代Kinect传感器的全面升级，骨骼追踪方面可追踪6套完整骨骼(第一代Kinect最多追踪2套)以及每人身上的25个骨骼点(第一代Kinect为20个)，并且自动追踪定位功能也比上一代更加精确稳定，且追踪范围也更大，使用Kinect2.0可以大大提高姿态识别的准确度。
4、传统的特征提取方法需要采用复杂的数学算法，实现困难并且运行效率不高，本发明直接研究人体骨骼的角度信息则更加便捷直观，同时也提高了程序的运行速度。
5、BP神经网络存在很多缺陷，尤其是过拟合现象引起的泛化能力下降异常明显，贝叶斯正则化算法可以有效抑制过拟合现象，具有较高的泛化能力。
6、利用用户ID和骨骼空间坐标深度值对目标用户进行定位，提高了骨骼追踪的准确性。
7、本发明对人体的25个骨骼点、24个骨骼段的动作姿势进行识别矫正，提高了姿势矫正的正确性和鲁棒性。
附图说明
图1为本发明基于深度信息和骨骼信息的姿势矫正方法的流程框图；
图2为本发明骨骼点筛选流程示意图；
图3为本发明定义的24个骨骼向量示意图；
图4为实施例1定义的骨骼向量
Figure PCTCN2017104990-appb-000012
方向余弦示意图；
图5为本发明方向余弦特征值提取流程示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于深度信息和骨骼信息的姿势矫正方法，如图1所示，具体步骤包括：
(1)基于用户ID和骨骼空间坐标深度值的有效骨骼点筛选：利用Kinect2.0摄像头获取用户骨骼数据和深度数据，选择目标用户的所有骨骼点；用户ID是指Kinect2.0传感设备唯一的用户跟踪标识，用于分配给有效视距内的每个用户，用以区分骨骼信息是哪个用户的；如图2所示，包括以下步骤：
A、利用Kinect2.0摄像头获取有效视距内所有物体的骨骼数据和深度数据，所述骨骼数据是指骨骼点在骨骼空间坐标系中的坐标；骨骼空间坐标系是指：以Kinect2.0摄像头为原点，Z轴与Kinect2.0摄像头的朝向一致，Y轴正半轴向上延伸，X轴正半轴向Kinect感应器的视角延伸；所述有效视距指Kinect2.0摄像头能正确采集信息的视野范围，所述有效视距的取值范围为0.8-3.0m；所述骨骼点包括：头部、颈部、右手食指、右手拇指、右手掌心、右手腕、右肘部、右肩、肩部中心、左肩、左肘部、左手腕、左手掌心、左手拇指、左手食指、脊柱、髋部中心、右髋、左髋、右膝盖、左膝盖、右脚踝、左脚踝、右脚、左脚等25个骨骼点；
B、确定目标用户的骨骼点，对其他用户的骨骼点进行滤除：利用Kinect2.0摄像头获取每一个用户骨骼点的深度值，并进行累加，计算每一个用户的所有骨骼点的平均深度值，对比这些平均深度值，平均深度值最小的用户即目标用户，保存该目标用户的骨骼点，滤除其他用户的骨骼点。在有效视距内仍有多个用户，就会出现许多无效骨骼点影响后期特征值提取的精度，因此，我们需要确定目标人体的骨骼点，对其他无效骨骼点进行滤除。
Kinect2.0可以同时追踪6个目标用户身上的25个骨骼点以及视野范围内物体的深度数据流和彩色数据流，Kinect for windows sdk中的骨骼API可以提供位于Kinect前方至多5个人的位置信息，包括详细的姿势和骨骼点的三维坐标信息还有用户ID信息，数据对象类型以骨骼帧的形式提供，每一帧可以保存25个骨骼点。
(2)对步骤(1)选定的骨骼数据进行平滑处理，将骨骼点在骨骼空间坐标系中的坐标标准化；减少骨骼帧之间的骨骼点位置差异，kinect开发工具kinect for windows sdk的数据对象类型以骨骼帧的形式提供，每一帧包括25个骨骼点。包括步骤如下：
C、设置平滑值(Smoothing)属性，所述平滑值的取值范围为0到1之间的浮点型数据，平滑值越大，平滑的越多，平滑值为0表示不进行平滑；
设置修正值(Correction)属性，所述修正值的取值范围为0到1之间的浮点型数据，修正值越小，骨骼信息越平滑；
设置抖动半径(JitterRadius)属性，所述抖动半径的取值范围为0到1之间的浮点型数据，当骨骼点抖动超过了设置的抖动半径，将会被纠正到这个抖动半径之内；
设置抖动半径的最大边界(MaxDeviationRadius)属性，取值范围为0到1之间的浮点型数据， 任何超过抖动半径的最大边界的点都不会认为是抖动产生的，而被认定为是一个新的点；
设置预测帧大小(Prediction)属性，取值范围为0到1之间的浮点型数据，默认值为0；
D、调用kinect骨骼数据平滑算法即向SkeletonStream.Enable()中传递步骤C中各个平滑参数对骨骼数据进行平滑处理。
对骨骼数据进行平滑处理会产生性能开销。平滑处理的越多，性能消耗越大。设置各个平滑参数没有经验可以遵循。需要不断的测试和调试已达到最好的性能和效果。在程序运行的不同阶段，可能需要设置不同的平滑参数。
在骨骼点跟踪过程中，有些情况会导致骨骼运动呈现出跳跃式的变化。例如，目标用户的动作不够连贯，Kinect硬件性能差等等。骨骼点的相对位置可能在帧与帧之间变动很大，这会对应用程序产生一些负面的影响，例如，会影响用户体验和给控制造成意外等。通过对骨骼数据进行平滑，将骨骼点的坐标标准化，来减少帧与帧之间的骨骼点位置差异。
(3)根据步骤(2)中已经实现骨骼空间坐标标准化的骨骼点在骨骼空间坐标系中的坐标，绘制骨骼向量，计算每个骨骼向量的方向余弦值，将这些方向余弦值作为特征进行提取；包括步骤如下：
E、根据人体结构学原理，针对步骤(2)提取到的25个骨骼点，依次将相邻的两个骨骼点连接组成一个骨骼段，并将这一个骨骼段定义为一个骨骼向量，共得到24个骨骼向量，即：
Figure PCTCN2017104990-appb-000013
如图3所示；
F、设右手的肩关节到肘关节这个骨骼向量为
Figure PCTCN2017104990-appb-000014
如图4所示，肩关节的三维坐标为(x1,y1,z1)，肘关节的三维坐标为(x2,y2,z2)，骨骼向量
Figure PCTCN2017104990-appb-000015
表示如式(Ⅰ)所示：
Figure PCTCN2017104990-appb-000016
G、设骨骼向量
Figure PCTCN2017104990-appb-000017
与骨骼空间坐标系X轴、Y轴和Z轴的夹角分别为α、β和γ，由此，可得到骨骼向量
Figure PCTCN2017104990-appb-000018
的三个方向余弦值，计算公式如式(Ⅱ)、式(Ⅲ)和式(Ⅳ)所示：
Figure PCTCN2017104990-appb-000019
Figure PCTCN2017104990-appb-000020
Figure PCTCN2017104990-appb-000021
通过上述算法，依次计算24个骨骼向量的三个方向余弦值，并将这些余弦值作为特征进行提取，如图5所示。
当用户做出不同姿势时，对于人体每一个骨骼段而言，都具有不同的位置和角度信息，因此，可以利用定义的24个骨骼向量的方向余弦值来表征某一类动作。
(4)获取训练数据集和测试数据集；这些数据集均是用户骨骼向量的方向余弦值，每一帧骨骼帧包含24组骨骼向量，每一个骨骼向量又包含三个方向余弦值；包括步骤如下：
H、获取训练数据集：目标用户在专业人员的指导下完成一系列的标准动作，通过步骤(1)至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即训练数据集；
I、获取测试数据集：目标用户在Kinect2.0摄像头有效视距内独自完成一系列动作，通过步骤(1)至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即测试数据集。
姿势矫正前期，用户会在专业人员的指导下完成一系列的标准动作，Kinect2.0摄像头会以骨骼帧的形式记录下这些动作，然后经过骨骼点筛选、骨骼数据平滑处理、骨骼向量的方向余弦特征值提取，最后生成我们所需要的训练数据集，训练集总共有若干数据帧(帧数越多精度越高)，每一帧骨骼数据包含一个姿势的24个骨骼向量，每个骨骼向量有三个方向余弦值；姿势矫正阶段，用户会在Kinect视野范围内独自完成一系列动作，Kinect同样会以骨骼帧的形式记录下这些可能不规范的动作，然后经过相应的骨骼点筛选、骨骼数据平滑处理、骨骼向量的方向余弦特征值提取，最后生成我们所需要的测试数据集。
(5)步骤(4)获取的训练数据集和测试数据集作为贝叶斯正则化BP神经网络的输入，通过贝叶斯正则化BP神经网络对25个骨骼点和24个骨骼段进行识别；包括步骤如下：
G、确定BP神经网络层数为3，确定输入层的节点数为3，确定输出层的节点数为1，并通过式(Ⅴ)确定隐含层的节点数m，式(Ⅴ)如下所示：
Figure PCTCN2017104990-appb-000022
式(Ⅴ)中，n为输入层的节点数；l为输出层的节点数；α为1-10间的整数；
通过对BP神经网络的学习，对于简单的动作识别问题通过单隐层网络即可实现，所以在此选择三层BP神经网络。输入层和输出层的节点数，一般是根据实际问题，由输入变量和输出变量的维数确定。BP神经网络输入变量为三维方向余弦特征值，所以输入层的节点数为3，输出变量每个骨骼向量与标准姿势的骨骼向量匹配与否即1或0，所以输出层节点数为1。隐含层节点数对网 络性能影响很大，节点数不同，最终结果将会差异很大，节点数太少，网络的迭代速率很快，但网络的建模不充分，导致网络性能较差；节点数太多，会导致网络结构复杂，计算量增大，训练时间较长，所以要选择合适的节点数。
K、将训练数据集作为训练集输入到贝叶斯正则化BP神经网络，对每一个骨骼向量训练学习，在姿势矫正阶段，将测试数据集输入到已训练完毕的贝叶斯正则化BP神经网络中，对每一个骨骼向量的正确性进行识别，即与训练集的标准骨骼姿势的相应骨骼向量匹配与否。
(6)结果分析和处理，将每个骨骼段和骨骼点的分析与处理结果实时显示在用户界面上。Kinect2.0摄像头捕捉到的有效视距内目标用户的骨骼数据帧会实时呈现在用户界面上，与标准姿势相匹配的骨骼向量所对应的骨骼段和骨骼点会呈现出亮绿色，而与姿势错误的骨骼向量相对应的骨骼段和骨骼点会呈现出亮红色，同时会伴随语音提示。

Claims (6)

  1. 一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，具体步骤包括：
    (1)基于用户ID和骨骼空间坐标深度值的有效骨骼点筛选：利用Kinect2.0摄像头获取用户骨骼数据和深度数据，选择目标用户的所有骨骼点；用户ID是指Kinect2.0传感设备唯一的用户跟踪标识，用于分配给有效视距内的每个用户，用以区分骨骼信息是哪个用户的；
    (2)对步骤(1)选定的骨骼数据进行平滑处理，将骨骼点在骨骼空间坐标系中的坐标标准化；
    (3)根据步骤(2)中已经实现骨骼空间坐标标准化的骨骼点在骨骼空间坐标系中的坐标，绘制骨骼向量，计算每个骨骼向量的方向余弦值，将这些方向余弦值作为特征进行提取；
    (4)获取训练数据集和测试数据集；
    (5)步骤(4)获取的训练数据集和测试数据集作为贝叶斯正则化BP神经网络的输入，通过贝叶斯正则化BP神经网络对25个骨骼点和24个骨骼段进行识别；
    (6)结果分析和处理，将每个骨骼段和骨骼点的分析与处理结果实时显示在用户界面上。
  2. 根据权利要求1所述的一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，所述步骤(1)，包括以下步骤：
    A、利用Kinect2.0摄像头获取有效视距内所有物体的骨骼数据和深度数据，所述骨骼数据是指骨骼点在骨骼空间坐标系中的坐标；所述有效视距的取值范围为0.8-3.0m；所述骨骼点包括：头部、颈部、右手食指、右手拇指、右手掌心、右手腕、右肘部、右肩、肩部中心、左肩、左肘部、左手腕、左手掌心、左手拇指、左手食指、脊柱、髋部中心、右髋、左髋、右膝盖、左膝盖、右脚踝、左脚踝、右脚、左脚25个骨骼点；
    B、确定目标用户的骨骼点，对其他用户的骨骼点进行滤除：利用Kinect2.0摄像头获取每一个用户骨骼点的深度值，并进行累加，计算每一个用户的所有骨骼点的平均深度值，对比这些平均深度值，平均深度值最小的用户即目标用户，保存该目标用户的骨骼点，滤除其他用户的骨骼点。
  3. 根据权利要求2所述的一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，所述步骤(2)，包括步骤如下：
    C、设置平滑值属性，所述平滑值的取值范围为0到1之间的浮点型数据，平滑值越大，平滑的越多，平滑值为0表示不进行平滑；
    设置修正值属性，所述修正值的取值范围为0到1之间的浮点型数据，修正值越小，骨骼信息越平滑；
    设置抖动半径属性，所述抖动半径的取值范围为0到1之间的浮点型数据，当骨骼点抖动超过 了设置的抖动半径，将会被纠正到这个抖动半径之内；
    设置抖动半径的最大边界属性，取值范围为0到1之间的浮点型数据，任何超过抖动半径的最大边界的点都不会认为是抖动产生的，而被认定为是一个新的点；
    设置预测帧大小属性，取值范围为0到1之间的浮点型数据，默认值为0；
    D、调用kinect骨骼数据平滑算法即向SkeletonStream.Enable()中传递步骤C中的各个平滑参数对骨骼数据进行平滑处理。
  4. 根据权利要求2所述的一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，所述步骤(3)，包括步骤如下：
    E、根据人体结构学原理，针对步骤(2)提取到的25个骨骼点，依次将相邻的两个骨骼点连接组成一个骨骼段，并将这一个骨骼段定义为一个骨骼向量，共得到24个骨骼向量，即：
    Figure PCTCN2017104990-appb-100001
    F、设任一骨骼向量
    Figure PCTCN2017104990-appb-100002
    为在骨骼空间坐标系中的坐标为(x1,y1,z1)的骨骼点与在骨骼空间坐标系中的坐标为(x2,y2,z2)的骨骼点连接所得，
    Figure PCTCN2017104990-appb-100003
    骨骼向量
    Figure PCTCN2017104990-appb-100004
    表示如式(Ⅰ)所示：
    Figure PCTCN2017104990-appb-100005
    G、设骨骼向量
    Figure PCTCN2017104990-appb-100006
    与骨骼空间坐标系X轴、Y轴和Z轴的夹角分别为α、β和γ，由此，可得到骨骼向量
    Figure PCTCN2017104990-appb-100007
    的三个方向余弦值，计算公式如式(Ⅱ)、式(Ⅲ)和式(Ⅳ)所示：
    Figure PCTCN2017104990-appb-100008
    Figure PCTCN2017104990-appb-100009
    Figure PCTCN2017104990-appb-100010
    通过上述算法，依次计算24个骨骼向量的三个方向余弦值，并将这些余弦值作为特征进行提取。
  5. 根据权利要求4所述的一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，所述步骤(4)，包括步骤如下：
    H、获取训练数据集：目标用户在专业人员的指导下完成一系列的标准动作，通过步骤(1) 至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即训练数据集；
    I、获取测试数据集：目标用户在Kinect2.0摄像头有效视距内独自完成一系列动作，通过步骤(1)至步骤(3)，Kinect2.0摄像头获取每一个动作对应的24个骨骼向量的三个方向余弦值，即测试数据集。
  6. 根据权利要求5所述的一种基于深度信息和骨骼信息的姿势矫正方法，其特征在于，所述步骤(5)，包括步骤如下：
    G、确定BP神经网络层数为3，确定输入层的节点数为3，确定输出层的节点数为1，并通过式(Ⅴ)确定隐含层的节点数m，式(Ⅴ)如下所示：
    Figure PCTCN2017104990-appb-100011
    式(Ⅴ)中，n为输入层的节点数；l为输出层的节点数；α为1-10间的整数；
    K、将训练数据集作为训练集输入到贝叶斯正则化BP神经网络，对每一个骨骼向量训练学习，在姿势矫正阶段，将测试数据集输入到已训练完毕的贝叶斯正则化BP神经网络中，对每一个骨骼向量的正确性进行识别，即与训练集的标准骨骼姿势的相应骨骼向量匹配与否。
PCT/CN2017/104990 2016-12-30 2017-09-30 一种基于深度信息和骨骼信息的姿势矫正方法 Ceased WO2018120964A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611251820.3 2016-12-30
CN201611251820.3A CN106650687B (zh) 2016-12-30 2016-12-30 一种基于深度信息和骨骼信息的姿势矫正方法

Publications (1)

Publication Number Publication Date
WO2018120964A1 true WO2018120964A1 (zh) 2018-07-05

Family

ID=58836708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/104990 Ceased WO2018120964A1 (zh) 2016-12-30 2017-09-30 一种基于深度信息和骨骼信息的姿势矫正方法

Country Status (2)

Country Link
CN (1) CN106650687B (zh)
WO (1) WO2018120964A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110083239A (zh) * 2019-04-19 2019-08-02 南京邮电大学 一种基于动态赋权和灰色预测下的骨骼抖动检测方法
CN110263720A (zh) * 2019-06-21 2019-09-20 中国民航大学 基于深度图像和骨骼信息的动作识别方法
CN110334609A (zh) * 2019-06-14 2019-10-15 斯坦福启天联合(广州)研究院有限公司 一种智能实时体感捕捉方法
CN110507986A (zh) * 2019-08-30 2019-11-29 网易（杭州）网络有限公司 动画信息的处理方法和装置
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN110796699A (zh) * 2019-06-18 2020-02-14 叠境数字科技（上海）有限公司 多目相机系统的最优视角选择方法和三维人体骨骼检测方法
CN110991161A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 相似文本确定方法、神经网络模型获得方法及相关装置
CN111046749A (zh) * 2019-11-25 2020-04-21 西安建筑科技大学 一种基于深度数据的人体跌倒行为检测方法
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111617464A (zh) * 2020-05-28 2020-09-04 西安工业大学 一种动作识别的跑步机健身方法
CN111652076A (zh) * 2020-05-11 2020-09-11 重庆大学 一种面向ad量表理解能力测试的姿态自动识别系统
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
CN111860274A (zh) * 2020-07-14 2020-10-30 清华大学 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN111950392A (zh) * 2020-07-23 2020-11-17 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN112149531A (zh) * 2020-09-09 2020-12-29 武汉科技大学 一种行为识别中人体骨骼数据的建模方法
CN112149962A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112434639A (zh) * 2020-12-03 2021-03-02 郑州捷安高科股份有限公司 动作匹配方法、装置、设备及存储介质
CN112446433A (zh) * 2020-11-30 2021-03-05 北京数码视讯技术有限公司 训练姿势的准确度确定方法、装置及电子设备
CN112494034A (zh) * 2020-11-30 2021-03-16 重庆优乃特医疗器械有限责任公司 基于3d体态检测分析的数据处理分析系统及方法
CN112641441A (zh) * 2020-12-18 2021-04-13 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
CN112749671A (zh) * 2021-01-19 2021-05-04 澜途集思生态科技集团有限公司 一种基于视频的人体行为识别方法
CN112906604A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN112950751A (zh) * 2019-12-11 2021-06-11 阿里巴巴集团控股有限公司 姿态动作的展示方法及装置、存储介质、系统
CN112966370A (zh) * 2021-02-09 2021-06-15 武汉纺织大学 一种基于Kinect的人体下肢肌肉训练系统的设计方法
CN113486757A (zh) * 2021-06-29 2021-10-08 北京科技大学 基于人体骨骼关键点检测的多人直线跑步测试计时方法
CN113609993A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 一种姿态估计方法、装置、设备及计算机可读存储介质
CN113887341A (zh) * 2021-09-16 2022-01-04 同济大学 一种基于并联卷积神经网络的人体骨骼动作识别方法
CN114091511A (zh) * 2021-09-22 2022-02-25 广东工业大学 一种基于时空信息的健身动作评分方法、系统及装置
CN114120371A (zh) * 2021-12-17 2022-03-01 程怿龙 图示识别及动作矫正系统及方法
CN114171126A (zh) * 2021-10-26 2022-03-11 深圳晶泰科技有限公司 分子训练集的构建方法、训练方法及相关装置
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法
CN114360060A (zh) * 2021-12-31 2022-04-15 北京航空航天大学杭州创新研究院 人体动作识别计数方法
CN114863310A (zh) * 2022-03-18 2022-08-05 广东省第二人民医院（广东省卫生应急医院） 一种基于人工智能的手卫生自动监测方法及系统
CN115019388A (zh) * 2022-05-20 2022-09-06 安徽大学 一种利用单目摄像头拍摄步态视频全自动步态分析方法
CN115131814A (zh) * 2021-03-24 2022-09-30 烟台康迪新科智能技术有限公司 一种基于神经网络模型的坐姿纠正方法及系统
CN115497596A (zh) * 2022-11-18 2022-12-20 深圳聚邦云天科技有限公司 一种基于物联网的人体运动过程姿态纠正方法及系统
CN115546887A (zh) * 2022-08-26 2022-12-30 成都世纪光合作用科技有限公司 一种人体动态行为检测方法、系统和计算机设备
WO2023071939A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 一种参数确定方法和相关设备
CN116824039A (zh) * 2023-05-05 2023-09-29 北京天翔睿翼科技有限公司 三维模型自动绑骨的方法及计算机存储介质
CN117037285A (zh) * 2023-09-12 2023-11-10 燕山大学 一种基于骨架时空图卷积的复杂长程动作识别方法
CN119327090A (zh) * 2024-12-20 2025-01-21 南昌虚拟现实研究院股份有限公司 一种基于实时健身的动作评分方法及系统
CN120147504A (zh) * 2025-01-23 2025-06-13 西安电子科技大学 基于骨骼点的三维人体点云展开及传输方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650687B (zh) * 2016-12-30 2020-05-19 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法
CN107220608B (zh) * 2017-05-22 2021-06-08 华南理工大学 一种篮球动作模型重建和防守的指导系统及方法
CN106981075A (zh) * 2017-05-31 2017-07-25 江西制造职业技术学院 仿人运动拟态的人体骨骼点参数采集装置及其识别方法
CN107308638B (zh) * 2017-06-06 2019-09-17 中国地质大学（武汉） 一种虚拟现实交互的游戏型上肢康复训练系统及方法
CN107481280B (zh) * 2017-08-16 2020-05-15 北京优时尚科技有限责任公司 一种骨骼点的矫正方法及计算设备
CN107520843A (zh) * 2017-08-22 2017-12-29 南京野兽达达网络科技有限公司 一种类人多自由度机器人的动作训练方法
CN108536292A (zh) * 2018-03-29 2018-09-14 深圳市芯汉感知技术有限公司 一种数据滤波方法及骨骼点坐标精确定位方法
CN108919943B (zh) * 2018-05-22 2021-08-03 南京邮电大学 一种基于深度传感器的实时手部追踪方法
CN108720841A (zh) * 2018-05-22 2018-11-02 上海交通大学 基于云检测的可穿戴下肢运动矫正系统
CN109284696A (zh) * 2018-09-03 2019-01-29 吴佳雨 一种基于智能数据采集与云服务技术的形象气质提升方法
CN109758745B (zh) * 2018-09-30 2021-08-31 何家淳 基于Python/Java的人工智能篮球训练系统
CN111353347B (zh) * 2018-12-21 2023-07-04 上海史贝斯健身管理有限公司 动作识别纠错方法、电子设备、存储介质
CN111353345B (zh) * 2018-12-21 2024-04-16 上海史贝斯健身管理有限公司 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN111382596A (zh) * 2018-12-27 2020-07-07 鸿富锦精密工业(武汉)有限公司 人脸识别方法、装置及计算机存储介质
CN109589563B (zh) * 2018-12-29 2021-06-22 南京华捷艾米软件科技有限公司 一种基于3d体感摄像头的舞蹈姿态教辅方法及系统
CN110032958B (zh) * 2019-03-28 2020-01-24 广州凡拓数字创意科技股份有限公司 一种人体肢体语言识别方法及系统
CN109948579B (zh) * 2019-03-28 2020-01-24 广州凡拓数字创意科技股份有限公司 一种人体肢体语言识别方法及系统
CN110472481B (zh) * 2019-07-01 2024-01-05 华南师范大学 一种睡姿检测方法、装置及设备
CN110490168A (zh) * 2019-08-26 2019-11-22 杭州视在科技有限公司 基于目标检测与骨骼点算法的机场迎机人员行为监测方法
CN110584911A (zh) * 2019-09-20 2019-12-20 长春理工大学 基于卧姿识别的智能护理床
CN110751100A (zh) * 2019-10-22 2020-02-04 北京理工大学 一种体育场馆辅助训练方法与系统
CN110991292A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 动作识别比对方法、系统、计算机存储介质和电子装置
CN110969114B (zh) * 2019-11-28 2023-06-09 四川省骨科医院 一种人体动作功能检测系统、检测方法及检测仪
CN111539337A (zh) * 2020-04-26 2020-08-14 上海眼控科技股份有限公司 车辆姿态矫正方法、装置及设备
CN111639612A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 姿态矫正的方法、装置、电子设备及存储介质
CN117809380B (zh) * 2024-02-29 2024-05-14 万有引力（宁波）电子科技有限公司 手势追踪方法、装置、设备、可读存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
CN104484574A (zh) * 2014-12-25 2015-04-01 东华大学 一种基于四元数的实时人体姿态监督训练矫正系统
CN105005769A (zh) * 2015-07-08 2015-10-28 山东大学 一种基于深度信息的手语识别方法
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN106650687A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102824176B (zh) * 2012-09-24 2014-06-04 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
CN103230664B (zh) * 2013-04-17 2015-07-01 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
CN103246891B (zh) * 2013-05-28 2016-07-06 重庆邮电大学 一种基于Kinect的中国手语识别方法
CN103473562B (zh) * 2013-09-18 2017-01-11 王碧春 特定人体动作的自动训练和识别系统
CN103489000A (zh) * 2013-09-18 2014-01-01 柳州市博源环科科技有限公司 一种人体动作识别训练系统的实现方法
CN104200491A (zh) * 2014-08-15 2014-12-10 浙江省新华医院 一种人体运动姿态校正系统
CN104517097A (zh) * 2014-09-24 2015-04-15 浙江大学 一种基于kinect的运动人体姿态识别方法
CN104524742A (zh) * 2015-01-05 2015-04-22 河海大学常州校区 一种基于Kinect传感器的脑瘫儿童康复训练方法
CN104722056A (zh) * 2015-02-05 2015-06-24 北京市计算中心 一种运用虚拟现实技术的康复训练系统及方法
CN105807926B (zh) * 2016-03-08 2019-06-21 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN106022213B (zh) * 2016-05-04 2019-06-07 北方工业大学 一种基于三维骨骼信息的人体动作识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
CN104484574A (zh) * 2014-12-25 2015-04-01 东华大学 一种基于四元数的实时人体姿态监督训练矫正系统
CN105005769A (zh) * 2015-07-08 2015-10-28 山东大学 一种基于深度信息的手语识别方法
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN106650687A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991161A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 相似文本确定方法、神经网络模型获得方法及相关装置
CN110991161B (zh) * 2018-09-30 2023-04-18 北京国双科技有限公司 相似文本确定方法、神经网络模型获得方法及相关装置
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN109815907B (zh) * 2019-01-25 2023-04-07 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110083239A (zh) * 2019-04-19 2019-08-02 南京邮电大学 一种基于动态赋权和灰色预测下的骨骼抖动检测方法
CN110083239B (zh) * 2019-04-19 2022-02-22 南京邮电大学 一种基于动态赋权和灰色预测下的骨骼抖动检测方法
CN110334609A (zh) * 2019-06-14 2019-10-15 斯坦福启天联合(广州)研究院有限公司 一种智能实时体感捕捉方法
CN110334609B (zh) * 2019-06-14 2023-09-26 斯坦福启天联合(广州)研究院有限公司 一种智能实时体感捕捉方法
CN110796699A (zh) * 2019-06-18 2020-02-14 叠境数字科技（上海）有限公司 多目相机系统的最优视角选择方法和三维人体骨骼检测方法
CN110796699B (zh) * 2019-06-18 2024-03-01 叠境数字科技（上海）有限公司 多目相机系统的最优视角选择方法和三维人体骨骼检测方法
CN110263720A (zh) * 2019-06-21 2019-09-20 中国民航大学 基于深度图像和骨骼信息的动作识别方法
CN110263720B (zh) * 2019-06-21 2022-12-27 中国民航大学 基于深度图像和骨骼信息的动作识别方法
CN110507986B (zh) * 2019-08-30 2023-08-22 网易（杭州）网络有限公司 动画信息的处理方法和装置
CN110507986A (zh) * 2019-08-30 2019-11-29 网易（杭州）网络有限公司 动画信息的处理方法和装置
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN111046749A (zh) * 2019-11-25 2020-04-21 西安建筑科技大学 一种基于深度数据的人体跌倒行为检测方法
CN112950751B (zh) * 2019-12-11 2024-05-14 阿里巴巴集团控股有限公司 姿态动作的展示方法及装置、存储介质、系统
CN112950751A (zh) * 2019-12-11 2021-06-11 阿里巴巴集团控股有限公司 姿态动作的展示方法及装置、存储介质、系统
CN111402290B (zh) * 2020-02-29 2023-09-12 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111652076A (zh) * 2020-05-11 2020-09-11 重庆大学 一种面向ad量表理解能力测试的姿态自动识别系统
CN111652076B (zh) * 2020-05-11 2024-05-31 重庆知熠行科技发展有限公司 一种面向ad量表理解能力测试的姿态自动识别系统
CN111617464A (zh) * 2020-05-28 2020-09-04 西安工业大学 一种动作识别的跑步机健身方法
CN111617464B (zh) * 2020-05-28 2023-02-24 西安工业大学 一种动作识别的跑步机健身方法
CN111680613B (zh) * 2020-06-03 2023-04-14 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
CN111860274A (zh) * 2020-07-14 2020-10-30 清华大学 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN111950392B (zh) * 2020-07-23 2022-08-05 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN111950392A (zh) * 2020-07-23 2020-11-17 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN112149962A (zh) * 2020-08-28 2020-12-29 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112149962B (zh) * 2020-08-28 2023-08-22 中国地质大学（武汉） 一种施工事故致因行为的风险定量评估方法及系统
CN112149531B (zh) * 2020-09-09 2022-07-08 武汉科技大学 一种行为识别中人体骨骼数据的建模方法
CN112149531A (zh) * 2020-09-09 2020-12-29 武汉科技大学 一种行为识别中人体骨骼数据的建模方法
CN112494034A (zh) * 2020-11-30 2021-03-16 重庆优乃特医疗器械有限责任公司 基于3d体态检测分析的数据处理分析系统及方法
CN112446433A (zh) * 2020-11-30 2021-03-05 北京数码视讯技术有限公司 训练姿势的准确度确定方法、装置及电子设备
CN112434639A (zh) * 2020-12-03 2021-03-02 郑州捷安高科股份有限公司 动作匹配方法、装置、设备及存储介质
CN112641441B (zh) * 2020-12-18 2024-01-02 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
CN112641441A (zh) * 2020-12-18 2021-04-13 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
CN112749671A (zh) * 2021-01-19 2021-05-04 澜途集思生态科技集团有限公司 一种基于视频的人体行为识别方法
CN112966370B (zh) * 2021-02-09 2022-04-19 武汉纺织大学 一种基于Kinect的人体下肢肌肉训练系统的设计方法
CN112966370A (zh) * 2021-02-09 2021-06-15 武汉纺织大学 一种基于Kinect的人体下肢肌肉训练系统的设计方法
CN112906604B (zh) * 2021-03-03 2024-02-20 安徽省科亿信息科技有限公司 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN112906604A (zh) * 2021-03-03 2021-06-04 安徽省科亿信息科技有限公司 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN115131814A (zh) * 2021-03-24 2022-09-30 烟台康迪新科智能技术有限公司 一种基于神经网络模型的坐姿纠正方法及系统
CN113486757B (zh) * 2021-06-29 2022-04-05 北京科技大学 基于人体骨骼关键点检测的多人直线跑步测试计时方法
CN113486757A (zh) * 2021-06-29 2021-10-08 北京科技大学 基于人体骨骼关键点检测的多人直线跑步测试计时方法
CN113609993A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 一种姿态估计方法、装置、设备及计算机可读存储介质
CN113887341A (zh) * 2021-09-16 2022-01-04 同济大学 一种基于并联卷积神经网络的人体骨骼动作识别方法
CN114091511A (zh) * 2021-09-22 2022-02-25 广东工业大学 一种基于时空信息的健身动作评分方法、系统及装置
CN114171126A (zh) * 2021-10-26 2022-03-11 深圳晶泰科技有限公司 分子训练集的构建方法、训练方法及相关装置
WO2023071939A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 一种参数确定方法和相关设备
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法
CN114120371A (zh) * 2021-12-17 2022-03-01 程怿龙 图示识别及动作矫正系统及方法
CN114360060B (zh) * 2021-12-31 2024-04-09 北京航空航天大学杭州创新研究院 人体动作识别计数方法
CN114360060A (zh) * 2021-12-31 2022-04-15 北京航空航天大学杭州创新研究院 人体动作识别计数方法
CN114863310A (zh) * 2022-03-18 2022-08-05 广东省第二人民医院（广东省卫生应急医院） 一种基于人工智能的手卫生自动监测方法及系统
CN115019388A (zh) * 2022-05-20 2022-09-06 安徽大学 一种利用单目摄像头拍摄步态视频全自动步态分析方法
CN115546887A (zh) * 2022-08-26 2022-12-30 成都世纪光合作用科技有限公司 一种人体动态行为检测方法、系统和计算机设备
CN115497596A (zh) * 2022-11-18 2022-12-20 深圳聚邦云天科技有限公司 一种基于物联网的人体运动过程姿态纠正方法及系统
CN116824039A (zh) * 2023-05-05 2023-09-29 北京天翔睿翼科技有限公司 三维模型自动绑骨的方法及计算机存储介质
CN117037285A (zh) * 2023-09-12 2023-11-10 燕山大学 一种基于骨架时空图卷积的复杂长程动作识别方法
CN119327090A (zh) * 2024-12-20 2025-01-21 南昌虚拟现实研究院股份有限公司 一种基于实时健身的动作评分方法及系统
CN120147504A (zh) * 2025-01-23 2025-06-13 西安电子科技大学 基于骨骼点的三维人体点云展开及传输方法

Also Published As

Publication number Publication date
CN106650687B (zh) 2020-05-19
CN106650687A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
CN114067358B (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
Yadav et al. Real-time Yoga recognition using deep learning
Wu et al. A Visual-Based Gesture Prediction Framework Applied in Social Robots.
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN105512621A (zh) 一种基于Kinect的羽毛球动作指导系统
CN105930767A (zh) 一种基于人体骨架的动作识别方法
CN105536205A (zh) 一种基于单目视频人体动作感知的上肢训练系统
CN113663312A (zh) 一种基于微惯性的无器械健身动作质量评估方法
CN119992663A (zh) 一种人体运动姿态评估方法及系统
Sharma et al. Real-time recognition of yoga poses using computer vision for smart health care
CN113197572A (zh) 一种基于视觉的人体工作矫正系统
CN119152572A (zh) 一种基于机器学习的人体动作识别方法
CN106073793A (zh) 基于微惯性传感器的姿态跟踪与识别方法
Agarwal et al. FitMe: a fitness application for accurate pose estimation using deep learning
Amaliya et al. Study on hand keypoint framework for sign language recognition
CN120340110A (zh) 一种基于肢体姿态与情绪识别的运动康复评估方法及系统
Aarthy et al. Yoga pose detection and identification using mediapipe and openpose model
CN110956141A (zh) 一种基于局部识别的人体连续动作快速分析方法
CN116012942A (zh) 手语教学方法、装置、设备及存储介质
Su Designing a basketball action recognition system based on the improved openpose algorithm
CN120131001A (zh) 一种基于肢体状态监测的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17889057

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17889057

Country of ref document: EP

Kind code of ref document: A1