WO2020088491A1 - 一种运动行为模式分类方法、系统以及装置 - Google Patents

一种运动行为模式分类方法、系统以及装置 Download PDF

Info

Publication number
WO2020088491A1
WO2020088491A1 PCT/CN2019/114229 CN2019114229W WO2020088491A1 WO 2020088491 A1 WO2020088491 A1 WO 2020088491A1 CN 2019114229 W CN2019114229 W CN 2019114229W WO 2020088491 A1 WO2020088491 A1 WO 2020088491A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior pattern
sports
sports behavior
lstm
pattern classification
Prior art date
Application number
PCT/CN2019/114229
Other languages
English (en)
French (fr)
Inventor
郭诗辉
林俊聪
廖明宏
陆晨旭
江敏
高星
李贵林
石新羽
胡泽勇
Original Assignee
厦门大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 厦门大学 filed Critical 厦门大学
Priority to US16/769,088 priority Critical patent/US11551479B2/en
Publication of WO2020088491A1 publication Critical patent/WO2020088491A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the invention relates to the field of human motion recognition, and in particular to a method, system and device for classifying sports behavior patterns.
  • the main motion modes that are mainly applied to the VR virtual environment include: in-situ movement and movement based on auxiliary devices such as joysticks and handles.
  • auxiliary devices such as joysticks and handles.
  • the natural movements that are identical to the real world are the better movements that provide the best immersive experience, the highest degree of intuitiveness, and the greatest degree of naturalness.
  • how to implement a standard motion capture system (such as Vicon) that maps real-world motion to a virtual environment is always a very challenging topic because it requires extra effort to install external devices (professional cameras, tracking kits, etc.) ), At the same time will bring huge production, time and calculation overhead.
  • some alternatives, such as Kinect can achieve fast installation and accurate positioning, it will greatly limit the user's moving space, and it is difficult to apply to outdoor scenes due to the influence of light, noise and other factors.
  • the present invention proposes a method, system and device for classifying sports behavior patterns, which captures the movement data of people during the movement process through motion control sensors, and then captures the behavior movement mode of people in real scene ,
  • the interactive mode maps the movement behavior to the virtual scene.
  • a method for classifying sports behavior patterns of the present invention includes:
  • S1 includes static standing, forward, backward, jumping, left shift and right shift
  • S2 includes:
  • a time series of behavior data about the alternative sports behavior pattern is collected by the pressure sensor in the human insole.
  • the S2 includes:
  • a maximum and minimum normalization method is used to preprocess the time series of the behavior data.
  • the S3 includes:
  • s32 divide the time series into a training data set and a prediction data set according to a preset ratio
  • s33 Use the data of the training data set as training data, based on the LSTM network, and use a neural network optimizer to establish the LSTM motion behavior pattern classification model.
  • the data of the prediction data set is input into the LSTM sports behavior pattern classification model to make a prediction, and the prediction result is compared with the sports behavior pattern corresponding to the prediction data, and the prediction of the LSTM sports behavior pattern classification model is performed. accuracy.
  • the LSTM motion behavior pattern classification model uses an N * S sample matrix as input, which is composed of 3 LSTM layers, each layer has 64 hidden units, and finally passes through a fully connected layer as an output, and uses the Adam optimizer
  • the learning rate is set to 0.0025 and the batch size is set to 1500, where N represents the number of sensors and S represents the sequence length of the signal data of a single sensor.
  • the present invention proposes a sports behavior pattern classification system, including a motion control sensor and a computer device, the computer device includes a memory and a processor, the memory stores at least a section of a program, and the program is controlled by the processor Performed to implement the sports behavior pattern classification method as described in the first aspect.
  • the present invention provides a computer-readable storage medium that stores at least one program in the storage medium, and the at least one program is executed by the processor to implement the sports behavior pattern classification as described in the first aspect method.
  • the present invention firstly determines the candidate sports behavior mode, the candidate sports behavior mode includes the sports behavior mode to be classified; obtains a time series of behavior data about the candidate sports behavior mode through a motion control sensor; Establish a LSTM sports behavior pattern classification model; based on the LSTM sports behavior pattern classification model, use an iterative process to predict the sports behavior pattern to be classified, including the following steps: Set the initial value of the time variable T to be T 1 , T 1 ⁇ T ⁇ T 2 , T 1 > 0, T 2 > T 1 , the incremental step size is set to ⁇ t, ⁇ t> 0, and the iterative process is used to compare the prediction result Res 1 obtained by using the time series in T and the time series using T + ⁇ t In the iterative process of the prediction results Res 2 and T increasing from T 1 to T 2 , if the conclusions obtained by comparing Res 1 and Res 2 are consistent, the consistent prediction results are output, otherwise, T continues to increase when T reaches the maximum Value, select the prediction with the highest probability among the previous predictions as the
  • the technical solution of the present invention can map motion signals to specific behavior categories based on a large number of users and a variety of different behavior patterns, and quickly and accurately classify human sports behavior patterns, and do not require manual feature extraction, avoiding the generation of artificial Bias factor, which enables users to map movement behaviors to virtual scenes in an intuitive and natural interactive way in complex and changing real scenes.
  • FIG. 1 is a schematic diagram of a method for classifying sports behavior patterns of the present invention
  • FIG. 2 shows a schematic diagram of changes in the loss function and accuracy of training data and test data set under an LSTM model of the present invention
  • FIG. 3 shows a schematic diagram of a normalized confusion matrix for different behavior modes of the present invention
  • FIG. 4 shows a schematic diagram of the time cost of a standard LSTM model considering different sample sizes according to the present invention
  • FIG. 5 shows a schematic diagram of the accuracy of a standard LSTM model considering different sample sizes according to the present invention
  • FIG. 6 is a schematic diagram of the time cost of a DOCTIC considering different sample sizes according to the present invention.
  • FIG. 7 is a schematic diagram of the accuracy of a DOCTIC considering different sample sizes according to the present invention.
  • FIG. 8 shows a schematic diagram of a computer device in a sports behavior pattern classification system according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a method for classifying sports behavior patterns of the present invention, and shows specific implementation steps of the method, including:
  • step 101 S1
  • a candidate sports behavior pattern is determined, the candidate sports behavior pattern includes a sports behavior pattern to be classified;
  • the alternative behavior patterns include all possible sports behavior patterns, which depend on specific sports scenes.
  • human sports behavior patterns are very rich, preferably including : Static standing, forward, backward, jumping, moving left and moving right, at this time, the alternative behavior patterns in the VR scene include the above six types, wherein the sports behavior pattern to be classified is included in the alternative movement In behavioral mode.
  • step 102 S2, acquiring a time series of behavior data about the candidate sports behavior pattern through a motion control sensor;
  • the time series of the behavior data of people in various alternative sports behavior modes are collected by the motion control sensor.
  • different motion control sensors can be selected, including the pressure Sensors, speed sensors and other devices that convert non-electricity (such as speed, pressure, etc.) changes into electrical changes.
  • the pressure sensor in the insole of the person collects the time series of the person's behavior data in various alternative sports behavior modes, and provides training data and test data for the classification model of the sports behavior mode in the subsequent steps.
  • step 103 S3, the LSTM sports behavior pattern classification model is established through the time series;
  • the long-short-term memory neural network LSTM is a structure after the improvement of the recurrent neural network. By adding the forgotten gate and other structures, the problem of gradient disappearance in the recurrent neural network is solved in some cases, and it will be better for long-series time series data. Classification effect, therefore, the LSTM network is used in the technical solution of the present invention to establish a LSTM sports behavior pattern classification model. In a possible implementation, the following steps may be adopted:
  • s32 divide the time series into a training data set and a prediction data set according to a preset ratio
  • s33 using the data of the training data set as training data, based on the LSTM network, and using a neural network optimizer to establish a LSTM sports behavior pattern classification model.
  • the above neural network optimizer includes standard gradient descent, random gradient descent, small batch gradient descent, and adaptive time estimation method Adam (Adaptive Moment Estimation), etc.
  • the Adam optimizer can calculate the adaptive learning rate of each parameter. It should be noted that in practical applications, the Adam method works well. Compared with other adaptive learning rate algorithms, its convergence speed is faster, the learning effect is more effective, and it can correct problems in other optimization techniques, such as gradients. Problems such as disappearance, slow convergence, or parameter updates with high variance lead to large fluctuations in the loss function.
  • step 104 S4 based on the LSTM sports behavior pattern classification model, an iterative process is used to predict the sports behavior pattern to be classified, specifically including the following steps:
  • the existing technologies include deep learning-based algorithms such as DNN.
  • DNN deep learning-based algorithms
  • the calculation time is much less than the dynamic time warping DTW algorithm, it requires relatively long time series data as input, otherwise it cannot achieve good results. Accuracy, which also causes severe delays, and it is difficult to achieve stable high accuracy for sparse input data.
  • the candidate sports behavior mode is determined, and the candidate sports behavior mode includes the sports behavior mode to be classified; a time series of behavior data about the candidate sports behavior mode is acquired through a motion control sensor; Sequence to build an LSTM sports behavior pattern classification model; based on the LSTM sports behavior pattern classification model, an iterative process is used to predict the sports behavior pattern to be classified, including the following steps: setting the initial value of the time variable T to T 1 , T 1 ⁇ T ⁇ T 2 , T 1 > 0, T 2 > T 1 , the incremental step size is set to ⁇ t, ⁇ t> 0, the iterative process is used to compare the prediction result Res 1 obtained by using the sequence in T time and the time using T + ⁇ t During the iteration of the prediction result Res 2 and T from T 1 to T 2 in the sequence, if the conclusions obtained by comparing Res 1 and Res 2 are consistent, the consistent prediction result is output, otherwise, T continues to increase when T reaches For the maximum value, the prediction result with the highest probability among the previous
  • the technical solution of the present invention can map motion signals to specific behavior categories based on a large number of users and a variety of different behavior patterns, and quickly and accurately classify human sports behavior patterns, and do not require manual feature extraction, avoiding the generation of artificial Bias factor, which enables users to map movement behaviors to virtual scenes in an intuitive and natural interactive way in complex and changing real scenes.
  • the following embodiments apply the sports behavior pattern classification method proposed by the present invention in combination with the implementation steps 101 to 104 corresponding to FIG. 1 in the sports behavior data collected by the pressure sensor in the insole to capture and analyze the real sports behavior pattern of the person.
  • the process is described to further fully explain the content of the technical solution, but it is not limited to this.
  • Podoon Technology Ltd. ’s smart insoles were used to complete the study.
  • Each insole has three pressure sensors and an on-board processing chip.
  • the chip uses Bluetooth low energy technology and consumes only low-cost energy.
  • the sampling frequency of pressure information is 50 Hz, and the transmission frequency is 10 Hz.
  • the maximum and minimum normalization method is used to preprocess each person's behavior data to eliminate the influence of the weight difference between different individuals on the results.
  • Our method directly uses a noise-containing data set as input, and there is no noise reduction process in the subsequent process, that is to say, our method performs well in the ability to tolerate noise.
  • the time series data is divided into different samples, each sample is the size of N * S, N represents the number of sensors, and S represents the sequence length of single sensor signal data.
  • Our method tests the results of sequence lengths ranging from 10 to 100.
  • the entire data set is randomly divided into 90% training set and 10% test set, as shown in Table 2 and Table 3 is the statistical information table of the data set.
  • the LSTM neural network is used as a behavior classifier, and the N * S sample matrix is used as the input.
  • the network structure is composed of 3 LSTM layers, each layer has 64 hidden units, and finally passes through a fully connected layer as the output, and adopts Adam Optimizer, the learning rate is set to 0.0025, and the batch size is set to 1500.
  • the technical solution of the present invention does not require manual feature extraction, and avoids the occurrence of artificial bias factors.
  • the training and testing of the LSTM network can be performed on a server configured with Intel Core i7 (six cores), 16G memory and NVidia GTX 1080Ti.
  • the server receives sensor data, makes predictions and sends the results to In the virtual reality helmet, all data is transmitted based on the TCP protocol.
  • FIG. 2 shows the changes of the loss function and accuracy of the training data and test data set under an LSTM model of the present invention.
  • the test data set of shoe size 6 was used to generate the graph.
  • the sample size was 100. After 1000 iterations, the convergence to the optimal solution took about 20 minutes. The final accuracy of the two data sets reached about 0.85. The results show that the accuracy of the test data set is close to the training data set, and no overfitting problem occurs.
  • FIG. 3 shows a schematic diagram of a normalized confusion matrix for different behavior modes of the present invention.
  • the test data set of shoe size 6 was used to generate the graph, with a sample size of 100.
  • the results showed that the movement of walking forward is considered to be standing (7%) and walking backward (5%), but this error is caused by these steps Caused by the similarity of states.
  • the method proposed by the present invention can further improve the accuracy.
  • the patterns of standing, walking backward, and sliding left / right are highly accurately recognized by more than 85%.
  • the technical solution of the present invention proposes a cyclic consistency double detection (Double-Check Till Consensus, DOCTIC) algorithm to complete faster and more accurate detection.
  • DOCTIC corresponds here It is the method described in step 104 in FIG. 1.
  • DOCTIC will be used to represent the classification method of the sports behavior pattern proposed by the present invention.
  • the forward propagation process of the LSTM model takes very short time (less than 1 millisecond). Based on this, using the method described in step 104 corresponding to FIG. 1, the iterative process is used to compare the predictions obtained by using the time series The result and the prediction result obtained by using the sequence of T + ⁇ T time, T increases from 0.1 second to 1 second. If the conclusions of the two comparisons are consistent, the final conclusion is drawn, otherwise, T continues to increase until it reaches the maximum value. For the latter case, the prediction result with the highest probability among the previous predictions will be selected as the final conclusion. The results show that the delay of the DOCTIC algorithm is reduced to 0.5 seconds, and the accuracy rate is increased to 97%, which achieves faster and more accurate movement recognition.
  • the performance of the standard LSTM is different for different sample sizes.
  • the time cost increases from less than 0.1 milliseconds to 0.6 milliseconds, as shown in Figure 4.
  • Figure 4 Invent a schematic diagram of the time cost of a standard LSTM model considering different sample sizes. It should be noted that the time cost of processing the largest sample here is still negligible compared to the time interval (0.1 seconds) between two data transmissions.
  • the accuracy rate increases significantly from 50% to over 80%, as shown in FIG. 5 is a schematic diagram of the accuracy of a standard LSTM model of the present invention considering different sample sizes.
  • FIG. 6 is a schematic diagram of the time cost of a DOCTIC of the present invention considering different sample sizes, although the iterative process in DOCTIC makes the time cost Compared with the standard LSTM model, it is increased by 10 times, but the maximum time cost is about 15 milliseconds, which is still much smaller than the time interval between two data transmissions. At the same time, for smaller sample segments, the accuracy is significantly improved.
  • FIG. 7 is a schematic diagram of the accuracy of a DOCTIC of the present invention that considers different sample sizes. Using 15 (0.3 seconds) samples can achieve 85.3% accuracy , Comparable to the best accuracy in the standard LSTM model. In addition, a sample size of 25 can further improve the accuracy to 97.1%. This shows that for most cases, the time taken by the technical solution of the present invention to reach a consensus prediction result is much less than the maximum sequence length of 100 (2s).
  • the invention also discloses the comparison between the technical solution of the invention and DTW and KNN.
  • the method of the present invention achieves accuracy comparable to DTW and KNN, but the time cost is only 0.46 milliseconds, while DTW and KNN are 2 seconds.
  • Table 5 shows the comparison between the accuracy and time cost of the DTW & KNN method and the method proposed by the present invention (based on the data set with shoe size 8.5). The unit of time cost is milliseconds and the sequence size is 100.
  • the technical solution of the present invention also invites volunteers to conduct actual experience in different virtual scenes to detect the performance of this method in terms of naturalness, accuracy and fluency in practical applications.
  • a virtual laboratory that is completely consistent with the layout of the real laboratory. Participants roam in the virtual mode in the real mode, and record her / his vision in the virtual world and their position in the real world; optional, In the virtual runway scene, there is a prompt message on the runway that requires the user to complete each exercise in sequence. For example, in the jumping stage, we set 8 obstacles to evaluate the accuracy of the detection algorithm in sequence; optional, zombie town game, a first-person From the perspective of a shooting game, users can roam freely in virtual scenes, cross obstacles and shoot zombies, etc.
  • the present invention also discloses a sports behavior pattern classification system, including a motion control sensor and a computer device.
  • FIG. 8 shows a schematic diagram of a computer device in a sports behavior pattern classification system according to an embodiment of the present invention.
  • the device mainly includes a processor 801, a memory 802, and a bus 803.
  • the memory stores at least one program, and the program is executed by the processor to implement the sports behavior pattern classification method described in the foregoing embodiment.
  • the processor 801 includes one or more processing cores.
  • the processor 801 is connected to the memory 802 through a bus 803.
  • the memory 802 is used to store program instructions.
  • the processor 801 executes the program instructions in the memory 802, the motion behavior provided by the foregoing method embodiment is implemented. Pattern classification method.
  • the memory 802 may be implemented by any type of volatile or non-volatile storage device or a combination thereof, such as static on-access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), Erasable programmable read only memory (EPROM), programmable read only memory (PROM), read only memory (ROM), magnetic memory, flash memory, magnetic disk or optical disk.
  • SRAM static on-access memory
  • EEPROM electrically erasable programmable read-only memory
  • EPROM Erasable programmable read only memory
  • PROM programmable read only memory
  • ROM read only memory
  • magnetic memory flash memory
  • flash memory magnetic disk or optical disk.
  • the present invention also provides a computer-readable storage medium in which at least one instruction, at least one program, code set, or instruction set is stored.
  • the at least one instruction, at least one program, code set, or instruction set is determined by all
  • the processor loads and executes to implement the sports behavior pattern classification method provided by the above method embodiment.
  • the present invention also provides a computer program product containing instructions that, when run on a computer, causes the computer to execute the sports behavior pattern classification method described in the above aspects.
  • the program may be stored in a computer-readable storage medium.
  • the mentioned storage medium may be a read-only memory, a magnetic disk or an optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种运动行为模式分类方法、系统以及装置，涉及人类运动识别领域。该方法包括：S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；S3，通过所述时间序列建立LSTM运动行为模式分类模型；S4，通过所述LSTM运动行为模式分类模型来预测待分类运动行为模式，所述S4中使用迭代过程来比较利用T时间内序列得出的预测结果和利用T+Δt时间内序列得出的预测结果来得出最终的预测结果，其中，T1≤T≤T2，T1＞0,T2＞T1，递增步长设置为Δt，Δt>0。本发明技术方案能够在减少运动行为模式分类延迟的同时提高准确性。

Description

一种运动行为模式分类方法、系统以及装置 技术领域
本发明涉及人类运动识别领域，特别涉及一种运动行为模式分类方法、系统以及装置。
背景技术
基于传感器的运动识别在现代社会中的应用越来越普遍，特别是随着Oculus、HTC Vive等大量消费级VR设备的出现和技术的日趋成熟，大众消费者对VR应用的兴趣日渐浓厚，其带来的沉浸式体验特点使其在教育、传媒、娱乐等领域具有非凡的潜力。使体验者能够在虚拟场景中自由移动并且最大程度地保障其移动过程中的自然程度，是VR应用的一项重要功能，同时也是研究者们目前不断努力的一大目标。
当下主要应用于VR虚拟环境进行交互的运动方式主要包括：原地运动和基于操纵杆、手柄等辅助设备的运动。但是很显然，与现实世界完全相同的自然运动方式才是能提供最佳沉浸式体验，最高直观程度以及最大自然程度的更好的运动方式。但是，如何实现将真实世界中的运动映射到虚拟环境的标准运动捕捉系统(如Vicon)，始终是一个极具挑战的课题，因为其需要付出额外的努力安装外部设备(专业摄像机，跟踪套装等)，同时将带来巨大的制作、时间、计算开销。虽然一些替代方案，如Kinect，可以实现快速安装和准确定位，但是却会很大程度上限制用户的移动空间，并且因为光线、噪声等因素的影响难以应用于户外场景。
因此，探索出一套能够允许用户在复杂多变的真实场景中以直观、自然的交互方式实现其运动行为映射到虚拟场景中的解决方案，对VR技术的长远发展有巨大意义。
发明内容
为了克服如上所述的技术问题，本发明提出一种运动行为模式分类方法、系统以及装置，通过运动控制传感器来捕捉人在运动过程中的运动数据，进而捕捉人在真实场景中的行为运动方式，能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
本发明所采用的具体技术方案如下：
第一方面，本发明一种运动行为模式分类方法，包括：
S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
S3，通过所述时间序列建立LSTM运动行为模式分类模型；
S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
设置时间变量T的初始值为T 1，T 1≤T≤T 2，T 1＞0,T 2＞T 1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
s41，判断T是否大于T 2，若T＞T 2，进入步骤s44，若T＝T 2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res 1和Res 2；
s43，比较所述预测结果Res 1和Res 2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
s44，结束。
进一步地，所述S1中的备选运动行为模式包括静态站立、前进、后退、跳跃、左移和右移6种，所述S2包括：
通过人鞋垫中的压力传感器来采集关于所述备选运动行为模式的行为数据的时间序列。
所述传感器部署在单只鞋垫中的个数为3个，所述T 1＝0.1s,T 2＝1s，Δt＝0.1s。
进一步地，所述S2包括通过：
采用最大最小值归一化方法对所述行为数据的时间序列进行预处理。
进一步地，所述S3包括：
s31，对所述时间序列标注其所对应的运动行为模式；
s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立所述LSTM运动行为模式分类模型。
进一步地，还包括：
将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果与所述预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
进一步地，所述LSTM运动行为模式分类模型采用N*S的样本矩阵作为输入，由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500，其中，N表示传感器数目，S表示单个传感器信号数据的序列长度。
第二方面，本发明提出一种运动行为模式分类系统，包括运动控制传感器和计算机装置，所述计算机装置包括存储器和处理器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如第一方面所述的运动行为模式分类方法。
第三方面，本发明提出一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如第一方面所述的运动行为模式分类方法。
本发明提供的技术方案带来的有益效果是：
本发明首先通过确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；通过所述时间序列建立LSTM运动行为模式分类模型；基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：设置时间变量T的初始值为T 1，T 1≤T≤T 2，T 1＞0,T 2＞T 1，递增步长设置为Δt，Δt>0，用迭代过程来比较利用T时间内序列得出的预测结果Res 1和利用T+Δt时间内序列得出的预测结果Res 2，T从T 1增长至T 2的迭代过程中，如果Res 1和Res 2对比得出的结论一致，输出一致的预测结果，否则，T继续增长，当T达到最大值，选择在之前的预测结果中可能性最高的预测结果作为最终预测结果。因此，本发明技术方案能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，且不需要人工提取特征，避免了产生人为偏向性因素，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一种运动行为模式分类方法的示意图；
图2示出了本发明一种LSTM模型下训练数据和测试数据集的损失函数和正确率的变化情况示意图；
图3示出了本发明一种不同行为模式的归一化混淆矩阵示意图；
图4示出了本发明一种考虑不同样本大小的标准LSTM模型的时间成本示意图；
图5示出了本发明一种考虑不同样本大小的标准LSTM模型的准确性示意图；
图6所示为本发明一种考虑不同样本大小的DOCTIC的时间成本示意图；
图7所示为本发明一种考虑不同样本大小的DOCTIC的准确性示意图；
图8示出了本发明实施例所涉及的运动行为模式分类系统中的计算机装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。
如图1所示为本发明一种运动行为模式分类方法的示意图，示出了该方法的具体实施步骤，包括：
在步骤101中，S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
所述备选行为模式包括所有可能的运动行为模式，这根据具体的运动场景而定，在一种可能的实现中，在VR场景中，人的运动行为模式是非常丰富的，优选的，包括：静态站立、前进、后退、跳跃、左移和右移6种，此时在VR场景中的备选行为模式就包括上述6种，其中，待分类运动行为模式是包含在所述备选运动行为模式中的。
在步骤102中，S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
在本步骤中，通过运动控制传感器采集人在各种备选运动行为模式下的行为数据的时间序列，根据运动场景的不同以及传感器设置位置的不同，可以选择不同的运动控制传感器，包括将压力传感器、速度传感器等将非电量(如速度、压力等)的变化转变为电量变化的器件。在一种可能的实现中，受现实世界中人们通过鞋子辅助长距离运动的启发，我们通过在鞋垫中嵌入压力传感器来捕捉人在运动过程中的足底压力数据，进而捕捉人在真实场景中的行为运动方式，通过人鞋垫中的压力传感器采集人在各种备选运动行为模式下的行为数据的时间序列，为后续步骤中运动行为模式的分类模型提供训练数据和测试数据。
在步骤103中，S3，通过所述时间序列建立LSTM运动行为模式分类模型；
长短期记忆神经网络LSTM是循环神经网络改进之后的一种结构，通过加入遗忘门等结构，解决了在一些情况下循环神经网络出现的梯度消失问题，对于长序列的时序数据会有更好的分类效果，因此在本发明技术方案中采用LSTM网络来建立LSTM运动行为模式分类模型。在一种可能的实现中，可通过下述步骤：
s31，对所述时间序列标注其所对应的运动行为模式；
s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立LSTM运动行为模式分类模型。
上述的神经网络优化器包括标准梯度下降、随机梯度下降、小批量梯度下降以及自适应时刻估计方法Adam(Adaptive Moment Estimation)等，Adam优化器能计算每个参数的自适应学习率。需要说明的是，在实际应用中，Adam方法效果良好，与其他自适应学习率算法相比，其收敛速度更快，学习效果更为有效，而且可以纠正其他优化技术中存在的问题，如梯度消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。
进一步地，对于通过上述步骤s31至s33建立所述LSTM运动行为模式分类模型后，为进一步评估所建立模型的预测准确性，在一种可能的实际操作中，将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果，并与所述预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
在步骤104中，S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
设置时间变量T的初始值为T 1，T 1≤T≤T 2，T 1＞0,T 2＞T 1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
s41，判断T是否大于T 2，若T＞T 2，进入步骤s44，若T＝T 2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res 1和Res 2；
s43，比较所述预测结果Res 1和Res 2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
s44，结束。
需要说明的是，现有技术中的包括基于深度学习的算法如DNN等，虽然计算耗时远远小于动态时间规整DTW算法，但是其需要相对较长的时间序列数据作为输入，否则无法达到良好的准确率，这也同样导致了严重的延迟，以及对于稀疏的输入数据难以达到稳定的高准确率。
本实施例首先通过确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；通过所述时间序列建立LSTM运动行为模式分类模型；基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：设置时间变量T的初始值为T 1，T 1≤T≤T 2，T 1＞0,T 2＞T 1，递增步长设置为Δt，Δt>0，用迭代过程来比较利用T时间内序列得出的预测结果Res 1和利用T+Δt时间内序列得出的预测结果Res 2，T从T 1增长至T 2的迭代过程中，如果Res 1和Res 2对比得出的结论一致，输出一致的预测结果，否则，T继续增长，当T达到最大值，选择在之前的预测结果中可能性最高的预测结果作为最终预测结果。因此，本发明技术方案能够基于大量用户和多种不同行为模式进行运动信号到具体行为类别的映射，对人的运动行为模式进行快速并且准确的分类，且不需要人工提取特征，避免了产生人为偏向性因素，进而实现用户在复杂多变的真实场景中以直观、自然的交互方式将运动行为映射到虚拟场景。
下述实施例将结合图1所对应的实施步骤101至104对本发明所提的运动行为模式分类方法应用在通过鞋垫中压力传感器采集到的运动行为数据来捕捉和分析人的真实运动行为模式的过程进行描述，以进一步充分说明本技术方案的内容，但是并不以此为限。
1)确定备选足部运动行为模式，本步骤用来探索在实际VR应用中，被用户使用频率较高的几种代表性足部运动行为模式。
10位被试者参与此项研究，参与者的平均年龄为21.6岁，年龄的标准差为3.20，对虚拟现实技术的熟悉程度自我评估平均为3.28分，如表1所示为对虚拟现实技术的熟悉程度自我评估表。
表1
分数 标准
1分 从未听说过VR的概念，没有接触过VR应用，不了解任何VR设备
2分 听说过VR，但是没有过亲身体验
3分 有过小于(包含)2次亲身体验VR
4分 2次以上亲身VR体验经历
5分 对VR十分熟悉，或参与过VR项目的调研或开发，有丰富的VR产品体验经历
基于上述10名被试者的试验结果，提供两种在虚拟世界中前进的选择：一种是真实行走，最大限度地保留了真实运动体验，对于多数有充足空间的情况是适用的；第二种选择是以原地踏步实现在虚拟世界中的前进，这种模式适用于有限空间的情况。对于跑步和跳跃，我们决定采用原地模式。相反，对于左移，右移，后退这三种活动，我们决定采用真实模式以提供更好的用户体验。同时，比起其他运动，这三种运动出现的频率相对较低，也就意味着并不需要太大空间。
3)通过鞋垫中的压力传感器获取行为数据的时间序列作为训练数据
数据收集工作在32位志愿者中展开，他们的年龄范围为19到30岁，平均年龄为20.53岁，标准差为1.98。每位参与者都要穿着嵌有智能鞋垫的运动鞋完成8中运动(静态站立，前进，原地踏步，后退，跑步，跳跃，左移和右移)，也就是说，对应步骤101中的备选运动行为模式包括静态站立、前进、原地踏步、后退、跑步、跳跃、左移和右移。
在一种可能的实际操作中，使用Podoon Technology Ltd.的智能鞋垫来完成这项研究，每个鞋垫有三个压力传感器和一个板载处理芯片，芯片采用蓝牙低功耗技术，仅消耗低成本能源，便可通过蓝牙将压力信息发送到其他处理设备，每个传感器返回[0,255]范围内的整数值，以表征足底压力的大小。压力信息的采样频率为50Hz，传输频率为10Hz。
采用最大最小值归一化方法对每个人的行为数据做预处理，以消除不同个体间的体重差异对结果造成的影响。我们的方法直接采用含有噪声的数据集作为输入，后续过程中也没有降噪处理，也就是说，我们的方法在容忍噪声能力方面表现良好。之后，时序数据被分为不同样本，每个样本都是N*S的大小，N表示传感器数目，S表示单个传感器信号数据的序列长度。我们的方法测试了从10到100不等的序列长度的结果。将整个数据集随机分为90％的训练集和10％的测试集，如表2和表3所示为数据集的统计信息表。
表2
鞋码 参与者 总共时长(分钟)
6 10 269.8
7.5 10 292.3
8.5 12 358.1
表3
运动行为 测试机样本 训练集样本
静态站立 644 6012
前进 597 5274
原地踏步 701 5953
后退 737 6524
跳跃 678 6012
跑步 666 6211
左移 665 6085
右移 708 6452
总共 5396 48562
4)用LSTM神经网络作为行为分类器，采用N*S的样本矩阵作为输入，网络结构由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500。与传统的时序数据分类方法DTW对比，本发明技术方案不需要人工提取特征，避免了产生人为偏向性因素。在一种可能的实际操作中，LSTM网络的训练和测试可以在配置Intel Core i7(六核)，16G内存和NVidia GTX 1080Ti的服务器上进行的，服务器接收传感器数据，进行预测并将结果发送到虚拟现实头盔，所有数据都基于TCP协议传输。
图2示出了本发明一种LSTM模型下训练数据和测试数据集的损失函数和正确率的变化情况。使用鞋号6的测试数据集生成该图，样本大小为100，在1000次迭代之后，收敛到最优解，花费大约20分钟，两个数据集的最终准确性达到0.85左右。结果表明，测试数据集的准确性接近训练数据集，未出现过拟合问题。
图3示出了本发明一种不同行为模式的归一化混淆矩阵示意图。使用鞋号6的测试数据集生成该图，样本大小为100，结果表明，向前行走的动作被认为是站立(7％)和向后行走(5％)，但这种错误是由这些步态的相似性引起的。利用本发明所提出的方法可以进一步提高准确度。同时，站立、向后行走和左/右滑动的模式被高度精确地识别超过85％。
需要说明的是，标准LSTM神经网络对于2秒钟的输入数据的分类准确率在80％左右，也就是说LSTM算法有很严重的延迟，相当于当跳跃动作结束后LSTM才能检测出这个动作。这种延迟会极大的影响用户体验，为了解决这个问题，本发明技术方案提出循环一致性二重检测(Double-Check Till Consensus,DOCTIC)算法来完成更快更准确的检测，这里的DOCTIC对应的便是图1中的步骤104所述的方法，在下述描述中，为方便说明，将以DOCTIC来表示本发明所提出的运动行为模式的分类方法。
通过实验观察得到LSTM模型的前向传播过程耗时极短(小于1毫秒)，基于此，利用图1对应的步骤104所述的方法，使用迭代过程来比较利用T时间内序列得出的预测结果和利用T+δT时间内序列得出的预测结果，T从0.1秒增长至1秒。如果两次对比得出的结论一致，则得出最终结论，否则，T继续增长直到达到最大值。对于后一种情况，将选择在之前的预测中可能性最高的预测结果作为最终结论。结果显示，DOCTIC算法的延迟降低到了0.5秒，正确率提高到了97％，实现了更快更准确地识别运动。
5)从不同方面来对本发明技术方案的技术效果进行说明
标准LSTM的性能在不同样本大小下表现并不相同，当样本量从10(0.2秒)增加到100(2秒)时，时间成本从小于0.1毫秒增加到0.6毫秒，如图4示出了本发明一种考虑不同样本大小的标准LSTM模型的时间成本示意图，需要说明的是，与两次数据传输之间的时间间隔(0.1秒)相比，此处处理最大样本的时间成本仍然可以忽略不计，随着样本量的增加，准确率从50％显著提高到超过80％，如图5示出了本发明一种考虑不同样本大小的标准LSTM模型的准确性示意图。
这表明较长的数据信号序列可以使分类器更好地理解步态模式并做出正确的识别。但是，值得注意的是，它要求样本量超过75(1.5秒)才能达到80％的准确度。本发明提出的方法DOCTIC通过显著缩短时间延迟而不降低准确性来改进标准LSTM模型。
本发明技术方案提出的DOCTIC的性能在不同样本大小下表现也不相同，如图6所示为本发明一种考虑不同样本大小的DOCTIC的时间成本示意图，虽然在DOCTIC中的迭代过程使得时间成本对比于标准LSTM模型增加了10倍，但是，最大时间成本约为15毫秒，仍远小于两次数据传输之间的时间间隔。同时，对于较小的样本段，准确度显著提高，如图7所示为本发明一种考虑不同样本大小的DOCTIC的准确性示意图，使用15(0.3秒)的样本可以达到85.3％的准确度，与标准LSTM模型中的最佳准确性相当。此外，样本量为25可以将准确度进一步提高到97.1％。这表明对于大多数情况，本发明技术方案得出一致性预测结果所花费的时间远小于最大序列长度100(2s)。
进一步地，我们训练不同鞋尺寸的分类器，并比较训练整个数据集作为通用分类器时的准确性。结果表明，与通用分类器相比，训练单个分类器对于所有鞋尺寸实现更好的准确性。所有用户都应该知道他们的鞋子尺寸，这意味着当他们第一次使用这个应用程序时要求用户选择正确的鞋子尺寸是一种可接受的解决方案。保存的网络文件大小约为9兆字节，这足够小，因此即使对于嵌入式系统，也可以在硬盘上保存多个模型。如表4所示为针对不同鞋号训练个体分类器的准确度和针对所有鞋尺寸的通用分类器，样本量为100。
表4
鞋码(美码) 准确性
6 0.83
7.5 0.85
8.5 0.83
总计 0.78
本发明还公开本发明技术方案与DTW和KNN的比较情况。动态时间规划(DTW)和K近邻算法(KNN)的组合是时序数据分类领域的代表性方法。在给定所选时间跨度的情况下，首先通过计算[平均值，中值，最大值，最小值，标准偏差]的矢量来处理所收集的数据。DTW对齐两个最初异相的矢量，然后计算这些序列之间的相应距离。通过在训练数据集中找到最近邻居(K＝1)来预测测试序列的标签。研究表明，该方法达到了令人满意的准确性，但难以胜任实时的时间序列分类的任务。对于实时应用程序来说，这种方法的计算成本过大导致耗费大量的时间。一种解决方案是减小数据集的大小。我们通过减少数据集来加速计算过程。结果表明，虽然全尺寸数据集达到了大约90％的准确度，但每次尝试在数据集中找到最近邻居的成本都花费>7秒。在减少数据集以加速计算时，准确性会显著下降。
相比之下，当数据集取25％或更高时，本发明的方法实现了与DTW和KNN相当的准确性，但是时间成本仅为0.46毫秒，而DTW和KNN则为2秒。这表明由我们的LSTM模型构建的分类器可以识别在大数据集中的运动模式，无需与数据库中的单个样本进行比较就能成功地检测运动模式。如表5所示为DTW&KNN方法和本发明所提方法的准确性和时间成本的比较(基于鞋号为8.5的数据集)，时间成本的单位是毫秒，序列大小是100。
表5
Figure PCTCN2019114229-appb-000001
本发明技术方案还邀请志愿者在不同虚拟场景中进行实际体验来检测此方法在实际应用中的自然程度，准确程度和流畅程度方面的表现，可选的，虚拟实验室场景，通过重建了一个与真实实验室布局完全一致的虚拟实验室，参与者们在虚拟实验室中以真实模式漫游，记录下她/他分别在虚拟世界中的视野和现实世界中的所处位置；可选的，虚拟跑道场景，跑道上设有提示信息要求用户依次完成各个运动，例如，在跳跃阶段，我们设置了8个障碍，依次评估检测算法的准确性；可选的，僵尸小镇游戏，一个第一人称 视角的射击游戏，用户可以在虚拟场景中自由漫游，跨越障碍物以及射击僵尸等，在此过程中，用户会用到多种运动形式：站立/前进/跑/跳跃/左移/右移等来穿过复杂的环境，比如横木障碍物。在不同的虚拟场景中应用的运动行为分类情况都具有良好的用户反馈，进一步说明了本发明技术方案所产生的技术效果是具有显著的进步的。如表6所示为参与者在应用本发明的运动行为模式分类方法中对自然程度，延迟程度和准确率评分结果表。
表6
评分项 标准(1到5分) 平均分 标准差
自然程度 1代表极度不自然，5代表非常自然 3.50 0.53
延迟程度 1分代表高延迟，5分代表低延迟 3.38 0.52
准确率 1分代表低准确率，5分代表高准确率 3.88 0.35
对于使用鞋垫和使用传统的手柄这两种交互方式，90％的用户表示更倾向于鞋垫交互方式，说明本发明技术方案在实际应用中是具有非常广阔的应用前景的。
本发明还公布一种运动行为模式分类系统，包括运动控制传感器和计算机装置，如图8示出了本发明实施例所涉及的运动行为模式分类系统中的计算机装置示意图，该装置主要包括处理器801、存储器802和总线803，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如上述实施例所述的运动行为模式分类方法。
处理器801包括一个或一个以上处理核心，处理器801通过总线803与存储器802相连，存储器802用于存储程序指令，处理器801执行存储器802中的程序指令时实现上述方法实施例提供的运动行为模式分类方法。
可选的，存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的运动行为模式分类方法。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的运动行为模式分类方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种运动行为模式分类方法，其特征在于，包括：
    S1，确定备选运动行为模式，所述备选运动行为模式包括待分类运动行为模式；
    S2，通过运动控制传感器获取关于所述备选运动行为模式的行为数据的时间序列；
    S3，通过所述时间序列建立LSTM运动行为模式分类模型；
    S4，基于所述LSTM运动行为模式分类模型，利用迭代过程来预测待分类运动行为模式，具体包括如下步骤：
    设置时间变量T的初始值为T 1，T 1≤T≤T 2，T 1＞0,T 2＞T 1，递增步长设置为Δt，Δt>0，所述T在递增的过程中执行下述步骤s41至s44：
    s41，判断T是否大于T 2，若T＞T 2，进入步骤s44，若T＝T 2，输出预测结果Res，进入步骤s44，否则进入步骤s42；
    s42，基于所述LSTM运动行为模式分类模型，分别利用所述待分类运动行为模式的行为数据在T时间内序列和T+Δt时间内序列进行预测，得到预测结果Res 1和Res 2；
    s43，比较所述预测结果Res 1和Res 2，若一致，输出一致的预测结果，否则，记录目前预测概率最高的预测结果Res，T＝T+Δt；
    s44，结束。
  2. 根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S1中的备选运动行为模式包括静态站立、前进、后退、跳跃、左移和右移6种。
  3. 根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S2包括：通过人鞋垫中的压力传感器来采集关于所述备选运动行为模式的行为数据的时间序列。
  4. 根据权利要求3所述的运动行为模式分类方法，其特征在于，所述压力传感器部署在单只鞋垫中的个数为3个，所述T 1＝0.1s,T 2＝1s，Δt＝0.1s。
  5. 根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S2包括通过：
    采用最大最小值归一化方法对所述行为数据的时间序列进行预处理。
  6. 根据权利要求1所述的运动行为模式分类方法，其特征在于，所述S3包括：
    s31，对所述时间序列标注其所对应的运动行为模式；
    s32，将所述时间序列按预设比例分为训练数据集和预测数据集；
    s33，将所述训练数据集的数据作为训练数据，基于LSTM网络，并采用神经网络优化器，建立所述LSTM运动行为模式分类模型。
  7. 根据权利要求6所述的运动行为模式分类方法，其特征在于，还包括：
    将所述预测数据集的数据输入到所述LSTM运动行为模式分类模型中进行预测得到预测结果与所述 预测数据对应的运动行为模式进行比较，判断所述LSTM运动行为模式分类模型的进行预测的准确性。
  8. 根据权利要求1至7任一所述的运动行为模式分类方法，其特征在于，所述LSTM运动行为模式分类模型采用N*S的样本矩阵作为输入，由3个LSTM层组成，每层有64个隐藏单元，最后经过一个全连接层作为输出，并采用Adam优化器，学习率设定为0.0025，批量大小设置为1500，其中，N表示传感器数目，S表示单个传感器信号数据的序列长度。
  9. 一种运动行为模式分类系统，其特征在于，包括运动控制传感器和计算机装置，所述计算机装置的包括存储器和处理器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如权利要求1至8任一所述的运动行为模式分类方法。
  10. 一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的运动行为模式分类方法。
PCT/CN2019/114229 2018-11-01 2019-10-30 一种运动行为模式分类方法、系统以及装置 WO2020088491A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/769,088 US11551479B2 (en) 2018-11-01 2019-10-30 Motion behavior pattern classification method, system and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811296819.1A CN109447164B (zh) 2018-11-01 2018-11-01 一种运动行为模式分类方法、系统以及装置
CN201811296819.1 2018-11-01

Publications (1)

Publication Number Publication Date
WO2020088491A1 true WO2020088491A1 (zh) 2020-05-07

Family

ID=65549708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/114229 WO2020088491A1 (zh) 2018-11-01 2019-10-30 一种运动行为模式分类方法、系统以及装置

Country Status (3)

Country Link
US (1) US11551479B2 (zh)
CN (1) CN109447164B (zh)
WO (1) WO2020088491A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807515A (zh) * 2021-08-23 2021-12-17 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447164B (zh) 2018-11-01 2019-07-19 厦门大学 一种运动行为模式分类方法、系统以及装置
CN110276380B (zh) * 2019-05-22 2021-08-17 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导系统
CN111091066B (zh) * 2019-11-25 2023-09-22 重庆工程职业技术学院 一种自动驾驶汽车地面状态评定方法及系统
CN113326722B (zh) * 2020-02-29 2023-06-02 湖南超能机器人技术有限公司 基于序列模式的图像模糊检测方法及设备
CN112380992B (zh) * 2020-11-13 2022-12-20 上海交通大学 一种加工过程监控数据准确性评估与优化方法及装置
CN112651456B (zh) * 2020-12-31 2023-08-08 遵义师范学院 基于rbf神经网络的无人车控制方法
CN113033495B (zh) * 2021-04-30 2022-08-02 重庆大学 一种基于k-means算法的弱监督行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN107944409A (zh) * 2017-11-30 2018-04-20 清华大学 视频分析方法及装置
CN109447164A (zh) * 2018-11-01 2019-03-08 厦门大学 一种运动行为模式分类方法、系统以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6327137A (ja) * 1986-07-18 1988-02-04 Nec Corp ポ−リング制御方式
CN107146462A (zh) * 2017-06-23 2017-09-08 武汉大学 一种停车场空闲车位数长时预测方法
CN108334605B (zh) * 2018-02-01 2020-06-16 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN108564118B (zh) * 2018-03-30 2021-05-11 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN108597609A (zh) * 2018-05-04 2018-09-28 华东师范大学 一种基于lstm网络的医养结合健康监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN107944409A (zh) * 2017-11-30 2018-04-20 清华大学 视频分析方法及装置
CN109447164A (zh) * 2018-11-01 2019-03-08 厦门大学 一种运动行为模式分类方法、系统以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807515A (zh) * 2021-08-23 2021-12-17 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109447164A (zh) 2019-03-08
CN109447164B (zh) 2019-07-19
US20200334451A1 (en) 2020-10-22
US11551479B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
WO2020088491A1 (zh) 一种运动行为模式分类方法、系统以及装置
CN110472531B (zh) 视频处理方法、装置、电子设备及存储介质
Li et al. An intelligent optimization method of motion management system based on BP neural network
US9639746B2 (en) Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
US9613298B2 (en) Tracking using sensor data
RU2648573C2 (ru) Выделение ресурсов для машинного обучения
US11712621B2 (en) Video clip classification using feature vectors of a trained image classifier
JP7399277B2 (ja) 情報処理方法、装置、コンピュータプログラム及び電子装置
Hua et al. Collaborative active visual recognition from crowds: A distributed ensemble approach
Jiang et al. Online robust action recognition based on a hierarchical model
CN110298303B (zh) 一种基于长短时记忆网络扫视路径学习的人群识别方法
Suzuki et al. Enhancement of gross-motor action recognition for children by CNN with OpenPose
CN112827168B (zh) 一种目标跟踪的方法、装置及存储介质
CN115376518B (zh) 一种实时噪声大数据的声纹识别方法、系统、设备和介质
Lopez-Lopez et al. Incremental learning from low-labelled stream data in open-set video face recognition
US11450010B2 (en) Repetition counting and classification of movements systems and methods
Li et al. Skeleton-based deep pose feature learning for action quality assessment on figure skating videos
CN117765432A (zh) 一种基于动作边界预测的中学理化生实验动作检测方法
CN117576781A (zh) 基于行为识别的训练强度监测系统及方法
CN113476833A (zh) 游戏动作识别方法、装置、电子设备和存储介质
Zhao Research on athlete behavior recognition technology in sports teaching video based on deep neural network
CN112434629A (zh) 一种在线时序动作检测方法及设备
Zhou et al. Motion balance ability detection based on video analysis in virtual reality environment
Xie et al. Lightweight Football Motion Recognition and Intensity Analysis Using Low‐Cost Wearable Sensors
WO2023187899A1 (ja) コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19880834

Country of ref document: EP

Kind code of ref document: A1