WO2021139337A1 - 基于深度学习模型的步态识别方法、装置和计算机设备 - Google Patents

基于深度学习模型的步态识别方法、装置和计算机设备 Download PDF

Info

Publication number
WO2021139337A1
WO2021139337A1 PCT/CN2020/124725 CN2020124725W WO2021139337A1 WO 2021139337 A1 WO2021139337 A1 WO 2021139337A1 CN 2020124725 W CN2020124725 W CN 2020124725W WO 2021139337 A1 WO2021139337 A1 WO 2021139337A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
deep learning
learning model
frequency
sliding window
Prior art date
Application number
PCT/CN2020/124725
Other languages
English (en)
French (fr)
Inventor
冯澍婷
庄伯金
王少军
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021139337A1 publication Critical patent/WO2021139337A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • This application relates to the field of artificial intelligence, in particular to the gait recognition technology in the field of biometrics, and in particular to a method, device and computer equipment for gait recognition based on a deep learning model.
  • Gait recognition technology is mainly divided into two types, one is camera-based gait recognition, and the other is sensor-based gait recognition.
  • the cost of camera-based research and the complexity of experiments are relatively high, which is not conducive to popularization.
  • the sensor-based method has low cost and simple operation, which is favored by researchers and the market.
  • Traditional gait recognition methods are mostly based on wearable devices, which require users to wear a variety of sensors for a long time, resulting in poor comfort and high cost.
  • gait recognition technology based on mobile terminals has become a research hotspot.
  • the implementation process of the traditional gait recognition scheme is roughly as follows: data acquisition, most traditional methods collect acceleration sensor and gyroscope data; signal data processing, perform denoising and filtering operations on sensor signals; feature extraction, mainly including time domain features and frequency domain Feature and time-frequency feature data extraction; model classification, mainly traditional machine learning methods, such as KNN algorithm, C4.5 decision tree and SVM for model recognition and classification.
  • the traditional method generally has the following shortcomings: it requires a variety of sensor data support, and the sensor wearing position has a greater impact on the final classification result; the feature extraction method is too complicated, and requires professional knowledge in related fields, which increases the difficulty of research. ;
  • Traditional machine learning methods are less efficient when applied to the direction of gait recognition, and it is difficult to generalize to actual application scenarios.
  • the main purpose of this application is to provide a gait recognition method, device, and computer equipment based on a deep learning model, aiming to solve the technical problems of the current traditional gait recognition method of complex scheme, low recognition efficiency, and high application cost.
  • this application proposes a gait recognition method based on a deep learning model, including:
  • an embodiment of the present application also provides a gait recognition device based on a deep learning model, including:
  • the acquisition module is used to acquire the data collected by the acceleration sensor
  • the first processing module is used to perform averaging and filtering processing on the synthesized signal I;
  • the second processing module is used to perform sliding window processing on the filtered data
  • the third processing module is used to perform time domain and frequency domain processing on the data processed by the sliding window to obtain a spectrogram
  • the recognition module is used to input the spectrogram into the pre-trained deep learning model to obtain the gait recognition result output by the model.
  • the present application also provides a computer device, including a memory and a processor, the memory stores a computer program, and the processor implements the steps of any one of the above-mentioned methods when the computer program is executed by the processor.
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps of any one of the methods described above are implemented.
  • the gait recognition method, device and computer equipment based on the deep learning model of this application first collect three-channel acceleration sensor signals and perform time-domain and frequency-domain analysis, then convert the time-domain signal and frequency spectrum into an image structure, and finally use deep learning
  • the model extracts features and recognizes the results.
  • this solution only requires the user's own smart mobile device to have an acceleration sensor embedded in it, which greatly reduces the threshold and cost of data collection, and only needs to collect acceleration sensor data , Perform simple time-domain and frequency-domain processing on the data, and then use the deep network model for gait recognition.
  • the processing process is simple and the recognition efficiency is high, which reduces the threshold and cost of research and is conducive to popularization.
  • FIG. 1 is a schematic flowchart of a gait recognition method based on a deep learning model according to an embodiment of the application
  • FIG. 2 is a schematic diagram of a training process of a deep learning model according to an embodiment of the application
  • FIG. 3 is a schematic diagram of a reasoning process of a deep learning model according to an embodiment of the application
  • FIG. 4 is a schematic block diagram of the structure of a gait recognition device based on a deep learning model according to an embodiment of the application;
  • FIG. 5 is a schematic block diagram of the structure of a computer device according to an embodiment of the application.
  • an embodiment of the application provides a gait recognition method based on a deep learning model, which is applied to a mobile terminal device and includes the steps:
  • step S1 most of the current commercially available smart mobile terminals are equipped with an acceleration sensor (Accelerometer) and a gyroscope sensor (Gyroscope) related to step counting.
  • the acceleration sensor is also called G-sensor, which can measure The acceleration value of the object on the three coordinate axes of x, y, and z in the rectangular coordinate system.
  • the gyroscope is also called the angular velocity sensor (Gyro), which can measure the deflection and tilt of the object on the x, y, and z axes.
  • the angular velocity of rotation, the unit is r/s (radians/second).
  • this application reduces the requirements for sensors, and does not require sensor support such as gyroscopes and magnetometers, and gait recognition can be realized by only collecting signals from the acceleration sensor.
  • Existing mainstream mobile terminal frameworks ios, Android
  • This application recommends sampling frequency> 50 Hz to ensure the accuracy of the recognition results.
  • the collected data signals need to be pre-processed, mainly to perform denoising and filtering operations on the sensor signals.
  • the specific processing method is: the general flow of signal processing is:
  • Filtering and sliding window processing perform de-averaging and filtering processing on the synthesized signal I, and perform sliding window on the filtered data.
  • the recommended window duration is 1-5s, and the number of sampling points in the window needs to be 2 n , for example: sampling rate When it is 50Hz, the sliding window size can be set to 128 points, the sliding step length is 64 points, and the overlapping part of the sliding window is 64 points.
  • step S6 input the spectrogram obtained in the previous steps into the pre-trained deep learning model to obtain the gait results output by the model.
  • the final gait recognition results can be divided into three categories: walking, running, and climbing stairs. .
  • the steps before include:
  • the acceleration signal basically does not change, and it can be considered that no gait occurs at this time, and the stationary data is eliminated.
  • a clustering algorithm can also be used to analyze the synthesized signal to obtain the data classification of the acceleration signal of each gait (walking, running, climbing stairs), and eliminate the non-running sports data that does not belong to the classification, such as Playing basketball, swimming, cycling, etc.
  • the step of performing time domain and frequency domain processing on the data processed by the sliding window to obtain a spectrogram includes:
  • the signal of each sliding window is taken as a sample, and the single sample can be decomposed into a low-frequency time-domain signal I 1 lower than the preset frequency value through filtering or wavelet transformation, and higher than the preset frequency value.
  • the frequency-time domain signal I 2 is a two-part time-domain signal.
  • the preset frequency value is 2 Hz;
  • the signal spectrum I 3 can be obtained through frequency domain transformation of a single sample.
  • the data processed by the sliding window is transformed into the frequency domain signal I 3 through CZT transformation.
  • the present application adopts CZT (chirp z-transform) transformation in frequency domain processing, which can refine the characteristics of the effective frequency band of the spectrum, and the effect is better than FFT transformation.
  • Traditional gait recognition algorithms have very limited features.
  • the time domain mainly extracts the mean value (Mean), standard deviation (STD), correlation coefficient (Corr) and root mean square (Rms) between two axes, etc.
  • the frequency domain mainly includes FFT coefficients, frequency domain entropy (FDE), etc.
  • traditional methods lose effective gait information in the feature extraction process, and in the process of manually calculating features, improper selection of the calculation method may also easily cause data pollution.
  • the pre-trained deep learning model is a CNN deep learning model.
  • the deep learning model can choose a variety of network models such as convolutional neural network (CNN) and recurrent neural network (LSTM). This application considers the weight of the model, so a simpler network model is selected. Considering that the CNN network has the advantages of local connection, weight sharing, and downsampling, this application finally uses the CNN network model to realize gait recognition.
  • the structure of the CNN network model includes multiple A cascaded convolutional layer and a pooling layer continuously extract features from the data, followed by 2-4 layers of fully connected layers for classification, and finally a softmax layer to convert the classification results into the probability of the corresponding results, thereby Judge the result of final gait recognition.
  • the step of training the CNN deep learning model before the step of inputting the spectrogram into the pre-trained deep learning model to obtain the gait recognition result output by the model, the step of training the CNN deep learning model is further included.
  • the steps to train the CNN deep learning model include:
  • the model needs to be trained. Specifically, first obtain the training data set, preprocess the training data set, the preprocessing process is consistent with the above steps S2-S5, and then use the processed training data to train the model to obtain the pre-trained CNN depth Learning model. More specifically, first initialize the weight of the convolutional neural network, input the processed training data, and forward the output value to obtain the error between the output value of the convolutional neural network and the target value.
  • the gradient descent backpropagation algorithm is used for supervised training, and the error between the result and the expected value is calculated, and then the error is returned layer by layer, and the error of each layer is calculated.
  • the weights are updated to obtain the total error of the convolutional neural network, and then the error is passed into the convolutional neural network, and the proportion of the total error that each layer should bear is calculated.
  • the training of the pre-trained deep learning model adopts the TensorFlow deep learning framework.
  • the deep learning framework used in this embodiment is Tensorflow
  • the TensorFlow Lite framework is a lightweight solution of TensorFlow for mobile and embedded devices. It supports device-side machine learning inference, and has low latency and small binary file size.
  • the above-mentioned deep learning model-based gait recognition method can also be applied to the server side.
  • the deep learning model training and gait recognition are completed on the server side, and the server side may be a server,
  • the server has powerful computing capabilities, and the process of model training and gait recognition can be faster.
  • the training process of the deep learning model is specifically as follows: first load the training data set, preprocess the training data, the processing process is as described in the above steps S2-S5, and then define Graph, Link Graph to build a Session, pass the initial parameters into the sess.run function to start training the model, and then use forward propagation and gradient descent back propagation to optimize the parameters until the epoch is reached or overfitting occurs, and the training will be stopped, and the completed model will be trained Save it in pb format for the mobile terminal to directly call and execute gait recognition reasoning.
  • the gait recognition method based on the deep learning model described above completes the gait recognition process on the mobile terminal, making full use of the good real-time performance of the mobile terminal.
  • the process of deep learning model inference is as follows: After starting, first load the model file in pb format, then the TFLiteConverter function converts the pb file into a tflite file, loads the tflite model, and loads all The tensor loads the obtained processed data into the input tensor, calls the invoke method for inference, and obtains the inference result in the output tensor, which is the gait result recognized by the model.
  • the gait recognition method based on the deep learning model of the embodiment of the present application only requires that the user's own smart mobile device is embedded with an acceleration sensor, and the threshold and cost of data collection are greatly reduced.
  • this application Conducive to promotion; compared to the method of collecting multiple sensors, this application only needs to collect acceleration sensor data, and the research and development workload is greatly reduced; compared to the complex feature extraction process, this application only needs to perform simple time domain and frequency Domain processing reduces the threshold of research to a certain extent; uses CZT transformation in the signal processing process to refine the signal spectrum to reflect the detailed characteristics of the signal effective frequency band; separate the deep learning model into server training and mobile inference In the process, this makes full use of the powerful computing power characteristics of the server and the good real-time performance of the mobile terminal.
  • the acquisition module 1 is used to acquire the data collected by the acceleration sensor
  • the first processing module 3 is used to perform averaging and filtering processing on the synthesized signal I;
  • the second processing module 4 is used to perform sliding window processing on the filtered data
  • the third processing module 5 is used to perform time domain and frequency domain processing on the data processed by the sliding window to obtain a spectrogram
  • the recognition module 6 is used to input the spectrogram into a pre-trained deep learning model to obtain the gait recognition result output by the model.
  • the data judgment module is used to judge whether the collected data is invalid data
  • the invalid data removal module is used to remove the invalid data if it is the invalid data.
  • the third processing module 5 includes:
  • a decomposition unit configured to decompose the data processed by the sliding window into a low-frequency time-domain signal I 1 that is lower than a preset frequency value and a high-frequency time-domain signal I 2 that is greater than the preset frequency value;
  • a frequency domain transform unit configured to transform the data processed by the sliding window to obtain a frequency domain signal I 3 through frequency domain transform
  • the normalization unit is used to normalize the low-frequency time-domain signal I 1 , the high-frequency time-domain signal I 2 and the frequency-domain signal I 3 to synthesize a spectrogram.
  • the frequency domain transform unit includes:
  • the CZT transformation unit is configured to transform the data processed by the sliding window into the frequency domain signal I 3 through CZT transformation.
  • the various components of the deep learning model-based gait recognition device proposed in this application can realize the functions of any one of the above-mentioned deep learning model-based gait recognition methods, and the specific structure No longer.
  • the above-mentioned processor executes the above-mentioned deep learning model-based gait recognition method, including:
  • the step of performing time domain and frequency domain processing on the data processed by the sliding window to obtain a spectrogram includes:
  • the low-frequency time-domain signal I 1 , the high-frequency time-domain signal I 2 and the frequency-domain signal I 3 are normalized to synthesize a spectrogram.
  • the step of obtaining the frequency domain signal I 3 through frequency domain transformation on the data processed by the sliding window includes:
  • the data processed by the sliding window is transformed into the frequency domain signal I 3 through CZT transformation.
  • the pre-trained deep learning model is a CNN deep learning model.
  • the step of training the CNN deep learning model before the step of inputting the spectrogram into the pre-trained deep learning model and obtaining the gait recognition result output by the model, the step of training the CNN deep learning model is further included.
  • the steps of training the CNN deep learning model include:
  • the design and training of the pre-trained deep learning model adopts the TensorFlow deep learning framework.
  • An embodiment of the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile.
  • a computer program is stored thereon. When the computer program is executed by a processor, Realize a gait recognition method based on deep learning model.
  • the above-mentioned processor executes the above-mentioned deep learning model-based gait recognition method, including:
  • steps also include:
  • the step of performing time domain and frequency domain processing on the data processed by the sliding window to obtain a spectrogram includes:
  • the low-frequency time-domain signal I 1 , the high-frequency time-domain signal I 2 and the frequency-domain signal I 3 are normalized to synthesize a spectrogram.
  • the step of obtaining the frequency domain signal I 3 through frequency domain transformation on the data processed by the sliding window includes:
  • the data processed by the sliding window is transformed into the frequency domain signal I 3 through CZT transformation.
  • the pre-trained deep learning model is a CNN deep learning model.
  • the step of training the CNN deep learning model before the step of inputting the spectrogram into the pre-trained deep learning model to obtain the gait recognition result output by the model, the step of training the CNN deep learning model is further included, so The steps of training the CNN deep learning model include:
  • the design and training of the pre-trained deep learning model adopts the TensorFlow deep learning framework.
  • the implementation of the above-mentioned method of gait recognition based on the deep learning model only requires that the user's own smart mobile device is embedded with an acceleration sensor, which greatly reduces the threshold and cost of data collection, which is beneficial to Promotion; Compared with the method of collecting multiple sensors, this application only needs to collect acceleration sensor data, and the research and development workload is greatly reduced; compared to the complex feature extraction process, this application only needs to perform simple time domain and frequency domain processing , To reduce the threshold of research to a certain extent; use CZT transformation in the signal processing process to refine the signal spectrum, which can reflect the detailed characteristics of the signal effective frequency band; separate the deep learning model into two processes, server-side training and mobile-side inference, This makes full use of the powerful computing power of the server and the good real-time performance of the mobile terminal.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual-rate data rate SDRAM (SSRSDRAM), enhanced SDRAM (ESDRAM), synchronous Link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及人工智能领域，揭示了一种基于深度学习模型的步态识别方法、装置和计算机设备，其中方法包括：获取加速度传感器采集的数据；对数据进行合成得到合成信号；对合成信号进行去均值和滤波处理；对滤波后的数据进行滑窗处理、时域和频域处理，得到数据对应的频谱图，将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。本申请的基于深度学习模型的步态识别方法、装置和计算机设备，只要求用户自身的智能移动设备内嵌有加速度传感器，采集加速度传感器数据，数据采集的门槛和成本大大降低，对数据进行简单的时域和频域处理，再利用深度学习模型进行步态识别，识别效率高，方案简单，便于推广。

Description

基于深度学习模型的步态识别方法、装置和计算机设备
本申请要求于2020年8月7日提交中国专利局、申请号为202010791169.9，发明名称为“基于深度学习模型的步态识别方法、装置和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域，具体涉及生物识别领域中的步态识别技术，特别是涉及到一种基于深度学习模型的步态识别方法、装置和计算机设备。
背景技术
随着科学技术的发展，步态识别技术越来越受到人们的重视，并被广泛应用于智能穿戴设备、安防监控、运动健康修复、军事等领域。步态识别技术主要分为两种，一种是基于摄像头的步态识别，另一种是基于传感器的步态识别。基于摄像头的方式研究成本和实验的复杂度比较高，不利于推广。而基于传感器的方式成本低且操作简单，受到了研究者与市场青睐。传统的步态识别方法大多基于可穿戴设备实现，需要用户长期佩戴多种传感器，舒适性差且成本高。随着智能移动终端的发展，基于移动终端的步态识别技术成为研究的热点。
传统步态识别方案实现流程大致为：数据采集，大部分传统方法采集加速度传感器和陀螺仪数据；信号数据处理，对传感器信号执行去噪、滤波操作；特征提取，主要包含时域特征、频域特征和时频特征的数据提取；模型分类，主要是传统的机器学习方法，比如KNN算法、C4.5决策树和SVM等进行模型识别分类。然而发明人发现，传统方法普遍存在以下的缺点：需要多种传感器数据支持，传感器佩戴位置对最终分类结果影响较大；特征提取方法过于复杂，需要掌握相关领域的专业知识，加大了研究难度；传统机器学习方法应用于步态识别方向效率较低，推广到实际应用场景较难。
技术问题
本申请的主要目的为提供一种基于深度学习模型的步态识别方法、装置和计算机设备，旨在解决目前传统的步态识别方法方案复杂、识别效率较低、应用成本较高的技术问题。
技术解决方案
为了实现上述发明目的，第一方面，本申请提出一种基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
第二方面，本申请实施例还提供一种基于深度学习模型的步态识别装置，包括：
获取模块，用于获取加速度传感器采集的数据；
合成模块，用于利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
第一处理模块，用于对合成信号I进行去均值和滤波处理；
第二处理模块，用于对滤波后的数据进行滑窗处理；
第三处理模块，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
识别模块，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
有益效果
本申请的基于深度学习模型的步态识别方法、装置和计算机设备，先采集三路加速度传感器信号并进行时域和频域分析，再将时域信号与频谱转换为图像结构，最后用深度学习模型提取特征，识别得到结果，相比于固定位置佩戴传感器的方法，本方案只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，而且只需要采集加速度传感器数据，对数据进行简单的时域和频域处理，再利用深度网络模型进行步态识别，处理过程简单，识别效率高，降低了研究的门槛和成本，有利于推广。
附图说明
图1为本申请一实施例的基于深度学习模型的步态识别方法的流程示意图；
图2为本申请一实施例的深度学习模型的训练流程示意图；
图3为本申请一实施例的深度学习模型的推理流程示意图；
图4为本申请一实施例的基于深度学习模型的步态识别装置的结构示意框图；
图5为本申请一实施例的计算机设备的结构示意框图。
本发明的最佳实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请涉及人工智能领域，具体涉及生物识别领域中的步态识别技术，参照图1，本申请实施例中提供一种基于深度学习模型的步态识别方法，应用于移动终端设备，包括步骤：
S1、获取加速度传感器采集的数据；
S2、利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
S3、对合成信号I进行去均值和滤波处理；
S4、对滤波后的数据进行滑窗处理；
S5、对滑窗处理过的数据进行时域和频域处理，得到频谱图；
S6、将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
如上述步骤S1所述，目前市售智能移动终端中大部分都安装了与计步相关的加速度传感器(Accelerometer)和陀螺仪传感器(Gyroscope)，其中，加速度传感器又称为G-sensor，可以测量物体在平面直角坐标系中x,y,z三个坐标轴上的加速度值，陀螺仪又称为角速度传感器(Gyro)，可以测量物体偏转、倾斜时分别在x、y、z三轴上的转动角速度，单位是r/s(radians/second)。相比于传统的步态识别方法，本申请降低了对传感器的要求，无需陀螺仪、磁力计等传感器支持，仅仅采集加速度传感器信号，就可实现步态识别。现有移动终端主流框架(ios,安卓)均可实时或批量读取手机加速度传感器数据，且加速度传感器采样频率可自行设置，本申请建议采样频率>50Hz，以保证识别结果的准确性。
如上述步骤S2-S5所述，需要对采集到的数据信号进行数据预处理，主要是对传感器信号执行去噪、滤波操作。在本申请中，具体的处理方式为：信号处理的大致流程为：
1)无效数据剔除：当移动终端处于静止状态时，加速度信号基本不发生变化，可认为此时无步态产生，把静止数据剔除。
2)三路加速度传信号合成一路：三路加速度信号分别代表空间坐标系x，y，z三轴的方向，信号合成公式为I＝(x 2+y 2+z 2) 1/2；信号合成可以在一定程度上削弱传感器位置与角度对识别结果的影响。
3)滤波与滑窗处理：对合成信号I进行去均值和滤波处理，对滤波后的数据进行滑窗，建议窗口持续时长为1-5s，窗口内采样点数需为2 n，例如：采样率为50Hz时，可设置滑窗大小为128点，滑动步长为64点，滑窗重叠部分64点。
4)时域和频域信号归一化：本申请将每一滑动窗的信号作为一个样本，单样本经过滤波或小波变换等方法，可分解为低频I 1(0-2Hz)、高频I 2(>2Hz)两部分时域信号；单样本经过频域变换可得到信号频谱I 3，注意处理结束后I 1,I 2,I 3需保持长度一致；将三路输出统一归化至0-1之间后合成为1*128*3的矩阵，这也就是深度模型处理图片时的输入格式。
如上述步骤S6所述，将前述步骤获得的频谱图输入到预先训练的深度学习模型中，获得模型输出的步态结果，最终步态识别结果可被分为3类：走路、跑步、爬楼梯。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前包括：
S201、判断采集到的数据是否为无效数据；
S202、若为所述无效数据，则将所述无效数据剔除。
如上所述，当移动终端处于静止状态时，加速度信号基本不发生变化，可认为此时无步态产生，把静止数据剔除。
在一个具体的实施例中，也可以利用聚类算法分析合成信号，获取各个步态(走路、跑步、爬楼梯)的加速度信号的数据分类，剔除不属于该分类的非跑步类运动数据，如打篮球、游泳、骑行等等。
在一个具体的实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
S51、将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
S52、将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
S53、将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
如上所述，将每一滑动窗的信号作为一个样本，单样本经过滤波或小波变换等方法，可分解为低于预设频率值的低频时域信号I 1、大于所述预设频率值得高频时域信号I 2两部分时域信号，优选地，所述预设频率值为2Hz；单样本经过频域变换可得到信号频谱I 3，注意处理结束后I 1,I 2,I 3需保持长度一致；将三路输出统一归化至0-1之间后合成为1*128*3的矩阵频谱图，这也就是深度模型处理图片时的输入格式。本方案中，同时采用了时域和频域处理，将时域和频域原始信号作为模型输入，而不是手动提取特征，最大程度保留了原始信号的信息，特征提取过程由深度学习模型实现。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
如上所述，本申请在频域处理中采用了CZT(chirp z-transform)变换，可以细化频谱有效频段特征，效果优于FFT变换。传统的步态识别算法提取特征非常有限，时域主要提取平均值(Mean)、标准差(STD)、两轴之间的相关系数(Corr)和均方根(Rms)等，频域主要有 FFT系数、频域熵(FDE)等。综上所述，传统方法在特征提取过程中丢失了有效步态信息，且手动计算特征过程中，由于计算方法选择不当，也容易造成数据污染。
在一个具体的实施例中，所述预先训练的深度学习模型为CNN深度学习模型。深度学习模型可选用卷积神经网络(CNN)、递归神经网络(LSTM)等多种网络模型。本申请考虑模型轻量化，所以选用较简单的网络模型，考虑CNN网络具有局部连接、权值共享和下采样等优点，本申请最终选用CNN网络模型实现步态识别，CNN网络模型的结构包括多个级联的层卷积层和池化层，不断地对数据进行特征提取，后面接2-4层全连接层用于分类，最后接一个softmax层将分类结果转化成对应结果的概率，从而判断最终步态识别的结果。
在一个实施例中，在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对CNN深度学习模型进行训练的步骤，所述对CNN深度学习模型进行训练的步骤包括：
S601、获取训练样本数据；
S602、对训练数据进行预处理；
S603、初始化所述CNN深度模型的参数；
S604、将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
S605、不断调整CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
如上步骤所述，如上所述，在利用CNN深度学习模型进行步态识别之前，需要训练得到该模型。具体地，先要获取训练数据集，对训练数据集进行预处理，预处理的过程与上述步骤S2-S5一致，然后用处理过得训练数据对模型进行训练，得到所述预先训练的CNN深度学习模型。更具体地，首先将卷积神经网络进行权值初始化，输入处理过的训练数据，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用梯度下降反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练。上述损失函数可以为交叉熵损失函数。
在一个具体的实施例中，所述预先训练的深度学习模型的训练采用TensorFlow深度学习框架。
如上所述，本实施例中采用的深度学习框架是Tensorflow，TensorFlow Lite框架是TensorFlow针对移动和嵌入式设备的轻量级解决方案。它支持设备端机器学习推理，并具有的低延迟和较小的二进制文件尺寸。
在一个具体的实施例中，如上所述的基于深度学习模型的步态识别方法也可应用于服务端，在服务器端完成深度学习模型的训练和步态识别，所述服务端可以是服务器，服务器端具有强大的运算能力，模型训练和步态识别过程可以更快。
在本实施例中，如图2所示，深度学习模型的训练过程具体为：首先加载训练数据集，对训练数据进行预处理，其处理过程如上述步骤S2-S5所述，然后定义Graph，关联Graph构建Session，将初始参数传入sess.run函数开始训练模型，然后利用前向传播和梯度下降反向传播对参数进行优化，直到达到epoch或出现过拟合停止训练，将训练完成的模型保存为pb格式供移动端直接调用执行步态识别推理。
在一个具体的实施例中，如上所述的基于深度学习模型的步态识别方法在移动端完成步态识别过程，充分利用移动端良好的实时性。如图3所示，深度学习模型进行推理也就 是步态识别的过程具体为：开始后，首先加载pb格式的模型文件，之后TFLiteConverter函数把pb文件转成tflite文件，加载tflite模型，加载所有的tensor，把获取到的处理过的数据加载到输入tensor中，调用invoke方法进行推理，在输出tensor中获取推理结果也就是模型识别到的步态结果。
本申请实施例的基于深度学习模型的步态识别方法，相比于固定位置佩戴传感器的方法，本申请只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，有利于推广；相比于采集多种传感器的方法，本申请只需要采集加速度传感器数据，研发的工作量大大降低；相比于复杂的特征提取过程，本申请只需要进行简单的时域和频域处理，一定程度减低研究的门槛；在信号处理过程中使用CZT变换，对信号频谱进行细化，能体现信号有效频带的细节特征；将深度学习模型分开为服务端训练和移动端推理两个过程，这个充分利用了服务器强大的算力特性和移动端良好的实时性。
参照图4，本申请实施例中还提供一种基于深度学习模型的步态识别装置，包括：
获取模块1，用于获取加速度传感器采集的数据；
合成模块2，用于利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
第一处理模块3，用于对合成信号I进行去均值和滤波处理；
第二处理模块4，用于对滤波后的数据进行滑窗处理；
第三处理模块5，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
识别模块6，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述基于深度学习模型的步态识别装置还包括：
数据判断模块，用于判断采集到的数据是否为无效数据；
无效数据剔除模块，用于若为所述无效数据，则将所述无效数据剔除。
在一个实施例中，所述第三处理模块5包括：
分解单元，用于将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
频域变换单元，用于将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
归一化单元，用于将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
在一个实施例中在一个具体的实施例中，所述频域变换单元包括：
CZT变换单元，用于通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
如上所述，可以理解地，本申请中提出的所述基于深度学习模型的步态识别装置的各组成部分可以实现如上所述基于深度学习模型的步态识别方法任一项的功能，具体结构不再赘述。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于预训练的深度网络模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习模型的步态识别方法。
上述处理器执行上述的基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别 代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前还包括：
判断采集到的数据是否为无效数据；
若为无效数据，则将无效数据剔除。
在一个实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
在一个实施例中，所述预先训练的深度学习模型为CNN深度学习模型。
在一个实施例中在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度模型的参数；
将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
不断调整所述CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
在一个实施例中，所述预先训练的深度学习模型的设计和训练采用TensorFlow深度学习框架。
本申请一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性的，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于深度学习模型的步态识别方法。
上述处理器执行上述的基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前还包括：
判断采集到的数据是否为无效数据；
若为所述无效数据，则将所述无效数据剔除。
在一个实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
在一个实施例中，所述预先训练的深度学习模型为CNN深度学习模型。
在一个实施例中在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度模型的参数；
将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
不断调整所述CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
在一个实施例中，所述预先训练的深度学习模型的设计和训练采用TensorFlow深度学习框架。
上述执行的基于深度学习模型的步态识别方法，相比于固定位置佩戴传感器的方法，本申请只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，有利于推广；相比于采集多种传感器的方法，本申请只需要采集加速度传感器数据，研发的工作量大大降低；相比于复杂的特征提取过程，本申请只需要进行简单的时域和频域处理，一定程度减低研究的门槛；在信号处理过程中使用CZT变换，对信号频谱进行细化，能体现信号有效频带的细节特征；将深度学习模型分开为服务端训练和移动端推理两个过程，这个充分利用了服务器强大的算力特性和移动端良好的实时性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固 有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于深度学习模型的步态识别方法，包括：
    获取加速度传感器采集的数据；
    利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
    对合成信号I进行去均值和滤波处理；
    对滤波后的数据进行滑窗处理；
    对滑窗处理过的数据进行时域和频域处理，得到频谱图；
    将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
  2. 根据权利要求1所述的基于深度学习模型的步态识别方法，其中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前，还包括：
    判断采集到的数据是否为无效数据；
    若为所述无效数据，则将所述无效数据剔除。
  3. 根据权利要求1所述的基于深度学习模型的步态识别方法，其中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
    将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
    将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
    将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
  4. 根据权利要求2所述的基于深度学习模型的步态识别方法，其中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
    通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
  5. 根据权利要求1所述的基于深度学习模型的步态识别方法，其中，所述预先训练的深度学习模型为CNN深度学习模型。
  6. 根据权利要求5所述的基于深度学习模型的步态识别方法，其中，在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
    获取训练样本数据；
    对训练数据进行预处理；
    初始化所述CNN深度模型的参数；
    将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
    不断调整CNN深度模型的参数，使模型的损失函数不断减小，其中，所述损失函数为交叉熵损失函数；
    重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
  7. 根据权利要求1-6任一项所述的基于深度学习模型的步态识别方法，其中，所述预先训练的深度学习模型的训练采用TensorFlow深度学习框架。
  8. 一种基于深度学习模型的步态识别装置，包括：
    获取模块，用于获取加速度传感器采集的数据；
    合成模块，用于利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
    第一处理模块，用于对合成信号I进行去均值和滤波处理；
    第二处理模块，用于对滤波后的数据进行滑窗处理；
    第三处理模块，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
    识别模块，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
  9. 根据权利要求8所述基于深度学习模型的步态识别装置，还包括：
    数据判断模块，用于判断采集到的数据是否为无效数据；
    无效数据剔除模块，用于若为所述无效数据，则将所述无效数据剔除。
  10. 根据权利要求8所述基于深度学习模型的步态识别装置，其中，所述第三处理模块包括：
    分解单元，用于将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
    频域变换单元，用于将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
    归一化单元，用于将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
  11. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现一种基于深度学习模型的步态识别方法，其中，所述基于深度学习模型的步态识别方法包括：
    获取加速度传感器采集的数据；
    利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
    对合成信号I进行去均值和滤波处理；
    对滤波后的数据进行滑窗处理；
    对滑窗处理过的数据进行时域和频域处理，得到频谱图；
    将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
  12. 根据权利要求11所述的计算机设备，其中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前，还包括：
    判断采集到的数据是否为无效数据；
    若为所述无效数据，则将所述无效数据剔除。
  13. 根据权利要求11所述的计算机设备，其中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
    将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
    将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
    将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
  14. 根据权利要求12所述的计算机设备，其中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
    通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
  15. 根据权利要求11所述的计算机设备，其中，所述预先训练的深度学习模型为CNN深度学习模型。
  16. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现一种基于深度学习模型的步态识别方法，其中，所述基于深度学习模型的步态识别方法包括：
    获取加速度传感器采集的数据；
    利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
    对合成信号I进行去均值和滤波处理；
    对滤波后的数据进行滑窗处理；
    对滑窗处理过的数据进行时域和频域处理，得到频谱图；
    将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x 2+y 2+z 2) 1/2对采集到的数据进行合成，得到合成信号I的步骤之前，还包括：
    判断采集到的数据是否为无效数据；
    若为所述无效数据，则将所述无效数据剔除。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
    将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
    将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
    将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图。
  19. 根据权利要求17所述的计算机可读存储介质，其中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
    通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
  20. 根据权利要求16所述的计算机可读存储介质，其中，所述预先训练的深度学习模型为CNN深度学习模型。
PCT/CN2020/124725 2020-08-07 2020-10-29 基于深度学习模型的步态识别方法、装置和计算机设备 WO2021139337A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010791169.9A CN111950437B (zh) 2020-08-07 2020-08-07 基于深度学习模型的步态识别方法、装置和计算机设备
CN202010791169.9 2020-08-07

Publications (1)

Publication Number Publication Date
WO2021139337A1 true WO2021139337A1 (zh) 2021-07-15

Family

ID=73333204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/124725 WO2021139337A1 (zh) 2020-08-07 2020-10-29 基于深度学习模型的步态识别方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN111950437B (zh)
WO (1) WO2021139337A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866455A (zh) * 2021-09-30 2021-12-31 中铁桥隧技术有限公司 基于深度学习的桥梁加速度监测数据异常检测方法、系统和装置
CN113970420A (zh) * 2021-10-13 2022-01-25 中国科学院力学研究所 一种基于深度学习的激波风洞测力信号频域分析方法
CN115019393A (zh) * 2022-06-09 2022-09-06 天津理工大学 一种基于卷积神经网络的外骨骼机器人步态识别系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591552A (zh) * 2021-06-18 2021-11-02 新绎健康科技有限公司 一种基于步态加速度数据进行身份识别的方法及系统
CN113591561A (zh) * 2021-06-18 2021-11-02 新绎健康科技有限公司 一种基于声谱图进行身份识别的方法及系统
CN113516828B (zh) * 2021-09-15 2022-01-07 深圳市信润富联数字科技有限公司 溺水监测方法、装置、设备与计算机可读存储介质
CN117219265A (zh) * 2023-10-07 2023-12-12 东北大学秦皇岛分校 多模态数据分析方法、装置、存储介质和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150330778A1 (en) * 2014-05-19 2015-11-19 Stmicroelectronics International N.V. Tracking dynamic on-stage objects
CN107103297A (zh) * 2017-04-20 2017-08-29 武汉理工大学 基于手机加速度传感器的步态身份识别方法及系统
CN107103219A (zh) * 2017-04-10 2017-08-29 南京大学 基于步态的可穿戴设备用户识别方法及系统
CN110647857A (zh) * 2019-09-29 2020-01-03 南京工程学院 一种步态识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836744B1 (en) * 2000-08-18 2004-12-28 Fareid A. Asphahani Portable system for analyzing human gait
WO2017058913A1 (en) * 2015-09-28 2017-04-06 Case Western Reserve University Wearable and connected gait analytics system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150330778A1 (en) * 2014-05-19 2015-11-19 Stmicroelectronics International N.V. Tracking dynamic on-stage objects
CN107103219A (zh) * 2017-04-10 2017-08-29 南京大学 基于步态的可穿戴设备用户识别方法及系统
CN107103297A (zh) * 2017-04-20 2017-08-29 武汉理工大学 基于手机加速度传感器的步态身份识别方法及系统
CN110647857A (zh) * 2019-09-29 2020-01-03 南京工程学院 一种步态识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866455A (zh) * 2021-09-30 2021-12-31 中铁桥隧技术有限公司 基于深度学习的桥梁加速度监测数据异常检测方法、系统和装置
CN113970420A (zh) * 2021-10-13 2022-01-25 中国科学院力学研究所 一种基于深度学习的激波风洞测力信号频域分析方法
CN113970420B (zh) * 2021-10-13 2022-04-05 中国科学院力学研究所 一种基于深度学习的激波风洞测力信号频域分析方法
CN115019393A (zh) * 2022-06-09 2022-09-06 天津理工大学 一种基于卷积神经网络的外骨骼机器人步态识别系统及方法

Also Published As

Publication number Publication date
CN111950437B (zh) 2024-05-10
CN111950437A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
WO2021139337A1 (zh) 基于深度学习模型的步态识别方法、装置和计算机设备
Qin et al. Imaging and fusing time series for wearable sensor-based human activity recognition
Xu et al. Human activity recognition based on Gramian angular field and deep convolutional neural network
Huang et al. TSE-CNN: A two-stage end-to-end CNN for human activity recognition
Nguyen et al. Trends in human activity recognition with focus on machine learning and power requirements
Gil-Martín et al. Improving physical activity recognition using a new deep learning architecture and post-processing techniques
CN110610158A (zh) 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN108875836B (zh) 一种基于深度多任务学习的简单-复杂活动协同识别方法
CN111936990A (zh) 唤醒屏幕的方法和装置
CN111178288B (zh) 基于局部误差逐层训练的人体姿态识别方法和装置
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
Niu et al. Extreme learning machine-based deep model for human activity recognition with wearable sensors
CN113642432A (zh) 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
Luo et al. Human behavior recognition model based on improved EfficientNet
Venkatachalam et al. Bimodal HAR-An efficient approach to human activity analysis and recognition using bimodal hybrid classifiers
CN110916672A (zh) 一种基于一维卷积神经网络的老年人日常活动监测方法
Li et al. Multi-convLSTM neural network for sensor-based human activity recognition
Chakraborty et al. An approach for designing low cost deep neural network based biometric authentication model for smartphone user
CN115329800B (zh) 一种基于解耦训练的卷积神经网络活动识别方法
Valarezo et al. Human activities recognition with a single writs IMU via a Variational Autoencoder and android deep recurrent neural nets
Yeh et al. Deep learning-based real-time activity recognition with multiple inertial sensors
Wang et al. Deep learning model for human activity recognition and prediction in smart homes
Dhammi et al. Classification of human activities using data captured through a smartphone using deep learning techniques
CN115471910A (zh) 基于fpga实现的运动活动识别模型的模型训练方法及其设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911767

Country of ref document: EP

Kind code of ref document: A1