WO2020107847A1 - 基于骨骼点的跌倒检测方法及其跌倒检测装置 - Google Patents

基于骨骼点的跌倒检测方法及其跌倒检测装置 Download PDF

Info

Publication number
WO2020107847A1
WO2020107847A1 PCT/CN2019/089500 CN2019089500W WO2020107847A1 WO 2020107847 A1 WO2020107847 A1 WO 2020107847A1 CN 2019089500 W CN2019089500 W CN 2019089500W WO 2020107847 A1 WO2020107847 A1 WO 2020107847A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
neural network
points
layer
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/089500
Other languages
English (en)
French (fr)
Inventor
周涛涛
周宝
陈远旭
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020107847A1 publication Critical patent/WO2020107847A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the present application relates to the field of machine vision deep learning technology, and in particular to a fall detection method, device, computer equipment, and storage medium based on bone points.
  • fall detection based on wearable devices fall detection based on depth cameras and fall detection based on ordinary cameras.
  • the method based on wearable devices must be carried at all times, which causes great inconvenience to users and has little practical application value; the method based on depth cameras is expensive and difficult to promote in practice; and the method based on ordinary cameras is cheap and easy to use Convenient, but requires higher algorithm.
  • the purpose of this application is to provide a fall detection method, device, computer equipment and storage medium based on bone points, which are used to solve the problems in the prior art.
  • the present application provides a bone point-based fall detection method, including the following steps:
  • a first feature extraction neural network through a first picture sample, the first feature extraction neural network is used to extract a plurality of first feature points in the first picture sample, the first feature points represent key points on the human body Bone point
  • Input a second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points characterizing key bone points of the human body in the second video sample;
  • the video data of the monitored object is sequentially input into the trained first feature extraction neural network and the second behavior classification neural network to output the behavior category of the monitored object.
  • the present application also proposes a fall detection device based on bone points, including:
  • the first neural network training module is adapted to train a first feature extraction neural network through a first picture sample, the first feature extraction neural network is used to extract multiple first feature points in the first picture sample, the The first feature point represents the key bone point on the human body;
  • the feature point extraction module is adapted to input the second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points characterizing key bone points of the human body in the second video sample;
  • a feature map generation module adapted to encode the multiple second feature points to generate a predicted feature map characterizing the distribution of the multiple second feature points
  • a second neural network training module adapted to train a second behavior classification neural network through the predicted feature map, and the second behavior classification neural network is used to classify the behavior represented in the predicted feature map;
  • the classification module is adapted to sequentially input the video data of the monitored object into the trained first feature extraction neural network and the second behavior classification neural network to output the behavior category of the monitored object.
  • the present application also provides a computer device, including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • a computer program stored on the memory and executable on the processor.
  • a first feature extraction neural network through a first picture sample, the first feature extraction neural network is used to extract a plurality of first feature points in the first picture sample, the first feature points represent key points on the human body Bone point
  • Input a second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points characterizing key bone points of the human body in the second video sample;
  • the video data of the monitored object is sequentially input into the trained first feature extraction neural network and the second behavior classification neural network to output the behavior category of the monitored object.
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by the processor, the following steps are realized:
  • a first feature extraction neural network through a first picture sample, the first feature extraction neural network is used to extract a plurality of first feature points in the first picture sample, the first feature points represent key points on the human body Bone point
  • Input a second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points characterizing key bone points of the human body in the second video sample;
  • the video data of the monitored object is sequentially input into the trained first feature extraction neural network and the second behavior classification neural network to output the behavior category of the monitored object.
  • This application addresses the problem of insufficient fall detection data in the prior art, and uses other data to train human bone point feature extraction neural networks; for the problem of using frame information to detect fall behavior, use bone point information to classify fall behavior.
  • This application trains the first feature extraction neural network through the image sample library to extract the key bone point information in the human body; trains the second behavior classification neural network through the video sample library, and judges the video based on the extracted key bone point information Whether the human movement in is a fall behavior.
  • the bone point information of the monitored object can be accurately extracted, and according to the bone point information, it can be judged in time whether the monitored object has fallen down.
  • the provision of timely and effective care for the handicapped elderly and disabled persons is conducive to improving people's quality of life.
  • FIG. 1 is a flowchart of Embodiment 1 of a fall detection method based on bone points of the present application
  • FIG. 2 is a schematic structural diagram of a first feature extraction neural network in Embodiment 1 of the present application.
  • FIG. 3 is a schematic structural diagram of a second behavior classification neural network in Embodiment 1 of the present application.
  • FIG. 4 is a schematic diagram of a program module of a first embodiment of a fall detection device based on a bone point according to this application;
  • FIG. 5 is a schematic diagram of the hardware structure of the first embodiment of the memory sharing device of the present application.
  • the fall detection method, device, computer equipment and storage medium provided by the present application are applicable to the field of machine vision technology, and provide a fall detection method and device for the elderly or disabled persons living alone to detect fall behavior in time.
  • This application trains the first feature extraction neural network through the image sample library to extract the key bone point information in the human body; trains the second behavior classification neural network through the video sample library, and judges the video based on the extracted key bone point information Whether the human movement in is a fall behavior.
  • the first feature extraction neural network and the second behavior classification neural network trained by this application can accurately extract the bone point information of the monitored object, and timely determine whether the monitored object has fallen down according to the bone point information, which is beneficial to Greatly improve people's quality of life.
  • a fall detection method based on bone points in this embodiment includes the following steps:
  • the first picture sample is selected from the picture sample library to train the first feature extraction neural network.
  • the first picture sample is preferably a full-body picture of the person.
  • the first image sample is divided into a training image sample and a test image sample, where the training image sample is used to train the first feature extraction neural network, and the test image sample is used to verify the first feature after the training image sample training The effect of extracting the neural network when extracting the feature information in the picture.
  • the above training picture samples and test picture samples may be subjected to data enhancement preprocessing, such as performing contrast transformation and brightness transformation on each sample, adding local random Gaussian noise, and performing uniform normalization processing, thereby The training image samples and the test image samples after data enhancement are obtained.
  • the structure of the first feature extraction neural network in this step will be described in detail below with a test picture sample as an example, as shown in FIG. 2.
  • the test picture sample first enters the feature extraction module to extract the features in the test picture sample.
  • the feature extraction module in this embodiment uses a ResNet residual network to ensure better feature extraction performance.
  • the test sample image passes through the ResNet residual network
  • the first extracted data D 1 is obtained , and then the first extracted data D 1 enters four convolution modules with different expansion coefficients respectively, to obtain four second extracted data D with different feature channels. 2 .
  • the four second extracted data D 2 with different feature channels are combined into the first convolutional layer stacked by the residual module to obtain four third extracted data D 3 with different perceptual fields.
  • it after fusing four third extracted data D 3 with different perceptual fields, it enters the second convolutional layer piled up by the residual module again, and finally outputs multiple first feature points representing key bone points on the human body .
  • the convolution module includes the following layers in sequence: a convolution layer, a batch normalization layer, a Relu activation function layer, a convolution layer, a batch normalization layer, a Relu activation function layer, and a pooling layer, each The convolutional layers have different expansion coefficients.
  • the feature information is the bone feature points on the human body, including the feature points at the main joints of the body, such as the elbow joint, shoulder joint, knee joint, hip joint, etc.
  • the target feature point associated with the preset behavior can be further selected from the bone feature points.
  • the preset behavior may be squatting, bending over, standing up, falling, etc.
  • the characteristic points of displacement in different behaviors may be different, so the one that best reflects the characteristics of this behavior can be selected according to the behavior to be detected Target feature point.
  • a total of 14 bone point information including head, neck, shoulders, elbows, hands, hips, knees, and feet are selected as targets Feature points.
  • the selection method of the present invention can make the number of bone feature points as small as possible to reduce the calculation amount in the subsequent behavior analysis process; on the other hand, the above-mentioned 14 target feature points are evenly distributed at major joints of the human body , Can reflect the basic trend of human behavior as a whole.
  • the positions of the bone points listed above are only used as examples, and are not used to limit specific feature point information.
  • the above bone point information may also be deleted or added, or specific feature points may be changed
  • the location of the acupuncture point in the human body can also be obtained. This application does not limit this.
  • the plurality of first feature points in this embodiment may preferably be the above bone point distribution information maps marked in the human body.
  • x p and y p represent the predicted coordinates of the first feature point extracted by the first feature extraction neural network
  • x g and y g represent the actual coordinates of the first feature point
  • S2 Input the second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points that represent key bone points of the human body in the second video sample.
  • this step uses the trained first feature extraction neural network to extract the second feature point in the video sample.
  • the second feature point is the above The 14 bone feature points mentioned.
  • the present application is based on the video information of the monitored person collected by a common camera for fall detection. Therefore, the object of feature point extraction in this step is a continuous video rather than a simple picture. Since the video is formed by a series of picture frames changing with time, the video needs to be sampled first to extract the target picture. For example, the video is extracted according to the standard of 20 frames per second, with 3 seconds as a sample. At the same time, in order to generate diverse samples, the starting frame can be randomly selected near the starting point of the behavior in the video.
  • the feature point information in the target pictures can be extracted through the first feature extraction neural network, preferably the 14 bone feature points mentioned above.
  • S3 Encoding the plurality of second feature points to generate a predicted feature map.
  • This step is used to process the extracted second feature points to obtain a predicted feature map. Taking the above 14 bone feature points as an example, the following processing steps are included:
  • any two feature points from the 14 bone feature points are paired, and the calculation formula is as follows:
  • x it and y it respectively represent the horizontal and vertical coordinates of the i-th second feature point at time t; l xjt represents the Euler of the i-th second feature point and j-th second feature point at time t distance, v xit represents the i-th second feature points at time t in the x-direction velocity, v yit speed of the i-th representative of a second characteristic point in the y-direction.
  • the matrix diagram is the prediction feature diagram.
  • the purpose of this step is to train a second behavior classification neural network to classify the behavior represented in the prediction feature map to determine whether a fall behavior has occurred.
  • the structure of the second behavior classification neural network in this application is shown in FIG. 3, which will be described in detail below.
  • the prediction feature map first passes through a conventional convolution module to obtain first classification data R1. Then, the first classification data R1 respectively passes through four convolution modules with different expansion coefficients to obtain four second classification data R2 with different characteristic channels. Preferably, the expansion coefficients of the above four convolution modules are 1 respectively. , 3, 6 and 12. Next, the above-mentioned four second classification data R2 with different feature channels are combined and then sequentially passed through three conventional convolution modules, and finally output behavior classification, which is used to judge which behavior category the behavior represented in the above-mentioned predicted feature map belongs to.
  • the convolution module includes the following layers in sequence: a convolution layer, a batch normalization layer, a Relu activation function layer, a convolution layer, a batch normalization layer, a Relu activation function layer, and a pooling layer.
  • the second behavior classification neural network is trained by the loss function L H (X, Y), the specific expression is as follows:
  • x k represents the parameter value of the kth behavior category
  • z k represents the predicted probability of the kth behavior category.
  • the second behavior classification neural network can recognize the categories of squatting, standing, waving, bending, falling, lying down, etc., each behavior corresponds to its own parameter value, such as When the monitored person is falling, then x k represents the parameter value of the monitored person's falling behavior, and z k represents the predicted probability of the monitored person's falling behavior.
  • this embodiment adds an L2 regular term after the loss function to prevent overfitting.
  • the resulting cost function is as follows:
  • S5 Input the video data of the monitored object into the trained first feature extraction neural network and the second behavior classification neural network in order to output the behavior category of the monitored object.
  • the present application can detect the fall behavior of the actual surveillance video.
  • the video information of the monitored object is photographed in real time through a common camera, and the video information is sampled to extract a certain number of target images.
  • the target image first undergoes a trained first feature extraction neural network to extract multiple feature points in the target image, such as bone feature points.
  • Calculate and combine multiple bone feature points for example, calculate the Euler distance between each two bone feature points and the speed in the x and y directions, and arrange the vectors calculated above in the order of each frame of image , And finally get the predicted feature map.
  • you can obtain the category to which the behavior included in the prediction feature map belongs, for example, whether it is a fall behavior.
  • the fall detection device 10 may include or be divided into one or more program modules, and one or more program modules are stored in a storage medium. , And executed by one or more processors to complete this application, and can implement the above-mentioned fall detection method.
  • the program module referred to in this application refers to a series of computer program instruction segments capable of performing specific functions, and is more suitable for describing the execution process of the fall detection device 10 in the storage medium than the program itself. The following description will specifically introduce the functions of the program modules of this embodiment:
  • the first neural network training module 11 is adapted to train a first feature extraction neural network through a first picture sample.
  • the first feature extraction neural network is used to extract multiple first feature points in the first picture sample.
  • the first feature point represents the key bone point on the human body;
  • the feature point extraction module 12 is adapted to input the second video sample into the trained first feature extraction neural network to obtain a plurality of second feature points characterizing key bone points of the human body in the second video sample;
  • the feature map generation module 13 is adapted to encode the multiple second feature points to generate a predicted feature map characterizing the distribution of the multiple second feature points;
  • the second neural network training module 14 is adapted to train a second behavior classification neural network through the predicted feature map, and the second behavior classification neural network is used to classify the behavior represented in the predicted feature map;
  • the classification module 15 is adapted to sequentially input the video data of the monitored object into the trained first feature extraction neural network and the second behavior classification neural network to output the behavior category of the monitored object.
  • This embodiment also provides a computer device, such as a smartphone, a tablet computer, a notebook computer, a desktop computer, a rack server, a blade server, a tower server, or a rack server (including an independent server, or A server cluster composed of multiple servers), etc.
  • the computer device 20 of this embodiment includes at least but not limited to: a memory 21 and a processor 22 that can be communicatively connected to each other through a system bus, as shown in FIG. 5. It should be noted that FIG. 5 only shows the computer device 20 having components 21-22, but it should be understood that it is not required to implement all the components shown, and that more or fewer components may be implemented instead.
  • the memory 21 (ie, readable storage medium) includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), Read only memory (ROM), electrically erasable programmable read only memory (EEPROM), programmable read only memory (PROM), magnetic memory, magnetic disk, optical disk, etc.
  • the memory 21 may be an internal storage unit of the computer device 20, such as a hard disk or memory of the computer device 20.
  • the memory 21 may also be an external storage device of the computer device 20, such as a plug-in hard disk equipped on the computer device 20, a smart memory card (Smart Media, Card, SMC), and secure digital (Secure Digital, SD) card, flash card (Flash Card), etc.
  • the memory 21 may also include both the internal storage unit of the computer device 20 and its external storage device.
  • the memory 21 is generally used to store the operating system and various application software installed in the computer device 20, such as the program code of the fall detection device 10 of the first embodiment.
  • the memory 21 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 22 may be a central processing unit (CPU), controller, microcontroller, microprocessor, or other data processing chip in some embodiments.
  • the processor 22 is generally used to control the overall operation of the computer device 20.
  • the processor 22 is used to run the program code or process data stored in the memory 21, for example, to run the fall detection device 10, so as to implement the fall detection method of the first embodiment.
  • This embodiment also provides a computer-readable storage medium, such as flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), only Read memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, optical disk, server, App store, etc., which store computer programs, When the program is executed by the processor, the corresponding function is realized.
  • the computer-readable storage medium of this embodiment is used to store the fall detection device 10, and when executed by the processor, the fall detection method of the first embodiment is implemented.
  • Any process or method description in a flowchart or otherwise described herein may be understood to represent a module, segment, or portion of code that includes one or more executable instructions for implementing specific logical functions or steps of a process , And the scope of the preferred embodiment of the present application includes additional implementations, in which the functions may not be performed in the order shown or discussed, including performing functions in a substantially simultaneous manner or in reverse order according to the functions involved, which shall It is understood by those skilled in the art to which the embodiments of the present application belong.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于骨骼点的跌倒检测方法及其装置，所述方法包括：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。

Description

基于骨骼点的跌倒检测方法及其跌倒检测装置
相关申请的交叉引用
本申请申明享有2018年11月28日递交的申请号为CN201811433808.3、名称为“基于骨骼点的跌倒检测方法及其跌倒检测装置”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及机器视觉深度学习技术领域，尤其涉及一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质。
背景技术
随着我国进入老龄化社会，养老问题日趋严峻。老年人的各项身体机能指标下降，活动能力降低，特别是平衡力、反应能力和协同能力的不足可能造成意外跌倒情况发生。当老人发生跌倒后，如果没有获得及时的援助甚至可能因此在家中身亡。因此，家庭或者其他环境中针对老人的跌倒检测是计算机视觉和机器学习领域中一个很有意义的研究问题。
目前现有的跌倒检测主要有三种方法，分别为基于穿戴式设备的跌倒检测、基于深度摄像头的跌倒检测和基于普通摄像头的跌倒检测。其中基于穿戴式设备的方法必须时刻携带，给使用者带来很大不便，实际应用价值不大；基于深度摄像头的方法由于成本昂贵，实际推广难度大；而基于普通摄像头的方法成本便宜、使用方便，但对算法的要求较高。
由于普通摄像头能够覆盖各个地方，因此其硬件基础是成熟的。目前业内利用普通摄像头进行跌倒检测已经提出了很多方法。例如，直接利用图像序列的信息对跌倒行为进行分类，利用检测算法对人物的边框变化进行分类。但是目前跌倒检测的数据较少，场景单一，不能应用在各种实际场景中。对于利用 图像序列的分类方法，由于数据少，不能够训练出优秀的网络。对于利用检测算法对人物边框分类的方法，利用了大量其他数据集的信息，能够有效检测到人，但是在利用边框信息分类的时候，由于边框信息有限，不能得到泛化性好的网络。
发明内容
本申请的目的是提供一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。
为实现上述目的，本申请提供一种基于骨骼点的跌倒检测方法，包括以下步骤：
通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
对所述多个第二特征点进行编码生成预测特征图；
通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
为实现上述目的，本申请还提出一种基于骨骼点的跌倒检测装置，包括：
第一神经网络训练模块，适用于通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
特征点提取模块，适用于将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征 点；
特征图生成模块，适用于对所述多个第二特征点进行编码生成表征所述多个第二特征点的分布情况的预测特征图；
第二神经网络训练模块，适用于通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
分类模块，适用于将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
为实现上述目的，本申请还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
对所述多个第二特征点进行编码生成预测特征图；
通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
为实现上述目的，本申请还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网 络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
对所述多个第二特征点进行编码生成预测特征图；
通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
本申请针对现有技术中跌倒检测数据不足的问题，利用其他数据训练人体骨骼点特征提取神经网络；针对利用边框信息不足以检测出跌倒行为的问题，利用骨骼点信息对跌倒行为进行分类。本申请通过图片样本库训练第一特征提取神经网络，用于提取人体中的关键骨骼点信息；通过视频样本库训练第二行为分类神经网络，在已提取关键骨骼点信息的基础上，判断视频中的人体动作是否属于跌倒行为。通过本申请训练出的第一特征提取神经网络和第二行为分类神经网络，能够准确地提取被监测对象的骨骼点信息，并根据骨骼点信息及时判断被监测对象是否发生了跌倒行为，能够为行动不便的老人、伤残人士等提供及时有效地看护，有利于提高人们的生活质量。
附图说明
图1为本申请基于骨骼点的跌倒检测方法实施例一的流程图；
图2为本申请实施例一中的第一特征提取神经网络的结构示意图；
图3为本申请实施例一中的第二行为分类神经网络的结构示意图；
图4为本申请基于骨骼点的跌倒检测装置实施例一的程序模块示意图；
图5为本申请内存共享装置实施例一的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的跌倒检测方法、装置、计算机设备及存储介质，适用于机器视觉技术领域，为独居情况下的老人或伤残人士等提供一种可及时发现跌倒行为的跌倒检测方法及其装置。本申请通过图片样本库训练第一特征提取神经网络，用于提取人体中的关键骨骼点信息；通过视频样本库训练第二行为分类神经网络，在已提取关键骨骼点信息的基础上，判断视频中的人体动作是否属于跌倒行为。通过本申请训练出的第一特征提取神经网络和第二行为分类神经网络，能够准确地提取被监测对象的骨骼点信息，并根据骨骼点信息及时判断被监测对象是否发生了跌倒行为，有利于极大提高人们的生活质量。
实施例1
请参阅图1，本实施例的一种基于骨骼点的跌倒检测方法，包括以下步骤：
S1：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点。
本步骤中，从图片样本库中选择第一图片样本来训练第一特征提取神经网络，第一图片样本优选为人物的全身图片。实施时，将第一图片样本分为训练图片样本和测试图片样本，其中训练图片样本用于对第一特征提取神经网络进行训练，测试图片样本用于验证经过训练图片样本训练后的第一特征提取神经网络在提取图片中的特征信息时的效果。优选的，可以对上述训练图片样本和测试图片样本进行数据增强的预处理，例如对每个样本进行对比度变换和亮度变换，再加上局部随机高斯噪声，并进行统一的归一化处理，从而得到数据增强后的训练图片样本和测试图片样本。
下面以某测试图片样本为例进行详细说明本步骤中的第一特征提取神经网络的结构，如图2所示。测试图片样本首先进入特征提取模块来提取该测试图片样本中的特征，本实施例中的特征提取模块采用ResNet残差网络，以保证较好的特征提取性能。测试样本图片经过ResNet残差网络后得到第一提取数据D 1，然后第一提取数据D 1分别进入四个含有不同膨胀系数的卷积模块，得到四个具有不同特征通道的第二提取数据D 2。接下来，四个具有不同特征通道的第二提取数据D 2经组合后进入以残差模块堆积起来的第一卷积层，得到四个具有不同感知野的第三提取数据D 3。最后，将四个具有不同感知野的第三提取数据D 3融合后，再次进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点。
需要说明的是，本实施例中所公开的卷积模块个数以及膨胀系数的取值仅仅是作为示例性说明，并不以此为限。本领域普通技术人员可以根据实际需要任意改变上述卷积模块的个数以及膨胀系数的数值，均属于本申请的保护范围之内。
优选的，上述卷积模块依次包括以下层的组成：卷积层、批规范化层、Relu激活函数层、卷积层、批规范化层、Relu激活函数层和pool池化层，其中每个模块中的卷积层具有不同的膨胀系数。
本步骤中，特征信息为人身体上的骨骼特征点，包括身体主要关节处的特征点，如肘关节、肩关节、膝关节、髋关节等。在此基础上，还可以进一步从骨骼特征点中选取与预设行为相关联的目标特征点。所述预设行为可以是蹲下、弯腰、站起、跌倒等等，不同的行为中发生位移的特征点可能各不相同，因此可以根据要检测的行为选取最能反映这种行为特点的目标特征点。在本发明的优选实施例中，通过综合考虑检测准确度和数据处理量，选择包括头、颈、两肩、两肘、两手、两臀、两膝以及两脚共14个骨骼点信息作为目标特征点。本发明的这种选取方式一方面可以使得骨骼特征点的数量尽可能少，以减少后续行为分析过程中的计算量；另一方面，上述14个目标特征点平均分布在人体各大主要关节处，能够从整体上反映出人体行为的基本趋势。本领域技术人 员能够理解，以上列举的骨骼点位置仅仅是用于举例，并不用来限制具体的特征点信息，根据具体情况，也可以对上述骨骼点信息进行删除或者增加，或者改变具体特征点的位置，例如也可获取人体中的穴位特征点信息，本申请对此不做限制。在此基础上，本实施例中的多个第一特征点优选的可以是在人体中标示出的上述骨骼点分布信息图。
本步骤是采用以交叉熵为损失函数带动量的随机梯度下降法来训练上述第一特征提取神经网络的。具体损失函数的表达式如下：
Figure PCTCN2019089500-appb-000001
其中x p、y p代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，x g、y g代表所述第一特征点的实际坐标。
S2:将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点。
在步骤S1已训练完成第一特征提取神经网络的基础上，本步骤利用训练好的第一特征提取神经网络来提取视频样本中的第二特征点，优选的，该第二特征点为上文中提到的14个骨骼特征点。
本申请是以普通摄像头采集到的被监测者的视频信息为基础进行跌倒检测的，因此本步骤中进行特征点提取的对象是连续视频而不是简单的图片。由于视频是通过一系列的图片帧随时间变换而形成的，因此首先需要对视频采样以提取目标图片。例如，将视频按照20帧/秒的标准来提取图片，以3秒作为一个样本。同时为了产生多样化的样本，可以在视频中的行为起始点附近随机选择起始帧。
提取到足够数量的目标图片之后，便可以通过第一特征提取神经网络来提取目标图片中的特征点信息，优选的可以是上文中提到的14个骨骼特征点。
S3:对所述多个第二特征点进行编码生成预测特征图。
本步骤用于对提取到的第二特征点进行处理，以得到预测特征图。仍以上文中的14个骨骼特征点为例，包括以下处理步骤：
S31：对上述骨骼特征点进行两两配对。
本实施例是从14个骨骼特征点中任选两个特征点进行配对，计算式如下：
C(14,2)＝14！/(12！*2！)＝91；
S32：计算每两个骨骼特征点之间的欧拉距离l xjt和方向速度v xit和v yit:
Figure PCTCN2019089500-appb-000002
v xit＝x it-x i(t-1)
v yit＝y it-y i(t-1)
上式中，x it、y it分别代表t时刻的第i个第二特征点的横、纵坐标；l xjt代表t时刻第i个第二特征点和第j个第二特征点的欧拉距离，v xit代表第i个第二特征点在t时刻在x方向上的速度，v yit代表第i个第二特征点在y方向上的速度。
S33：将所有计算得到的欧拉距离和方向速度数据组合形成预测特征图。
对于任一幅样本图而言，14个骨骼特征点进行两两配对可以得到91种组合方式，也就是可以计算得到91个欧拉距离；每个骨骼特征点分别具有一个x方向的速度和一个y方向的速度，也就是共有14个x方向的速度和14个y方向的速度，综合起来共得到91+14+14＝119个特征向量。
假设本步骤中共有60帧图像需要处理，那么把每一帧图像中的特征向量按顺序排列，可以得到60×119的矩阵图。该矩阵图即为预测特征图。
S4:通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类。
在已经得到预测特征图的基础上，本步骤的目的在于训练第二行为分类神经网络，用于对表示在预测特征图中的行为进行分类，从而确定是否发生了跌倒行为。本申请中的第二行为分类神经网络的结构如图3所示，下面进行详细说明。
以步骤S3中得到的某预测特征图为例。所述预测特征图首先通过常规卷积模块，得到第一分类数据R1。然后，该第一分类数据R1分别通过四个具有不同膨胀系数的卷积模块，得到四个具有不同特征通道的第二分类数据R2， 优选的，上述四个卷积模块的膨胀系数分别为1,3,6和12。接下来，上述四个具有不同特征通道的第二分类数据R2组合后依次通过三个常规卷积模块，最终输出行为分类，用以判断表示在上述预测特征图中的行为属于哪种行为类别。
需要说明的是，本实施例中所公开的卷积模块个数以及膨胀系数的取值仅仅是作为示例性说明，并不以此为限。本领域普通技术人员可以根据实际需要任意改变上述卷积模块的个数以及膨胀系数的数值，均属于本申请的保护范围之内。
优选的，上述卷积模块依次包括以下层的组成：卷积层、批规范化层、Relu激活函数层、卷积层、批规范化层、Relu激活函数层和pool池化层。
本步骤中通过损失函数L H(X,Y)来对第二行为分类神经网络进行训练，具体表达式如下：
Figure PCTCN2019089500-appb-000003
上式中，所述x k代表第k种行为类别的参数值，z k代表第k种行为类别的预测概率。例如，第二行为分类神经网络可以识别的类别有蹲下、站起、挥手、弯腰、跌倒、平躺等多种行为，每一种行为分别对应各自的参数值，例如当通过视频识别被监测人正在发生跌倒行为时，那么x k表示被监测人处于跌倒行为的参数值，z k表示被监测人正在发生跌倒行为的预测概率。
为了防止过拟合，本实施例在损失函数后又加上了一个L2正则项，用于防止发生过拟合的情况，得到的代价函数如下所示：
L(X,Y)＝L H(X,Y)+L2。
S5：将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
在已经完成对第一特征提取神经网络和第二行为分类神经网络的训练的基础上，本申请即可对实际的监控视频进行跌倒行为的检测。具体而言，本申请通过普通摄像头实时拍摄被监护对象的视频信息，该视频信息经过采样提取 到一定数量的目标图像。该目标图像首先经过训练好的第一特征提取神经网络，提取出目标图像中的多个特征点，例如是骨骼特征点。对多个骨骼特征点进行计算、组合，例如计算每两个骨骼特征点之间的欧拉距离和x方向、y方向上的速度，并对上述计算得到的矢量按照每帧图像的顺序进行排列，最终得到预测特征图。接下来，将预测特征图输入第二行为分类神经网络，便可以得到包含在预测特征图中的行为所述所属的类别，例如是否是跌倒行为。
请继续参阅图4，示出了一种跌倒检测装置，在本实施例中，跌倒检测装置10可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请，并可实现上述跌倒检测方法。本申请所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述跌倒检测装置10在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
第一神经网络训练模块11，适用于通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
特征点提取模块12，适用于将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
特征图生成模块13，适用于对所述多个第二特征点进行编码生成表征所述多个第二特征点的分布情况的预测特征图；
第二神经网络训练模块14，适用于通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
分类模块15，适用于将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图5所示。需要指出的是，图5仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的跌倒检测装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行跌倒检测装置10，以实现实施例一的跌倒检测方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡 型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储跌倒检测装置10，被处理器执行时实现实施例一的跌倒检测方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
本技术领域的普通技术人员可以理解，实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利 用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (27)

  1. 一种基于骨骼点的跌倒检测方法，其特征在于，包括以下步骤：
    通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；
    将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
    对所述多个第二特征点进行编码生成预测特征图；
    通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
    将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，输出所述被监测对象的行为类别。
  2. 根据权利要求1所述的跌倒检测方法，其特征在于，所述通过第一图片样本训练第一特征提取神经网络，包括：
    所述第一图片样本输入Resnet残差网络，得到第一提取数据；
    所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；
    所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；
    对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；
    通过第一损失函数对所述第一特征提取网络进行反向训练。
  3. 根据权利要求1所述的跌倒检测方法，其特征在于，所述通过所述预测特征图训练第二行为分类神经网络，包括：
    所述预测特征图通过常规卷积模块，得到第一分类数据；
    所述第一分类数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二分类数据；
    所述多个具有不同特征通道的第二分类数据组合后依次通过三个常规卷积模块，最终输出行为分类。
  4. 根据权利要求2所述的跌倒检测方法，其特征在于，所述第一损失函数F为：
    Figure PCTCN2019089500-appb-100001
    其中x p、y p代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，x g、y g代表所述第一特征点的实际坐标。
  5. 根据权利要求3所述的跌倒检测方法，其特征在于，所述第二损失函数L为：
    Figure PCTCN2019089500-appb-100002
    其中，所述x k代表第k种行为类别的参数值，z k代表第k中行为类别的预测概率，L2代表防止发生过拟合的正则项。
  6. 根据权利要求2所述的跌倒检测方法，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  7. 根据权利要求3所述的跌倒检测方法，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  8. 根据权利要求1所述的跌倒检测方法，其特征在于，所述对所述多个第二特征点进行编码生成预测特征图，包括：
    对所述多个第二特征点进行两两配对；
    计算每两个第二特征点之间的距离和速度:
    Figure PCTCN2019089500-appb-100003
    上式中，x it、y it分别代表t时刻的第i个第二特征点的横、纵坐标；l xjt代表t时刻第i个第二特征点和第j个第二特征点的欧拉距离，v xit代表第i 个第二特征点在t时刻在x方向上的速度，v yit代表第i个第二特征点在y方向上的速度；
    将所有计算得到的距离和速度数据组合形成预测特征图。
  9. 根据权利要求8所述的跌倒检测方法，其特征在于，所述对所述多个第二特征点进行编码生成预测特征图的步骤包括：
    从所述多个第二特征点中选取与预设行为相关联的多个目标特征点；
    对所述多个目标特征点进行编码生成预测特征图。
  10. 根据权利要求1所述的跌倒检测方法，其特征在于，所述通过第一图片样本训练第一特征提取神经网络的步骤之前，还包括：
    对所述第一图片样本进行数据增强的预处理。
  11. 一种基于骨骼点的跌倒检测装置，其特征在于，包括：
    第一神经网络训练模块，适用于通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
    特征点提取模块，适用于将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
    特征图生成模块，适用于对所述多个第二特征点进行编码生成预测特征图；
    第二神经网络训练模块，适用于通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
    分类模块，适用于将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
  12. 一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
    通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
    将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
    对所述多个第二特征点进行编码生成预测特征图；
    通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
    将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
  13. 根据权利要求12所述的计算机设备，其特征在于，所述通过第一图片样本训练第一特征提取神经网络，包括：
    所述第一图片样本输入Resnet残差网络，得到第一提取数据；
    所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；
    所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；
    对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；
    通过第一损失函数对所述第一特征提取网络进行反向训练。
  14. 根据权利要求12所述的计算机设备，其特征在于，所述通过所述预测特征图训练第二行为分类神经网络，包括：
    所述预测特征图通过常规卷积模块，得到第一分类数据；
    所述第一分类数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二分类数据；
    所述多个具有不同特征通道的第二分类数据组合后依次通过三个常规卷 积模块，最终输出行为分类。
  15. 根据权利要求13所述的计算机设备，其特征在于，所述第一损失函数F为：
    Figure PCTCN2019089500-appb-100004
    其中x p、y p代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，x g、y g代表所述第一特征点的实际坐标。
  16. 根据权利要求13所述的计算机设备，其特征在于，所述第二损失函数L为：
    Figure PCTCN2019089500-appb-100005
    其中，所述x k代表第k种行为类别的参数值，z k代表第k中行为类别的预测概率，L2代表防止发生过拟合的正则项。
  17. 根据权利要求13所述的计算机设备，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  18. 根据权利要求14所述的计算机设备，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  19. 根据权利要求12所述的计算机设备，其特征在于，所述对所述多个第二特征点进行编码生成预测特征图，包括：
    对所述多个第二特征点进行两两配对；
    计算每两个第二特征点之间的距离和速度:
    Figure PCTCN2019089500-appb-100006
    上式中，x it、y it分别代表t时刻的第i个第二特征点的横、纵坐标；l xjt代表t时刻第i个第二特征点和第j个第二特征点的欧拉距离，v xit代表第i个第二特征点在t时刻在x方向上的速度，v yit代表第i个第二特征点在y方 向上的速度；
    将所有计算得到的距离和速度数据组合形成预测特征图。
  20. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；
    将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；
    对所述多个第二特征点进行编码生成预测特征图；
    通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；
    将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。
  21. 根据权利要求20所述的计算机可读存储介质，其特征在于，所述通过第一图片样本训练第一特征提取神经网络，包括：
    所述第一图片样本输入Resnet残差网络，得到第一提取数据；
    所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；
    所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；
    对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；
    通过第一损失函数对所述第一特征提取网络进行反向训练。
  22. 根据权利要求20所述的计算机可读存储介质，其特征在于，所述通过所述预测特征图训练第二行为分类神经网络，包括：
    所述预测特征图通过常规卷积模块，得到第一分类数据；
    所述第一分类数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二分类数据；
    所述多个具有不同特征通道的第二分类数据组合后依次通过三个常规卷积模块，最终输出行为分类。
  23. 根据权利要求21所述的计算机可读存储介质，其特征在于，所述第一损失函数F为：
    Figure PCTCN2019089500-appb-100007
    其中x p、y p代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，x g、y g代表所述第一特征点的实际坐标。
  24. 根据权利要求22所述的计算机可读存储介质，其特征在于，所述第二损失函数L为：
    Figure PCTCN2019089500-appb-100008
    其中，所述x k代表第k种行为类别的参数值，z k代表第k中行为类别的预测概率，L2代表防止发生过拟合的正则项。
  25. 根据权利要求21所述的计算机可读存储介质，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  26. 根据权利要求22所述的计算机可读存储介质，其特征在于，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。
  27. 根据权利要求20所述的计算机可读存储介质，其特征在于，所述对所述多个第二特征点进行编码生成预测特征图，包括：
    对所述多个第二特征点进行两两配对；
    计算每两个第二特征点之间的距离和速度:
    Figure PCTCN2019089500-appb-100009
    Figure PCTCN2019089500-appb-100010
    上式中，x it、y it分别代表t时刻的第i个第二特征点的横、纵坐标；l xjt代表t时刻第i个第二特征点和第j个第二特征点的欧拉距离，v xit代表第i个第二特征点在t时刻在x方向上的速度，v yit代表第i个第二特征点在y方向上的速度；
    将所有计算得到的距离和速度数据组合形成预测特征图。
PCT/CN2019/089500 2018-11-28 2019-05-31 基于骨骼点的跌倒检测方法及其跌倒检测装置 Ceased WO2020107847A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811433808.3A CN109492612B (zh) 2018-11-28 2018-11-28 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN201811433808.3 2018-11-28

Publications (1)

Publication Number Publication Date
WO2020107847A1 true WO2020107847A1 (zh) 2020-06-04

Family

ID=65698053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/089500 Ceased WO2020107847A1 (zh) 2018-11-28 2019-05-31 基于骨骼点的跌倒检测方法及其跌倒检测装置

Country Status (2)

Country Link
CN (1) CN109492612B (zh)
WO (1) WO2020107847A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860312A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾乘环境调节方法和装置
CN112364695A (zh) * 2020-10-13 2021-02-12 杭州城市大数据运营有限公司 一种行为预测方法、装置、计算机设备和存储介质
CN112487924A (zh) * 2020-11-25 2021-03-12 北京中拓新源科技有限公司 基于深度学习从视频中判别人体意外摔倒的方法及装置
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN113887469A (zh) * 2021-10-15 2022-01-04 黑龙江雨谷科技有限公司 用于行人跌倒检测的方法、系统和存储介质
CN114038065A (zh) * 2021-11-25 2022-02-11 泰康保险集团股份有限公司 人体跌倒检测方法、装置、电子设备及计算机可读介质
CN114694243A (zh) * 2020-12-28 2022-07-01 普天信息技术有限公司 一种跌倒检测方法、装置、电子设备及存储介质
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114913585A (zh) * 2022-05-20 2022-08-16 南京信息工程大学 融合面部表情的居家老人摔倒检测方法
CN115462783A (zh) * 2022-10-12 2022-12-13 南昌航空大学 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
CN116682172A (zh) * 2023-05-17 2023-09-01 中铁二院工程集团有限责任公司 一种基于多模态多层次信息融合的行为识别方法及系统
CN117058577A (zh) * 2023-08-02 2023-11-14 南京北路智控科技股份有限公司 人员跌倒判断方法、装置、存储介质及系统
CN118334753A (zh) * 2024-06-11 2024-07-12 杭州华亭科技有限公司 基于人工智能的监狱犯人行为分析与预警系统及方法
CN119360439A (zh) * 2024-09-30 2025-01-24 广东工业大学 一种基于轻量化lmbw-yolo的跌倒检测方法
CN120339905A (zh) * 2025-03-31 2025-07-18 北京体育大学 基于错峰时间脉冲的警用武术格斗动作评价方法、系统
CN121200038A (zh) * 2025-11-28 2025-12-26 洛阳理工学院 基于多模态感知的独居老人陪伴机器人控制方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492612B (zh) * 2018-11-28 2024-07-02 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN110378245B (zh) * 2019-06-26 2023-07-21 平安科技（深圳）有限公司 基于深度学习的足球比赛行为识别方法、装置及终端设备
CN110276332B (zh) * 2019-06-28 2021-12-24 北京奇艺世纪科技有限公司 一种视频特征处理方法及装置
CN110532874B (zh) 2019-07-23 2022-11-11 深圳大学 一种物体属性识别模型的生成方法、存储介质及电子设备
CN110633736A (zh) * 2019-08-27 2019-12-31 电子科技大学 一种基于多源异构数据融合的人体跌倒检测方法
CN112686075A (zh) * 2019-10-17 2021-04-20 中国电信股份有限公司 行为检测方法、装置和系统
SE1951443A1 (en) * 2019-12-12 2021-06-13 Assa Abloy Ab Improving machine learning for monitoring a person
CN111209848B (zh) * 2020-01-03 2023-07-21 北京工业大学 一种基于深度学习的实时跌倒检测方法
CN111860399B (zh) * 2020-07-28 2024-11-29 Oppo广东移动通信有限公司 视频分类模型训练方法、视频分类方法、装置及电子设备
CN113792595A (zh) * 2021-08-10 2021-12-14 北京爱笔科技有限公司 目标行为检测方法、装置、计算机设备和存储介质
CN113712538A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于wifi信号的跌倒检测方法、装置、设备和存储介质
CN114511931B (zh) * 2022-02-22 2024-10-25 平安科技（深圳）有限公司 基于视频图像的动作识别方法、装置、设备及存储介质
CN116863159A (zh) * 2022-03-22 2023-10-10 西安和华瑞博科技有限公司 基于医学影像的特征点提取方法及装置、电子设备、介质
CN115661943B (zh) * 2022-12-22 2023-03-31 电子科技大学 一种基于轻量级姿态评估网络的跌倒检测方法
CN117238026B (zh) * 2023-07-10 2024-03-08 中国矿业大学 一种基于骨骼和图像特征的姿态重建交互行为理解方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
US20170316578A1 (en) * 2016-04-29 2017-11-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法
CN107784654A (zh) * 2016-08-26 2018-03-09 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN108647776A (zh) * 2018-05-08 2018-10-12 济南浪潮高新科技投资发展有限公司 一种卷积神经网络卷积膨胀处理电路及方法
CN109492612A (zh) * 2018-11-28 2019-03-19 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590099B (zh) * 2015-12-22 2019-02-01 中国石油大学(华东) 一种基于改进卷积神经网络的多人行为识别方法
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN108280455B (zh) * 2018-01-19 2021-04-02 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN108717569B (zh) * 2018-05-16 2022-03-22 中国人民解放军陆军工程大学 一种膨胀全卷积神经网络装置及其构建方法
CN108776775B (zh) * 2018-05-24 2020-10-27 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316578A1 (en) * 2016-04-29 2017-11-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence
CN107784654A (zh) * 2016-08-26 2018-03-09 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法
CN108647776A (zh) * 2018-05-08 2018-10-12 济南浪潮高新科技投资发展有限公司 一种卷积神经网络卷积膨胀处理电路及方法
CN109492612A (zh) * 2018-11-28 2019-03-19 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860312A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾乘环境调节方法和装置
CN112364695A (zh) * 2020-10-13 2021-02-12 杭州城市大数据运营有限公司 一种行为预测方法、装置、计算机设备和存储介质
CN112487924A (zh) * 2020-11-25 2021-03-12 北京中拓新源科技有限公司 基于深度学习从视频中判别人体意外摔倒的方法及装置
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN112541576B (zh) * 2020-12-14 2024-02-20 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络构建方法
CN114694243A (zh) * 2020-12-28 2022-07-01 普天信息技术有限公司 一种跌倒检测方法、装置、电子设备及存储介质
CN113887469A (zh) * 2021-10-15 2022-01-04 黑龙江雨谷科技有限公司 用于行人跌倒检测的方法、系统和存储介质
CN114038065A (zh) * 2021-11-25 2022-02-11 泰康保险集团股份有限公司 人体跌倒检测方法、装置、电子设备及计算机可读介质
CN114913585A (zh) * 2022-05-20 2022-08-16 南京信息工程大学 融合面部表情的居家老人摔倒检测方法
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN115462783A (zh) * 2022-10-12 2022-12-13 南昌航空大学 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
CN115546491B (zh) * 2022-11-28 2023-03-10 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
CN116682172A (zh) * 2023-05-17 2023-09-01 中铁二院工程集团有限责任公司 一种基于多模态多层次信息融合的行为识别方法及系统
CN117058577A (zh) * 2023-08-02 2023-11-14 南京北路智控科技股份有限公司 人员跌倒判断方法、装置、存储介质及系统
CN118334753A (zh) * 2024-06-11 2024-07-12 杭州华亭科技有限公司 基于人工智能的监狱犯人行为分析与预警系统及方法
CN119360439A (zh) * 2024-09-30 2025-01-24 广东工业大学 一种基于轻量化lmbw-yolo的跌倒检测方法
CN120339905A (zh) * 2025-03-31 2025-07-18 北京体育大学 基于错峰时间脉冲的警用武术格斗动作评价方法、系统
CN121200038A (zh) * 2025-11-28 2025-12-26 洛阳理工学院 基于多模态感知的独居老人陪伴机器人控制方法及系统

Also Published As

Publication number Publication date
CN109492612B (zh) 2024-07-02
CN109492612A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
WO2020107847A1 (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
Yang et al. Uncertainty-guided transformer reasoning for camouflaged object detection
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US12450868B2 (en) Image retrieval method and apparatus, storage medium, and device
CN112446398B (zh) 图像分类方法以及装置
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
WO2021218238A1 (zh) 图像处理方法和图像处理装置
WO2021051547A1 (zh) 暴力行为检测方法及系统
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN109902546A (zh) 人脸识别方法、装置及计算机可读介质
CN110956131B (zh) 单目标追踪方法、装置及系统
CN110929687A (zh) 一种基于关键点检测的多人行为识别系统及工作方法
CN114120436B (zh) 动作识别模型的训练方法、动作识别方法及相关装置
Fu et al. Human pose estimation and action recognition for fitness movements
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN114463840B (zh) 基于骨架的移位图卷积网络人体行为识别方法
CN112906438B (zh) 人体动作行为的预测方法以及计算机设备
CN116597260A (zh) 图像处理方法、电子设备、存储介质及计算机程序产品
CN115841605A (zh) 目标检测网络训练与目标检测方法、电子设备、存储介质
CN117036658A (zh) 一种图像处理方法及相关设备
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN117994851A (zh) 一种基于多任务学习的老年人摔倒检测方法、装置及设备
CN113850207B (zh) 基于人工智能的微表情分类方法、装置、电子设备及介质
CN115909499A (zh) 一种基于深度学习的多人人体姿态估计方法
WO2026001201A1 (zh) 关键点预测模型的训练方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889552

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19889552

Country of ref document: EP

Kind code of ref document: A1