WO2020107833A1 - 基于骨架的行为检测方法、终端设备及计算机存储介质 - Google Patents

基于骨架的行为检测方法、终端设备及计算机存储介质 Download PDF

Info

Publication number
WO2020107833A1
WO2020107833A1 PCT/CN2019/088798 CN2019088798W WO2020107833A1 WO 2020107833 A1 WO2020107833 A1 WO 2020107833A1 CN 2019088798 W CN2019088798 W CN 2019088798W WO 2020107833 A1 WO2020107833 A1 WO 2020107833A1
Authority
WO
WIPO (PCT)
Prior art keywords
joint
auxiliary
skeleton
image data
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/088798
Other languages
English (en)
French (fr)
Inventor
周宝
陈远旭
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020107833A1 publication Critical patent/WO2020107833A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of computer vision technology, and in particular, to a skeleton-based behavior detection method, terminal equipment, and computer storage media.
  • Vision-based human motion analysis is a very active research direction in the field of computer vision. It includes motion detection, target classification and tracking, and understanding and recognition of human motion. The relationship between these contents is progressive: the detection of moving human bodies is the basis of target classification and tracking. On the basis of solving these basic problems, human motion recognition can be performed.
  • the choice of motion features directly affects the recognition effect of human action recognition methods. A single feature is often affected by factors such as the appearance of the human body, environment, camera settings, etc., its application range is different, and the recognition effect is also limited.
  • the mainstream method is that the computer processes and analyzes the original image or image sequence data collected by the sensor (camera), recognizes the person in the video, and learns and understands the actions and behaviors of the person. The effect is not good, in addition, there may be shortcomings such as low accuracy and low robustness.
  • Embodiments of the present application provide a skeleton-based behavior detection method, terminal device, and computer storage medium, which can improve the accuracy and robustness of skeleton behavior detection.
  • an embodiment of the present application provides a skeleton-based behavior detection method.
  • the method includes:
  • the original image data is classified and identified based on an image classification algorithm and the joint feature vector to obtain behavior detection results.
  • the conversion of the joint point coordinates based on a preset conversion rule to obtain a joint feature vector includes:
  • the three feature angles of each auxiliary triangle are used as vector coordinates to construct the joint feature vector, and the N is a positive integer.
  • constructing the joint feature vector includes:
  • An average value of the three angles of each auxiliary triangle is obtained, and the N first vectors are sorted according to the order of the average value from large to small to obtain the multi-dimensional joint feature vector.
  • the method further includes:
  • the missing angle of the auxiliary triangle is set to 0, or the average value of the angle of the auxiliary triangle where there is no missing angle is used as the missing angle.
  • the method further includes:
  • a joint feature vector of the m frames of data before and after the data is obtained, and a new feature corresponding to the missing angle is calculated based on the joint feature vector of the m frames of data before and after the data and a Gaussian filter, where M is a positive integer.
  • the image classification algorithm includes any one or more of a random forest algorithm, a support vector machine method, a gradient lifting tree algorithm, and a neural network algorithm.
  • the method before determining the skeleton joint point in the original image data based on the image detection algorithm, the method further includes: acquiring a classification detection label of the original image data, and determining the corresponding Type and number of joints to be detected;
  • the determination of the skeleton joint point in the original image data based on the image detection algorithm includes:
  • a skeleton joint point satisfying the type and the number is determined in the original image data based on an image detection algorithm.
  • an embodiment of the present application provides a terminal device, including: a node detection module, a feature conversion module, and an identification module, where:
  • the node detection module is used to obtain the original image data, determine the skeleton joint points in the original image data based on the image detection algorithm, and obtain the joint point coordinates of the skeleton joint points;
  • a feature conversion module configured to convert the joint point coordinates based on a preset conversion rule to obtain a joint feature vector
  • the recognition module is used for classifying and recognizing the original image data based on an image classification algorithm and the joint feature vector to obtain a behavior detection result.
  • an embodiment of the present application further provides a terminal device, including a processor, an input device, an output device, and a memory, where the processor, input device, output device, and memory are connected to each other, wherein the memory is used for A computer program is stored, the computer program includes program instructions, and the processor is configured to call the program instructions to perform the method as described in the first aspect and any possible implementation manner thereof.
  • an embodiment of the present application provides a computer nonvolatile readable storage medium, where the computer nonvolatile readable storage medium stores a computer program, the computer program includes program instructions, and the program instructions When executed by a processor, the processor is caused to perform the method of the first aspect and any possible implementation manner thereof.
  • the embodiment of the present application obtains the joint point coordinates of the skeleton joint points from the original image data, converts the joint point coordinates to obtain the joint feature vector, and then classifies and identifies the original image data based on the image classification algorithm and the joint feature vector , Obtaining behavior detection results can improve the accuracy and robustness of skeleton behavior detection.
  • FIG. 1 is a schematic flowchart of a skeleton-based behavior detection method provided by an embodiment of the present application
  • FIG. 3 is a schematic structural diagram of a terminal device according to an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of another terminal device provided by an embodiment of the present application.
  • the term “if” may be interpreted as “when” or “once” or “in response to determination” or “in response to detection” depending on the context .
  • the phrase “if determined” or “if [described condition or event] is detected” can be interpreted in the context to mean “once determined” or “in response to a determination” or “once detected [described condition or event ]” or “In response to detection of [the described condition or event]”.
  • the terminal devices mentioned in the embodiments of the present application are devices that can communicate with a server.
  • the above server is also called a server, and is a device that provides a computing service, and can allow multiple terminal devices to access.
  • the above terminal devices may be mobile terminals, including various handheld devices with wireless communication functions, wearable devices, computing devices, or other processing devices connected to a wireless modem, and various forms of user equipment (User Equipment, UE), mobile Station (Mobile Station, MS), etc.
  • FIG. 1 is a schematic flowchart of a skeleton-based behavior detection method provided by an embodiment of the present application. As shown in FIG. 1, the method may include:
  • the original image data in the embodiments of the present application can be understood as images of various types, formats, and sizes, such as photos taken by the camera of the terminal device, which are mainly for images containing human bodies, and are used to identify the human skeleton in the images .
  • OpenPose is an open source project of Carnegie Mellon University
  • OpenPose includes the positioning of key points of the face, the positioning of key points of the human hand, and the human
  • the purpose of positioning each joint of the body is to treat the posture of the human body as a whole. It can be used to track and detect the feature points of multiple people in real time. It was initially implemented with OpenCV and Caffe. OpenPose can simultaneously locate 130 feature points on the face, human body, and hands. In the past, the positioning of face feature points and the positioning of body joints were implemented by different researchers in different system algorithms.
  • skeleton joint points can be identified in the above original image data, and OpenPose uses 18 two-dimensional coordinate points to represent the skeleton joint points.
  • the coordinates of the skeleton joint points may also be three-dimensional coordinates, which can be obtained using tools such as kinect.
  • step 102 After acquiring the joint point coordinates of the skeleton joint point, step 102 may be performed.
  • the terminal device may store the above-mentioned preset conversion rule, which is a conversion rule between joint point coordinates and joint feature vectors, and after obtaining the above-mentioned joint point coordinates, perform conversion by using the above-mentioned preset conversion rule, Obtain the above-mentioned joint feature vector, where the above-mentioned joint feature vector can be understood as representing the position feature of the skeleton, that is, it can be the basis for classification and recognition of subsequent actions.
  • the above-mentioned preset conversion rule which is a conversion rule between joint point coordinates and joint feature vectors
  • an auxiliary triangle of preset specifications may be formed with every three joint point coordinates to obtain an angle of the auxiliary triangle, which may be referred to herein as a joint angle.
  • a variety of methods can be used to construct the joint feature vector of the skeleton.
  • one of the methods is to select the average value of the three angles of the auxiliary triangles and sort the joint angles from large to small, that is, a multi-dimensional joint feature vector can be obtained.
  • step 103 may be performed.
  • the above joint feature vector can be used as a feature, and the above image classification algorithm can be used for learning and classification to identify the human behavior existing in the original image data.
  • Human behavior recognition is currently in the action recognition stage, and action recognition can be seen as a process of combining feature extraction and classifier design.
  • the joint coordinate point extraction in the embodiment of the present application can be understood as a part of the feature extraction process, and the feature extraction is greatly challenged by factors such as occlusion, dynamic background, moving camera, viewing angle, and illumination changes.
  • the above image classification algorithm can classify and recognize actions in the original image data according to the above joint feature vectors.
  • SVM Support Vector Machine
  • GBDT Gradient Boosting Decison Tree
  • the random forest mentioned in the examples of this application refers to a classifier that uses multiple trees to train and predict samples; support vector machines are a common discriminant method.
  • machine learning it is a supervised Learning models are usually used for pattern recognition, classification, and regression analysis.
  • the proximity algorithm mentioned in the embodiments of the present application is one of the simplest methods in the data mining classification technology.
  • the so-called K nearest neighbor is the meaning of the k nearest neighbors, which means that each sample can be represented by the k nearest neighbors.
  • the core idea of the kNN algorithm is that if most of the k nearest neighbor samples in a feature space belong to a certain category, the sample also belongs to this category and has the characteristics of the samples in this category. This method determines the classification to which the samples to be classified belong based on the classification of the nearest sample or samples in determining the classification decision.
  • the kNN method is only relevant to a very small number of adjacent samples when making category decisions. Since the kNN method mainly depends on the limited neighboring samples around, rather than the method of discriminating the class domain to determine the category, the kNN method is more preferable than other methods for the sample set to be divided or overlapped in the class domain. As suitable.
  • the above perform joint feature vector completion.
  • One method is to weaken the missing joints as much as possible, that is: set the missing joint angle to 0; another method can include: using the detected joint angle The average value replaces the missing joint angle.
  • FIG. 2 is a schematic flowchart of another skeleton-based behavior detection method provided by an embodiment of the present application.
  • the embodiment shown in FIG. 2 may be obtained based on the embodiment shown in FIG. 1, as shown in FIG.
  • the method shown in 2 may include:
  • the above-mentioned classification detection label may be introduced.
  • the above-mentioned classification detection label may be acquired at the same time when acquiring the above-mentioned original image data, or by User operation selection, the terminal device may store the corresponding relationship between the classification detection label and the type and number of the joint points to be detected, that is, when the classification detection label of the original image data is known, the type and number of the joint points to be detected can be determined this time , And step 202 can be executed.
  • the recognition effect in the embodiments of the present application can be improved by optimizing features. Based on the type and number of the above-mentioned joint points to be detected, skeleton joint points satisfying the above-mentioned type and the above number are detected to obtain joint point coordinates.
  • data accuracy can be verified on the processing results of the embodiments of the present application.
  • 816-dimensional feature [x 1 , x 2 ,..., x 816 ]
  • a random forest with 1000 trees can be used for classification .
  • the position of the arm has little effect on the behavior detection and recognition of standing, squatting, and falling.
  • step 203 After acquiring the above joint point coordinates, step 203 may be performed.
  • N N auxiliary triangles of preset specifications with each of the three joint point coordinates as vertices, and obtain three angles of each auxiliary triangle among the N auxiliary triangles, where N is a positive integer.
  • the embodiment of the present application takes 18 joint point coordinates as an example for description.
  • step 204 may be performed.
  • a preset construction rule may be stored in the terminal device, and the above-mentioned preset construction rule may be understood as a conversion rule between the angle of the auxiliary triangle and the joint feature vector.
  • the above-mentioned preset construction rule may be understood as a conversion rule between the angle of the auxiliary triangle and the joint feature vector.
  • a variety of methods can be used to construct the feature representation vector of the skeleton.
  • it can include:
  • the average value of the three angles of each auxiliary triangle is obtained, and the N first vectors are sorted according to the order of the average value from large to small to obtain the multi-dimensional joint feature vector.
  • the average value of the three angles of each auxiliary triangle mentioned above can be obtained, and a total of 816 first vectors are sorted in descending order.
  • the joint feature vector of the bone is 816 dimensions:
  • the missing angle of the auxiliary triangle is set to 0, Or, the average value of the angles of the auxiliary triangles without missing angles is used as the missing angle.
  • a joint feature vector for each m-frame data before and after the foregoing is obtained, and a new feature corresponding to the missing angle is calculated based on the joint feature vector for the m-frame data before and after the foregoing and a Gaussian filter, where M is a positive integer.
  • "behavior" in behavior detection is a time series process, which is a combination of joint positions in a time period. Therefore, in order to improve the accuracy of judgment and also to filter the noise that identifies misalignment, the embodiments of the present application may increase the number of multi-frame data. Processing can be achieved through a Gaussian filter. Specifically, assuming that the angle of the above auxiliary triangle is detected to be missing, that is, it is specifically manifested that there is labeled data (original image data) at a certain point in time, and its feature is feature k . The characteristics of each m frame of data before and after it can be taken to The Gaussian function calculates the updated features of the k-th frame.
  • step 205 When performing step 205, it is best to ensure that the dimensions of the input feature vectors are consistent. Therefore, for the multi-dimensional joint feature vectors above, when the image is blocked, resulting in incomplete joint parts, the above joint feature vectors need to be completed. There are also multiple methods to complete the above joint feature vectors.
  • One method is to weaken the missing joints as much as possible, that is: set the missing joint angle to 0; another method can include: using the detected joint angle The average value replaces the missing joint angle.
  • the joint point coordinates are passed through the above-mentioned Gaussian filter to fit the missing coordinates with multiple frames of data in time series.
  • step 205 may be performed.
  • step 205 reference may be made to the specific description in step 103 in the embodiment shown in FIG. 1, and details are not described herein again.
  • skeleton-based behavior detection method Human skeleton recognition based on image or depth information has rich applications, such as Kinect, LeapMotion, etc.
  • the skeleton-based behavior detection method is also widely used in monitoring, games, robotics, human-computer interaction and other fields.
  • Some skeleton-based behavior detection methods can be roughly divided into the following categories:
  • LSTM Long Short-Term Memory
  • RNN Recurrent Neural Network
  • the above method is based on the coordinates of skeleton joint points, so it is necessary to fix the joint points, such as neck 0, left shoulder 1, right shoulder 2 and so on, and the recognition effect is not good in the case of occlusion.
  • methods 1 and 2 have the disadvantages of low accuracy and low robustness, and method 3 has high accuracy and too many computing resources.
  • the method proposed in the embodiment of the present application does not require fixed joint points, can better deal with joint occlusion, realize skeleton behavior detection, and consider all joint combinations, and has the characteristics of strong robustness.
  • Robust is a transliteration of Robust, which means strong and strong. It is the key to system survival under abnormal and dangerous conditions. For example, whether a computer software can survive crashes or crashes due to input errors, disk failures, network overloads, or intentional attacks is the robustness of the software.
  • the so-called “robustness” refers to the characteristic that the control system maintains certain other performances under certain (structure, size) parameter perturbation.
  • the embodiments of the present application are applicable to skeleton-based behavior detection for images containing human body structures.
  • the scheme can be applied to an image or video shooting function to perform motion recognition or beautification.
  • the skeleton and movement can be recognized through the scheme above. Confirm the posture of the human body and perform auxiliary retouching, such as elongated skeleton.
  • the above algorithms are used for automatic behavior detection, which can perform functions such as crime prediction and alarm rescue.
  • the classification detection label of the original image data is obtained, the type and number of joint points to be detected corresponding to the classification detection label are determined, and it is determined in the original image data based on the image detection algorithm that For the above-mentioned types and the above-mentioned number of skeleton joint points, obtain the joint point coordinates of the above skeleton joint points, and then determine the N auxiliary triangles of preset specifications with each of the three above-mentioned joint point coordinates as vertices, and obtain each of the N auxiliary triangles The three angles of the auxiliary triangle, and the above N is a positive integer.
  • each auxiliary triangle can be used as vector coordinates to construct the above joint feature vector, which can be based on the image classification algorithm and the above joint feature vector. Classification and recognition of image data to obtain behavior detection results can better achieve skeleton behavior detection for joint occlusion problems, with high detection accuracy and strong robustness.
  • FIG. 3 is a schematic structural diagram of a terminal device according to an embodiment of the present application.
  • the terminal device 300 includes a node detection module 310, a feature conversion module 320, and an identification module 330, where:
  • the node detection module 310 is used to obtain original image data, determine the skeleton joint points in the original image data based on the image detection algorithm, and obtain the joint point coordinates of the skeleton joint points;
  • the feature conversion module 320 is configured to convert the coordinates of the above joint points based on preset conversion rules to obtain joint feature vectors;
  • the recognition module 330 is configured to classify and recognize the original image data based on the image classification algorithm and the joint feature vector to obtain a behavior detection result.
  • the above feature conversion module 320 is specifically used for:
  • N auxiliary triangles of preset specifications are determined using the coordinates of each of the three aforementioned joint points as vertices to obtain three angles of each auxiliary triangle among the N auxiliary triangles;
  • the above joint feature vector is constructed, and the above N is a positive integer.
  • the above feature conversion module 320 is also specifically used for:
  • the average value of the three angles of each auxiliary triangle is obtained, and the N first vectors are sorted according to the order of the average value from large to small to obtain the multi-dimensional joint feature vector.
  • the above-mentioned terminal device 300 further includes a detection module 340, which is configured to detect that there are missing angles of the above-mentioned auxiliary triangles after determining the N auxiliary triangles of preset specifications with each of the three joint point coordinates as vertices Next, the missing angle of the auxiliary triangle is set to 0, or the average value of the angles of the auxiliary triangles with no missing angle is used as the missing angle.
  • a detection module 340 which is configured to detect that there are missing angles of the above-mentioned auxiliary triangles after determining the N auxiliary triangles of preset specifications with each of the three joint point coordinates as vertices Next, the missing angle of the auxiliary triangle is set to 0, or the average value of the angles of the auxiliary triangles with no missing angle is used as the missing angle.
  • the above detection module 340 is also used to:
  • a joint feature vector for each m-frame data before and after the foregoing is obtained, and a new feature corresponding to the missing angle is calculated based on the joint feature vector for the m-frame data before and after the foregoing and a Gaussian filter, where M is a positive integer.
  • the above image classification algorithm includes any one or more of a random forest algorithm, a support vector machine method, a gradient lifting tree algorithm, and a neural network algorithm.
  • the terminal device 300 further includes a determination module 350, which is used to obtain the classification detection label of the original image data before determining the skeleton joint point in the original image data based on the image detection algorithm, and determine the corresponding Type and number of joints to be detected;
  • the above node detection module 310 is specifically used to determine the skeleton joint points satisfying the above type and the above number in the original image data based on an image detection algorithm.
  • steps 101 to 103 and 201 to 205 involved in the skeleton-based behavior detection method shown in FIGS. 1 and 2 may be implemented by various modules in the terminal device 300 shown in FIG. 3 implemented.
  • steps 101 to 103 in FIG. 1 may be performed by the node detection module 310, the feature conversion module 320, and the recognition module 330 shown in FIG. 3, respectively.
  • the terminal device 300 can obtain original image data, determine the skeleton joint points in the original image data based on an image detection algorithm, and obtain the joint point coordinates of the skeleton joint points; based on preset conversion rules The joint point coordinates are converted to obtain joint feature vectors; the original image data is classified and identified based on the image classification algorithm and the joint feature vectors to obtain behavior detection results, which can improve the accuracy and robustness of skeleton behavior detection.
  • FIG. 4 is a schematic structural diagram of another terminal device disclosed in an embodiment of the present application.
  • the terminal device 400 includes a processor 401 and a memory 402, wherein the terminal device 400 may further include a bus 403, the processor 401 and the memory 402 may be connected to each other through the bus 403, and the bus 403 may be a peripheral component Peripheral Component (Interconnect, PCI) bus or Extended Industry Standard Architecture (Extended Architecture, EISA) bus, etc.
  • the bus 403 can be divided into an address bus, a data bus, and a control bus. For ease of representation, only a thick line is used in FIG. 4, but it does not mean that there is only one bus or one type of bus.
  • the terminal device 400 may further include an input and output device 404, and the input and output device 404 may include a display screen, such as a liquid crystal display screen.
  • the memory 402 is used to store one or more programs containing instructions; the processor 401 is used to call the instructions stored in the memory 402 to perform some or all of the method steps mentioned in the embodiments of FIG. 1 and FIG. 2 above.
  • the so-called processor 401 may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP) , Application Specific Integrated Circuit (Application Specific Integrated Circuit, ASIC), ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the input device 402 may include a touchpad, a fingerprint sensor (for collecting user's fingerprint information and fingerprint direction information), a microphone, and the like
  • the output device 403 may include a display (LCD, etc.), a speaker, and the like.
  • the memory 404 may include a read-only memory and a random access memory, and provide instructions and data to the processor 401. A portion of the memory 404 may also include non-volatile random access memory. For example, the memory 404 may also store device type information.
  • the terminal device 400 can acquire original image data, determine the skeleton joint points in the original image data based on an image detection algorithm, and acquire the joint point coordinates of the skeleton joint points; based on the preset conversion rule The joint point coordinates are converted to obtain joint feature vectors; the original image data is classified and identified based on the image classification algorithm and the joint feature vectors to obtain behavior detection results, which can improve the accuracy and robustness of skeleton behavior detection.
  • An embodiment of the present application further provides a computer non-volatile readable storage medium, wherein the computer non-volatile readable storage medium stores a computer program for electronic data exchange, and the computer program causes the computer to execute the method as described above Some or all steps of any skeleton-based behavior detection method described in the example.
  • the disclosed device may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the modules is only a division of logical functions.
  • there may be other divisions for example, multiple units or components may be combined or may Integration into another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or modules, and may be in electrical or other forms.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical modules, that is, they may be located in one place, or may be distributed on multiple network modules. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • the integrated module is implemented in the form of a software functional module and sold or used as an independent product, it may be stored in a computer-readable memory.
  • the technical solution of the present application essentially or part of the contribution to the existing technology or all or part of the technical solution can be embodied in the form of a software product, the computer software product is stored in a memory, Several instructions are included to enable a computer device (which may be a personal computer, server, network device, etc.) to perform all or part of the steps of the methods described in the embodiments of the present application.
  • the aforementioned memory includes: U disk, Read-Only Memory (ROM), Random Access Memory (Random Access Memory, RAM), mobile hard disk, magnetic disk or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于骨架的行为检测方法、终端设备及计算机存储介质，涉及生物检测领域中的肢体动作检测技术，其中方法包括：获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。

Description

基于骨架的行为检测方法、终端设备及计算机存储介质
本申请要求于2018年11月26日提交中国专利局、申请号为201811421202.8、申请名称为“基于骨架的行为检测方法、终端设备及计算机存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于骨架的行为检测方法、终端设备及计算机存储介质。
背景技术
基于视觉的人体运动分析是计算机视觉领域中一个非常活跃的研究方向，它包含运动检测、目标分类和跟踪以及对人的运动进行理解和识别等内容。这些内容之间的关系是层层递进的：运动人体的检测是目标分类和跟踪的基础，在解决这些基本问题的基础上，就可以进行人体动作识别。运动特征的选择直接影响人体动作识别方法的识别效果。单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同，其适用范围不同，识别效果也是有限的。目前主流方法是计算机通过对传感器(摄像机)采集的原始图像或图像序列数据进行处理和分析，识别到视频中的人物，学习并理解其中人的动作和行为，一般的方法对有遮挡的情况识别效果不好，另外还可能存在准确度不高、鲁棒性低等缺点。
发明内容
本申请实施例提供一种基于骨架的行为检测方法、终端设备及计算机存储介质，可以提高骨架行为检测的准确率和鲁棒性。
第一方面，本申请实施例提供了一种基于骨架的行为检测方法，所述方法包括：
获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；
基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；
基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识 别，获得行为检测结果。
作为一种可能的实施方式，所述基于预设转换规则针对所述关节点坐标进行转换，获得关节特征向量包括：
以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度；
将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量，所述N为正整数。
作为一种可能的实施方式，所述将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量包括：
将所述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；
获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的所述关节特征向量。
作为一种可能的实施方式，所述以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，所述方法还包括：
在检测到所述辅助三角形的角度存在缺失的情况下，将所述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为所述缺失角度。
作为一种可能的实施方式，所述方法还包括：
在检测到所述辅助三角形的角度存在缺失的情况下，获取所述原始图像数据的前后各m帧数据；
获得所述前后各m帧数据的关节特征向量，基于所述前后各m帧数据的关节特征向量和高斯滤波器计算获得所述缺失角度对应的新特征，所述M为正整数。
作为一种可能的实施方式，所述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。
作为一种可能的实施方式，基于图像检测算法在所述原始图像数据中确定骨架关节点之前，所述方法还包括：获取所述原始图像数据的分类检测标签，确定所述分类检测标签对应的待检测关节点的类型和数量；
所述基于图像检测算法在所述原始图像数据中确定骨架关节点包括：
基于图像检测算法在所述原始图像数据中确定满足所述类型和所述数量的 骨架关节点。
第二方面，本申请实施例提供了一种终端设备，包括：节点检测模块、特征转换模块和识别模块，其中：
节点检测模块，用于获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；
特征转换模块，用于基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；
识别模块，用于基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果。
第三方面，本申请实施例还提供了一种终端设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面及其任一种可能的实施方式所述的方法。
第四方面，本申请实施例提供了一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面及其任一种可能的实施方式的方法。
本申请实施例通过在原始图像数据中获取骨架关节点的关节点坐标，对上述关节点坐标进行转换，获得关节特征向量，再基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。
附图说明
图1是本申请实施例提供的一种基于骨架的行为检测方法的流程示意图；
图2是本申请另一实施例提供的一种基于骨架的行为检测方法的流程示意图；
图3是本申请实施例提供的一种终端设备的结构示意图；
图4是本申请实施例提供的另一种终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了能够更好地理解本申请实施例，下面将对应用本申请实施例的方法进行介绍。
本申请实施例中提到的终端设备是可以与服务器进行通信的设备，上述服务器也称伺服器，是提供计算服务的设备，可以允许多个终端设备进行访问。上述终端设备可以为移动终端，包括各种具有无线通信功能的手持设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)等等。
请参见图1，是本申请实施例提供的一种基于骨架的行为检测方法的示意流程图，如图1所示该方法可包括：
101、获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标。
本申请实施例中的原始图像数据可以理解为各种类型、格式、大小的图像，比如由终端设备摄像头拍摄的照片，主要针对的是包含人体的图像，用于对图像中的人体骨架进行识别。
本申请实施例中的图像检测算法可以基于OpenPose实现，其中，提到的OpenPose是卡内基梅隆大学的开源项目，OpenPose包含了对人脸关键点的定位，人手的关键点的定位以及人身体的各个关节的定位，目的是把人体姿态作为一个整体来处理，它可以用来实时的追踪和检测多人的特征点，最初用OpenCV和Caffe实现。OpenPose可以同时定位130个人脸、人体、手上的特征点的系统，以前人脸特征点的定位、身体关节的定位是不同的研究者在不同的系统算法里实现的。
具体的，可以在上述原始图像数据中识别出骨架关节点，以OpenPose采用18个二维坐标点表示骨架关节点，相应的，每个关节点坐标可以表示为(x i,y i)，其中i＝1,2，...，18。
可选的，上述骨架关节点的坐标也可以是三维坐标，可以使用kinect等工具进行获取。
在获取到上述骨架关节点的关节点坐标之后，可以执行步骤102。
102、基于预设转换规则针对上述关节点坐标进行转换，获得关节特征向量。
具体的，终端设备中可以存储有上述预设转换规则，上述预设转换规则为关节点坐标与关节特征向量间的转换规则，在获得上述关节点坐标之后，通过上述预设转换规则进行转换，获得上述关节特征向量，其中，上述关节特征向量可以理解为表示骨架的位置特征，即可以为后续动作分类识别的依据。
可选的，可以以每三个上述关节点坐标构成预设规格的辅助三角形，获得上述辅助三角形的角度，此处可以称为关节角度。基于组合出的关节角度，可以采用多种方法构建骨架的关节特征向量。
比如，其中一种方法是选取上述辅助三角形三个角度的平均值，并对上述关节角度进行由大到小的排序，即可以获得多维度的关节特征向量。
在获得关节特征向量之后，可以执行步骤103。
103、基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。
具体的，获得关节角度之后，可以将上述关节特征向量作为特征，使用上述图像分类算法进行学习、分类，识别出原始图像数据中存在的人体行为。人体行为识别目前处在动作识别阶段，而动作识别可以看成是特征提取和分类器设计相结合的过程。本申请实施例中的关节坐标点提取可以理解为特征提取过程中的一部分，特征提取受到遮挡、动态背景、移动摄像头、视角和光照变化等因素的影响而具有很大的挑战性。上述图像分类算法可以依据上述关节特征向量，针对原始图像数据中的动作进行分类识别。
经过前述步骤，原始图像数据中的关节特征已经被处理成特征向量的形式：feature＝[x 1,x 2,...,x 816]，上述关节特征对应的标签可以由人工进行标注，进而可以使用上述图像分类算法，如包括随机森林算法、支持向量机(Support Vector Machine，SVM)方法、梯度提升树算法(Gradient Boosting Decison Tree，GBDT)、神经网络算法中的任意一种或者多种，来进行分类识别，可以获得上述行为检测结果。
本申请实施例中提到的随机森林指的是利用多棵树对样本进行训练并预测的一种分类器；支持向量机是常见的一种判别方法，在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。
本申请实施例中提到的邻近算法，或者说K最近邻(k-NearestNeighbor，kNN)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来 决定待分样本所属的类别。kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
可选的，在使用SVM、KNN等分类算法时，最好确保输入的特征向量的维度一致，因此对于上文中多维度的关节特征向量，在图像有遮挡，造成关节部位不全时，需要对上述关节特征向量进行补全。同样也有多种方法可以对上述关节特征向量进行补全，其中一种方法就是尽量弱化缺失关节，也即：将缺失关节角度设为0；另一种方法可以包括：以检测到的关节角度的平均值代替缺失的关节角度。
如果是短暂性缺失，可以和关节点抖动的情况相同处理，将关节点坐标通过高斯滤波器，以时序上多帧数据来拟合缺失坐标。
如果是关节部位在画面外造成长期缺失，也即多帧数据都缺失，这种情况下，不能补全关节点坐标，可以对特征向量进行填0(补充到预设维度)。比如，需要18个关节点但只有15个关节点，那么
Figure PCTCN2019088798-appb-000001
只能得到455维的关节特征向量，就需要在最后填冲816-455＝361个0，因为在判断时，对关节特征向量中的值进行了从大到小的排列，所以希望分类算法能够尽量学习到较大角度的特征，从而填0在一定程度上不会影响分类器判断，保证了一定的准确性。
本申请实施例通过获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果，可以较好地实现应对关节遮挡问题的骨架行为检测，检测准确率高、鲁棒性强。
参见图2，是本申请实施例提供的另一种基于骨架的行为检测方法的示意流程图，图2所示的实施例可以是在图1所示的实施例的基础上得到的，如图2所示该方法可包括：
201、获取原始图像数据，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量。
本申请实施例中，在图1所示实施例的基础上，确定需要的骨架关节点时，可以引入上述分类检测标签，上述分类检测标签可以在获取上述原始图像数据 时同时获取，也可以由用户操作选取，终端设备中可以存储有分类检测标签与待检测关节点的类型和数量的对应关系，即在已知原始图像数据的分类检测标签时可以确定本次待检测关节点的类型和数量，进而可以执行步骤202。
202、基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点，获取上述骨架关节点的关节点坐标。
具体的，可以通过优化特征来提升本申请实施例中的识别效果。以上述待检测关节点的类型和数量为准，检测出满足上述类型和上述数量的骨架关节点来进行关节点坐标的获取。
可选的，可以对本申请实施例的处理结果进行数据准确率验证。比如，一般情况下将18个关节点坐标进行特征提取后，可以得到816维的feature＝[x 1,x 2,...,x 816]，进而可以使用具有1000颗树的随机森林进行分类，可以得到84.39％的准确率。在本申请实施例中，举例来讲，根据经验，手臂位置对站立、下蹲、跌倒的行为检测识别作用较小，在因此检测过程中可以去掉左右手肘和手腕共4个关节，获取剩下的14个骨架关节点，特征维度从原本的变成了共
Figure PCTCN2019088798-appb-000002
进而在步骤205中采用相同的随机森林模型，可以得到89.45％的准确率，可见进一步提高了检测准确度。
其中，上述步骤201和步骤202中骨架关节点的确定和关节点坐标的获取还可以参考图1所示实施例的步骤101中的具体描述，此处不再赘述。
在获取到上述关节点坐标之后可以执行步骤203。
203、以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度，上述N为正整数。
本申请实施例以18个关节点坐标为例进行说明，其中，从18个关节点坐标中，选出了每三个关节点的所有组合，共
Figure PCTCN2019088798-appb-000003
个，即上述N＝816，利用上述关节点坐标的组合，可以求出所组合成的辅助三角形的角度分别是
Figure PCTCN2019088798-appb-000004
其中k＝1,2，...，816，特殊情况下，当3个关节点近似处于一条直线时，上述角度可以分别为0，0，180。
在获得上述N个辅助三角形中每个辅助三角形的三个角度之后，可以执行步骤204。
204、将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量。
具体的，终端设备中可以存储有预设构建规则，上述预设构建规则可以理解为辅助三角形的角度与关节特征向量间的转换规则，在获得上述每个辅助三角形的三个角度之后，通过上述预设构建规则构建骨架的关节特征向量，其中，上述每个辅助三角形的三个角度可以作为向量坐标，上述关节特征向量即可以为后续动作分类识别的依据。
基于上述组合出的辅助三角形的角度，可以采用多种方法构建骨架的特征表示向量，可选的，可以包括：
将上述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；
获得上述每个辅助三角形的三个角度的平均值，根据上述平均值由大到小的顺序对上述N个第一向量进行排序，获得多维度的上述关节特征向量。
具体的，上述N个辅助三角形中每个辅助三角形的三个角度可以表示为
Figure PCTCN2019088798-appb-000005
可以分别作为N个第一向量的坐标
Figure PCTCN2019088798-appb-000006
其中k＝1,2，...，816，
可以获得上述每个辅助三角形的三个角度的平均值，对共816个第一向量进行由大到小的顺序排序，此时骨骼的关节特征向量为816维：
Figure PCTCN2019088798-appb-000007
可选的，在以每三个关节点坐标为顶点确定预设规格的N个辅助三角形之后，在检测到上述辅助三角形的角度存在缺失的情况下，将上述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为上述缺失角度。
可选的，在检测到上述辅助三角形的角度存在缺失的情况下，获取上述原始图像数据的前后各m帧数据；
获得上述前后各m帧数据的关节特征向量，基于上述前后各m帧数据的关节特征向量和高斯滤波器计算获得上述缺失角度对应的新特征，上述M为正整数。
具体的，行为检测中“行为”是一个时序过程，是一个时间阶段的关节位置的组合，因此为了提高判断准确性、也为了过滤识别错位的噪音，本申请实施例可以增加对多帧数据的处理，可以通过高斯滤波器实现。具体的，假设在检测到上述辅助三角形的角度存在缺失，即具体表现为某一时间点有标注数据(原始图像数据)，其特征为feature k，可以取其前后各m帧数据的特征，以高 斯函数计算第k帧的更新特征。
其中，上述高斯函数及状态分布，公式如下：
Figure PCTCN2019088798-appb-000008
假设取m＝3,σ＝1，μ＝0，x每次变化0.5，于是有：
Figure PCTCN2019088798-appb-000009
也即是：
Figure PCTCN2019088798-appb-000010
在执行步骤205时，最好确保输入的特征向量的维度一致，因此对于上文中多维度的关节特征向量，在图像有遮挡，造成关节部位不全时，需要对上述关节特征向量进行补全。同样也有多种方法可以对上述关节特征向量进行补全，其中一种方法就是尽量弱化缺失关节，也即：将缺失关节角度设为0；另一种方法可以包括：以检测到的关节角度的平均值代替缺失的关节角度。
如果是短暂性缺失，可以和关节点抖动的情况相同处理，将关节点坐标通过上述高斯滤波器，以时序上多帧数据来拟合缺失坐标。
如果是关节部位在画面外造成长期缺失，也即多帧数据都缺失，这种情况下，不能补全关节点坐标，可以对特征向量进行填0(补充到预设维度)。比如，需要18个关节点但只有15个关节点，那么
Figure PCTCN2019088798-appb-000011
只能得到455维的关节特征向量，就需要在最后填冲816-455＝361个0，因为在判断时，对关节特征向量中的值进行了从大到小的排列，所以希望分类算法能够尽量学习到较大角度的特征，从而填0在一定程度上不会影响分类器判断，保证了一定的准确性。
在获得上述关节特征向量之后，可以执行步骤205。
205、基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。
其中，上述步骤205可以参考图1所示实施例中步骤103中的具体描述， 此处不再赘述。
基于图像或深度信息的人体骨架识别已经有丰富的应用，如Kinect、Leap Motion等，基于骨架的行为检测方法，在监控、游戏、机器人、人机交互等领域的应用也非常广泛，市面上现有的基于骨架的行为检测方法大体可以分为以下几类：
利用识别到的关节点坐标，基于人工制定的规则，进行行为检测；
利用骨架关节点坐标，利用坐标点进行聚类或分类；
利用长短期记忆网络(Long Short-Term Memory，LSTM)、循环神经网络(Recurrent Neural Network，RNN)等深度学习模型，对骨架信息进行分类；
在使用过程中，以上方法的识别基于骨架关节点坐标，因此需要将关节点固定，如脖子为0，左肩为1，右肩为2等等，并且对有遮挡的情况识别效果不好。另外方法1、2具有准确度不高、鲁棒性低等缺点，方法3准确度高，计算资源占用过多等缺点。
使用本申请实施例提出的方法，不需要固定关节点，能较好的应对关节遮挡情况，实现骨架行为检测，并且考虑了所有关节组合情况，并且具有鲁棒性强的特点。
鲁棒是Robust的音译，也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。
本申请实施例适用于包含人体结构的图像进行基于骨架的行为检测。可选的，上述骨架识别获得检测结果之后可以判断人体的行为，因此可以将所述方案应用于图像或者视频拍摄功能中，进行动作识别或者美颜矫正，比如，通过上述方案识别骨架、动作，确认人体姿势，进行辅助修图，如拉长骨架等。
并且，在公共安全领域，使用上述算法进行自动的行为检测，可以进行犯罪预测、报警救助等功能。
本申请实施例中，通过获取原始图像数据，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量，基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点，获取上述骨架关节点的关节点坐标，再以每三个上述关节点坐标为顶点确 定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度，上述N为正整数，进一步的，可以将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量，可以基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以较好地实现应对关节遮挡问题的骨架行为检测，检测准确率高、鲁棒性强。
请参见图3，图3是本申请实施例提供的一种终端设备的结构示意图，该终端设备300包括节点检测模块310、特征转换模块320和识别模块330，其中：
节点检测模块310，用于获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；
特征转换模块320，用于基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；
识别模块330，用于基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果。
可选的，上述特征转换模块320，具体用于：
以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形，获得上述N个辅助三角形中每个辅助三角形的三个角度；
将上述每个辅助三角形的三个角度作为向量坐标，构建上述关节特征向量，上述N为正整数。
可选的，上述特征转换模块320，具体还用于：
将上述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；
获得上述每个辅助三角形的三个角度的平均值，根据上述平均值由大到小的顺序对上述N个第一向量进行排序，获得多维度的上述关节特征向量。
可选的，上述终端设备300还包括检测模块340，用于在以每三个上述关节点坐标为顶点确定预设规格的N个辅助三角形之后，在检测到上述辅助三角形的角度存在缺失的情况下，将上述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为上述缺失角度。
可选的，上述检测模块340还用于：
在检测到上述辅助三角形的角度存在缺失的情况下，获取上述原始图像数据的前后各m帧数据；
获得上述前后各m帧数据的关节特征向量，基于上述前后各m帧数据的关节特征向量和高斯滤波器计算获得上述缺失角度对应的新特征，上述M为正整数。
可选的，上述上述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。
可选的，上述终端设备300还包括确定模块350，用于在基于图像检测算法在上述原始图像数据中确定骨架关节点之前，获取上述原始图像数据的分类检测标签，确定上述分类检测标签对应的待检测关节点的类型和数量；
上述节点检测模块310具体用于，基于图像检测算法在上述原始图像数据中确定满足上述类型和上述数量的骨架关节点。
根据本申请实施例的具体实施方式，图1与图2所示的基于骨架的行为检测方法涉及的步骤101～103、201～205可以是由图3所示的终端设备300中的各个模块来执行的。例如，图1中的步骤101～103可以分别由图3中所示的节点检测模块310、特征转换模块320和识别模块330来执行。
通过本申请实施例的终端设备300，终端设备300可以获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。
请参阅图4，图4是本申请实施例公开的另一种终端设备的结构示意图。如图4所示，该终端设备400包括处理器401和存储器402，其中，终端设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，终端设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。
应当理解，在本申请实施例中，所称处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备402可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备403可以包括显示器(LCD等)、扬声器等。
该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如，存储器404还可以存储设备类型的信息。
通过本申请实施例的终端设备400，终端设备400可以获取原始图像数据，基于图像检测算法在上述原始图像数据中确定骨架关节点，获取上述骨架关节点的关节点坐标；基于预设转换规则对上述关节点坐标进行转换，获得关节特征向量；基于图像分类算法和上述关节特征向量对上述原始图像数据进行分类识别，获得行为检测结果，可以提高骨架行为检测的准确率和鲁棒性。
本申请实施例还提供一种计算机非易失性可读存储介质，其中，该计算机非易失性可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于骨架的行为检测方法的部分或全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (20)

  1. 一种基于骨架的行为检测方法，其特征在于，所述方法包括：
    获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；
    基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；
    基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果。
  2. 根据权利要求1所述的方法，其特征在于，所述基于预设转换规则针对所述关节点坐标进行转换，获得关节特征向量包括：
    以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度；
    将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量，所述N为正整数。
  3. 根据权利要求2所述的方法，其特征在于，所述将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量包括：
    将所述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；
    获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的所述关节特征向量。
  4. 根据权利要求2或3所述的方法，其特征在于，所述以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，所述方法还包括：
    在检测到所述辅助三角形的角度存在缺失的情况下，将所述辅助三角形的缺失角度设置为0。
  5. 根据权利要求2或3所述的方法，其特征在于，所述以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，所述方法还包括：
    在检测到所述辅助三角形的角度存在缺失的情况下，将不存在角度缺失的辅助三角形的角度平均值作为所述缺失角度。
  6. 根据权利要求5所述的方法，其特征在于，每个所述关节特征向量的维度相同。
  7. 根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
    在检测到所述辅助三角形的角度存在缺失的情况下，获取所述原始图像数据的前后各m帧数据；
    获得所述前后各m帧数据的关节特征向量，基于所述前后各m帧数据的关节特征向量和高斯滤波器计算获得所述缺失角度对应的新特征，所述M为正整数。
  8. 根据权利要求7所述的方法，其特征在于，所述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。
  9. 根据权利要求1-8任一项所述的方法，其特征在于，基于图像检测算法在所述原始图像数据中确定骨架关节点之前，所述方法还包括：获取所述原始图像数据的分类检测标签，确定所述分类检测标签对应的待检测关节点的类型和数量；
    所述基于图像检测算法在所述原始图像数据中确定骨架关节点包括：
    基于图像检测算法在所述原始图像数据中确定满足所述类型和所述数量的骨架关节点。
  10. 一种终端设备，其特征在于，包括：节点检测模块、特征转换模块和识别模块，其中：
    节点检测模块，用于获取原始图像数据，基于图像检测算法在所述原始图像数据中确定骨架关节点，获取所述骨架关节点的关节点坐标；
    特征转换模块，用于基于预设转换规则对所述关节点坐标进行转换，获得关节特征向量；
    识别模块，用于基于图像分类算法和所述关节特征向量对所述原始图像数据进行分类识别，获得行为检测结果。
  11. 根据权利要求10所述的终端设备，其特征在于，所述特征转换模块，具体用于：
    以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形，获得所述N个辅助三角形中每个辅助三角形的三个角度；
    将所述每个辅助三角形的三个角度作为向量坐标，构建所述关节特征向量，所述N为正整数。
  12. 根据权利要求11所述的终端设备，其特征在于，所述特征转换模块，具体还用于：
    将所述N个辅助三角形中每个辅助三角形的三个角度作为一个第一向量的坐标，得到N个第一向量的坐标；
    获得所述每个辅助三角形的三个角度的平均值，根据所述平均值由大到小的顺序对所述N个第一向量进行排序，获得多维度的所述关节特征向量。
  13. 根据权利要求11或12所述的终端设备，其特征在于，所述终端设备还包括检测模块，用于：
    在以每三个所述关节点坐标为顶点确定预设规格的N个辅助三角形之后，在检测到所述辅助三角形的角度存在缺失的情况下，将所述辅助三角形的缺失角度设置为0，或者将不存在角度缺失的辅助三角形的角度平均值作为所述缺失角度。
  14. 根据权利要求11或12所述的终端设备，其特征在于，所述终端设备还包括检测模块，用于：
    在检测到所述辅助三角形的角度存在缺失的情况下，将不存在角度缺失的辅助三角形的角度平均值作为所述缺失角度。
  15. 根据权利要求14所述的终端设备，其特征在于，每个所述关节特征向量的维度相同。
  16. 根据权利要求11或12所述的终端设备，其特征在于，所述检测模块还用于：
    在检测到所述辅助三角形的角度存在缺失的情况下，获取所述原始图像数据的前后各m帧数据；
    获得所述前后各m帧数据的关节特征向量，基于所述前后各m帧数据的关节特征向量和高斯滤波器计算获得所述缺失角度对应的新特征，所述M为正整数。
  17. 根据权利要求16所述的终端设备，其特征在于，所述图像分类算法包括随机森林算法、支持向量机方法、梯度提升树算法、神经网络算法中的任意一种或者多种。
  18. 根据权利要求10-17任一项所述的终端设备，其特征在于，所述终端设备还包括确定模块，用于在基于图像检测算法在所述原始图像数据中确定骨架关节点之前，获取所述原始图像数据的分类检测标签，确定所述分类检测标签对应的待检测关节点的类型和数量；
    所述节点检测模块具体用于，基于图像检测算法在所述原始图像数据中确定满足所述类型和所述数量的骨架关节点。
  19. 一种终端设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-9任一项所述的方法。
  20. 一种计算机非易失性可读存储介质，其特征在于，所述计算机非易失性可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。
PCT/CN2019/088798 2018-11-26 2019-05-28 基于骨架的行为检测方法、终端设备及计算机存储介质 Ceased WO2020107833A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811421202.8 2018-11-26
CN201811421202.8A CN109508688B (zh) 2018-11-26 2018-11-26 基于骨架的行为检测方法、终端设备及计算机存储介质

Publications (1)

Publication Number Publication Date
WO2020107833A1 true WO2020107833A1 (zh) 2020-06-04

Family

ID=65750550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088798 Ceased WO2020107833A1 (zh) 2018-11-26 2019-05-28 基于骨架的行为检测方法、终端设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN109508688B (zh)
WO (1) WO2020107833A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914643A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种基于骨骼关键点检测的人体动作识别方法
CN111967355A (zh) * 2020-07-31 2020-11-20 华南理工大学 一种基于肢体语言的服刑人员越狱意图评估方法
CN112270276A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN112402973A (zh) * 2020-11-18 2021-02-26 芯勍(上海)智能化科技股份有限公司 模型细节判断方法、终端设备及计算机可读存储介质
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112580543A (zh) * 2020-12-24 2021-03-30 四川云从天府人工智能科技有限公司 行为识别方法、系统及装置
CN112734886A (zh) * 2021-01-08 2021-04-30 北京爱奇艺科技有限公司 生物体模型穿模检测方法、装置、电子设备及存储介质
CN113688790A (zh) * 2021-09-22 2021-11-23 武汉工程大学 一种基于图像识别的人体动作预警方法及系统
CN113903083A (zh) * 2021-12-13 2022-01-07 中科视语(北京)科技有限公司 行为识别方法、装置、电子设备以及存储介质
CN113920326A (zh) * 2021-09-10 2022-01-11 浙江汉德瑞智能科技有限公司 基于人体骨骼关键点检测的摔倒行为识别方法
CN114266691A (zh) * 2020-09-16 2022-04-01 富士通株式会社 过滤方法、过滤程序和过滤装置
CN114283491A (zh) * 2020-09-27 2022-04-05 阿里巴巴集团控股有限公司 运动对象动作识别方法、装置及设备、非易失性存储介质
CN114694257A (zh) * 2022-04-06 2022-07-01 中南大学 多人实时三维动作识别评估方法、装置、设备及介质
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115658820A (zh) * 2022-10-19 2023-01-31 阳光慧碳科技有限公司 一种数据处理的方法、装置、设备及存储介质
CN116777869A (zh) * 2023-06-19 2023-09-19 平安科技（深圳）有限公司 基于人工智能的图像检测方法、装置、设备及存储介质
CN117340914A (zh) * 2023-10-24 2024-01-05 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508688B (zh) * 2018-11-26 2023-10-13 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN110135249B (zh) * 2019-04-04 2021-07-20 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110264668A (zh) * 2019-07-10 2019-09-20 四川长虹电器股份有限公司 基于机器视觉技术的多策略老人看护方法
CN110532861B (zh) * 2019-07-18 2021-03-23 西安电子科技大学 基于骨架引导多模态融合神经网络的行为识别方法
CN110458046B (zh) * 2019-07-23 2020-11-24 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN110738124B (zh) * 2019-09-19 2023-08-22 平安科技（深圳）有限公司 基于关节点坐标的人体姿势识别方法及系统
CN110717550A (zh) * 2019-10-18 2020-01-21 山东大学 一种基于多模态图像缺失补全的分类方法
CN112699706B (zh) * 2019-10-22 2024-07-26 广州弘度信息科技有限公司 跌倒检测方法、系统和存储介质
CN111079536B (zh) * 2019-11-18 2023-08-29 高新兴科技集团股份有限公司 基于人体关键点时序的行为分析方法、存储介质及设备
CN113496176B (zh) * 2020-04-07 2024-05-14 深圳爱根斯通科技有限公司 动作识别方法、装置以及电子设备
CN111539349A (zh) * 2020-04-27 2020-08-14 平安国际智慧城市科技股份有限公司 姿态识别模型的训练方法及装置、姿态识别方法及其装置
CN111539352A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 一种判断人体关节运动方向的方法及系统
CN111611895B (zh) * 2020-05-15 2023-12-19 北京联合大学 一种基于OpenPose的多视角人体骨架自动标注方法
CN112308071B (zh) * 2020-11-02 2024-03-05 沈阳民航东北凯亚有限公司 一种行李托运的入侵检测方法、装置及电子设备
CN113409398B (zh) * 2021-06-04 2024-10-18 北京复数健康科技有限公司 基于图像识别进行数据映射的方法及系统
CN114708613B (zh) * 2022-03-25 2024-11-08 平安科技（深圳）有限公司 行为识别方法、行为识别装置、计算机设备和存储介质
CN114821771A (zh) * 2022-04-11 2022-07-29 影石创新科技股份有限公司 图像中的剪辑对象确定方法、视频剪辑方法及相关装置
CN115633956A (zh) * 2022-11-08 2023-01-24 华南理工大学 一种婴儿身高自动测量方法、系统、装置和存储介质
CN117173635A (zh) * 2023-09-20 2023-12-05 北京城建集团有限责任公司 一种机电模组运输跟踪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058709A1 (en) * 2009-01-30 2011-03-10 Microsoft Corporation Visual target tracking using model fitting and exemplar
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
CN108805058A (zh) * 2018-05-29 2018-11-13 北京字节跳动网络技术有限公司 目标对象变化姿态识别方法、装置及计算机设备
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740710B2 (en) * 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
CN104298990B (zh) * 2014-09-15 2017-12-22 西安电子科技大学 一种基于骨架图的快速图形匹配与识别的方法
KR102514697B1 (ko) * 2015-04-09 2023-03-29 한국전자통신연구원 골프 동작 분석 장치 및 방법
CN107301370B (zh) * 2017-05-08 2020-10-16 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法
CN108628306B (zh) * 2018-04-10 2021-06-25 平安科技（深圳）有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058709A1 (en) * 2009-01-30 2011-03-10 Microsoft Corporation Visual target tracking using model fitting and exemplar
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
CN108805058A (zh) * 2018-05-29 2018-11-13 北京字节跳动网络技术有限公司 目标对象变化姿态识别方法、装置及计算机设备
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914643A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种基于骨骼关键点检测的人体动作识别方法
CN111967355A (zh) * 2020-07-31 2020-11-20 华南理工大学 一种基于肢体语言的服刑人员越狱意图评估方法
CN111967355B (zh) * 2020-07-31 2023-09-01 华南理工大学 一种基于肢体语言的服刑人员越狱意图评估方法
CN114266691A (zh) * 2020-09-16 2022-04-01 富士通株式会社 过滤方法、过滤程序和过滤装置
CN114283491A (zh) * 2020-09-27 2022-04-05 阿里巴巴集团控股有限公司 运动对象动作识别方法、装置及设备、非易失性存储介质
CN112270276B (zh) * 2020-11-02 2022-05-06 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN112270276A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN112402973A (zh) * 2020-11-18 2021-02-26 芯勍(上海)智能化科技股份有限公司 模型细节判断方法、终端设备及计算机可读存储介质
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112580543A (zh) * 2020-12-24 2021-03-30 四川云从天府人工智能科技有限公司 行为识别方法、系统及装置
CN112580543B (zh) * 2020-12-24 2024-04-16 四川云从天府人工智能科技有限公司 行为识别方法、系统及装置
CN112734886A (zh) * 2021-01-08 2021-04-30 北京爱奇艺科技有限公司 生物体模型穿模检测方法、装置、电子设备及存储介质
CN113920326A (zh) * 2021-09-10 2022-01-11 浙江汉德瑞智能科技有限公司 基于人体骨骼关键点检测的摔倒行为识别方法
CN113688790A (zh) * 2021-09-22 2021-11-23 武汉工程大学 一种基于图像识别的人体动作预警方法及系统
CN113903083B (zh) * 2021-12-13 2022-05-27 中科视语(北京)科技有限公司 行为识别方法、装置、电子设备以及存储介质
CN113903083A (zh) * 2021-12-13 2022-01-07 中科视语(北京)科技有限公司 行为识别方法、装置、电子设备以及存储介质
CN114694257A (zh) * 2022-04-06 2022-07-01 中南大学 多人实时三维动作识别评估方法、装置、设备及介质
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115019261B (zh) * 2022-08-10 2022-10-28 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115658820A (zh) * 2022-10-19 2023-01-31 阳光慧碳科技有限公司 一种数据处理的方法、装置、设备及存储介质
CN116777869A (zh) * 2023-06-19 2023-09-19 平安科技（深圳）有限公司 基于人工智能的图像检测方法、装置、设备及存储介质
CN117340914A (zh) * 2023-10-24 2024-01-05 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统
CN117340914B (zh) * 2023-10-24 2024-05-14 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Also Published As

Publication number Publication date
CN109508688A (zh) 2019-03-22
CN109508688B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
WO2020107833A1 (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN110097051B (zh) 图像分类方法、装置及计算机可读存储介质
CN103984928B (zh) 基于景深图像的手指手势识别方法
CN106682602B (zh) 一种驾驶员行为识别方法及终端
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
JP7501747B2 (ja) 情報処理装置、制御方法、及びプログラム
CN114882437B (zh) 一种识别模型的训练方法、装置、电子设备和存储介质
KR20180104609A (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
CN110956060A (zh) 动作识别、驾驶动作分析方法和装置及电子设备
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
CN107862270A (zh) 人脸分类器训练方法、人脸检测方法及装置、电子设备
CN113269010B (zh) 一种人脸活体检测模型的训练方法和相关装置
CN117746400A (zh) 疲劳驾驶检测方法、装置、电子设备及存储介质
JP2023504319A (ja) 人体と人手を関連付ける方法、装置、機器及び記憶媒体
Yi et al. Long-range hand gesture recognition with joint ssd network
CN108154099A (zh) 一种人物识别方法、装置及电子设备
CN115082963A (zh) 人体属性识别模型训练及人体属性识别方法、相关装置
CN107223046A (zh) 智能导盲方法和装置
CN113469070A (zh) 车载人员数量检测方法、装置和服务器
CN111695419B (zh) 一种图像数据处理方法及相关装置
WO2018113206A1 (zh) 一种图像处理方法及终端
Tu et al. Face and gesture based human computer interaction
Dhamanskar et al. Human computer interaction using hand gestures and voice

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19888915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19888915

Country of ref document: EP

Kind code of ref document: A1