WO2021217848A1 - 人体摔倒检测方法、装置、计算机设备和存储介质 - Google Patents

人体摔倒检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021217848A1
WO2021217848A1 PCT/CN2020/098817 CN2020098817W WO2021217848A1 WO 2021217848 A1 WO2021217848 A1 WO 2021217848A1 CN 2020098817 W CN2020098817 W CN 2020098817W WO 2021217848 A1 WO2021217848 A1 WO 2021217848A1
Authority
WO
WIPO (PCT)
Prior art keywords
human body
posture
preset
picture
rectangular frame
Prior art date
Application number
PCT/CN2020/098817
Other languages
English (en)
French (fr)
Inventor
王丽华
龚连银
周宝
陈远旭
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021217848A1 publication Critical patent/WO2021217848A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Definitions

  • This application relates to the field of artificial intelligence, and in particular to a method, device, computer equipment, and storage medium for detecting a human body fall.
  • the main purpose of this application is to provide a human body fall detection method, device, computer equipment and storage medium, aiming to solve the existing technical problem of high complexity of algorithms when detecting human body fall by means of computer vision.
  • this application proposes a human body fall detection method, which includes the steps:
  • the center point coordinates (x1, y1) are the closest to the center coordinates (x2, y2) of the second smallest rectangular frame, which is recorded as the center coordinates (x3, y3);
  • the posture of the human body conforms to the preset falling posture, it is determined that the human body is in a falling state.
  • This application also provides a human body fall detection device, including:
  • the first obtaining unit is used to obtain the picture to be analyzed
  • the first detection unit is used to detect whether there is a human figure in the picture
  • the first marking unit is used to mark the first smallest rectangular frame circumscribed by the portrait if there is a portrait in the picture;
  • the second obtaining unit is configured to obtain the center point coordinates (x1, y1) of the first minimum rectangular frame, and the length h and width of the first minimum rectangular frame using the preset point in the picture as the origin w, where the direction along the y-axis is the length direction, and the direction along the x-axis is the width direction;
  • the first judgment unit is used to judge whether the value of h/w is less than or equal to 1;
  • the second detection unit is configured to detect whether there is at least one preset physical device in the picture if the value of h/w is less than or equal to 1.
  • the second marking unit is configured to, if there is at least one of the physical devices, mark the external second smallest rectangular frame of each physical device, and obtain the center coordinates (x2, y2) of each of the second smallest rectangular frames;
  • the calculation unit is configured to calculate the distance between the center point coordinates (x1, y1) of the first smallest rectangular frame and the center coordinates (x2, y2) of each of the second smallest rectangular frames, and select The center coordinates (x1, y1) of a smallest rectangular frame are the center coordinates (x2, y2) of the nearest second smallest rectangular frame, which are recorded as center coordinates (x3, y3);
  • the second determining unit is configured to determine whether the center point coordinates (x1, y1) of the first smallest rectangular frame are higher than the center coordinates (x3, y3);
  • the third determining unit is configured to determine whether the posture of the human body meets the preset falling posture if the center point coordinates (x1, y1) are lower than the center coordinates (x3, y3);
  • the determining unit is configured to determine that the human body is in a falling state if the posture of the human body conforms to the preset falling posture.
  • the present application also provides a computer device, including a memory and a processor, the memory stores a computer program, and the processor implements a human body fall detection method when the computer program is executed.
  • the method includes the steps:
  • the center point coordinates (x1, y1) are the closest to the center coordinates (x2, y2) of the second smallest rectangular frame, which is recorded as the center coordinates (x3, y3);
  • the posture of the human body conforms to the preset falling posture, it is determined that the human body is in a falling state.
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, a method for detecting a fall of a human body is realized.
  • the method includes the steps:
  • the center point coordinates (x1, y1) are the closest to the center coordinates (x2, y2) of the second smallest rectangular frame, which is recorded as the center coordinates (x3, y3);
  • the posture of the human body conforms to the preset falling posture, it is determined that the human body is in a falling state.
  • the human fall detection method, device, computer equipment, and storage medium of the present application are judged three times.
  • the first time is to judge whether the ratio of the length to the width of the first smallest rectangular frame satisfies the condition of less than or equal to 1, and if so, proceed to the first
  • the second judgment is to judge whether the center point coordinates (x1, y1) of the first smallest rectangular frame are higher than the center coordinates (x3, y3) of the second smallest rectangular frame of the physical device. If not, perform the third judgment.
  • this application has passed the above three judgments, the judgment algorithm is simple, and the accuracy of the judgment result is high.
  • FIG. 1 is a schematic flowchart of a method for detecting a fall of a human body according to an embodiment of the application
  • FIG. 2 is a schematic block diagram of the structure of a human fall detection device according to an embodiment of the application.
  • FIG. 3 is a schematic block diagram of the structure of a computer device according to an embodiment of the application.
  • an embodiment of the present application provides a human body fall detection method, including the steps:
  • the above-mentioned picture to be analyzed refers to an electronic picture that needs to be analyzed whether someone has fallen, and it can be any electronic picture.
  • step S2 it is the step of detecting whether there is a portrait in the picture.
  • the method for detecting whether there is a portrait in the picture can use any of the existing technologies.
  • the image target detection method can be used to apply a deep convolutional neural network.
  • YoloV3 performs human body detection in images; the YoloV3 network uses pre-trained network weights (available on the Internet) through the COCO data set to detect person, chair, couch and bed objects, and mark their outer smallest rectangular box; It has the characteristics of fast detection speed and high precision, so I won't repeat it here.
  • step S3 there may or may not be a portrait in the above picture.
  • the first smallest circumscribed rectangular frame of the portrait is marked, and the circumscribed first smallest rectangular frame refers to the smallest rectangular frame that can enclose the portrait.
  • a two-dimensional rectangular coordinate system is established with any point in the picture, and then the center point coordinates (x1, y1) of the first smallest rectangular frame, and the length h and width w of the rectangular frame are calculated.
  • the y1 of the center point coordinates (x1, y1) can reflect the height of the center point of the portrait.
  • the value of h/w is calculated. If the value of h/w is greater than 1, it means that the portrait is in a non-falling state such as standing or squatting.
  • the value of h/w is less than or equal to 1, it means that the portrait has It may be a prone posture of a fall, which requires further determination.
  • the length h represents the current highest height of the person from the ground
  • the width w represents the current maximum width of the person
  • the value of h/w is used to determine whether the person is currently lying on the ground. For example, if the value of h/w is equal to or less than 1, in this application, the person is considered to have fallen, because the height is less than or equal to the width, which is obviously not the ratio of the height to the width of a normal person. If it is greater than 1, it is considered that the person has not fallen.
  • the above-mentioned physical devices generally include indoor resting objects such as beds, chairs, sofas, etc. These physical devices can be identified in the picture through the feature extraction method of the existing neural network learning, and the same can be connected externally.
  • the smallest rectangular frame is marked, and the center coordinates (x2, y2) of the second smallest rectangular frame of each physical device are calculated.
  • calculate the physical device closest to the human body that is, the physical device corresponding to the smallest value among the center point coordinates (x1, y1) and each of the center coordinates (x2, y2)
  • the method of calculating the distance can be realized with a simple trigonometric function.
  • steps S9 and S10 are the steps of judging whether the center point coordinates (x1, y1) are higher than (x3, y3). If they are higher, it means that the center of the human body is higher than the center point of the first physical device. It is lying on the first physical device, not lying on the ground. If it is lower than, it means that the human body may be lying on the ground and there is a possibility of falling, so further determination is needed.
  • (x3, y3) are the center coordinates of the first physical device
  • (x1, y1) are the center coordinates of the person.
  • the coordinate y3 indicates that the current position of the person is higher than the physical device. It can be judged that the person is not on the ground, because in real life, physical devices such as tables, chairs, and beds have height.
  • the center coordinate of the human body is higher than the center of the physical device, indicating that the human body may be lying on the physical device. For example, if a person is lying on a bed, the center of the person is in the same coordinate system, and its height must be higher than the center of the bed (not examining the head of the bed). At this time, even if the value of h/w is less than It is equal to 1, it has been determined that the person is lying down, and it will not be determined that the person is falling, but that the person is lying on the bed and so on.
  • the above preset falling posture refers to a collection of postures that may exist after the human body falls. It can be synthesized through a large number of samples, or through some rules, which is not done in this embodiment. Specific restrictions. When the posture of the human body meets the aforementioned preset falling posture, it is determined that the human body has fallen.
  • the detection method of this application is simpler, because the length and width are compared in the detection process, and the height of the preset physical device is compared, and finally compared with the preset fall posture, so the detection The accuracy is also relatively higher.
  • the step S10 of judging whether the posture of the human body meets the preset falling posture includes:
  • S102 Determine whether the first included angle and/or the second included angle is greater than a preset angle
  • the method for obtaining the first included angle between the left thigh and the left calf and the second included angle between the right thigh and the right calf in the portrait may be: using OpenPose deep convolutional neural network. Key node extraction, the network pre-training weights can also be downloaded on the Internet, and then the left and right hip joint nodes and the corresponding left and right knee joint nodes are formed into vectors, and the left and right knee joint nodes are connected to the left and right ankle joints. The nodes form a vector, and then the angle between the two vectors on the same side is calculated separately. The calculation can use the law of cosines:
  • a and b are vectors, and ab represents the inner product of vectors.
  • the law of cosines calculates that some angles are in radians, which can be:
  • the above-mentioned preset angle is generally 90 degrees, or an angle near 90 degrees, such as 85 degrees, 100, etc., because when the human body falls, the angle between the thigh and the calf of at least one leg is generally greater than 90 degrees, so Once the angle of the thigh and calf of one leg is greater than the preset angle, it can be determined that the posture of the human body conforms to the preset falling posture.
  • the method further includes:
  • the guardian will be notified of the result of the fall so that the guardian can make corresponding rescue actions.
  • the way to notify the guardian can be email, text message, phone call, etc.
  • the method further includes:
  • a voice determination is initiated, where the voice determination includes a sentence asking whether to fall down, and after receiving the questioning sentence.
  • the speech within a specified time, and the semantics of the speech are parsed, and whether the human body falls down is determined through the semantics.
  • an inquiry method will be initiated to determine, such as "whether you fell, whether you need help", etc. Inquiry, and then receive the feedback voice signal of the human body, convert the received voice signal into text, perform semantic analysis on the text, etc., and finally determine whether the human body has fallen based on the semantics, which further improves the accuracy and practicability of the judgment.
  • the picture is a certain frame picture in the video stream. If the posture of the human body meets the preset falling posture, after the step S11 of determining that the human body is in a falling state, further include:
  • the above-mentioned specified interval means that one frame is selected as an auxiliary picture after each specified number of frames, for example, one auxiliary picture is selected to be read at an interval of 24 frames, etc.
  • the number of auxiliary pictures can be selected according to requirements. For example, if the video stream plays 30 frames per second, then if you get 5 auxiliary pictures for 5 seconds, you will get one auxiliary picture after every 29 frames. If these 5 auxiliary pictures all reflect that the human body is in a state of falling, it means that the human body has really fallen and has not stood up for at least 5 seconds, indicating that the human body has fallen seriously, so notify the guardian.
  • the way to notify the guardian can be email, text message, phone call, etc.
  • the method for judging whether the human body in the auxiliary picture is in a falling state is the same as the above-mentioned human fall detection method.
  • the main body of the above-mentioned video stream collection is a mobile robot; the step S1 of obtaining the picture to be analyzed includes:
  • S1b Determine whether the sound information contains a preset falling sound
  • the above-mentioned robot is an intelligent robot with the ability to process data, or a robot that can receive control instructions to move. For example, it can process data through the collected sound, or it can process the collected sound. Or the video is sent to the server, and the server performs data processing, and then feeds back the control command to control the robot, etc.
  • the execution body is a robot, and the robot has data processing capabilities; in another embodiment, the execution body is a server, and the server and the robot are connected through a 5G network, and the server performs data processing because it is connected to the 5G network and does not There will be a delay, and there is a server for data processing, and its ability and speed to process data is faster.
  • Type of fall form a training sample, and then select a convolutional neural network (CNN) for training to obtain a neural network model that recognizes the sound of falling.
  • CNN convolutional neural network
  • the specific training process will not be repeated here.
  • the robot is controlled to collect the video stream from the position of the camera toward the sound source, and select one of the frames as the above-mentioned picture for analysis. In this way, there is no need to acquire pictures all the time, but only after the falling sound is acquired, image analysis will be performed, which saves computing resources and improves the accuracy of fall detection.
  • step S2 of detecting whether there is a human figure in the picture is followed by:
  • control the robot to adjust the position so that the distance between the robot and the position of the sound source is a preset value.
  • the problem of human image clarity is solved by adjusting the distance between the robot and the sound source position.
  • the method is simple and easy to implement.
  • the camera does not need to perform zoom processing, and the obtained picture has higher viewing angle consistency.
  • the distance between the robot and the position of the sound source is the preset value, return to the above step S1 to obtain the picture again.
  • the human body fall detection method of the embodiment of the present application performs three judgments, the first time is to judge whether the ratio of the length to the width of the first smallest rectangular frame satisfies the condition of less than or equal to 1, and if so, the second judgment is performed, and the judgment is Whether the center point coordinates (x1, y1) of the first smallest rectangular frame are higher than the center coordinates (x3, y3) of the second smallest rectangular frame of the physical device, if not, perform the third judgment to determine the posture of the human body Whether it meets the preset falling posture, etc., this application has passed the above three judgments, the judgment algorithm is simple, and the accuracy of the judgment result is high.
  • the present application also provides a human body fall detection device, including:
  • the first obtaining unit 1 is configured to obtain a picture to be analyzed
  • the first detection unit 2 is used to detect whether there is a human figure in the picture
  • the first marking unit 3 is used for marking the first smallest rectangular frame circumscribed by the portrait if there is a portrait in the picture;
  • the second obtaining unit 4 is configured to obtain the center point coordinates (x1, y1) of the first minimum rectangular frame, and the length h and the length h of the first minimum rectangular frame using the preset point in the picture as the origin Width w, where the direction along the y-axis is the length direction, and the direction along the x-axis is the width direction;
  • the first judging unit 5 is used to judge whether the value of h/w is less than or equal to 1;
  • the second detecting unit 6 is configured to detect whether there is at least one preset physical device in the picture if the value of h/w is less than or equal to 1.
  • the second marking unit 7 is configured to, if there is at least one of the physical devices, mark the external second smallest rectangular frame of each physical device, and obtain the center coordinates (x2, y2) of each of the second smallest rectangular frames ;
  • the calculation unit 8 is configured to calculate the distance between the center point coordinates (x1, y1) of the first smallest rectangular frame and the center coordinates (x2, y2) of each of the second smallest rectangular frames, and select The center point coordinates (x1, y1) of the first smallest rectangular frame are closest to the center coordinates (x2, y2) of the second smallest rectangular frame, which are recorded as center coordinates (x3, y3);
  • the second determining unit 9 is configured to determine whether the center point coordinates (x1, y1) of the first smallest rectangular frame are higher than the center coordinates (x3, y3);
  • the third determining unit 10 is configured to determine whether the posture of the human body conforms to the preset falling posture if the center point coordinates (x1, y1) are lower than the center coordinates (x3, y3);
  • the determining unit 11 is configured to determine that the human body is in a falling state if the posture of the human body conforms to a preset falling posture.
  • the above determination unit 11 includes:
  • An included angle acquisition module for acquiring the first included angle between the left thigh and the left calf, and the second included angle between the right thigh and the right calf in the portrait;
  • An angle judgment module for judging whether the first included angle and/or the second included angle is greater than a preset angle
  • the determining module is configured to determine that the posture of the human body conforms to the preset falling posture if the first included angle and/or the second included angle are greater than a preset angle.
  • the human body fall detection device further includes:
  • the sending unit is configured to send information to a preset guardian if the first included angle and the second included angle are both greater than a preset angle.
  • the human body fall detection device further includes:
  • the voice determination unit is configured to initiate a voice determination if only one of the first included angle and the second included angle is greater than a preset angle, where the voice determination includes issuing a sentence asking whether to fall down, and receiving and sending The speech within a specified time after the query sentence, and the semantics of the speech are parsed, and whether the human body falls down is determined through the semantics.
  • the above-mentioned picture is a certain frame picture in a video stream
  • the above-mentioned human body fall detection device further includes:
  • An auxiliary judgment unit for judging whether the human body is in a falling state in multiple frames of auxiliary pictures consecutively specified at intervals in the video stream following the picture;
  • the result sending unit is configured to notify the guardian of the result of the fall if all the portraits in the auxiliary picture are determined to be in a falling state.
  • the subject of the above-mentioned video stream collection is a mobile robot;
  • the above-mentioned first acquisition unit 1 includes:
  • the collection module is used to collect sound information through the microphone array
  • the sound judgment module is used to judge whether the sound information contains a preset falling sound
  • a sound source localization module configured to perform sound source localization according to the falling sound to obtain the position of the sound source
  • the adjustment selection module is configured to adjust the camera of the robot to collect the video stream toward the position of the sound source to collect the video stream, and use one frame of the video stream collected after adjusting the position of the camera as the picture.
  • first detection unit 2 further includes:
  • the clarity judgment module is used to judge whether the clarity of the portrait meets the requirements
  • the position adjustment module is configured to control the robot to adjust the position if the requirement is not met, so that the distance between the robot and the position of the sound source is a preset value.
  • the foregoing units and modules are execution devices that implement the foregoing method embodiments, and are not explained one by one here.
  • an embodiment of the present application also provides a computer device.
  • the computer device may be a server, a mobile robot, etc., and its internal structure may be as shown in FIG. 3.
  • the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus. Among them, the processor designed by the computer is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, a computer program, and a database.
  • the memory provides an environment for the operation of the operating system and the computer program in the non-volatile storage medium.
  • the database of the computer equipment is used to store data such as pictures.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • FIG. 3 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
  • the embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile, and has a computer program stored thereon.
  • the computer program When the computer program is executed by a processor, the computer program can be The human fall detection method in any of the above embodiments is implemented.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual-rate data rate SDRAM (SSRSDRAM), enhanced SDRAM (ESDRAM), synchronous Link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种人体摔倒检测方法、装置、计算机设备和存储介质。该方法进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标（x1、y1）是否高于实体设备的第二最小矩形框的中心坐标（x3、y3），若否，则进行第三次判断，判断人体的姿态是否符合预设的摔倒姿态等。该方法经过上述三次判断，判断算法简单，判断结果的准确性较高。

Description

人体摔倒检测方法、装置、计算机设备和存储介质
本申请要求于2020年4月29日提交中国专利局、申请号为202010358863.1，发明名称为“人体摔倒检测方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及到人工智能领域，特别是涉及到一种人体摔倒检测方法、装置、计算机设备和存储介质。
背景技术
随着社会的高速发展，越来越多的人长期在外工作，家里经常只有老人或小孩。对于老人、小孩这种身体机能较弱的群体，在家中活动时很容易发生摔倒的意外。针对这种情况，有多种人体摔倒检测方法被提出。
这些人体摔倒检测方法可以分为两大类：
一类是借助室内大量传感器和可穿戴式设备，采集人体摔倒时加速度数据的方法，这类方法虽然检测准确，但是发明人发现其具有所需设备多、人体穿戴麻烦等缺点；另一类是借助计算机视觉方法，对视频图像进行实时处理，实现检测，这类方法，大多设备简单，只需一个摄像头，即可实现检测，但发明人发现其难以兼顾检测准确度，以及算法复杂度高等问题，要么牺牲准确度换取检测速度，要么牺牲检测速度换取准确度。
技术问题
本申请的主要目的为提供一种人体摔倒检测方法、装置、计算机设备和存储介质，旨在解决现有借助计算机视觉检测人体摔倒时算法复杂度高的技术问题。
技术解决方案
为了实现上述发明目的，本申请提出一种人体摔倒检测方法，包括步骤：
获取待分析的图片；
检测所述图片中是否有人像；
若有人像，则标注出人像的外接的第一最小矩形框；
以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
判断h/w的值是否小于等于1；
若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
本本申请还提供一种人体摔倒检测装置，包括：
第一获取单元，用于获取待分析的图片；
第一检测单元，用于检测所述图片中是否有人像；
第一标注单元，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
第二获取单元，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心 点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
第一判断单元，用于判断h/w的值是否小于等于1；
第二检测单元，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
第二标注单元，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算单元，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
第二判断单元，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
第三判断单元，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
判定单元，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种人体摔倒检测方法，该方法包括步骤：
获取待分析的图片；
检测所述图片中是否有人像；
若有人像，则标注出人像的外接的第一最小矩形框；
以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
判断h/w的值是否小于等于1；
若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种人体摔倒检测方法，该方法包括步骤：
获取待分析的图片；
检测所述图片中是否有人像；
若有人像，则标注出人像的外接的第一最小矩形框；
以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
判断h/w的值是否小于等于1；
若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
有益效果
本申请的人体摔倒检测方法、装置、计算机设备和存储介质，进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标(x1、y1)是否高于实体设备的第二最小矩形框的中心坐标(x3、y3)，若否，则进行第三次判断，判断所述人体的姿态是否符合预设的摔倒姿态等，本申请经过上述三次判断，判断算法简单，而且判断结果的准确性较高。
附图说明
图1为本申请一实施例的人体摔倒检测方法的流程示意图；
图2为本申请一实施例的人体摔倒检测装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
本发明的最佳实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种人体摔倒检测方法，包括步骤：
S1、获取待分析的图片；
S2、检测所述图片中是否有人像；
S3、若有人像，则标注出人像的外接的第一最小矩形框；
S4、以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
S5、判断h/w的值是否小于等于1；
S6、若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
S7、若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
S8、计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
S9、判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
S10、若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
S11、若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
如上述步骤S1，上述待分析的图片是指需要分析是否有人跌倒的电子图片，其可以是任意一张电子图片。
如上述步骤S2，是检测图片中是否具有人像的步骤，检测图片中是否具有人像的方法可以使用现有技术中的任意一种，比如，可以先通过图像目标检测方法，应用深度卷积神经网络YoloV3进行图像中人体检测；该YoloV3网络使用经过COCO数据集预训练的网络权重(可在网上下载获得)，可检测出person、chair、couch和bed物体，并标注出它们的外接最小 矩形框；其具有检测速度快，精度高等特点，再此不在赘述。
如上述步骤S3，上述图片中可能存在有人像，也可能没有人像，当图片中没有人像的时候，则停止继续执行下面的各步骤，节约计算资源。当有人像的时候，则标注出人像的外接的第一最小矩形框，该外接的第一最小矩形框是指能够包围人像的最小矩形框。
如上述步骤S4和S5,以图片中的任一点建立二维的直角坐标系，然后计算出第一最小矩形框的中心点坐标(x1、y1)，以及矩形框的长度h和宽度w。该中心点坐标(x1、y1)的y1，可以反映出人像中心点的高度。而通过分析长度h和宽度w，则可以判断出人像是站立还是躺卧的状态。在本实施例中，计算h/w的值，如果h/w的值大于1，则说明人像处于站立或者蹲坐等非摔倒的状态，如果h/w的值小于等于1，则说明人像有可能是摔倒的横卧姿态，需要进一步的判定。具体地，在一个实施例中，长度h代表人当前距离地面的最高高度，而宽度w则代表人当前的最大宽度，通过h/w的值，判断人当前是否是处于倒在地上。比如，h/w的值等于1或小于1，在本申请中则认为人跌倒，因为高度已经小于等于宽度了，则显然不是一个正常人的身高和宽度的比例。而大于1，则认为人没有跌倒。
如上述步骤S6-S8，上述实体设备一般包括床、椅子、沙发等室内休息用物体，可以通过现有的神经网络学习的特征提取方式，将这些实体设备在图片中识别出来，同样进行外接的最小矩形框的标注，以及计算出各实体设备的第二最小矩形框的中心坐标(x2、y2)。然后计算出距离人体距离最近的实体设备(即中心点坐标(x1、y1)和各所述中心坐标(x2、y2)距离中，最小值对应的实体设备)，因为在同一个坐标系中，且已经知道各坐标，所及计算距离的方法可以利用简单的三角函数即可实现。当确定距离人体最近的实体设备后，为了描述清晰，将该实体设备标记为第一实体设备，将其对应的中心坐标(x2、y2)标记为(x3、y3)。需要注意的是，本申请中的中心点坐标(x1、y1)和中心坐标(x2、y2)等位于同一坐标系中。
如上述步骤S9和S10，即为判断中心点坐标(x1、y1)是否高于(x3、y3)的步骤，如果高于，则说明人体的中心高于第一实体设备的中心点，人可能是躺卧在第一实体设备上，而不是躺卧在地面上。如果低于，则说明人体可能是躺卧在地面上，存在摔倒的可能，所以需要进一步地确定。在一个具体实施例中，(x3、y3)是第一实体设备的中心坐标，而(x1、y1)是人的中心坐标，当人的中心坐标的纵y1高于实体设备的中心坐标的纵坐标y3，则说明人当前的位置是高于实体设备的，可以由此判定，人没有倒在地面上，因为，在实际生活中，桌、椅、床等实体设备是有高度的，而当人体的中心坐标高于实体设备的中心，则说明人体可能是躺卧在实体设备上。举个例子，人躺在床上，此时人的中心位置在同一个坐标系中，其高度肯定高于床的中心位置(不考床的床头)，此时，即使h/w的值小于等于1，已经判定人是躺卧的状态，也不会判定人是跌倒状态，而是判定人躺卧在床上等。
如上述步骤S11，上述预设的摔倒姿态是指根据人体摔倒后可能存在的姿态的合集，可以通过大量的样本进行合成，也可以是通过某些规律合成，在本实施例中不做具体限定。当人体的姿态符合上述预设的摔倒姿态，则判定人体摔倒。
在本实施例中，只需要对一幅图片进行具体分析既可以判断出人体是否摔倒，不需要如现有技术一样，通过多帧连续的图片进行比对计算，然后才判定出人体是否摔倒，本申请的检测方法更为简单，因为在检测过程进行了长度和宽度的比对，以及与预设的实体设备的高度进行比较，最后又与预设的摔倒姿态比对，所以检测的准确性也相对更高。
在一个实施例中，上述判断所述人体的姿态是否符合预设的摔倒姿态的步骤S10，包括：
S101、获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
S102、判断所述第一夹角和/或所述第二夹角是否大于预设角度；
S103、若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
在本实施例中，所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角的获取方法可以为：应用OpenPose深度卷积神经网络进行关节点提取，同样 可在网上下载获得网络预训练权重，然后将左、右臀部关节节点与对应的左、右膝盖关节节点形成向量，以及，将左、右膝盖关节节点与左、右踝关节节点形成向量，然后分别计算同一侧的两个向量之间的夹角。计算可以采用余弦定理：
Figure PCTCN2020098817-appb-000001
其中a,b为向量，ab代表向量做内积，余弦定理求出有的角度是弧度制，可由：
Figure PCTCN2020098817-appb-000002
转化得到角度。
上述的预设角度一般是90度，或者是90度附近的角度，如85度、100等，因为人体摔倒的时候，一般至少有一条腿的大腿和小腿的角度是大于90度的，所以一旦有一条腿的大腿和小腿的角度大于预设角度，则可以判定人体的姿态符合所述预设的摔倒姿态。
在一个实施例中，若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
S111、若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
在本实施例中，如果两条腿的大腿和小腿的角度均大于预设角度，则说明摔倒的情况比较严重，所以将摔倒的结果告知监护人，以便于监护人做出相应的救援处理动作。通知监护人的方式可以是邮件、短信、拨打电话等。
在一个实施例中，若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
S112、若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
在本实施例中，因为只有一个角度大于预设角度，所以可以基本确定人体摔倒的情况并不严重，此时会启动问询的方式进行确定，如“是否摔倒、是否需要救助”等问询，然后接收人体的反馈语音信号，并对接收的语音信号进行语音转文字，对文字进行语义分析等，最后根据语义确定人体是否摔倒，进一步地提高判断的准确性和实用性。
在一个实施例中，所述图片是视频流中的某一种帧图片，上述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
在本实施例中，上述指定间隔是指每个指定数量帧之后选择一帧作为辅助图片，比如间隔24帧选读取一张辅助图片等，辅助图片的数量可以根据需求选定。比如，视频流每秒播放30帧，那么获取5秒钟的5张辅助图片，就会每间隔29帧后获取一张辅助图片等。如果这5张辅助图片均反映人体处于摔倒状态，则说明人体真的摔倒了，而且至少在5秒钟内没有站起来，说明人体摔的比较严重，所以通知监护人。通知监护人的方式可以是邮件、短信、拨打电话等。对辅助图片中人体是否处于摔倒状态的判断方法与上述的人体摔倒检测方法相同。
在一个实施例中，上述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤S1，包括:
S1a、通过麦克风阵列采集声音信息；
S1b、判断所述声音信息中是否包含预设的摔倒声音；
S1c、若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
S1d、调整所述采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
在本实施例中，上述机器人是一种具有处理数据能力的智能机器人，或者可以接收到 控制指令进行移动的机器人，比如，其本身可以通过采集的声音进行数据处理，又或则将采集的声音或者视频发送给服务器，由服务器进行数据处理，然后反馈控制命令控制机器人等。在本实施例中，执行主体是机器人，机器人具有数据处理能力；在另一个实施例中，执行主体是服务器，服务器与机器人通过5G网络连接，服务器进行数据处理，因为是5G网络连接，并不会产生延迟，且有服务器进行数据处理，其处理数据的能力和速度更快。通过阵列麦克风采集声音进行定位是比较常见的技术，在此不在赘述。识别声音信息中是否有摔倒声音，可以使用大量不同的摔倒声音样本训练神经网络模型，然后通过训练好的神经网络模型识别摔倒声音等，本申请中可以在实验室中收集大量的人体摔倒产生的声音，以及常规的非摔倒的声音，然后将人体摔倒产生的声音和常规的非摔倒的声音生成对应的频谱图，并进行标记声音类型的标记(摔倒类型和非摔倒类型)，形成训练样本，然后选用卷积神经网络(CNN)进行训练，得到识别摔倒声音的神经网络模型，具体的训练过程在此不在赘述。在本实施例中，当确定摔倒声音的声源位置后，控制机器人将摄像头朝向声源的位置采集视频流，并选择其中的一帧作为上述图片进行分析。这样，无需时刻获取图片，而是只有在获取到摔倒声音之后，才会进行图像分析，节约计算资源，且提高摔倒检测的准确率。
在一个实施例中，上述检测所述图片中是否有人像的步骤S2，之后包括：
S2a、若有，则判断所述人像的清晰度是否达到要求；
S2b、若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
在本实施例中，通过调整机器人与声源位置的距离，解决人像清晰度的问题，方法简单，容易实现，同时无需摄像头进行变焦处理，得到的图片视角一致性更高。当机器人与所述声源的位置之间的距离为预设值时，返回上述步骤S1，重新获取图片。
本申请实施例的人体摔倒检测方法，进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标(x1、y1)是否高于实体设备的第二最小矩形框的中心坐标(x3、y3)，若否，则进行第三次判断，判断所述人体的姿态是否符合预设的摔倒姿态等，本申请经过上述三次判断，判断算法简单，而且判断结果的准确性较高。
参照图2，本申请还提供一种人体摔倒检测装置，包括：
第一获取单元1，用于获取待分析的图片；
第一检测单元2，用于检测所述图片中是否有人像；
第一标注单元3，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
第二获取单元4，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
第一判断单元5，用于判断h/w的值是否小于等于1；
第二检测单元6，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
第二标注单元7，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算单元8，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
第二判断单元9，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
第三判断单元10，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
判定单元11，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
在一个实施例中，上述判定单元11，包括：
夹角获取模块，用于获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
角度判断模块，用于判断所述第一夹角和/或所述第二夹角是否大于预设角度；
判定模块，用于若所述第一夹角和/或所述第二夹角大于预设角度，则判定所述人体的姿态符合所述预设的摔倒姿态。
在一个实施例中，所述人体摔倒检测装置，还包括：
发送单元，用于若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
在另一个实施例中，所述人体摔倒检测装置，还包括：
语音确定单元，用于若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
在一个实施例中，上述图片是视频流中的某一种帧图片，上述人体摔倒检测装置，还包括：
辅助判断单元，用于判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
结果发送单元，用于若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
在一个实施例中，上述采集视频流的主体是可以移动的机器人；上述第一获取单元1，包括:
采集模块，用于通过麦克风阵列采集声音信息；
声音判断模块，用于判断所述声音信息中是否包含预设的摔倒声音；
声源定位模块，用于根据所述摔倒声音进行声源定位，得到所述声源的位置；
调整选择模块，用于调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
进一步地，上述第一检测单元2，还包括：
清晰判断模块，用于判断所述人像的清晰度是否达到要求；
位置调整模块，用于若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
上述各单元和模块是实现上述各方法实施例的执行装置，在此不在一一解释说明。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器、可以移动的机器人等，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例中的人体摔倒检测方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性，其上存储有计算机程序，计算机程序被处理器执行时实现可以实现上述任一实施例中的人体摔倒检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种人体摔倒检测方法，其中，包括步骤：
    获取待分析的图片；
    检测所述图片中是否有人像；
    若有人像，则标注出人像的外接的第一最小矩形框；
    以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
    判断h/w的值是否小于等于1；
    若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
    若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
    计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
    判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
    若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
    若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
  2. 根据权利要求1所述的人体摔倒检测方法，其中，所述判断所述人体的姿态是否符合预设的摔倒姿态的步骤，包括：
    获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
    判断所述第一夹角和/或所述第二夹角是否大于预设角度；
    若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
  3. 根据权利要求2所述的人体摔倒检测方法，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
  4. 根据权利要求2所述的人体摔倒检测方法，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
  5. 根据权利要求1所述的人体摔倒检测方法，其中，所述图片是视频流中的某一种帧图片，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
    若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
  6. 根据权利要求1所述的人体摔倒检测方法，其中，所述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤，包括:
    通过麦克风阵列采集声音信息；
    判断所述声音信息中是否包含预设的摔倒声音；
    若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
    调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所 述摄像头位置之后采集的视频流中的一帧作为所述图片。
  7. 根据权利要求6所述的人体摔倒检测方法，其中，所述检测所述图片中是否有人像的步骤之后，包括：
    若有，则判断所述人像的清晰度是否达到要求；
    若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
  8. 一种人体摔倒检测装置，其中，包括：
    第一获取单元，用于获取待分析的图片；
    第一检测单元，用于检测所述图片中是否有人像；
    第一标注单元，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
    第二获取单元，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
    第一判断单元，用于判断h/w的值是否小于等于1；
    第二检测单元，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
    第二标注单元，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
    计算单元，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
    第二判断单元，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
    第三判断单元，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
    判定单元，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
  9. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现一种人体摔倒检测方法，该方法包括步骤：
    获取待分析的图片；
    检测所述图片中是否有人像；
    若有人像，则标注出人像的外接的第一最小矩形框；
    以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
    判断h/w的值是否小于等于1；
    若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
    若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
    计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
    判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
    若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
    若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
  10. 根据权利要求9所述的计算机设备，其中，所述判断所述人体的姿态是否符合预 设的摔倒姿态的步骤，包括：
    获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
    判断所述第一夹角和/或所述第二夹角是否大于预设角度；
    若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
  11. 根据权利要求10所述的计算机设备，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
  12. 根据权利要求10所述的计算机设备，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
  13. 根据权利要求9所述的计算机设备法，其中，所述图片是视频流中的某一种帧图片，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
    若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
  14. 根据权利要求9所述的计算机设备，其中，所述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤，包括:
    通过麦克风阵列采集声音信息；
    判断所述声音信息中是否包含预设的摔倒声音；
    若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
    调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现一种人体摔倒检测方法，该方法包括步骤：
    获取待分析的图片；
    检测所述图片中是否有人像；
    若有人像，则标注出人像的外接的第一最小矩形框；
    以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
    判断h/w的值是否小于等于1；
    若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
    若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
    计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
    判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
    若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
    若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述判断所述人体的姿态是否符合预设的摔倒姿态的步骤，包括：
    获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
    判断所述第一夹角和/或所述第二夹角是否大于预设角度；
    若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述图片是视频流中的某一种帧图片，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
    判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
    若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
  20. 根据权利要求15所述的计算机可读存储介质，其中，所述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤，包括:
    通过麦克风阵列采集声音信息；
    判断所述声音信息中是否包含预设的摔倒声音；
    若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
    调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
PCT/CN2020/098817 2020-04-29 2020-06-29 人体摔倒检测方法、装置、计算机设备和存储介质 WO2021217848A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010358863.1A CN111709277A (zh) 2020-04-29 2020-04-29 人体摔倒检测方法、装置、计算机设备和存储介质
CN202010358863.1 2020-04-29

Publications (1)

Publication Number Publication Date
WO2021217848A1 true WO2021217848A1 (zh) 2021-11-04

Family

ID=72536728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/098817 WO2021217848A1 (zh) 2020-04-29 2020-06-29 人体摔倒检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111709277A (zh)
WO (1) WO2021217848A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913597A (zh) * 2022-05-06 2022-08-16 山东光汇控股有限公司 基于OpenPose和轻量化神经网络的跌倒检测方法及系统
CN116106855A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 摔倒检测方法及摔倒检测装置
CN116311542A (zh) * 2023-05-23 2023-06-23 广州英码信息科技有限公司 兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819855A (zh) * 2020-12-31 2021-05-18 广州紫川电子科技有限公司 基于养老院的人员摔倒检测方法、设备及介质
CN113378809B (zh) * 2021-08-16 2021-12-14 之江实验室 一种基于单目三维人体姿态的摔倒检测方法及系统
CN113870524A (zh) * 2021-09-18 2021-12-31 深圳Tcl数字技术有限公司 监控方法、监控装置及存储介质
CN115376276A (zh) * 2022-07-25 2022-11-22 苏州智瞳威视科技有限公司 一种采用人工智能语音交互方式的老人跌倒监测装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
CN103903281A (zh) * 2014-04-04 2014-07-02 西北工业大学 一种基于多特征分析和场景学习的老人摔倒检测方法
CN106373336A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种检测摔倒的方法及装置
CN106826846A (zh) * 2017-01-06 2017-06-13 南京赫曼机器人自动化有限公司 基于异常声音和图像事件驱动的智能服务机器人及方法
CN106910314A (zh) * 2017-02-03 2017-06-30 同济大学 一种基于体形的个性化跌倒检测方法
KR101760327B1 (ko) * 2016-04-18 2017-07-21 조선대학교산학협력단 카메라를 이용한 낙상 검출방법
CN110633652A (zh) * 2019-08-27 2019-12-31 宇龙计算机通信科技(深圳)有限公司 意外状况确定方法、装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136180B (zh) * 2011-03-11 2013-09-18 北京航空航天大学 人体跌倒检测与报警装置
US20160217326A1 (en) * 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
CN103903281A (zh) * 2014-04-04 2014-07-02 西北工业大学 一种基于多特征分析和场景学习的老人摔倒检测方法
KR101760327B1 (ko) * 2016-04-18 2017-07-21 조선대학교산학협력단 카메라를 이용한 낙상 검출방법
CN106373336A (zh) * 2016-08-30 2017-02-01 苏州品诺维新医疗科技有限公司 一种检测摔倒的方法及装置
CN106826846A (zh) * 2017-01-06 2017-06-13 南京赫曼机器人自动化有限公司 基于异常声音和图像事件驱动的智能服务机器人及方法
CN106910314A (zh) * 2017-02-03 2017-06-30 同济大学 一种基于体形的个性化跌倒检测方法
CN110633652A (zh) * 2019-08-27 2019-12-31 宇龙计算机通信科技(深圳)有限公司 意外状况确定方法、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913597A (zh) * 2022-05-06 2022-08-16 山东光汇控股有限公司 基于OpenPose和轻量化神经网络的跌倒检测方法及系统
CN116106855A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 摔倒检测方法及摔倒检测装置
CN116311542A (zh) * 2023-05-23 2023-06-23 广州英码信息科技有限公司 兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统
CN116311542B (zh) * 2023-05-23 2023-08-04 广州英码信息科技有限公司 兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统

Also Published As

Publication number Publication date
CN111709277A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
WO2021217848A1 (zh) 人体摔倒检测方法、装置、计算机设备和存储介质
US20190029569A1 (en) Activity analysis, fall detection and risk assessment systems and methods
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
CN110263634B (zh) 监控目标的监控方法、装置、计算机设备及存储介质
JP7185805B2 (ja) 転倒リスク評価システム
JP2021064367A (ja) 動作認識方法、動作認識装置及び電子機器
CN110210284A (zh) 一种人体姿态行为智能评价方法
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
Gupta et al. Sd-measure: A social distancing detector
CN112597814A (zh) 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN110705500A (zh) 基于深度学习的人员工作图像的注意力检测方法及系统
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
JP2011039934A (ja) 感情推定システム及びそれを利用した学習システム
CN110717392A (zh) 一种坐姿检测与纠正方法和装置
CN113936335B (zh) 一种智能坐姿提醒方法和装置
CN115661930A (zh) 动作评分方法、装置、动作评分设备及存储介质
CN109986553A (zh) 一种主动交互的机器人、系统、方法及存储装置
Cheng et al. A fall detection algorithm based on pattern recognition and human posture analysis
JP2020134971A (ja) 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置
JP6525180B1 (ja) 対象数特定装置
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Flores-Barranco et al. Accidental fall detection based on skeleton joint correlation and activity boundary
WO2021241293A1 (ja) 行動体特定システム
TWI755950B (zh) 動作識別方法及其系統
JP2023047410A (ja) ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933894

Country of ref document: EP

Kind code of ref document: A1