KR101704471B1 - Fall detection apparatus and method thereof - Google Patents
Fall detection apparatus and method thereof Download PDFInfo
- Publication number
- KR101704471B1 KR101704471B1 KR1020150174194A KR20150174194A KR101704471B1 KR 101704471 B1 KR101704471 B1 KR 101704471B1 KR 1020150174194 A KR1020150174194 A KR 1020150174194A KR 20150174194 A KR20150174194 A KR 20150174194A KR 101704471 B1 KR101704471 B1 KR 101704471B1
- Authority
- KR
- South Korea
- Prior art keywords
- dynamic object
- monitoring module
- bounding box
- image
- fall
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 낙상 검출 장치 및 그 방법에 관한 내용으로써, 특히 카메라로부터 획득된 영상에서 동적 객체를 검출하고 얻어진 동적 객체에 바운딩 박스(bounding box)를 설정하고, 바운딩 박스의 좌표를 이용하여 특징값을 도출하고 이를 이용하여 낙상을 검출하는 낙상 검출 장치 및 그 방법에 관한 것이다.The present invention relates to a fall detection apparatus and a method thereof, and more particularly, to a fall detection apparatus and a method thereof, in which a dynamic object is detected in an image obtained from a camera, a bounding box is set in the obtained dynamic object, The present invention relates to a fall detection apparatus and a method thereof.
의료의 발달과 생활 수준의 향상, 의료서비스의 확대로 인해 수명 연장과 노인 인구의 증가를 가져왔다. 노인 인구가 차지하는 비율이 높아지면서 고령화 사회 로 접어들었으며 혼자 사는 독거 노인들의 수도 증가하여 보호를 필요로 하는 노인들의 건강에 대한 중요성도 높아지고 있다.The development of medical care, the improvement of living standards, and the expansion of medical services have contributed to an increase in the life span and an increase in the elderly population. As the proportion of the elderly population increases, the number of elderly people living alone has increased, and the importance of health for the elderly who need protection has increased.
낙상의 경우 고령자 사고 중에서 높은 비율을 차지하면서 사회적으로 큰 문제로 대두하고 있다.In the case of falls, it accounts for a high percentage of the elderly accidents and poses a serious social problem.
고령자의 경우 위험한 상황에 대한 대처능력이 떨어지므로 대책을 마련하지 않은면 심각한 상태를 야기할 수 있으므로, 낙상 같은 위험 상황에 대한 대처 방안 이 필요하다.Since elderly people are less able to cope with dangerous situations, measures are needed to deal with dangerous situations, such as falls, as they can cause serious conditions if measures are not taken.
고령자에게 낙상이 위험한 요소라는 것이 널리 인식된 상황에서 낙상 관련 주제의 연구 활동들이 여러 분야에서 꾸준히 이어져 오고 있다. 기존의 낙상 관련 기술은 디바이스를 활용한 방법이 주로 제시되어 있다.In a situation where it is widely acknowledged that falling is a dangerous factor to the elderly, research activities on fall related topics have been continuing in various fields. Conventional fall-related technologies are mainly proposed using devices.
상기 디바이스는 가속도 센서나 자이로 센서와 같이 몸에 부착하여 특정값 이상이 나타났을 때 낙상으로 인지하는 방법들이 제시되어 있으나 장소마다 센서를 설치하거나 몸에 부착해야 하는 번거로움이 있다.The device is attached to the body like an acceleration sensor or a gyro sensor, and is recognized as a fall when a specific value or more appears. However, it is troublesome to install a sensor or attach it to the body every place.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여, 카메라로부터 획득된 영상으로 동적 객체를 검출하여 정확하게 낙상을 판단할 수 있도록 한 낙상 검출 장치 및 그 방법을 제공하는 데 있다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide a fall detection apparatus and method for detecting a dynamic object using an image obtained from a camera.
또한, 본 발명은 낙상이 검출될 시에 실시간으로 경고 이벤트를 발생시켜 위험을 알릴 수 있도록 한 낙상 검출 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to provide a fall detection apparatus and a method thereof that can alert a danger by generating a warning event in real time when a fall is detected.
본 발명의 일 측면은 촬영 영역에 대한 영상을 획득하는 촬영부; 및 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 감시 모듈을 포함한다.According to an aspect of the present invention, there is provided an image pickup apparatus including: And when a dynamic object appears in the image obtained through the photographing unit, a dynamic object existing in the image is represented by an operation region bounding box, and the size change of the operation region bounding box is grasped by using an operation line and a reference line And a monitoring module for monitoring occurrence of falling of the dynamic object.
또한, 본 발명의 일 측면의 상기 감시 모듈은, 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 설정부; 및 상기 설정부를 통해 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 판단부를 포함한다.According to another aspect of the present invention, when a dynamic object appears in an image acquired through the photographing unit, the monitoring module recognizes the dynamic object, and uses the dynamic range of the recognized dynamic object and the dynamic position of the dynamic object, A setting unit configured to set an operation region bounding box of the apparatus; And a determination unit for determining a size change of the bounding box set by the setting unit by using an operation line and a reference line and determining whether a dynamic object falls in accordance with a size change of the operation region bounding box.
또한, 본 발명의 일 측면의 상기 감시 모듈은, 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 검출부; 및 상기 검출부를 통해 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 추출부;를 더 포함하며, 상기 설정부는 상기 추출부를 통해 추출된 동적 객체 특징점 데이터를 이용하여 상기 검출부를 통해 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식한다.According to another aspect of the present invention, there is provided a surveillance module including: a detection unit that detects dynamic object appearance image frames from consecutive color image frames constituting a color image transmitted from the photographing unit based on a background image frame; And an extracting unit for extracting dynamic object feature point data through binarization in the dynamic object appearance image frame detected through the detecting unit, wherein the setting unit is configured to extract the dynamic object feature point data using the dynamic object feature point data extracted through the extracting unit, And recognizes dynamic objects existing in each of the detected dynamic image object image frames.
또한, 본 발명의 일 측면의 상기 판단부는 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단한다.Further, the determination unit of one aspect of the present invention determines that the fall occurs when the operation line moves below the reference line with respect to the ground.
또한, 본 발명의 일 측면의 감시 모듈은 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 가속도 검출부를 더 포함하며, 상기 판단부는 가속도 검출부에서 측정한 가속도가 임계값 이상이면 낙상으로 판단한다.The monitoring module may further include an acceleration detector for measuring an acceleration, which is a change in size of the bounding box with respect to time, and the determining unit determines that the acceleration falls when the acceleration measured by the acceleration detector is equal to or greater than a threshold value .
또한, 본 발명의 일 측면의 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 이상 동작 영상 저장부; 및 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 출력부를 더 포함한다.According to another aspect of the present invention, there is provided a surveillance module comprising: an abnormal operation image storage unit for storing an image corresponding to a fall occurring in an image transmitted from the photographing unit; And an output unit outputting an alarm for informing occurrence of a fall when the fall of the dynamic object occurs.
한편, 본 발명의 다른 측면은 (A) 촬영부에서 촬영 영역에 대한 영상을 감시 모듈로 실시간 전달하는 단계; (B) 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하는 단계; 및 (C) 감시 모듈이 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for controlling an image capturing apparatus, the method comprising: (A) (B) if a dynamic object appears in an image acquired by the monitoring module through the photographing unit, expressing a dynamic object existing in the image by a bounding box; And (C) monitoring the change of size of the bounding box of the operation area by using the operation line and the reference line to monitor occurrence of a fall of the dynamic object.
또한, 본 발명의 다른 측면의 상기 (B) 단계는 (B-1) 상기 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하는 단계; 및 (B-2) 상기 감시 모듈이 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 단계를 포함한다.The step (B) of the other aspect of the present invention may further comprise: (B-1) recognizing a dynamic object when the dynamic object appears in the image acquired by the monitoring module through the photographing unit; And (B-2) setting an operation region bounding box of the dynamic object using the operation region size and the operation position of the recognized dynamic object by the monitoring module.
또한, 본 발명의 다른 측면의 상기 (C) 단계는 (C-1) 상기 감시 모듈이 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하는 단계; 및 (C-2) 상기 감시 모듈이 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 단계를 포함한다.In another aspect of the present invention, the step (C) includes the steps of: (C-1) tracking the size change of the bounding box set by the monitoring module using an operation line and a reference line; And (C-2) a step in which the monitoring module determines whether a dynamic object falls in accordance with a size change of an operation region bounding box.
또한, 본 발명의 다른 측면의 상기 (B-1) 단계는, 상기 감시 모듈이 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정; 상기 감시 모듈이 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 과정; 및 상기 감시 모듈이 추출된 동적 객체 특징점 데이터를 이용하여 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정을 포함한다.According to another aspect of the present invention, in the step (B-1) of the present invention, the monitoring module detects a dynamic object appearance image frame among consecutive color image frames constituting a color image transmitted from the photographing unit, ; Extracting dynamic object feature point data through binarization within a dynamic object appearance image frame in which the monitoring module is detected; And recognizing a dynamic object existing in each detected dynamic object appearance image frame using the dynamic object feature point data extracted by the monitoring module.
또한, 본 발명의 다른 측면의 상기 감시 모듈은 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단한다.Further, the monitoring module according to another aspect of the present invention determines fall if the operation line moves below the reference line with respect to the ground.
또한, 본 발명의 다른 측면은 (D) 감시 모듈이 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 단계; 및 (E) 감시 모듈이 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 단계를 더 포함한다.According to another aspect of the present invention, there is also provided a method of measuring an acceleration, comprising the steps of: (D) measuring an acceleration in which a monitoring module changes in size with respect to time of the bounding box; And (E) determining if the acceleration measured by the monitoring module is equal to or greater than a threshold value.
또한, 본 발명의 다른 측면은 (F) 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 단계; 및 (G) 감시 모듈은 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 단계를 더 포함한다.According to another aspect of the present invention, there is provided a surveillance module, comprising: (F) storing an image corresponding to a fall occurring in an image transmitted from the photographing unit; And (G) the monitoring module further includes the step of outputting an alarm to notify occurrence of a fall when the fall of the dynamic object occurs.
본 발명을 통해, 실내에서 영상 처리를 통하여 낙상 여부를 판단함으로써 사용자에게 편의를 제공하며 독거 노인에 대하여 낙상과 같은 위험 행동의 발생 여부를 정확하게 판단할 수 있으므로 실시간으로 조치가 가능하다.Through the present invention, it is possible to provide convenience to the user by judging whether or not a fall occurs through the image processing in the room, and it is possible to accurately determine whether a dangerous behavior such as a fall occurs to the elderly living alone.
도 1은 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치의 구성도이다.
도 2는 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 3 또한 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 4 또한 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 방법의 흐름도이다.1 is a configuration diagram of a fall detection apparatus according to a preferred embodiment of the present invention.
FIG. 2 shows the changes of the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value.
FIG. 3 also shows changes in the X and Y coordinates in the fall state used as an example of explanation for deriving the feature value.
FIG. 4 also shows changes in the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value.
5 is a flowchart of a fall detection method according to a preferred embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments will be described in detail below with reference to the accompanying drawings.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms are used only for the purpose of distinguishing one component from another Is used.
도 1은 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치의 구성도이다.1 is a configuration diagram of a fall detection apparatus according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치는 촬영부(10) 및 감시 모듈(20)을 포함하여 이루어진다. 촬영부(10)와 감시 모듈(20)은 인터넷 망 등의 네트워크를 통해 상호 간에 통신을 수행할 수 있다.Referring to FIG. 1, a fall detection apparatus according to a preferred embodiment of the present invention includes a photographing
촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 영상을 획득하여 감시 모듈(20)로 실시간 전달한다. 여기서, 영상은 컬러 영상 또는 적외선 영상 등으로 이루어질 수 있다.The photographing
이러한, 촬영부(10)는 주간에 작동하여 컬러 영상을 획득하는 컬러 카메라, 야간에 작동하여 적외선 영상을 획득하는 적외선 카메라, 빛 감지 센서나 타이머에 의해 조명 유무 또는 주간/야간 여부를 확인하여 컬러 카메라 및 적외선 카메라의 작동을 제어하는 컨트롤러 등을 포함하여 이루어질 수 있다. The photographing
한편, 감시 모듈(20)은 촬영부(10)로부터 전달되는 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화와 그 가속도 변화에 따라 동적 객체의 이상 동작 발생을 감시한다. 이때 이상 동작은 갑자기 쓰러지는 동작, 즉 낙상 동작 및 넘어짐 동작 등을 포함하는 것이 바람직하다.When the dynamic object appears in the image transmitted from the photographing
이러한, 감시 모듈(20)은 이상 동작 영상 저장부(21), 배경 영상 저장부(22), 배경 영상 관리부(23), 검출부(24), 추출부(25), 설정부(26), 출력부(27), 판단부(28) 및 가속도 검출부(29)를 포함하여 이루어질 수 있다.The
여기서, 이상 동작 영상 저장부(21)는 촬영부(10)로부터 전달되는 영상 중에서 이상 동작 발생 시에 해당하는 영상을 저장한다.Here, the abnormal operation
이러한, 이상 동작 영상 저장부(21)는 버퍼 모듈 및 저장 모듈 등을 포함하여 이루어질 수 있다.The abnormal operation
버퍼 모듈은 촬영부(10)로부터 전달되는 영상을 저장하되, 최근의 영상만을 저장한다. 즉, 버퍼 모듈은 촬영부(10)로부터 영상을 전달받으면, 그 영상을 구성하는 연속적인 영상 프레임을 재생 순서에 따라 저장하고, 저장된 영상 프레임들 중 최초 저장 시점으로부터 일정 시간이 경과된 영상 프레임을 지속적으로 제거해 나가면서 최근의 영상 프레임만을 저장하게 된다.The buffer module stores an image transmitted from the photographing
저장 모듈은 동적 객체의 이상 동작 발생 시, 이상 동작 발생 시점을 기준으로 전후 일정 시간 동안에 해당하는 영상을 버퍼 모듈로부터 획득하여 이상 동작 발생 시에 해당하는 영상으로 저장한다When the abnormal operation of the dynamic object occurs, the storage module acquires the corresponding image from the buffer module for a predetermined time before and after the occurrence of the abnormal operation, and stores the corresponding image in the occurrence of the abnormal operation
한편, 배경 영상 저장부(22)는 배경 영상 프레임을 저장한다.Meanwhile, the background
배경 영상 관리부(23)는 배경 분리(Background Subtraction) 기법을 통해 촬영부(10)로부터 전달되는 영상으로부터 배경 영상 프레임을 획득하여 배경 영상 저장부(22)에 저장시킨다. 배경 분리 기법으로는 통계적 배경 모델인 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)과 개선된 더블 프레임 디퍼런스(Double Frame Difference) 기법 등이 사용될 수 있다.The background
즉, 배경 영상 관리부(23)는 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값(휘도 등) 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 배경 영상 저장부(22)에 저장하게 된다.That is, the background
또한, 배경 영상 관리부(23)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 배경 영상 저장부(22)에 저장함으로써, 배경 영상 저장부(22)에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.The background
또한, 배경 영상 관리부(23)는 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하는 경우, 동적 객체가 추출된 영역에 대해 모폴로지컬 연산(Morphological Operations)과 라벨링 알고리즘을 수행하여 작은 홀(Hole) 등과 같은 노이즈를 제거할 수 있다.In addition, when the background
검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임을 기준으로 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다.The
예를 들어, 검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 촬영부(10)로부터 전달되는 각 영상 프레임 간의 각 화소에 대하여 화소값 차 x를 산출하고, 그 산출된 화소값 차가 임계치(Threshold)인 T 이상인 화소를 움직임이 일어난 화소로 판단하고, 임계치 이하인 화소를 배경 영상으로 판단한다.For example, the
그리고, 검출부(24)는 배경 영상이 되는 화소의 화소값은 f(x)은 0으로 표시하고, 움직임이 일어난 화소의 화소값은 f(x)는 255로 표시하여 이진화를 수행한다.The
이진화는 영상을 0과 1로 나타내는 작업으로 수학식 1과 같다. 본 발명에서는 차 영상을 통해 검출된 객체는 1이 아닌 255의 화소값을 갖게 표현하였으며 배경은 0으로 표현함으로써, 객체를 분류하였다. Binarization is an operation that shows the image as 0 and 1, as shown in Equation (1). In the present invention, an object detected through a difference image is represented by 255 pixel values instead of 1, and a background is represented by 0 to classify objects.
(수학식 1)(1)
추출부(25)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임을 기준으로 검출부(24)를 통해 검출된 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출한다.The
설정부(26)는 추출부(25)를 통해 추출된 동적 객체 특징점 데이터를 이용하여 검출부(24)를 통해 검출되는 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 추출한 후, 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 동적 객체 출현 영상 프레임별 동적 객체의 동작 영역 바운딩 박스를 설정한다. 여기서, 동작 영역 바운딩 박스는 동적 객체를 포함하는 최소의 사각형 형상 등으로 이루어지는 것이 바람직하다.The setting
이러한, 설정부(26)는 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 동작선(A)과 기준선(B)를 설정한다.The setting
여기에서, 동작선 A는 다음 수학식 2로 표현되며, 도 2를 참조할 때 Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미한다. 이러한 동작선은 도 3과 4에서 녹색선(Green)으로 표현된다.2, X max denotes the maximum value of the X axis in the rectangular coordinates of the bounding box, and Y min denotes the minimum value of the Y axis in the rectangular coordinates of the bounding box . These operating lines are represented by green lines (Green) in Figs. 3 and 4.
(수학식 2)(2)
그리고, 기준선은 다음 수학식 3으로 표현되며, 도 2를 참조할 때 Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미한다.Then, the reference line following and represented by Equation 3, X min to refer to Figure 2 means the X-axis minimum value in the Cartesian coordinates of the bounding box, Y max refers to the maximum Y-axis in an orthogonal coordinate axis of the bounding box .
이러한 기준선은 도 3과 4에서 적색선(Red)로 표현된다.These baselines are represented by the red lines in FIGS. 3 and 4.
(수학식 3)(3)
도 2는 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다. 좌측 낙상일 경우 Xmin과 Xmax는 감소, Ymin과 Ymax는 증가를 한다. 우측 낙상일 경우 Xmin과 Xmax증가, Ymin과 Ymax 또한 증가하는 모습을 볼 수 있다. 낙상 상태일 경우 Ymin과Ymax의 거리가 정상 상태와 비교할 경우 좁아졌으며 Xmin과 Xmax의 거리는 멀어진다. FIG. 2 shows the changes of the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value. For the left fall, X min and X max decrease and Y min and Y max increase. In case of right fall, X min and X max increase, Y min and Y max also increase. When the fall state is the distance Y min and Y max was distant narrower distance X min and X max when compared to a normal state.
상기 수학식 2의 동작선은 정상 상태일 때와 비교하여 낙상 상태일 때 증가량이 큰 값들로 구성되어 있다.The operating line of Equation (2) is composed of larger values of the increase amount in the fall state as compared with the steady state.
이와 달리 수학식 3의 기준선은 정상 상태일 때와 비교하여 낙상 상태일 때 증가량이 작고 감소하는 값들로 구성되어있다.On the other hand, the reference line of Equation (3) is composed of values that decrease and decrease in the fall state as compared with that in the steady state.
한편, 출력부(27)는 동적 객체의 이상 동작 발생 시 이상 동작 발생을 알리기 위한 경보를 출력한다.On the other hand, the
이러한, 출력부(27)는 사운드 모듈 및 표시 모듈 등을 포함하여 이루어질 수 있다.The
사운드 모듈은 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등 형태로 이상 동작 발생 경보를 출력한다.The sound module outputs an abnormal operation occurrence alarm in the form of an alarm sound or an alarm alarm when an abnormal operation of a dynamic object occurs.
표시 모듈은 동적 객체의 이상 동작 발생 시, 경보 메시지 문구/문양 및 이상 동작 영상 저장부(21)에 저장되어 있는 이상 동작 발생 영상 중 적어도 어느 하나 이상을 디스플레이한다.The display module displays at least one of the alarm message phrase / glyph and the abnormal operation occurrence image stored in the abnormal operation
판단부(28)는 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스의 기준선을 기준으로 동작선의 변화를 추적하여 동적 객체의 이상 동작 발생 여부를 판단하고, 그 판단 결과를 이상 동작 영상 저장부(21) 및 출력부(27)로 제공한다.The
이러한, 판단부(28)는 도 3의 (a)에 도시된 바와 같이 동작선이 기준선의 위에 있으면 정상 상태로 판단하며(동작선의 값이 기준선의 값보다 크면), 도 3의 (b)를 참조하면 동작선이 기준선보다 아래에 있으면(동작선의 값이 기준선의 값보다 작으면) 낙상 상태로 판단한다.3 (a), when the operation line is above the reference line, the
이러한 낙상 상태는 도 4에도 유사하게 나타난다.Such a fall condition is similar to FIG.
한편, 판단부(28)는 위의 수학식 2와 3에 의한 동작선과 기준선을 이용할 경우 범위가 큰 동작일 때 오검출을 할 수도 있다. 이러한 문제를 해결하기 위해 본 발명에서는 가속도를 적용하였다.On the other hand, when the operation line and the reference line according to Equations 2 and 3 are used, the
가속도 검출부(29)는 Y축 상의 바운딩 박스의 시간에 따른 크기 변화를 측정하여 가속도를 결정하고 결정된 가속도를 판단부(28)에 제공한다. The
이러한 가속도 검출부(29)는 가속도 Vminy를 아래 수학식 4에 의해 산출할 수 있다. 여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값이다.The
(수학식 4)(4)
상기 판단부(28)는 가속도가 임계값 Tv이상일 때 낙상으로 판단한다. 즉, 판단부(28)는 동작선이 기준선 이하가 되고, 가속도가 임계값 이상이 될때 낙상 상태로 판단한다.The
이와 관련하여 가속도는 영상의 2차원 픽셀정보를 이용하기 때문에 카메라와의 거리에 따라 변화하는 값의 크기가 달라진다. 이러한 문제로 임계값 Tv도 거리에 따라 변화를 해야 하기 때문에 다음과 같은 수학식 5를 정의하였다.In this regard, since the acceleration uses the two-dimensional pixel information of the image, the magnitude of the varying value varies depending on the distance from the camera. For this problem, the threshold value T v is also defined the following equation (5), so as to be changed according to the distance.
(수학식 5)(5)
수학식 5는 카메라와 사람의 거리에 따라 임계값 Tv가 변화한다. 영상 안에서 사람의 발 끝 부분에 위치한 Ymax좌표를 이용하였으며 사람과 카메라의 거리가 가까울수록 임계값 TV가 증가하고, 멀어질수록 임계값 Tv가 감소하는 특징을 가진다. Equation (5) is a threshold value T v is changed according to the distance between the person. The Y max coordinates at the end of the human foot are used in the image. The threshold T v increases as the distance between the person and the camera increases, and the threshold T v decreases as the distance increases.
상기 판단부(28)는 수학식 1이 수학식 2 이상일 때, 즉 B=TB 이상일 때와 수학식 3이 Tv 이상일 경우 낙상으로 판단하고 사용자에게 경고 이벤트를 발생한다.If the equation (1) is equal to or greater than Equation (2), that is, when B is equal to or greater than T B and the Equation (3) is equal to or greater than T v , the determination unit (28) determines a fall and generates a warning event to the user.
전술한 바와 같은 구성에 있어서, 도 4를 참조하여 본 발명의 일 실시예에 따른 낙상 검출 방법에 대해 설명하면 다음과 같다.In the above-described configuration, a fall detection method according to an embodiment of the present invention will be described with reference to FIG.
먼저, 촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 영상을 감시 모듈(20)로 실시간 전달한다(S100).First, the photographing
상기한 단계 S100을 통해 감시 모듈(20)로 전달되는 영상은 조명의 유무나, 주간/야간 여부에 따라 컬러 영상 또는 적외선 영상 등으로 이루어질 수 있다.The image transmitted to the
상기한 단계 S100 이후, 감시 모듈(20)은 배경 분리 기법을 통해 영상으로부터 배경 영상 프레임을 획득한다(S200).After the step S100, the
상기한 단계 S200에서 감시 모듈(20)은 영상을 구성하는 연속적인 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 내부에 저장하게 된다.In step S200, the
또한, 상기한 단계 S200에서 감시 모듈(20)은 내부에 저장된 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 내부에 저장함으로써, 내부에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.In step S200, the
상기한 단계 S200 다음으로, 감시 모듈(20)은 배경 영상 프레임을 기준으로 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다(S300).In step S300, the
상기한 단계 S300에서 감시 모듈(20)은 상기한 단계 S200을 통해 획득한 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 각 영상 프레임 간의 화소값 차를 산출하고, 그 산출된 화소값 차가 임계치 이상인 화소를 움직임이 일어난 화소로 판단하고, 그 움직임이 일어난 화소를 갖는 영상 프레임을 동적 객체 출현 영상 프레임으로 검출하게 된다.In step S300, the
상기한 단계 S300 이후, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식한다(S400).After step S300, the
상기한 단계 S400에서 감시 모듈(20)은 상기한 단계 S300을 통해 검출된 동적 객체 출현 영상 프레임 내에서 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출하고, 그 추출된 동적 객체 특징점 데이터를 이용하여 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식할 수 있다.In step S400, the
상기한 단계 S400 다음으로, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출한 후, 그 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 동적 객체 출현 영상 프레임별 동적 객체의 동작 영역 바운딩 박스를 설정한다(S500).Next, in step S400, the
상기한 단계 S500에서, 동작 영역 바운딩 박스는 동적 객체를 포함하는 최소의 사각형 형상 등으로 이루어지는 것이 바람직하다.In the above step S500, the operation area bounding box preferably includes a minimum rectangular shape including a dynamic object.
상기한 단계 S500에서 감시 모듈(20)은 각 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 이진화 방식을 사용할 수 있다.In step S500, the
상기한 단계 S500 이후, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스에서 동작선과 기준선을 설정하고, 바운딩 박스의 시간에 의한 위치 이동을 알려주는 가속도를 산출한 후에, 동작선과 기준선 그리고 가속도의 변화로 동작 영역 바운딩 박스의 크기 변화를 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단한다(S600).After the above step S500, the
상기한 단계 S600에서 감시 모듈(20)은 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스의 기준선을 기준으로 동작선의 변화를 추적하여 동적 객체의 낙상 발생 여부를 판단한다.In step S600, the
이러한, 감시 모듈(20)는 도 3의 (a)에 도시된 바와 같이 동작선이 기준선의 위에 있으면 정상 상태로 판단하며, 도 3의 (b)를 참조하면 동작선이 기준선보다 아래에 있으면 낙상 상태로 판단한다.3 (a), when the operation line is above the reference line, the
한편, 감시 모듈(20)은 위의 수학식 2와 3에 의한 동작선과 기준선을 이용할 경우 범위가 큰 동작일 때 오검출을 할 수도 있다. 이러한 문제를 해결하기 위해 본 발명에서는 가속도를 적용하였다.On the other hand, if the operation line and the reference line according to Equations 2 and 3 are used, the
감시 모듈(20)은 Y축 상의 바운딩 박스의 시간에 따른 크기 변화를 측정하여 가속도를 결정하고, 가속도가 임계값 Tv이상일 때 낙상으로 판단한다.
즉, 감시 모듈(20)는 동작선이 기준선 이하가 되고, 가속도가 임계값 이상이 될때 낙상 상태로 판단한다.That is, the
이와 관련하여 가속도는 영상의 2차원 픽셀정보를 이용하기 때문에 카메라와의 거리에 따라 변화하는 값의 크기가 달라진다. 이러한 문제로 임계값 Tv도 거리에 따라 변화를 해야 하기 때문에 영상 안에서 사람의 발 끝 부분에 위치한 Ymax좌표를 이용하였으며 사람과 카메라의 거리가 가까울수록 임계값 TV가 증가하고, 멀어질수록 임계값 Tv가 감소하는 특징을 가진다. In this regard, since the acceleration uses the two-dimensional pixel information of the image, the magnitude of the varying value varies depending on the distance from the camera. Because of this problem, the threshold value T v also needs to be changed according to the distance. Therefore, the Y max coordinate located at the tip of the human foot is used in the image. The threshold value T V increases as the distance between the person and the camera increases, It has a characteristic that the threshold value T v is reduced.
상기 감시 모듈(20)는 수학식 1이 수학식 2 이상일 때, 즉 B=TB 이상일 때와 수학식 3이 Tv 이상일 경우 낙상으로 판단한다.The
상기한 단계 S600에서의 판단 결과, 동적 객체의 이상 동작 발생 시, 감시 모듈(20)은 이상 동작 발생을 알리기 위한 경보를 출력한다(S700).As a result of the determination in step S600, when the abnormal operation of the dynamic object occurs, the
상기한 단계 S700에서 감시 모듈(20)은 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등을 출력하면서, 이상 동작 발생 영상을 내부에 저장하거나, 경보 메시지 문구/문양 및 내부 저장된 이상 동작 발생 영상중 적어도 어느 하나 이상을 디스플레이할 수 있다.In step S700, the
상기와 같은 본 발명을 통해, 실내에서 영상 처리를 통하여 낙상 여부를 판단함으로써 사용자에게 편의를 제공하며 독거 노인에 대하여 낙상과 같은 위험 행동의 발생 여부를 정확하게 판단할 수 있으므로 실시간으로 조치가 가능하다.According to the present invention as described above, it is possible to provide convenience to the user by judging whether or not a fall occurs through image processing in the room, and it is possible to precisely determine whether a dangerous behavior such as a fall occurs to the elderly living alone.
10: 촬영부 20: 감시 모듈
21: 이상 동작 영상 저장부 22: 배경 영상 저장부
23: 배경 영상 관리부 24: 검출부
25: 추출부 26: 설정부
27: 출력부 28: 판단부
29 : 가속도 검출부10: photographing part 20: monitoring module
21: abnormal operation image storage unit 22: background image storage unit
23: Background video management unit 24:
25: extracting unit 26: setting unit
27: output unit 28:
29: Acceleration detector
Claims (19)
상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 감시 모듈을 포함하며,
상기 감시 모듈은,
상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 설정부; 및
상기 설정부를 통해 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 판단부를 포함하며,
상기 판단부가 이용하는 동작선은 다음 수학식 2와 같이 표현되고, 기준선은 다음 수학식 3과 같이 표현되는 낙상 검출 장치.
(수학식 2)
여기에서, A는 동작선이고, Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미함.
(수학식 3)
여기에서, B는 동작선이고, Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.A photographing unit for acquiring an image of a photographing area; And
When a dynamic object appears in the image obtained through the photographing unit, a dynamic object existing in the image is expressed by a bounding box of the motion region, and the size change of the motion region bounding box is grasped by using the motion line and the reference line, And a monitoring module for monitoring a fall occurrence of the object,
The monitoring module includes:
A setting unit for recognizing a dynamic object when the dynamic object appears in the image acquired through the photographing unit and setting an operation region bounding box of the dynamic object by using the size and the operation position of the recognized dynamic object; And
And a determination unit that tracks a size change of the bounding box set through the setting unit using an operation line and a reference line and determines whether a dynamic object falls in accordance with a size change of the operation region bounding box,
Wherein the operation line used by the determination unit is expressed by the following equation (2), and the reference line is expressed by the following equation (3).
(2)
Where A is the operating line, X max is the maximum value of the X axis in the Cartesian coordinates of the bounding box, and Y min is the minimum value of the Y axis in the Cartesian coordinates of the bounding box.
(3)
Where B is the operating line, X min is the minimum value of the X axis in the Cartesian coordinates of the bounding box, and Y max is the Y axis maximum value in the Cartesian coordinates of the bounding box.
상기 감시 모듈은,
배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 검출부; 및
상기 검출부를 통해 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 추출부;를 더 포함하며,
상기 설정부는 상기 추출부를 통해 추출된 동적 객체 특징점 데이터를 이용하여 상기 검출부를 통해 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 낙상 검출 장치.The method according to claim 1,
The monitoring module includes:
A detector for detecting dynamic object appearance image frames among consecutive color image frames constituting a color image transmitted from the photographing unit on the basis of a background image frame; And
And an extraction unit for extracting dynamic object feature point data through binarization in the dynamic object appearance image frame detected through the detection unit,
Wherein the setting unit recognizes a dynamic object existing in each dynamic object occurrence image frame detected through the detection unit using the dynamic object feature point data extracted through the extraction unit.
상기 판단부는 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단하는 낙상 검출 장치.The method according to claim 1 or 3,
Wherein the determination unit determines that the fall occurs when the operation line moves below the reference line based on the ground surface.
상기 감시 모듈은
상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 가속도 검출부를 더 포함하며,
상기 판단부는 가속도 검출부에서 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 낙상 검출 장치.The method of claim 5,
The monitoring module
And an acceleration detector for measuring an acceleration, which is a magnitude change with respect to time of the bounding box,
Wherein the determination unit determines that the acceleration is fall if the acceleration measured by the acceleration detection unit is equal to or greater than a threshold value.
상기 가속도 검출부는 가속도 Vminy를 아래 수학식 4에 의해 산출하는 것을 특징으로 하는 낙상 검출 장치.
(수학식 4)
여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값임.The method of claim 6,
Wherein the acceleration detecting unit calculates the acceleration V miny by the following equation (4).
(4)
Here, t is time, and k and k-1 is the time means the order of frame, t k is the time of k-th frame to be photographed, t k-1 is the k-1 frames is taken, Y mink is k In the frame, Y min is the value, and Y min (k-1) is the Y min value in the k-1 frame.
상기 판단부는 임계값 Tv가 아래 수학식 5에 의해 거리에 따라 변화하도록 하는 낙상 검출 장치.
(수학식 5)
여기에서, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.The method of claim 6,
The determining unit fall detection device of the threshold T v is to be changed according to the distance by Equation (5) below.
(5)
Where Y max is the Y axis maximum value in the Cartesian coordinate axis of the bounding box.
상기 감시 모듈은
상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 이상 동작 영상 저장부; 및
동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 출력부를 더 포함하는 낙상 검출 장치.The method according to claim 1 or 3,
The monitoring module
An abnormal operation image storage unit for storing an image corresponding to a fall occurring in the image transmitted from the photographing unit; And
And an output unit for outputting an alarm for notifying occurrence of a fall when the fall of the dynamic object occurs.
(B) 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하는 단계; 및
(C) 감시 모듈이 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 단계를 포함하며,
상기 (C) 단계는
(C-1) 상기 감시 모듈이 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하는 단계; 및
(C-2) 상기 감시 모듈이 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 단계를 포함하며,
상기 감시 모듈이 이용하는 동작선은 다음 수학식 2와 같이 표현되고, 기준선은 다음 수학식 3과 같이 표현되는 낙상 검출 방법.
(수학식 2)
여기에서, A는 동작선이고, Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미함.
(수학식 3)
여기에서, B는 동작선이고, Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.(A) transmitting, in real time, an image of a shooting region in a photographing unit to a monitoring module;
(B) if a dynamic object appears in an image acquired by the monitoring module through the photographing unit, expressing a dynamic object existing in the image by a bounding box; And
(C) monitoring module monitors changes in the size of the bounding box of the operation area by using an operation line and a reference line to monitor occurrence of a fall of the dynamic object,
The step (C)
(C-1) tracking the size change of the bounding box set by the monitoring module using an operation line and a reference line; And
(C-2) The monitoring module determines whether a dynamic object falls in accordance with a size change of an operation region bounding box,
Wherein the operation line used by the monitoring module is expressed by the following equation (2), and the reference line is expressed by the following equation (3).
(2)
Where A is the operating line, X max is the maximum value of the X axis in the Cartesian coordinates of the bounding box, and Y min is the minimum value of the Y axis in the Cartesian coordinates of the bounding box.
(3)
Where B is the operating line, X min is the minimum value of the X axis in the Cartesian coordinates of the bounding box, and Y max is the Y axis maximum value in the Cartesian coordinates of the bounding box.
상기 (B) 단계는
(B-1) 상기 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하는 단계; 및
(B-2) 상기 감시 모듈이 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 단계를 포함하는 낙상 검출 방법.12. The method of claim 10,
The step (B)
(B-1) recognizing a dynamic object when a dynamic object appears in an image acquired by the monitoring module through the photographing unit; And
(B-2) setting the bounding box of the dynamic range of the dynamic object by using the dynamic range and the dynamic range of the dynamic object recognized by the monitoring module.
상기 (B-1) 단계는,
상기 감시 모듈이 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정;
상기 감시 모듈이 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 과정; 및
상기 감시 모듈이 추출된 동적 객체 특징점 데이터를 이용하여 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정을 포함하는 낙상 검출 방법.12. The method of claim 11,
Wherein the step (B-1)
Detecting, by the monitoring module, dynamic object appearance image frames from consecutive color image frames constituting a color image transmitted from the photographing unit based on a background image frame;
Extracting dynamic object feature point data through binarization within a dynamic object appearance image frame in which the monitoring module is detected; And
And the monitoring module recognizing a dynamic object existing in each detected dynamic object appearance image frame using the extracted dynamic object feature point data.
상기 감시 모듈은 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단하는 낙상 검출 방법.The method according to any one of claims 10, 11 and 13,
Wherein the monitoring module determines that the fall occurs when the operation line moves below the reference line with respect to the ground.
(D) 감시 모듈이 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 단계; 및
(E) 감시 모듈이 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 단계를 더 포함하는 낙상 검출 방법.The method of claim 15,
(D) measuring an acceleration in which the monitoring module is a size change of the bounding box with respect to time; And
(E) judging the fall as a fall if the acceleration measured by the monitoring module is not less than a threshold value.
상기 감시 모듈이 측정하는 가속도 Vminy는 아래 수학식 4에 의해 산출하는 것을 특징으로 하는 낙상 검출 방법.
(수학식 4)
여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값임.The method of claim 16,
Wherein the acceleration Vminy measured by the monitoring module is calculated by the following equation (4).
(4)
Here, t is time, and k and k-1 is the time means the order of frame, t k is the time of k-th frame to be photographed, t k-1 is the k-1 frames is taken, Y mink is k In the frame, Y min is the value, and Y min (k-1) is the Y min value in the k-1 frame.
상기 감시 모듈은 임계값 Tv가 아래 수학식 5에 의해 거리에 따라 변화하도록 하는 낙상 검출 방법.
(수학식 5)
여기에서, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.The method of claim 16,
Fall detection method in which the monitoring module threshold T v is to be changed according to the distance by Equation (5) below.
(5)
Where Y max is the Y axis maximum value in the Cartesian coordinate axis of the bounding box.
(F) 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 단계; 및
(G) 감시 모듈은 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 단계를 더 포함하는 낙상 검출 방법.The method according to any one of claims 10, 11 and 13,
(F) the monitoring module stores an image corresponding to a fall occurring from the image transmitted from the photographing unit; And
(G) The monitoring module further includes outputting an alarm to notify occurrence of a fall when the fall of the dynamic object occurs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150174194A KR101704471B1 (en) | 2015-12-08 | 2015-12-08 | Fall detection apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150174194A KR101704471B1 (en) | 2015-12-08 | 2015-12-08 | Fall detection apparatus and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101704471B1 true KR101704471B1 (en) | 2017-02-10 |
Family
ID=58121426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150174194A KR101704471B1 (en) | 2015-12-08 | 2015-12-08 | Fall detection apparatus and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101704471B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112733618A (en) * | 2020-12-22 | 2021-04-30 | 江苏艾雨文承养老机器人有限公司 | Human body falling detection method, falling prevention robot and falling prevention system |
US11080891B2 (en) | 2017-05-25 | 2021-08-03 | Samsung Electronics Co., Ltd. | Method and system for detecting dangerous situation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090091539A (en) | 2008-02-25 | 2009-08-28 | 동서대학교산학협력단 | System for monitoring occurrence of dangerous motion |
KR20120114629A (en) | 2011-04-07 | 2012-10-17 | 연세대학교 산학협력단 | Falldown detecting method using the image processing, image processing apparatus for the same |
KR20130094489A (en) | 2012-02-16 | 2013-08-26 | 부경대학교 산학협력단 | System and method for monitoring emergency motion based image |
KR101460682B1 (en) * | 2014-04-30 | 2014-11-12 | 한경대학교 산학협력단 | Apparatus and method for detecting fall |
-
2015
- 2015-12-08 KR KR1020150174194A patent/KR101704471B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090091539A (en) | 2008-02-25 | 2009-08-28 | 동서대학교산학협력단 | System for monitoring occurrence of dangerous motion |
KR20120114629A (en) | 2011-04-07 | 2012-10-17 | 연세대학교 산학협력단 | Falldown detecting method using the image processing, image processing apparatus for the same |
KR20130094489A (en) | 2012-02-16 | 2013-08-26 | 부경대학교 산학협력단 | System and method for monitoring emergency motion based image |
KR101460682B1 (en) * | 2014-04-30 | 2014-11-12 | 한경대학교 산학협력단 | Apparatus and method for detecting fall |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11080891B2 (en) | 2017-05-25 | 2021-08-03 | Samsung Electronics Co., Ltd. | Method and system for detecting dangerous situation |
CN112733618A (en) * | 2020-12-22 | 2021-04-30 | 江苏艾雨文承养老机器人有限公司 | Human body falling detection method, falling prevention robot and falling prevention system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6137425B2 (en) | Image processing system, image processing apparatus, image processing method, and image processing program | |
KR101309366B1 (en) | System and Method for Monitoring Emergency Motion based Image | |
KR101593187B1 (en) | Device and method surveiling innormal behavior using 3d image information | |
KR20080054331A (en) | Flame detecting method and device | |
US20160117837A1 (en) | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene | |
WO2018159036A1 (en) | Monitoring assistance system, control method thereof, and program | |
KR101514061B1 (en) | Wireless camera device for managing old and weak people and the management system thereby | |
KR20140110484A (en) | Risk behavior detection method using image information | |
JP2004021495A (en) | Monitoring system and monitoring method | |
JP2012089929A (en) | Object detection apparatus, object detection method, monitoring camera system and program | |
KR100822476B1 (en) | Remote emergency monitoring system and method | |
KR101512658B1 (en) | A device and method for detecting for fire flame using stereo camera and fuzzy logic | |
JP4999794B2 (en) | Still region detection method and apparatus, program and recording medium | |
EP2000998B1 (en) | Flame detecting method and device | |
KR20120035734A (en) | A method for detecting fire or smoke | |
JP2018151834A (en) | Lost child detection apparatus and lost child detection method | |
KR101840042B1 (en) | Multi-Imaginary Fence Line Setting Method and Trespassing Sensing System | |
KR101704471B1 (en) | Fall detection apparatus and method thereof | |
JP5693147B2 (en) | Photographic interference detection method, interference detection device, and surveillance camera system | |
JP2008541650A (en) | Monitoring method and apparatus | |
KR101212383B1 (en) | Apparatus and Method for Home Healthcare Monitoring | |
KR20130094488A (en) | System and method for monitoring emergency motion based image | |
JP2016038686A (en) | Monitoring apparatus and program | |
JP7214437B2 (en) | Information processing device, information processing method and program | |
JP2010250775A (en) | Crime prevention device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191224 Year of fee payment: 4 |