KR101704471B1 - Fall detection apparatus and method thereof - Google Patents

Fall detection apparatus and method thereof Download PDF

Info

Publication number
KR101704471B1
KR101704471B1 KR1020150174194A KR20150174194A KR101704471B1 KR 101704471 B1 KR101704471 B1 KR 101704471B1 KR 1020150174194 A KR1020150174194 A KR 1020150174194A KR 20150174194 A KR20150174194 A KR 20150174194A KR 101704471 B1 KR101704471 B1 KR 101704471B1
Authority
KR
South Korea
Prior art keywords
dynamic object
monitoring module
bounding box
image
fall
Prior art date
Application number
KR1020150174194A
Other languages
Korean (ko)
Inventor
반성범
황세현
문해민
김유신
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020150174194A priority Critical patent/KR101704471B1/en
Application granted granted Critical
Publication of KR101704471B1 publication Critical patent/KR101704471B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a fall detection apparatus and a method thereof. The fall detection apparatus comprises: a photographing unit which obtains an image for a photographing area; and a monitoring module which represents a dynamic object existing within an image as an operation area bounding box, and recognizes the variation in the size of the operation area bounding box by using an operation line and a reference line to monitor the fall detection of the dynamic object.

Description

낙상 검출 장치 및 그 방법{Fall detection apparatus and method thereof}[0001] Fall detection apparatus and method [

본 발명은 낙상 검출 장치 및 그 방법에 관한 내용으로써, 특히 카메라로부터 획득된 영상에서 동적 객체를 검출하고 얻어진 동적 객체에 바운딩 박스(bounding box)를 설정하고, 바운딩 박스의 좌표를 이용하여 특징값을 도출하고 이를 이용하여 낙상을 검출하는 낙상 검출 장치 및 그 방법에 관한 것이다.The present invention relates to a fall detection apparatus and a method thereof, and more particularly, to a fall detection apparatus and a method thereof, in which a dynamic object is detected in an image obtained from a camera, a bounding box is set in the obtained dynamic object, The present invention relates to a fall detection apparatus and a method thereof.

의료의 발달과 생활 수준의 향상, 의료서비스의 확대로 인해 수명 연장과 노인 인구의 증가를 가져왔다. 노인 인구가 차지하는 비율이 높아지면서 고령화 사회 로 접어들었으며 혼자 사는 독거 노인들의 수도 증가하여 보호를 필요로 하는 노인들의 건강에 대한 중요성도 높아지고 있다.The development of medical care, the improvement of living standards, and the expansion of medical services have contributed to an increase in the life span and an increase in the elderly population. As the proportion of the elderly population increases, the number of elderly people living alone has increased, and the importance of health for the elderly who need protection has increased.

낙상의 경우 고령자 사고 중에서 높은 비율을 차지하면서 사회적으로 큰 문제로 대두하고 있다.In the case of falls, it accounts for a high percentage of the elderly accidents and poses a serious social problem.

고령자의 경우 위험한 상황에 대한 대처능력이 떨어지므로 대책을 마련하지 않은면 심각한 상태를 야기할 수 있으므로, 낙상 같은 위험 상황에 대한 대처 방안 이 필요하다.Since elderly people are less able to cope with dangerous situations, measures are needed to deal with dangerous situations, such as falls, as they can cause serious conditions if measures are not taken.

고령자에게 낙상이 위험한 요소라는 것이 널리 인식된 상황에서 낙상 관련 주제의 연구 활동들이 여러 분야에서 꾸준히 이어져 오고 있다. 기존의 낙상 관련 기술은 디바이스를 활용한 방법이 주로 제시되어 있다.In a situation where it is widely acknowledged that falling is a dangerous factor to the elderly, research activities on fall related topics have been continuing in various fields. Conventional fall-related technologies are mainly proposed using devices.

상기 디바이스는 가속도 센서나 자이로 센서와 같이 몸에 부착하여 특정값 이상이 나타났을 때 낙상으로 인지하는 방법들이 제시되어 있으나 장소마다 센서를 설치하거나 몸에 부착해야 하는 번거로움이 있다.The device is attached to the body like an acceleration sensor or a gyro sensor, and is recognized as a fall when a specific value or more appears. However, it is troublesome to install a sensor or attach it to the body every place.

국내공개번호 10-2012-0114629호Domestic Publication No. 10-2012-0114629 국내공개번호 10-2013-0094489호Korean Publication No. 10-2013-0094489 국내공개번호 10-2009-91539호Domestic Publication No. 10-2009-91539

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여, 카메라로부터 획득된 영상으로 동적 객체를 검출하여 정확하게 낙상을 판단할 수 있도록 한 낙상 검출 장치 및 그 방법을 제공하는 데 있다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide a fall detection apparatus and method for detecting a dynamic object using an image obtained from a camera.

또한, 본 발명은 낙상이 검출될 시에 실시간으로 경고 이벤트를 발생시켜 위험을 알릴 수 있도록 한 낙상 검출 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to provide a fall detection apparatus and a method thereof that can alert a danger by generating a warning event in real time when a fall is detected.

본 발명의 일 측면은 촬영 영역에 대한 영상을 획득하는 촬영부; 및 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 감시 모듈을 포함한다.According to an aspect of the present invention, there is provided an image pickup apparatus including: And when a dynamic object appears in the image obtained through the photographing unit, a dynamic object existing in the image is represented by an operation region bounding box, and the size change of the operation region bounding box is grasped by using an operation line and a reference line And a monitoring module for monitoring occurrence of falling of the dynamic object.

또한, 본 발명의 일 측면의 상기 감시 모듈은, 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 설정부; 및 상기 설정부를 통해 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 판단부를 포함한다.According to another aspect of the present invention, when a dynamic object appears in an image acquired through the photographing unit, the monitoring module recognizes the dynamic object, and uses the dynamic range of the recognized dynamic object and the dynamic position of the dynamic object, A setting unit configured to set an operation region bounding box of the apparatus; And a determination unit for determining a size change of the bounding box set by the setting unit by using an operation line and a reference line and determining whether a dynamic object falls in accordance with a size change of the operation region bounding box.

또한, 본 발명의 일 측면의 상기 감시 모듈은, 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 검출부; 및 상기 검출부를 통해 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 추출부;를 더 포함하며, 상기 설정부는 상기 추출부를 통해 추출된 동적 객체 특징점 데이터를 이용하여 상기 검출부를 통해 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식한다.According to another aspect of the present invention, there is provided a surveillance module including: a detection unit that detects dynamic object appearance image frames from consecutive color image frames constituting a color image transmitted from the photographing unit based on a background image frame; And an extracting unit for extracting dynamic object feature point data through binarization in the dynamic object appearance image frame detected through the detecting unit, wherein the setting unit is configured to extract the dynamic object feature point data using the dynamic object feature point data extracted through the extracting unit, And recognizes dynamic objects existing in each of the detected dynamic image object image frames.

또한, 본 발명의 일 측면의 상기 판단부는 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단한다.Further, the determination unit of one aspect of the present invention determines that the fall occurs when the operation line moves below the reference line with respect to the ground.

또한, 본 발명의 일 측면의 감시 모듈은 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 가속도 검출부를 더 포함하며, 상기 판단부는 가속도 검출부에서 측정한 가속도가 임계값 이상이면 낙상으로 판단한다.The monitoring module may further include an acceleration detector for measuring an acceleration, which is a change in size of the bounding box with respect to time, and the determining unit determines that the acceleration falls when the acceleration measured by the acceleration detector is equal to or greater than a threshold value .

또한, 본 발명의 일 측면의 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 이상 동작 영상 저장부; 및 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 출력부를 더 포함한다.According to another aspect of the present invention, there is provided a surveillance module comprising: an abnormal operation image storage unit for storing an image corresponding to a fall occurring in an image transmitted from the photographing unit; And an output unit outputting an alarm for informing occurrence of a fall when the fall of the dynamic object occurs.

한편, 본 발명의 다른 측면은 (A) 촬영부에서 촬영 영역에 대한 영상을 감시 모듈로 실시간 전달하는 단계; (B) 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하는 단계; 및 (C) 감시 모듈이 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for controlling an image capturing apparatus, the method comprising: (A) (B) if a dynamic object appears in an image acquired by the monitoring module through the photographing unit, expressing a dynamic object existing in the image by a bounding box; And (C) monitoring the change of size of the bounding box of the operation area by using the operation line and the reference line to monitor occurrence of a fall of the dynamic object.

또한, 본 발명의 다른 측면의 상기 (B) 단계는 (B-1) 상기 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하는 단계; 및 (B-2) 상기 감시 모듈이 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 단계를 포함한다.The step (B) of the other aspect of the present invention may further comprise: (B-1) recognizing a dynamic object when the dynamic object appears in the image acquired by the monitoring module through the photographing unit; And (B-2) setting an operation region bounding box of the dynamic object using the operation region size and the operation position of the recognized dynamic object by the monitoring module.

또한, 본 발명의 다른 측면의 상기 (C) 단계는 (C-1) 상기 감시 모듈이 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하는 단계; 및 (C-2) 상기 감시 모듈이 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 단계를 포함한다.In another aspect of the present invention, the step (C) includes the steps of: (C-1) tracking the size change of the bounding box set by the monitoring module using an operation line and a reference line; And (C-2) a step in which the monitoring module determines whether a dynamic object falls in accordance with a size change of an operation region bounding box.

또한, 본 발명의 다른 측면의 상기 (B-1) 단계는, 상기 감시 모듈이 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정; 상기 감시 모듈이 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 과정; 및 상기 감시 모듈이 추출된 동적 객체 특징점 데이터를 이용하여 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정을 포함한다.According to another aspect of the present invention, in the step (B-1) of the present invention, the monitoring module detects a dynamic object appearance image frame among consecutive color image frames constituting a color image transmitted from the photographing unit, ; Extracting dynamic object feature point data through binarization within a dynamic object appearance image frame in which the monitoring module is detected; And recognizing a dynamic object existing in each detected dynamic object appearance image frame using the dynamic object feature point data extracted by the monitoring module.

또한, 본 발명의 다른 측면의 상기 감시 모듈은 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단한다.Further, the monitoring module according to another aspect of the present invention determines fall if the operation line moves below the reference line with respect to the ground.

또한, 본 발명의 다른 측면은 (D) 감시 모듈이 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 단계; 및 (E) 감시 모듈이 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 단계를 더 포함한다.According to another aspect of the present invention, there is also provided a method of measuring an acceleration, comprising the steps of: (D) measuring an acceleration in which a monitoring module changes in size with respect to time of the bounding box; And (E) determining if the acceleration measured by the monitoring module is equal to or greater than a threshold value.

또한, 본 발명의 다른 측면은 (F) 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 단계; 및 (G) 감시 모듈은 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 단계를 더 포함한다.According to another aspect of the present invention, there is provided a surveillance module, comprising: (F) storing an image corresponding to a fall occurring in an image transmitted from the photographing unit; And (G) the monitoring module further includes the step of outputting an alarm to notify occurrence of a fall when the fall of the dynamic object occurs.

본 발명을 통해, 실내에서 영상 처리를 통하여 낙상 여부를 판단함으로써 사용자에게 편의를 제공하며 독거 노인에 대하여 낙상과 같은 위험 행동의 발생 여부를 정확하게 판단할 수 있으므로 실시간으로 조치가 가능하다.Through the present invention, it is possible to provide convenience to the user by judging whether or not a fall occurs through the image processing in the room, and it is possible to accurately determine whether a dangerous behavior such as a fall occurs to the elderly living alone.

도 1은 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치의 구성도이다.
도 2는 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 3 또한 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 4 또한 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 방법의 흐름도이다.
1 is a configuration diagram of a fall detection apparatus according to a preferred embodiment of the present invention.
FIG. 2 shows the changes of the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value.
FIG. 3 also shows changes in the X and Y coordinates in the fall state used as an example of explanation for deriving the feature value.
FIG. 4 also shows changes in the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value.
5 is a flowchart of a fall detection method according to a preferred embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments will be described in detail below with reference to the accompanying drawings.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms are used only for the purpose of distinguishing one component from another Is used.

도 1은 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치의 구성도이다.1 is a configuration diagram of a fall detection apparatus according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명의 바람직한 일 실시 예에 따른 낙상 검출 장치는 촬영부(10) 및 감시 모듈(20)을 포함하여 이루어진다. 촬영부(10)와 감시 모듈(20)은 인터넷 망 등의 네트워크를 통해 상호 간에 통신을 수행할 수 있다.Referring to FIG. 1, a fall detection apparatus according to a preferred embodiment of the present invention includes a photographing unit 10 and a monitoring module 20. The photographing unit 10 and the monitoring module 20 can communicate with each other through a network such as the Internet network.

촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 영상을 획득하여 감시 모듈(20)로 실시간 전달한다. 여기서, 영상은 컬러 영상 또는 적외선 영상 등으로 이루어질 수 있다.The photographing unit 10 acquires an image of the photographing region through the photographing of a specific region in the installation space and delivers the image to the monitoring module 20 in real time. Here, the image may be a color image or an infrared image.

이러한, 촬영부(10)는 주간에 작동하여 컬러 영상을 획득하는 컬러 카메라, 야간에 작동하여 적외선 영상을 획득하는 적외선 카메라, 빛 감지 센서나 타이머에 의해 조명 유무 또는 주간/야간 여부를 확인하여 컬러 카메라 및 적외선 카메라의 작동을 제어하는 컨트롤러 등을 포함하여 이루어질 수 있다. The photographing unit 10 includes a color camera that operates in the daytime to acquire a color image, an infrared camera that operates at night to acquire an infrared image, a light sensor or a timer to check whether there is illumination or daytime / A controller for controlling the operation of the camera and the infrared camera, and the like.

한편, 감시 모듈(20)은 촬영부(10)로부터 전달되는 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화와 그 가속도 변화에 따라 동적 객체의 이상 동작 발생을 감시한다. 이때 이상 동작은 갑자기 쓰러지는 동작, 즉 낙상 동작 및 넘어짐 동작 등을 포함하는 것이 바람직하다.When the dynamic object appears in the image transmitted from the photographing unit 10, the monitoring module 20 displays the dynamic object existing in the image as a bounding box of the motion region, and changes the size of the bounding box of the motion region bounding box And monitoring the occurrence of abnormal motion of the dynamic object according to the acceleration change. At this time, it is preferable that the abnormal operation includes an operation of suddenly falling down, that is, a falling operation and a falling operation.

이러한, 감시 모듈(20)은 이상 동작 영상 저장부(21), 배경 영상 저장부(22), 배경 영상 관리부(23), 검출부(24), 추출부(25), 설정부(26), 출력부(27), 판단부(28) 및 가속도 검출부(29)를 포함하여 이루어질 수 있다.The monitoring module 20 includes an abnormal operation image storing unit 21, a background image storing unit 22, a background image managing unit 23, a detecting unit 24, an extracting unit 25, a setting unit 26, A determination unit 28, and an acceleration detection unit 29. [0033]

여기서, 이상 동작 영상 저장부(21)는 촬영부(10)로부터 전달되는 영상 중에서 이상 동작 발생 시에 해당하는 영상을 저장한다.Here, the abnormal operation image storage unit 21 stores the image corresponding to the abnormal operation occurrence from the image transmitted from the photographing unit 10. [

이러한, 이상 동작 영상 저장부(21)는 버퍼 모듈 및 저장 모듈 등을 포함하여 이루어질 수 있다.The abnormal operation image storage unit 21 may include a buffer module and a storage module.

버퍼 모듈은 촬영부(10)로부터 전달되는 영상을 저장하되, 최근의 영상만을 저장한다. 즉, 버퍼 모듈은 촬영부(10)로부터 영상을 전달받으면, 그 영상을 구성하는 연속적인 영상 프레임을 재생 순서에 따라 저장하고, 저장된 영상 프레임들 중 최초 저장 시점으로부터 일정 시간이 경과된 영상 프레임을 지속적으로 제거해 나가면서 최근의 영상 프레임만을 저장하게 된다.The buffer module stores an image transmitted from the photographing unit 10, and stores only a recent image. That is, when the buffer module receives an image from the photographing unit 10, the buffer module stores consecutive image frames constituting the image in accordance with the reproduction order, and stores the image frame that has elapsed from the initial storage time of the stored image frames Only the recent image frames are saved while continuously removing.

저장 모듈은 동적 객체의 이상 동작 발생 시, 이상 동작 발생 시점을 기준으로 전후 일정 시간 동안에 해당하는 영상을 버퍼 모듈로부터 획득하여 이상 동작 발생 시에 해당하는 영상으로 저장한다When the abnormal operation of the dynamic object occurs, the storage module acquires the corresponding image from the buffer module for a predetermined time before and after the occurrence of the abnormal operation, and stores the corresponding image in the occurrence of the abnormal operation

한편, 배경 영상 저장부(22)는 배경 영상 프레임을 저장한다.Meanwhile, the background image storage unit 22 stores a background image frame.

배경 영상 관리부(23)는 배경 분리(Background Subtraction) 기법을 통해 촬영부(10)로부터 전달되는 영상으로부터 배경 영상 프레임을 획득하여 배경 영상 저장부(22)에 저장시킨다. 배경 분리 기법으로는 통계적 배경 모델인 적응적 가우시안 혼합 모델(Adaptive Gaussian Mixture Model)과 개선된 더블 프레임 디퍼런스(Double Frame Difference) 기법 등이 사용될 수 있다.The background image management unit 23 acquires a background image frame from the image transferred from the photographing unit 10 through a background subtraction method and stores the acquired background image frame in the background image storage unit 22. [ As the background separation technique, an adaptive Gaussian Mixture Model and an improved Double Frame Difference technique, which are statistical background models, can be used.

즉, 배경 영상 관리부(23)는 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값(휘도 등) 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 배경 영상 저장부(22)에 저장하게 된다.That is, the background image managing unit 23 designates any one of continuous image frames constituting the image transmitted from the photographing unit 10 as a temporary background image frame, and then outputs the temporary background image frame and the photographing unit 10, (Luminance, etc.) between consecutive image frames constituting an image transmitted from the moving object, and distinguishes a dynamic object having motion from the background without motion in each image frame, And generates a background image frame composed only of the background, and stores the generated background image frame in the background image storage unit 22. FIG.

또한, 배경 영상 관리부(23)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 배경 영상 저장부(22)에 저장함으로써, 배경 영상 저장부(22)에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.The background image management unit 23 compares the background image frame stored in the background image storage unit 22 and the consecutive image frames constituting the image transmitted from the photographing unit 10, A dynamic object in motion and a background without motion are distinguished from each other, and then a dynamic object is extracted from the image frame to generate a new background image frame composed of only background, and the generated new background image frame is stored in the background image storage unit 22 , The background image frame stored in the background image storage unit 22 can be updated periodically.

또한, 배경 영상 관리부(23)는 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하는 경우, 동적 객체가 추출된 영역에 대해 모폴로지컬 연산(Morphological Operations)과 라벨링 알고리즘을 수행하여 작은 홀(Hole) 등과 같은 노이즈를 제거할 수 있다.In addition, when the background image management unit 23 extracts a dynamic object from an image frame and generates a background image frame only of the background, a morphological operation and a labeling algorithm are performed on the extracted area of the dynamic object Noise such as a small hole (Hole) can be removed.

검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임을 기준으로 촬영부(10)로부터 전달되는 영상을 구성하는 연속적인 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다.The detection unit 24 detects dynamic object appearance image frames from consecutive image frames constituting an image transmitted from the photographing unit 10 on the basis of the background image frame stored in the background image storage unit 22.

예를 들어, 검출부(24)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임과 촬영부(10)로부터 전달되는 각 영상 프레임 간의 각 화소에 대하여 화소값 차 x를 산출하고, 그 산출된 화소값 차가 임계치(Threshold)인 T 이상인 화소를 움직임이 일어난 화소로 판단하고, 임계치 이하인 화소를 배경 영상으로 판단한다.For example, the detection unit 24 calculates the pixel value difference x for each pixel between the background image frame stored in the background image storage unit 22 and each image frame transmitted from the photographing unit 10, A pixel having a value difference equal to or greater than a threshold value T is determined as a pixel in which the motion has occurred, and a pixel having a threshold value or less is determined as a background image.

그리고, 검출부(24)는 배경 영상이 되는 화소의 화소값은 f(x)은 0으로 표시하고, 움직임이 일어난 화소의 화소값은 f(x)는 255로 표시하여 이진화를 수행한다.The detection unit 24 performs binarization by displaying f (x) as a pixel value of a pixel serving as a background image and denoting a pixel value of a pixel where motion occurs as f (x) = 255.

이진화는 영상을 0과 1로 나타내는 작업으로 수학식 1과 같다. 본 발명에서는 차 영상을 통해 검출된 객체는 1이 아닌 255의 화소값을 갖게 표현하였으며 배경은 0으로 표현함으로써, 객체를 분류하였다. Binarization is an operation that shows the image as 0 and 1, as shown in Equation (1). In the present invention, an object detected through a difference image is represented by 255 pixel values instead of 1, and a background is represented by 0 to classify objects.

(수학식 1)(1)

Figure 112015120151369-pat00001
Figure 112015120151369-pat00001

추출부(25)는 배경 영상 저장부(22)에 저장된 배경 영상 프레임을 기준으로 검출부(24)를 통해 검출된 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출한다.The extraction unit 25 extracts dynamic object feature point data including the position, color, pixel value, and the like of the motion-detected pixels detected through the detection unit 24 based on the background image frame stored in the background image storage unit 22 .

설정부(26)는 추출부(25)를 통해 추출된 동적 객체 특징점 데이터를 이용하여 검출부(24)를 통해 검출되는 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 추출한 후, 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 동적 객체 출현 영상 프레임별 동적 객체의 동작 영역 바운딩 박스를 설정한다. 여기서, 동작 영역 바운딩 박스는 동적 객체를 포함하는 최소의 사각형 형상 등으로 이루어지는 것이 바람직하다.The setting unit 26 recognizes a dynamic object existing in each dynamic object appearance image frame detected through the detection unit 24 using the dynamic object feature point data extracted through the extraction unit 25, And then sets the bounding box of the dynamic range of the dynamic object for each dynamic object appearance image frame using the extracted dynamic range of the dynamic object and the operation position. Here, the operation region bounding box preferably includes a minimum rectangular shape including a dynamic object.

이러한, 설정부(26)는 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 동작선(A)과 기준선(B)를 설정한다.The setting unit 26 sets the operation line A and the reference line B to extract the dynamic range of the dynamic object existing in each dynamic object appearance image frame and the operation position.

여기에서, 동작선 A는 다음 수학식 2로 표현되며, 도 2를 참조할 때 Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미한다. 이러한 동작선은 도 3과 4에서 녹색선(Green)으로 표현된다.2, X max denotes the maximum value of the X axis in the rectangular coordinates of the bounding box, and Y min denotes the minimum value of the Y axis in the rectangular coordinates of the bounding box . These operating lines are represented by green lines (Green) in Figs. 3 and 4.

(수학식 2)(2)

Figure 112015120151369-pat00002
Figure 112015120151369-pat00002

그리고, 기준선은 다음 수학식 3으로 표현되며, 도 2를 참조할 때 Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미한다.Then, the reference line following and represented by Equation 3, X min to refer to Figure 2 means the X-axis minimum value in the Cartesian coordinates of the bounding box, Y max refers to the maximum Y-axis in an orthogonal coordinate axis of the bounding box .

이러한 기준선은 도 3과 4에서 적색선(Red)로 표현된다.These baselines are represented by the red lines in FIGS. 3 and 4.

(수학식 3)(3)

Figure 112015120151369-pat00003
Figure 112015120151369-pat00003

도 2는 특징값을 도출하기 위한 설명의 예로써 사용되는 낙상 상태일 때의 X, Y좌표의 변화를 도시한 것이다. 좌측 낙상일 경우 Xmin과 Xmax는 감소, Ymin과 Ymax는 증가를 한다. 우측 낙상일 경우 Xmin과 Xmax증가, Ymin과 Ymax 또한 증가하는 모습을 볼 수 있다. 낙상 상태일 경우 Ymin과Ymax의 거리가 정상 상태와 비교할 경우 좁아졌으며 Xmin과 Xmax의 거리는 멀어진다. FIG. 2 shows the changes of the X and Y coordinates in the fall state, which is used as an example of explanation for deriving a feature value. For the left fall, X min and X max decrease and Y min and Y max increase. In case of right fall, X min and X max increase, Y min and Y max also increase. When the fall state is the distance Y min and Y max was distant narrower distance X min and X max when compared to a normal state.

상기 수학식 2의 동작선은 정상 상태일 때와 비교하여 낙상 상태일 때 증가량이 큰 값들로 구성되어 있다.The operating line of Equation (2) is composed of larger values of the increase amount in the fall state as compared with the steady state.

이와 달리 수학식 3의 기준선은 정상 상태일 때와 비교하여 낙상 상태일 때 증가량이 작고 감소하는 값들로 구성되어있다.On the other hand, the reference line of Equation (3) is composed of values that decrease and decrease in the fall state as compared with that in the steady state.

한편, 출력부(27)는 동적 객체의 이상 동작 발생 시 이상 동작 발생을 알리기 위한 경보를 출력한다.On the other hand, the output unit 27 outputs an alarm to notify the occurrence of an abnormal operation when an abnormal operation of the dynamic object occurs.

이러한, 출력부(27)는 사운드 모듈 및 표시 모듈 등을 포함하여 이루어질 수 있다.The output unit 27 may include a sound module, a display module, and the like.

사운드 모듈은 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등 형태로 이상 동작 발생 경보를 출력한다.The sound module outputs an abnormal operation occurrence alarm in the form of an alarm sound or an alarm alarm when an abnormal operation of a dynamic object occurs.

표시 모듈은 동적 객체의 이상 동작 발생 시, 경보 메시지 문구/문양 및 이상 동작 영상 저장부(21)에 저장되어 있는 이상 동작 발생 영상 중 적어도 어느 하나 이상을 디스플레이한다.The display module displays at least one of the alarm message phrase / glyph and the abnormal operation occurrence image stored in the abnormal operation image storage unit 21 when the abnormal operation of the dynamic object occurs.

판단부(28)는 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스의 기준선을 기준으로 동작선의 변화를 추적하여 동적 객체의 이상 동작 발생 여부를 판단하고, 그 판단 결과를 이상 동작 영상 저장부(21) 및 출력부(27)로 제공한다.The determination unit 28 determines whether or not an abnormal operation of the dynamic object is generated by tracking the change of the operation line based on the reference line of the bounding box set in each dynamic object occurrence image frame and outputs the determination result to the abnormal operation image storage unit 21. [ And an output unit 27, as shown in Fig.

이러한, 판단부(28)는 도 3의 (a)에 도시된 바와 같이 동작선이 기준선의 위에 있으면 정상 상태로 판단하며(동작선의 값이 기준선의 값보다 크면), 도 3의 (b)를 참조하면 동작선이 기준선보다 아래에 있으면(동작선의 값이 기준선의 값보다 작으면) 낙상 상태로 판단한다.3 (a), when the operation line is above the reference line, the determination unit 28 determines that the operation line is in a normal state (when the value of the operation line is larger than the value of the reference line) If the motion line is below the reference line (if the value of the motion line is smaller than the value of the reference line), it is judged as a fall state.

이러한 낙상 상태는 도 4에도 유사하게 나타난다.Such a fall condition is similar to FIG.

한편, 판단부(28)는 위의 수학식 2와 3에 의한 동작선과 기준선을 이용할 경우 범위가 큰 동작일 때 오검출을 할 수도 있다. 이러한 문제를 해결하기 위해 본 발명에서는 가속도를 적용하였다.On the other hand, when the operation line and the reference line according to Equations 2 and 3 are used, the determination unit 28 may perform erroneous detection when the range is large. In order to solve this problem, acceleration is applied in the present invention.

가속도 검출부(29)는 Y축 상의 바운딩 박스의 시간에 따른 크기 변화를 측정하여 가속도를 결정하고 결정된 가속도를 판단부(28)에 제공한다. The acceleration detector 29 measures a change in size of the bounding box on the Y axis over time and determines the acceleration, and provides the determined acceleration to the determiner 28. [

이러한 가속도 검출부(29)는 가속도 Vminy를 아래 수학식 4에 의해 산출할 수 있다. 여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값이다.The acceleration detecting section 29 can calculate the acceleration V miny by the following equation (4). Here, t is time, and k and k-1 is the time means the order of frame, t k is the time of k-th frame to be photographed, t k-1 is the k-1 frames is taken, Y mink is k and Y min values in the frame, Y min (k-1) is a Y min values in the k-1 frames.

(수학식 4)(4)

Figure 112015120151369-pat00004
Figure 112015120151369-pat00004

상기 판단부(28)는 가속도가 임계값 Tv이상일 때 낙상으로 판단한다. 즉, 판단부(28)는 동작선이 기준선 이하가 되고, 가속도가 임계값 이상이 될때 낙상 상태로 판단한다.The determination unit 28 determines the acceleration threshold T v is more than a fall time. That is, the determination unit 28 determines that the operation line is below the reference line and falls when the acceleration becomes equal to or greater than the threshold value.

이와 관련하여 가속도는 영상의 2차원 픽셀정보를 이용하기 때문에 카메라와의 거리에 따라 변화하는 값의 크기가 달라진다. 이러한 문제로 임계값 Tv도 거리에 따라 변화를 해야 하기 때문에 다음과 같은 수학식 5를 정의하였다.In this regard, since the acceleration uses the two-dimensional pixel information of the image, the magnitude of the varying value varies depending on the distance from the camera. For this problem, the threshold value T v is also defined the following equation (5), so as to be changed according to the distance.

(수학식 5)(5)

Figure 112015120151369-pat00005
Figure 112015120151369-pat00005

수학식 5는 카메라와 사람의 거리에 따라 임계값 Tv가 변화한다. 영상 안에서 사람의 발 끝 부분에 위치한 Ymax좌표를 이용하였으며 사람과 카메라의 거리가 가까울수록 임계값 TV가 증가하고, 멀어질수록 임계값 Tv가 감소하는 특징을 가진다. Equation (5) is a threshold value T v is changed according to the distance between the person. The Y max coordinates at the end of the human foot are used in the image. The threshold T v increases as the distance between the person and the camera increases, and the threshold T v decreases as the distance increases.

상기 판단부(28)는 수학식 1이 수학식 2 이상일 때, 즉 B=TB 이상일 때와 수학식 3이 Tv 이상일 경우 낙상으로 판단하고 사용자에게 경고 이벤트를 발생한다.If the equation (1) is equal to or greater than Equation (2), that is, when B is equal to or greater than T B and the Equation (3) is equal to or greater than T v , the determination unit (28) determines a fall and generates a warning event to the user.

전술한 바와 같은 구성에 있어서, 도 4를 참조하여 본 발명의 일 실시예에 따른 낙상 검출 방법에 대해 설명하면 다음과 같다.In the above-described configuration, a fall detection method according to an embodiment of the present invention will be described with reference to FIG.

먼저, 촬영부(10)는 설치 공간에서의 특정 영역 촬영을 통해 촬영 영역에 대한 영상을 감시 모듈(20)로 실시간 전달한다(S100).First, the photographing unit 10 transmits an image of the photographing region to the monitoring module 20 in real time through photographing a specific region in the installation space (S100).

상기한 단계 S100을 통해 감시 모듈(20)로 전달되는 영상은 조명의 유무나, 주간/야간 여부에 따라 컬러 영상 또는 적외선 영상 등으로 이루어질 수 있다.The image transmitted to the monitoring module 20 through the step S100 may be a color image or an infrared image depending on whether there is illumination or whether it is daytime / nighttime.

상기한 단계 S100 이후, 감시 모듈(20)은 배경 분리 기법을 통해 영상으로부터 배경 영상 프레임을 획득한다(S200).After the step S100, the monitoring module 20 acquires a background image frame from the image through the background separation technique (S200).

상기한 단계 S200에서 감시 모듈(20)은 영상을 구성하는 연속적인 영상 프레임들 중 어느 하나의 프레임을 임시 배경 영상 프레임으로 지정한 다음, 임시 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 배경 영상 프레임을 생성하고, 그 생성된 배경 영상 프레임을 내부에 저장하게 된다.In step S200, the monitoring module 20 designates one of consecutive image frames constituting an image as a temporary background image frame, and then forms a temporary background image frame and an image transmitted through the step S100 The dynamic object in motion and the motionless background are separated and recognized in each image frame through the comparison of pixel values between consecutive image frames. Then, the dynamic object is extracted from the image frame to generate a background image frame composed of only background And stores the generated background image frame therein.

또한, 상기한 단계 S200에서 감시 모듈(20)은 내부에 저장된 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 간의 화소값 비교를 통해 각 영상 프레임 내에서 움직임이 있는 동적 객체와 움직임이 없는 배경을 구분 인식한 후, 영상 프레임 내에서 동적 객체를 추출하여 배경만으로 이루어진 새로운 배경 영상 프레임을 생성하고, 그 생성된 새로운 배경 영상 프레임을 내부에 저장함으로써, 내부에 저장되어 있는 배경 영상 프레임을 주기적으로 갱신할 수 있다.In step S200, the monitoring module 20 compares pixel values between a background image frame stored therein and consecutive image frames constituting an image transmitted through the step S100, The dynamic object is separated from the motionless background, and then the dynamic object is extracted from the image frame to generate a new background image frame composed only of the background, and the generated new background image frame is stored therein, It is possible to periodically update the background image frame.

상기한 단계 S200 다음으로, 감시 모듈(20)은 배경 영상 프레임을 기준으로 상기한 단계 S100을 통해 전달되는 영상을 구성하는 연속적인 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출한다(S300).In step S300, the monitoring module 20 detects the dynamic object appearance image frames from the consecutive image frames constituting the image transmitted through the step S100 on the basis of the background image frame.

상기한 단계 S300에서 감시 모듈(20)은 상기한 단계 S200을 통해 획득한 배경 영상 프레임과 상기한 단계 S100을 통해 전달되는 각 영상 프레임 간의 화소값 차를 산출하고, 그 산출된 화소값 차가 임계치 이상인 화소를 움직임이 일어난 화소로 판단하고, 그 움직임이 일어난 화소를 갖는 영상 프레임을 동적 객체 출현 영상 프레임으로 검출하게 된다.In step S300, the monitoring module 20 calculates a pixel value difference between the background image frame obtained through the step S200 and each image frame transmitted through the step S100. If the calculated pixel value difference is equal to or greater than the threshold value The pixel is determined as a pixel in which the motion has occurred, and the image frame having the pixel in which the motion has occurred is detected as the dynamic object appearance image frame.

상기한 단계 S300 이후, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식한다(S400).After step S300, the monitoring module 20 recognizes dynamic objects existing in each dynamic object appearance image frame (S400).

상기한 단계 S400에서 감시 모듈(20)은 상기한 단계 S300을 통해 검출된 동적 객체 출현 영상 프레임 내에서 움직임이 일어난 화소들의 위치, 색상 및 화소값 등을 포함한 동적 객체 특징점 데이터를 추출하고, 그 추출된 동적 객체 특징점 데이터를 이용하여 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식할 수 있다.In step S400, the monitoring module 20 extracts the dynamic object feature point data including the position, color, and pixel value of the motion-detected pixels within the detected dynamic object appearance image frame through the above-described step S300, The dynamic object existing in the dynamic object appearance image frame can be recognized by using the dynamic object feature point data.

상기한 단계 S400 다음으로, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출한 후, 그 추출된 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 각 동적 객체 출현 영상 프레임별 동적 객체의 동작 영역 바운딩 박스를 설정한다(S500).Next, in step S400, the monitoring module 20 extracts an operation area size and an operation position of a dynamic object existing in each dynamic object appearance image frame, and then uses the size and the operation position of the extracted dynamic object The bounding box of the dynamic range of the dynamic object for each dynamic object appearance image frame is set (S500).

상기한 단계 S500에서, 동작 영역 바운딩 박스는 동적 객체를 포함하는 최소의 사각형 형상 등으로 이루어지는 것이 바람직하다.In the above step S500, the operation area bounding box preferably includes a minimum rectangular shape including a dynamic object.

상기한 단계 S500에서 감시 모듈(20)은 각 영상 프레임 내에 존재하는 동적 객체의 동작 영역 크기 및 동작 위치를 추출하기 위해 이진화 방식을 사용할 수 있다.In step S500, the monitoring module 20 may use a binarization method to extract the dynamic range of the dynamic object existing in each image frame and the operation position.

상기한 단계 S500 이후, 감시 모듈(20)은 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스에서 동작선과 기준선을 설정하고, 바운딩 박스의 시간에 의한 위치 이동을 알려주는 가속도를 산출한 후에, 동작선과 기준선 그리고 가속도의 변화로 동작 영역 바운딩 박스의 크기 변화를 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단한다(S600).After the above step S500, the monitoring module 20 sets the operation line and the reference line in the bounding box set in each dynamic object appearance image frame, calculates the acceleration indicating the movement of the bounding box by time, In operation S600, a size change of the operation area bounding box is tracked by a change in acceleration, and a fall occurs in the dynamic object according to a size change of the operation area bounding box.

상기한 단계 S600에서 감시 모듈(20)은 각 동적 객체 출현 영상 프레임에 설정된 바운딩 박스의 기준선을 기준으로 동작선의 변화를 추적하여 동적 객체의 낙상 발생 여부를 판단한다.In step S600, the monitoring module 20 tracks the movement of the motion line based on the reference line of the bounding box set in each dynamic object appearance image frame to determine whether a dynamic object falls.

이러한, 감시 모듈(20)는 도 3의 (a)에 도시된 바와 같이 동작선이 기준선의 위에 있으면 정상 상태로 판단하며, 도 3의 (b)를 참조하면 동작선이 기준선보다 아래에 있으면 낙상 상태로 판단한다.3 (a), when the operation line is above the reference line, the monitoring module 20 determines that the operation line is in the normal state. Referring to FIG. 3 (b) State.

한편, 감시 모듈(20)은 위의 수학식 2와 3에 의한 동작선과 기준선을 이용할 경우 범위가 큰 동작일 때 오검출을 할 수도 있다. 이러한 문제를 해결하기 위해 본 발명에서는 가속도를 적용하였다.On the other hand, if the operation line and the reference line according to Equations 2 and 3 are used, the monitoring module 20 may perform erroneous detection when the range is large. In order to solve this problem, acceleration is applied in the present invention.

감시 모듈(20)은 Y축 상의 바운딩 박스의 시간에 따른 크기 변화를 측정하여 가속도를 결정하고, 가속도가 임계값 Tv이상일 때 낙상으로 판단한다. Monitoring module 20 determines the acceleration by measuring the size change with time of the bounding box on the Y-axis, and the acceleration is determined as a threshold value T when v is more than falling.

즉, 감시 모듈(20)는 동작선이 기준선 이하가 되고, 가속도가 임계값 이상이 될때 낙상 상태로 판단한다.That is, the monitoring module 20 determines that the operation line is below the reference line, and falls when the acceleration reaches the threshold value or more.

이와 관련하여 가속도는 영상의 2차원 픽셀정보를 이용하기 때문에 카메라와의 거리에 따라 변화하는 값의 크기가 달라진다. 이러한 문제로 임계값 Tv도 거리에 따라 변화를 해야 하기 때문에 영상 안에서 사람의 발 끝 부분에 위치한 Ymax좌표를 이용하였으며 사람과 카메라의 거리가 가까울수록 임계값 TV가 증가하고, 멀어질수록 임계값 Tv가 감소하는 특징을 가진다. In this regard, since the acceleration uses the two-dimensional pixel information of the image, the magnitude of the varying value varies depending on the distance from the camera. Because of this problem, the threshold value T v also needs to be changed according to the distance. Therefore, the Y max coordinate located at the tip of the human foot is used in the image. The threshold value T V increases as the distance between the person and the camera increases, It has a characteristic that the threshold value T v is reduced.

상기 감시 모듈(20)는 수학식 1이 수학식 2 이상일 때, 즉 B=TB 이상일 때와 수학식 3이 Tv 이상일 경우 낙상으로 판단한다.The monitoring module 20 determines that the fall occurs when Equation 1 is equal to or greater than Equation 2, that is, when B is equal to or greater than T B and Equation 3 is equal to or greater than T v .

상기한 단계 S600에서의 판단 결과, 동적 객체의 이상 동작 발생 시, 감시 모듈(20)은 이상 동작 발생을 알리기 위한 경보를 출력한다(S700).As a result of the determination in step S600, when the abnormal operation of the dynamic object occurs, the monitoring module 20 outputs an alarm for notifying of occurrence of an abnormal operation (S700).

상기한 단계 S700에서 감시 모듈(20)은 동적 객체의 이상 동작 발생 시, 경보 음성 또는 경보 알람 등을 출력하면서, 이상 동작 발생 영상을 내부에 저장하거나, 경보 메시지 문구/문양 및 내부 저장된 이상 동작 발생 영상중 적어도 어느 하나 이상을 디스플레이할 수 있다.In step S700, the surveillance module 20 stores an abnormality occurrence image in the inside, outputs an alarm message phrase / pattern, and an abnormally stored abnormality occurrence while outputting an alarm sound or an alarm alarm when an abnormal operation of a dynamic object occurs And at least one of the images can be displayed.

상기와 같은 본 발명을 통해, 실내에서 영상 처리를 통하여 낙상 여부를 판단함으로써 사용자에게 편의를 제공하며 독거 노인에 대하여 낙상과 같은 위험 행동의 발생 여부를 정확하게 판단할 수 있으므로 실시간으로 조치가 가능하다.According to the present invention as described above, it is possible to provide convenience to the user by judging whether or not a fall occurs through image processing in the room, and it is possible to precisely determine whether a dangerous behavior such as a fall occurs to the elderly living alone.

10: 촬영부 20: 감시 모듈
21: 이상 동작 영상 저장부 22: 배경 영상 저장부
23: 배경 영상 관리부 24: 검출부
25: 추출부 26: 설정부
27: 출력부 28: 판단부
29 : 가속도 검출부
10: photographing part 20: monitoring module
21: abnormal operation image storage unit 22: background image storage unit
23: Background video management unit 24:
25: extracting unit 26: setting unit
27: output unit 28:
29: Acceleration detector

Claims (19)

촬영 영역에 대한 영상을 획득하는 촬영부; 및
상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하고, 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 감시 모듈을 포함하며,
상기 감시 모듈은,
상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하고, 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 설정부; 및
상기 설정부를 통해 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하며, 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 판단부를 포함하며,
상기 판단부가 이용하는 동작선은 다음 수학식 2와 같이 표현되고, 기준선은 다음 수학식 3과 같이 표현되는 낙상 검출 장치.

(수학식 2)
Figure 112016087815280-pat00019

여기에서, A는 동작선이고, Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미함.

(수학식 3)
Figure 112016087815280-pat00020

여기에서, B는 동작선이고, Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.
A photographing unit for acquiring an image of a photographing area; And
When a dynamic object appears in the image obtained through the photographing unit, a dynamic object existing in the image is expressed by a bounding box of the motion region, and the size change of the motion region bounding box is grasped by using the motion line and the reference line, And a monitoring module for monitoring a fall occurrence of the object,
The monitoring module includes:
A setting unit for recognizing a dynamic object when the dynamic object appears in the image acquired through the photographing unit and setting an operation region bounding box of the dynamic object by using the size and the operation position of the recognized dynamic object; And
And a determination unit that tracks a size change of the bounding box set through the setting unit using an operation line and a reference line and determines whether a dynamic object falls in accordance with a size change of the operation region bounding box,
Wherein the operation line used by the determination unit is expressed by the following equation (2), and the reference line is expressed by the following equation (3).

(2)
Figure 112016087815280-pat00019

Where A is the operating line, X max is the maximum value of the X axis in the Cartesian coordinates of the bounding box, and Y min is the minimum value of the Y axis in the Cartesian coordinates of the bounding box.

(3)
Figure 112016087815280-pat00020

Where B is the operating line, X min is the minimum value of the X axis in the Cartesian coordinates of the bounding box, and Y max is the Y axis maximum value in the Cartesian coordinates of the bounding box.
삭제delete 청구항 1항에 있어서,
상기 감시 모듈은,
배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 검출부; 및
상기 검출부를 통해 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 추출부;를 더 포함하며,
상기 설정부는 상기 추출부를 통해 추출된 동적 객체 특징점 데이터를 이용하여 상기 검출부를 통해 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 낙상 검출 장치.
The method according to claim 1,
The monitoring module includes:
A detector for detecting dynamic object appearance image frames among consecutive color image frames constituting a color image transmitted from the photographing unit on the basis of a background image frame; And
And an extraction unit for extracting dynamic object feature point data through binarization in the dynamic object appearance image frame detected through the detection unit,
Wherein the setting unit recognizes a dynamic object existing in each dynamic object occurrence image frame detected through the detection unit using the dynamic object feature point data extracted through the extraction unit.
삭제delete 청구항 1항 또는 3항에 있어서,
상기 판단부는 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단하는 낙상 검출 장치.
The method according to claim 1 or 3,
Wherein the determination unit determines that the fall occurs when the operation line moves below the reference line based on the ground surface.
청구항 5항에 있어서,
상기 감시 모듈은
상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 가속도 검출부를 더 포함하며,
상기 판단부는 가속도 검출부에서 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 낙상 검출 장치.
The method of claim 5,
The monitoring module
And an acceleration detector for measuring an acceleration, which is a magnitude change with respect to time of the bounding box,
Wherein the determination unit determines that the acceleration is fall if the acceleration measured by the acceleration detection unit is equal to or greater than a threshold value.
청구항 6항에 있어서,
상기 가속도 검출부는 가속도 Vminy를 아래 수학식 4에 의해 산출하는 것을 특징으로 하는 낙상 검출 장치.
(수학식 4)
Figure 112015120151369-pat00008

여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값임.
The method of claim 6,
Wherein the acceleration detecting unit calculates the acceleration V miny by the following equation (4).
(4)
Figure 112015120151369-pat00008

Here, t is time, and k and k-1 is the time means the order of frame, t k is the time of k-th frame to be photographed, t k-1 is the k-1 frames is taken, Y mink is k In the frame, Y min is the value, and Y min (k-1) is the Y min value in the k-1 frame.
청구항 6항에 있어서,
상기 판단부는 임계값 Tv가 아래 수학식 5에 의해 거리에 따라 변화하도록 하는 낙상 검출 장치.

(수학식 5)
Figure 112015120151369-pat00009

여기에서, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.
The method of claim 6,
The determining unit fall detection device of the threshold T v is to be changed according to the distance by Equation (5) below.

(5)
Figure 112015120151369-pat00009

Where Y max is the Y axis maximum value in the Cartesian coordinate axis of the bounding box.
청구항 1항 또는 3항에 있어서,
상기 감시 모듈은
상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 이상 동작 영상 저장부; 및
동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 출력부를 더 포함하는 낙상 검출 장치.
The method according to claim 1 or 3,
The monitoring module
An abnormal operation image storage unit for storing an image corresponding to a fall occurring in the image transmitted from the photographing unit; And
And an output unit for outputting an alarm for notifying occurrence of a fall when the fall of the dynamic object occurs.
(A) 촬영부에서 촬영 영역에 대한 영상을 감시 모듈로 실시간 전달하는 단계;
(B) 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 영상 내에 존재하는 동적 객체를 동작 영역 바운딩 박스(Bounding Box)로 표현하는 단계; 및
(C) 감시 모듈이 동작 영역 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 파악하여 동적 객체의 낙상 발생을 감시하는 단계를 포함하며,
상기 (C) 단계는
(C-1) 상기 감시 모듈이 설정된 바운딩 박스의 크기 변화를 동작선과 기준선을 이용하여 추적하는 단계; 및
(C-2) 상기 감시 모듈이 동작 영역 바운딩 박스의 크기 변화에 따라 동적 객체의 낙상 발생 여부를 판단하는 단계를 포함하며,
상기 감시 모듈이 이용하는 동작선은 다음 수학식 2와 같이 표현되고, 기준선은 다음 수학식 3과 같이 표현되는 낙상 검출 방법.

(수학식 2)
Figure 112016087815280-pat00021

여기에서, A는 동작선이고, Xmax는 바운딩 박스의 직교 좌표에서 X축의 최대값을 의미하며, Ymin은 바운딩 박스의 직교좌표에서 Y축의 최소값을 의미함.

(수학식 3)
Figure 112016087815280-pat00022

여기에서, B는 동작선이고, Xmin은 바운딩 박스의 직교 좌표에서 X축의 최소값을 의미하며, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.
(A) transmitting, in real time, an image of a shooting region in a photographing unit to a monitoring module;
(B) if a dynamic object appears in an image acquired by the monitoring module through the photographing unit, expressing a dynamic object existing in the image by a bounding box; And
(C) monitoring module monitors changes in the size of the bounding box of the operation area by using an operation line and a reference line to monitor occurrence of a fall of the dynamic object,
The step (C)
(C-1) tracking the size change of the bounding box set by the monitoring module using an operation line and a reference line; And
(C-2) The monitoring module determines whether a dynamic object falls in accordance with a size change of an operation region bounding box,
Wherein the operation line used by the monitoring module is expressed by the following equation (2), and the reference line is expressed by the following equation (3).

(2)
Figure 112016087815280-pat00021

Where A is the operating line, X max is the maximum value of the X axis in the Cartesian coordinates of the bounding box, and Y min is the minimum value of the Y axis in the Cartesian coordinates of the bounding box.

(3)
Figure 112016087815280-pat00022

Where B is the operating line, X min is the minimum value of the X axis in the Cartesian coordinates of the bounding box, and Y max is the Y axis maximum value in the Cartesian coordinates of the bounding box.
청구항 10항에 있어서,
상기 (B) 단계는
(B-1) 상기 감시 모듈이 상기 촬영부를 통해 획득한 영상 내에 동적 객체가 출현하면, 동적 객체를 인식하는 단계; 및
(B-2) 상기 감시 모듈이 그 인식한 동적 객체의 동작 영역 크기 및 동작 위치를 이용하여 동적 객체의 동작 영역 바운딩 박스를 설정하는 단계를 포함하는 낙상 검출 방법.
12. The method of claim 10,
The step (B)
(B-1) recognizing a dynamic object when a dynamic object appears in an image acquired by the monitoring module through the photographing unit; And
(B-2) setting the bounding box of the dynamic range of the dynamic object by using the dynamic range and the dynamic range of the dynamic object recognized by the monitoring module.
삭제delete 청구항 11항에 있어서,
상기 (B-1) 단계는,
상기 감시 모듈이 배경 영상 프레임을 기준으로 상기 촬영부로부터 전달되는 컬러 영상을 구성하는 연속적인 컬러 영상 프레임들 중에서 동적 객체 출현 영상 프레임들을 검출하는 과정;
상기 감시 모듈이 검출되는 동적 객체 출현 영상 프레임 내에서 이진화를 통해 동적 객체 특징점 데이터를 추출하는 과정; 및
상기 감시 모듈이 추출된 동적 객체 특징점 데이터를 이용하여 검출된 각 동적 객체 출현 영상 프레임 내에 존재하는 동적 객체를 인식하는 과정을 포함하는 낙상 검출 방법.
12. The method of claim 11,
Wherein the step (B-1)
Detecting, by the monitoring module, dynamic object appearance image frames from consecutive color image frames constituting a color image transmitted from the photographing unit based on a background image frame;
Extracting dynamic object feature point data through binarization within a dynamic object appearance image frame in which the monitoring module is detected; And
And the monitoring module recognizing a dynamic object existing in each detected dynamic object appearance image frame using the extracted dynamic object feature point data.
삭제delete 청구항 10항, 11항 및 13항 중 어느 한 항에 있어서,
상기 감시 모듈은 지면을 기준으로 동작선이 기준선보다 아래로 이동하면 낙상으로 판단하는 낙상 검출 방법.
The method according to any one of claims 10, 11 and 13,
Wherein the monitoring module determines that the fall occurs when the operation line moves below the reference line with respect to the ground.
청구항 15항에 있어서,
(D) 감시 모듈이 상기 바운딩 박스의 시간에 대한 크기 변화인 가속도를 측정하는 단계; 및
(E) 감시 모듈이 측정한 가속도가 임계값 이상이면 낙상으로 판단하는 단계를 더 포함하는 낙상 검출 방법.
The method of claim 15,
(D) measuring an acceleration in which the monitoring module is a size change of the bounding box with respect to time; And
(E) judging the fall as a fall if the acceleration measured by the monitoring module is not less than a threshold value.
청구항 16항에 있어서,
상기 감시 모듈이 측정하는 가속도 Vminy는 아래 수학식 4에 의해 산출하는 것을 특징으로 하는 낙상 검출 방법.
(수학식 4)
Figure 112015120151369-pat00012

여기에서, t는 시간이며 k와 k-1은 프레임의 순서를 의미하며, tk는 k 프레임이 촬영되는 시간이고, tk-1은 k-1 프레임이 촬영되는 시간이며, Ymink는 k 프레임에서 Ymin값이고, Ymin (k-1)은 k-1 프레임에서 Ymin값임.
The method of claim 16,
Wherein the acceleration Vminy measured by the monitoring module is calculated by the following equation (4).
(4)
Figure 112015120151369-pat00012

Here, t is time, and k and k-1 is the time means the order of frame, t k is the time of k-th frame to be photographed, t k-1 is the k-1 frames is taken, Y mink is k In the frame, Y min is the value, and Y min (k-1) is the Y min value in the k-1 frame.
청구항 16항에 있어서,
상기 감시 모듈은 임계값 Tv가 아래 수학식 5에 의해 거리에 따라 변화하도록 하는 낙상 검출 방법.

(수학식 5)
Figure 112015120151369-pat00013

여기에서, Ymax는 바운딩 박스의 직교 좌표축에서 Y축 최대값을 의미함.
The method of claim 16,
Fall detection method in which the monitoring module threshold T v is to be changed according to the distance by Equation (5) below.

(5)
Figure 112015120151369-pat00013

Where Y max is the Y axis maximum value in the Cartesian coordinate axis of the bounding box.
청구항 10, 11항 및 13항 중 어느 한 항에 있어서,
(F) 감시 모듈은 상기 촬영부로부터 전달되는 영상 중에서 낙상 발생 시에 해당하는 영상을 저장하는 단계; 및
(G) 감시 모듈은 동적 객체의 낙상 발생 시 낙상 발생을 알리기 위한 경보를 출력하는 단계를 더 포함하는 낙상 검출 방법.
The method according to any one of claims 10, 11 and 13,
(F) the monitoring module stores an image corresponding to a fall occurring from the image transmitted from the photographing unit; And
(G) The monitoring module further includes outputting an alarm to notify occurrence of a fall when the fall of the dynamic object occurs.
KR1020150174194A 2015-12-08 2015-12-08 Fall detection apparatus and method thereof KR101704471B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150174194A KR101704471B1 (en) 2015-12-08 2015-12-08 Fall detection apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174194A KR101704471B1 (en) 2015-12-08 2015-12-08 Fall detection apparatus and method thereof

Publications (1)

Publication Number Publication Date
KR101704471B1 true KR101704471B1 (en) 2017-02-10

Family

ID=58121426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174194A KR101704471B1 (en) 2015-12-08 2015-12-08 Fall detection apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR101704471B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733618A (en) * 2020-12-22 2021-04-30 江苏艾雨文承养老机器人有限公司 Human body falling detection method, falling prevention robot and falling prevention system
US11080891B2 (en) 2017-05-25 2021-08-03 Samsung Electronics Co., Ltd. Method and system for detecting dangerous situation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090091539A (en) 2008-02-25 2009-08-28 동서대학교산학협력단 System for monitoring occurrence of dangerous motion
KR20120114629A (en) 2011-04-07 2012-10-17 연세대학교 산학협력단 Falldown detecting method using the image processing, image processing apparatus for the same
KR20130094489A (en) 2012-02-16 2013-08-26 부경대학교 산학협력단 System and method for monitoring emergency motion based image
KR101460682B1 (en) * 2014-04-30 2014-11-12 한경대학교 산학협력단 Apparatus and method for detecting fall

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090091539A (en) 2008-02-25 2009-08-28 동서대학교산학협력단 System for monitoring occurrence of dangerous motion
KR20120114629A (en) 2011-04-07 2012-10-17 연세대학교 산학협력단 Falldown detecting method using the image processing, image processing apparatus for the same
KR20130094489A (en) 2012-02-16 2013-08-26 부경대학교 산학협력단 System and method for monitoring emergency motion based image
KR101460682B1 (en) * 2014-04-30 2014-11-12 한경대학교 산학협력단 Apparatus and method for detecting fall

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080891B2 (en) 2017-05-25 2021-08-03 Samsung Electronics Co., Ltd. Method and system for detecting dangerous situation
CN112733618A (en) * 2020-12-22 2021-04-30 江苏艾雨文承养老机器人有限公司 Human body falling detection method, falling prevention robot and falling prevention system

Similar Documents

Publication Publication Date Title
JP6137425B2 (en) Image processing system, image processing apparatus, image processing method, and image processing program
KR101309366B1 (en) System and Method for Monitoring Emergency Motion based Image
KR101593187B1 (en) Device and method surveiling innormal behavior using 3d image information
KR20080054331A (en) Flame detecting method and device
US20160117837A1 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
WO2018159036A1 (en) Monitoring assistance system, control method thereof, and program
KR101514061B1 (en) Wireless camera device for managing old and weak people and the management system thereby
KR20140110484A (en) Risk behavior detection method using image information
JP2004021495A (en) Monitoring system and monitoring method
JP2012089929A (en) Object detection apparatus, object detection method, monitoring camera system and program
KR100822476B1 (en) Remote emergency monitoring system and method
KR101512658B1 (en) A device and method for detecting for fire flame using stereo camera and fuzzy logic
JP4999794B2 (en) Still region detection method and apparatus, program and recording medium
EP2000998B1 (en) Flame detecting method and device
KR20120035734A (en) A method for detecting fire or smoke
JP2018151834A (en) Lost child detection apparatus and lost child detection method
KR101840042B1 (en) Multi-Imaginary Fence Line Setting Method and Trespassing Sensing System
KR101704471B1 (en) Fall detection apparatus and method thereof
JP5693147B2 (en) Photographic interference detection method, interference detection device, and surveillance camera system
JP2008541650A (en) Monitoring method and apparatus
KR101212383B1 (en) Apparatus and Method for Home Healthcare Monitoring
KR20130094488A (en) System and method for monitoring emergency motion based image
JP2016038686A (en) Monitoring apparatus and program
JP7214437B2 (en) Information processing device, information processing method and program
JP2010250775A (en) Crime prevention device and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191224

Year of fee payment: 4