KR102134771B1 - Device and method for determining an emergency situation through object detection - Google Patents

Device and method for determining an emergency situation through object detection Download PDF

Info

Publication number
KR102134771B1
KR102134771B1 KR1020180106432A KR20180106432A KR102134771B1 KR 102134771 B1 KR102134771 B1 KR 102134771B1 KR 1020180106432 A KR1020180106432 A KR 1020180106432A KR 20180106432 A KR20180106432 A KR 20180106432A KR 102134771 B1 KR102134771 B1 KR 102134771B1
Authority
KR
South Korea
Prior art keywords
posture
coordinate information
current object
determining
current
Prior art date
Application number
KR1020180106432A
Other languages
Korean (ko)
Other versions
KR20200028550A (en
Inventor
염세경
최승현
김창균
원진영
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180106432A priority Critical patent/KR102134771B1/en
Publication of KR20200028550A publication Critical patent/KR20200028550A/en
Application granted granted Critical
Publication of KR102134771B1 publication Critical patent/KR102134771B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 객체 인식을 통해 위급 상황을 판단하는 방법에 관한 것으로, 위급상황 판단 장치가 객체 인식을 통해 위급 상황을 판단하는 방법에 있어서, 움직이는 객체가 포함된 영상을 촬영하는 단계; 상기 촬영된 영상 중 현재 객체의 자세를 판단하는 단계; 저장된 과거 객체의 자세와 비교하여 상기 현재 객체의 자세에 변화가 있는지 판단하는 단계; 상기 현재 객체의 자세에 변화가 있는 경우 임계시간 이내인지 판단하는 단계; 및 상기 임계시간 이내인 경우 위급 상황을 경고하는 단계;를 포함한다.The present invention relates to a method for determining an emergency situation through object recognition, wherein an emergency situation determination device determines an emergency situation through object recognition, comprising: capturing an image including a moving object; Determining a posture of a current object among the captured images; Determining whether there is a change in the posture of the current object by comparing the posture of the stored past object; Determining whether there is a change in the posture of the current object within a critical time; And if it is within the threshold time, warning of an emergency situation.

Description

객체 인식을 통해 위급 상황을 판단하는 장치 및 방법{Device and method for determining an emergency situation through object detection}Device and method for determining an emergency situation through object detection

본 발명은 객체 인식을 통해 위급 상황을 판단하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for determining an emergency situation through object recognition.

OECD 인구 연령조사에 따르면 향후 수십 년 동안 노령 인구의 비율이 두 배 이상 증가 할 것으로 나타난 가운데, 한국의 경우도 매년 노인의 인구비율이 2008년엔 10.2%에서 2017년에 14%로 증가하여 고령화 사회로 접어들고 있다. According to the OECD Population Age Survey, while the proportion of the aged population will more than double in the next few decades, the proportion of the elderly in Korea increases from 10.2% in 2008 to 14% in 2017, leading to an aging society. It is entering.

이런 가운데, 고령화 현상과 더불어 독거노인의 비율도 매년 2~3%씩 증가하고 있으며, 한국의 독거노인의 경우 전체 노령인구의 33.5%를 차지하고 있다. Among these, along with the aging phenomenon, the proportion of the elderly living alone increases by 2-3% each year, and in Korea, the elderly living alone accounts for 33.5% of the total elderly population.

독거노인의 거주특성 및 생활환경의 특성상 사회와의 교류가 적고 단절되어있어, 갑작스러운 사고나 건강상의 위급 상황 발생 시 119나 가까운 병원에 신고 되지 못해 부상이 악화되거나 심한 경우 사망에 이르게 되는 문제점이 있다. Due to the nature of living and living environment of the elderly living alone, there is little communication with the society and is disconnected.In the event of a sudden accident or health emergency, it is not reported to 119 or the nearest hospital. have.

이에 노인들이 평소에 하지 않는 행동을 하거나 위급 상황이라고 판단될 때, 신속하게 119나 근처의 병원 또는 담당자에게 위급 상황을 자동 통보할 수 있는 시스템이 필요하다.Accordingly, a system capable of automatically notifying an emergency situation to 119 or a nearby hospital or a person in charge when an elderly person does not normally act or is determined to be in an emergency situation is required.

이러한 위급 상황 자동통보 기술의 종래기술로 한국 공개특허공보 제2010-0117306호가 있다.Korean Patent Publication No. 2010-0117306 is known as a prior art for such an emergency notification technology.

하지만, 종래기술의 경우 독고노인이 인위적인 조작으로 발생시킨 신호데이터를 기초로 위급 상황인 것을 자동으로 통보하지만, 독고노인이 인위적인 조작을 할 수 없는 상태일 경우 자동으로 위급 상황인 것을 통보할 수 없는 문제점이 있다.However, in the case of the prior art, it is automatically notified that it is an emergency situation based on the signal data generated by the elderly man-in-law, but if the elderly man-in-law cannot perform artificial manipulation, it is not possible to automatically notify that the situation is in emergency. There is a problem.

또한, 종래기술은 카메라, 동작감지기 등의 감지기를 이용해 독고노인을 모니터링하여 위급 상황인 것을 감지해 자동으로 통보하지만, 이런 모니터링 방식은 낙상사고 발생 시 모니터링을 놓치게 된다면 담당자가 누워있는 상태로 인지해 위급 상황임을 판단할 수 없는 문제점이 있다.In addition, the prior art monitors the elderly by using sensors such as cameras and motion detectors to automatically detect and detect an emergency, but this monitoring method recognizes that the person in charge is lying down if monitoring is missed in the event of a fall. There is a problem that cannot be judged as an emergency.

상기와 같은 기술적 과제를 해결하기 위해, 위급상황 판단 장치가 객체 인식을 통해 위급 상황을 판단하는 방법에 있어서, 움직이는 객체가 포함된 영상을 촬영하는 단계; 상기 촬영된 영상 중 현재 객체의 자세를 판단하는 단계; 저장된 과거 객체의 자세와 비교하여 상기 현재 객체의 자세에 변화가 있는지 판단하는 단계; 상기 현재 객체의 자세에 변화가 있는 경우 임계시간 이내인지 판단하는 단계; 및 상기 임계시간 이내인 경우 위급 상황을 경고하는 단계;를 포함하는 객체 인식을 통해 위급 상황을 판단하는 방법을 제공한다.In order to solve the above technical problem, a method of determining an emergency situation through object recognition by an emergency situation determination device, comprising: capturing an image including a moving object; Determining a posture of a current object among the captured images; Determining whether there is a change in the posture of the current object by comparing the posture of the stored past object; Determining whether there is a change in the posture of the current object within a critical time; And in the case of within the threshold time, alerting the emergency situation; provides a method for determining the emergency situation through object recognition.

여기서, 현재 객체의 자세를 판단하는 단계는, 미리 학습된 객체의 자세별 좌표 정보와 현재 객체의 좌표 정보를 비교하여 판단하는 단계일 수 있다.Here, the step of determining the posture of the current object may be a step of comparing and determining coordinate information for each posture of the previously learned object and coordinate information of the current object.

여기서, 상기 미리 학습된 객체의 자세별 좌표 정보는 인터넷을 통해 수집된 영상 또는 이미지가 전처리되어 획득될 수 있다.Here, the coordinate information for each posture of the previously learned object may be obtained by preprocessing an image or image collected through the Internet.

여기서, 상기 현재 객체의 좌표 정보는 상기 촬영된 영상이 전처리되어 획득될 수 있다.Here, the coordinate information of the current object may be obtained by preprocessing the captured image.

본 발명의 바람직한 다른 측면에 따르면, 움직이는 객체가 포함된 영상을 촬영하는 영상 촬영부; 상기 촬영된 영상 중 현재 객체의 자세를 판단하고, 저장된 과거 객체의 자세와 비교하여 상기 현재 객체의 자세에 변화가 있는지 판단하며, 상기 현재 객체의 자세에 변화가 있는 경우 임계시간 이내인지 판단하는 판단부; 및 상기 임계시간 이내인 경우 위급 상황 경고를 출력하는 출력부;를 포함하는 객체 인식을 통해 위급 상황을 판단하는 장치를 제공한다.According to another preferred aspect of the present invention, an image photographing unit for photographing an image including a moving object; Determines a posture of the current object among the captured images, compares with a stored past object's posture, determines whether there is a change in the posture of the current object, and determines whether the posture of the current object is within a critical time part; And an output unit that outputs an emergency alert when the threshold time is within the threshold time.

여기서, 미리 학습된 객체의 자세별 좌표 정보를 저장되는 저장부;를 더 포함하되, 상기 판단부는 상기 미리 학습된 객체의 자세별 좌표 정보와 현재 객체의 좌표 정보를 비교하여 상기 현재 객체의 자세를 판단할 수 있다.Here, the storage unit for storing the coordinate information of each posture of a previously learned object; further comprising, the determination unit compares the coordinate information of each posture of the previously learned object with the coordinate information of the current object to determine the posture of the current object. I can judge.

여기서, 상기 인터넷을 통해 영상 또는 이미지를 수집하는 수집부;를 더 포함하되, 상기 미리 학습된 객체의 자세별 좌표 정보는 상기 수집된 영상 또는 이미지가 전처리되어 획득될 수 있다.Here, further comprising a collection unit for collecting an image or an image through the Internet, the coordinate information for each posture of the previously learned object may be obtained by preprocessing the collected image or image.

여기서, 상기 현재 객체의 좌표 정보는 상기 촬영된 영상이 전처리되어 획득될 수 있다.Here, the coordinate information of the current object may be obtained by preprocessing the captured image.

본 발명은 실시간으로 영상을 촬영해 위급 상황을 모니터링하는 가운데, 객체 인식을 이용하여 자세를 판단해 위급 상황을 정확히 판단할 수 있는 효과가 있다.The present invention has an effect of accurately determining an emergency situation by capturing an image in real time and monitoring the emergency situation, using object recognition to determine a posture.

또한, 본 발명은 다양한 자세를 학습시켜, 실시간으로 영상에서 자세를 정확히 판단할 수 있는 효과가 있다.In addition, the present invention has an effect of accurately determining the posture in the image in real time by learning various postures.

또한, 본 발명은 객체의 자세의 변화를 판단할 수 있고, 객체의 자세에 변화가 있을 시 위급 상황인지 판단할 수 있는 효과가 있다.In addition, the present invention has an effect that can determine the change in the posture of the object, if there is a change in the posture of the object, it can determine whether it is an emergency.

도 1은 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 구성도이다.
도 2는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 전처리부가 전처리하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 미리 학습된 객체의 자세별 좌표 정보를 객체의 자세별로 분류해 저장부에 저장하는 방법을 설명하기 위한 표이다.
도 4는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 현재 객체의 자세를 판단하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 현재 객체의 자세 변화를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 다른 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 방법의 순서도이다.1 is a configuration diagram of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a method of preprocessing a preprocessing unit of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.
FIG. 3 is a view for explaining a method of classifying coordinate information for each posture of a previously learned object according to the posture of an object and storing it in the storage unit according to the posture of the object, which is determined by an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention. It is a ticket.
4 is a diagram for explaining a method of determining a posture of a current object by a determination unit of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.
5 is a view for explaining a method of determining a change in the posture of the current object determination unit of the apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.
6 is a flowchart of a method for determining an emergency situation through object recognition according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the corresponding components are not limited by these terms. These terms are only used to distinguish one component from another.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be'connected' or'connected' to another component, it may be directly connected to or connected to the other component, but other components may exist in the middle. It should be understood that. On the other hand, when a component is said to be'directly connected' or'directly connected' to another component, it should be understood that no other component exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as'comprises' or'have' are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and that one or more other features are present. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

도 1은 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 구성도이다.1 is a configuration diagram of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.

도 1을 참조하면, 객체 인식을 통해 위급 상황을 판단하는 장치(100)는 영상 촬영부(110), 전처리부(120), 수집부(130), 판단부(140), 저장부(150) 및 경고부(160)를 포함한다.Referring to FIG. 1, an apparatus 100 for determining an emergency situation through object recognition includes an image photographing unit 110, a pre-processing unit 120, a collection unit 130, a determination unit 140, and a storage unit 150 And a warning unit 160.

영상 촬영부(110)는 움직이는 객체가 포함된 영상을 촬영한다.The image photographing unit 110 photographs an image including a moving object.

전처리부(120)는 영상 촬영부(110)에서 촬영된 영상에서 객체 인식(Object detection)을 이용해 객체를 확대하고, 확대된 객체에 대한 좌표 정보로 전처리해 현재 객체의 좌표 정보를 생성한다. The pre-processing unit 120 enlarges an object by using object detection from an image photographed by the image photographing unit 110 and pre-processes the coordinate information for the enlarged object to generate coordinate information of the current object.

또한, 전처리부(120)는 수집부(130)에서 수집한 영상 또는 이미지에서 객체 인식(Object detection)을 이용해 객체를 확대하고, 확대된 객체에 대한 좌표 정보로 전처리해 미리 학습된 객체의 자세별 좌표 정보를 생성한다.In addition, the pre-processing unit 120 enlarges an object by using object detection from an image or image collected by the collection unit 130, and pre-processes it with coordinate information about the enlarged object, according to the posture of the previously learned object. Generate coordinate information.

수집부(130)는 객체의 자세가 있는 영상 또는 이미지를 인터넷을 통해 수집한다. The collection unit 130 collects an image or image with an attitude of the object through the Internet.

판단부(140)는 전처리부(120)가 수집부(130)를 통해 수집된 영상 또는 이미지를 전처리한 미리 객체의 자세별 좌표 정보를 학습하고, 객체의 자세별로 분류해 저장부(150)에 저장시킨다. 여기서, 판단부(140)는 딥 러닝(deep learning) 방법을 이용해 객체의 자세별 좌표 정보를 학습할 수 있다.The determination unit 140 learns coordinate information for each posture of an object in advance, in which the pre-processing unit 120 pre-processes the image or image collected through the collection unit 130, classifies it according to the posture of the object, and stores it in the storage unit 150 Save it. Here, the determination unit 140 may learn coordinate information for each posture of the object using a deep learning method.

판단부(140)는 전처리부(120)를 통해 전처리된 현재 객체 좌표 정보와 저장부(150)에 객체의 자세별로 분류되어 저장된 미리 학습된 객체의 자세별 좌표 정보를 비교하여 현재 객체의 자세를 판단한다. The determination unit 140 compares current object coordinate information pre-processed through the pre-processing unit 120 and coordinate information for each posture of the pre-trained object classified and stored in the storage unit 150 for each posture of the object, and compares the posture of the current object. Judge.

판단부(140)는 저장부(150)에 저장된 과거 객체의 자세와 현재 객체의 자세를 비교하여 현재 객체의 자세에 변화가 있는지 판단하고, 현재 객체의 자세에 변화가 있는 경우 객체의 자세가 변화된 시간이 임계시간 이내인지 판단한다. The determination unit 140 compares the posture of the past object stored in the storage 150 and the posture of the current object to determine whether there is a change in the posture of the current object, and if there is a change in the posture of the current object, the posture of the object is changed It is determined whether the time is within a critical time.

판단부(140)는 임계시간 이내인 경우 위급 상황으로 판단하여 출력부(160)에 정보를 제공한다.If it is within a critical time, the determination unit 140 determines the emergency situation and provides information to the output unit 160.

저장부(150)는 판단부(140)가 판단한 현재 객체의 자세, 현재 객체의 자세를 영상 촬영부(110)가 촬영한 시간, 판단부(140)가 객체의 자세별로 분류한 미리 학습된 객체의 자세별 좌표 정보, 미리 학습된 객체의 자세별 좌표 정보에 해당하는 객체의 자세 정보, 임계시간을 저장한다.The storage unit 150 is a pre-learned object in which the attitude of the current object determined by the determination unit 140 is determined, the time at which the image capturing unit 110 photographs the attitude of the current object, and the determination unit 140 classified by the attitude of the object. The posture coordinate information of each object, the posture information of the object corresponding to the posture coordinate information of the previously learned object, and the critical time are stored.

또한, 저장부(150)는 현재 객체의 자세 이전의 과거 객체의 자세와 그 자세의 촬영시간을 저장한다. In addition, the storage unit 150 stores the posture of the past object and the shooting time of the posture before the posture of the current object.

경고부(160)는 판단부(140)로부터 위급 상황 정보를 받아 경고한다. 여기서, 경고는 위급 상황이라고 보호자, 근처의 병원 및 119 중 적어도 어느 하나에 통보되는 것일 수 있다.The warning unit 160 receives the emergency situation information from the determination unit 140 and warns. Here, the warning may be that at least one of a guardian, a nearby hospital, and 119 is notified as an emergency.

도 2는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 전처리부가 전처리하는 방법을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a method of preprocessing a preprocessing unit of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention.

도 2를 참조하면, 전처리부(120)는 영상 촬영부(110)에서 촬영된 영상 또는 수집부(130)에서 수집한 영상 또는 이미지를 객체 인식(Object detection)을 이용해 객체(210)를 확대하고, 확대된 객체(210)에 대한 좌표 정보(220)로 전처리해 현재 객체의 좌표 정보 또는 미리 학습된 객체의 자세별 좌표 정보를 생성한다. 여기서, 좌표 정보(220)는 시작(START) 좌표(X, Y)와 끝(END) 좌표(X, Y)로 표시될 수 있다.Referring to FIG. 2, the pre-processing unit 120 enlarges the object 210 by using object detection of an image captured by the image photographing unit 110 or an image or image collected by the collecting unit 130. , Pre-processed with the coordinate information 220 for the enlarged object 210 to generate coordinate information of the current object or coordinate information for each posture of the previously learned object. Here, the coordinate information 220 may be displayed as start (START) coordinates (X, Y) and end (END) coordinates (X, Y).

도 3은 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 미리 학습된 객체의 자세별 좌표 정보를 객체의 자세별로 분류해 저장부에 저장하는 방법을 설명하기 위한 표이다.FIG. 3 is a view for explaining a method of classifying coordinate information for each posture of a previously learned object according to the posture of an object and storing it in the storage unit according to the posture of the object, which is determined by an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention. It is a ticket.

도 3을 참조하면, 판단부(140)는 전처리부(120)가 수집부(130)를 통해 인터넷에서 수집된 영상 또는 이미지를 전처리해 생성한 미리 학습된 객체의 자세별 좌표 정보를 입력받아 객체의 자세별로 분류해 파일명(310), 객체의 자세 정보(320), 미리 학습된 객체의 자세별 좌표 정보(330)로 저장부(150)에 저장시킨다.Referring to FIG. 3, the determination unit 140 receives the coordinate information for each posture of the pre-trained object generated by preprocessing the image or image collected from the Internet by the preprocessor 120 through the collection unit 130, and then receives the object. Categorized by posture and stored in the storage unit 150 as a file name 310, posture information 320 of the object, and coordinate information 330 for each posture of the learned object.

파일명(310)은 수집부(130)를 통해 인터넷에서 수집된 영상 또는 이미지를 전처리부(120)가 전처리한 영상 또는 이미지의 이름이며, 객체의 자세 정보(320)는 파일명(310)에 해당하는 영상 또는 이미지에 포함되어 있는 객체의 좌세 정보, 미리 학습된 객체의 자세별 좌표 정보(330)는 파일명(310)에 해당하는 객체의 시작 좌표 X, 시작 좌표 Y, 끝 좌표 X 및 끝 좌표 Y 정보이다. The file name 310 is a name of an image or image pre-processed by the pre-processing unit 120 on an image or image collected from the Internet through the collection unit 130, and the posture information 320 of the object corresponds to the file name 310 The left and right information of the object included in the image or the image, and the coordinate information 330 for each posture of the previously learned object are the starting coordinate X, the starting coordinate Y, the ending coordinate X, and the ending coordinate Y of the object corresponding to the file name 310. to be.

도 4는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 현재 객체의 자세를 판단하는 방법을 설명하기 위한 도면이다. 도 4(a)는 현재 객체의 자세가 서있는 자세, 도 4(b)는 현재 객체의 자세가 앉아있는 자세, 도 4(c)는 현재 객체의 자세가 누워있는 자세이다.4 is a diagram for explaining a method of determining a posture of a current object by a determination unit of an apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention. 4(a) is a posture in which the posture of the current object is standing, FIG. 4(b) is a posture in which the posture of the current object is sitting, and FIG. 4(c) is a posture in which the posture of the current object is lying.

도 4(a) 내지 도 4(c)를 참조하면, 판단부(140)는 전처리부(120)를 통해 전처리된 현재 객체의 좌표 정보(410, 420, 430)를 받아 저장부(150)에 저장되어 있는 미리 학습된 객체의 자세별 좌표 정보(330)와 비교하여 현재 객체의 자세를 도 4(a)는 서있는 자세로, 도 4(b)는 앉아있는 자세로, 도 4(c)는 누워있는 자세로 판단한다.4(a) to 4(c), the determination unit 140 receives the coordinate information 410, 420, 430 of the current object pre-processed through the pre-processing unit 120 and stores it in the storage unit 150. 4(a) is a standing posture, FIG. 4(b) is a sitting posture, and FIG. 4(c) is comparing the posture of the current object with the stored coordinate information 330 of the previously learned object. Judging by the lying position.

이어 판단부(140)는 현재 객체의 좌표 정보(410, 420, 430)를 바탕으로 판단한 현재 객체의 자세에 대한 정보와 현재 객체의 자세가 영상 촬영부(110)를 통해 촬영된 시간을 저장부(150)에 저장시킨다. Subsequently, the determination unit 140 stores information on the attitude of the current object determined based on the coordinate information 410, 420, and 430 of the current object and the time at which the attitude of the current object was captured through the image capturing unit 110. (150).

도 5는 본 발명에 일 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 장치의 판단부가 현재 객체의 자세 변화를 판단하는 방법을 설명하기 위한 도면이다. 도 5(a)는 과거 객체의 자세(510)가 서있는 자세, 도 5(b)는 현재 객체의 자세(520)가 누워있는 자세로 자세 변화가 있는 경우이다.5 is a view for explaining a method of determining a change in the posture of the current object determination unit of the apparatus for determining an emergency situation through object recognition according to an embodiment of the present invention. Figure 5 (a) is a posture 510 of the past object is a standing posture, Figure 5 (b) is a posture change of the posture 520 of the current object is lying posture.

도 5(a) 및 도 5(b)를 참조하면, 판단부(140)는 현재 객채의 자세(520)를 누워있는 자세로 판단한 후 저장부(150)에 저장된 현재 객체의 자세(520) 이전의 과거 객체의 자세(510)인 서있는 자세와 비교해 현재 객체의 자세가 서있는 자세에서 누워있는 자세로 현재 객체의 자세에 변화가 있는 것으로 판단한다. 5(a) and 5(b), the determination unit 140 determines the posture 520 of the current object as a lying posture, and then moves the posture 520 of the current object stored in the storage 150 It is determined that the posture of the current object is changed from the standing posture to the lying posture as compared to the standing posture that is the posture 510 of the past object.

또한, 판단부(140)는 현재 객체의 자세에 변화가 있는 것으로 판단된 경우 현재 객체의 자세(520)의 촬영시간과 과거 객체의 자세(510)의 촬영시간의 차이가 임계시간 이내인지 판단한다. 판단부(140)는 임계시간 이내인 경우 위급 상황으로 판단해 경고부(160)에 정보를 제공한다. In addition, when it is determined that there is a change in the posture of the current object, the determination unit 140 determines whether a difference between the recording time of the posture 520 of the current object and the recording time of the posture 510 of the past object is within a threshold time. . If it is within a critical time, the determination unit 140 determines the emergency situation and provides information to the warning unit 160.

도 6은 본 발명에 다른 실시예에 따른 객체 인식을 통해 위급 상황을 판단하는 방법의 순서도이다.6 is a flowchart of a method for determining an emergency situation through object recognition according to another embodiment of the present invention.

도 6을 참조하면, S610단계에서 영상 촬영부(110)가 움직이는 객체가 포함된 영상을 촬영한다.Referring to FIG. 6, in step S610, the image photographing unit 110 photographs an image including a moving object.

S620단계에서 판단부(140)가 촬영된 영상 중 현재 객체의 자세를 판단한 후, 판단한 현재 객체의 자세와 현재 객체의 자세를 영상 촬영부(110)가 촬영한 시간을 저장부(150)에 저장시킨다. After determining the posture of the current object among the images captured by the determination unit 140 in step S620, the determined posture of the current object and the posture of the current object is stored in the storage unit 150, the time taken by the image capturing unit 110 Order.

S630단계에서 판단부(140)가 저장부(150)에 저장된 과거 객체의 자세와 비교해 현재 객체의 자세에 변화가 있는지 판단해 현재 객체의 자세에 변화가 있으면 S640단계를 진행하고, 현재 객체의 자세에 변화가 없으면 S610단계로 돌아간다.In step S630, the determination unit 140 compares the posture of the past object stored in the storage 150 to determine whether there is a change in the posture of the current object, and if there is a change in the posture of the current object, proceed to step S640, and the posture of the current object If there is no change in the process, the process returns to step S610.

S640단계에서 판단부(140)는 현재 객체의 자세에 변화가 저장부(150)에 저장된 임계시간 이내인지 판단해 임계시간 이내이면 S650단계를 진행하고, 임계시간 이내가 아니면 S610단계로 돌아간다.In step S640, the determination unit 140 determines whether the change in the posture of the current object is within the threshold time stored in the storage unit 150, and if it is within the threshold time, proceeds to step S650. If not, the process returns to step S610.

S650단계에서 경고부(160)가 위급 상황이라고 경고한다.In step S650, the warning unit 160 warns that it is an emergency.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야할 것이다.Although the embodiments according to the present invention have been described above, they are merely exemplary, and those skilled in the art to which the present invention pertains will understand that various modifications and equivalent ranges of the embodiments are possible. . Therefore, the true technical protection scope of the present invention should be defined by the following claims.

110 : 영상 촬영부 120 : 전처리부
130 : 수집부 140 : 판단부
150 : 저장부 160 : 경고부110: image recording unit 120: pre-processing unit
130: collection unit 140: judgment unit
150: storage unit 160: warning unit

Claims (8)

삭제delete 위급상황 판단 장치가 객체 인식을 통해 위급 상황을 판단하는 방법에 있어서,
상기 위급 상황을 판단하는 방법은,
움직이는 객체가 포함된 영상을 촬영하는 단계;
상기 촬영된 영상 중 현재 객체의 자세를 판단하는 단계;
- 상기 현재 객체의 자세를 판단하는 것은, 상기 객체의 자세별 좌표 정보를 딥 러닝(deep learning) 방법을 이용하여 미리 학습하고, 자세 별로 분류하여 상기 위급상황 판단 장치의 저장부에 저장시킨 다음, 전처리된 현재 객체 좌표 정보와 상기 자세별로 분류되어 저장된 과거 객체의 자세별 좌표 정보를 비교하여 상기 현재 객체의 자세를 판단하는 것으로써, 상기 현재 객체 좌표 정보는 상기 촬영된 영상에서 객체 인식을 이용해 객체를 확대하고 확대된 개체에 대한 좌표정보로 전처리되어 획득되는 것을 특징으로 함,
상기 현재 객체의 자세가 이전에 저장된 객체의 자세와 비교하여 다른 자세로 자세 변화가 있는지 판단하는 단계;
- 상기 현재 객체의 자세가 다른 자세로 변화가 있다고 판단하는 경우는, 상기 이전의 저장된 객체의 자세가 서있는 자세에서 상기 현재 객체의 자세가 누워있는 자세로 변화된 것임,
상기 자세 변화가 있다고 판단된 경우 상기 현재 객체의 자세의 변화된 시간의 차이가 상기 위급상황 판단 장치에 저장된 임계시간 이내인지 판단하는 단계; 및
상기 자세 변화가 임계시간 이내인 경우 위급상항으로 판단하고, 상기 위급 상황을 보호자, 병원 및 119 중 적어도 어느 한 곳으로 경고하는 단계; 를 포함하는 것을 특징으로 하는 객체 인식을 통해 위급 상황을 판단하는 방법.
In the method for determining the emergency situation through the object recognition device to determine the emergency situation,
How to determine the emergency situation,
Photographing an image including a moving object;
Determining a posture of a current object among the captured images;
-Determining the posture of the current object, pre-learning coordinate information for each posture of the object using a deep learning method, classifying it for each posture and storing it in the storage unit of the emergency determination device, By comparing the pre-processed current object coordinate information with the coordinate information for each posture classified and stored for each posture to determine the posture of the current object, the current object coordinate information is an object using object recognition in the captured image It is characterized in that it is obtained by preprocessing with the coordinate information of the enlarged object and enlarged,
Determining whether a posture of the current object is changed to a different posture by comparing the posture of the previously stored object;
-If it is determined that the posture of the current object is changed to another posture, the posture of the previously stored object is changed from a standing posture to a posture of the current object lying down,
If it is determined that there is a change in the posture, determining whether a difference in the changed time of the posture of the current object is within a threshold time stored in the emergency determination device; And
Determining if the posture change is within a critical time as an emergency, and warning the emergency to at least one of a guardian, a hospital, and 119; Method for determining an emergency situation through object recognition, characterized in that it comprises a.
삭제delete 삭제delete 삭제delete 움직이는 객체가 포함된 영상을 촬영하는 영상 촬영부;
미리 학습된 객체의 자세별 좌표 정보를 저장되는 저장부;
상기 촬영된 영상 중 현재 객체의 자세를 판단하고, 이전에 저장된 객체의 자세와 비교하여 상기 현재 객체가 다른 자세로 자세 변화가 있는지를 판단하며, 상기 현재 객체에 자세 변화가 있다고 판단한 경우, 상기 자세 변화된 시간의 차이가 상기 저장부에 저장된 임계시간 이내인지 판단하여 상기 자세 변화가 임계시간 이내인 경우, 위급상황으로 판단을 하는 판단부; 및
상기 위급 상황을 보호자, 병원 및 119 중 적어도 어느 한 곳으로 경고를 출력하는 출력부; 를 포함하며,
상기 판단부는 상기 미리 학습된 객체의 자세별 좌표 정보와 현재 객체의 좌표 정보를 비교하여 상기 현재 객체의 자세를 판단하되, 상기 객체의 자세별 좌표 정보를 딥 러닝(deep learning) 방법을 이용하여 학습하고, 자세 별로 분류하여 상기 저장부에 저장시킨 다음, 전처리된 현재 객체 좌표 정보와 상기 자세별로 분류되어 저장된 과거 객체의 자세별 좌표 정보를 비교하여 상기 현재 객체의 자세를 판단하는 것을 특징으로 하되, 상기 현재 객체 좌표 정보는 상기 촬영된 영상에서 객체 인식을 이용해 객체를 확대하고 확대된 개체에 대한 좌표정보로 전처리되어 획득되는 것을 특징으로 하며,
상기 판단부가 현재 객체의 자세가 다른 자세로 자세 변화가 있다고 판단하는 경우는, 상기 이전에 저장된 객체의 자세가 서있는 자세에서 상기 현재 객체의 자세가 누워있는 자세로 변화된 것을 특징으로 하는 객체 인식을 통해 위급 상황을 판단하는 장치.

An image photographing unit for photographing an image including a moving object;
A storage unit that stores coordinate information for each posture of a previously learned object;
The posture of the current object is determined among the photographed images, and the posture of the current object is changed to a different posture by comparing with the posture of the previously stored object. A determination unit determining whether a difference in the changed time is within a threshold time stored in the storage unit, and determining if the change in posture is within a threshold time; And
An output unit which outputs a warning to the at least one of a guardian, a hospital, and 119 the emergency situation; It includes,
The determination unit determines a posture of the current object by comparing coordinate information of each posture of the previously learned object with coordinate information of the current object, but learns the posture coordinate information of the object using a deep learning method. After classifying by posture and storing in the storage unit, it is characterized in that the posture of the current object is determined by comparing preprocessed current object coordinate information with posture coordinate information of the past object classified and stored by posture. The current object coordinate information is obtained by using an object recognition in the captured image to enlarge an object and preprocessing it with coordinate information for the enlarged object,
When the determination unit determines that the posture of the current object is changed to a different posture, through the object recognition, the posture of the previously stored object is changed from a standing posture to a lying posture of the current object. Device for judging an emergency.

삭제delete 삭제delete
KR1020180106432A 2018-09-06 2018-09-06 Device and method for determining an emergency situation through object detection KR102134771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106432A KR102134771B1 (en) 2018-09-06 2018-09-06 Device and method for determining an emergency situation through object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106432A KR102134771B1 (en) 2018-09-06 2018-09-06 Device and method for determining an emergency situation through object detection

Publications (2)

Publication Number Publication Date
KR20200028550A KR20200028550A (en) 2020-03-17
KR102134771B1 true KR102134771B1 (en) 2020-07-17

Family

ID=70004019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106432A KR102134771B1 (en) 2018-09-06 2018-09-06 Device and method for determining an emergency situation through object detection

Country Status (1)

Country Link
KR (1) KR102134771B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230090422A (en) 2021-12-14 2023-06-22 임용순 Risk prevention system using artificial intelligence

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679645B1 (en) * 2005-03-09 2007-02-06 전남대학교산학협력단 Gesture recognition method using a virtual trellis plane
KR20150106774A (en) * 2014-03-12 2015-09-22 삼성전자주식회사 Posture analysis device and operating method thereof
KR20160096460A (en) * 2015-02-05 2016-08-16 삼성전자주식회사 Recognition system based on deep learning including a plurality of classfier and control method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
원진영 외 4인, "독거노인 위급 상황 탐지를 위한 TensorFlow Object Detection API 기반 자세 인식 절차", 한국정보과학회 학술발표논문집, 2018.06, 726~728(3 pages).

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230090422A (en) 2021-12-14 2023-06-22 임용순 Risk prevention system using artificial intelligence

Also Published As

Publication number Publication date
KR20200028550A (en) 2020-03-17

Similar Documents

Publication Publication Date Title
Li et al. Fall detection for elderly person care using convolutional neural networks
Liu et al. A fall detection system using k-nearest neighbor classifier
CN110268440B (en) Image analysis device, image analysis method, and storage medium
CN105554439B (en) Method, apparatus and system for modifying at least one parameter used by a video processing algorithm
EP2058777A1 (en) Suspicious behavior detection system and method
JP5106356B2 (en) Image monitoring device
Abdo et al. Fall detection based on RetinaNet and MobileNet convolutional neural networks
Zhang et al. Evaluating depth-based computer vision methods for fall detection under occlusions
KR20190046351A (en) Method and Apparatus for Detecting Intruder
CN109508576B (en) Abnormal driving behavior detection method and device and electronic equipment
EP1665124A1 (en) Apparatus and method for feature recognition
JP2018106282A (en) Object detection device
KR20170132109A (en) Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck
KR20190082149A (en) Method for predicting glaucoma
KR102540208B1 (en) Fire detection method using deep learning
CN109255360A (en) A kind of objective classification method, apparatus and system
KR20220113631A (en) Dangerous situation detection device and dangerous situation detection method
CN115984967A (en) Human body falling detection method, device and system based on deep learning
CN113989321A (en) Intrusion detection method, device and system and computer storage medium
KR102134771B1 (en) Device and method for determining an emergency situation through object detection
KR20190050551A (en) Apparatus and method for recognizing body motion based on depth map information
JP4707019B2 (en) Video surveillance apparatus and method
JP2011198244A (en) Object recognition system, monitoring system using the same, and watching system
JP2011053005A (en) Monitoring system
WO2015076752A1 (en) Hypermotor activity detection system and method therefrom

Legal Events

Date Code Title Description
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)