KR102580434B1 - 위험 상황 감지 장치 및 위험 상황 감지 방법 - Google Patents

위험 상황 감지 장치 및 위험 상황 감지 방법 Download PDF

Info

Publication number
KR102580434B1
KR102580434B1 KR1020210025535A KR20210025535A KR102580434B1 KR 102580434 B1 KR102580434 B1 KR 102580434B1 KR 1020210025535 A KR1020210025535 A KR 1020210025535A KR 20210025535 A KR20210025535 A KR 20210025535A KR 102580434 B1 KR102580434 B1 KR 102580434B1
Authority
KR
South Korea
Prior art keywords
skeleton data
dangerous situation
risk
data
deep learning
Prior art date
Application number
KR1020210025535A
Other languages
English (en)
Other versions
KR20220113631A (ko
Inventor
강성호
김정도
박상영
오건석
권형준
문규진
이준우
금예은
이재준
차윤석
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Publication of KR20220113631A publication Critical patent/KR20220113631A/ko
Application granted granted Critical
Publication of KR102580434B1 publication Critical patent/KR102580434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Abstract

위험 상황 감지 장치가 개시된다. 구체적으로 상기 위험 상황 감지 장치는, 레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지하는 객체 감지부와; 움직이는 상기 객체가 존재하면, 상기 감지 영역을 촬상하는 카메라와; 촬상된 영상으로부터 상기 객체를 포함하는 영상 프레임을 추출하고, 상기 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부와; 상기 스켈레톤 데이터 및 기학습된 데이터를 기반으로 위험 상황을 판단하는 위험 상황 판단부를 포함한다.

Description

위험 상황 감지 장치 및 위험 상황 감지 방법{DANGEROUS SITUATION DETECTION DEVICE AND DANGEROUS SITUATION DETECTION METHOD}
본 발명은 위험 상황 감지 장치 및 위험 상황 감지 방법에 관한 것이다.
CCTV 관제 시스템은 시설 관리 및 재난 대응, 방범, 교통 관리 등의 목적으로 다양한 분야에 적용되고 있다. 공공 기관을 중심으로 설치된 CCTV 카메라는 2013년 기준으로 약 65,000 여대이며, 지속적으로 증가하고 있다. CCTV 카메라의 증가에 따라 한정된 공간에서 관제사가 감시해야 하는 영상은 많아 진다.
일반적으로 1명의 관제사가 감시하는 적절한 카메라는 약 20~ 50대로 간주된다. 관제사가 관제하는데 있어 12분이 경과하면 약 45% 정도 감시 능력이 떨어지고 약 22분이 지나면 95% 정도 감시 능력이 감소된다.
따라서, 효율적인 CCTV 관제 시스템의 운영을 위해서 영상 이해 및 인식 기술을 기반으로 하는 지능형 CCTV 시스템이 도입이 필요하다.
한편, 기존의 영상 인식 기반의 위험 상황 감지 방법에 따르면, 위험 상황에 관련된 영상 구성 요소에 대하여 인공지능을 이용하여 학습하고, 수집된 영상을 프레임 단위로 처리하고 분석하는 것이 개시되어 있으나, 상당히 제한적인 위험 상황에만 대처할 수 있는 여러 가지 한계점을 가지고 있다.
따라서, 개별적인 상황이 아닌 인간의 관절 정보를 담은 스켈레톤 데이터를통하여 위험을 감지하고 이를 학습할 있는 위험 상황 감지 장치 및 위험 상황 감지 방법이 요구된다.
한국등록특허 제10-2126498호 (2020.06.18)
본 발명이 해결하고자 하는 과제는, 딥러닝과 레이더 센서를 활용한 스켈레톤 데이터를 기반으로 하는 위험 상황 감지 장치 및 위험 상황 감지 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는, 개별적인 상황이 아닌 인간의 관절 정보를 담은 스켈레톤 데이터를 통하여 위험을 감지하고 이를 학습할 있는 위험 상황 감지 장치 및 위험 상황 감지 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는, 객체의 움직임이 감지될 때만 작동하는 CCTV를 포함하는 위험 상황 감지 장치 및 위험 상황 감지 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 리소스 낭비를 감소시키고 관제 피로도를 줄일 수 있는 위험 상황 감지 장치 및 위험 상황 감지 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 위험 상황 감지 장치가 제공된다. 구체적으로 상기 위험 상황 감지 장치는, 레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지하는 객체 감지부와; 움직이는 상기 객체가 존재하면, 상기 감지 영역을 촬상하는 카메라와; 촬상된 영상으로부터 상기 객체를 포함하는 영상 프레임을 추출하고, 상기 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부와; 상기 스켈레톤 데이터 및 기학습된 데이터를 기반으로 위험 상황을 판단하는 위험 상황 판단부를 포함한다.
상기 위험 상황 감지 장치는, 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출하는 딥러닝 학습부를 더 포함할 수 있다.
상기 위험 상황 판단부는 상기 영상 프레임으로부터 추출된 상기 스켈레톤 데이터를 딥러닝 모델에 입력하여 학습하고, 상기 기준 정확도를 만족하는지 여부에 따라 기설정된 위험 상황으로 판단할 수 있다.
상기 위험 상황이 발생된 것으로 판단되면, 상기 위험 상황 판단부는 상기 카메라의 해당 영상 프레임을 클로즈업할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 위험 상황 감지 방법이 제공된다. 구체적으로 상기 위험 상황 감지 방법은, 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출하는 딥러닝 학습 단계와; 레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지하는 객체 감지 단계와; 움직이는 상기 객체가 존재하면, 상기 감지 영역을 촬상하는 영상 촬상 단계와; 촬상된 영상으로부터 상기 객체를 포함하는 영상 프레임을 추출하고, 상기 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출 단계와; 상기 스켈레톤 데이터 및 기학습된 데이터를 기반으로 위험 상황을 판단하는 위험 상황 판단 단계를 포함한다.
상기 위험 상황 판단 단계는 상기 영상 프레임으로부터 추출된 상기 스켈레톤 데이터를 딥러닝 모델에 입력하여 학습하고, 상기 기준 정확도를 만족하는지 여부에 따라 기설정된 위험 상황으로 판단할 수 있다.
상기 위험 상황이 발생된 것으로 판단되면, 상기 위험 상황 판단 단계는 촬상된 해당 영상 프레임을 클로즈업할 수 있다.
본 발명의 실시예에 따르면, 딥러닝과 레이더 센서를 활용한 스켈레톤 데이터를 기반으로 하는 위험 상황 감지 장치 및 위험 상황 감지 방법이 제공된다.
본 발명의 실시예에 따르면, 개별적인 상황이 아닌 인간의 관절 정보를 담은 스켈레톤 데이터를 통하여 위험을 감지하고 이를 학습할 있는 위험 상황 감지 장치 및 위험 상황 감지 방법이 제공된다.
본 발명의 실시예에 따르면, 객체의 움직임이 감지될 때만 작동하는 CCTV를 포함하는 위험 상황 감지 장치 및 위험 상황 감지 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 리소스 낭비를 감소시키고 관제 피로도를 줄일 수 있는 위험 상황 감지 장치 및 위험 상황 감지 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 영상 또는 동영상 데이터를 그대로 학습하는 것이 아니라 저차원 데이터의 처리로 인하여 연산이 복잡하지 않고 효율적인 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 위험 상황 발생 시 관제 인원에 즉각적으로 위험 상황을 알림으로써 빠른 대응을 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위험 상황 감지 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 감지 단계를 설명하는 제어 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 위험 상황 감지 방법을 설명하기 위한 제어 흐름도이다.
도 4은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 일 실시예에 따른 위험 상황 감지 장치의 제어 블록도이다.
도시된 바와 같이, 일 실시예에 따른 위험 상황 감지 장치는 객체 감지부(10), 카메라(20), 스켈레톤 데이터 추출부(30), 위험 상황 판단부(40) 및 딥러닝 학습부(50)를 포함할 수 있다. 본 발명에 따른 위험 상황 감지 장치는 CCTV와 같은 카메라(20)를 이용하여 위험 상황 발생을 실시간으로 파악하되, 객체, 구체적으로 사람 또는 동물의 빼대, 즉 스켈레톤 정보를 심층 학습하여 위험 상황을 파악 및 대처하기 위한 시스템이다.
본 발명의 위험 상황 감지 장치는 대규모 CCTV 관제 센터나 기업의 CCTV 관제 센터 또는 위험 지역으로 판단되는 장소에 적용될 수 있으며, 레이더 센서를 이용하여 객체 수를 판단함으로써 객체가 감지된 경우에만 위험 행동 감지가 시작될 수 있다. 이를 통해 불필요한 리소스 낭비를 방지할 수 있다.
객체 감지부(10)는 레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지한다. 객체 감지부(10)는 객체 감지를 위한 도시하지 않은 레이더 센서를 포함할 수 있다.
감지 영역은 통상적으로 다양한 장소에 설치되어 있는 CCTV를 통해 촬상되는 영역을 의미하며, 다양한 환자들이 누워있거나 입원해 있는 병원 또는 침상, 아이들의 관찰하기 위한 놀이방, 건물의 입구 또는 다양한 사무실 영역, 엘리베이터 내부 등 위험 상황이 발생할 수 있는 모든 영역일 수 있다. 또는 동물들이 생활하는 특정 영역, 폭력 또는 불법적인 상황이 발생하기 쉬운 골목 또는 학교 등이 포함될 수 있다.
따라서, 객체는 사람, 동물과 같은 움직이는 생물일 수 있고, 감지 영역에 따라 움직일 수 있는 공과 같은 물건일 수도 있다. 다만, 본 발명에서는 객체 중 사람 또는 동물에 대한 정보 중 스켈레톤 데이터가 추출될 수 있다.
레이더 센서는 사물 또는 사람과 같은 객체의 존재 및 속도와 이동 방향을 감지할 수 있고, 감지 거리가 다양하게 조절될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 객체 감지 단계를 설명하는 제어 흐름도이다.
객체 감지부(10)는 광자가 객체에 맞은 뒤 돌아오는 시간을 측정하는 레이더 센서의 원리를 이용하여 (t-1) 시간의 레이더 신호인 S1을 저장하고(S201), t 시간에 대응하는 신호 S2를 저장할 수 있다(S203).
그런 후, 두 시간에 대응하는 데이터의 값의 동일성 여부가 판단될 수 있다(S205).
만약, 두 시간에 대응하는 레이더 신호가 다르지 않으면, 즉 동일하면 상기 과정(S201, S203)이 반복되고, 레이더 신호가 다르면 두 시간에 대응하는 데이터의 차이값이 도출될 수 있다.
데이터의 차이값으로 두 시간에 대응하는 레이더 신호 차의 제곱((S1-S2)2)이 도출될 수 있다. 이는 수신되는 신호의 변화를 용이하게 확인하기 위한 것이다.
이렇게 도출된 데이터의 차의 제곱이 기설정된 임계값 이상 또는 초과인 경우, 감지 영역에 객체가 존재한다고 판단될 수 있다.
다른 예에 따라, 객체의 움직임이 존재하는지 여부 이외에, 객체의 움직임 속도가 기설정된 값 이상인 경우 객체가 존재한다고 판단될 수도 있다. 또는 객체의 움직임이 소정 시간 지속되는 경우에만 객체가 존재한다고 판단될 수 있다. 이는 객체의 종류 및 감지 영역에 따라 다양한 기준이 설정될 수 있음을 나타내며 사용자는 레이터 센서의 설정을 조절함으로써, 객체 존재 여부를 다양한 상황에 따라 설정할 수 있다.
카메라(20)는 일 예에 따라 가장 보편적인 영상 촬상 장치인 CCTV일 수 있고, 다른 예에 따라, 컬러 카메라, 흑백 카메라. 웹캠, 적외선 비디오 카메라 또는 저조도 비디오 카메라, 감열식 비디오 카메라, 줌 카메라, 비디오 센싱 장치 등으로 구현될 수 있다.
본 실시예에 따른 카메라(20)는 항상 감지 영역을 촬상하는 것이 아니라, 객체 감지부(10)로부터 객체가 존재한다는 결과를 입력 받으면 감지 영역을 촬상한다. 즉, 객체가 존재하지 않거나 객체의 움직임이 소정의 기준치에 도달하지 못하면 촬상하지 않다가 객체의 존재 여부가 확인되면 영상 프레임을 생성한다.
스켈레톤 데이터 추출부(30)는 촬상된 영상으로부터 객체를 포함하는 영상 프레임을 추출하고, 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출한다. 또는 동물의 관절에 해당하는 스켈레톤 데이터를 추출할 수 있다.
스켈레톤 데이터는 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 정보를 의미하며, 객체의 종류, 객체의 연령에 따라 스켈레톤 데이터는 다양한 범위를 가질 수 있다.
본 실시예와 같이 스켈레톤 데이터를 추출하여 객체의 움직임을 판단하는 것은 사람 또는 동물은 스켈레톤 데이터 만으로도 행동 파악이 가능하기 때문이다. 즉, 스켈레톤 데이터 만으로도 행동 파악이 가능하므로 통상적인 RGB 데이터를 사용하지 않더라도 정확한 객체의 변화 및 움직임에 대한 파악이 가능하다. 또한, 움직임을 정확하게 파악할 수 없는 영상과 비교하여 스켈레톤 데이터는 움직임 판단이 쉽고 정확하기 때문에 위험 상황 판단의 정확성을 높일 수 있다. 더구나, 풀 영상 데이터 보다 스켈레톤 데이터는 데이터의 양이 현저히 작아 데이터의 처리 및 보관에 이점이 있다.
따라서, 본 발명은 위험 상황 판단 이외에 인간, 동물을 포함하는 객체의 스켈레톤 데이터를 기초로 하는 행동 판단 분야에 적용될 수 있다.
위험 상황 판단부(40)는 스켈레톤 데이터 및 기학습된 데이터를 기반으로 위험 상황을 판단할 수 있다.
도시된 바와 같이, 위험 상황 판단부(40)는 딥러닝 학습부(50)와 통신하며, 스켈레톤 데이터의 딥러닝 학습을 기반으로 위험 상황을 판단한다.
딥러닝 학습부(50)는 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출할 수 있다. 스켈레톤 데이터를 기반으로 객체가 어린 아이인지 여부, 남자 또는 여자인지 여부, 노인인지 여부 등이 판단될 수도 있다.
딥러닝 학습부(50)는 스켈레톤 데이터를 딥러닝을 통해 학습하고, 테스트 데이터와 검증 데이터를 이용하여 미리 설정된 기준 정확도를 도출할 수 있다. 위험 상황 판단부(40)는 영상 프레임으로부터 추출된 스켈레톤 데이터를 딥러닝 모델에 입력하여 학습하고, 입력된 스켈레톤 데이터가 기준 정확도를 만족하는지 여부를 판단할 수 있다.
기준 정확도는 객체의 연령, 다양한 동작의 종류에 따라 여러 가지 범위 또는 임계값을 가질 수 있으며, 딥러닝에 사용되는 방대한 데이터로부터 계속해서 업데이트될 수 있다.
예를 들어, 머리와 허리 부분의 스켈레톤 데이터가 가로로 되는지 여부, 즉 머리와 허리 부분이 소정 각도 이상이 되는지 여부, 머리와 무릎 부분의 스켈레톤 데이터가 일정 간격 이하로 맞닿아 있는지 여부, 둘 이상 객체의 스켈레톤 데이터가 기설정된 범위 예를 들어 20% 이상 맞닿아 있는지 여부 등이 판단될 수 있다.
또는, 감지 지역의 스켈레톤 데이터가 움직이다가 갑자기 움직임을 멈추는지 여부, 스켈레톤 데이터의 움직임 속도 등을 기반으로 객체가 낙상 또는 움직일 수 없는 상황에 놓였는지 여부, 폭력 또는 사고 발생 가능성 등이 판단될 수 있다.
또는, 신체의 일부가 겹치거나, 하나의 객체의 팔에 대한 스켈레톤 데이터가 다른 객체를 신체 부위 상에 일정 시간 머무는지 여부, 특정 객체의 신체 스켈레톤 데이터가 틀어지는지 여부 등을 학습하여 성범죄 발생 가능성 등이 판단될 수 있다.
즉, 위험 상황 판단부(40)는 위험 상황으로 판단될 수 있는 기학습된 여러 가지 스켈레톤 데이터와 입력된 스켈레톤 데이터를 비교함으로써 위험 상황을 판단할 수 있다.
한편, 본 실시예에 따른 위험 상황 판단부(40)는 위험 상황이 발생된 것으로 판단되면, 카메라(20)의 해당 영상 프레임을 클로즈업하고, 소정의 알람 시스템을 작동시킬 수 있다.
알람 시스템은 위험의 정도에 따라 다양한 볼륨의 알람음을 발생시킬 수도 있고, 카메라(20)를 관찰하고 있는 사용자의 화면을 점멸 시킬 수도 있다. 이와 같이, 위험 상황 감지 장치를 통하여 위험 상황이 감지된 경우 해당 화면을 자동으로 클로즈업 함으로써 관제 인원의 감시 효율을 증가시키고, 노동 강도를 감소시킬 수 있다.
또한, 객체가 포함된 영상 프레임을 확대하여 사용자가 직관적으로 위험 상황이 발생된 것을 인지하게 할 수 있다. 또한, 외부의 기관, 예를 들어 병원, 경찰서, 소방서와 같은 위험 대처 기관에 자동으로 상황을 알릴 수 있다.
도 3은 본 발명의 일 실시예에 따른 위험 상황 감지 방법을 설명하기 위한 제어 흐름도이다. 도 3을 참고하여 본 실시예에 따른 위험 상황 감지 방법을 정리하면 다음과 같다.
우선, 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출할 수 있다(S310).
이러한 딥러닝 학습 단계는 공지된 다양한 기계 학습 알고리즘, 인공지능 알고리즘이 적용될 수 있다.
딥러닝 학습은 도 1의 딥러닝 학습부(50) 및 위험 상황 판단부(40)에서 수행될 수 있고, 두 구성 요소는 머지된 하나의 구성으로 구현될 수 있다.
객체 감지부(10)는 레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지할 수 있다(S320).
감지 영역은 통상적으로 다양한 장소에 설치되어 있는 CCTV를 통해 촬상되는 영역을 의미하며, 다양한 환자들이 누워있거나 입원해 있는 병원 또는 침상, 아이들의 관찰하기 위한 놀이방, 건물의 입구 또는 다양한 사무실 영역, 엘리베이터 내부 등 위험 상황이 발생할 수 있는 모든 영역일 수 있다. 또는 동물들이 생활하는 특정 영역, 폭력 또는 불법적인 상황이 발생하기 쉬운 골목 또는 학교 등이 포함될 수 있다.
이때, 객체가 존재하는지 여부, 객체가 움직이는지 여부, 객체의 속도 등이 도출될 수 있고, 도 2와 같이, 연속된 시간에 대한 영상 데이터의 변화에 따라 객체의 존재 여부 등이 파악될 수 있다.
이후, 카메라(20)는 움직이는 객체가 존재한다는 신호를 입력 받으면, 감지 영역을 촬상한다(S330).
촬상된 영상으로부터 객체를 포함하는 영상 프레임이 추출되고, 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터가 추출될 수 있다(S340).
스켈레톤 데이터는 머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 정보를 의미하며, 객체의 종류, 객체의 연령에 따라 스켈레톤 데이터는 다양한 범위를 가질 수 있다.
사람 또는 동물은 스켈레톤 데이터 만으로도 행동 파악이 가능하고, 풀 영상 데이터보다 스켈레톤 데이터는 데이터의 양이 현저히 작아 스켈레톤 데이터를 활용하는 것이 데이터의 처리 및 보관에도 유리하다.
그런 다음, 스켈레톤 데이터 및 기학습된 데이터를 기반으로 위험 상황이 판단될 수 있다(S350).
위험 상황 판단 단계에서 영상 프레임으로부터 추출된 스켈레톤 데이터는 딥러닝 모델에 입력되어 학습되고, 기준 정확도를 만족하는지 여부에 따라 기설정된 위험 상황으로 판단될 수 있다.
기준 정확도는 객체의 연령, 다양한 동작의 종류에 따라 여러 가지 범위 또는 임계값을 가질 수 있으며, 딥러닝에 사용되는 방대한 데이터로부터 계속해서 업데이트될 수 있다.
스켈레톤 데이터에 따른 관절의 각도, 움직임 정도, 복수의 객체 간의 움직임 방향 및 관절의 겹침 등을 통하여 객체의 부상, 사고, 성범죄 등이 판단될 수 있다.
위험 상황이 발생된 것으로 판단되면, 위험 상황 판단부(40)는 카메라의 해당 영상 프레임을 클로즈업하고 소정의 알람 시스템을 작동시켜 알람음을 발생시킬 수 있다(S360).
알람 시스템은 위험의 정도에 따라 다양한 볼륨의 알람음을 발생시킬 수도 있고, 카메라(20)를 관찰하고 있는 사용자의 화면을 점멸 시킬 수도 있다. 이와 같이, 위험 상황 감지 장치를 통하여 위험 상황이 감지된 경우 해당 화면을 자동으로 클로즈업 함으로써 관제 인원의 감시 효율을 증가시킬 수 있다.
상술된 바와 같이, 본 발명에 따르면, 딥러닝과 레이더 센서를 활용한 스켈레톤 데이터를 기반으로 하는 위험 상황 감지 장치 및 위험 상황 감지 방법이 제공된다. 이를 통해 개별적인 상황이 아닌 인간의 관절 정보를 담은 스켈레톤 데이터를 통하여 위험을 감지하고 이를 학습할 수 있으며, 객체의 움직임이 감지될 때만 CCTV 작동시킴으로써 리소스 낭비를 감소시키고 관제 피로도를 줄일 수 있다. 즉, 영상 또는 동영상 데이터를 그대로 학습하는 것이 아니라 저차원 데이터의 처리로 인하여 연산이 복잡하지 않고 효율적인 위험 감지 방법이 제공될 수 있다. 또한, 위험 상황 발생 시 CCTV 화면이 클로즈업 됨과 동시에 경고음이 출력되어 위험 상황에 빠르게 대처할 수 있다.
도 4은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 4의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 위험 상황 감지 장치, 위험 상황 판단부 등) 일 수 있다.
도 4의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (7)

  1. 위험 상황 감지 장치에 있어서,
    머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출하는 딥러닝 학습부와;
    레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지하는 객체 감지부와;
    움직이는 상기 객체가 존재하면, 상기 감지 영역을 촬상하는 카메라와;
    촬상된 영상으로부터 상기 객체를 포함하는 영상 프레임을 추출하고, 상기 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부와;
    상기 스켈레톤 데이터를 기반으로 상기 객체가 어린 아이인지 여부, 남자 또는 여자인지 여부, 노인인지 여부를 판단하고, 상기 판단된 결과 및 기학습된 데이터를 기반으로 위험 상황을 판단하는 위험 상황 판단부를 포함하되,
    상기 위험 상황 판단부는,
    상기 스켈레톤 데이터의 움직임 변화 및 움직임 속도를 기반으로 상기 객체 관련 낙상, 움직일 수 없는 상황, 폭력 및 사고 발생을 판단하고,
    상기 객체가 둘 이상이면서 신체 일부에 대한 스켈레톤 데이터가 겹치거나, 하나의 객체의 팔에 대한 스켈레톤 데이터가 다른 객체의 신체 부위 상에 일정 시간 머물거나, 특정 객체의 스켈레톤 데이터가 틀어진 상태인 경우, 성범죄 발생 가능성을 판단하는 것을 특징으로 하는 위험 상황 감지 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 위험 상황 판단부는 상기 영상 프레임으로부터 추출된 상기 스켈레톤 데이터를 딥러닝 모델에 입력하여 학습하고, 상기 기준 정확도를 만족하는지 여부에 따라 기설정된 위험 상황으로 판단하는 것을 특징으로 하는 위험 상황 감지 장치.
  4. 제3항에 있어서,
    상기 위험 상황이 발생된 것으로 판단되면, 상기 위험 상황 판단부는 상기 카메라의 해당 영상 프레임을 클로즈업하는 것을 특징으로 하는 위험 상황 감지 장치.
  5. 위험 상황 감지 장치가 위험 상황을 감지하는 방법에 있어서,
    머리, 목, 어깨 팔꿈치, 허리, 무릎, 발 중 적어도 하나를 포함하는 사람의 관절 정보에 대한 스켈레톤 데이터를 딥러닝을 이용하여 학습하고, 기설정된 기준 정확도를 도출하는 딥러닝 학습 단계와;
    레이더 센서를 이용하여 특정 감지 영역에 움직이는 객체가 존재하는지 여부를 감지하는 객체 감지 단계와;
    움직이는 상기 객체가 존재하면, 상기 감지 영역을 촬상하는 영상 촬상 단계와;
    촬상된 영상으로부터 상기 객체를 포함하는 영상 프레임을 추출하고, 상기 영상 프레임에서 사람의 관절에 해당하는 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출 단계와;
    상기 스켈레톤 데이터를 기반으로 상기 객체가 어린 아이인지 여부, 남자 또는 여자인지 여부, 노인인지 여부를 판단하고, 상기 판단된 결과 및 기학습된 데이터를 기반으로 위험 상황을 판단하는 위험 상황 판단 단계를 포함하되,
    상기 위험 상황 판단 단계는,
    상기 스켈레톤 데이터의 움직임 변화 및 움직임 속도를 기반으로 상기 객체 관련 낙상, 움직일 수 없는 상황, 폭력 및 사고 발생을 판단하고,
    상기 객체가 둘 이상이면서 신체 일부에 대한 스켈레톤 데이터가 겹치거나, 하나의 객체의 팔에 대한 스켈레톤 데이터가 다른 객체의 신체 부위 상에 일정 시간 머물거나, 특정 객체의 스켈레톤 데이터가 틀어진 상태인 경우, 성범죄 발생 가능성을 판단하는 것을 특징으로 하는 위험 상황 감지 방법.
  6. 제5항에 있어서,
    상기 위험 상황 판단 단계는 상기 영상 프레임으로부터 추출된 상기 스켈레톤 데이터를 딥러닝 모델에 입력하여 학습하고, 상기 기준 정확도를 만족하는지 여부에 따라 기설정된 위험 상황으로 판단하는 것을 특징으로 하는 위험 상황 감지 방법.
  7. 제6항에 있어서,
    상기 위험 상황이 발생된 것으로 판단되면, 상기 위험 상황 판단 단계는 촬상된 해당 영상 프레임을 클로즈업하는 것을 특징으로 하는 위험 상황 감지 방법.
KR1020210025535A 2021-02-05 2021-02-25 위험 상황 감지 장치 및 위험 상황 감지 방법 KR102580434B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210017028 2021-02-05
KR1020210017028 2021-02-05

Publications (2)

Publication Number Publication Date
KR20220113631A KR20220113631A (ko) 2022-08-16
KR102580434B1 true KR102580434B1 (ko) 2023-09-20

Family

ID=83064095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025535A KR102580434B1 (ko) 2021-02-05 2021-02-25 위험 상황 감지 장치 및 위험 상황 감지 방법

Country Status (1)

Country Link
KR (1) KR102580434B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576651B1 (ko) * 2023-01-17 2023-09-08 퀀텀테크엔시큐 주식회사 피보호자에 대한 인공지능 기반의 영상 내 위험 상황 발생 감지 및 알림 서비스 제공 방법, 장치 및 컴퓨터-판독 가능 기록 매체
CN116137074A (zh) * 2023-02-22 2023-05-19 常熟理工学院 电梯轿厢内乘客打斗行为的自动检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378071B1 (ko) * 2013-08-20 2014-03-28 (주)금성보안 양식장 및 인공어초 도난 방지 감시 시스템 및 방법
KR102083385B1 (ko) * 2018-08-28 2020-03-02 여의(주) 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법
KR102126498B1 (ko) * 2019-11-15 2020-06-25 한국건설기술연구원 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378071B1 (ko) * 2013-08-20 2014-03-28 (주)금성보안 양식장 및 인공어초 도난 방지 감시 시스템 및 방법
KR102083385B1 (ko) * 2018-08-28 2020-03-02 여의(주) 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법
KR102126498B1 (ko) * 2019-11-15 2020-06-25 한국건설기술연구원 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템

Also Published As

Publication number Publication date
KR20220113631A (ko) 2022-08-16

Similar Documents

Publication Publication Date Title
Yang et al. 3D depth image analysis for indoor fall detection of elderly people
KR101470315B1 (ko) 객체의 움직임 감지에 의한 위험 감지 ｃｃｔｖ 시스템 및 그 방법
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
KR102260120B1 (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
KR102580434B1 (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
US20120188370A1 (en) Surveillance systems and methods to monitor, recognize, track objects and unusual activities in real time within user defined boundaries in an area
KR101858396B1 (ko) 지능형 침입 탐지 시스템
US20070229663A1 (en) Image processing apparatus, monitoring camera, and image monitoring system
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和系统
KR101467352B1 (ko) 위치기반 통합관제시스템
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
US20140218195A1 (en) Apparatus and Method for Rapid Human Detection with Pet Immunity
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
Raheja et al. Cross border intruder detection in hilly terrain in dark environment
JP2008541650A (ja) モニタリング方法および装置
Belbachir et al. Event-driven feature analysis in a 4D spatiotemporal representation for ambient assisted living
Rezaee et al. Intelligent detection of the falls in the elderly using fuzzy inference system and video-based motion estimation method
CN111144260A (zh) 一种翻越闸机的检测方法、装置及系统
Miaou et al. A smart vision-based human fall detection system for telehealth applications
KR102647139B1 (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
Lee et al. Automated abnormal behavior detection for ubiquitous healthcare application in daytime and nighttime
KR20230078063A (ko) 자세유형 판별을 위한 서버 및 그 동작방법
CN114120368A (zh) 目标检测方法及检测设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant