KR20190099185A

KR20190099185A - 위험 상황을 감지하는 방법 및 시스템

Info

Publication number: KR20190099185A
Application number: KR1020190101309A
Authority: KR
Inventors: 김주영; 김준호; 양도준; 이현우; 한종희
Original assignee: 삼성전자주식회사
Priority date: 2017-05-25
Filing date: 2019-08-19
Publication date: 2019-08-26
Also published as: CN111052194A; KR102224453B1; EP3622495A1; US20180342081A1; CN111052194B; AU2018327869A1; AU2018327869B2; KR102013935B1; EP3622495B1; EP3622495A4; KR20180129587A; JP2020532806A; WO2019050136A1; JP7102510B2; US11080891B2

Abstract

동적 비전 센서(DVS)를 이용하여, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계; 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하는 단계; 및 제 1 이미지를 분석하여, 제 1 객체의 상황이 위험 상황인지 결정하는 단계를 포함하는 위험 상황 감지 방법이 개시된다.

Description

위험 상황을 감지하는 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING A DANGEROUS SITUATION}

동적 비전 센서(DVS: dynamic vision sensor)를 이용하여 위험 상황 (예컨대, 낙상)을 감지하는 방법 및 시스템이 개시된다.

낙상은 넘어지거나 떨어져서 몸을 다치는 것으로 노인에서 주로 발생하지만 모든 연령에서 발생 가능하다. 특히 노인 낙상의 발생은 점점 늘어나고 있으며 심각한 손상을 동반하거나 낙상으로 인한 합병증으로 사망까지 한다.

노인 낙상은 낙상으로 인한 사망 이외에도 중증의 손상으로 인해 삶의 질이 현저하게 감소하는 문제를 초래한다. 낙상으로 병원을 찾는 노인의 20~30%는 타박상, 엉덩이뼈 골절 또는 낙상으로 인한 머리 손상으로 고생한다. 낙상은 노인 외상의 가장 큰 문제이며 노인층의 증가와 함께 지속적으로 증가될 것으로 예상된다.

낙상은 주거 시설에서의 발생이 61.5%로 가장 많으며, 다음은 도로(20.0%), 상업시설(18.5%) 순이다. 주거시설에서 발생하는 낙상 중 95%는 가정에서 발생하였는데, 가정 내 미끄러운 바닥이나 계단 등의 위험한 환경적 요인이 25~45%를 차지한다. 특히 주거 시설 내 낙상은 지면의 물에 의하여 미끄러져 발생하는 경우가 20.6%였고, 화장실에서 발생한 낙상의 74.3%가 바닥의 물과 관련이 있다.

따라서, 낙상 유무를 정확히 감지하고, 낙상에 따른 위험도를 정확히 예측할 수 있는 시스템이 필요하다.

일 실시예에 의하면, 동적 비전 센서(dynamic vision sensor)를 통해 획득된 이미지를 복수의 영상 처리 모델을 이용하여 단계적으로 분석함으로써, 효율적으로 위험 상황(예컨대, 낙상)을 감지하는 시스템이 제공될 수 있다. 또한, 일 실시예에 의하면, 동적 비전 센서 및 진동기를 이용하여 정확하게 객체의 위험 상황(예컨대, 낙상)을 감지하고, 객체의 위험도를 예측하는 위험 상황 감지 방법 및 시스템이 제공될 수 있다.

일 실시예에 따른 위험 상황 감지 방법은, 동적 비전 센서(DVS)를 이용하여, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계; 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하는 단계; 및 제 1 이미지를 분석하여, 제 1 객체의 상황이 위험 상황인지 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 위험 상황 감지 방법은, 동적 비전 센서(DVS)를 이용하여, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계; 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하는 단계; 제 1 이미지가 검출되면, 진동기로 동적 비전 센서를 움직여 생성된, 제 1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하는 단계; 및 적어도 하나의 상세 이미지를 분석하여 제 1 객체의 상황이 위험 상황인지 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 위험 상황 감지 장치는, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 동적 비전 센서(DVS); 및 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하고, 제 1 이미지를 분석하여, 제 1 객체의 상황이 위험 상황인지 결정하는 프로세서를 포함할 수 있다.

일 실시예에 따른 위험 상황 감지 장치는, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 동적 비전 센서(DVS); 동적 비전 센서를 움직이는 진동기; 및 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하고, 제 1 이미지가 검출되면, 진동기로 동적 비전 센서를 움직여 생성된, 제 1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하고, 적어도 하나의 상세 이미지를 분석하여 제 1 객체의 상황이 위험 상황인지 결정하는 프로세서를 포함할 수 있다.

일 실시예에 따르는 낙상 감지 방법은, 동적 비전 센서(DVS)를 이용하여, 이동 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계; 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하는 단계; 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득하는 단계; 및 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정하는 단계를 포함할 수 있다.

일 실시예에 따르는 낙상 감지 장치는, 이동 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 동적 비전 센서(DVS); 및 적어도 하나의 이미지 중에서 기 정의된 자세의 상기 제 1 객체를 포함하는 제 1 이미지를 검출하고, 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득하고, 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정하는 프로세서를 포함할 수 있다.

일 실시예에 따르는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 저장 매체는, 동적 비전 센서를 이용하여, 이동 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계; 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출하는 단계; 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득하는 단계; 및 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정하는 단계를 수행하는 명령어들을 포함할 수 있다.

도 1은 일 실시예에 따른 위험 상황 감지 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 낙상 감지 장치가 부팅 시 초기 이미지를 이용하여 공간 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 소실점 분석을 통해 공간 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 낙상 감지 장치가 설치 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 낙상 위험도 맵을 생성하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시예에 따른 낙상 위험도 맵을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 낙상을 감지하는 방법을 설명하기 위한 순서도이다.
도 8a는 일 실시예에 따른 외형 모델과 모션 모델을 이용하여 낙상을 감지하는 방법을 설명하기 위한 순서도이다.
도 8b는 일 실시예에 따른 객체의 움직임 감지 여부에 따라 이미지 획득 모드를 조절하는 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 객체의 형상 또는 크기를 보상하는 방법을 설명하기 위한 순서도이다.
도 10은 일 실시예에 따른 DVS의 설치 각도를 고려하여, 객체의 형상을 보상하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 소실점 분석을 통해 객체의 크기를 보상하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 제 2 객체에 의해 일부 가려진 제 1 객체의 자세를 추정하는 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 따른 폐색(occlusion)이 감지되는 경우, 객체의 자세를 추정하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 낙상 상태의 위험도를 결정하는 방법을 설명하기 위한 순서도이다.
도 15는 일 실시예에 따른 위험도 레벨을 결정하는 동작을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 웨어러블 디바이스에서 측정되는 생체 정보를 이용하여 낙상 상태의 위험도를 분석하는 시스템을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 방법을 설명하기 위한 순서도이다.
도 18은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 동작을 설명하기 위한 도면이다.
도 19는 일 실시예에 따른 동물의 위험 상황을 감지하는 동작을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 위험 상황을 감지하는 방법을 설명하기 위한 순서도이다.
도 21은 일 실시예에 따른 상세 이미지를 이용하여 위험 상황을 감지하는 방법을 설명하기 위한 순서도이다.
도 22는 일 실시예에 따른 낙상 감지 장치의 구성을 설명하기 위한 블록 구성도이다.
도 23은 일 실시예에 따른 프로세서의 블록 구성도이다.
도 24는 일 실시예에 따른 데이터 학습부의 블록 구성도이다.
도 25는 일 실시예에 따른 데이터 인식부의 블록 구성도이다
도 26은 일 실시예에 따른 낙상 감지 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 명세서에서, "낙상(fall)"은, 특정 대상이 떨어지거나 넘어져서 다치는 현상을 의미할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시예에 따른 위험 상황 감지 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시예에 따른 위험 상황 감지 시스템은 위험 상황 감지 장치를 포함할 수 있다. 위험 상황이란 움직임 발생이 가능한 객체(예컨대, 사람 또는 동물)가 위험한 상황에 놓이는 것을 의미할 수 있다. 예를 들어, 위험한 상황은 객체가 낙상한 상황, 객체가 있는 공간에 화재가 발생한 상황, 홍수가 발생한 상황, 산사태가 발생한 상황, 가스가 누출된 상황 등 다양할 수 있으나, 이하에서는 설명의 편의상 위험한 상황이 객체가 낙상한 상황인 경우를 예로 들어 설명하기로 한다.

일 실시예에 의하면, 위험 상황 감지 장치는 낙상 감지 장치(1000)를 포함할 수 있다. 낙상 감지 장치(1000)는 객체(10)에 대한 적어도 하나의 이미지(프레임)를 획득하고, 획득한 적어도 하나의 이미지(프레임)를 이용하여, 객체(10)의 낙상을 감지하는 장치일 수 있다. 일 실시예에 의하면, 객체(10)는 이동 가능한 사람, 동물 등이 될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 따르면, 낙상 감지 시스템은 사용자의 입력에 기반하여 감지 대상을 특정 객체로 지정할 수 있다. 예를 들어, 낙상 감지 시스템은 낙상 감지의 대상에서 동물은 제외하고 사람만으로 특정할 수 있다. 또한, 낙상 감지 시스템은 특정 사람을 모니터링 대상으로 지정할 수도 있다. 예를 들어, 댁내에 엄마, 아빠 할아버지, 아이가 함께 있는 경우, 낙상 감지의 대상으로 할아버지가 지정될 수 있다.

일 실시예에 따르면, 낙상 감지 장치(1000)는 동적 비전 센서(DVS)(1100)와 진동기(1200)를 포함할 수 있다.

동적 비전 센서(1100)는 사람의 홍채가 정보를 받아들이는 방식을 채택한 이미지 센서로, 움직이는 객체에 대한 이미지 데이터를 획득할 수 있는 센서이다. 예를 들어, 동적 비전 센서(1100)는 픽셀 단위에서 움직임에 의해 국소적인 변화가 있을 때에만 이미지 데이터를 프로세서로 전송하게 된다. 즉, 동적 비전 센서(1100)는 움직이는 이벤트가 발생할 때만 이미지 데이터를 프로세서에 전송할 수 있다. 따라서, 동적 비전 센서(1100)는 객체가 멈춰 있는 경우에 데이터 처리를 하지 않고, 객체가 움직이는 경우에만 움직이는 객체를 측정하여 데이터를 프로세서로 전송함으로써, 일반적인 이미지 센서들이 프레임들을 이미지 프로세서로 계속 보내 발생하는 데이터의 낭비를 막을 수 있다.

동적 비전 센서(1100)는 일반적인 시각 인식 시스템이 빠른 움직임에 취약하다는 문제점을 해결할 수 있다. 동적 비전 센서(1100)는 프레임 단위로 데이터를 받는 것이 아니라 낱낱의 픽셀 기준(per-pixel basis)으로 데이터를 받기 때문에 블러(blur) 현상을 극복할 수 있다.

또한, 동적 비전 센서(1100)는 마이크로 초 단위의 해상도를 가질 수 있다. 다시 말해 동적 비전 센서(1100)는 1초당 수천 프레임을 찍는 초고속 카메라보다 더 뛰어난 시간 분해능을 가질 수 있다(예컨대, 초고속 프레임 > 1K FPS). 뿐만 아니라 동적 비전 센서(1100)는 전력 소모 및 데이터 저장 요구 조건 또한 매우 줄어들었기 때문에 dynamic range(센서가 구분할 수 있는 밝기의 범위) 또한 획기적으로 늘게 되었다.

한편, 동적 비전 센서(1100)에 의해 획득되는 이미지는 움직이는 객체(10)의 윤곽선 정도만 표현되므로, 모니터링되는 객체(10)의 사생활(privacy) 보호에도 유용할 수 있다. 또한, 동적 비전 센서(1100)는 어두운 곳에서도 약간의 빛만 있으면 객체(10)의 움직임을 감지할 수 있다.

일 실시예에 의하면, 동적 비전 센서(1100)는 주기적으로 이미지를 획득할 수 있으며, 낙상 감지 장치(1000)는 동적 비전 센서(1100)에서 주기적으로 획득되는 이미지를 이용하여 객체(10)의 낙상 여부를 모니터링할 수 있다. 예를 들어, 객체(10)가 침대에서 떨어지는 경우, 동적 비전 센서(1100)는 객체(10)가 침대에서 떨어지는 움직임을 감지할 수 있다. 이때, 낙상 감지 장치(1000)는 복수의 딥러닝 모델을 단계적으로 이용하여, 효율적으로 객체(10)의 낙상 여부를 판단할 수 있다. 예를 들어, 낙상 감지 장치(1000)는, 처음부터 동영상을 분석하는 것이 아니라, 정지 영상에 낙상과 관련된 자세의 객체(10)가 포함되는 경우에만 동영상 분석을 수행함으로써, 계산 리소스(computation resource)의 소모를 줄일 수 있다. 낙상 감지 장치(1000)가 효율적으로 객체(10)의 낙상 여부를 판단하는 동작에 대해서는 도 7 및 도 8a를 참조하여, 후에 자세히 살펴보기로 한다.

진동기(1200)는 진동을 발생시키기 위한 장치일 수 있다. 예를 들어, 진동기(1200)는 진동 신호를 출력하는 진동 모터일 수 있다.

일 실시예에 의하면, 진동기(1200)는 진동을 발생시켜 인위적으로 동적 비전 센서(1200)를 움직일 수 있다. 동적 비전 센서(1200)는 움직임 변화 감지에 유용한 이미지 센서이나, 움직임이 없는 경우에는 정보를 얻을 수 없다. 따라서, 객체들의 움직임이 없는 경우에도 동적 비전 센서(1200)가 객체들의 이미지를 얻을 수 있도록, 진동기(1200)는 동적 비전 센서(1200)를 인위적으로 움직일 수 있다.

진동기(1200)는, 동적 비전 센서(1100)에 진동이 전달될 수 있도록 동적 비전 센서(1100)와 근접하게 위치할 수 있다. 예를 들어, 진동기(1200)는, 동적 비전 센서(1100)에 부착될 수 있다. 진동기(1200)는 동적 비전 센서(1200)와 하나의 하우징 내에 위치할 수도 있다.

일 실시예에 의하면, 진동기(1200)는 특정 이벤트가 발생하는 경우에 진동 신호를 출력할 수 있다. 예를 들어, 진동기(1200)는, 낙상 감지 장치(1000)가 부팅할 때, 폐색(occlusion)이 감지될 때, 또는 객체(10)의 상태가 낙상 상태라고 판단될 때, 진동 신호를 출력할 수 있다. 폐색(occlusion)은 움직이는 객체(10)가 다른 객체에 의해 일부 또는 전부 가려지는 현상을 의미할 수 있다. 진동기(1200)가 진동 신호를 출력하는 동작에 대해서는 도 2를 참조하여 후에 좀 더 자세히 살펴보기로 한다.

도 1에 도시되지는 않았지만, 일 실시예에 의하면, 낙상 감지 시스템은 서버(미도시)를 더 포함할 수 있다. 이 경우, 서버(미도시)는 낙상 감지 장치(1000)로부터 객체(10)의 낙상 감지 정보를 수신할 수 있다. 서버는 수신된 낙상 감지 정보를 검증하거나, 낙상 감지 정보에 따라 경고 메시지를 외부 디바이스에 전송할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 낙상 여부를 확인하기 위한 딥러닝 모델들을 직접 생성할 수도 있고, 서버로부터 수신할 수도 있다. 딥러닝 모델들은 지도 학습(Supervised learning) 모델, 비지도 학습 (Unsupervised learning) 모델, 강화 학습(Reinforcement learning) 모델 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 낙상 감지 장치(1000)는 동적 비전 센서(1100)에서 수집된 이미지를 딥러닝 모델들에 적용하여 객체(10)의 낙상 여부를 판단할 수 있다. 한편, 일 실시예 의하면, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 통해 수집된 이미지들을 서버에 전송하면서 객체(10)의 낙상 여부에 대한 판단을 서버에 요청할 수도 있다. 설명의 편의상 낙상 감지 시스템이 서버를 포함하지 않는 경우를 먼저 예로 들어 설명하기로 한다.

이하에서는 도 2를 참조하여 낙상 감지 장치(1000)가 설치된 초기에 주변의 공간 정보를 획득하는 동작에 대해서 살펴보기로 한다.

도 2는 일 실시예에 따른 낙상 감지 장치가 부팅 시 초기 이미지를 이용하여 공간 정보를 획득하는 방법을 설명하기 위한 순서도이다.

단계 S210에서, 동적 비전 센서(1100)가 특정 공간에 설치된 후, 낙상 감지 장치(1000)는 부팅할 수 있다. 일 실시예에 의하면, 동적 비전 센서(1100)는 가정에 설치될 수도 있고, 사무실에 설치될 수도 있고, 병원에 설치될 수도 있으나, 이에 한정되는 것은 아니다. 낙상 감지 장치(1000)는 야외에 설치될 수도 있다. 예를 들어, 낙상 감지 장치(1000)는 낙상 사고가 자주 발생하는 산에 설치될 수도 있다.

단계 S220에서, 낙상 감지 장치(1000)는 부팅 시 진동기(1200)를 이용하여 일정 시간 동안 진동을 발생할 수 있다. 이때, 진동기(1200)에서 발생되는 진동은 동적 비전 센서(1100)를 움직일 수 있다. 동적 비전 센서(1100)가 움직이는 경우, 객체들에 상대적인 움직임이 발생하므로, 객체들이 움직이고 있는지 여부에 상관없이 객체들의 이미지가 캡쳐될 수 있다.

단계 S230에서, 낙상 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 초기 이미지를 획득할 수 있다. 예를 들어, 동적 비전 센서(1100)가 안방에 설치된 경우, 동적 비전 센서(1100)는 안방의 초기 이미지를 획득할 수 있다. 이때, 움직이는 동적 비전 센서(1100)는, 안방 안에서 움직이지 않는 옷장, 서랍장, 책상, 의자 등에 대한 이미지도 획득할 수 있다. 일 실시예에 의하면, 초기 이미지는 정지 영상일 수도 있고, 동영상일 수도 있다.

단계 S240에서, 낙상 감지 장치(1000)는 초기 이미지를 이용하여, 동적 비전 센서(1100)가 설치된 공간(또는 동적 비전 센서(1100)가 인식하는 공간)을 분석할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 초기 이미지의 소실점을 이용하여 동적 비전 센서(1100)가 설치된 각도, 위치, 높이, 동적 비전 센서(1100)의 인식 범위 등을 확인할 수 있다.

도 3의 310을 참조하면, 낙상 감지 장치(1000)는 소실점 분석을 통해 동적 비전 센서(1100)가 설치된 공간을 분석할 수 있다. 3차원 공간에 있는 평행한 라인들의 집합은 동적 비전 센서(1100)로 얻어진 2차원 공간에 투영될 때 이미지 상에서 수렴하고 만나는 점이 발생된다. 이 점을 소실점(vanishing point)라고 한다. 낙상 감지 장치(1000)는 소실점을 분석한 결과로부터 동적 비전 센서(1100)가 설치된 상대적 높이(예컨대, 상, 중, 하), 상대적 위치(예컨대, 좌, 우), 특정 객체로부터의 상대적 거리 등을 알 수 있다.

예를 들어, 도 3의 320을 참조하면, 낙상 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 동적 비전 센서(1100)가 설치된 거실의 이미지(300)를 획득할 수 있다. 낙상 감지 장치(1000)는 거실의 이미지(300) 상의 평행한 라인들을 이용하여 소실점(301)을 추출할 수 있다. 소실점(301)에 가까운 객체들일수록 동적 비전 센서(1100)에서 멀리 떨어진 객체들일 수 있다. 소실점(301)이 거실의 이미지(300)의 중심에서 약간 위쪽에 존재하므로, 동적 비전 센서(1100)는 실제 거실 공간 상에서 약간 아래쪽에 설치된 것을 알 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 초기 이미지에 대한 영상 처리를 수행하여, 동적 비전 센서(1100)가 설치된 공간 상의 객체들의 종류, 위치, 장애물의 비율, 바닥 면의 비율 등의 정보를 획득할 수도 있다.

단계 S250에서, 낙상 감지 장치(1000)는 초기 이미지를 이용하여 분석된 공간 정보에 기초하여 동적 비전 센서(1100)의 설치가 적합한지 판단할 수 있다.

예를 들어, 낙상 감지 장치(1000)는 초기 이미지 내의 바닥 면의 비율이 임계 값(예컨대, 10%) 이하인 경우, 낙상을 감지하기 어려우므로, 동적 비전 센서(1100)의 설치가 적합하지 않다고 판단할 수 있다. 반면, 낙상 감지 장치(1000)는 초기 이미지 내의 바닥 면의 비율이 임계 값(예컨대, 10%)보다 큰 경우, 동적 비전 센서(1100)의 설치가 적합하다고 판단할 수 있다.

또한, 낙상 감지 장치(1000)는, 초기 이미지 내에서 움직이지 않는 장애물들이 차지하는 면적의 비율이 임계 값(예컨대, 70%)보다 큰 경우, 동적 비전 센서(1100)의 설치가 적합하지 않다고 판단할 수 있다. 낙상 감지 장치(1000)는 움직이는 객체(예컨대, 사람)를 장애물이 가리는 폐색(occlusion)이 발생하는 횟수가 임계 값보다 큰 경우, 동적 비전 센서(1100)의 설치가 적합하지 않다고 판단할 수 있다. 반면, 낙상 감지 장치(1000)는 움직이는 객체(예컨대, 사람)를 장애물이 가리는 폐색(occlusion)이 발생하는 횟수가 임계 값 이하인 경우, 동적 비전 센서(1100)의 설치가 적합하다고 판단할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 설치 위치를 점수화(예컨대, 90점, 40점, good, bad 등)할 수도 있다.

단계 S260에서, 동적 비전 센서(1100)의 설치가 적합하다고 판단된 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 통해 이미지를 획득하여, 객체의 낙상 여부를 모니터링할 수 있다. 낙상 감지 장치(1000)가 객체의 낙상 여부를 판단하는 방법에 대해서는 도 7을 참조하여 후에 자세히 살펴 보기로 한다.

단계 S270에서, 동적 비전 센서(1100)의 설치가 적합하지 않다고 판단된 경우, 낙상 감지 장치(1000)는 설치 가이드 정보를 제공할 수 있다. 일 실시예에 의하면, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)의 설치가 부적합하다는 정보, 동적 비전 센서(1100)의 재설치를 요청하는 정보, 또는 동적 비전 센서(1100)의 설치 위치를 가이드 해 주는 정보를 사용자에게 제공할 수 있다.

도 4를 참조하여, 낙상 감지 장치(1000)가 설치 가이드 정보를 제공하는 동작에 대해서 좀 더 살펴보기로 한다.

도 4는 일 실시예에 따른 낙상 감지 장치가 설치 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.

도 4의 400-1을 참조하면, 낙상 감지 장치(1000)는, 부팅 시 진동기(1200)를 이용하여 동적 비전 센서(1100)를 움직임으로써, 동적 비전 센서(1100)가 설치된 침실의 초기 이미지(410)를 획득할 수 있다. 침실의 초기 이미지(410)를 분석한 결과 바닥 비율(예컨대, 8%)이 임계 값(예컨대, 10%) 이하인 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)의 설치가 낙상을 감지하기에 부적합하다고 판단할 수 있다. 낙상 감지 장치(1000)는 동적 비전 센서(1100)의 위치 조정을 유도하는 메시지(411)(예컨대, 바닥 비율: 8%, 카메라의 위치를 조정하세요)를 출력할 수 있다.

사용자는 메시지(411)에 따라 동적 비전 센서(1100)의 포즈(pose)를 조정할 수 있다. 예를 들어, 사용자는 동적 비전 센서(1100)가 인식하는 바닥의 비율이 증가하도록 동적 비전 센서(1100)의 설치 각도, 동적 비전 센서(1100)가 바라보는 방향 또는 동적 비전 센서(1100)의 설치 위치를 조정할 수 있다. 사용자가 동적 비전 센서(1100)의 위치를 조정한 경우, 낙상 감지 장치(1000)는 재 부팅할 수 있다.

도 4의 400-2를 참조하면, 낙상 감지 장치(1000)는 재 부팅 시 동적 비전 센서(1100)를 움직여, 동적 비전 센서(1100)가 설치된 침실의 초기 이미지(420)를 다시 획득할 수 있다. 침실의 초기 이미지(420)를 분석한 결과 바닥 비율(예컨대, 35%)이 임계 값(예컨대, 10%)보다 큰 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)의 설치가 낙상을 감지하기에 적합하다고 판단할 수 있다. 낙상 감지 장치(1000)는 동적 비전 센서(1100)의 설치가 적합하다는 메시지(421)(예컨대, 바닥 비율: 35%, 카메라의 위치가 적절합니다)를 출력할 수 있다.

도 5는 일 실시예에 따른 낙상 위험도 맵을 생성하는 방법을 설명하기 위한 순서도이다.

단계 S510에서, 낙상 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 초기 이미지를 획득할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 부팅 시 진동기(1200)를 이용하여 진동 신호를 출력함으로써, 동적 비전 센서(1100)를 움직일 수 있다. 이때, 낙상 감지 장치(1000)는, 움직이는 동적 비전 센서(1100)를 통해서 동적 비전 센서(1100)가 설치된 공간의 초기 이미지를 획득할 수 있다. 단계 S510은 도 2의 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S520에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)를 통해 획득된 초기 이미지를 이용하여, 동적 비전 센서(1100)가 설치된 공간에 대한 공간 정보를 획득할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 초기 이미지의 소실점을 이용하여 객체들의 상대적 위치에 대한 정보를 획득할 수 있다. 낙상 감지 장치(1000)는, 초기 이미지에 대한 영상 처리를 수행하여, 동적 비전 센서(1100)가 설치된 공간에 존재하는 객체들의 종류, 위치 등의 정보를 획득할 수도 있다. 예를 들어, 낙상 감지 장치(1000)는 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 또는, 낙상 감지 장치(1000)는 딥러닝 알고리즘을 이용하여 초기 이미지에 포함된 객체들의 종류, 위치 등의 정보를 획득할 수도 있다.

단계 S530에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)가 설치된 공간에 대한 공간 정보에 따라, 낙상 위험도 맵을 생성할 수 있다. 낙상 위험도 맵은 낙상이 발생하는 경우 상대적으로 더 위험한 지역과 덜 위험 지역을 나타내는 지도일 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 기 정의된 낙상 위험도 가중치에 관한 정보를 이용하여, 낙상 위험도 맵을 생성할 수 있다. 예를 들어, 계단 영역은 낙상 위험도 가중치가 +2일 수 있고, 카펫이 깔려 있는 바닥은 낙상 위험도 가중치가 -1일 수 있고, 테이블 모서리 부분은 낙상 위험도 가중치가 +3일 수 있고, 욕실 바닥은 낙상 위험도 가중치가 +1일 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 낙상 위험 영역을 강조 표시하거나, 특정 색상으로 표시하거나, 낙상 위험 영역에 특정 마크 또는 텍스트를 추가한 낙상 위험도 맵을 생성할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 계단 영역, 테이블 모서리 부분, 욕실 바닥 영역을 특정 색상(예컨대, 붉은 색)으로 표시한 낙상 위험도 맵을 생성할 수 있다. 도 6을 참조하여, 낙상 위험도 맵에 대해서 좀 더 살펴보기로 한다.

도 6은 일 실시예에 따른 낙상 위험도 맵을 설명하기 위한 도면이다.

도 6을 참조하면, 낙상 감지 장치(1000)는, 계단 영역(610)의 위험도 레벨은 'danger' 로 지정하고, 거실 바닥(610)의 위험도 레벨은 'normal'로 지정한 낙상 위험도 맵(600)을 생성할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 낙상 발생 시, 낙상 위험도 맵(600)을 고려하여, 낙상에 따른 위험도를 신속히 결정할 수 있다. 예를 들어, 낙상 감지 장치(1000)는, 계단 영역(610)에서 낙상이 발생한 경우, 낙상 위험도를 두 단계 상향 조정할 수 있다.

이하에서는 낙상 감지 장치(1000)가 동적 비전 센서(1100)를 통해 수집되는 적어도 하나의 이미지를 이용하여 객체의 낙상을 감지하는 방법에 대해서 도 7을 참조하여 자세히 살펴보기로 한다.

도 7은 일 실시예에 따른 낙상을 감지하는 방법을 설명하기 위한 순서도이다.

단계 S710에서, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여, 이동 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득할 수 있다. 일 실시예에 의하면, 이동 가능한 제 1 객체는 모니터링 대상이 되는 사람일 수 있다. 제 1 객체가 이동하는 경우, 동적 비전 센서(1100)는 제 1 객체의 이미지를 캡쳐할 수 있다. 제 1 객체의 이미지에는 제 1 객체의 윤곽, 엣지 또는 실루엣이 포함될 수 있다.

단계 S720에서, 낙상 감지 장치(1000)는 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다. 이때, 적어도 하나의 이미지 각각은 정지 영상(static image)일 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 통해 획득되는 적어도 하나의 이미지를 하나씩 제 1 딥러닝 모델을 이용하여 분석할 수 있다. 제 1 딥러닝 모델은, 정지 영상(static image)을 분석하여, 기 정의된 자세의 객체를 포함하는 이미지를 검출하기 위해 학습된 모델일 수 있다.

기 정의된 자세는 낙상과 관련된 자세일 수 있다. 일 실시예에 의하면, 기 정의된 자세는, 바닥(또는 계단)에 특정 신체 일부(예컨대, 머리, 등, 가슴, 무릎, 발 뒤꿈치, 손바닥 등)가 접촉된 자세일 수 있다. 예를 들어, 기 정의된 자세는 바닥에 등을 대고 누워있는 자세, 바닥에 배를 대고 엎드린 자세, 옆으로 누운 자세, 계단에 기댄 자세 등일 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 할아버지가 침대 밖으로 나오다가 쓰러진 경우, 낙상 감지 장치(1000)는, 제 1 딥러닝 모델을 이용하여, 이미지들을 하나씩 분석하다가 바닥에 누워있는 자세의 할아버지가 포함된 이미지를 검출할 수 있다.

한편, 일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 딥러닝 모델을 이용하여 정지 영상을 분석하기 전에, 정지 영상에 포함된 객체의 형상 또는 크기를 보상할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 동적 비전 센서(1200)가 설치된 각도 및 위치 중 적어도 하나를 고려하여, 적어도 하나의 이미지에 포함된 제 1 객체의 형상 또는 크기를 보상하고, 형상 또는 크기가 보상된 제 1 객체의 자세와 기 정의된 자세를 비교할 수 있다. 낙상 감지 장치(1000)가 객체의 형상 또는 크기를 보상하는 동작에 대해서는 도 9를 참조하여 후에 자세히 살펴보기로 한다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 딥러닝 모델을 이용하여 정지 영상을 분석하기 전에 폐색(occlusion)을 보상할 수도 있다. 낙상 감지 장치(1000)가 폐색을 보상하는 동작은 도 12를 참조하여 후에 자세히 살펴보기로 한다.

단계 S730에서, 낙상 감지 장치(1000)는, 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지가 검출된 경우, 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여, 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득할 수 있다. 일 실시예에 의하면, 복수의 이미지는, 동적 비전 센서(1100)를 이용하여 제 1 이미지보다 이전에 획득된 프레임들 및 제 1 이미지보다 이후에 획득된 프레임들 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 의하면, 낙상과 관련된 자세의 제 1 객체를 포함하는 제 1 이미지가 검출된 경우, 낙상 감지 장치(1000)는 제 1 객체의 상태가 낙상 상태인지 정확히 파악하기 위해, 일련의 이미지들(예컨대, 일정 기간 누적된 프레임들)을 분석하여, 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득할 수 있다. 예를 들어, 제 1 객체가 침대에서 떨어져 바닥에 누워있는 이미지(예컨대, 제 n 프레임)가 검출된 경우, 낙상 감지 장치(1000)는 일정 기간 누적된 이미지들(예컨대, 제 n-10 프레임 ~ 제 n+10 프레임)을 분석하여 제 1 객체가 침대에서부터 바닥까지 떨어지는 움직임의 변화를 검출할 수 있다. 또한, 낙상 감지 장치(1000)는 바닥에 몸이 닿은 뒤의 제 1 객체의 움직임 변화를 검출할 수도 있다.

단계 S740에서, 낙상 감지 장치(1000)는 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정할 수 있다.

일 실시예에 의하면, 제 1 객체의 제 1 움직임 변화와 기 저장된 낙상을 나타내는 제 2 움직임 변화 사이의 유사도가 임계 값(예컨대, 90%)보다 큰 경우, 낙상 감지 장치(1000)는 제 1 객체의 상태를 낙상 상태로 결정할 수 있다. 반면, 제 1 객체의 제 1 움직임 변화와 기 저장된 낙상을 나타내는 제 2 움직임 변화 사이의 유사도가 임계 값(예컨대, 90%) 이하인 경우, 낙상 감지 장치(1000)는 제 1 객체의 상태를 낙상 상태가 아니라고 결정할 수 있다.

예를 들어, 제 1 객체의 움직임 변화가 낙상에 따른 움직임 패턴과 유사한 경우(예컨대, 제 1 객체가 침대에서 바닥으로 떨어진 후 더 이상 움직이지 못하는 경우), 낙상 감지 장치(1000)는 제 1 객체의 상태를 낙상 상태로 결정할 수 있다. 하지만, 제 1 객체의 움직임 변화가 낙상에 따른 움직임 패턴과 상이한 경우(예컨대, 제 1 객체가 침대에서 내려올 때 미끄러지면서 바닥에 엉덩이와 손바닥이 닿았지만 곧바로 일어나서 걸어간 경우), 낙상 감지 장치(1000)는 제 1 객체의 상태를 낙상 상태가 아니라고 결정할 수 있다. 도 8a를 참조하여, 낙상 감지 장치(1000)가 객체의 낙상을 감지하는 방법에 대해서 좀 더 자세히 살펴보기로 한다.

도 8a는 일 실시예에 따른 외형 모델과 모션 모델을 이용하여 낙상을 감지하는 방법을 설명하기 위한 순서도이다.

단계 S810에서, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 통해 적어도 하나의 이미지를 획득할 수 있다. 이때, 적어도 하나의 이미지에는 움직임이 있는 객체의 윤곽이 나타날 수 있으며, 움직임이 없는 객체의 윤곽은 나타나지 않을 수 있다. 예를 들어, 제 1 객체가 움직이고, 제 2 객체, 제 3 객체, 제 4 객체는 움직이지 않는 경우, 제 1 객체의 윤곽만 적어도 하나의 이미지에 나타날 수 있다.

단계 S820에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지를 이용하여, 객체의 움직임을 감지할 수 있다.

예를 들어, 침대와 화장대가 있는 방에 사람이 없는 경우 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지에는 아무런 윤곽이 나타나지 않을 수 있다. 하지만, 침대와 화장대가 있는 방에 사람이 들어오게 되는 경우, 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지에는 움직이는 사람의 윤곽이 나타나게 된다. 따라서, 낙상 감지 장치(1000)는 적어도 하나의 이미지를 분석함으로써, 객체(예컨대, 사람)의 움직임 여부를 감지할 수 있다.

객체(예컨대, 사람)의 움직임이 감지되지 않는 경우, 낙상이 발생할 가능성이 없으므로, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 통해 획득된 이미지를 더 이상 분석하지 않을 수 있다. 만일, 객체(예컨대, 사람)의 움직임이 감지되는 경우, 낙상 감지 장치(1000)는 객체(예컨대, 사람)의 움직임이 낙상과 관련된 움직임인지 판단하기 위해, 단계 S830을 수행할 수 있다.

단계 S830에서, 낙상 감지 장치(1000)는, 객체의 움직임이 감지되는 경우, 동적 비전 센서(1100)를 통해 획득되는 적어도 하나의 이미지를 외형 모델을 이용하여 하나씩 분석할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 외형 모델을 이용하여 낙상과 관련된 자세의 객체를 포함하는 이미지(예컨대, 바닥에 누워있는 자세의 사람을 포함하는 이미지)를 검출할 수 있다. 외형 모델(1710)은 정지 영상을 하나씩 분석하여, 정지 영상에 포함된 객체의 형상(body shape)이나 포즈(pose)를 검출하고, 검출된 객체의 형상이나 포즈가 낙상과 관련된 자세와 유사한지 판단하도록 학습된 모델일 수 있다.

예를 들어, 할아버지가 동적 비전 센서(1100)가 설치된 욕실에 들어오는 경우, 동적 비전 센서(1100)는 할아버지의 움직임을 감지할 수 있다. 동적 비전 센서(1100)는 할아버지의 움직임이 감지된 시점부터 촬영된 이미지 프레임을 순차적으로 낙상 감지 장치(1000)의 프로세서로 전달하고, 프로세서는 외형 모델을 이용하여 순차적으로 전달되는 이미지 프레임을 분석할 수 있다. 예를 들어, 프로세서는 순차적으로 전달되는 이미지 프레임에 포함된 할아버지의 자세를 검출할 수 있다.

만일, 할아버지가 욕실 바닥에서 넘어지는 경우, 낙상 검출 장치(1000)의 프로세서는, 순차적으로 전달되는 이미지 프레임 중에서 욕실 바닥에 등이 닿은 자세의 할아버지가 포함된 제 n 프레임(801)을 검출할 수 있다.

단계 S840에서, 낙상 감지 장치(1000)의 프로세서는 순차적으로 전달되는 이미지 프레임에서 검출된 객체의 자세가 기 정의된 자세(예컨대, 누워있는 자세)와 유사한지 판단할 수 있다.

만일, 검출되는 객체의 자세가 기 정의된 자세와 유사하지 않은 경우, 낙상 감지 장치(1000)는 단계 S810으로 돌아가서 동적 비전 센서(1100)를 통해 다음 이미지 프레임을 획득할 수 있다. 반면, 검출된 객체의 자세가 기 정의된 자세와 유사한 경우, 낙상 감지 장치(1000)는 객체의 낙상 여부를 정확히 판단하기 위해 단계 S850을 수행할 수 있다.

예를 들어, 낙상 감지 장치(1000)의 프로세서는 제 n-3 프레임(804)이 입력되는 경우, 제 n-3 프레임(804)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S810으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n-2 프레임(803)을 획득할 수 있다. 낙상 감지 장치(1000)의 프로세서는 제 n-2 프레임(803)이 입력된 경우, 제 n-2 프레임(803)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S810으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n-1 프레임(802)을 획득할 수 있다. 낙상 감지 장치(1000)의 프로세서는 제 n-1 프레임(802)이 입력된 경우, 제 n-1 프레임(802)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S810으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n 프레임(801)을 획득할 수 있다.

낙상 감지 장치(1000)의 프로세서는 제 n 프레임(801)이 입력되는 경우 제 n 프레임(801)에 포함된 객체의 자세가 누어있는 자세이므로, 낙상 여부를 정확히 판단하기 위해 단계 S850으로 진행할 수 있다.

단계 S850에서, 낙상 감지 장치(1000)는, 모션 모델을 이용하여 움직임 변화를 검출하고, 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한지 판단할 수 있다.

일 실시예에 의하면, 모션 모델은 복수의 이미지(예컨대, 동영상)를 분석하여 객체의 움직임 패턴을 검출하고, 검출된 객체의 움직임 패턴이 낙상을 나타내는 움직임 패턴과 유사한지 판단하도록 학습된 모델일 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 단계 S830 및 단계 S840에서 누어있는 자세의 객체가 포함된 제 n 프레임(801)이 검출되었으므로, 모션 모델을 이용하여, 제 n 프레임(801)과 관련된 일련의 이미지들(예컨대, 제 n-3 프레임(804), 제 n-2 프레임(803), 제 n-1 프레임(802), n 프레임(801))을 분석할 수 있다.

낙상 감지 장치(1000)는 일련의 이미지들(예컨대, 제 n-3 프레임(804), 제 n-2 프레임(803), 제 n-1 프레임(802), 제 n 프레임(801))을 분석하여, 할아버지가 욕실바닥에 서 있다가(예컨대, 제 n-3 프레임(804)) 미끄러지면서(예컨대, 제 n-2 프레임(803)) 엉덩이가 바닥에 닿은 후(예컨대, 제 n-1 프레임(802)) 등과 머리가 욕실 바닥에 닿는(제 n 프레임(801)) 움직임 패턴을 검출할 수 있다. 이때, 낙상 감지 장치(1000)는 검출된 할아버지의 움직임 패턴이 기 학습된 낙상을 나타내는 움직임 패턴과 유사하다고 판단할 수 있다.

단계 S860에서, 낙상 감지 장치(1000)는 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사하지 않은 경우, 단계 S810으로 돌아가서 동적 비전 센서(1100)를 통해 다음 이미지를 획득할 수 있다. 반면, 낙상 감지 장치(1000)는 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한 경우, 객체의 상태를 낙상 상태로 결정할 수 있다.

단계 S870에서, 낙상 감지 장치(1000)는, 객체의 상태가 낙상 상태로 결정된 경우, 낙상 상태의 위험도를 분석할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 객체가 어떤 자세로 넘어졌는지, 넘어진 후 계속 움직임이 없는지 등의 정보를 이용하여, 낙상 상태의 위험도를 분석할 수 있다. 일 실시예에 의하면, 낙상 감지 장치(1000)는, 객체가 넘어진 주변 환경 정보(예컨대, 객체가 넘어진 곳에 어떤 물체가 있는지, 바닥의 재질이 어떤 것인지 등)를 이용하여, 낙상 상태의 위험도를 분석할 수 있다. 일 실시예에 의하면, 낙상 감지 장치(1000)는 기 생성된 낙상 위험도 맵(600)을 이용하여 낙상 상태의 위험도를 분석할 수도 있다. 낙상 감지 장치(1000)가 낙상 상태의 위험도를 분석하는 동작에 대해서는 도 14를 참조하여 후에 자세히 살펴보기로 한다.

일반적으로 모션 모델(Motion Model)은 여러 장의 이미지를 누적(예컨대, N images stacking)해서 처리하기 때문에 이미지 한 장을 처리하는 외형 모델(Appearance Model)에 비해서 N 배 시간이 오래 걸린다. 그런데, 일 실시예에 따른 낙상 감지 장치(1000)는, 외형 모델(Appearance Model)로 바닥에 몸을 가까이 붙인 장면을 인식했을 때만 모션 모델(Motion Model)을 동작하게 되므로, 낙상 감지를 위한 계산 리소스(computation resource)를 효율적으로 사용할 수 있다.

도 8b는 일 실시예에 따른 객체의 움직임 감지 여부에 따라 이미지 획득 모드를 조절하는 방법을 설명하기 위한 순서도이다.

단계 S805에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)를 이용하여, 초기 이미지를 획득할 수 있다.

일 실시예에 의하면, 초기 이미지는 시스템 설정 값 또는 사용자 설정 값에 따라 해상도가 달라질 수 있다. 예를 들어, 초기 이미지는 고해상도 이미지일 수도 있고, 저해상도의 이미지일 수도 있다. 여기서, 고해상도의 이미지는 해상도가 임계 값보다 큰 이미지를 의미하고, 저해상도 이미지는 해상도가 임계 값보다 작거나 같은 이미지를 의미할 수 있다.

단계 S815에서, 낙상 감지 장치(1000)는, 초기 이미지를 이용하여, 객체의 움직임을 감지할 수 있다.

예를 들어, 주방에 사람이 없는 경우 동적 비전 센서(1100)를 통해 획득된 초기 이미지에는 윤곽선이나 엣지가 전혀 나타나지 않을 수 있다. 하지만, 주방에 사람이 들어오게 되는 경우, 동적 비전 센서(1100)를 통해 획득된 초기 이미지에는 움직이는 사람의 윤곽선 또는 엣지가 나타나게 된다. 따라서, 낙상 감지 장치(1000)는 초기 이미지를 분석함으로써, 객체(예컨대, 사람)의 움직임 여부를 감지할 수 있다.

단계 S825에서, 낙상 감지 장치(1000)는, 객체의 움직임이 감지되지 않는 경우, 저해상도 모드로 이미지를 획득할 수 있다. 여기서, 저해상도 모드란 동적 비전 센서(1100)를 이용하여, 해상도가 임계 값 이하인 저해상도의 이미지를 획득하는 모드를 의미할 수 있다.

예를 들어, 초기 이미지(n 프레임)에서 객체의 윤곽선이나 엣지가 검출되지 않는 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 n+1프레임을 저해상도 모드로 획득할 수 있다. 또한, n+1 프레임에서도 객체의 윤곽선이나 엣지가 검출되지 않는 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 n+2 프레임도 저해상도 모드로 획득할 수 있다.

객체의 움직임이 감지되지 않는 경우, 낙상이 발생할 가능성이 희박하므로, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 저해상도의 이미지를 획득함으로써, 컴퓨팅 리소스를 절약할 수 있다.

단계 S835에서, 낙상 감지 장치(1000)는, 객체의 움직임이 감지되는 경우, 고해상도 모드로 이미지를 획득할 수 있다. 여기서, 고해상도 모드란 동적 비전 센서(1100)를 이용하여, 해상도가 임계 값보다 큰 고해상도의 이미지를 획득하는 모드를 의미할 수 있다. 일 실시예에 의하면, 고해상도 모드는 최대 해상도 모드(Full Resolution Mode)일 수도 있다.

예를 들어, 초기 이미지(n 프레임)에서 객체의 윤곽선이나 엣지가 검출되는 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 n+1프레임을 고해상도 모드로 획득할 수 있다. 또한, 초기 이미지(n 프레임)에서는 객체의 윤곽선이나 엣지가 검출되지 않았으나, 저해상도 모드로 획득된 이미지(n+1 프레임)에서 객체의 윤곽선이나 엣지가 검출되는 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 n+2프레임을 고해상도 모드로 획득할 수 있다.

단계 S845에서, 낙상 감지 장치(1000)는 고해상도 이미지 모드에서 획득된 고해상도의 이미지를 외형 모델을 이용하여 분석할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 외형 모델을 이용하여 낙상과 관련된 자세의 객체를 포함하는 고해상도의 이미지(예컨대, 바닥에 누워있는 자세의 사람을 포함하는 제 n+5 프레임)를 검출할 수 있다. 이 경우, 낙상 감지 장치(1000)는, 모션 모델을 이용하여, 제 n+5 프레임과 관련된 일련의 이미지들(예컨대, 제 n 프레임, 제 n+1 프레임, 제 n+2 프레임, n+3 프레임, n+4 프레임, n+5프레임)을 분석할 수 있다. 이때, 제 n 프레임, 제 n+1 프레임, 제 n+2 프레임, n+3 프레임, n+4 프레임, n+5프레임은 모두 고해상도 모드에서 획득된 고해상도의 이미지일 수 있다.

낙상 감지 장치(1000)는 분석 결과에 기초하여, 객체의 움직임 변화를 검출하고, 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한지 판단할 수 있다. 낙상 감지 장치(1000)는 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한 경우, 객체의 상태를 낙상 상태로 결정할 수 있다. 객체의 상태가 낙상 상태로 결정된 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 분석할 수 있다.

단계 S845는 도 8a의 단계 S830에 대응하므로, 구체적인 설명은 생략하기로 한다.

도 9는 일 실시예에 따른 객체의 형상 또는 크기를 보상하는 방법을 설명하기 위한 순서도이다.

단계 S910에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)를 이용하여, 이동 가능한 제 1 객체를 포함하는 적어도 하나의 이미지를 획득할 수 있다. 단계 S910은 도 7의 단계 S710에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S920에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)가 설치된 각도 및 위치 중 적어도 하나를 고려하여, 적어도 하나의 이미지에 포함된 제 1 객체의 형상 또는 크기를 보상할 수 있다.

일 실시예에 의하면, 도 2에서 살펴본 바와 같이, 낙상 감지 장치(1000)는 부팅 시 초기 이미지를 분석하여, 제 1 동적 비전 센서가 설치된 각도, 위치 등에 관한 정보를 획득할 수 있다. 예를 들어, 낙상 감지 장치(1000)는 초기 이미지의 소실점을 분석하여, 제 1 동적 비전 센서가 설치된 각도, 위치, 높이, 제 1 동적 비전 센서의 인식 범위 등을 확인할 수 있다. 이 경우, 낙상 감지 장치(1000)는 외형 모델을 생성할 때 이용한 제 2 동적 비전 센서의 설치 각도, 위치 또는 높이와 실제 공간에 설치된 제 1 동적 비전 센서의 설치 각도, 위치 또는 높이를 비교할 수 있다. 외형 모델을 생성할 때 이용한 제 2 동적 비전 센서의 설치 각도, 위치 또는 높이와 실제 공간에 설치된 제 1 동적 비전 센서의 설치 각도, 위치 또는 높이가 많이 차이 나는 경우, 데이터 인식의 오류가 커질 수 있다. 따라서, 낙상 감지 장치(1000)는, 외형 모델을 동작하기 전에, 제 1 동적 비전 센서를 통해 획득된 이미지에 포함된 객체의 형상을 보상할 수 있다. 도 10을 참조하여 객체의 형상이 보상되는 예를 좀 더 살펴보기로 한다.

도 10을 참조하면, 외형 모델을 생성할 때 이용한 제 2 동적 비전 센서(1100-2)는 삼각대 위에 놓여져 있었으나, 실제 공간에 설치된 제 1 동적 비전 센서(1100-1)는 천장에 위치할 수 있다. 이 경우, 낙상 감지 장치(1000)가 제 1 동적 비전 센서를 이용하여 획득한 이미지를 그대로 외형 모델에 입력하는 경우, 외형 모델은 객체의 자세가 기 학습된 낙상 자세와 유사한지 정확히 판단하기 어려울 수 있다. 따라서, 낙상 감지 장치(1000)는, 천장에 설치된 제 1 동적 비전 센서(1100-1)를 이용하여 획득된 제 1 이미지(1001)에 포함된 사람의 형상을 제 2 이미지(1002)에서와 같은 형상으로 보상할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 적어도 하나의 이미지의 소실점을 이용하여, 적어도 하나의 이미지에 포함된 제 1 객체의 크기를 보상할 수 있다. 예를 들어, 도 11을 참조하면, 제 1 객체(1001)와 제 2 객체(1002)가 실제적으로 동일한 크기이더라도, 소실점에 가까울수록 작게 나타나고 소실점에서 멀수록 크게 나타날 수 있다. 따라서, 낙상 감지 장치(1000)는 소실점에 가까운 제 1 객체(1101)의 크기를 크게 보상(1101-1)할 수 있다. 반면, 낙상 감지 장치(1000)는 소실점에서 먼 제 2 객체(1102)의 크기를 작게 보상(1102-1)할 수 있다.

단계 S930에서, 낙상 감지 장치(1000)는, 형상 또는 크기가 보상된 제 1 객체의 자세와 기 정의된 자세를 비교할 수 있다. 기 정의된 자세는 낙상과 관련된 자세일 수 있다. 예를 들어, 기 정의된 자세는 사람의 신체 일부(예컨대, 배, 등, 옆구리, 머리 등)가 지면에 닿는 자세(예컨대, 누운 자세, 엎드린 자세 등)일 수 있다. 단계 S930은 도 8a의 단계 S840에 대응하므로, 구체적인 설명은 생략하기로 한다.

도 12는 일 실시예에 따른 제 2 객체에 의해 일부 가려진 제 1 객체의 자세를 추정하는 방법을 설명하기 위한 순서도이다.

단계 S1210에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)를 이용하여, 제 1 객체를 포함하는 적어도 하나의 이미지를 획득할 수 있다. 단계 S1210은 도 7의 단계 S710에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S1220에서, 낙상 감지 장치(1000)는, 적어도 하나의 이미지를 이용하여 폐색(occlusion) 발생을 감지할 수 있다. 폐색(occlusion)은 움직이는 객체(예컨대, 사람)가 다른 객체(예컨대, 장애물)에 의해 일부 또는 전부 가려지는 현상을 의미할 수 있다.

예를 들어, 적어도 하나의 이미지에서 사람의 전체 형상이 검출되지 않고, 사람의 일부 형상(예컨대, 머리, 상체 등)이 검출되는 경우, 낙상 감지 장치(1000)는 폐색(occlusion)이 발생한 것으로 판단할 수 있다.

단계 S1230에서, 낙상 감지 장치(1000)는, 폐색(occlusion)이 감지된 경우, 진동기를 이용하여 진동을 발생할 수 있다. 이때, 진동기(1200)에서 발생되는 진동은 동적 비전 센서(1100)를 움직일 수 있다.

단계 S1240에서, 낙상 감지 장치(1000)는, 움직이는 동적 비전 센서(1100)를 이용하여 획득된 이미지에 기초하여, 제 1 객체의 일부를 가리는 제 2 객체 검출할 수 있다. 동적 비전 센서(1100)가 움직이는 경우, 객체들에 상대적인 움직임이 발생하므로, 객체들이 움직이고 있는지 여부에 상관없이 객체들의 이미지가 캡쳐될 수 있다. 따라서, 낙상 감지 장치(1000)는, 제 1 객체(예컨대, 사람)를 가리고 있는 움직이지 않는 제 2 객체(예컨대, 책장, 소파, 침대 등)를 확인할 수 있다.

단계 S1250에서, 낙상 감지 장치(1000)는, 제 2 객체를 고려하여, 제 2 객체에 의해 일부 가려진 제 1 객체의 자세를 추정할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 학습 모델을 이용하여, 제 1 객체의 전체 형상 중에서 제 2 객체에 의해 가려진 부분에 대한 가상 데이터를 생성할 수 있다. 낙상 감지 장치(1000)는 가상 데이터를 이용하여, 제 1 객체의 자세를 추정할 수 있다.

단계 S1260에서, 낙상 감지 장치(1000)는, 추정된 제 1 객체의 자세와 기 정의된 자세를 비교할 수 있다. 기 정의된 자세는 낙상과 관련된 자세일 수 있다. 예를 들어, 기 정의된 자세는 사람의 신체 일부(예컨대, 배, 등, 옆구리, 머리 등)가 지면에 닿는 자세(예컨대, 누운 자세, 엎드린 자세 등)일 수 있으나, 이에 한정되는 것은 아니다. 단계 S1260은 도 8a의 단계 S840에 대응하므로, 구체적인 설명은 생략하기로 한다.

이하에서는 도 13을 참조하여 낙상 감지 장치(1000)가 폐색을 보상하는 동작에 대해 좀 더 살펴보기로 한다.

도 13은 일 실시예에 따른 폐색(occlusion)이 감지되는 경우, 객체의 자세를 추정하는 동작을 설명하기 위한 도면이다. 도 13에서는 사람(1301)이 서랍장(1302) 뒤에서 쓰러진 경우를 예로 들어 설명하기로 한다.

도 13의 1300-1을 참조하면, 사람(1301)이 쓰러지는 경우, 움직임이 발생하므로, 동적 비전 센서(1100)는 사람(1301)을 포함하는 이미지(131)를 획득할 수 있다. 이때, 동적 비전 센서(1100)는 서랍장(1302)에 의해 가려지지 않은 상체 부분의 움직임만을 감지할 수 있고, 서랍장(1302)에 의해 가려진 하체 부분의 움직임은 감지할 수 없다. 따라서, 이미지(131)에는 사람(1301)의 하체는 나타나지 않고, 사람(1301)의 상체만 나타날 수 있다.

일반적으로 사람이 넘어질 때 상체만 움직이는 경우는 없으므로, 낙상 감지 장치(1000)는 폐색(occlusion)을 감지할 수 있다. 즉, 낙상 감지 장치(1000)는 사람(1301)의 일부가 장애물에 의해 가려졌다고 판단할 수 있다.

도 13의 1300-2를 참조하면, 낙상 감지 장치(1000)는 진동기(1200)를 이용하여 진동 신호를 출력함으로써, 동적 비전 센서(1100)가 움직이게 할 수 있다. 동적 비전 센서(1100)가 움직이는 경우, 동적 비전 센서(1100)는 서랍장(1302)도 검출할 수 있다. 따라서, 움직이는 동적 비전 센서(1100)는, 사람(1301)과 서랍장(1302)을 포함하는 이미지(132)를 획득할 수 있다.

도 13의 1300-3을 참조하면, 낙상 감지 장치(1000)는 서랍장(1302)에 의해 가려지는 사람(1301)의 하체에 대한 가상 데이터(1303)를 생성할 수 있다. 낙상 감지 장치(1000)는 가상 데이터(1303)를 이용하여, 이미지(133) 안의 사람(1301)의 자세를 추정하고, 추정된 자세가 낙상과 관련된 기 정의된 자세인지 판단할 수 있다.

도 14는 일 실시예에 따른 낙상 상태의 위험도를 결정하는 방법을 설명하기 위한 순서도이다.

단계 S1410에서, 낙상 감지 장치(1000)는, 제 1 객체의 상태가 낙상 상태로 판단된 경우, 진동기(1200) 및 동적 비전 센서(1100)를 이용하여 주변 이미지를 획득할 수 있다. 일 실시예에 의하면, 제 1 객체가 낙상한 것으로 판단된 경우, 낙상 감지 장치(1000)는 진동기(1200)를 이용하여 동적 비전 센서(1100)를 움직이게 할 수 있다. 이때, 움직이는 동적 비전 센서(1100)는 제 1 객체의 주변의 움직이지 않는 객체들(예컨대, 의자, 침대, 서랍, 세면대 등)을 포함하는 주변 이미지를 획득할 수 있다.

단계 S1420에서, 낙상 감지 장치(1000)는 주변 이미지를 이용하여 제 1 객체 주변의 환경 정보, 제 1 객체의 낙상 형태(type) 정보 또는 제 1 객체의 움직임 정보를 획득할 수 있다.

일 실시예에 의하면, 제 1 객체 주변의 환경 정보는, 제 1 객체가 낙상한 곳 주변의 객체에 관한 정보(예컨대, 사용자가 넘어진 곳에 존재하는 위험한 물체에 관한 정보, 사용자와 함께 넘어진 물건에 관한 정보 등), 제 1 객체가 낙상한 바닥의 재질에 관한 정보, 제 1 객체가 낙상한 장소가 물과 관련 있는 장소인지에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 의하면, 제 1 객체의 낙상 형태 정보는, 제 1 객체가 어떤 자세로 넘어졌는지에 관한 정보일 수 있다. 예를 들어, 제 1 객체의 낙상 형태 정보는 머리 또는 얼굴이 바닥에 닿았는지에 관한 정보, 팔이나 다리가 꺾였는지에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

제 1 객체의 움직임 정보는 제 1 객체의 상태가 낙상 상태로 결정된 이후의 제 1 객체의 움직임에 관한 정보일 수 있다. 예를 들어, 제 1 객체의 움직임 정보는 움직임 변화 값, 움직임 변화 값이 임계값 미만으로 유지되는 총 시간 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

단계 S1430에서, 낙상 감지 장치(1000)는 주변 이미지로부터 획득된 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도는 낙상에 따른 객체의 위험의 정도를 의미할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 객체 주변의 환경 정보를 이용하여, 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 제 1 객체가 낙상 곳에 돌기(protrusion)가 있는 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정하거나, 위험도 레벨을 상향 조정할 수 있다. 또한, 제 1 객체가 낙상한 곳의 바닥의 재질이 물이 있는 미끄러운 재질인 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정하거나 위험도 레벨을 상향 조정할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 제 1 객체 주변의 환경 정보를 기 생성된 낙상 위험도 맵(600)과 비교하여, 낙상 상태의 위험도를 결정할 수도 있다. 예를 들어, 도 6을 참조하면, 기 생성된 낙상 위험도 맵(600)에서 'danger'로 지정된 계단 영역(610)에서 제 1 객체가 낙상한 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 객체의 낙상 형태 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 제 1 객체가 낙상할 때 머리부터 바닥에 닿은 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다. 또는, 제 1 객체가 낙상할 때 다리가 뒤틀린 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 객체의 움직임 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 일 실시예에 의하면, 일정 시간 동안, 제 1 객체의 움직임이 임계 값보다 작은 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도 레벨을 상향 조정할 수 있다. 예를 들어, 제 1 객체가 낙상으로 판단된 이후 5분 이상 움직임이 거의 없는 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 3단계 상향 조정할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는, 제 1 객체 주변의 환경 정보, 제 1 객체의 낙상 형태 정보 및 제 1 객체의 움직임 정보 중 적어도 둘 이상의 정보를 조합하여, 낙상 상태의 위험도를 결정할 수도 있다.

한편, 일 실시예에 의하면, 낙상 감지 장치(1000)는, 제 1 객체의 개인적인 정보(예컨대, 연령, 신체 활동 능력, 질환 등)를 고려하여, 낙상 상태의 위험도를 결정할 수도 있다. 예를 들어, 제 1 객체가 10살의 건강한 학생인 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도 가중치를 '-3'으로 결정할 수 있다. 반면, 제 1 객체가 거동이 불편하고, 고혈압을 가지는 80세의 할아버지인 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도 가중치를 '+5'로 결정할 수 있다.

단계 S1440 및 단계 S1450에서, 낙상 감지 장치(1000)는 낙상 상태의 위험도가 임계 값보다 큰 경우, 경고 메시지를 외부 디바이스로 전송할 수 있다.

예를 들어, 낙상 감지 장치(1000)는, 제 1 객체가 낙상한 상태라는 정보, 제 1 객체의 주변 환경 정보, 제 1 객체의 움직임이 임계 값 미만으로 유지된 시간 정보 등을 포함하는 경고 메시지(예컨대, 제 1 사용자가 계단에서 넘어진 상태이며, 2분 동안 움직이지 못하고 있음)를 기 설정된 외부 디바이스(예컨대, 가족의 디바이스, 의료 기관 서버, 긴급 구조 요청 서버 등)로 전송할 수 있다.

이하에서는 도 15를 참조하여 낙상 감지 장치(1000)가 낙상 상태의 위험도를 결정하는 동작에 대해서 좀 더 살펴보기로 한다.

도 15는 일 실시예에 따른 위험도 레벨을 결정하는 동작을 설명하기 위한 도면이다. 도 15에서는 제 1 사용자가 사무실에서 낙상한 경우를 예로 들어 설명하기로 한다.

도 15의 1500-1을 참조하면, 낙상 감지 장치(1000)는 외형 모델과 모션 모델을 이용하여, 제 1 사용자(1501)가 낙상한 상태라고 판단할 수 있다. 이때, 낙상 감지 장치(1000)는, 진동기(1200)를 이용하여, 동적 비전 센서(1100)를 움직일 수 있다. 낙상 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 제 1 이미지(1510)를 분석할 수 있다. 낙상 감지 장치(1000)는, 적어도 하나의 제 1 이미지(1510)을 분석한 결과, 제 1 사용자(1501)의 움직임이 없고, 제 1 사용자(1501)가 낙상한 바닥의 재질은 일반적인 장판의 재질이고, 제 1 사용자(1501)가 구두를 신고 있고, 제 1 사용자(1501)가 책상과는 1m 이상 떨어져 있고, 책상과 의자(1502)는 쓰러지지 않았다고 판단할 수 있다. 낙상 감지 장치(1000)는 적어도 하나의 이미지(1510)을 분석한 결과 획득된 정보를 전체적으로 이용하여, 낙상 상태의 위험도 레벨을 '10'으로 결정할 수 있다.

도 15의 1500-2를 참조하면, 낙상 감지 장치(1000)는 외형 모델과 모션 모델을 이용하여, 제 1 사용자(1501)가 낙상한 상태라고 판단할 수 있다. 이때, 낙상 감지 장치(1000)는, 진동기(1200)를 이용하여, 동적 비전 센서(1100)를 움직일 수 있다. 낙상 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 제 2 이미지(1520)를 분석할 수 있다.

제 1 이미지(1501)에 비해 제 2 이미지(1520)에서는 의자(1502)가 넘어져 있을 수 있다. 낙상 감지 장치(1000)는 제 1 사용자(1501)만 넘어진 경우에 비해 제 1 사용자(1501)와 함께 의자(1502)가 넘어간 경우, 제 1 사용자(1501)의 상태가 더 위험하다고 판단할 수 있다. 따라서, 낙상 감지 장치(1000)는 낙상 상태의 위험도 레벨을 '20'으로 결정할 수 있다.

한편, 일 실시예에 의하면, 낙상 감지 장치(1000)는, 낙상한 객체의 생체 정보를 더 고려하여, 낙상 상태의 위험도를 결정할 수도 있다. 낙상 감지 장치(1000)가 객체의 생체 정보를 고려하여 낙상 상태의 위험도를 결정하는 동작에 대해서 도 16을 참조하여 자세히 살펴보기로 한다.

도 16은 일 실시예에 따른 웨어러블 디바이스에서 측정되는 생체 정보를 이용하여 낙상 상태의 위험도를 분석하는 시스템을 설명하기 위한 도면이다.

낙상 상태의 위험도를 분석하는 시스템은 낙상 감지 장치(1000), 서버(2000), 및 웨어러블 디바이스(3000)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 낙상 감지 장치(1000)가 웨어러블 디바이스(3000)와 직접 통신하는 경우, 낙상 상태의 위험도를 분석하는 시스템은 서버(2000)를 포함하지 않을 수도 있다.

웨어러블 디바이스(3000)는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 객체의 상태가 낙상 상태로 판단된 경우, 제 1 객체가 착용한 웨어러블 디바이스(3000)에서 측정된 제 1 객체의 생체 정보를 획득할 수 있다. 이때, 낙상 감지 장치(1000)는 웨어러블 디바이스(3000)로부터 직접 생체 정보를 수신할 수도 있고, 서버(2000)를 통해 생체 정보를 수신할 수도 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 제 1 객체의 생체 정보를 고려하여, 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 심박수가 임계 값 미만이거나, 혈압이 임계 값 이상이거나, 호흡수가 임계 값 미만이거나, 체온이 임계 범위를 벗어나는 경우, 또는 현재 시간이 밤인 경우, 낙상 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다.

일 실시예에 의하면, 서버(2000)는 낙상 감지 장치(1000)로부터 제 1 객체의 상태가 낙상 상태라는 낙상 정보를 수신하고, 웨어러블 디바이스(3000)로부터 제 1 객체의 생체 정보(예컨대, 혈압 정보, 혈당 정보, 심박수 정보, 체온 정보 등)를 수신할 수 있다. 이 경우, 서버(2000)는 낙상 정보 및 생체 정보를 이용하여 제 1 객체의 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도가 임계 값보다 큰 경우, 서버(2000)는 외부 디바이스(예컨대, 의료 기관 서버)로 경고 메시지를 송신할 수 있다. 일 실시예에 의하면, 서버(2000)는 낙상 상태의 위험도에 관한 정보를 낙상 감지 장치(1000) 또는 웨어러블 디바이스(3000)로 전송할 수도 있다.

일 실시예에 의하면, 웨어러블 디바이스(3000)는 낙상 감지 장치(1000) 또는 서버(2000)로부터 제 1 객체의 상태가 낙상 상태라는 낙상 정보를 수신할 수 있다. 이때, 웨어러블 디바이스(3000)는, 웨어러블 디바이스(3000)에서 측정된 제 1 객체의 생체 정보를 이용하여, 제 1 객체의 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도가 임계 값보다 큰 경우, 웨어러블 디바이스(3000)는 외부 디바이스(예컨대, 의료 기관 서버)로 경고 메시지를 송신할 수 있다. 또한, 일 실시예에 의하면, 웨어러블 디바이스(3000)는 낙상 상태의 위험도에 관한 정보를 낙상 감지 장치(1000) 또는 서버(2000)로 전송할 수도 있다.

도 17은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 방법을 설명하기 위한 순서도이다.

단계 S1710에서, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 단계 S1710은 도 7의 단계 S710에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S1720에서, 낙상 감지 장치(1000)는, 동적 비전 센서(1100)가 설치된 공간의 사생활 레벨(privacy level)에 관한 정보를 획득할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 사생활 레벨을 동적 비전 센서(1100)가 설치될 때 사용자로부터 입력 받을 수 있다. 일 실시예에 의하면, 낙상 감지 장치(1000)는 서버(2000)로부터 기 정의된 사생활 레벨에 관한 정보를 획득할 수도 있다.

예를 들어, 사생활 레벨은 욕실이나 화장실의 경우 매우 높게 설정될 수 있으며, 드레스 룸이나 침실의 경우 상대적으로 높게 설정될 수 있고, 거실이나 부엌, 계단의 경우 상대적으로 낮게 설정될 수 있다.

단계 S1730에서, 낙상 감지 장치(1000)는 사생활 레벨(privacy level)에 따라, 적어도 하나의 이미지에 포함된 제 1 객체의 선명도를 조절할 수 있다. 예를 들어, 적어도 하나의 이미지가 획득된 공간의 사생활 레벨이 높을수록 제 1 객체의 선명도는 낮게 조절될 수 있다. 반면, 적어도 하나의 이미지가 획득된 공간의 사생활 레벨이 낮을수록 제 1 객체의 선명도는 높게 조절될 수 있다.

도 18을 참조하여, 낙상 감지 장치(1000)가 제 1 객체의 선명도를 조절하는 동작에 대해서 좀 더 살펴보기로 한다.

도 18은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 동작을 설명하기 위한 도면이다.

도 18이 1810을 참조하면, 제 1 사용자(1801)는 부엌에서 낙상할 수 있다. 이때, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 낙상하는 제 1 사용자(1801)의 이미지(1811)를 획득할 수 있다. 낙상 감지 장치(1000)는 제 1 사용자(1801)가 위치한 부엌의 사생활 레벨을 확인하고, 확인된 사생활 레벨에 대응하는 선명도로 제 1 사용자(1801)의 윤곽선을 표현할 수 있다. 예를 들어, 부엌의 사생활 레벨은 일반적인 레벨인 '1'이므로, 낙상 감지 장치(1000)는 제 1 사용자(1801)의 윤곽선을 일반적인 선명도로 표현할 수 있다.

도 18이 1820을 참조하면, 제 2 사용자(1802)는 화장실에서 낙상할 수 있다. 이때, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 낙상하는 제 2 사용자(1802)의 이미지(1812)를 획득할 수 있다. 낙상 감지 장치(1000)는 제 2 사용자(1802)가 위치한 화장실의 사생활 레벨을 확인하고, 확인된 사생활 레벨에 대응하는 선명도로 제 2 사용자(1802)의 윤곽선을 표현할 수 있다. 예를 들어, 화장실의 사생활 레벨은 매우 높은 레벨인 '3'이므로, 낙상 감지 장치(1000)는 제 2 사용자(1802)의 윤곽선을 낮은 선명도로 표현할 수 있다.

일 실시예에 의하면, 낙상 감지 장치(1000)는 사람의 낙상 이외에 동물의 위험 상황을 감지할 수도 있다. 이하에서는 도 19를 참조하여, 낙상 감지 장치(1000)가 애완 동물의 위험 상황을 감지하는 동작에 대해서 자세히 살펴보기로 한다.

도 19는 일 실시예에 따른 동물의 위험 상황을 감지하는 동작을 설명하기 위한 도면이다.

도 19의 1910을 참조하면, 애완 동물(1911)이 의자 위에 올라갔다가 의자가 넘어지면서 낙상할 수 있다. 이 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 낙상하는 애완 동물(1911)의 이미지를 획득할 수 있다. 낙상 감지 장치(1000)는 외관 모델을 이용하여 바닥에 애완 동물(1911)이 쓰러져있는 이미지를 검출할 수 있다. 이때, 낙상 감지 장치(1000)는 모션 모델을 통해 애완 동물(1911)의 일련의 이미지들을 분석하여, 애완 동물(1911)이 실제로 낙상한 것인지 판단할 수 있다. 애완 동물(1911)이 낙상한 것으로 판단되는 경우, 낙상 감지 장치(1000)는 주변 환경 정보 또는 애완 동물(1911)의 낙상 이후 움직임 여부에 기초하여, 낙상 상태의 위험도를 판단할 수도 있다. 낙상 상태의 위험도가 임계 값보다 큰 경우, 낙상 감지 장치(1000)는 경고 메시지를 외부 디바이스(예컨대, 애완 동물 주인의 모바일 폰)로 전송할 수 있다.

도 19의 1920을 참조하면, 애완 동물(1912)은 쓰레기통에 있는 음식이나 이물질을 잘못 먹고 질식하여 쓰러질 수 있다. 이 경우, 낙상 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 쓰러지는 애완 동물(1912)의 이미지를 획득할 수 있다. 낙상 감지 장치(1000)는 외관 모델을 이용하여 바닥에 애완 동물(1912)이 쓰러져있는 이미지를 검출할 수 있다. 이때, 낙상 감지 장치(1000)는 모션 모델을 통해 애완 동물(1912)의 일련의 이미지들을 분석하여, 애완 동물(1912)이 위험한 상태인지 판단할 수 있다. 일 실시예에 의하면, 낙상 감지 장치(1000)는 진동기(1200) 및 동적 비전 센서(1100)를 이용하여, 주변 환경 정보(예컨대, 쓰레기통, 침대 모서리 등)를 획득하고, 주변 환경 정보를 이용하여, 애완 동물(1912)의 위험도를 판단할 수도 있다.

도 20은 일 실시예에 따른 위험 상황을 감지하는 방법을 설명하기 위한 순서도이다.

단계 S2010에서, 위험 상황 감지 장치는 동적 비전 센서(1100)를 이용하여, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지 획득할 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는 제 1 객체의 움직임이 감지되지 않는 경우, 저해상도 모드로 이미지를 획득하고, 제 1 객체의 움직임이 감지되는 경우, 고해상도 모드로 이미지를 획득할 수 있다.

일 실시예에 의하면, 움직임이 발생 가능한 제 1 객체는 모니터링 대상이 되는 사람 또는 동물일 수 있다. 제 1 객체가 움직이는 경우, 동적 비전 센서(1100)는 제 1 객체의 이미지를 캡쳐할 수 있다. 이때, 제 1 객체의 이미지에는 제 1 객체의 윤곽, 엣지 또는 실루엣이 포함될 수 있다.

한편, 제 1 객체가 움직일 때 다른 객체도 함께 움직인 경우, 제 1 이미지에는 제 1 객체의 윤곽뿐만 아니라 다른 객체의 윤곽도 나타날 수 있다. 예를 들어, 제 1 객체가 휠체어를 타고 가다가 휠체어와 함께 쓰러진 경우, 제 1 이미지에는 제 1 객체의 윤곽과 휠체어의 윤곽이 함께 나타날 수 있다.

단계 S2020에서, 위험 상황 감지 장치는 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다. 일 실시예에 의하면, 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지 각각은 정지 영상(static image)일 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는 동적 비전 센서(1100)를 통해 획득되는 적어도 하나의 이미지를 하나씩 제 1 학습 네트워크 모델을 이용하여 분석할 수 있다. 예를 들어, 제 1 이미지를 검출하는 동작은 제 1 학습 네트워크 모델에 의해 수행될 수 있다. 제 1 학습 네트워크 모델은, 정지 영상(static image)을 분석하여, 기 정의된 자세의 객체를 포함하는 이미지를 검출하기 위해 학습된 모델일 수 있다. 제 1 학습 네트워크 모델은 인공지능(AI) 엔진에 의해 구동될 수 있다.

일 실시예에 의하면, 학습 네트워크 모델(설명의 편의상 AI 모델로 표현될 수 있음)이 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지(이하, DVS 이미지라 함)를 학습 데이터로 사용하는 경우, RGB 이미지 데이터를 학습 데이터로 사용하는 것에 비해, 입력 값에 대한 전처리 과정이 불필요하기 때문에, 학습 네트워크 모델이 경량화 가능하다는 장점이 있다. 예를 들어, RGB 이미지 데이터가 학습 네트워크 모델(AI 모델)에 입력되는 입력 값으로 사용되는 경우, 두 프레임 간 움직임 정보를 추출하는 전처리(pre-processing) 과정이 필요할 수 있다. 즉, RGB 이미지 데이터가 위험 상황 판단에 사용될 경우, 학습 네트워크 모델(AI 모델)에 입력하기 위한 데이터를 생성하기 위해 전처리 과정(예컨대, 움직임 정보 추출)이 필요할 수 있다. 하지만, DVS 이미지가 학습 네트워크 모델(AI 모델)에 입력되는 입력 값으로 사용되는 경우, DVS 이미지에는 움직임 정보가 포함되어 있으므로, 학습 네트워크 모델(AI 모델) 입력 전에 움직임 정보를 추출하는 전처리 과정이 필요 없을 수 있다.

기 정의된 자세는 위험 상황과 관련된 자세일 수 있다. 일 실시예에 의하면, 기 정의된 자세는, 바닥(또는 계단)에 특정 신체 일부(예컨대, 머리, 등, 가슴, 무릎, 발 뒤꿈치, 손바닥 등)가 접촉된 자세일 수 있다. 예를 들어, 기 정의된 자세는 바닥에 등을 대고 누워있는 자세, 바닥에 배를 대고 엎드린 자세, 옆으로 누운 자세, 계단에 기댄 자세 등일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 기 정의된 자세는 방독면을 쓴 자세이거나, 소화기(fire extinguisher)를 잡고 있는 자세, 비상벨을 누르는 자세일 수도 있다.

한편, 일 실시예에 의하면, 위험 상황 감지 장치는 학습 네트워크 모델을 이용하여 정지 영상을 분석하기 전에, 정지 영상에 포함된 객체의 형상 또는 크기를 보상할 수 있다. 예를 들어, 위험 상황 감지 장치는 동적 비전 센서(1200)가 설치된 각도 및 위치 중 적어도 하나를 고려하여, 적어도 하나의 이미지에 포함된 제 1 객체의 형상 또는 크기를 보상하고, 형상 또는 크기가 보상된 제 1 객체의 자세와 기 정의된 자세를 비교할 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는 적어도 하나의 이미지에 기초하여 제 1 객체가 다른 객체에 의하여 일부 가려진 것으로 판단되는 경우, 진동기(1200)로 동적 비전 센서(1100)를 움직임으로써, 제 1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 동적 비전 센서(1100)로부터 획득할 수 있다. 상세 이미지에는 움직임이 발생하지 않는 주변 객체들(예컨대, 의자, 책상, 침대, 서랍장, 싱크대 등)의 윤곽도 포함될 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는 적어도 하나의 상세 이미지에 기초하여, 제 1 객체의 일부를 가리는 제 2 객체를 검출할 수 있다. 위험 상황 감지 장치는 제 2 객체를 고려하여, 제 2 객체에 의해 일부 가려진 제 1 객체의 자세를 추정할 수 있다. 이때, 위험 상황 감지 장치는 추정된 제 1 객체의 자세와 기 정의된 자세를 비교함으로써, 제 1 이미지를 검출할 수 있다.

단계 S2030에서, 위험 상황 감지 장치는 제 1 이미지를 분석하여, 제 1 객체의 상황이 위험 상황인지 결정할 수 있다.

일 실시예에 의하면, 제 1 객체의 상황이 위험 상황인지 결정하는 동작은 제 2 학습 네트워크 모델에 의해 수행될 수 있다. 일 실시예에 의하면, 제 2 학습 네트워크 모델은 제 1 이미지를 검출하는 제 1 학습 네트워크 모델과 동일한 AI 엔진의 동일한 학습 모델일 수 있다. 또는, 제 2 학습 네트워크 모델은 제 1 학습 네트워크 모델과 동일한 AI 엔진의 다른 학습 모델일 수 있다. 또는, 제 2 학습 네트워크 모델은 제 1 학습 네트워크 모델과 상이한 AI 엔진의 학습 모델일 수 있다.

일 실시예에 의하면, 제 1 객체가 목발을 이용하여 걷다가 넘어진 경우, 제 1 이미지에는 제 1 객체의 이미지뿐만 아니라 목발의 이미지도 포함될 수 있다. 이 경우, 위험 상황 감지 장치는 제 1 이미지를 분석하여, 제 1 객체가 목발과 함께 쓰러진 것으로 판단하고, 제 1 객체의 상황이 위험 상황이라고 결정할 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득할 수 있다. 위험 상황 감지 장치는 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정할 수 있다. 제 1 객체의 상태가 낙상 상태인지 결정하는 동작에 대해서는 도 7에서 자세히 살펴봤으므로, 여기서는 구체적인 설명을 생략하기로 한다.

일 실시예에 의하면, 위험 상황 감지 장치는, 제 1 객체의 상황이 위험 상황이라고 결정된 경우, 진동기(1200)로 동적 비전 센서(1100)를 움직임으로써, 제 1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득할 수 있다. 이 경우, 위험 상황 감지 장치는 적어도 하나의 상세 이미지를 분석하여, 제 1 객체의 위험도를 결정할 수 있다.

예를 들어, 위험 상황 감지 장치는 상세 이미지를 분석한 결과, 제 1 객체 주변에 계단이 존재하거나 책상 모서리가 존재하거나 바닥이 거친 재질인 경우, 제 1 객체의 위험도를 높게 결정할 수 있다. 또한, 위험 상황 감지 장치는 적어도 하나의 상세 이미지를 분석한 결과, 일정 시간 동안 제 1 객체의 움직임이 임계 값보다 작은 경우, 제 1 객체의 위험도 레벨을 상향 조정할 수 있다.

도 21은 일 실시예에 따른 상세 이미지를 이용하여 위험 상황을 감지하는 방법을 설명하기 위한 순서도이다.

단계 S2110에서, 위험 상황 감지 장치는 동적 비전 센서(1100)를 이용하여, 움직임이 발생 가능한 제 1 객체를 포함하는 적어도 하나의 이미지 획득할 수 있다. 단계 S2110은 도 20의 단계 S2010에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S2120에서, 위험 상황 감지 장치는 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다. 예를 들어, 위험 상황 감지 장치는 바닥에 쓰러져있는 상태의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다. 일 실시예에 의하면, 제 1 이미지를 검출하는 동작은 제 1 학습 네트워크 모델에 의해 수행될 수 있다. 단계 S2120은 도 20의 단계 S2020에 대응하므로, 구체적인 설명은 생략하기로 한다.

단계 S2130에서, 위험 상황 감지 장치는, 제 1 이미지가 검출되는 경우, 진동기(1200)로 동적 비전 센서(1100)를 움직임으로써, 제 1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득할 수 있다. 예를 들어, 제 1 객체가 바닥에 쓰러진 자세의 제 1 이미지가 검출되는 경우, 위험 상황 감지 장치는 진동기(1200)로 동적 비번 센서(1100)를 움직여 제 1 객체 주변의 객체들에 관한 정보가 포함된 상세 이미지를 획득할 수 있다.

일 실시예에 의하면, 제 1 객체의 주변 환경 정보는 제 1 객체 주변의 다른 객체들에 관한 정보(예컨대, 제 1 객체 주변에 다른 객체가 존재하는지 여부에 대한 정보, 제 1 객체 주변에 존재하는 다른 객체의 식별 정보 등)일 수 있다. 따라서, 적어도 하나의 상세 이미지는 제 1 객체의 윤곽 이미지 및 제 1 객체의 주변에 존재하는 다른 객체들의 윤곽 이미지를 포함할 수 있다. 만일, 제 1 객체 주변에 다른 객체들이 존재하지 않는 경우, 상세 이미지에는 제 1 객체의 윤곽 이미지만 나타날 수도 있다.

단계 S2140에서, 위험 상황 감지 장치는, 적어도 하나의 상세 이미지를 분석하여 제 1 객체의 상황이 위험 상황인지 결정할 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는, 제 1 객체가 넘어진 주변 환경 정보(예컨대, 제 1 객체가 넘어진 곳에 어떤 물체가 있는지, 바닥의 재질이 어떤 것인지 등)를 이용하여, 제 1 객체의 상황이 위험 상황인지 결정할 수 있다. 예를 들어, 상세 이미지를 분석한 결과, 제 1 객체가 넘어진 곳이 계단 위이고, 제 1 객체의 머리가 계단 난간에 부딪힌 상태일 수 있다. 이 경우, 위험 상황 감지 장치는 제 1 객체의 상황이 위험 상황이라고 결정할 수 있다.

일 실시예에 의하면, 제 1 객체의 상황이 위험 상황인지 결정하는 동작은 제 2 학습 네트워크 모델에 의해 수행될 수 있다. 이때, 제 2 학습 네트워크 모델은 제 1 이미지를 검출하는 제 1 학습 네트워크 모델과 동일한 AI 엔진의 동일한 학습 모델일 수 있다. 또는, 제 2 학습 네트워크 모델은 제 1 학습 네트워크 모델과 동일한 AI 엔진의 다른 학습 모델일 수 있다. 또는, 제 2 학습 네트워크 모델은 제 1 학습 네트워크 모델과 상이한 AI 엔진의 학습 모델일 수 있다.

일 실시예에 의하면, 위험 상황 감지 장치는, 기 정의된 자세의 제 1 객체(예컨대, 바닥에 쓰러진 자세)를 포함하는 이미지가 검출되는 경우, 제 1 객체 주변의 움직이지 않는 사물들에 대한 정보를 획득하기 위해 진동기를 이용하여 동적 비전 센서를 움직일 수 있다. 이 경우, 움직이는 동적 비전 센서는 제 1 객체 주변의 움직이지 않는 사물들의 상세 이미지도 감지할 수 있으므로, 위험 상황 감지 장치는 제 1 객체 주변의 상세 이미지를 이용하여 제 1 객체가 위험 상황인지 보다 정확하고 객관적으로 판단할 수 있다.

도 22는 일 실시예에 따른 낙상 감지 장치의 구성을 설명하기 위한 블록 구성도이다.

도 22에 도시된 바와 같이, 일 실시예에 따른 낙상 감지 장치(1000)는, 동적 비전 센서(1100), 진동기(1200), 프로세서(1300)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 낙상 감지 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 낙상 감지 장치(1000)는 구현될 수 있다. 예를 들어, 낙상 감지 장치(1000)는, 진동기(1200)를 제외하고, 동적 비전 센서(1100)와 프로세서(1300)만을 포함할 수 있다. 또한, 낙상 감지 장치(1000)는 동적 비전 센서(1100), 진동기(1200), 프로세서(1300) 이외에 사용자 인터페이스(1400), 통신 인터페이스(1500), 출력부(1600), 메모리(1700)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

동적 비전 센서(1100)는 사람의 홍채가 정보를 받아들이는 방식을 채택한 이미지 센서로, 움직이는 객체에 대한 이미지 데이터를 획득할 수 있는 센서이다. 예를 들어, 동적 비전 센서(1100)는 픽셀 단위에서 움직임에 의해 국소적인 변화가 있을 때에만 이미지 데이터를 프로세서(1300)로 전송하게 된다. 즉, 동적 비전 센서(1100)는 움직이는 이벤트가 발생할 때만 이미지 데이터를 프로세서(1300)에 전송할 수 있다. 따라서, 동적 비전 센서(1100)는 객체가 멈춰 있는 경우에 데이터 처리를 하지 않고, 객체가 움직이는 경우에만 움직이는 객체를 캡쳐하여 데이터를 프로세서(1300)로 전송할 수 있다.

진동기(1200), 진동을 발생시키기 위한 장치일 수 있다. 예를 들어, 진동기(1200)는 진동 신호를 출력하는 진동 모터일 수 있다. 일 실시예에 의하면, 진동기(1200)는 진동을 발생시켜 인위적으로 동적 비전 센서(1200)를 움직일 수 있다. 동적 비전 센서(1200)는 움직임 변화 감지에 유용한 이미지 센서이나, 움직임이 없는 경우에는 정보를 얻을 수 없다. 따라서, 객체들의 움직임이 없는 경우에도 동적 비전 센서(1200)가 객체들의 이미지를 얻을 수 있도록, 진동기(1200)는 동적 비전 센서(1200)를 인위적으로 움직일 수 있다.

동적 비전 센서(1100) 및 진동기(1200)는 도 1에서 설명되었으므로, 구체적인 설명은 생략하기로 한다.

프로세서(1300)는 통상적으로 낙상 감지 장치(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 동적 비전 센서(1100), 진동기(1200), 사용자 인터페이스(1400), 통신 인터페이스(1500), 출력부(1600)를 제어할 수 있다.

일 실시예에 의하면, 프로세서(1300)는 동적 비전 센서(1100)에서 획득된 적어도 하나의 이미지 중에서 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다. 기 정의된 자세는 낙상과 관련된 자세일 수 있다. 예를 들어, 기 정의된 자세는 신체의 일부(예컨대, 등, 배, 머리 등) 또는 전부가 바닥에 닿는 자세일 수 있다. 예를 들어, 프로세서(1300)는, 제 1 객체의 움직임이 감지되는 경우, 적어도 하나의 이미지에 포함된 제 1 객체의 자세와 기 정의된 자세를 비교하여, 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다.

일 실시예에 의하면, 프로세서(1300)는, 동적 비전 센서(1100)가 설치된 각도 및 위치 중 적어도 하나를 고려하여, 적어도 하나의 이미지에 포함된 제 1 객체의 형상 또는 크기를 보상할 수 있다. 프로세서(1300)는 형상 또는 크기가 보상된 제 1 객체의 자세와 기 정의된 자세를 비교하여 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다.

일 실시예에 의하면, 프로세서(1300)는, 적어도 하나의 이미지에 기초하여 제 1 객체가 다른 객체에 의하여 일부 가려진 것으로 판단되는 경우, 동적 비전 센서(1100)를 움직이도록 진동기(1200)를 제어할 수 있다. 프로세서(1300)는, 움직이는 동적 비전 센서(1100)를 통해 획득된 제 5 이미지에 기초하여 제 1 객체의 일부를 가리는 제 2 객체를 검출할 수 있다. 프로세서(1300)는 제 2 객체를 고려하여 제 2 객체에 의해 일부 가려진 제 1 객체의 자세를 추정할 수 있다. 프로세서(1300)는, 추정된 제 1 객체의 자세와 기 정의된 자세를 비교하여, 기 정의된 자세의 제 1 객체를 포함하는 제 1 이미지를 검출할 수 있다.

프로세서(1300)는 제 1 이미지를 포함하는 제 1 객체에 대한 복수의 이미지를 분석하여 제 1 객체의 제 1 움직임 변화에 대한 정보를 획득할 수 있다. 복수의 이미지는, 동적 비전 센서(1100)가 제 1 이미지보다 이전에 획득한 제 2 이미지들 및 제 1 이미지보다 이후에 획득한 제 3 이미지들 중 적어도 하나를 포함할 수 있다.

프로세서(1300)는 제 1 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 제 1 객체의 상태가 낙상 상태인지 결정할 수 있다. 예를 들어, 프로세서(1300)는, 제 1 객체의 제 1 움직임 변화와 기 저장된 낙상을 나타내는 제 2 움직임 변화 사이의 유사도가 임계 값보다 큰 경우, 제 1 객체의 상태를 낙상 상태로 결정할 수 있다.

프로세서(1300)는 제 1 객체의 상태가 낙상 상태로 결정된 경우, 동적 비전 센서(1100)를 움직이도록 진동기(1200)를 제어하고, 움직이는 동적 비전 센서(1100)를 통해 획득된 제 4 이미지들을 이용하여, 낙상 상태의 위험도를 결정할 수도 있다. 예를 들어, 프로세서(1300)는, 제 4 이미지들을 분석하여, 제 1 객체 주변의 환경 정보 또는 제 1 객체의 낙상 형태(type) 정보를 획득하고, 환경 정보 또는 낙상 형태 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 일 실시예에 의하면, 프로세서(1300)는, 낙상 상태의 위험도가 임계 값보다 큰 경우, 통신 인터페이스(1500)를 통해 경고 메시지를 외부 디바이스로 전송할 수 있다.

프로세서(1300)는, 제 1 객체의 상태가 낙상 상태로 결정된 후 제 1 객체의 움직임을 검출하고, 일정 시간 동안 제 1 객체의 움직임이 임계 값보다 작은 경우, 낙상 상태의 위험도 레벨을 상향 조정할 수 있다.

프로세서(1300)는, 메모리(1700)에 기 저장된 딥러닝 모델을 이용하거나 외부로부터 수신된 딥러닝 모델을 이용하여, 객체의 낙상을 감지할 수 있다. 또한, 프로세서(1300)는 낙상을 감지하기 위한 딥러닝 모델을 직접 생성할 수도 있다. 프로세서(1300)가 직접 딥러닝 모델을 생성하는 동작에 대해서는 도 21 내지 도 24를 참조하여 후에 자세히 살펴보기로 한다.

사용자 인터페이스(1400)는, 사용자가 낙상 감지 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 인터페이스(1400)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

사용자 인터페이스(1400)는, 동적 비전 센서(1100)가 설치된 공간의 사생활 레벨을 설정하는 입력을 수신할 수 있다. 또는, 사용자 인터페이스(1400)는 동적 비전 센서(1100)를 통해 획득되는 이미지의 선명도를 설정하는 입력을 수신할 수도 있다.

통신 인터페이스(1500)는, 낙상 감지 장치(1000)와 서버(2000), 낙상 감지 장치(1000)와 웨어러블 디바이스(3000), 낙상 감지 장치(1000)와 모바일 단말 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1500)는, 근거리 통신부, 이동 통신부 등을 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이때, 이동 통신부는, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications) 중 적어도 하나를 사용할 수 있다.

출력부(1600)는, 비디오 신호, 오디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부와 음향 출력부, 진동 모터 등이 포함될 수 있다.

디스플레이부는 낙상 감지 장치(1000)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부는, 동적 비전 센서(1100)를 통해 획득되는 이미지, 프리뷰 이미지, 동영상 파일 목록, 동영상 재생 화면 등을 표시할 수 있다.

디스플레이부와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.

음향 출력부는 통신 인터페이스(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부는 낙상 감지 장치(1000)에서 수행되는 기능(예를 들어, 경고 메시지 생성)과 관련된 음향 신호를 출력한다. 음향 출력부에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 정지 영상, 동영상 등)을 저장할 수도 있다.

메모리(1700)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.

외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 낙상 감지 장치(1000)와 기능적으로 및/또는 물리적으로 연결될 수 있다.

또한, 낙상 감지 장치(1000)는 인터넷(internet)상에서 메모리(1700)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 외형 모델(1710), 모션 모델(1720), 보상 모델(1730) 등으로 분류될 수 있다. 일 실시예에 의하면, 메모리(1700)는 낙상 위험도 맵(600)을 저장할 수도 있다.

외형 모델(1710)은 정지 영상을 하나씩 분석하여, 정지 영상에 포함된 객체의 형상(body shape)이나 포즈(pose)를 검출하고, 검출된 객체의 형상이나 포즈가 낙상과 관련하여 기 정의된 자세와 유사한지 판단하도록 학습된 모델일 수 있다.

모션 모델(1720)은 복수의 이미지(예컨대, 동영상)를 분석하여 객체의 움직임 패턴을 검출하고, 검출된 객체의 움직임 패턴이 낙상을 나타내는 움직임 패턴과 유사한지 판단하도록 학습된 모델일 수 있다. 일반적으로 모션 모델(1720)은 여러 장의 이미지를 누적(예컨대, N images stacking)해서 처리하기 때문에 이미지 한 장을 처리하는 외형 모델(1710)에 비해서 N 배 시간이 오래 걸린다.

보상 모델(1730)는 동적 비전 센서(1100)를 통해 획득된 이미지에 포함된 객체의 크기, 형상, 또는 폐색(occlusion) 등을 보상하기 위해 학습된 모델일 수 있다.

낙상 위험도 맵(600)은 낙상이 발생하는 경우에 위험할 수 있는 영역을 표시한 지도일 수 있다.

한편, 이하에서는 프로세서(1300)가 낙상을 감지하기 위한 학습 모델로서, 외형 모델, 모션 모델(1720), 보상 모델(1730) 등을 생성하는 동작에 대해서 도 23을 참조하여 살펴보기로 한다.

도 23은 일 실시예에 따른 프로세서(1300)의 블록 구성도이다.

도 23을 참조하면, 일부 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.

데이터 학습부(1310)는 위험 상황(예컨대, 낙상 상황) 판단을 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 낙상 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터(예컨대, 이미지)를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 낙상 상황 판단을 위한 기준을 학습할 수 있다.

일 실시예에 의하면, 데이터 학습부(1310)는 특정 조도(예컨대, 일반 조도 또는 저조도)에서의 객체(사람 또는 동물)의 일상 행동 또는 낙상 행동을 학습할 수 있다. 일 실시예에 의하면, 데이터 학습부(1310)는 객체의 신체 특징(예컨대, 나이, 성별 등)에 따른 일상 행동 또는 낙상 행동을 학습할 수 있다. 예를 들어, 데이터 학습부(1310)는 아이의 낙상 패턴, 노인의 낙상 패턴, 보행기를 사용 중인 사람의 낙상 패턴, 목발을 사용 중인 사람의 낙상 패턴, 물품 운반 중의 낙상 패턴 등 다양한 상황에서의 낙상 패턴을 학습할 수 있다.

일 실시예에 의하면, 데이터 학습부(1310)는 객체를 인식하기 위한 기준을 학습할 수도 있다. 예를 들어, 데이터 학습부(1310)는 사람의 특징, 애완 동물의 특징, 가구의 특징, 사물의 특징 등을 학습할 수 있다.

일 실시예에 의하면, 데이터 학습부(1310)는 장소를 판단하기 위한 장소 이미지를 학습할 수 있다. 또한, 데이터 학습부(1310)는 장소 이미지에서 검출된 객체와 장소와의 연관 관계를 학습할 수 있다. 예를 들어, 데이터 학습부(1310)는 거실 이미지에서 검출된 소파, 텔레비전 등과 거실의 연관 관계를 학습할 수 있다.

일 실시예에 의하면, 데이터 학습부(1310)는 제 1 객체가 제 2 객체로 가려지는 경우에 있어서, 제 1 객체의 가려짐을 보상하기 위한 영상을 학습할 수 있다. 예를 들어, 데이터 학습부(1310)는 사람이 가구에 의해 가려지는 경우를 보상하기 위한 영상을 학습할 수 있다. 또한, 일 실시예에 의하면, 데이터 학습부(1310)는, 카메라 렌즈로 인한 왜곡을 보상하기 위해 왜곡 데이터를 학습할 수 있다.

데이터 인식부(1320)는 데이터에 기초한 낙상 상황을 판단할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 검출된 데이터로부터 낙상 상황을 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 이미지 데이터를 획득하고(예컨대, 동적 비전 센서(1100)로부터 이미지 데이터 획득), 획득된 이미지 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 이미지 데이터에 기초한 낙상 상황을 판단할 수 있다. 또한, 획득된 이미지 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.

데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 낙상 감지 장치(1000)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 낙상 감지 장치(1000)에 탑재될 수도 있다.

이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 낙상 감지 장치(1000)에 탑재될 수도 있으며, 또는 별개의 낙상 감지 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 낙상 감지 장치(1000)에 포함되고, 나머지 하나는 서버(2000)에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.

한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

도 24는 일 실시예에 따른 데이터 학습부(1310)의 블록 구성도이다.

도 24를 참조하면, 일 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.

데이터 획득부(1310-1)는 낙상 상황 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 낙상 상황 판단을 위한 학습을 위하여 필요한 데이터(예컨대, 이미지)를 획득할 수 있다. 일 실시예에 의하면, 데이터 획득부(1310-1)는 낙상 상황 판단에 필요한 데이터를 직접 생성할 수도 있고, 외부 장치 또는 서버로부터 낙상 상황 판단에 필요한 데이터를 수신할 수도 있다.

일 실시예에 의하면, 낙상 상황 판단에 필요한 데이터는, 낙상과 관련된 기 정의된 자세의 객체를 포함하는 이미지 데이터, 낙상을 나타내는 움직임 패턴을 포함하는 동영상 데이터, 낙상의 위험도를 판단하기 위한 주변 환경에 관한 컨텍스트 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 의하면, 데이터 획득부(1310-1)는 동적 비전 센서를 통해 캡쳐되는 정지 영상 또는 동영상을 입력 받을 수 있다. 동영상은 복수의 이미지(또는, 프레임(frame))들로 구성될 수 있다. 일 예로, 데이터 획득부(1310-1)는 데이터 학습부(1310)를 포함하는 낙상 감지 장치(1000)의 동적 비전 센서(1100), 또는 데이터 학습부(1310)를 포함하는 낙상 감지 장치(1000)와 통신 가능한 외부의 동적 비전 센서(1100)를 통하여 동영상을 입력 받을 수 있다.

일 실시예에 의하면, 데이터 획득부(1310-1)는 영상 데이터, 음성 데이터, 텍스트 데이터 또는 생체신호 데이터 등을 획득할 수 있다. 일 예로, 데이터 획득부(1310-1)는 낙상 감지 장치(1000)의 입력 기기(예: 마이크로폰, 카메라 또는 센서 등)를 통해 데이터를 입력 받을 수 있다. 또는, 데이터 획득부(1310-1)는 낙상 감지 장치(1000)와 통신하는 외부 장치를 통해 데이터를 획득할 수 있다.

전처리부(1310-2)는 낙상 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

예를 들어, 전처리부(1310-2)는 입력된 동영상의 적어도 일부를 구성하는 복수의 이미지(또는 프레임(frame))들 각각에 포함된 공통 영역을 기초로, 복수의 이미지들의 적어도 일부를 중첩하여 하나의 합성 이미지를 생성할 수 있다. 이 경우, 하나의 동영상에서 복수 개의 합성 이미지들이 생성될 수도 있다. 공통 영역은, 복수의 이미지들 각각에서 동일 또는 유사한 공통 객체(예로, 물체, 동식물 또는 사람 등)를 포함한 영역이 될 수 있다. 또는, 공통 영역은, 복수의 이미지들 각각에서 색, 음영, RGB 값 또는 CMYK 값 등이 동일 또는 유사한 영역이 될 수 있다.

학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 낙상 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다. 예를 들어, 학습 데이터 선택부(1310-3)는 낙상과 관련된 자세(예컨대, 사람의 신체 일부가 지면에 닿는 자세(예컨대, 누운 자세, 엎드린 자세 등))의 객체를 포함하는 이미지 데이터를 선택할 수 있다.

모델 학습부(1310-4)는 학습 데이터에 기초하여 낙상 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 낙상 상황 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.

또한, 모델 학습부(1310-4)는 낙상 상황 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)을 입력 받아 미리 구축된 모델일 수 있다.

데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.

다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.

또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.

또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도없이 상황 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 상황 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.

또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 낙상 감지 장치(1000)의 메모리(1700)에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 낙상 감지 장치(1000)의 메모리(1700)에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 낙상 감지 장치(1000)와 유선 또는 무선 네트워크로 연결되는 서버(2000)의 메모리에 저장할 수도 있다.

이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 낙상 감지 장치(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.

모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.

예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.

한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 동영상 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.

한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 낙상 감지 장치(1000)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 낙상 감지 장치(1000)에 탑재될 수도 있다.

또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 낙상 감지 장치(1000)에 탑재될 수도 있으며, 또는 별개의 낙상 감지 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 낙상 감지 장치(1000)에 포함되고, 나머지 일부는 서버(2000)에 포함될 수 있다.

또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

도 25는 일 실시예에 따른 데이터 인식부(1320)의 블록 구성도이다.

도 25를 참조하면, 일 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.

데이터 획득부(1320-1)는 낙상 상황 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 상황 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 낙상 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에 제공될 수 있다. 인식 데이터 선택부(1320-3)는 낙상 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.

인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.

예를 들어, 적어도 하나의 이미지의 인식 결과는 텍스트, 음성, 동영상, 이미지 또는 명령어(예로, 어플리케이션 실행 명령어, 모듈 기능 실행 명령어 등) 등으로 제공될 수 있다. 일 예로, 인식 결과 제공부(1320-4)는 적어도 하나의 이미지에 포함된 객체의 인식 결과를 제공할 수 있다. 인식 결과는, 예로, 적어도 하나의 이미지에 포함된 객체의 자세 정보, 객체의 주변 상태 정보, 동영상에 포함된 객체의 움직임 변화 정보 등이 될 수 있다. 인식 결과 제공부(1320-4)는 객체의 상태 정보로서 '낙상 상태'를 텍스트, 음성, 이미지 또는 명령어 등으로 제공할 수 있다.

모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.

한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 낙상 감지 장치(1000)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 낙상 감지 장치(1000)에 탑재될 수도 있다.

또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 낙상 감지 장치(1000)에 탑재될 수도 있으며, 또는 별개의 낙상 감지 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 낙상 감지 장치(1000)에 포함되고, 나머지 일부는 서버(2000)에 포함될 수 있다.

또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

도 26은 일 실시예에 따른 낙상 감지 장치(1000) 및 서버(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.

도 26을 참조하면, 서버(2000)는 낙상 상황 판단을 위한 기준을 학습할 수 있으며, 낙상 감지 장치(1000)는 서버(2000)에 의한 학습 결과에 기초하여 낙상 상황을 판단할 수 있다.

이 경우, 서버(2000)의 모델 학습부(2340)는 도 24에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 낙상 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 낙상 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다.

또한, 낙상 감지 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 상황을 판단할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 상황에 관한 정보를 서버(2000)로부터 수신할 수 있다.

또는, 낙상 감지 장치(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 낙상 상황을 판단할 수 있다. 이 경우, 낙상 감지 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 낙상 상황을 판단할 수 있다.

일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

동적 비전 센서(DVS)를 이용하여, 움직임이 발생 가능한 제1 객체를 포함하는 복수의 이미지를 획득하는 단계;
상기 복수의 이미지를 학습 네트워크 모델에 입력하는 단계;
상기 학습 네트워크 모델을 통해 상기 복수의 이미지를 분석한 결과에 기초하여 상기 제1 객체의 제1 움직임 변화에 대한 정보를 획득하는 단계; 및
상기 제1 객체의 제1 움직임 변화에 대한 정보에 기초하여, 상기 제1 객체의 상황이 위험 상황인지 결정하는 단계를 포함하는 위험 상황 감지 방법.
제1항에 있어서, 상기 위험 상황 감지 방법은,
상기 제1 객체의 상황이 위험 상황이라고 결정된 경우, 진동기로 상기 동적 비전 센서를 움직여 생성된, 상기 제1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하는 단계; 및
상기 적어도 하나의 상세 이미지를 분석하여, 상기 제1 객체의 위험도를 결정하는 단계를 더 포함하는, 위험 상황 감지 방법.
제1항에 있어서, 상기 제1 객체의 상황이 위험 상황인지 결정하는 단계는,
상기 제1 객체의 제1 움직임 변화에 대한 정보에 기초하여, 상기 제1 객체의 상태가 낙상 상태인지 결정하는 단계를 포함하는, 위험 상황 감지 방법.
제2항에 있어서, 상기 제1 객체의 위험도를 결정하는 단계는,
상기 적어도 하나의 상세 이미지를 분석한 결과, 일정 시간 동안 상기 제1 객체의 움직임이 임계 값보다 작은 경우, 상기 제1 객체의 위험도 레벨을 상향 조정하는 단계를 포함하는, 위험 상황 감지 방법.
제1항에 있어서, 상기 제1 객체의 상황이 위험 상황인지 결정하는 단계는,
상기 복수의 이미지에 기초하여 상기 제1 객체가 다른 객체에 의하여 일부 가려진 것으로 판단되는 경우, 진동기로 상기 동적 비전 센서를 움직여 생성된, 상기 제1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하는 단계;
상기 적어도 하나의 상세 이미지에 기초하여, 상기 제1 객체의 일부를 가리는 제2 객체를 검출하는 단계; 및
상기 제2 객체를 고려하여, 상기 제2 객체에 의해 일부 가려진 상기 제1 객체의 자세를 추정하는 단계를 포함하는, 위험 상황 감지 방법.
제1항에 있어서, 상기 복수의 이미지를 획득하는 단계는,
상기 동적 비전 센서가 설치된 공간의 사생활 레벨(privacy level)에 따라, 상기 복수의 이미지에 포함된 상기 제1 객체의 선명도를 조절하는 단계를 포함하는, 위험 상황 감지 방법.
제1항에 있어서, 상기 복수의 이미지를 획득하는 단계는,
상기 제1 객체의 움직임이 감지되는 경우, 고해상도 모드로 상기 복수의 이미지를 획득하는 단계; 및
상기 제1 객체의 움직임이 감지되지 않는 경우, 저해상도 모드로 상기 복수의 이미지를 획득하는 단계를 포함하는, 위험 상황 감지 방법.
움직임이 발생 가능한 제1 객체를 포함하는 복수의 이미지를 획득하는 동적 비전 센서(DVS); 및
상기 동적 비전 센서에 연결된 프로세서를 포함하되,
상기 프로세서는,
상기 복수의 이미지를 학습 네트워크 모델에 입력하는 동작,
상기 학습 네트워크 모델을 통해 상기 복수의 이미지를 분석한 결과에 기초하여 상기 제1 객체의 제1 움직임 변화에 대한 정보를 획득하는 동작, 및
상기 제1 객체의 제1 움직임 변화에 대한 정보에 기초하여, 상기 제1 객체의 상황이 위험 상황인지 결정하는 동작을 수행하는, 위험 상황 감지 장치.
제8항에 있어서, 상기 위험 상황 감지 장치는,
상기 동적 비전 센서를 움직이는 진동기를 더 포함하고,
상기 프로세서는,
상기 제1 객체의 상황이 위험 상황이라고 결정된 경우, 상기 동적 비전 센서를 움직이도록 상기 진동기를 제어하고, 상기 동적 비전 센서를 움직여 생성된, 상기 제1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하고, 상기 적어도 하나의 상세 이미지를 분석하여, 상기 제1 객체의 위험도를 결정하는, 위험 상황 감지 장치.
제8항에 있어서, 상기 위험 상황 감지 장치는,
상기 동적 비전 센서를 움직이는 진동기를 더 포함하고,
상기 프로세서는,
상기 복수의 이미지에 기초하여 상기 제1 객체가 다른 객체에 의하여 일부 가려진 것으로 판단되는 경우, 상기 진동기로 상기 동적 비전 센서를 움직여 생성된, 상기 제1 객체의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하고, 상기 적어도 하나의 상세 이미지에 기초하여, 상기 제1 객체의 일부를 가리는 제2 객체를 검출하고, 상기 제2 객체를 고려하여, 상기 제2 객체에 의해 일부 가려진 상기 제1 객체의 자세를 추정하는, 위험 상황 감지 장치.
제9항에 있어서, 상기 프로세서는,
상기 적어도 하나의 상세 이미지를 분석한 결과, 일정 시간 동안 상기 제1 객체의 움직임이 임계 값보다 작은 경우, 상기 제1 객체의 위험도 레벨을 상향 조정하는, 위험 상황 감지 장치.
제1항 내지 제7항 중 어느 한 항의 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.