KR102481883B1 - 위험 상황을 감지하는 방법 및 장치 - Google Patents

위험 상황을 감지하는 방법 및 장치 Download PDF

Info

Publication number
KR102481883B1
KR102481883B1 KR1020170125408A KR20170125408A KR102481883B1 KR 102481883 B1 KR102481883 B1 KR 102481883B1 KR 1020170125408 A KR1020170125408 A KR 1020170125408A KR 20170125408 A KR20170125408 A KR 20170125408A KR 102481883 B1 KR102481883 B1 KR 102481883B1
Authority
KR
South Korea
Prior art keywords
dangerous situation
image
information
group
user
Prior art date
Application number
KR1020170125408A
Other languages
English (en)
Other versions
KR20190036315A (ko
Inventor
백현재
김주영
김준호
양도준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170125408A priority Critical patent/KR102481883B1/ko
Priority to US16/139,807 priority patent/US11298049B2/en
Priority to PCT/KR2018/011444 priority patent/WO2019066502A1/en
Priority to EP18860028.2A priority patent/EP3676815A4/en
Publication of KR20190036315A publication Critical patent/KR20190036315A/ko
Application granted granted Critical
Publication of KR102481883B1 publication Critical patent/KR102481883B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait

Abstract

동적 비전 센서(DVS)를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계, 적어도 하나의 이미지를 분석하여, 객체를 활동속성에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계, 적어도 하나의 이미지 중에서 기 정의된 자세의 객체가 포함된 객체 이미지를 검출하는 단계 및 매칭된 그룹의 세팅 정보에 기초하여, 객체 이미지에 포함된 객체의 상황이 위험 상황인지 결정하는 단계를 포함하는 위험 상황 감지 방법이 개시된다.

Description

위험 상황을 감지하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING A DANGEROUS SITUATION}
동적 비전 센서(DVS: dynamic vision sensor)를 이용하여 객체의 프로파일 정보에 따라 위험 상황 (예컨대, 낙상)을 감지하는 방법 및 시스템이 개시된다.
의료 기술의 발전은 기대 수명의 연장과 함께 고령화 사회를 초래하고 있다. 이에 따라 노인 건강에 대한 중요성이 높아지고 있다. 낙상은 넘어지거나 떨어져서 몸을 다치는 것으로 노인에서 주로 발생하지만 모든 연령에서 발생 가능하다. 특히 노인 낙상의 발생은 점점 늘어나고 있으며 심각한 손상을 동반하거나 낙상으로 인한 합병증으로 사망까지 한다. 미국의 65세 이상 노인 중 3분의 1이상에서 년간 한번 이상 낙상을 경험한다고 한다.
노인 낙상은 낙상으로 인한 사망 이외에도 중증의 손상으로 인해 삶의 질이 현저하게 감소하는 문제를 초래한다. 낙상으로 병원을 찾는 노인의 20~30%는 타박상, 엉덩이뼈 골절 또는 낙상으로 인한 머리 손상으로 고생한다. 낙상은 노인 외상의 가장 큰 문제이며 노인층의 증가와 함께 지속적으로 증가될 것으로 예상된다.
낙상은 모든 대상에서 발생할 수 있지만, 연령별, 개인별, 성별에 따라서 낙상의 심각도가 달라질 수 있다. 예를 들어, 같은 속도로 넘어졌다고 하더라도 젊고 건강한 사람이 넘어지는 상황과 몸이 불편한 사람 혹은 노인이 넘어지는 상황은 심각성의 정도에 차이가 있다..
따라서, 사용자의 프로파일 정보에 따라 낙상 유무를 정확히 감지하고, 낙상에 따른 위험도를 정확히 예측할 수 있는 시스템이 필요하다.
제 1 실시예에 따라, 위험 상황을 감지하는 방법은 동적 비전 센서(DVS)를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계, 적어도 하나의 이미지를 분석하여, 객체를 사용자의 활동속성에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계, 적어도 하나의 이미지 중에서 기 정의된 자세의 객체가 포함된 객체 이미지를 검출하는 단계 및 매칭된 그룹의 세팅 정보에 기초하여, 객체 이미지에 포함된 객체의 상황이 위험 상황인지 결정하는 단계를 제공할 수 있다.
제 2 실시예에 따라, 위험 상황 감지 장치는 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 동적 비전 센서(DVS), 사용자의 활동속성에 따라 분류된 복수개의 그룹의 정보를 저장하는 메모리 및 적어도 하나의 이미지를 분석하여, 객체를 복수개의 그룹 중 어느 하나의 그룹에 매칭하고, 적어도 하나의 이미지 중에서 기 정의된 자세의 객체가 포함된 객체 이미지를 검출하고, 매칭된 그룹의 세팅 정보에 기초하여, 객체 이미지에 포함된 객체의 상황이 위험 상황인지 결정하는 프로세서를 제공할 수 있다.
제 3 실시예에 따라, 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품를 제공하며, 저장 매체는 동적 비전 센서(DVS)를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계, 적어도 하나의 이미지를 분석하여, 객체를 사용자의 활동속성에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계, 적어도 하나의 이미지 중에서 기 정의된 자세의 객체가 포함된 객체 이미지를 검출하는 단계 및 매칭된 그룹의 세팅 정보에 기초하여, 객체 이미지에 포함된 객체의 상황이 위험 상황인지 결정하는 단계를 수행하는 명령어들을 포함하는 컴퓨터 프로그램 제품을 제공할 수 있다.
도 1은 일 실시예에 따른 위험 상황 감지 장치의 작동을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 사용자 프로파일에 기초하여 낙상을 감지하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 객체 정보를 분석하여 객체를 복수의 그룹 중 하나의 그룹에 매칭하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 복수의 그룹을 생성하고, 객체와 그룹을 매칭하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 객체의 움직임 감지 여부에 따라 이미지 획득 모드를 조절하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시예에 따른 낙상 상태의 위험도를 결정하는 방법을 설명하기 위한 순서도이다.
도 7은 일 실시예에 따른 실내에 설치된 DVS 설치 위치의 주변 환경 정보의 위험도를 설정하는 동작을 설명하기 위한 순서도이다.
도 8은 일 실시예에 따른 실외에 설치된 DVS 설치 위치의 주변 환경 정보의 위험도를 설정하는 동작을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 위험도 레벨을 결정하는 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 웨어러블 디바이스에서 측정되는 생체 정보를 이용하여 낙상 상태의 위험도를 분석하는 시스템을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 방법을 설명하기 위한 순서도이다.
도 12는 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 낙상 감지 장치의 구성을 설명하기 위한 블록 구성도이다.
도 14는 일 실시예에 따른 낙상 감지 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서, "낙상(fall)"은, 특정 대상이 떨어지거나 넘어져서 다치는 현상을 의미할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 위험 상황 감지 장치의 작동을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 위험 상황 감지 시스템은 위험 상황 감지 장치를 포함할 수 있다. 위험 상황이란 움직임 발생이 가능한 객체(예컨대, 사람 또는 동물)가 위험한 상황에 놓이는 것을 의미할 수 있다. 예를 들어, 위험한 상황은 객체가 낙상한 상황, 객체가 있는 공간에 화재가 발생한 상황, 홍수가 발생한 상황, 산사태가 발생한 상황, 가스가 누출된 상황 등 다양할 수 있으나, 이하에서는 설명의 편의상 위험한 상황이 객체가 낙상한 상황인 경우를 예로 들어 설명하기로 한다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체(10)에 대한 적어도 하나의 이미지(프레임)를 획득하고, 획득한 적어도 하나의 이미지(프레임)를 이용하여, 객체(10)의 낙상을 감지하는 장치일 수 있다. 일 실시예에 의하면, 객체(10)는 이동 가능한 사람, 동물 등이 될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 따르면, 낙상 감지 시스템은 사용자의 입력에 기반하여 감지 대상을 특정 객체로 지정할 수 있다. 예를 들어, 낙상 감지 시스템은 낙상 감지의 대상에서 동물은 제외하고 사람만으로 특정할 수 있다. 또한, 낙상 감지 시스템은 특정 사람을 모니터링 대상으로 지정할 수도 있다. 예를 들어, 댁내에 엄마, 아빠, 할아버지, 아이가 함께 있는 경우, 낙상 감지의 대상으로 할아버지가 지정될 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 고정된 위치에 설치될 수 있다. 일 실시예에 의하면, 위험 상황 감지 장치(1000)는 감시카메라(1001)의 형태로 구현될 수 있다. 감시카메라(1001)의 형태로 구현된 위험 상황 감지 장치(1000)는 정해진 위치에 고정되어 설치될 수 있다. 감시카메라(1001)의 형태로 구현된 위험 상황 감지 장치(1000)는 집안 내부의 벽, 천장, 가구 등에 부착될 수 있다. 감시카메라(1001)의 형태로 구현된 위험 상황 감지 장치(1000)는 설치된 위치에 대한 정보를 제공할 수 있다.일 실시예에 의하면, 위험 상황 감지 장치(1000)는 이동 가능하게 설치될 수 있다. 위험 상황 감지 장치(1000)는 이동 가능한 액세서리, 가구, 전자제품, 인테리어 제품 등에 포함될 수 있다. 일 실시예에 의하여, 위험 상황 감지 장치(1000)는 스피커(1003)에 결합되어 이동 가능한 형태(1002)로 구현될 수 있다. 이동 가능한 형태(1002)로 구현된 위험 상황 감지 장치(1000)는 위험 상황이 발생가능한 지역에 가변적으로 위치할 수 있다. 이동 가능한 형태(1002)로 구현된 위험 상황 감지 장치(1000)는 낙상 위험이 발생할 수 있는 침대, 계단, 문턱 등에 설치될 수 있다.
일 실시예에 따르면, 위험 상황 감지 장치(1000)는 동적 비전 센서(DVS)(1100)를 포함할 수 있다. 일 실시예에 따라, 감시카메라(1001)의 형태로 구현된 위험 상황 감지 장치(1000) 및 이동 가능한 형태(1002)로 구현된 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 포함할 수 있다. 일 실시예에 따라, 이동 가능한 형태(1002)로 구현된 위험 상황 감지 장치(1000)는 다른 기능(예를 들어, AI스피커 기능)과 함께 움직이는 객체에 대한 이미지 데이터를 획득할 수 있는 동적 비전 센서(1100)를 포함할 수 있다.
동적 비전 센서(1100)는 사람의 홍채가 정보를 받아들이는 방식을 채택한 이미지 센서로, 움직이는 객체에 대한 이미지 데이터를 획득할 수 있는 센서이다. 예를 들어, 동적 비전 센서(1100)는 픽셀 단위에서 움직임에 의해 국소적인 변화가 있을 때에만 이미지 데이터를 프로세서로 전송하게 된다. 즉, 동적 비전 센서(1100)는 움직이는 이벤트가 발생할 때만 이미지 데이터를 프로세서에 전송할 수 있다. 따라서, 동적 비전 센서(1100)는 객체가 멈춰 있는 경우에 데이터 처리를 하지 않고, 객체가 움직이는 경우에만 움직이는 객체를 측정하여 데이터를 프로세서로 전송함으로써, 일반적인 이미지 센서들이 프레임들을 이미지 프로세서로 계속 보내 발생하는 데이터의 낭비를 막을 수 있다.
동적 비전 센서(1100)는 일반적인 시각 인식 시스템이 빠른 움직임에 취약하다는 문제점을 해결할 수 있다. 동적 비전 센서(1100)는 프레임 단위로 데이터를 받는 것이 아니라 낱낱의 픽셀 기준(per-pixel basis)으로 데이터를 받기 때문에 블러(blur) 현상을 극복할 수 있다.
또한, 동적 비전 센서(1100)는 마이크로 초 단위의 해상도를 가질 수 있다. 다시 말해 동적 비전 센서(1100)는 1초당 수천 프레임을 찍는 초고속 카메라보다 더 뛰어난 시간 분해능을 가질 수 있다(예컨대, 초고속 프레임 > 1K FPS). 뿐만 아니라 동적 비전 센서(1100)는 전력 소모 및 데이터 저장 요구 조건 또한 매우 줄어들었기 때문에 dynamic range(센서가 구분할 수 있는 밝기의 범위) 또한 획기적으로 늘게 되었다.
한편, 동적 비전 센서(1100)에 의해 획득되는 이미지는 움직이는 객체(10)의 윤곽선 정도만 표현되므로, 모니터링되는 객체(10)의 사생활(privacy) 보호에도 유용할 수 있다. 또한, 동적 비전 센서(1100)는 어두운 곳에서도 약간의 빛만 있으면 객체(10)의 움직임을 감지할 수 있다.
일 실시예에 의하면, 동적 비전 센서(1100)는 주기적으로 이미지를 획득할 수 있으며, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)에서 주기적으로 획득되는 이미지를 이용하여 객체(10)의 낙상 여부를 모니터링할 수 있다. 예를 들어, 객체(10)가 침대에서 떨어지는 경우, 동적 비전 센서(1100)는 객체(10)가 침대에서 떨어지는 움직임을 감지할 수 있다. 이때, 위험 상황 감지 장치(1000)는 복수의 딥러닝 모델을 단계적으로 이용하여, 효율적으로 객체(10)의 낙상 여부를 판단할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는, 처음부터 동영상을 분석하는 것이 아니라, 정지 영상에 낙상과 관련된 자세의 객체(10)가 포함되는 경우에만 동영상 분석을 수행함으로써, 계산 리소스(computation resource)의 소모를 줄일 수 있다. 위험 상황 감지 장치(1000)가 객체(10)의 프로파일에 맞추어 객체(10)의 낙상 여부를 판단하는 동작에 대해서는, 후에 자세히 살펴보기로 한다.
도 1에 도시되지는 않았지만, 일 실시예에 의하면, 낙상 감지 시스템은 서버(미도시)를 더 포함할 수 있다. 이 경우, 서버(미도시)는 위험 상황 감지 장치(1000)로부터 객체(10)의 낙상 감지 정보를 수신할 수 있다. 서버는 수신된 낙상 감지 정보를 검증하거나, 낙상 감지 정보에 따라 경고 메시지를 외부 디바이스에 전송할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 낙상 여부를 확인하기 위한 딥러닝 모델들을 직접 생성할 수도 있고, 서버로부터 수신할 수도 있다. 딥러닝 모델들은 지도 학습(Supervised learning) 모델, 비지도 학습 (Unsupervised learning) 모델, 강화 학습(Reinforcement learning) 모델 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)에서 수집된 이미지를 딥러닝 모델들에 적용하여 객체(10)의 낙상 여부를 판단할 수 있다. 한편, 일 실시예 의하면, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 통해 수집된 이미지들을 서버에 전송하면서 객체(10)의 낙상 여부에 대한 판단을 서버에 요청할 수도 있다. 설명의 편의상 낙상 감지 시스템이 서버를 포함하지 않는 경우를 먼저 예로 들어 설명하기로 한다.
도 2는 일 실시예에 따른 사용자 프로파일에 기초하여 낙상을 감지하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 동적 비전 센서를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득할 수 있다. 일 실시예에 의하면, 동적 비전 센서(1100)는 가정에 설치될 수도 있고, 사무실에 설치될 수도 있고, 병원에 설치될 수도 있으나, 이에 한정되는 것은 아니다. 위험 상황 감지 장치(1000)는 야외에 설치될 수도 있다. 예를 들어, 위험 상황 감지 장치(1000)는 낙상 사고가 자주 발생하는 산에 설치될 수도 있다.
일 실시예에 의하면, 이동 가능한 객체는 모니터링 대상이 되는 사람일 수 있다. 객체가 이동하는 경우, 동적 비전 센서(1100)는 객체의 이미지를 캡쳐할 수 있다. 객체의 이미지에는 객체의 윤곽, 엣지 또는 실루엣이 포함될 수 있다.
단계 S220에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 적어도 하나의 이미지를 분석하여, 객체를 객체 프로파일 정보에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭할 수 있다.
일 개시에 의하여 "객체 프로파일 정보"는 객체의 특성을 포함하는 정보일 수 있다. 객체 프로파일 정보는 객체를 식별하기 위하여 필요한 정보일 수 있다. 객체 프로파일 정보는 성별, 연령대, 사는 지역, 병변, 보행 속도, 운동량 등을 포함할 수 있다.
일 개시에 의하여 "그룹"은 복수의 객체를 관찰함으로써 획득된 객체의 프로파일 정보에 의하여 분류될 수 있다. 일 개시에 의하여 그룹은 복수개의 객체 프로파일 정보 중 어느 하나의 프로파일 정보를 기준에 의하여 분류될 수 있다. 일 개시에 의하여 그룹은 복수개의 프로파일 정보를 조합하여 얻어진 기준에 의하여 분류될 수 있다.
예를 들어, 그룹은 연령대를 기준으로 10세를 기준으로 복수의 그룹으로 형성될 수 있다. 예를 들어, 0세부터 10세까지는 유아 그룹, 71세부터 90세까지를 노인 그룹으로 정의할 수 있다. 또한, 다른 예로서, 그룹은 복수개의 프로파일 정보에 가중치를 두어 계산한 값에 의하여 분류될 수 있다. 예를 들어, 70대, 남성, 허리가 굽은 외형 등의 객체 프로파일 특성을 기준으로 "허리 디스크가 있는 노인 남성 그룹"을 결정할 수 있다.
복수개의 그룹을 결정하는 방법은 제한되지 않는다. 일개시에 의하여 복수개의 그룹은 인공지능에 의한 학습모델에 의하여 분류될 수 있다. 일 개시에 의하여 복수개의 그룹은 사용자에 의하여 입력된 분류 기준에 의하여 분류될 수 있다.
단계 S230에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 적어도 하나의 이미지 중에서 기 정의된 자세의 객체가 포함된 객체 이미지를 추출할 수 있다. 위험 상황 감지 장치(1000)는 적어도 하나의 이미지 중에서 기 정의된 자세의 객체를 포함하는 객체 이미지를 검출할 수 있다. 이때, 적어도 하나의 이미지 각각은 정적 영상(static image)일 수 있다.
일 실시예에 의하여 "정적 영상(static image)"이라 함은 움직임이 있는 동안 측정된, 연속된 복수의 이미지 중 각각의 이미지를 의미한다. 일 실시예에 따라, 정적 영상은 동적 비전 센서를 통해 획득한 사용자의 움직임 영상에 포함된 복수의 이미지 중 어느 하나의 이미지를 의미한다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 통해 획득되는 적어도 하나의 이미지를 하나씩 딥러닝 모델을 이용하여 분석할 수 있다. 딥러닝 모델은, 정지 영상(static image)을 분석하여, 기 정의된 자세의 객체를 포함하는 이미지를 검출하기 위해 학습된 모델일 수 있다.
기 정의된 자세는 낙상과 관련된 자세일 수 있다. 일 실시예에 의하면, 기 정의된 자세는, 바닥(또는 계단)에 특정 신체 일부(예컨대, 머리, 등, 가슴, 무릎, 발 뒤꿈치, 손바닥 등)가 접촉된 자세일 수 있다. 예를 들어, 기 정의된 자세는 바닥에 등을 대고 누워있는 자세, 바닥에 배를 대고 엎드린 자세, 옆으로 누운 자세, 계단에 기댄 자세 등일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 할아버지가 침대 밖으로 나오다가 쓰러진 경우, 위험 상황 감지 장치(1000)는, 딥러닝 모델을 이용하여, 이미지들을 하나씩 분석하다가 바닥에 누워있는 자세의 할아버지가 포함된 이미지를 검출할 수 있다.
한편, 일 실시예에 의하면, 위험 상황 감지 장치(1000)는 딥러닝 모델을 이용하여 정지 영상을 분석하기 전에, 정지 영상에 포함된 객체의 형상 또는 크기를 보상할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는 동적 비전 센서(1200)가 설치된 각도 및 위치 중 적어도 하나를 고려하여, 적어도 하나의 이미지에 포함된 객체의 형상 또는 크기를 보상하고, 형상 또는 크기가 보상된 객체의 자세와 기 정의된 자세를 비교할 수 있다.
일 실시예에 의하면, 낙상과 관련된 자세의 객체를 포함하는 객체 이미지가 검출된 경우, 위험 상황 감지 장치(1000)는 객체의 상태가 낙상 상태인지 정확히 파악하기 위해, 일련의 이미지들(예컨대, 일정 기간 누적된 프레임들)을 분석하여, 객체의 제 1 움직임 변화에 대한 정보를 획득할 수 있다. 예를 들어, 객체가 침대에서 떨어져 바닥에 누워있는 이미지(예컨대, 제 n 프레임)가 검출된 경우, 위험 상황 감지 장치(1000)는 일정 기간 누적된 이미지들(예컨대, 제 n-10 프레임 ~ 제 n+10 프레임)을 분석하여 객체가 침대에서부터 바닥까지 떨어지는 움직임의 변화를 검출할 수 있다. 또한, 위험 상황 감지 장치(1000)는 바닥에 몸이 닿은 뒤의 객체의 움직임 변화를 검출할 수도 있다.
단계 S240에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 매칭된 그룹의 세팅 정보에 기초하여, 객체 이미지에 포함된 객체의 상황이 위험 상황인지 결정할 수 있다. 위험 상황 감지 장치(1000)는 객체가 매칭된 그룹의 세팅 정보 및 객체의 움직임 변화에 대한 정보에 기초하여, 객체의 상태가 낙상 상태인지 결정할 수 있다.
일 실시예에 의하면, 객체의 움직임 변화와 기 저장된 낙상을 나타내는 움직임 변화 사이의 유사도가 임계 값(예컨대, 90%)보다 큰 경우, 위험 상황 감지 장치(1000)는 객체의 상태를 낙상 상태로 결정할 수 있다.
일 실시예에 의하여 "기 저장된 낙상을 나타내는 움직임 변화"는 객체가 매칭된 그룹의 세팅 정보에 따라 설정될 수 있다. 일 실시예에 의하여, 낙상을 나타내는 움직임은 사용자의 프로파일 정보에 따라 결정될 수 있다. 예를 들어, 80대 노인의 낙상을 나타내는 넘어지는 속도, 넘어지는 모양, 팔다리의 형태 등의 움직임 변화는 10대 아이의 움직임 변화와 상이하게 설정될 수 있다.
반면, 객체의 움직임 변화와 기 저장된 낙상을 나타내는 움직임 변화 사이의 유사도가 임계 값(예컨대, 90%) 이하인 경우, 위험 상황 감지 장치(1000)는 객체의 상태를 낙상 상태가 아니라고 결정할 수 있다.
예를 들어, 객체의 움직임 변화가 낙상에 따른 움직임 패턴과 유사한 경우(예컨대, 객체가 침대에서 바닥으로 떨어진 후 더 이상 움직이지 못하는 경우), 위험 상황 감지 장치(1000)는 객체의 상태를 낙상 상태로 결정할 수 있다. 하지만, 객체의 움직임 변화가 낙상에 따른 움직임 패턴과 상이한 경우(예컨대, 객체가 침대에서 내려올 때 미끄러지면서 바닥에 엉덩이와 손바닥이 닿았지만 곧바로 일어나서 걸어간 경우), 위험 상황 감지 장치(1000)는 객체의 상태를 낙상 상태가 아니라고 결정할 수 있다.
도 3은 일 실시예에 따른 객체 정보를 분석하여 객체를 복수의 그룹 중 하나의 그룹에 매칭하는 동작을 설명하기 위한 도면이다.
도 3에 도시된 바에 따라, 위험 상황 감지 장치(1000)는 움직이는 객체를 포함하는 복수의 이미지(1101, 1102)를 획득할 수 있다. 일 개시에 의하여 복수의 이미지(1101, 1102)는 움직임이 발생한 객체를 촬영하여 획득될 수 있다. 복수의 이미지(1101,1102)는 위험 상황 및 일반적인 상황 등 모든 상황에서 획득될 수 있다.
일 개시에 의하여, 위험 상황 감지 장치(1000)는 객체를 포함하는 복수의 이미지(1101, 1102)를 분석하여 객체의 행태를 획득할 수 있다. 일 실시예에 의하여, 위험 상황 감지 장치(1000)는 객체의 이미지(1103)로부터 객체의 프로파일 정보를 획득할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는 객체의 이미지(1103)으로부터 객체가 남성이고, 70대로 추정되며, 허리가 불편하며, 보통의 보행속도로 걷는 것 등의 프로파일 정보를 획득할 수 있다. 일 실시예에 의하여 위험 상황 감지 장치(1000)는 복수의 객체의 이미지를 분석하여 복수의 프로파일 정보를 획득할 수 있다.
일 실시예에 의하여, 위험 상황 감지 장치(1000)는 복수의 프로파일 정보로부터 객체의 특성을 분석할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는 복수의 프로파일 정보를 분석하여 객체의 나이, 연령대, 신체 특성 등을 판단할 수 있다. 위험 상황 감지 장치(1000)는 획득한 객체의 프로파일 정보를 기초로 객체와 가장 유사한 특성을 포함하는 그룹을 매핑할 수 있다. 위험 상황 감지 장치(1000)는 객체의 프로파일 정보에 의하여 분류된 복수개의 그룹(1201) 중 어느 하나의 그룹을 객체와 매칭할 수 있다.
일 실시예에 의하여, 복수개의 그룹은 각각 상이한 그룹 세팅 정보를 포함할 수 있다. 그룹 세팅 정보는 객체의 상황을 판단하기 위하여 일반화된 가상의 모델에 대한 정보를 포함할 수 있다.
도 4는 일 실시예에 따른 복수의 그룹을 생성하고, 객체와 그룹을 매칭하는 동작을 설명하기 위한 도면이다.
단계 S401에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 복수의 사용자에 대한 활동속성을 포함하는 프로파일 정보를 획득할 수 있다. 일 개시에 의하여, 위험 상황 감지 장치(1000)는 복수의 사용자에 대한 복수의 프로파일 정보를 획득할 수 있다. 일 개시에 의하여 위험 상황 감지 장치(1000)는 DVS 센서로부터 객체의 프로파일 정보를 획득할 수 있다. 또한, 위험 상황 감지 장치(1000)는 웨어러블 장치, 사용자 단말, 외부 장치, 서버를 통해 객체의 프로파일 정보를 획득할 수 있다. 예를 들어, 사용자가 웨어러블 장치를 착용하는 경우 웨어러블 장치로부터 사용자 프로파일 정보, 평균 보행속도, 하루 동안의 걸음수 등의 사용자의 활동량에 대한 정보를 획득할 수 있다.
단계 S402에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 유사한 활동속성을 갖는 복수의 사용자에 대한 프로파일 정보를 이용하여 그룹을 생성할 수 있다. 위험 상황 감지 장치(1000)는 객체 프로파일 정보를 분석하여 유사한 활동 속성을 갖는 복수의 사용자를 하나의 그룹으로 생성할 수 있다. 위험 상황 감지 장치(1000)는 그룹에 매칭되는 객체의 위험 상황을 판단하기 위한 세팅 정보를 결정할 수 있다. 예를 들어, 객체가 어떤 상황에서 위험하다고 판단하는 지에 대한 기준이 되는 가상의 모델을 생성할 수 있다. 위험 상황 감지 장치(1000)는 가상의 모델 각각을 복수의 그룹으로 지정할 수 있다. 예를 들어, 제 1 가상 모델은 제 1 그룹으로, 제 2 가상 모델은 제 2 그룹으로 매핑될 수 있다. 예를 들어, 제 1 가상 모델은 무릎 통증이 있는 70대 남성 모델일 수 있고, 제 2 가상 모델은 허리 디스크가 있는 80대 여성 모델일 수 있다.
프로파일 정보는 성별, 연령, 병변, 평소 활동량, 보행속도, 활동 패턴, 보폭, 보조기구 장착여부 등을 포함할 수 있다. 세팅 정보는 그룹을 생성하기 위하여 이용된 복수의 사용자에 대한 프로파일 정보의 평균 정보일 수 있다.
일 개시에 의하여 단계 S401 및 S402는 도 2의 단계 S220에 포함될 수 있다.
단계 S403에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 특정 객체의 프로파일 정보를 획득할 수 있다. 일 개시에 의하여, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여, 움직임이 발생 가능한 객체를 포함하는 적어도 하나의 이미지 획득할 수 있다.
일 실시예에 의하면, 움직임이 발생 가능한 객체는 모니터링 대상이 되는 사람 또는 동물일 수 있다. 객체가 움직이는 경우, 동적 비전 센서(1100)는 객체의 이미지를 캡쳐할 수 있다. 이때, 객체의 이미지에는 객체의 윤곽, 엣지 또는 실루엣이 포함될 수 있다.
한편, 객체가 움직일 때 다른 객체도 함께 움직인 경우, 객체 이미지에는 객체의 윤곽뿐만 아니라 다른 객체의 윤곽도 나타날 수 있다. 예를 들어, 객체가 휠체어를 타고 가다가 휠체어와 함께 쓰러진 경우, 객체 이미지에는 객체의 윤곽과 휠체어의 윤곽이 함께 나타날 수 있다.
단계 S404에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 획득한 객체의 프로파일 정보를 이용하여 그룹 세팅 정보를 갱신할 수 있다. 일 개시에 의하여, 지속적으로 획득한 객체의 프로파일 정보를 이용하여 그룹 세팅 정보를 갱신함으로써, 객체에 가장 근접한 모델에 매핑되는 그룹을 세팅할 수 있다.
단계 S405에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 특정 객체의 프로파일을 분석하여 복수의 그룹 중 어느 하나의 그룹에 매칭할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)를 통해 획득한 객체의 프로파일을 분석하여 객체가 무릎 통증이 있는 노인 남성이라고 판단된 경우, 무릎 통증이 있는 70대 남성 모델의 세팅 정보를 가지는 제 1 그룹에 객체를 매칭할 수 있다. 객체에 매칭된 그룹의 세팅 정보는 이하에서 객체의 위험 상황을 감지하는 기준정보로 활용될 수 있다.
도 5는 일 실시예에 따른 객체의 움직임 감지 여부에 따라 이미지 획득 모드를 조절하는 방법을 설명하기 위한 순서도이다.
단계 S510에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 위험 상황 감지 장치(1000)는 동적 비전 센서(1100) 또는 다른 센서를 이용하여, 움직임이 발생 가능한 객체를 포함하는 적어도 하나의 이미지 획득할 수 있다.
단계 S520에서, 일 개시에 의한 위험 상황 감지 장치(1000)는 객체와 가장 근접한 모델을 포함하는 그룹에 객체를 매칭할 수 있다. 예를 들어, 동적 비전 센서(1100)를 통해 획득한 실루엣, 엣지 등을 기초로 분석한 객체 정보에 근접한 정보를 포함하는 그룹에 객체를 매칭할 수 있다.
단계 S520에서, 위험 상황 감지 장치(1000)는, 동적 비전 센서(1100)를 이용하여, 객체의 이미지를 획득할 수 있다.
일 실시예에 의하면, 객체의 이미지를 획득하기 위한 초기 이미지는 시스템 설정 값 또는 사용자 설정 값에 따라 해상도가 달라질 수 있다. 예를 들어, 초기 이미지는 고해상도 이미지일 수도 있고, 저해상도의 이미지일 수도 있다. 여기서, 고해상도의 이미지는 해상도가 임계 값보다 큰 이미지를 의미하고, 저해상도 이미지는 해상도가 임계 값보다 작거나 같은 이미지를 의미할 수 있다.
일 실시예에 의하여 해상도는 동적 비전 센서(1100)가 객체의 이미지를 검출하기 위한 기준점이 될 수 있다. 예를 들어, 객체가 같은 강도로 움직이는 경우라도, 해상도에 따라서 동적 비전 센서(1100)가 객체의 이미지를 검출할 수도, 검출하지 않을 수도 있다. 일 실시예에 의하여 해상도는 시스템 설정 값 또는 사용자 설정 값을 기준으로 저해상도/고해상도로 설정될 수 있다. 예를 들어, 객체가 1의 강도로 낙상하는 경우, 동적 비전 센서(1100)가 저해상도에서는 객체의 움직임을 검출하지 않고, 고해상도에서는 객체의 움직임을 검출할 수 있다. 동적 비전 센서(1100)는 마이크로 초 단위의 해상도를 가질 수 있는 바, 객체의 특성에 맞는 이미지 검출용 해상도를 설정할 수 있다.
일 실시예에 의하여 임계값은, 동적 비전 센서(1100)에서 객체가 움직인 것으로 판단하고, 이미지를 획득하는 기준이 되는 임계 해상도를 의미할 수 있다. 일 실시예에 의하여 임계값은 사용자에 의하여 설정되거나, 시스템에 의하여 자동 설정될 수 있다.
단계 S540에서, 위험 상황 감지 장치(1000)는, 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지를 이용하여, 객체의 움직임을 감지할 수 있다.
예를 들어, 침대와 화장대가 있는 방에 사람이 없는 경우 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지에는 아무런 윤곽이 나타나지 않을 수 있다. 하지만, 침대와 화장대가 있는 방에 사람이 들어오게 되는 경우, 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 이미지에는 움직이는 사람의 윤곽이 나타나게 된다. 따라서, 위험 상황 감지 장치(1000)는 적어도 하나의 이미지를 분석함으로써, 객체(예컨대, 사람)의 움직임 여부를 감지할 수 있다.
객체(예컨대, 사람)의 움직임이 감지되지 않는 경우, 동적 비전 센서(1100)를 통해 획득되는 이미지가 없기 때문에, 위험 상황 감지 장치(1000)는 이미지를 더 이상 분석하지 않을 수 있다. 위험 상황 감지 장치(1000)는 움직임이 있는 경우에만 객체의 이미지를 획득하기 때문에, 불필요한 계산 리소스(computation resource)의 소모를 줄일 수 있다. 만일, 객체(예컨대, 사람)의 움직임이 감지되는 경우, 위험 상황 감지 장치(1000)는 객체(예컨대, 사람)의 움직임이 낙상과 관련된 움직임인지 판단하기 위해, 단계 S830을 수행할 수 있다.
단계 S550에서, 위험 상황 감지 장치(1000)는, 객체의 움직임이 감지되는 경우, 동적 비전 센서(1100)를 통해 획득되는 적어도 하나의 이미지를 외형 모델을 이용하여 하나씩 분석할 수 있다. 일 개시에 의하여 외형 모델은 객체가 매칭된 그룹에서 객체의 형상이나 포즈와 유사하도록 판단된 학습 모델 일 수 있다.
예를 들어, 위험 상황 감지 장치(1000)는 외형 모델을 이용하여 낙상과 관련된 자세의 객체를 포함하는 이미지(예컨대, 바닥에 누워있는 자세의 사람을 포함하는 이미지)를 검출할 수 있다. 외형 모델(1710)은 정지 영상을 하나씩 분석하여, 정지 영상에 포함된 객체의 형상(body shape)이나 포즈(pose)를 검출하고, 검출된 객체의 형상이나 포즈가 낙상과 관련된 자세와 유사한지 판단하도록 학습된 모델일 수 있다.
예를 들어, 할아버지가 동적 비전 센서(1100)가 설치된 욕실에 들어오는 경우, 동적 비전 센서(1100)는 할아버지의 움직임을 감지할 수 있다. 동적 비전 센서(1100)는 할아버지의 움직임이 감지된 시점부터 촬영된 이미지 프레임을 순차적으로 위험 상황 감지 장치(1000)의 프로세서로 전달하고, 프로세서는 외형 모델을 이용하여 순차적으로 전달되는 이미지 프레임을 분석할 수 있다. 예를 들어, 프로세서는 순차적으로 전달되는 이미지 프레임에 포함된 할아버지의 자세를 검출할 수 있다. 프로세서는 할아버지가 매칭된 그룹의 외형 모델을 이용하여 할아버지의 자세를 분석할 수 있다.
만일, 할아버지가 욕실 바닥에서 넘어지는 경우, 낙상 검출 장치(1000)의 프로세서는, 순차적으로 전달되는 이미지 프레임 중에서 욕실 바닥에 등이 닿은 자세의 할아버지가 포함된 제 n 프레임(801)을 검출할 수 있다.
단계 S550에서, 위험 상황 감지 장치(1000)의 프로세서는 순차적으로 전달되는 이미지 프레임에서 검출된 객체의 자세가 기 정의된 자세(예컨대, 누워있는 자세)와 유사한지 판단할 수 있다. 기 정의된 자세는 객체가 매칭된 그룹의 세팅 정보에 따라 정의된 자세일 수 있다. 예를 들어 70대 노인의 세팅 정보에 따라 정의된 자세는 노인의 평균적인 체형, 성별, 병변에 따라 누운 자세, 낙상 시의 자세 등을 고려하여 정의될 수 있다.
만일, 검출되는 객체의 자세가 기 정의된 자세와 유사하지 않은 경우, 위험 상황 감지 장치(1000)는 단계 S530으로 돌아가서 동적 비전 센서(1100)를 통해 다음 이미지 프레임을 획득할 수 있다. 반면, 검출된 객체의 자세가 기 정의된 자세와 유사한 경우, 위험 상황 감지 장치(1000)는 객체의 낙상 여부를 정확히 판단하기 위해 단계 S570을 수행할 수 있다.
예를 들어, 위험 상황 감지 장치(1000)의 프로세서는 제 n-3 프레임(504)이 입력되는 경우, 제 n-3 프레임(504)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S530으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n-2 프레임(503)을 획득할 수 있다. 위험 상황 감지 장치(1000)의 프로세서는 제 n-2 프레임(503)이 입력된 경우, 제 n-2 프레임(503)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S530으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n-1 프레임(502)을 획득할 수 있다. 위험 상황 감지 장치(1000)의 프로세서는 제 n-1 프레임(502)이 입력된 경우, 제 n-1 프레임(502)에 포함된 객체의 자세가 누어있는 자세가 아니므로, 단계 S530으로 돌아가서, 동적 비전 센서(1100)을 통해 제 n 프레임(501)을 획득할 수 있다.
위험 상황 감지 장치(1000)의 프로세서는 제 n 프레임(501)이 입력되는 경우 제 n 프레임(501)에 포함된 객체의 자세가 누어있는 자세이므로, 낙상 여부를 정확히 판단하기 위해 단계 S580으로 진행할 수 있다.
단계 S580에서, 위험 상황 감지 장치(1000)는, 모션 모델을 이용하여 움직임 변화를 검출하고, 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한지 판단할 수 있다.
일 실시예에 의하면, 모션 모델은 복수의 이미지(예컨대, 동영상)를 분석하여 객체의 움직임 패턴을 검출하고, 검출된 객체의 움직임 패턴이 낙상을 나타내는 움직임 패턴과 유사한지 판단하도록 학습된 모델일 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 단계 S550 및 단계 S560에서 누어있는 자세의 객체가 포함된 제 n 프레임(501)이 검출되었으므로, 모션 모델을 이용하여, 제 n 프레임(501)과 관련된 일련의 이미지들(예컨대, 제 n-3 프레임(504), 제 n-2 프레임(503), 제 n-1 프레임(502), n 프레임(501))을 분석할 수 있다.
위험 상황 감지 장치(1000)는 일련의 이미지들(예컨대, 제 n-3 프레임(504), 제 n-2 프레임(503), 제 n-1 프레임(502), 제 n 프레임(501))을 분석하여, 할아버지가 욕실바닥에 서 있다가(예컨대, 제 n-3 프레임(504)) 미끄러지면서(예컨대, 제 n-2 프레임(5803)) 엉덩이가 바닥에 닿은 후(예컨대, 제 n-1 프레임(502)) 등과 머리가 욕실 바닥에 닿는(제 n 프레임(501)) 움직임 패턴을 검출할 수 있다. 이때, 위험 상황 감지 장치(1000)는 검출된 할아버지의 움직임 패턴이 기 학습된 낙상을 나타내는 움직임 패턴과 유사하다고 판단할 수 있다.
단계 S580에서, 위험 상황 감지 장치(1000)는 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사하지 않은 경우, 단계 S530으로 돌아가서 동적 비전 센서(1100)를 통해 다음 이미지를 획득할 수 있다. 반면, 위험 상황 감지 장치(1000)는 검출된 움직임 변화가 낙상을 나타내는 움직임 변화와 유사한 경우, 객체의 상태를 낙상 상태로 결정할 수 있다.
단계 S590에서, 위험 상황 감지 장치(1000)는, 객체의 상태가 낙상 상태로 결정된 경우, 낙상 상태의 위험도를 분석할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 객체가 어떤 자세로 넘어졌는지, 넘어진 후 계속 움직임이 없는지 등의 정보를 이용하여, 낙상 상태의 위험도를 분석할 수 있다. 일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 객체가 넘어진 주변 환경 정보(예컨대, 객체가 넘어진 곳에 어떤 물체가 있는지, 바닥의 재질이 어떤 것인지 등) 및 객체가 넘어진 시간(낮, 밤, 새벽 등)을 이용하여, 낙상 상태의 위험도를 분석할 수 있다.
일반적으로 모션 모델(Motion Model)은 여러 장의 이미지를 누적(예컨대, N images stacking)해서 처리하기 때문에 이미지 한 장을 처리하는 외형 모델(Appearance Model)에 비해서 N 배 시간이 오래 걸린다. 그런데, 일 실시예에 따른 위험 상황 감지 장치(1000)는, 외형 모델(Appearance Model)로 바닥에 몸을 가까이 붙인 장면을 인식했을 때만 모션 모델(Motion Model)을 동작하게 되므로, 낙상 감지를 위한 계산 리소스(computation resource)를 효율적으로 사용할 수 있다.
도 6은 일 실시예에 따른 낙상 상태의 위험도를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S610에서, 위험 상황 감지 장치(1000)는, 객체의 상태가 낙상 상태로 판단된 경우, 동적 비전 센서(1100)를 이용하여 주변 이미지를 획득할 수 있다.
단계 S620에서, 위험 상황 감지 장치(1000)는 주변 이미지를 이용하여 객체 주변의 환경 정보, 객체의 낙상 형태(type) 정보, 객체의 움직임 정보 또는 낙상 상태로 판단한 시간 정보를 획득할 수 있다.
일 실시예에 의하여, 위험 상황 감지 장치(1000)는 서버, 외부 카메라, 주변 액세서리 및 외부 디바이스로부터 객체의 주변의 환경 정보를 획득할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)가 AI 스피커에 결합된 형태인 경우, AI 스피커의 GPS 센서를 이용하여 위험 상황 감지 장치(1000)의 위치 정보를 획득할 수 있다. 또한, 위험 상황 감지 장치(1000)가 침실 벽에 고정되어 설치된 경우, 설치된 위치, 설치된 장소의 특징, 침실의 가구 배치 등을 사용자로부터 입력받을 수 있다. 객체 주변의 환경 정보는, 객체가 낙상한 곳 주변의 객체에 관한 정보(예컨대, 사용자가 넘어진 곳에 존재하는 위험한 물체에 관한 정보, 사용자와 함께 넘어진 물건에 관한 정보 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 객체의 낙상 형태 정보는, 객체가 어떤 자세로 넘어졌는지에 관한 정보일 수 있다. 예를 들어, 객체의 낙상 형태 정보는 머리 또는 얼굴이 바닥에 닿았는지에 관한 정보, 팔이나 다리가 꺾였는지에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
객체의 움직임 정보는 객체의 상태가 낙상 상태로 결정된 이후의 객체의 움직임에 관한 정보일 수 있다. 예를 들어, 객체의 움직임 정보는 움직임 변화 값, 움직임 변화 값이 임계값 미만으로 유지되는 총 시간 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
낙상 상태로 판단한 시간 정보는 객체가 어떤 시간대에 넘어졌는지에 관한 정보일 수 있다. 예를 들어, 밤 시간에 낙상한 것으로 판단한 경우 주변의 도움이 부족할 수 있어 심각한 상황이 초래될 수 있는 바, 낙상 시의 시간 정보를 수집하도록 한다.
단계 S630에서, 위험 상황 감지 장치(1000)는 그룹의 세팅 정보와 주변 이미지로부터 획득된 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도는 낙상에 따른 객체의 위험의 정도를 의미할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체 주변의 환경 정보를 이용하여, 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 객체가 낙상 곳에 돌기(protrusion)가 있는 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정하거나, 위험도 레벨을 상향 조정할 수 있다. 또한, 객체가 낙상한 곳의 바닥의 재질이 물이 있는 미끄러운 재질인 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정하거나 위험도 레벨을 상향 조정할 수 있다.
또한, 일 실시예에 의하여 위험 상황 감지 장치(1000)는 낙상 상태의 시간 정보를 이용하여, 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, am 12:00~ 5:00 시간대에 낙상이 발생한 경우, 낙상 상태의 위험도를 높게 결정하거나, 위험도 레벨을 상향 조정할 수 있다.
또한, 위험 상황 감지 장치(1000)는 그룹의 세팅 정보에 기초하여 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 20대가 털석 앉은 모습과 70대가 천천히 앉듯 주저앉는 모습의 위험성은 다르기 때문에, 객체가 매칭된 그룹의 세팅 정보에 기초하여 보다 정확하게 위험 상황을 판단할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체의 낙상 형태 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 객체가 낙상할 때 머리부터 바닥에 닿은 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다. 또는, 객체가 낙상할 때 다리가 뒤틀린 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체의 움직임 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 일 실시예에 의하면, 일정 시간 동안, 객체의 움직임이 임계 값보다 작은 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도 레벨을 상향 조정할 수 있다. 예를 들어, 객체가 낙상으로 판단된 이후 5분 이상 움직임이 거의 없는 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 3단계 상향 조정할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 객체 주변의 환경 정보, 객체의 낙상 형태 정보, 객체의 움직임 정보 및 낙상 상태로 판단된 시간 정보 중 적어도 둘 이상의 정보를 조합하여, 낙상 상태의 위험도를 결정할 수도 있다.
한편, 일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 객체의 개인적인 정보(예컨대, 연령, 신체 활동 능력, 질환 등)를 고려하여, 낙상 상태의 위험도를 결정할 수도 있다. 이때 개인적인 정보는 사용자의 모바일 장치로부터 획득하거나, 사용자로부터 직접 입력받거나, DVS를 통한 분석을 통해 획득할 수 있다. 예를 들어, 객체가 10살의 건강한 학생인 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도 가중치를 '-3'으로 결정할 수 있다. 반면, 객체가 거동이 불편하고, 고혈압을 가지는 80세의 할아버지인 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도 가중치를 '+5'로 결정할 수 있다.
단계 S640 및 단계 S650에서, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도가 임계 값보다 큰 경우, 경고 메시지를 외부 디바이스로 전송할 수 있다.
예를 들어, 위험 상황 감지 장치(1000)는, 객체가 낙상한 상태라는 정보, 객체의 주변 환경 정보, 객체의 움직임이 임계 값 미만으로 유지된 시간 정보 등을 포함하는 경고 메시지(예컨대, 제 1 사용자가 계단에서 넘어진 상태이며, 2분 동안 움직이지 못하고 있음)를 기 설정된 외부 디바이스(예컨대, 가족의 디바이스, 의료 기관 서버, 긴급 구조 요청 서버 등)로 전송할 수 있다.
도 7은 일 실시예에 따른 실내에 설치된 DVS 설치 위치의 주변 환경 정보의 위험도를 설정하는 동작을 설명하기 위한 순서도이다.
도 7을 참조하면, 위험 상황 감지 장치(1000)는 집 내부에 설치될 수 있다. 위험 상황 감지 장치(1000)는 계단 영역(710)의 위험도 레벨은 'danger' 로 지정하고, 거실 바닥(710)의 위험도 레벨은 'normal'로 지정한 낙상 위험도 맵(600)을 생성할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 낙상 발생 시, 낙상 위험도 맵(600)을 고려하여, 낙상에 따른 위험도를 신속히 결정할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는, 계단 영역(710)에서 낙상이 발생한 경우, 낙상 위험도를 두 단계 상향 조정할 수 있다.
도 8은 일 실시예에 따른 실외에 설치된 DVS 설치 위치의 주변 환경 정보의 위험도를 설정하는 동작을 설명하기 위한 순서도이다.
도 8을 참조하면, 위험 상황 감지 장치(1000)는 실외, 예를 들어 턱이 높은 보도블럭을 촬영하도록 설치될 수 있다. 위험 상황 감지 장치(1000)는 촬영하고 있는 주변 환경 및 시간에 따라 위험도를 설정할 수 있다. 위험 상황 감지 장치(1000)는 도로와 인도를 이어주는 보도블록(810)은 위험도 레벨은 'danger' 로 지정하고, 인도(710)의 위험도 레벨은 'normal'로 지정한 낙상 위험도 맵(800)을 생성할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는, 낙상 발생 시, 낙상 위험도 맵(800)을 고려하여, 낙상에 따른 위험도를 신속히 결정할 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는, 보도블럭(810)에서 낙상이 발생한 경우, 낙상 위험도를 두 단계 상향 조정할 수 있다. 또한, 시간대에 따라 낙상이 발생한 경우 위험도를 조정할 수 있다. 예를 들어, 새벽 3시에서 4시 사이에 낙상이 발생한 경우 낙상 위험도를 세 단계 상향 조정할 수 있다.
도 9는 일 실시예에 따른 위험도 레벨을 결정하는 동작을 설명하기 위한 도면이다.
도 9에서는 사용자가 사무실에서 낙상한 경우를 예로 들어 설명하기로 한다.
도 9의 900-1을 참조하면, 위험 상황 감지 장치(1000)는 외형 모델과 모션 모델을 이용하여, 사용자(901)가 낙상한 상태라고 판단할 수 있다. 위험 상황 감지 장치(1000)는 움직이는 동적 비전 센서(1100)를 통해 획득된 적어도 하나의 제 1 이미지(910)를 분석할 수 있다. 위험 상황 감지 장치(1000)는, 외부 카메라를 통해 획득한 이미지와 함께 적어도 하나의 제 1 이미지(910)을 분석할 수 있다. 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)가 위치한 곳의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지 또는 상세 정보를 획득할 수 있다. 위험 상황 감지 장치(1000)는 서버, 외부 카메라, 사용자 입력, 기타 센서 등을 통해 주변 환경 정보를 획득할 수 있다.
일 실시예에 의하여, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 통해 획득한 이미지를 통해넘어진 사용자(901)의 움직임이 없다는 것을 인식할 수 있다. 또한, 위험 상황 감지 장치(1000)는 외부로부터 획득한 상세 이미지의 분석을 통해 사용자(901)가 낙상한 바닥의 재질은 일반적인 장판의 재질이고, 사용자(901)가 구두를 신고 있고, 사용자(901)가 책상과는 1m 이상 떨어져 있고, 책상과 의자(902)는 쓰러지지 않았다고 판단할 수 있다. 위험 상황 감지 장치(1000)는 적어도 하나의 제 1이미지(910)을 분석한 결과 획득된 정보를 전체적으로 이용하여, 낙상 상태의 위험도 레벨을 '10'으로 결정할 수 있다.
도 9의 900-2를 참조하면, 위험 상황 감지 장치(1000)는 외형 모델과 모션 모델을 이용하여, 사용자(901)가 낙상한 상태라고 판단할 수 있다.
제 1 이미지(901)에 비해 제 2 이미지(920)에서는 의자(902)가 넘어져 있을 수 있다. 위험 상황 감지 장치(1000)는 사용자(901)만 넘어진 경우에 비해 사용자(901)와 함께 의자(902)가 넘어간 경우, 사용자(901)의 상태가 더 위험하다고 판단할 수 있다. 따라서, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도 레벨을 '20'으로 결정할 수 있다.
도 10은 일 실시예에 따른 웨어러블 디바이스에서 측정되는 생체 정보를 이용하여 낙상 상태의 위험도를 분석하는 시스템을 설명하기 위한 도면이다.
낙상 상태의 위험도를 분석하는 시스템은 위험 상황 감지 장치(1000), 서버(2000), 및 웨어러블 디바이스(3000)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 위험 상황 감지 장치(1000)가 웨어러블 디바이스(3000)와 직접 통신하는 경우, 낙상 상태의 위험도를 분석하는 시스템은 서버(2000)를 포함하지 않을 수도 있다.
웨어러블 디바이스(3000)는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체의 상태가 낙상 상태로 판단된 경우, 객체가 착용한 웨어러블 디바이스(3000)에서 측정된 객체의 생체 정보를 획득할 수 있다. 이때, 위험 상황 감지 장치(1000)는 웨어러블 디바이스(3000)로부터 직접 생체 정보를 수신할 수도 있고, 서버(2000)를 통해 생체 정보를 수신할 수도 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 객체의 생체 정보를 고려하여, 낙상 상태의 위험도를 결정할 수 있다. 예를 들어, 심박수가 임계 값 미만이거나, 혈압이 임계 값 이상이거나, 호흡수가 임계 값 미만이거나, 체온이 임계 범위를 벗어나는 경우, 또는 현재 시간이 밤인 경우, 위험 상황 감지 장치(1000)는 낙상 상태의 위험도를 높게 결정할 수 있다.
일 실시예에 의하면, 서버(2000)는 위험 상황 감지 장치(1000)로부터 객체의 상태가 낙상 상태라는 낙상 정보를 수신하고, 웨어러블 디바이스(3000)로부터 객체의 생체 정보(예컨대, 혈압 정보, 혈당 정보, 심박수 정보, 체온 정보 등)를 수신할 수 있다. 이 경우, 서버(2000)는 낙상 정보 및 생체 정보를 이용하여 객체의 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도가 임계 값보다 큰 경우, 서버(2000)는 외부 디바이스(예컨대, 의료 기관 서버)로 경고 메시지를 송신할 수 있다. 일 실시예에 의하면, 서버(2000)는 낙상 상태의 위험도에 관한 정보를 위험 상황 감지 장치(1000) 또는 웨어러블 디바이스(3000)로 전송할 수도 있다.
일 실시예에 의하면, 웨어러블 디바이스(3000)는 위험 상황 감지 장치(1000) 또는 서버(2000)로부터 객체의 상태가 낙상 상태라는 낙상 정보를 수신할 수 있다. 이때, 웨어러블 디바이스(3000)는, 웨어러블 디바이스(3000)에서 측정된 객체의 생체 정보를 이용하여, 객체의 낙상 상태의 위험도를 결정할 수 있다. 낙상 상태의 위험도가 임계 값보다 큰 경우, 웨어러블 디바이스(3000)는 외부 디바이스(예컨대, 의료 기관 서버)로 경고 메시지를 송신할 수 있다. 또한, 일 실시예에 의하면, 웨어러블 디바이스(3000)는 낙상 상태의 위험도에 관한 정보를 위험 상황 감지 장치(1000) 또는 서버(2000)로 전송할 수도 있다.
도 11은 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 방법을 설명하기 위한 순서도이다.
단계 S1110에서, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
단계 S1120에서, 위험 상황 감지 장치(1000)는, 동적 비전 센서(1100)가 설치된 공간의 사생활 레벨(privacy level)에 관한 정보를 획득할 수 있다.
일 실시예에 의하면, 위험 상황 감지 장치(1000)는 사생활 레벨을 동적 비전 센서(1100)가 설치될 때 사용자로부터 입력 받을 수 있다. 일 실시예에 의하면, 위험 상황 감지 장치(1000)는 서버(2000)로부터 기 정의된 사생활 레벨에 관한 정보를 획득할 수도 있다.
예를 들어, 사생활 레벨은 욕실이나 화장실의 경우 매우 높게 설정될 수 있으며, 드레스 룸이나 침실의 경우 상대적으로 높게 설정될 수 있고, 거실이나 부엌, 계단의 경우 상대적으로 낮게 설정될 수 있다.
단계 S1130에서, 위험 상황 감지 장치(1000)는 사생활 레벨(privacy level)에 따라, 적어도 하나의 이미지에 포함된 객체의 선명도를 조절할 수 있다. 예를 들어, 적어도 하나의 이미지가 획득된 공간의 사생활 레벨이 높을수록 객체의 선명도는 낮게 조절될 수 있다. 반면, 적어도 하나의 이미지가 획득된 공간의 사생활 레벨이 낮을수록 객체의 선명도는 높게 조절될 수 있다.
도 12는 일 실시예에 따른 사생활 레벨에 따라 객체의 선명도를 조절하는 동작을 설명하기 위한 도면이다.
도 12의 1210을 참조하면, 제 1 사용자(1201)는 부엌에서 낙상할 수 있다. 이때, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 낙상하는 제 1 사용자(1201)의 이미지(1211)를 획득할 수 있다. 위험 상황 감지 장치(1000)는 제 1 사용자(1201)가 위치한 부엌의 사생활 레벨을 확인하고, 확인된 사생활 레벨에 대응하는 선명도로 제 1 사용자(1201)의 윤곽선을 표현할 수 있다. 예를 들어, 부엌의 사생활 레벨은 일반적인 레벨인 '1'이므로, 위험 상황 감지 장치(1000)는 제 1 사용자(1201)의 윤곽선을 일반적인 선명도로 표현할 수 있다.
도 12의 1220을 참조하면, 제 2 사용자(1202)는 화장실에서 낙상할 수 있다. 이때, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100)를 이용하여 낙상하는 제 2 사용자(1202)의 이미지(1212)를 획득할 수 있다. 위험 상황 감지 장치(1000)는 제 2 사용자(1202)가 위치한 화장실의 사생활 레벨을 확인하고, 확인된 사생활 레벨에 대응하는 선명도로 제 2 사용자(1202)의 윤곽선을 표현할 수 있다. 예를 들어, 화장실의 사생활 레벨은 매우 높은 레벨인 '3'이므로, 위험 상황 감지 장치(1000)는 제 2 사용자(1202)의 윤곽선을 낮은 선명도로 표현할 수 있다.
도 13은 일 실시예에 따른 낙상 감지 장치의 구성을 설명하기 위한 블록 구성도이다.
도 22에 도시된 바와 같이, 일 실시예에 따른 위험 상황 감지 장치(1000)는, 동적 비전 센서(1100), 프로세서(1300)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 위험 상황 감지 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 위험 상황 감지 장치(1000)는 구현될 수 있다. 예를 들어, 위험 상황 감지 장치(1000)는 동적 비전 센서(1100), 프로세서(1300) 이외에 사용자 인터페이스(1400), 통신 인터페이스(1500), 출력부(1600), 메모리(1700)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
동적 비전 센서(1100)는 사람의 홍채가 정보를 받아들이는 방식을 채택한 이미지 센서로, 움직이는 객체에 대한 이미지 데이터를 획득할 수 있는 센서이다. 예를 들어, 동적 비전 센서(1100)는 픽셀 단위에서 움직임에 의해 국소적인 변화가 있을 때에만 이미지 데이터를 프로세서(1300)로 전송하게 된다. 즉, 동적 비전 센서(1100)는 움직이는 이벤트가 발생할 때만 이미지 데이터를 프로세서(1300)에 전송할 수 있다. 따라서, 동적 비전 센서(1100)는 객체가 멈춰 있는 경우에 데이터 처리를 하지 않고, 객체가 움직이는 경우에만 움직이는 객체를 캡쳐하여 데이터를 프로세서(1300)로 전송할 수 있다.
프로세서(1300)는 통상적으로 위험 상황 감지 장치(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 동적 비전 센서(1100), 진동기(1200), 사용자 인터페이스(1400), 통신 인터페이스(1500), 출력부(1600)를 제어할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 동적 비전 센서(1100)에서 획득된 적어도 하나의 이미지를 분석하여 객체의 프로파일 정보를 분석할 수 있다. 프로세서(1300)는 분석된 객체의 프로파일 정보와 가장 부합하는 그룹 세팅 정보를 검색할 수 있다. 프로세서(1300)는 객체와 그룹을 매칭시킬 수 있다. 프로세서(1300)는 매칭된 그룹의 세팅 정보에 기초하여 객체의 위험 상황을 판단할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 동적 비전 센서(1100)에서 획득된 적어도 하나의 이미지 중에서 기 정의된 자세의 객체를 포함하는 이미지를 검출할 수 있다. 기 정의된 자세는 낙상과 관련된 자세일 수 있다. 예를 들어, 기 정의된 자세는 신체의 일부(예컨대, 등, 배, 머리 등) 또는 전부가 바닥에 닿는 자세일 수 있다. 예를 들어, 프로세서(1300)는, 객체의 움직임이 감지되는 경우, 적어도 하나의 이미지에 포함된 객체의 자세와 기 정의된 자세를 비교하여, 기 정의된 자세의 객체를 포함하는 이미지를 검출할 수 있다.
프로세서(1300)는 객체의 제 1 움직임 변화에 대한 정보에 기초하여, 객체의 상태가 낙상 상태인지 결정할 수 있다. 예를 들어, 프로세서(1300)는, 객체의 제 1 움직임 변화와 기 저장된 낙상을 나타내는 제 2 움직임 변화 사이의 유사도가 임계 값보다 큰 경우, 객체의 상태를 낙상 상태로 결정할 수 있다. 이때, 기 저장된 낙상은 그룹의 세팅 정보에 따라 다르게 설정된 값일 수 있다.
프로세서(1300)는, 객체 주변의 환경 정보 또는 객체의 낙상 형태(type) 정보를 획득하고, 시간 및 공간 환경 정보 또는 낙상 형태 정보를 이용하여 낙상 상태의 위험도를 결정할 수 있다. 일 실시예에 의하면, 프로세서(1300)는, 낙상 상태의 위험도가 임계 값보다 큰 경우, 통신 인터페이스(1500)를 통해 경고 메시지를 외부 디바이스로 전송할 수 있다.
프로세서(1300)는, 객체의 상태가 낙상 상태로 결정된 후 객체의 움직임을 검출하고, 일정 시간 동안 객체의 움직임이 임계 값보다 작은 경우, 낙상 상태의 위험도 레벨을 상향 조정할 수 있다.
프로세서(1300)는, 메모리(1700)에 기 저장된 딥러닝 모델을 이용하거나 외부로부터 수신된 딥러닝 모델을 이용하여, 객체의 낙상을 감지할 수 있다. 또한, 프로세서(1300)는 낙상을 감지하기 위한 딥러닝 모델을 직접 생성할 수도 있다. 프로세서(1300)가 직접 딥러닝 모델을 생성하는 동작에 대해서는 도 21 내지 도 24를 참조하여 후에 자세히 살펴보기로 한다.
사용자 인터페이스(1400)는, 사용자가 위험 상황 감지 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 인터페이스(1400)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 인터페이스(1400)는, 동적 비전 센서(1100)가 설치된 공간의 사생활 레벨을 설정하는 입력을 수신할 수 있다. 또는, 사용자 인터페이스(1400)는 동적 비전 센서(1100)를 통해 획득되는 이미지의 선명도를 설정하는 입력을 수신할 수도 있다. 또한, 사용자 인터페이스(1400)는 사용자 프로파일을 직접 입력하는 사용자 입력을 수신할 수 있다.
통신 인터페이스(1500)는, 위험 상황 감지 장치(1000)와 서버(2000), 위험 상황 감지 장치(1000)와 웨어러블 디바이스(3000), 위험 상황 감지 장치(1000)와 모바일 단말 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1500)는, 근거리 통신부, 이동 통신부 등을 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이때, 이동 통신부는, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications) 중 적어도 하나를 사용할 수 있다.
출력부(1600)는, 비디오 신호, 오디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부와 음향 출력부, 진동 모터 등이 포함될 수 있다.
디스플레이부는 위험 상황 감지 장치(1000)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부는, 동적 비전 센서(1100)를 통해 획득되는 이미지, 프리뷰 이미지, 동영상 파일 목록, 동영상 재생 화면 등을 표시할 수 있다.
디스플레이부와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
음향 출력부는 통신 인터페이스(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부는 위험 상황 감지 장치(1000)에서 수행되는 기능(예를 들어, 경고 메시지 생성)과 관련된 음향 신호를 출력한다. 음향 출력부에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 정지 영상, 동영상 등)을 저장할 수도 있다.
메모리(1700)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 위험 상황 감지 장치(1000)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
또한, 위험 상황 감지 장치(1000)는 인터넷(internet)상에서 메모리(1700)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 그룹 정보(1705), 외형 모델(1710), 모션 모델(1720), 보상 모델(1730) 등으로 분류될 수 있다. 일 실시예에 의하면, 메모리(1700)는 낙상 위험도 맵(600)을 저장할 수도 있다.
그룹 정보(1705)는 사용자 프로파일에 따라 분류된 복수개의 그룹에 대한 정보를 저장할 수 있다. 복수개의 그룹은 객체의 위험상황을 판단하기 위한 기준 정보로서 사용되는 정보를 포함하고 있다. 복수개의 그룹은 사용자의 성별, 연령, 병변, 보행속도, 보폭 등 개인 식별 정보를 기준으로 분류될 수 있다.
외형 모델(1710)은 정지 영상을 하나씩 분석하여, 정지 영상에 포함된 객체의 형상(body shape)이나 포즈(pose)를 검출하고, 검출된 객체의 형상이나 포즈가 낙상과 관련하여 기 정의된 자세와 유사한지 판단하도록 학습된 모델일 수 있다.
모션 모델(1720)은 복수의 이미지(예컨대, 동영상)를 분석하여 객체의 움직임 패턴을 검출하고, 검출된 객체의 움직임 패턴이 낙상을 나타내는 움직임 패턴과 유사한지 판단하도록 학습된 모델일 수 있다. 일반적으로 모션 모델(1720)은 여러 장의 이미지를 누적(예컨대, N images stacking)해서 처리하기 때문에 이미지 한 장을 처리하는 외형 모델(1710)에 비해서 N 배 시간이 오래 걸린다.
보상 모델(1730)는 동적 비전 센서(1100)를 통해 획득된 이미지에 포함된 객체의 크기, 형상, 또는 폐색(occlusion) 등을 보상하기 위해 학습된 모델일 수 있다.
낙상 위험도 맵(1740)은 낙상이 발생하는 경우에 위험할 수 있는 영역을 표시한 지도일 수 있다.
도 14는 일 실시예에 따른 낙상 감지 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 14를 참조하면, 서버(2000)는 낙상 상황 판단을 위한 기준을 학습할 수 있으며, 위험 상황 감지 장치(1000)는 서버(2000)에 의한 학습 결과에 기초하여 낙상 상황을 판단할 수 있다.
서버(20000의 그룹 생성부(2310)은 사용자 프로파일에 기초하여 복수의 그룹을 생성할 수 있다. 복수의 그룹은 각각 그룹 세팅 정보를 포함할 수 있다. 그룹 세팅 정보는 사용자 프로파일에 의하여 개인화된 모델에 대한 정보를 포함할 수 있다. 그룹 세팅 정보는 이후 위험 상황 감지 장치(1000)에서 검출된 객체의 위험 상황을 판단하기 위한 기준 정보로 사용될 수 있다.
위험 상황 감지 장치(1000)의 그룹 선택부(1320-1)는 객체의 움직임 정보를 기초로 복수개의 그룹 중 객체의 정보와 가장 유사한 그룹을 선택할 수 있다.
이 경우, 서버(2000)의 모델 학습부(2340)는 데이터 학습부의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 낙상 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 낙상 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다.
또한, 위험 상황 감지 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 상황을 판단할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 상황에 관한 정보를 서버(2000)로부터 수신할 수 있다.
또는, 위험 상황 감지 장치(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 낙상 상황을 판단할 수 있다. 이 경우, 위험 상황 감지 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 낙상 상황을 판단할 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 동적 비전 센서(DVS)를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계;
    상기 적어도 하나의 이미지를 분석하여, 상기 객체를 사용자의 활동속성에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계;
    상기 적어도 하나의 이미지 중에서, 상기 매칭된 그룹의 세팅 정보에 따라 기 정의된 자세와 대응하는 상기 객체의 자세가 포함된 객체 이미지를 검출하는 단계;및
    상기 매칭된 그룹의 세팅 정보에 기초하여, 상기 객체 이미지에 포함된 상기 객체의 상황이 위험 상황인지 결정하는 단계;를 포함하고,
    상기 매칭된 그룹의 세팅 정보는, 상기 매칭된 그룹의 사용자의 프로파일 정보에 기초하여 결정되며,
    상기 객체를 복수 개의 그룹 중 어느 하나의 그룹에 매칭하는 단계는,
    외부 장치로부터 상기 객체의 활동속성을 포함하는 프로파일 정보를 획득하는 단계;
    상기 객체의 활동속성과 가장 유사한 세팅 정보를 포함하는 그룹을 결정하는 단계; 및
    상기 객체와 상기 그룹을 매칭하는 단계를 포함하고,
    상기 사용자의 프로파일 정보는,
    상기 사용자의 특성을 포함하는 정보로서, 상기 사용자를 식별하기 위한 정보인 것을 특징으로 하는, 위험 상황 감지 방법.
  2. 제 1 항에 있어서,
    상기 위험 상황 감지 방법은,
    유사한 활동속성을 갖는 복수의 사용자에 대한 프로파일 정보를 이용하여 그룹을 생성하는 단계;및
    상기 그룹에 매칭되는 객체의 위험 상황을 판단하기 위한 세팅 정보를 결정하는 단계;를 더 포함하는, 위험 상황 감지 방법.
  3. 제 2 항에 있어서,
    상기 프로파일 정보는 성별, 연령, 병변, 평소 활동량, 보행속도, 활동 패턴, 보폭, 보조기구 장착여부 등을 포함하고,
    상기 세팅 정보는 상기 그룹을 생성하기 위하여 이용된 복수의 사용자에 대한 프로파일 정보의 평균 정보인, 위험 상황 감지 방법.
  4. 제 1 항에 있어서,
    상기 객체를 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계는,
    인공지능(AI) 엔진에 의해 구동되는 학습 네트워크 모델에 의해 수행되는, 위험 상황 감지 방법.
  5. 제 1 항에 있어서,
    상기 위험 상황 감지 방법은,
    상기 동적 비전 센서를 이용하여 획득한 상기 객체의 적어도 하나의 이미지를 분석하여 상기 객체가 매칭된 그룹의 세팅 정보를 갱신하는 단계;를 더 포함하는, 위험 상황 감지 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 객체의 상황이 위험 상황인지 결정하는 단계는,
    상기 객체의 이미지를 포함하는 상기 객체에 대한 복수의 이미지를 분석하여 시간의 변화에 따른 상기 객체의 움직임 변화에 대한 정보를 획득하는 단계; 및
    상기 객체의 움직임 변화에 대한 정보에 기초하여, 상기 객체의 상태가 낙상 상태인지 결정하는 단계;를 포함하는, 위험 상황 감지 방법.
  8. 제 1 항에 있어서,
    상기 위험 상황 감지 방법은,
    상기 객체의 상황이 위험 상황이라고 결정된 경우, 상기 객체가 매칭된 그룹의 세팅 정보에 기초하여 상기 객체의 위험도를 결정하는 단계;를 더 포함하는, 위험 상황 감지 방법.
  9. 제 8 항에 있어서, 상기 객체의 위험도를 결정하는 단계는,
    상기 객체의 적어도 하나의 이미지를 분석한 결과, 일정 시간 동안 상기 객체의 움직임이 임계 값보다 작은 경우, 상기 객체의 위험도 레벨을 상향 조정하는 단계를 포함하는, 위험 상황 감지 방법.
  10. 제 1 항에 있어서,
    상기 위험 상황 감지 방법은,
    상기 객체의 상황이 위험 상황이라고 결정된 경우, 상기 동적 비전 센서가 위치한 곳의 주변 환경 정보가 포함된 적어도 하나의 상세 이미지를 획득하는 단계; 및
    상기 적어도 하나의 상세 이미지를 분석하여, 상기 객체의 위험도를 결정하는 단계;를 더 포함하는, 위험 상황 감지 방법.
  11. 제 1 항에 있어서,
    상기 위험 상황 감지 방법은,
    상기 객체의 상황이 위험 상황이라고 결정된 경우, 상기 객체 이미지를 검출한 시간에 기초하여 상기 객체의 위험도를 결정하는, 위험 상황 감지 방법.
  12. 제 1 항에 있어서,
    상기 객체 이미지를 검출하는 단계는,
    상기 객체의 움직임 발생이 감지되는 경우, 상기 적어도 하나의 이미지에 포함된 상기 객체의 자세와 상기 기 정의된 자세를 비교하는 단계; 및
    상기 비교한 결과에 기초하여, 상기 객체 이미지를 검출하는 단계;를 포함하는, 위험 상황 감지 방법.
  13. 제 1 항에 있어서, 상기 적어도 하나의 이미지를 획득하는 단계는,
    상기 동적 비전 센서가 설치된 공간의 사생활 레벨(privacy level)에 따라, 상기 적어도 하나의 이미지에 포함된 상기 객체의 선명도를 조절하는 단계를 포함하는, 위험 상황 감지 방법.
  14. 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 동적 비전 센서(DVS);
    사용자의 활동속성에 따라 분류된 복수개의 그룹의 정보를 저장하는 메모리; 및
    상기 적어도 하나의 이미지를 분석하여, 상기 객체를 상기 복수개의 그룹 중 어느 하나의 그룹에 매칭하고, 상기 적어도 하나의 이미지 중에서 상기 매칭된 그룹의 세팅 정보에 따라 기 정의된 자세와 대응하는 상기 객체의 자세가 포함된 객체 이미지를 검출하고, 상기 매칭된 그룹의 세팅 정보에 기초하여, 상기 객체 이미지에 포함된 상기 객체의 상황이 위험 상황인지 결정하는 프로세서;를 포함하고, 상기 매칭된 그룹의 세팅 정보는, 상기 매칭된 그룹의 사용자의 프로파일 정보에 기초하여 결정되며,
    상기 프로세서는 상기 객체를 상기 복수 개의 그룹 중 어느 하나의 그룹에 매칭함에 있어서,
    외부 장치로부터 상기 객체의 활동속성을 포함하는 프로파일 정보를 획득하고, 상기 객체의 활동속성과 가장 유사한 세팅 정보를 갖는 그룹을 결정하고, 상기 객체와 상기 그룹을 매칭하고,
    상기 사용자의 프로파일 정보는,
    상기 사용자의 특성을 포함하는 정보로서, 상기 사용자를 식별하기 위한 정보인 것을 특징으로 하는, 위험 상황 감지 장치.
  15. 제 14 항에 있어서, 상기 프로세서는,
    유사한 활동 속성을 갖는 복수의 사용자에 대한 프로파일 정보를 이용하여 그룹을 생성하고, 상기 그룹에 매칭되는 객체의 위험 상황을 판단하기 위한 세팅 정보를 결정하는, 위험 상황 감지 장치.
  16. 제 15 항에 있어서,
    상기 프로파일 정보는 성별, 연령, 병변, 평소 활동량, 보행속도, 활동 패턴, 보폭, 보조기구 장착여부 등을 포함하고,
    상기 세팅 정보는 상기 그룹을 생성하기 위하여 이용된 복수의 사용자에 대한 프로파일 정보의 평균 정보인, 위험 상황 감지 장치.
  17. 제 14 항에 있어서, 상기 프로세서는,
    인공지능 엔진에 의해 구동되는 학습 네트워크 모델에 의하여 상기 객체를 상기 복수개의 그룹 중 어느 하나의 그룹에 매칭하는, 위험 상황 감지 장치.
  18. 제 14 항에 있어서, 상기 프로세서는,
    상기 동적 비전 센서를 이용하여 획득한 상기 객체의 모든 이미지를 분석하여 상기 객체가 매칭된 그룹의 세팅 정보를 갱신하는, 위험 상황 감지 장치.
  19. 삭제
  20. 컴퓨터로 읽을 수 있는 저장 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 저장 매체는,
    동적 비전 센서(DVS)를 이용하여, 움직임이 발생한 객체를 포함하는 적어도 하나의 이미지를 획득하는 단계;
    상기 적어도 하나의 이미지를 분석하여, 상기 객체를 사용자의 활동속성에 따라 분류된 복수개의 그룹 중 어느 하나의 그룹에 매칭하는 단계;
    상기 적어도 하나의 이미지 중에서, 상기 매칭된 그룹의 세팅 정보에 따라 기 정의된 자세와 대응하는 상기 객체의 자세가 포함된 객체 이미지를 검출하는 단계 - 상기 매칭된 그룹의 세팅 정보는, 상기 매칭된 그룹의 사용자의 프로파일 정보에 기초하여 결정됨 -;및
    상기 매칭된 그룹의 세팅 정보에 기초하여, 상기 객체 이미지에 포함된 상기 객체의 상황이 위험 상황인지 결정하는 단계;를 수행하는 명령어들을 포함하며,
    상기 객체를 복수 개의 그룹 중 어느 하나의 그룹에 매칭하는 단계는,
    외부 장치로부터 상기 객체의 활동속성을 포함하는 프로파일 정보를 획득하는 단계;
    상기 객체의 활동속성과 가장 유사한 세팅 정보를 포함하는 그룹을 결정하는 단계; 및
    상기 객체와 상기 그룹을 매칭하는 단계를 포함하고,
    상기 사용자의 프로파일 정보는,
    상기 사용자의 특성을 포함하는 정보로서, 상기 사용자를 식별하기 위한 정보인 것을 특징으로 하는, 저장 매체에 저장된 컴퓨터 프로그램.
KR1020170125408A 2017-09-27 2017-09-27 위험 상황을 감지하는 방법 및 장치 KR102481883B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170125408A KR102481883B1 (ko) 2017-09-27 2017-09-27 위험 상황을 감지하는 방법 및 장치
US16/139,807 US11298049B2 (en) 2017-09-27 2018-09-24 Method and device for detecting dangerous situation
PCT/KR2018/011444 WO2019066502A1 (en) 2017-09-27 2018-09-27 METHOD AND SYSTEM FOR DETECTION OF A HAZARDOUS SITUATION
EP18860028.2A EP3676815A4 (en) 2017-09-27 2018-09-27 METHOD AND SYSTEM FOR DETECTION OF A HAZARDOUS SITUATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170125408A KR102481883B1 (ko) 2017-09-27 2017-09-27 위험 상황을 감지하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190036315A KR20190036315A (ko) 2019-04-04
KR102481883B1 true KR102481883B1 (ko) 2022-12-27

Family

ID=65806351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170125408A KR102481883B1 (ko) 2017-09-27 2017-09-27 위험 상황을 감지하는 방법 및 장치

Country Status (4)

Country Link
US (1) US11298049B2 (ko)
EP (1) EP3676815A4 (ko)
KR (1) KR102481883B1 (ko)
WO (1) WO2019066502A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080513B2 (en) * 2011-01-12 2021-08-03 Gary S. Shuster Video and still image data alteration to enhance privacy
US11213224B2 (en) 2018-03-19 2022-01-04 Electronic Caregiver, Inc. Consumer application for mobile assessment of functional capacity and falls risk
US11923058B2 (en) 2018-04-10 2024-03-05 Electronic Caregiver, Inc. Mobile system for the assessment of consumer medication compliance and provision of mobile caregiving
US11488724B2 (en) 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
EP3588458A1 (en) * 2018-06-29 2020-01-01 Koninklijke Philips N.V. A fall detection apparatus, a method of detecting a fall by a subject and a computer program product for implementing the method
TWI707249B (zh) * 2018-11-27 2020-10-11 美律實業股份有限公司 產生標籤資料的系統及方法
US11200429B1 (en) * 2018-12-28 2021-12-14 Zoox, Inc. Tracking objects using sensor data segmentations and/or representations
WO2020163180A1 (en) 2019-02-05 2020-08-13 Electronic Caregiver, Inc. 3d environment risks identification utilizing reinforced learning
US11113943B2 (en) * 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
US20220358822A1 (en) * 2019-07-01 2022-11-10 Sekisui House, Ltd. Emergency responding method, safety confirmation system, management device, space section, and method for controlling management device
KR20210031269A (ko) 2019-09-11 2021-03-19 삼성전자주식회사 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
KR102263807B1 (ko) * 2019-10-18 2021-06-10 건국대학교 산학협력단 유아 모니터링 방법 및 이를 수행하는 장치들
JP7407562B2 (ja) * 2019-11-05 2024-01-04 グローリー株式会社 危険行動予防装置、危険行動予防システム、危険行動予防方法及び危険行動予防プログラム
KR20210079823A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7403340B2 (ja) * 2020-02-17 2023-12-22 株式会社日立製作所 物体認識モデルの流用可否を判定するシステム。
US20210358202A1 (en) * 2020-05-13 2021-11-18 Electronic Caregiver, Inc. Room Labeling Drawing Interface for Activity Tracking and Detection
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
CN113392723A (zh) * 2021-05-25 2021-09-14 珠海市亿点科技有限公司 基于人工智能的无人机迫降区域筛选方法、装置及设备
CN113660455B (zh) * 2021-07-08 2023-04-07 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端
CN113792484B (zh) * 2021-09-07 2024-02-27 珠海格力电器股份有限公司 货物冲击姿态模型构建方法和平台
CN113780255B (zh) * 2021-11-12 2022-02-22 北京世纪好未来教育科技有限公司 危险评估方法、装置、设备及存储介质
CN116106855B (zh) * 2023-04-13 2023-07-18 中国科学技术大学 摔倒检测方法及摔倒检测装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773898B1 (ko) * 2017-02-16 2017-09-01 (주)하이디어 솔루션즈 보호객체 낙상 모니터링 시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
EP1976433B1 (en) * 2006-01-07 2011-03-09 Arthur Koblasz Using rfid to prevent or detect falls, wandering, and bed egress and medication errors
EP2118864B1 (en) * 2007-02-08 2014-07-30 Behavioral Recognition Systems, Inc. Behavioral recognition system
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
US8675920B2 (en) * 2011-04-04 2014-03-18 Alarm.Com Incorporated Fall detection and reporting technology
KR101394242B1 (ko) * 2011-09-23 2014-05-27 광주과학기술원 영상 감시 장치 및 영상 감시 방법
US10229489B1 (en) * 2012-10-16 2019-03-12 Ocuvera LLC Medical environment monitoring system
US9865176B2 (en) * 2012-12-07 2018-01-09 Koninklijke Philips N.V. Health monitoring system
KR20140106883A (ko) * 2013-02-27 2014-09-04 한국전자통신연구원 객체간 연관성 분석을 통한 위험 상황 분석 장치 및 방법
KR101438002B1 (ko) 2013-02-28 2014-09-16 계명대학교 산학협력단 낙상 방지 장치
US20150194034A1 (en) 2014-01-03 2015-07-09 Nebulys Technologies, Inc. Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
US20160009279A1 (en) 2014-07-10 2016-01-14 Khalifa University of Science, Technology & Research (KUSTAR) System and process for controlling a safe distance between moving vehicles
US11170626B2 (en) * 2015-09-17 2021-11-09 Luvozo Pbc Automated environment hazard detection
KR102411738B1 (ko) 2015-09-25 2022-06-21 삼성전자 주식회사 낙상 감지 장치 및 그 제어방법
WO2018026838A1 (en) * 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
JP2019535052A (ja) * 2016-08-24 2019-12-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法
CN110084089A (zh) * 2016-10-26 2019-08-02 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
JP6717235B2 (ja) * 2017-03-02 2020-07-01 オムロン株式会社 見守り支援システム及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773898B1 (ko) * 2017-02-16 2017-09-01 (주)하이디어 솔루션즈 보호객체 낙상 모니터링 시스템

Also Published As

Publication number Publication date
EP3676815A4 (en) 2020-10-14
WO2019066502A1 (en) 2019-04-04
US11298049B2 (en) 2022-04-12
EP3676815A1 (en) 2020-07-08
KR20190036315A (ko) 2019-04-04
US20190090786A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
KR102481883B1 (ko) 위험 상황을 감지하는 방법 및 장치
US11080891B2 (en) Method and system for detecting dangerous situation
US11819344B2 (en) Systems for automatic assessment of fall risk
US10335059B2 (en) Fall detection system and method
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
AU2014277079B2 (en) Fall detection system and method.
US20170352240A1 (en) Method and system for motion analysis and fall prevention
US20230000396A1 (en) Systems and methods for detecting movement
US20140243686A1 (en) Method and apparatus for detecting deterioration of health status
KR102338297B1 (ko) 사용자 상태를 판단하기 위한 시스템의 제어 방법, 장치 및 프로그램
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
CN107411753A (zh) 一种识别步态的可穿戴设备
US20230389880A1 (en) Non-obtrusive gait monitoring methods and systems for reducing risk of falling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
GRNT Written decision to grant