KR20210074717A - 영상분석 기반 1인 낙상 감지 시스템 및 방법 - Google Patents

Abstract

독거노인과 같은 1인 생활 가구의 낙상사고 여부를 파악하고, 사고 발생 시 이를 자동으로 등록된 보호자 또는 유관기관에게 통보할 수 있는 방법이 제공된다. 본 발명의 실시예에 따른 낙상 감지 방법은 낙상 감지 시스템이, 관찰 영역에서 객체를 감지하는 제1 감지단계; 낙상 감지 시스템이, 객체의 낙상을 감지하는 제2 감지단계; 및 낙상 감지 시스템이, 낙상이 감지되면 알람을 통보하는 단계;를 포함하고, 감지 단계는, 관찰 영역 중 트리거 영역에 사람이 진입한 경우에 객체 감지를 개시하는 것일 수 있다.
이에 의해, 독거노인과 같은 1인 생활 가구의 낙상사고 여부를 파악하고, 사고 발생 시 이를 자동으로 등록된 보호자 또는 유관기관에게 통보할 수 있게 된다.

Description

영상분석 기반 1인 낙상 감지 시스템 및 방법{Image Analysis based One Person Fall Detection System and Method}

본 발명은 안전 사고 감지 및 대응 기술에 관한 것으로, 더욱 상세하게는 영상분석 기반으로 관찰 대상자의 이동성과 움직임을 파악하여 낙상여부를 판단하고 낙상 발생 시 자동으로 대응하는 방법에 관한 것이다.

세계보건기구에 의하면 65세 이상 사람 중 약35%, 70세 이상 사람 중 42%가 최소 1년에 한번 낙상사고를 당한다고 한다. 낙상은 노인의 직간접적 사망원인의 약 40%에 해당되는 것으로 추정되며, 우리나라에서 한 해 낙상으로 사망하는 65세 이상 노인은 약 83만여명이며, 이는 노인사고 사망원인 2위에 해당된다고 한다. 낙상은 사고 발생 시 주변에 도와줄 사람 없이 혼자 생활하는 독거노인에게 특히 더 위험하다.

낙상사고에 대응하기 위해 다양한 기술이 개발되고 있다. 낙상 감지는 사용되는 센서 기술에 따라 착용형 시스템(wearable based systems), 비착용형 시스템(non-wearable based systems) 그리고 하이브리드 시스템(fusion or hybrid based systems)으로 구분할 수 있다.

착용형 시스템은 보통 목걸이, 시계 형태의 웨어러블 기기로 가속도, 자이로, 자력계, 경사계, 기압계 센서 등을 채용한다. 비착용형 시스템은 환경(ambient) 시스템과 영상(vision) 시스템으로 세분화된다. 환경 시스템은 사용자의 생활공간에 센서를 설치하는 형태로 진동, 소리, 압력, PIR(Passive Infrared Sensor) 동작감지 센서 등을 사용한다. 영상 시스템은 일반 카메라, 열화상(thermal) 카메라, 3D 깊이(depth)카메라 등을 사용한다. 하이브리드 시스템은 착용형과 비착용형 시스템의 요소들을 혼합해서 구성하는 시스템이다.

착용형 시스템은 항상 휴대하고 다니기 때문에 사용자(관찰 대상자)의 상태를 가장 시기적절하게 파악할 수 있다. 하지만 노인들의 경우 기기 착용을 불편해 하거나 번거롭게 느끼는 경우가 있으며, 기기의 착용을 잊어버리거나 기기 자체를 분실하는 경우가 종종 발생한다.

환경 기반 시스템은 각종 센서를 이용한 비시각적 데이터의 분석을 통해 사용자의 상태를 파악할 수 있다. 사물인터넷(IoT, Internet of Things)을 활용한 스마트홈(smart home) 구축을 통해 제공 가능하나 설치비용이 및 운용관리가 노인들에게 부담스럽게 다가올 수 있다.

카메라를 이용하는 영상 시스템은 사용자의 활동을 담은 이미지 분석을 통해 사용자의 상태를 파악할 수 있다. 영상 기반 시스템은 개인공간에 설치되어야 하는 시스템의 특성상 사생활 침해적인 부분이 발생할 수 있어 주의가 요구된다. 영상 기반 시스템은 관리자가 영상을 직접 볼 수 있어 관찰 대상자에게 거부감을 일으킬 수 있다. 최근에는 인공지능을 이용한 자세분석 기반 낙상감지 시스템도 개발되고 있으나 그래픽 처리 장치(GPU, Graphics Processing Unit) 채용 등 매우 높은 시스템 사양이 요구되어 비용부담이 크다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 독거노인과 같은 1인 생활 가구의 낙상사고 여부를 파악하고, 사고 발생 시 이를 자동으로 등록된 보호자 또는 유관기관에게 통보할 수 있는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 낙상 감지 방법은 낙상 감지 시스템이, 관찰 영역에서 객체를 감지하는 제1 감지단계; 낙상 감지 시스템이, 객체의 낙상을 감지하는 제2 감지단계; 및 낙상 감지 시스템이, 낙상이 감지되면 알람을 통보하는 단계;를 포함하고, 감지 단계는, 관찰 영역 중 트리거 영역에 사람이 진입한 경우에 객체 감지를 개시하는 것일 수 있다.

제1 감지 단계는, 관찰 영역에 있는 사람 수인 입실자 수가 0인 경우, 트리거 영역에서 움직임을 감지하여 사람의 진입 여부를 판단하는 것일 수 있다.

제2 감지감지 단계는, 입실자 수가 1인 경우, 낙상 감지를 수행하는 것일 수 있다.

제1 감지 단계는, 입실자 수가 2 이상인 경우에는, 낙상 감지를 수행하지 않는 것일 수 있다.

본 발명에 따른 낙상 감지 방법은 관찰 영역의 이미지를 취득하는 단계; 취득된 관찰 영역의 이미지를 디스플레이하는 단계; 디스플레이된 관찰 영역에서 트리거 영역을 설정하는 단계;를 더 포함할 수 있다.

트리거 영역은, 출입구 부분일 수 있다.

통보 단계는, 정상 상태에서 낙상이 발생하면, 낙상 상태로 전환하는 단계; 낙상 상태에서 일어섬이 발생하면, 회복 상태로 전환하는 단계; 회복 상태에서 걸음이 발생하면, 정상 상태로 전환하는 단계;를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 관찰 영역에서 객체를 감지하고, 객체의 낙상을 감지하는 중앙처리장치부; 낙상이 감지되면 알람을 통보하는 통신부;를 포함하고, 중앙처리부는, 관찰 영역 중 트리거 영역에 사람이 진입한 경우에 객체 감지를 개시하는 것을 특징으로 하는 낙상 감지 시스템이 제공된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 독거노인과 같은 1인 생활 가구의 낙상사고 여부를 파악하고, 사고 발생 시 이를 자동으로 등록된 보호자 또는 유관기관에게 통보할 수 있게 된다.

특히, 본 발명의 실시예들에 따르면, 트리거 영역 활성화 시 낙상감지 수행으로 인한 연산처리 감소를 통한 시스템 자원 절감이 가능하고, 낙상 발생 및 후속 상황 알림으로 인한 사고 대응처리의 효율성을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 대한 사용 예시를 보여주는 사용 시나리오,
도 2는, 도 1에 도시된 낙상 감지 및 통보 시스템의 구성,
도 3은 설정 모드에서의 프로세스 흐름,
도 4는 트리거 영역 설정 예시,
도 5는 설정 모드에서의 프로세스 흐름,
도 6은 객체 감지 프로세스,
도 7은 트리거 영역의 사용 예,
도 8은 배경제거를 이용한 객체 움직임 감지 예,
도 9는 낙상 감지 프로세스,
도 10은 특징점 추적을 이용한 객체 움직임 파악,
도 11은 알림 프로세스 내 상태전환을 나타낸 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 실시예에 대한 사용 예시를 보여주는 사용 시나리오이다. 도시된 바와 같이, 본 발명의 실시예에 따른 낙상 감지 및 통보 시스템(100)은 카메라(110)와 컴퓨팅 플랫폼(120)으로 구성된다.

시스템(100)은 댁내에 설치되며, 관찰 영역 내에서의 낙상을 감지한다. 관찰 대상자의 낙상이 감지되면 시스템(100)은 알람을 발생하여 주변의 이목을 끈다. 시스템(100)은 서비스 플랫폼(200)에게 낙상이 발생했음을 알리는 신호와 현장 사진을 전송한다. 서비스 플랫폼(200)은 기 등록된 보호자 또는 유관기관 연락처로 사고 발생을 알린다.

도 2는 도 1에 도시된 낙상 감지 및 통보 시스템(100)의 구성을 보여준다. 도시된 바와 같이, 시스템(100)은 관찰 영역으로부터 영상을 취득하는 카메라부(110)와 컴퓨팅 플랫폼(120)으로 구성되는데, 컴퓨팅 플랫폼(120)은 영상 입력부(121), 영상 출력부(122), 중앙처리장치부(123), HCI(Human Computer Interaction)부(124), 메모리부(125), 통신부(126), 소리 출력부(127)를 포함하여 구성된다.

영상 입력부(121)는 카메라부(110)로부터 영상 입력을 받고, 영상 출력부(122)는 카메라 영상이나 사용자 인터페이스를 볼 수 있도록 모니터 등 디스플레이 장치를 연결한다.

중앙처리장치부(123)는 입력된 영상 프레임을 처리하고 낙상감지 연산을 수행하고, HCI부(124)는 시스템 설정 및 사용자 인터페이스 조작을 위한 장치(마우스, 키보드, 터치 인터페이스 등)를 연결한다.

메모리부(125)는 영상 프레임을 버퍼링하거나 연산처리를 위한 필요한 저장공간을 제공하고, 통신부(126)는 이벤트 및 알람 발생 시 이를 관리자 또는 보호자에게 알리며, 소리 출력부(127)는 이벤트 및 알람 발생 시 관찰 대상자를 위한 음성 안내 및 소리로 주변에 도움을 요청하기 위한 구성이다.

시스템(100)은 설정 모드와 운용 모드로 구분할 수 있다.

설정 모드는 관리자를 위한 모드이다. 도 3은 설정 모드에서의 동작이 도시되어 있다.

관찰 영역 이미지 취득 단계는 카메라부로부터의 입력 영상을 받는다(S310). 관찰 영역 디스플레이 단계는 카메라의 입력 영상을 영상출력부에 연결된 화면으로 보여준다(S320). 카메라는 관찰할 뷰(view) 또는 영역을 향해야 하며, 화면에는 해당 영역이 보여야 한다. 트리거 영역 설정 단계는 화면상에서 트리거 영역을 설정할 수 있도록 한다(S330).

트리거 영역은 낙상감지 기능을 시작하게 하는 화면상의 영역이다. 트리거 영역에서 움직임이 감지될 경우 낙상감지 기능이 시작/활성화 된다. 보통 화면 상에 보여지는 출입구 부분이 트리거 영역으로 설정된다.

트리거 영역은 관리자가 HCI부(124)에 연결된 입력장치를 조작함으로써 화면상에 사각형 형태로 영역을 선택, 표시한다. 화면에 표시된 트리거 영역은 메모리부(125)에 저장된다. 도 4는 화면 상에 설정된 트리거 영역에 대한 예시를 보여준다.

시스템 운용 모드는 시스템 동작상태 모드로 관찰 대상자의 낙상여부를 감지한다. 객체 감지(S410), 낙상 감지(S420), 알림 통보(S430)의 3가지 프로세스로 구성된다. 도 5는 운용 모드에서의 동작을 보여준다.

객체 감지 프로세스(S410)의 세부사항은 도 6과 같다.

영상 취득 단계에서는 카메라로부터 처리할 영상 프레임을 획득한다(S411). 다음, 관찰 영역에 있는 사람 수를 나타내는 입실자 수 변수가 0일 경우(S412-예), 트리거 영역에서 움직임이 감지되었는지 확인한다(S413).

관찰 영역에 사람이 없는 경우가 더 많으므로, 사람이 관찰 영역에 진입하기 전까지는 처리할 비디오 영역을 트리거 영역으로 제한함으로써 불필요한 연산처리를 줄인다(도 7 참고).

움직임 감지 기능은 입력 프레임에 배경(background) 제거 기법 등을 적용하여, 관찰 영역에 존재하지 않았던 전경(foreground)의 객체들을 구분할 수 있는 이미지를 생성한다(도 8 참고). 생성된 이미지에 윤곽감지 기법 등을 적용하고 윤곽의 개수를 셈으로써 관찰 영역에 새로운 객체가 출연했는지, 즉, 움직임이 발생했는지 알 수 있다.

입실자 감지 단계에서는 감지된 윤곽이 사람인지 파악한다(반려동물과 생활하는 경우 감안). 감지된 윤곽이 특정 높이, 너비 비율 등 기 설정된 특징을 보이면 사람으로 판단한다. 객체가 사람으로 판단될 경우 입실자 수를 증가한다(S414). 움직임이 없을 경우 마지막으로 움직임이 감지된 영역에 사람이 있는지 파악한다.

입실자 수가 1일 경우(S415-예), 낙상 감지 프로세스로 전환한다(S420). 만약 감지된 입실자 수가 2인 이상일 경우(S415-아니오), 낙상 감지 프로세스로 진행하지 않는다. 입실자 수가 2인 이상일 경우 낙상 발생 시 도움을 받을 수 있는 사람이 동일한 공간에 함께 있기 때문이다.

낙상 감지 프로세스(S420)는 도 9와 같다.

사람 움직임 감지 단계는 새로 처리해야 할 영상 정보가 있는지 감지하며 대기한다(S421).

특징점 추출 단계는 객체 감지 프로세스에서 감지된 사람 객체 영역에 대해 특징점(feature points)을 추출한다(S422). 특징점은 픽셀의 좌표 정보이며, 감지된 사람 객체 영역 내에서 추출한다. 추출된 특징점들이 다음 프레임에서 얼마나 이동했는지 추적하기 위해 임시로 저장된다.

객체 추적 단계는 객체가 어느 방향으로 얼마나 이동했는지 파악한다(S423). 이전 프레임에서 추출된 특징점들에 대해 광학흐름과 같이 모션 추적 기법을 적용하여, 각 특징점에 대한 이동범위와 방향을 파악한다. 특징점들의 개별 정보를 취합하여 전체 객체의 이동범위와 방향을 파악한다(도 10 참고).

모션 분석 단계에서는 객체 영역 정보, 이동범위, 방향 등을 취합하여 행동 예측 결과를 생성한다(S424). 시스템은 걸음, 일어섬, 낙상 등 기존에 학습된 행동 데이터를 입력되는 데이터와 비교하여 유사도에 따라 행동을 판단하며, 걸음, 일어섬, 낙상 등 행동 예측 결과를 알림 통보 프로세스에 전달한다(S430).

알림 통보 프로세스(S430)의 세부사항은 도 11과 같다.

알림 통보는 상태전환에 따라 다양한 이벤트를 생성한다. 초기에는 정상 상태에 머무른다.

정상 상태(S431)에서 낙상 감지 프로세스(S420)로부터 낙상 신호를 수신할 경우 낙상 상태(S432)로 전환한다. 낙상 상태(S432)로 전환 시, 낙상이 발생했음을 통신부(126)를 이용하여 외부로 전송한다. 설정에 따라 현장 사진 데이터가 함께 첨부될 수 있다.

낙상 상태에서 일어섬 신호를 수신할 경우 회복 상태(S433)로 전환하고, 사용자가 낙상에서 어느 정도 회복했음을 통신부(126)를 이용하여 외부로 전송한다. 설정에 따라 현장 사진 데이터가 함께 첨부될 수 있다.

회복 상태(S433)에서 낙상이 발생할 경우 낙상 상태(S432)로 전환한다. 걸음이 발생할 경우 사용자가 스스로 걸을 수 있을 정도로 회복했음을 통신부(126)를 이용하여 외부로 전송하고 정상 상태(S431)로 전환한다.

지금까지, 영상분석 기반 1인 낙상 감지 장치 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 낙상 감지 및 통보 시스템
110 : 카메라
120 : 컴퓨팅 플랫폼
121 : 영상 입력부
122 : 영상 출력부
123 : 중앙처리장치부
124 : HCI(Human Computer Interaction)부
125 : 메모리부
126 : 통신부
127 : 소리 출력부
200 : 서비스 플랫폼

Claims (8)

1. 낙상 감지 시스템이, 관찰 영역에서 객체를 감지하는 제1 감지단계;
   낙상 감지 시스템이, 객체의 낙상을 감지하는 제2 감지단계; 및
   낙상 감지 시스템이, 낙상이 감지되면 알람을 통보하는 단계;를 포함하고,
   감지 단계는,
   관찰 영역 중 트리거 영역에 사람이 진입한 경우에 객체 감지를 개시하는 것을 특징으로 하는 낙상 감지 방법.
   
2. 청구항 1에 있어서,
   제1 감지 단계는,
   관찰 영역에 있는 사람 수인 입실자 수가 0인 경우, 트리거 영역에서 움직임을 감지하여 사람의 진입 여부를 판단하는 것을 특징으로 하는 낙상 감지 방법.
   
3. 청구항 2에 있어서,
   제2 감지감지 단계는,
   입실자 수가 1인 경우, 낙상 감지를 수행하는 것을 특징으로 하는 낙상 감지 방법.
   
4. 청구항 3에 있어서,
   제1 감지 단계는,
   입실자 수가 2 이상인 경우에는, 낙상 감지를 수행하지 않는 것을 특징으로 하는 낙상 감지 방법.
   
5. 청구항 1에 있어서,
   관찰 영역의 이미지를 취득하는 단계;
   취득된 관찰 영역의 이미지를 디스플레이하는 단계;
   디스플레이된 관찰 영역에서 트리거 영역을 설정하는 단계;를 더 포함하는 것을 특징으로 하는 낙상 감지 방법.
   
6. 청구항 5에 있어서,
   트리거 영역은,
   출입구 부분인 것을 특징으로 하는 낙상 감지 방법.
   
7. 청구항 1에 있어서,
   통보 단계는,
   정상 상태에서 낙상이 발생하면, 낙상 상태로 전환하는 단계;
   낙상 상태에서 일어섬이 발생하면, 회복 상태로 전환하는 단계;
   회복 상태에서 걸음이 발생하면, 정상 상태로 전환하는 단계;를 더 포함하는 것을 특징으로 하는 낙상 감지 방법.
   
8. 관찰 영역에서 객체를 감지하고, 객체의 낙상을 감지하는 중앙처리장치부;
   낙상이 감지되면 알람을 통보하는 통신부;를 포함하고,
   중앙처리부는,
   관찰 영역 중 트리거 영역에 사람이 진입한 경우에 객체 감지를 개시하는 것을 특징으로 하는 낙상 감지 시스템.

Images