KR102526771B1 - 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템 - Google Patents

착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템 Download PDF

Info

Publication number
KR102526771B1
KR102526771B1 KR1020210071501A KR20210071501A KR102526771B1 KR 102526771 B1 KR102526771 B1 KR 102526771B1 KR 1020210071501 A KR1020210071501 A KR 1020210071501A KR 20210071501 A KR20210071501 A KR 20210071501A KR 102526771 B1 KR102526771 B1 KR 102526771B1
Authority
KR
South Korea
Prior art keywords
processing module
fall
acceleration
acceleration data
fall detection
Prior art date
Application number
KR1020210071501A
Other languages
English (en)
Other versions
KR20220163069A (ko
Inventor
박준석
민지홍
배은태
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020210071501A priority Critical patent/KR102526771B1/ko
Publication of KR20220163069A publication Critical patent/KR20220163069A/ko
Application granted granted Critical
Publication of KR102526771B1 publication Critical patent/KR102526771B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/007—Details of data content structure of message packets; data protocols
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템이 제시된다. 본 발명에서 제안하는 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템은 가속도 센서가 내장되고, 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 웨어러블 스마트 밴드, 카메라, GPS, 마이크, 스피커가 탑재되어 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 디지털 컴패니언, 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 영상 처리 모듈, 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 가속도 처리 모듈 및 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 낙상 감지 모듈을 포함한다.

Description

착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템{Hybrid Human Fall Detection Method and System using Wearable Accelerometer and Video-Based Pose Data}
본 발명은 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템에 관한 것이다.
평균 수명 증가로 인한 고령자의 증가와 더불어 고령자의 일상생활 안전에 대한 관심도가 올라가고 있다. 일상 생활 중 고령자의 건강을 위협하는 사고 역시 빈번히 발생하고 있으며, 이 중 낙상 사고가 큰 비중을 차지하고 있다. 매년 70세 이상의 고령자의 35%, 80세 이상의 고령자의 50%가 낙상 사고를 겪는다. 이 경우 고관절 골절이 발생할 수 있으며 이 때 1년 내 사망률이 최소 14%에서 최대 36%로 연구된 바 있다[1]. 피해를 최소화하기 위해서는 낙상 사고가 발생 시 신속하게 응급상황 대응기관으로 사고 발생 여부 및 위치를 알리는 기술이 필요하다.
최근에는 손목 착용형 웨어러블 기기인 스마트 밴드나 영상 촬영 장치를 통한 낙상 감지 솔루션이 다수 개발되고 있다. 그러나 각각의 기기를 단독으로 사용하는 솔루션의 경우 문제가 발생할 수 있다. 스마트 밴드만 사용 시 가속도 및 자이로 센서의 값을 통해서만 판단 하기 때문에 다른 상황에서도 부정 오류(false positive) 감지가 발생 할 수 있다. 또한 영상으로만 낙상을 판단할 시에는 낙상이 발생한 시점에 사용자가 영상 촬영 장치의 시야에 있어야 한다는 점이 단점이다. 그러므로 기존 기술들의 단점을 극복할 수 있는 낙상 감지 시스템이 필요하다. 그러나 두 가지 이상의 취득 정보를 통합하는 하이브리드 기법의 경우 데이터 처리에 필요한 추가 시간으로 인해 응급상황 대응이 지연될 수 있다.
본 발명이 이루고자 하는 기술적 과제는 손목 착용형 웨어러블 기기인 스마트 밴드나 영상 촬영 장치를 통한 낙상 감지 솔루션에 있어서 각각의 기기를 단독으로 사용하는 경우 발생할 수 있는 문제점을 해결하기 위한 하이브리드 낙상 감지 방법 및 시스템을 제공하는데 있다. 또한, 두 가지 이상의 취득 정보를 통합하는 낙상 감지를 위한 하이브리드 기법의 경우 데이터 처리에 필요한 추가 시간으로 인해 응급상황 대응이 지연되는 문제를 해결하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템은 가속도 센서가 내장되고, 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 웨어러블 스마트 밴드, 카메라, GPS, 마이크, 스피커가 탑재되어 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 디지털 컴패니언, 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 영상 처리 모듈, 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 가속도 처리 모듈 및 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 낙상 감지 모듈을 포함한다.
상기 영상 처리 모듈은 디지털 컴패니언으로부터 촬영되는 영상을 MQTT(Message Queuing Telemetry Transport) 프로토콜을 통해 입력 받고, 오픈 포즈(OpenPose)를 통해 자세 데이터를 추출하며, 추출된 자세 데이터를 자세 프리셋(preset)을 이용하여 분류하고 액션 태그를 생성한다.
상기 가속도 처리 모듈은 수집된 가속도 데이터를 디지털 컴패니언으로부터 MQTT 프로토콜을 통해 입력 받고, 입력된 가속도 데이터가 미리 정해진 임계값 이상인 경우, 해당 가속도 데이터 값과 해당 가속도 데이터 값의 발생 시간을 추출하여 낙상 감지 모듈을 트리거한다.
상기 낙상 감지 모듈은 영상 처리 모듈로부터 생성되는 액션 태그를 MQTT 프로토콜을 통해 입력 받아 액션 태그 캐시에 저장하고, 가속도 처리 모듈에 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈이 트리거된 경우, 해당 가속도 데이터 값이 발생한 시점을 기준으로 액션 태그를 대조하여 낙상 여부를 판단하고, 판단 결과에 대하여 디지털 컴패니언의 마이크 또는 스피커를 통해 사용자에게 질의하고, 낙상으로 판단되는 경우 관련 응급상황 대응기관에 낙상 관련 정보를 전송한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법은 가속도 센서가 내장된 웨어러블 스마트 밴드를 통해 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 단계, 카메라, GPS, 마이크, 스피커가 탑재된 디지털 컴패니언을 통해 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 단계, 영상 처리 모듈을 통해 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 단계, 가속도 처리 모듈을 통해 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 단계 및 낙상 감지 모듈을 통해 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 단계를 포함한다.
본 발명의 실시예들에 따르면 가속도 센서가 탑재된 스마트 밴드와 영상 기반 자세 정보를 동시에 사용하여 낙상 여부를 판단하는 방법 및 시스템을 통해 복합 센서의 취득 정보 처리 지연시간을 일정 수준으로 관리하여, 응급 상황 시에도 이를 활용할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 낙상 감지 지연시간 측정 결과를 나타내는 그래프이다.
현재 평균 수명 증가와 더불어 고령자의 일상 생활 중 안전 사고가 빈번히 발생하고 있으며, 이 중 낙상 사고가 큰 비중을 차지하고 있다. 피해를 최소화하기 위해서는 낙상 사고가 발생 시 신속하게 응급상황 대응기관으로 사고 발생 여부 및 위치를 알리는 기술이 필요하다. 본 발명에서는 가속도 센서가 탑재된 스마트 밴드와 영상 기반 자세 정보를 동시에 사용하여 낙상 여부를 판단하는 방법 및 시스템을 제안한다. 특히 복합 센서의 취득 정보 처리 지연시간을 일정 수준으로 관리하여, 응급 상황 시에도 이를 활용할 수 있도록 하는 것을 목표로 한다. 이를 확인하기 위해 처리 프로세스의 지연시간을 분석하는 실험을 진행하였다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
웨어러블 기기나 영상 감지를 통한 낙상 감지 분야는 기존에도 존재하였으며, 여러 연구가 진행되었다. 그 중에서도 대표적인 연구가 기계학습을 기본으로, 웨어러블 디바이스인 스마트 워치를 활용한 종래기술[2][3]와 고정 촬영 기기를 통한 종래기술[4][5]이 대표적이다. 이러한 종래기술들은 상술된 바와 같이 부정 오류(false positive) 감지 문제와 촬영 기기의 시야 문제가 존재한다.
본 발명에서는 스스로 움직일 수 있는 디지털 컴패니언을 통해 지속적으로 영상을 촬영한다. 디지털 컴패니언은 카메라, GPS, 마이크, 스피커가 탑재된 음성 상호 작용이 가능한 로봇이며 Wi-Fi 및 블루투스 무선 통신이 가능하다. 또한 디지털 컴패니언에서 촬영된 영상과 같이 조합할 가속도 데이터를 사용자의 팔에 장착된 스마트 밴드를 통해 수집한다. 상대적으로 높은 처리성능이 필요한 기계학습 기술은 영상에서 사용자 자세를 분류할 때에만 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템의 구성을 나타내는 도면이다.
본 발명의 실시예에 따르면 가속도 센서가 탑재된 스마트 밴드와 영상 기반 자세 정보를 동시에 이용해 낙상 여부를 판단하는 기법을 제안한다. 특히 복합 센서의 취득 정보 처리 지연시간을 일정 수준으로 관리하여, 응급 상황 시에도 이를 활용할 수 있도록 하는 것을 목표로 한다.
제안하는 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템은 웨어러블 스마트 밴드(110), 디지털 컴패니언(120), 영상 처리 모듈(130), 가속도 처리 모듈(140) 및 낙상 감지 모듈(150)을 포함한다.
낙상 감지를 위하여 본 발명에서는 디지털 컴패니언(120)과 통신하는 영상 처리 모듈(130), 가속도 처리 모듈(140), 그리고 낙상 감지 모듈(150)을 이용한다. 영상 처리 모듈(130)은 기계학습 및 추론을 위해 별도의 서버에서 구동할 수 있고, 가속도 처리 모듈(140) 및 낙상 감지 모듈(150)은 같은 프로세스에 포함할 수 있다.
웨어러블 스마트 밴드(110)는 가속도 센서가 내장되고, 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집한다.
디지털 컴패니언(120)은 카메라, GPS, 마이크, 스피커가 탑재되어 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드(110)로부터 수집되는 가속도 데이터를 입력 받는다.
영상 처리 모듈(130)은 디지털 컴패니언(120)으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성한다.
영상 처리 모듈(130)은 디지털 컴패니언(120)으로부터 촬영되는 영상을 MQTT(Message Queuing Telemetry Transport)[6] 프로토콜을 통해 입력 받는다. 촬영된 영상으로부터 오픈 포즈(OpenPose)[7]를 통해 자세 데이터를 추출하고, 추출된 자세 데이터를 자세 프리셋(preset)을 이용하여 분류하고 액션 태그를 생성한다. 추출된 자세 데이터는 자세 프리셋 중 하나로 분류하는데 이를 액션 태그라고 하며, 사용자가 영상 시야에서 벗어난 경우는 null 태그로 분류한다.
가속도 처리 모듈(140)은 디지털 컴패니언(120)으로부터 가속도 데이터를 입력 받아 분석한다.
가속도 처리 모듈(140)은 수집된 가속도 데이터를 디지털 컴패니언(120)으로부터 MQTT 프로토콜을 통해 입력 받는다. 입력된 가속도 데이터가 미리 정해진 임계값 이상인 경우, 해당 가속도 데이터 값과 해당 가속도 데이터 값의 발생 시간을 추출하여 낙상 감지 모듈(150)을 트리거한다.
본 발명의 실시예에 따른 가속도 처리 모듈(140)은 50Hz로 웨어러블 스마트 밴드(110)에서 측정된 가속도 데이터를 디지털 컴패니언(120)으로부터 MQTT 프로토콜을 통해 전송 받을 수 있다.
낙상 감지 모듈(150)은 영상 처리 모듈로(130)부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단한다.
낙상 감지 모듈(150)은 영상 처리 모듈(130)로부터 생성되는 액션 태그를 MQTT 프로토콜을 통해 입력 받아 액션 태그 캐시(151)에 저장한다. 가속도 처리 모듈(140)에 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈(140)이 트리거된 경우, 해당 가속도 데이터 값이 발생한 시점을 기준으로 액션 태그를 대조하여 낙상 여부를 판단한다. 그리고, 판단 결과에 대하여 디지털 컴패니언(120)의 마이크 또는 스피커를 통해 사용자에게 질의하고, 낙상으로 판단되는 경우 관련 응급상황 대응기관에 낙상 관련 정보를 전송한다.
더욱 상세하게는, 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈(140)이 트리거된 경우, 해당 가속이 발생한 시점을 기준으로 일정 시간 동안 액션 태그들을 추가한 후 전후 액션 태그들을 대조한다. 이때 액션 태그가 낙상 발생 전후로 기립 자세군에서 포복 자세군으로 변화할 경우, 다시 말해 미리 학습된 낙상 예측 모델을 따를 경우에는 낙상으로 판단한다. 만약 널(null) 액션 태그가 일정 비율을 초과할 경우에는 디지털 컴패니언의 마이크, 스피커를 통해 사용자의 안위를 질의할 수 있다. 그리고, 낙상이 판단되면 낙상 감지 모듈은 관련 응급상황 대응기관에 낙상 관련 정보를 SMS를 통해 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법을 설명하기 위한 흐름도이다.
가속도 센서가 내장된 웨어러블 스마트 밴드를 통해 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 단계(210), 카메라, GPS, 마이크, 스피커가 탑재된 디지털 컴패니언을 통해 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 단계(220), 영상 처리 모듈을 통해 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 단계(230), 가속도 처리 모듈을 통해 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 단계(240) 및 낙상 감지 모듈을 통해 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 단계(250)를 포함한다.
본 발명의 실시예에 따르면 가속도 센서가 탑재된 스마트 밴드와 영상 기반 자세 정보를 동시에 이용해 낙상 여부를 판단하는 기법을 제안한다. 특히 복합 센서의 취득 정보 처리 지연시간을 일정 수준으로 관리하여, 응급 상황 시에도 이를 활용할 수 있도록 하는 것을 목표로 한다.
낙상 감지를 위하여 본 발명에서는 디지털 컴패니언과 통신하는 영상 처리 모듈, 가속도 처리 모듈, 그리고 낙상 감지 모듈을 이용한다. 영상 처리 모듈은 기계학습 및 추론을 위해 별도의 서버에서 구동할 수 있고, 가속도 처리 모듈 및 낙상 감지 모듈은 같은 프로세스에 포함할 수 있다.
단계(210)에서, 가속도 센서가 내장된 웨어러블 스마트 밴드를 통해 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집한다.
웨어러블 스마트 밴드는 가속도 센서가 내장되고, 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집한다.
단계(220)에서, 카메라, GPS, 마이크, 스피커가 탑재된 디지털 컴패니언을 통해 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는다.
디지털 컴패니언은 카메라, GPS, 마이크, 스피커가 탑재되어 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는다.
단계(230)에서, 영상 처리 모듈을 통해 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성한다.
영상 처리 모듈은 디지털 컴패니언으로부터 촬영되는 영상을 MQTT(Message Queuing Telemetry Transport)[6] 프로토콜을 통해 입력 받는다. 촬영된 영상으로부터 오픈 포즈(OpenPose)[7]를 통해 자세 데이터를 추출하고, 추출된 자세 데이터를 자세 프리셋(preset)을 이용하여 분류하고 액션 태그를 생성한다. 추출된 자세 데이터는 자세 프리셋 중 하나로 분류하는데 이를 액션 태그라고 하며, 사용자가 영상 시야에서 벗어난 경우는 null 태그로 분류한다.
단계(240)에서, 가속도 처리 모듈을 통해 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석한다.
가속도 처리 모듈은 수집된 가속도 데이터를 디지털 컴패니언으로부터 MQTT 프로토콜을 통해 입력 받는다. 입력된 가속도 데이터가 미리 정해진 임계값 이상인 경우, 해당 가속도 데이터 값과 해당 가속도 데이터 값의 발생 시간을 추출하여 낙상 감지 모듈을 트리거한다.
본 발명의 실시예에 따른 가속도 처리 모듈은 50Hz로 웨어러블 스마트 밴드에서 측정된 가속도 데이터를 디지털 컴패니언으로부터 MQTT 프로토콜을 통해 전송 받을 수 있다.
단계(250)에서 낙상 감지 모듈을 통해 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단한다.
낙상 감지 모듈은 영상 처리 모듈로부터 생성되는 액션 태그를 MQTT 프로토콜을 통해 입력 받아 액션 태그 캐시에 저장한다. 가속도 처리 모듈에 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈이 트리거된 경우, 해당 가속도 데이터 값이 발생한 시점을 기준으로 액션 태그를 대조하여 낙상 여부를 판단한다. 그리고, 판단 결과에 대하여 디지털 컴패니언의 마이크 또는 스피커를 통해 사용자에게 질의하고, 낙상으로 판단되는 경우 관련 응급상황 대응기관에 낙상 관련 정보를 전송한다.
더욱 상세하게는, 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈이 트리거된 경우, 해당 가속이 발생한 시점을 기준으로 일정 시간 동안 액션 태그들을 추가한 후 전후 액션 태그들을 대조한다. 이때 액션 태그가 낙상 발생 전후로 기립 자세군에서 포복 자세군으로 변화할 경우, 다시 말해 미리 학습된 낙상 예측 모델을 따를 경우에는 낙상으로 판단한다. 만약 널(null) 액션 태그가 일정 비율을 초과할 경우에는 디지털 컴패니언의 마이크, 스피커를 통해 사용자의 안위를 질의할 수 있다. 그리고, 낙상이 판단되면 낙상 감지 모듈은 관련 응급상황 대응기관에 낙상 관련 정보를 SMS를 통해 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 낙상 감지 지연시간 측정 결과를 나타내는 그래프이다.
본 발명의 실시예에 따르면 가속도 센서가 탑재된 스마트 밴드와 영상 기반 자세 정보를 동시에 이용해 낙상 여부를 판단하는 기법을 제안한다. 특히 복합 센서의 취득 정보 처리 지연시간을 일정 수준으로 관리하여, 응급 상황 시에도 이를 활용할 수 있도록 하는 것을 목표로 한다. 이를 확인하기 위해 처리 프로세스의 지연시간을 분석하는 실험을 진행하였다.
본 발명의 실시예에 따른 실험에서 가속도 처리 모듈 및 낙상 감지 모듈을 구동한 가상 머신(Virtual Machine) 서버의 환경은 다음과 같다.
CPU: Intel® Skylake Xeon?? 2 VCPUs
RAM: 8GB DDR4 2400MHz
I/O: 80GB HDD(virtio-scsi virtual controller)
또한, 본 실험에서 액션 태그를 분류, 전달하는 영상 처리 모듈을 구동한 가상 머신 서버 환경은 다음과 같다.
CPU: Intel® Skylake Xeon?? 8 VCPUs
GPU: NVIDIA® Quadro?? P5000
RAM: 32GB DDR4 2400MHz
I/O: 200GB HDD(virtio-scsi virtual controller)
본 발명의 실시예에 따른 사용자가 사용하는 단말인 웨어러블 스마트 밴드의 가속도 센서는 TDK® InvenSense™ MPU-9250가 사용되었다. 또한 디지털 컴패니언의 영상 촬영은 탑재된 Samsung® Galaxy™ S20 5G를 통해 이루어졌다.
본 발명의 실시예에 따른 실험은 디지털 컴패니언의 카메라 시야에서 팔에 웨어러블 스마트 밴드와 보호장비를 착용한 실험자를 통해 진행하였다. 실험 시나리오는 실험자 보호용 매트리스에 넘어진 긍정 오류(true positive) 상황과 팔만 움직인 부정 오류(false positive) 상황으로 구성하였다.
표 1은 사용자 자세 데이터에 대한 액션 태그를 나타낸다.
<표 1>
Figure 112021063801533-pat00001
오픈 포즈(OpenPose)에서 추출한 사용자 자세 데이터에 대한 액션 태그는 표 1과 같이 12가지로 구성하였다. 표 1에서 ID: 2, 5, 6, 8, 9, 10으로 표시된 행들은 기립 자세군, 주황색으로 표시된 행들은 낙상 자세군으로 설정하였다.
본 발명의 실시예에 따른 낙상 판단을 위한 가속도 데이터의 임계값은 2.5G이며, 전후 액션 태그 대조를 위한 시간은 전후 각각 2초로 설정할 수 있다.
본 발명의 실시예에 따른 실험에선 위에서 제안한 기법의 가능성(Feasibility)에 대해 검증하기 위한 위 기법의 처리 과정의 지연시간을 측정한다. 해당 실험은 각각 20회의 긍정 오류 낙상 실험 및 부정 오류 낙상 실험으로 진행하였다.
실험 결과 낙상 감지 지연시간은 평균 3.260초로 측정 되었으며, 부정 오류 실험의 경우 모두 낙상으로 판단되지 않았다. 해당 실험에서 액션 태깅 서버의 평균 처리 속도는 13fps로 측정되었다.
본 발명에서는 가속도 센서가 장착된 스마트 밴드와 디지털 컴패니언을 함께 사용하여 낙상을 감지하는 방법을 제안하였다. 또한 해당 기법의 실효성을 판단하기 위해 낙상 감지에 소요되는 지연시간을 측정하였다. 실험 결과에서 낙상 감지 프로그램의 지연시간은 액션 태깅 서버가 13fps의 속도로 작동할 때 평균 3.260초로 측정 되었다. 또한 부정 오류의 경우는 낙상으로 판단되지 않았다.
해당 결과를 통해 본 발명에서 제안하는 하이브리드 낙상 감지 기법이 높은 정확성에 비해 낮은 지연시간을 유지하고 있음을 알 수 있다. 본 발명은 낙상 감지 전용의 센서가 아닌 비교적 저가의 일반적인 센서(예를 들어, 가속도 센서, 이미징 센서)들을 활용하여 경제적이라 할 수 있다.
본 발명의 실시예에 따른 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 시스템은 영상 처리 모듈과 가속도 센서 처리 모듈이 모두 별도 모듈로 분리되어 있고, 모든 통신에서 MQTT 서버를 거칠 수 있다. 하지만 이는 실시예일뿐, 제안하는 시스템은 이러한 소프트웨어 모듈들을 모두 하나로 통합하여 지연시간과 처리에 소모되는 자원을 더욱 축소할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
<참고문헌>
[1] Kanten, D. N., Mulrow, C. D., Gerety, M. B., Lichtenstein, M. J., Aquilar, C. and Cornell, J. E., "Falls : an examination of three reporting methods in nursing homes," Journal of Am. Geriatr. Soc., Vol. 41, No. 6, pp. 662-666, 1993.
[2] D. Genoud, V. Cuendet and J. Torrent, "Soft Fall Detection Using Machine Learning in Wearable Devices," 2016 IEEE 30th International Conference on Advanced Information Networking and Applications (AINA), 2016, pp. 501-505, doi: 10.1109/AINA.2016.124.
[3] B. Wilk, M. Augustyn and G. Wilk, "Algorithm for Human Fall Detection Based on Acceleration Measurement," 2020 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2020, pp. 13-17, doi: 10.23919/SPA50552.2020.9241243.
[4] Z. Huang, Y. Liu, Y. Fang and B. K. P. Horn, "Video-based Fall Detection for Seniors with Human Pose Estimation," 2018 4th International Conference on Universal Village (UV), 2018, pp. 1-4, doi: 10.1109/UV.2018.8642130.
[5] de Miguel K, Brunete A, Hernando M, Gambao E. Home Camera-Based Fall Detection System for the Elderly. Sensors (Basel). 2017;17(12):2864. Published 2017 Dec 9. doi:10.3390/s17122864
[6] ISO/IEC 20922:2016 Information technology - Message Queuing Telemetry Transport(MQTT) v3.1.1, https://www.iso.org/standard/69466.html
[7] Z. Cao, G. Hidalgo, T. Simon, S. -E. Wei and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 1, pp. 172-186, 1 Jan. 2021, doi: 10.1109/TPAMI.2019.2929257.

Claims (8)

  1. 가속도 센서가 내장되고, 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 웨어러블 스마트 밴드;
    카메라, GPS, 마이크, 스피커가 탑재되어 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 디지털 컴패니언;
    디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 영상 처리 모듈;
    디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 가속도 처리 모듈; 및
    영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 낙상 감지 모듈
    을 포함하고,
    상기 낙상 감지 모듈은,
    영상 처리 모듈로부터 생성되는 액션 태그를 MQTT 프로토콜을 통해 입력 받아 액션 태그 캐시에 저장하고,
    가속도 처리 모듈에 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈이 트리거된 경우, 해당 가속도 데이터 값이 발생한 시점을 기준으로 액션 태그를 대조하여 낙상 여부를 판단하고,
    상기 웨어러블 스마트 밴드, 디지털 컴패니언 및 영상 처리 모듈로부터 수신되는 복수의 센서의 취득 정보 처리 지연시간을 미리 정해진 일정 수준으로 관리하기 위해 상기 취득 정보 처리 지연시간을 측정하고 분석하여 낙상 여부를 판단하며,
    판단 결과에 대하여 디지털 컴패니언의 마이크 또는 스피커를 통해 사용자에게 질의하고, 낙상으로 판단되는 경우 관련 응급상황 대응기관에 낙상 관련 정보를 전송하는
    하이브리드 낙상 감지 시스템.
  2. 제1항에 있어서,
    상기 영상 처리 모듈은,
    디지털 컴패니언으로부터 촬영되는 영상을 MQTT(Message Queuing Telemetry Transport) 프로토콜을 통해 입력 받고, 오픈 포즈(OpenPose)를 통해 자세 데이터를 추출하며, 추출된 자세 데이터를 자세 프리셋(preset)을 이용하여 분류하고 액션 태그를 생성하는
    하이브리드 낙상 감지 시스템.
  3. 제1항에 있어서,
    상기 가속도 처리 모듈은,
    수집된 가속도 데이터를 디지털 컴패니언으로부터 MQTT 프로토콜을 통해 입력 받고, 입력된 가속도 데이터가 미리 정해진 임계값 이상인 경우, 해당 가속도 데이터 값과 해당 가속도 데이터 값의 발생 시간을 추출하여 낙상 감지 모듈을 트리거하는
    하이브리드 낙상 감지 시스템.
  4. 삭제
  5. 가속도 센서가 내장된 웨어러블 스마트 밴드를 통해 내장된 가속도 센서를 이용하여 사용자의 움직임에 대한 가속도 데이터를 수집하는 단계;
    카메라, GPS, 마이크, 스피커가 탑재된 디지털 컴패니언을 통해 음성 상호 작용 및 영상 촬영을 수행하고, 무선 통신을 통해 웨어러블 스마트 밴드로부터 수집되는 가속도 데이터를 입력 받는 단계;
    영상 처리 모듈을 통해 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 단계;
    가속도 처리 모듈을 통해 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 단계; 및
    낙상 감지 모듈을 통해 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 단계
    를 포함하고,
    상기 낙상 감지 모듈을 통해 영상 처리 모듈로부터 입력 받은 액션 태그 및 가속도 처리 모듈로부터 입력 받은 분석 결과에 따라 낙상 여부를 판단하는 단계는,
    영상 처리 모듈로부터 생성되는 액션 태그를 MQTT 프로토콜을 통해 입력 받아 액션 태그 캐시에 저장하고,
    가속도 처리 모듈에 미리 정해진 임계값 이상의 가속도 데이터 값이 입력되어 낙상 감지 모듈이 트리거된 경우, 해당 가속도 데이터 값이 발생한 시점을 기준으로 액션 태그를 대조하여 낙상 여부를 판단하고,
    상기 웨어러블 스마트 밴드, 디지털 컴패니언 및 영상 처리 모듈로부터 수신되는 복수의 센서의 취득 정보 처리 지연시간을 미리 정해진 일정 수준으로 관리하기 위해 상기 취득 정보 처리 지연시간을 측정하고 분석하여 낙상 여부를 판단하며,
    판단 결과에 대하여 디지털 컴패니언의 마이크 또는 스피커를 통해 사용자에게 질의하고, 낙상으로 판단되는 경우 관련 응급상황 대응기관에 낙상 관련 정보를 전송하는
    하이브리드 낙상 감지 방법.
  6. 제5항에 있어서,
    상기 영상 처리 모듈을 통해 디지털 컴패니언으로부터 촬영되는 영상을 입력 받아 자세 데이터를 추출 및 분석하여 액션 태그를 생성하는 단계는,
    디지털 컴패니언으로부터 촬영되는 영상을 MQTT(Message Queuing Telemetry Transport) 프로토콜을 통해 입력 받고, 오픈 포즈(OpenPose)를 통해 자세 데이터를 추출하며, 추출된 자세 데이터를 자세 프리셋(preset)을 이용하여 분류하고 액션 태그를 생성하는
    하이브리드 낙상 감지 방법.
  7. 제5항에 있어서,
    상기 가속도 처리 모듈을 통해 디지털 컴패니언으로부터 가속도 데이터를 입력 받아 분석하는 단계는,
    수집된 가속도 데이터를 디지털 컴패니언으로부터 MQTT 프로토콜을 통해 입력 받고, 입력된 가속도 데이터가 미리 정해진 임계값 이상인 경우, 해당 가속도 데이터 값과 해당 가속도 데이터 값의 발생 시간을 추출하여 낙상 감지 모듈을 트리거하는
    하이브리드 낙상 감지 방법.
  8. 삭제
KR1020210071501A 2021-06-02 2021-06-02 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템 KR102526771B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210071501A KR102526771B1 (ko) 2021-06-02 2021-06-02 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210071501A KR102526771B1 (ko) 2021-06-02 2021-06-02 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220163069A KR20220163069A (ko) 2022-12-09
KR102526771B1 true KR102526771B1 (ko) 2023-04-27

Family

ID=84440254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071501A KR102526771B1 (ko) 2021-06-02 2021-06-02 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102526771B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117956063A (zh) * 2024-03-26 2024-04-30 深圳市微克科技股份有限公司 一种基于智能穿戴设备的摇一摇拍照方法、系统和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866974B1 (ko) * 2012-01-06 2018-06-14 한국전자통신연구원 행동 패턴 수집 장치 및 이를 이용한 행동 패턴 분석 시스템과 그 방법
KR20170004269A (ko) * 2015-07-01 2017-01-11 김주철 낙상 감지 장치 및 방법
KR102295308B1 (ko) * 2019-08-13 2021-08-30 비앤피이노베이션 주식회사 신체 착용형 안전 단말기 및 이를 이용한 사고 방지 제어방법

Also Published As

Publication number Publication date
KR20220163069A (ko) 2022-12-09

Similar Documents

Publication Publication Date Title
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
Chua et al. A simple vision-based fall detection technique for indoor video surveillance
Wang et al. Human fall detection in surveillance video based on PCANet
US20170039455A1 (en) Computer-vision based security system using a depth camera
JP6551512B2 (ja) 監視システム、監視制御装置、監視方法、およびプログラム
Cardinaux et al. Video based technology for ambient assisted living: A review of the literature
EP3002741A1 (en) Method and system for security system tampering detection
JP2011523106A (ja) 対象及び事象を分類する映像センサ及び警報システム並びに方法
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
Kepski et al. Event‐driven system for fall detection using body‐worn accelerometer and depth sensor
US20190167157A1 (en) Device, system and method for fall detection
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
KR101860062B1 (ko) 낙상 감지 시스템 및 방법
Rougier et al. Video surveillance for fall detection
JPWO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
Li et al. Efficient health-related abnormal behavior detection with visual and inertial sensor integration
Beddiar et al. Fall detection using body geometry and human pose estimation in video sequences
KR102526771B1 (ko) 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템
Liu et al. Automatic fall risk detection based on imbalanced data
Merrouche et al. Fall detection using head tracking and centroid movement based on a depth camera
US20220165092A1 (en) Accident detection device and accident detection method
JP2016143302A (ja) 情報通知装置、方法、およびプログラム
JP5701657B2 (ja) 異常検知装置
CN114764895A (zh) 异常行为检测装置和方法
CN111563397B (zh) 检测方法、装置、智能设备及计算机存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant