KR101990032B1 - 위험상황에 대처하기 위한 웨어러블 스마트 장치 및 이를 이용한 위험 상황 판단 방법 - Google Patents

Abstract

본 발명은 웨어러블 스마트 장치, 구체적으로는 스마트 밸트에 관한 것으로, 웨어러블 스마트 장치는 사용자의 행동에 기반한 신호를 검출하기 위한 센서부; 상기 센서부로부터의 신호를 수신하기 위한 프로세서를 포함하고, 상기 센서부는, 3축으로 구성되어 사용자의 3축상의 가속도 및 각속도를 포함하는 자세 검출하기 위한 적어도 하나의 IMU(Inertial Measurement Unit)를 포함하고,상기 프로세서는 상기 IMU 센서로부터 출력되는 3축값에 기반하여 사용자의 위험 상황을 판단하도록 구성된다.

Description

위험상황에 대처하기 위한 웨어러블 스마트 장치 및 이를 이용한 위험 상황 판단 방법{A WEARABLE SMART DEVICE FOR DISTINGUISHING DANGEROUS SITUATION AND A METHOD FOR DISTINGUISHING DANGEROUS SITUATION USING THE SAME}

본 발명은 웨어러블 스마트 장치에 관한 것으로, 구체적으로는 등산객을 위협하는 강력범죄 및 안전사고에 신속하게 대처할 수 있도록 위험상황 발생시 자동으로 사용자 주위에 알림을 줄 수 있는 웨어러블 스마트 장치 및 이를 이용한 위험 상황 판단 방법에 관한 것이다.

최근 스마트폰과 같은 이동 단말기 기술의 발전과 센서 기술을 이용한 사물 인터넷의 출현으로 인해 이동 단말기와 센서를 조합한 다양한 기능이 구현되고 있다.

특히 사용자가 위험한 상황에 처했을 때 이동 단말기를 이용하여 자동으로 전화를 걸거나 자신의 위치를 알리는 구조 기술이 출현되고 있다. 일례로, 대한민국 공개특허 10-2011-0035420호는 감지 센서를 이용한 위험 알림 방법에 대해 개시하고 있다.

이 특허문헌에서는 사용자의 신체 일부에 착용되어 사용자의 신체적 이상을 감지한 경우 위험 알림 신호를 발생시키는 감시 센서와, 감지 센서를 착용한 사용자가 활동하는 특정 공간 내에 설치된 위험 알림 장치를 통하여 상기 사용자의 신체 적 이상을 감지하여 위험을 알려주는 위험 알림 방법을 개시하고 있다.

구체적으로 이에 따른 방법에서는 감지 센서는 사용자의 목, 손 등에 목걸이, 시계 등의 형태로 착용될 수 있고, 감지 센서에는 알에프아이디(RFID), 지그비(Zigbee) 또는 블루투스등과 같은 근거리 통신 수단이 설치되어 위험 알림 장치와 근거리 무선 통신을 수행하도록 구성되어, 감지 센서가 사용자의 심장박동, 혈압, 체온 등에 일정 수치 이상의 변화가 생긴 경우 이상이 발생한 것으로 판단하여 위험 알림 신호를 근처의 위험알림장치로 근거리 무선통신을 통해 전송하도록 구성되어 있다.

그러나 이와 같은 종래 기술에서는 사용자의 심장박동, 혈압, 체온 등의 수치에 기반하여 위험상황을 판단하고 대처하고 있기 때문에, 사용자가 그 이외의 위험한 상황에 처했을 때, 예를 들면 길거리에서 괴한에게 납치되거나 계단이나 높은 곳에서 낙하하여 부상 등을 입었을 때와 같은 상태에서는 사용자의 위험 상황에 대해 대처할 수 없다라는 문제점이 발생된다.

특히 등산중 범죄가 발생되었을 경우, 등산객을 대상으로 한 효과적인 대응 제품이 부재하며, 기존 일반적인(상용) 제품들은 위험 상황에서 발생된 다양한 변수들로 인해 사용하기 어려운 한계점이 있다.

또한, 기존의 제품 및 서비스는 사용자가 위험 상황에 직면하였을 경우에 수동적/추가적인 동작을 통해 작동이 이루어지기 때문에 실제상황에서 활용이 제한적이라는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위해, 사용자가 납치 또는 부상으로 인해 외부로의 연락이 용이하지 않은 상황에서 주변에 자신의 위급 상황을 알릴 수 있는 웨어러블 스마트 장치를 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위해 본 발명에 따르면 사용자의 행동에 기반한 신호를 검출하기 위한 센서부; 상기 센서부로부터의 신호를 수신하기 위한 프로세서를 포함하고, 센서부는, 3축으로 구성되어 사용자의 3축상의 가속도 및 각속도를 포함하는 자세 검출하기 위한 적어도 하나의 IMU(Inertial Measurement Unit)를 포함하고, 프로세서는 상기 IMU 센서로부터 출력되는 3축값에 기반하여 사용자의 위험 상황을 판단하도록 구성된 웨어러블 스마트 장치가 제공된다.

전술한 양태에서 스마트 웨어러블 장치는, 사용자에게 위험 상황을 진동을 통해 알려주기 위한 진동부 및 소리를 통해 사용자의 위험 상황을 외부에 알리기 위한 소리 출력부를 더 포함할 수 있다.

또한 프로세서에는 사용자의 동작에 기반한 복수의 사용자 행동 패턴이 더 저장되고, 사용자 행동 패턴은, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 그룹으로부터 선택되는 하나 이상의 연속되는 사용자 행동 패턴을 포함한다.

프로세서는, 사용자 행동 패턴이,

1. 서기 -> 넘어지기,

2. 서기 -> 발버둥치기 -> 넘어지기

3. 서기 -> 끌려가기 -> 넘어지기

4. 서기 -> 걷기 -> 뛰기 -> 넘어지기

5. 서기 -> 발버둥치기 -> 뛰기

6. 걷기 -> 넘어지기

7. 걷기 -> 끌려가기

8. 뛰기 -> 서기 -> 끌려가기

9. 뛰기 -> 눕기

10. 넘어지기 -> 눕기중 어느 하나로 순차적으로 진행되는 경우 위험 상황 행동 패턴인 것으로 판단하도록 구성된다.

또한 전술한 양태에서 프로세서는, 상기 센서부로부터 입력되는 센서 신호가 수신되면 수신된 센서 신호를 상기 사용자 행동 패턴들 중 어느 것에 해당하는지를 분석하고, 분석된 행동 패턴이 미리정해진 비정상 행동 패턴인 경우, 비정상 행동 패턴이 지속된 시간을 카운트하고, 비정상 행동 패턴이 미리 정해진 시간을 초과하여 지속되는 경우 위험 상황인 것으로 판단하고, 상기 비정상 행동 패턴은, 눕기, 넘어지기, 끌려가기, 발버둥치기 행동 패턴중 하나이다.

본 발명의 다른 양태에 따르면, 사용자의 자세를 검출하기 위해 적어도 하나의 IMU(Inertial Measurement Unit) 센서를 포함하는 웨어러블 스마트 장치를 사용자에게 제공하는 단계; 상기 IMU 센서를 이용하여 사용자의 행동에 따른 복수의 사용자 행동 패턴을 정의하는 단계; 상기 IMU 센서로부터 실시간으로 센서 데이터를 입력받는 단계; 상기 IMU 센서로부터 입력된 센서 데이터로부터 매칭되는 사용자 행동 패턴을 찾기 위해 입력되는 센서 데이터를 분석하는 단계; 및 상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계를 포함하는 것을 특징으로 하는 위험 상황 판단 방법이 제공된다.

전술한 양태에서, 상기 사용자 행동 패턴은, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 그룹으로부터 선택되는 하나 이상의 연속되는 사용자 행동 패턴을 포함하는 것이 바람직하다.

또한 전술한 양태에서, 상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는, 분석된 사용자 행동 패턴이,

1. 서기 -> 넘어지기,

2. 서기 -> 발버둥치기 -> 넘어지기

3. 서기 -> 끌려가기 -> 넘어지기

4. 서기 -> 걷기 -> 뛰기 -> 넘어지기

5. 서기 -> 발버둥치기 -> 뛰기

6. 걷기 -> 넘어지기

7. 걷기 -> 끌려가기

8. 뛰기 -> 서기 -> 끌려가기

9. 뛰기 -> 눕기

10. 넘어지기 -> 눕기중 어느 하나로 순차적으로 진행되는 경우 위험 상황 행동 패턴인 것으로 판단할 수 있다.

또한 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는, 분석된 사용자 행동 패턴이 미리 정해진 비정상 행동 패턴에 대응하는지 판별하는 단계; 비정상 행동 패턴에 대응하는 경우, 비정상 행동 패턴이 지속된 시간을 카운트하는 단계; 및 카운트된 시간이 미리 정해진 시간을 초과하여 지속되는 경우 위험 상황인 것으로 판단하는 단계를 포함할 수 있다.

전술한 양태에서 비정상 행동 패턴은, 눕기, 넘어지기, 끌려가기, 발버둥치기 행동 패턴중 하나이다.

또한 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는, 머신 학습 기반의 인공지능 알고리즘에 의해 수행되고, 상기 머신 학습 기반의 인공지능 알고리즘은, 적어도 하나의 IMU 센서로부터의 센서 정보와, 상기 사용자 행동 패턴으로서, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 사용자 행동 패턴 정보와, 사용자의 행동 패턴의 순서; 및 사용자 행동 패턴에서 나타나는 각 행동의 시간으로 이루어지는 입력 정보에 의해 학습된다.

본 발명에 따르면 사용자가 등산 도중 괴한으로부터 위협을 받거나, 납치 또는 부상으로 인해 외부로의 연락이 용이하지 않은 상황에서 사용자의 위험 상황을 자동으로 판단하고, 그에 대응하여 주변에 위급 상황을 알릴 수 있는 웨어러블 스마트 장치를 제공할 수 있다.

도 1은 본 발명에 따른 웨어러블 스마트 장치를 개략적으로 도시한 도면.
도 2는 본 발명에 따른 웨어러블 스마트 장치의 내부 회로 구성을 개략적으로 도시한 블록도.
도 3은 본 발명에 따라 분류된 사용자 행동 패턴의 특징을 개략적으로 나타낸 도면.
도 4는 본 발명에 따른 위험 상황을 판별하는 방법을 설명하기 위한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명에 따른 위험상황에 대처하기 위한 웨어러블 스마트 장치(10)를 도시한 도면으로, (a)는 웨어러블 스마트 장치(10)의 외형을 개략적으로 나타내는 도면, (b)는 웨어러블 스마트 장치(10)의 내부를 개략적으로 나타내는 도면, (c)는 웨어러블 스마트 장치(10)를 실제 착용하는 일례를 나타낸 도면이다.

도 1의 (a) 내지 (c)에 도시한 바와 같이 본 발명에 따른 웨어러블 스마트 장치(10)는 개인의 벨트에 탈부착가능한 형태로 구현된다. 도 1의 (a)에 도시된 바에 따르면 웨어러블 스마트 장치(10)는 대략 560mm×440mm×115mm의 박스형태로 구현되고, 그 일측면 상에 외부에 위험 상황을 알리기 위한 알림수단(LED)과 외부로부터 웨어러블 스마트 장치(10)를 강제로 구동하기 위한 버튼(110)을 포함하고, 벨트와 결합하기 위한 결합용 클립(130)이 웨어러블 스마트 장치(10)의 일측면에 형성되어 사용자는 웨어러블 스마트 장치(10)를 사용하기 전에 결합용 클립(130)을 이용하여 자신의 밸트에 간단하게 고정부착할 수 있게 된다.

또한 웨어러블 스마트 장치(10)는 도 1의 (b)에 도시한 바와 같이 그 내부에 물이 스며드는 것을 방지하기 위한 방수수단(140)을 더 포함하여 등산과 같은 야외활동 중 비 또는 물로 인해 장치가 오동작하거나 고장나는 것을 방지하도록 구성된다. 웨어러블 스마트 장치(10)의 내부 회로에 대해서는 이하에 보다 상세하게 설명한다.

도 2는 도 1에서 설명한 웨어러블 스마트 장치(10)의 내부 구성을 나타낸 기능 블록도이다. 도 2에 도시한 바와 같이 본 발명에 따른 웨어러블 스마트 장치(10)는, 센서부(210), 프로세서(220), 위험상황 알림부(240), 통신부(230), 및 전원부(150)을 포함한다.

도 2에 도시된 실시예에서는 이해를 돕기 위해 그 기능별로 센서부, 프로세서, 통신부로 나누워 별개의 구성요소로서 설명하고 있지만 IMU 센서부(210) 및/또는 통신부(230), 무선충전부(252) 및 유선 충전부(250)의 구성요소는 프로세서(220) 내에 일체로 형성될 수도 있다.

센서부(210)는 사용자의 움직임을 감지하기 위한 적어도 하나의 IMU 센서(210)를 포함한다. IMU 센서(210)는 이동관성을 측정할 수 있는 가속도계와 회전관성을 측정할 수 있는 자이로계와 방위각을 측정할 수 있는 자계로 이루어진 하나의 통합된 센서 유닛을 지시한다. IMU 센서(210)는 3차원 공간내에서의 자유로운 움직임을 측정하기 위하여 각 센서(가속도, 자이로, 지자계)를 3축으로 구성되며, 웨어러블 스마트 장치(10)의 사용자의 자세 상태(3축상의 가속도 및 각속도)를 검출한다.

프로세서(220)는 IMU 센서(210)로부터의 센서 데이터를 측정하고 취득하기 위해 펌웨어를 포함할 수 있다. 펌웨어는 프로세서 내부 또는 외부의 메모리(222)에 포함될 수 있으며, 센서부(210)로부터의 데이터를 입력받고 통신부(230)를 통해 외부의 장치, 예를 들면 스마트폰의 어플리케이션과의 데이터 통신을 제어하고 또한 위험상황 알림부(240)를 구동하도록 구성된다.

위험상황 알림부(240)는 센서들(210)로부터의 입력 신호에 기반하여 프로세서가 위험 상황이라고 판단한 경우 이를 사용자에게 알려주기 위한 진동부(142), 위험 상황을 외부로 경고하기 위한 소리출력부(또는 부저부)(244), 및 외부에 위험 상황을 빛으로 알려주기 위한 LED(246)를 포함한다. 소리출력부(244)의 경우 바람직하게 120dB 이상의 소리를 출력하도록 설정되고, LED부(246)은 120루멘 이상의 밝기를 갖도록 설정되어 위험 상황에 처했을 때 소리 또는 빛을 통해 외부에 손쉽게 이를 알릴 수 있다.

구체적으로 위험상황 알림부(240)는 프로세서(120)로부터의 명령에 의해 실행되도록 구성되는데, 진동부(242)의 경우, 이하에 구체적으로 설명되는 바와 같이 프로세서가 센서들로부터의 신호를 판독한 후 위험상황인 것으로 판단한 경우 사용자에게 진동을 통해 위험상황에 대처하기 위한 프로세스가 실행되었음을 알려준다.

또한 프로세서(220)는 사용자에게 대한 진동 알람을 실행한 후 일정 시간 동안 사용자로부터의 응답을 대기하고, 일정시간이 지나도록 사용자로부터의 미리 정해진 위험 상황 해제 응답(예를 들면 위험 상황 해제 스위치로부터의 입력)이 오지 않는 경우 소리 출력부(144) 또는 LED부(246)를 구동시켜 알람 경보를 울리도록 동작된다.

통신부(230)는 와이파이, 블루투스, 근거리 통신, RFID, 블루투스 로우 에너지, 지그비, 또는 다른 무선 통신 기술, 또는 적외선용 인터페이스 또는 광 통신 기술과 같은 무선 또는 무접촉 통신 인터페이스를 포함할 수 있는데, 바람직하게, 본 발명에서는 블루투스 통신 모듈(232)를 포함한다.

블루투스통신 모듈(232)이 이용된 경우 웨어러블 스마트 장치(10)는 블루투스 통신을 통해 스마트폰과 1:1 페어링이 이루어지고 스마트폰에 설치된 전용 어플리케이션을 통해 본 발명에 따른 추가의 서비스(지인 알림 또는 경찰서 등 알림)가 수행될 수 있다.

통신부(230)는 전술한 바와 같이 위험 상황이 발생된 것을 외부로 알리기 위해 스마트 폰(300) 내의 전용 어플리케이션(310)과의 통신을 수행하게 된다.

웨어러블 스마트 장치(10)는 무선 충전부(252) 및 유선 충전부(254)를 더 포함한다. 무선 충전부(252)와 유선 충전부(254)는 스마트 장치(10)에 내장된 내장 배터리를 충전하도록 기능하며 과충전을 방지하기 위한 보호 회로 등을 포함할 수도 있다.

도 3은 본 발명에 따른 위험상황 판단을 위한 사용자의 행동 패턴을 분류한 도면이다. 본 발명에 따른 위험상황 판단은 전술한 바와 같이 IMU 센서(210)로부터 얻어진 데이터값에 기반한 사용자의 행동 패턴을 프로세서(120)에서 분석하는 것으로 수행된다.

도 3에 도시한 바와 같이, 본 발명에 따른 사용자의 행동 패턴은 IMU 센서(210)로부터 수신되는 신호 데이터에 의해 크게 7가지 행동 패턴으로 분류될 수 있따.

구체적으로 사용자의 행동 패턴은, 1)걷기, 2)뛰기, 3)서기 또는 앉기, 4)눕기, 5)넘어지기, 6)끌려가기, 7)발버둥 치기를 포함한다.

○ 걷기와 뛰기의 경우 x, y, z 축에 대한 가속도 크기 합, z축과 가속도 벡터의 각도, z축과 각속도 벡터의 각도가 일정한 패턴을 보임. 값이 감소 추세에서 증가추세로 변환되는 시점에서부터 1초동안의 데이터가 곡선의 형태를 보이는지 체크하고 (기울기 값의std가 2 이하), 1초 간의 최대값, 1초 간의 최소값, 데이터의 std를 특징점으로 하여 패턴 인식을 수행한다. 인식된 패턴의 1cycle 길이가 0.6초 이상이면 걷기로 판단하고 이하면 뛰기로 판단한다.

○ 서기 또는 앉기 / 눕기: 서기 또는 앉기 및 눕기 동작의 경우 같은 정적인 동작으로 분류됨. 각속도 크기가 40 이하이고 가속도 크기의 시간에 대한 std가 0.05보다 작을 경우 정적인 동작으로 분류함. 이 후 가속도 크기의 x, y, z에서 (x2+y2)/z2의 값이 1보다 작으면 서기 또는 앉기 동작으로 판단하고 1보다 크면 눕기 동작으로 판단함.

○ 넘어지기: 넘어지기 동작의 경우 눕기 동작 판별 후 눕기 1초 전부터의 행동 패턴에서 가속도 크기가 상한치 2.5g 이상, 하한치 -1.5g이하로 나온 경우 넘어지기로 판단함.

○ 끌려가기: 끌려가기의 경우 각속도 크기가 40 이상이고 가속도 크기의 시간에 대한 std가 0.05보다 크며 특정 패턴을 보이지 않을 경우 1차적으로 판단하고 이것이 5초 이상 지속될 시 끌려가기로 판단함.

○ 발버둥 치기: 발버둥치기의 경우 가속도 크기가 4g 이상이고 각속도 크기가 500 이상이며 특정 패턴을 보이지 않을 경우로 판단함

본 발명의 프로세서는 전술한 바와 같은 7가지의 사용자 행동 패턴에 기반하여 위험 상황에 대한 판단을 제공하는데, 이를 위해 프로세서에는 전술한 7가지의 사용자 행동 패턴이 미리 제공될 수 있다.

그러나 한편으로, 프로세서가 센서로부터의 데이터를 주기적으로 취득하고 취득된 센서 데이터를 통신 모듈(130)를 통해 외부의 어플리케이션(310)에 주기적으로 전송하도록 구성된 경우, 어플리케이션(310)에서 취득된 센서 데이터에 기반하여 위험 상황을 판단하도록 구성될 수도 있다.

(1) 시나리오 기반 위험 상황 판단

본 발명에서는 전술한 바와 같은 사용자 행동 패턴에 기반하여 특정 행동 패턴이 연속으로 이어지는 경우 위험 상황인 것으로 판단하는데, 다음의 예를 포함한다.

1. 서기 -> 넘어지기

1-1)서기 -> 밀쳐져서 넘어지기

1-2)서기 -> 장애물에 걸려 넘어지기

2. 서기 -> 발버둥치기 -> 넘어지기

2-1)서기 -> 뒤에서 잡혀 발버둥치기 -> 넘어지기

2-2)서기 -> 손목 잡혀 발버둥치기 -> 넘어지기

3. 서기 -> 끌려가기 -> 넘어지기

3-1)서기 -> 정신을 잃은 상태로 끌려가기 -> 넘어지기

3-2)서기 -> 들쳐 업혀져 옮겨지기 -> 넘어지기

4. 서기 -> 걷기 -> 뛰기 -> 넘어지기

4-1)서기 -> 계단 오르기 -> 계단 뛰어 올라가기 -> 넘어지기

4-2)서기 -> 뒤로 걷기 -> 빠르게 전속력 뛰기 -> 넘어지기

4-3)서기 -> 앞으로 걷기 -> 뒤로 뛰기 -> 넘어지

5. 서기 -> 발버둥치기 -> 뛰기

5-1)서기 -> 뒤에서 잡혀 발버둥치기 -> 빠르게 전속력 뛰기

5-2)서기 -> 손목 잡혀 발버둥치기 -> 빠르게 전속력 뛰기

6. 걷기 -> 넘어지기

6-1)걷기 -> 밀쳐져서 넘어지기

6-2)걷기 -> 장애물에 걸려 넘어지기

7. 걷기 -> 끌려가기

7-1)앞으로 걷기 -> 정신을 잃은 상태로 끌려가기

7-2)걷기 -> 들쳐 업혀져 옮겨지기

8. 뛰기 -> 서기 -> 끌려가기

8-1)빠르게 전속력 뛰기 -> 잡혀 서기 -> 끌려가기

8-2)빠르게 전속력 뛰기 -> 잡혀 서기 -> 들쳐 업혀져 옮겨지기

9. 뛰기 -> 눕기

빠르게 전속력 뛰기 -> 숨어 눕기

10. 넘어지기 -> 눕기

장애물에 걸려 넘어지기 -> 일어나지 못해 누워있기

밀쳐져 넘어지기 -> 일어나지 못해 누워있기

이와 같은 시나리오 기반 위험 상황의 판단은 일상생활 또는 위험상황에서 발생되는 행동패턴을 이용하여 최종 위험상황을 판단하도록 구성된다.

또한 이와 같은 시나리오 기반의 위험 상황의 판단은 위험상황시 발생되는 행동패턴의 순서에 착안된 것으로써 실시간 행동패턴의 조합을 통해 최종 위험상황을 판단하도록 변경될 수 있다.

예를 들어, 전술한 바와 같은 위험상황 "7. 걷기 -> 끌려가기" 순서로 사용자의 행동 패턴이 차례대로 감지된다면 납치와 같은 위험 상황이 발생될 수 있는 행동 패턴인 것으로 위험 상황으로 판별한다.

한편 전술한 바와 같은 위험 상황 "10. 넘어지기 -> 눕기"와 같은 행동 패턴이 발생된다면 이는 낙상에 의한 기절 또는 혼절과 같은 위험상황이 발생될 수 있는 행동 패턴인 것으로 위험 상황을 판별할 수 있다.

(2) 비정상 행동 유지시간 검출 기반 위험 상황 판단

본 발명에서는 전술한 바와 같은 시나리오 기반 위험 상황 판단 이외에도 비정상 적인 동작 행동의 유지 시간에 기반하여 위험상황을 판별하도록 구성될 수도 있다.

전술한 바와 같은 사용자의 7가지 행동 패턴은 정상 행동 패턴과 비정상 행동 패턴으로 클러스터링(clustering)될 수 있고, 비정상 행동 패턴으로 감지되었을 경우에는 유지 시간을 측정하고 미리정해진 시간까지 유지된 경우 위험상황으로 판별할 수 있다.

예를 들면, 전술한 13가지 사용자의 행동 패턴 중 걷기, 뛰기, 서기 또는 앉기는 정상적인 행동 패턴인 것으로 구별될 수 있는 반면, 나머지 행동 패턴, 즉 눕기, 넘어지기, 끌려가기, 발버둥치기는 비정상적인 행동 패턴으로 구별될 수 있다.

(3) 하이브리드 방식의 위험 상황 판단

본 발명은 전술한 바와 같은 시나리오 기반 위험 상황 판단 또는 비정상 행동 유지시간 검출 기반 위험 상황 판단 중 어느 하나로 동작될 수 있지만 본 발명은 이에 한정되는 것은 아니고 두개의 방식이 혼용되어 이용될 수도 있다.

예를 들면, 전술한 바와 같은 시나리오 기반 위험 상황이 발생된 경우,예를 들면 "뛰기 -> 서기 -> 끌려가기"와 같은 행동 패턴들이 연속적으로 검출된 경우, 미리 정해진 시간 내에 정상적인 행동 패턴으로 되돌아오는 경우 위험상황이 아닌 것으로 판단하고, 미리 정해진 시간 내에도 정상적인 행동 패턴으로 돌아오지 않는 경우 위험 상황인 것으로 판단하여 위급 메시지를 어플리케이션을 통해 외부에 전달하거나 LED 및 부저와 같은 외부 알림을 수행하도록 구성될 수 도 있다.

(4) 인공지능 (머신러닝) 알고리즘

본 발명은 전술한 바와 같은 시나리오 기반 위험 상황 판단 또는 비정상 행동 유지시간 검출 기반 위험 상황 판단 이외에도, 위험 상황 판단의 정확도를 더 높이기 위하여 머신 학습 기반의 인공지능 알고리즘이 더 이용될 수도 있다.

인공지능 알고리즘에서 프로세서에 대한 위험상황 학습은 모사 상황에 대한 시뮬레이션 실험 데이터를 통하여 수행될 수 있다.

이와 같은 인공지능 알고리즘의 입력으로는 먼저 IMU 데이터(3축 가속도 및 각속도) 정보가 이용될 수 있다.

또한 두 번째로는 인공지능 알고리즘 입력으로서는 기본 사용자 행동 패턴이 이용된다. 여기서, 사용자 행동 패턴에는 1)걷기, 2)뛰기, 3)서기 또는 앉기, 4)눕기, 5)넘어지기, 6)끌려가기, 7)발버둥 치기를 포함한다

또한 세 번째 인공지능 알고리즘 입력으로는 사용자의 행동 패턴의 순서 및 행동 패턴에서 나타나는 각 행동의 시간 등으로 이루어진 특징값이 이용될 수 있다. 여기서 행동 패턴은 전술한 바와 같은 7지의 행동패턴로 이루어지는 것이 바람직하다.

인공지능 알고리즘의 출력 데이터는 위험 상황 또는 정상 상황에 대한 확률값으로 표현될 수 있으며, 인공지능 알고리즘으로는 딥러닝 기술인 신경망(순환신경망, 웨이블릿 신경망 등), k-NN, RF, QDA 등이 사용될 수 있다.

도 4는 전술한 바와 같은 위험상황 판단시 스마트 장치의 동작 예를 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 프로세서(120)는 먼저 최초 이상 상황이 발생한 것으로 판단한 경우(1차 인터럽트 발생) 스마트 웨어러블 장치에 내장된 진동부(242)를 구동하여 착용자에게 이를 경고한다.

1차 인터럽트의 발생은 전술한 바와 같은 비정상 행동 신호로 분류되는 눕기, 넘어지기, 끌려가기, 발버둥치기에 해당하는 신호가 발생한 경우에 해당될 수 있다.

이후 시나리오 기반 위험 상황 판단 방법에서 설명한 바와 같은 위험 상황 패턴에 해당하거나 비정상 행동 유지시간 검출 기반 위험 상황에서 설명한 바와 같이 비정상 행동 패턴이 지속되는 시간 등에 기반하여 프로세서(120)는 2차 인터럽트를 발생시킨다.

2차 인터럽트에서 프로세서는 위험상황이 미리 정해진 시간 이상 지속되는지 여부 및/또는 후속하여 나타나는 패턴이 미리정해진 위험 상황 패턴에 해당하는지의 여부를 판단한다. 2차 인터럽트에서 위험 상황에 대한 조건을 충족할 경우 프로세서는 3차 인터럽트를 발생하며 부저 및 LED가 작동되고 주변에 위험 상황이 전파된다.

한편 도 4에 도시된 바와 같이 1차, 2차 인터럽트 중 위험상황에서 정상상황으로 복귀되었을 시 초기 정상상황를 모니터링하는 상태로 돌아가 지속적으로 모니터링을 수행한다.

한편 2차 인터럽트가 발생되고 위험 상황이 해소되지 않아 3차 인터럽트가 발생되고 나면 위험상황이 해소되어도 자동으로 초기화되지 않고 사용자가 직접 부저 및 LED를 작동 중지 시키도록 구성된다. 이를 위해 웨어러블 스마트 장치(10)는 위험 상황 해제를 위한 스위치를 더 포함할 수도 있다.

또한 위험 상황 발생은 전술한 바와 같은 데이터 기반 위험 상황 자동 감지뿐만 아니라 별도의 스위치를 통해 수동으로 작동시킬 수 있도록 더 구성될 수도 있다.

또한 이상 행동 패턴의 지속 시간이 미리 정해져 있는 시간, 즉 대략 20초 내지 60초 바람직하게는 25 내지 45초의 범위 내에서 계속 유지되고 정상적인 행동 패턴으로 되돌아오지 않는 경우, 프로세서(120)는 사용자가 위험 상황에 놓인 것으로 판단하고 이어서 블루투스 통신을 통해 사용자의 휴대폰에 설치된 어플리케이션에 위급 상황 알림 명령을 지시하고, 사용자의 휴대폰에 설치된 어플리케이션은 어플리케이션을 통해 미리 지정되어 있는 연락처 또는 119 구조대 등에 위급 메시지를 전달하도록 동작할 수 있다.

이상 본 발명의 바람직한 실시예에 대해 설명하였지만 본 발명은 이에 한정되는 것은 아니라는 것은 당업자에게 자명하다. 본 발명에서는 전술한 바와 같은 13가지의 사용자 행동 패턴을 기반하여 본 발명을 설명하고 있지만, 이는 사용자의 이해를 돕기 위한 하나의 일례에 지나지 않는다.

본 발명의 제안된 장치로부터 획득된 센서의 데이터는, 머신러닝 알고리즘을 통해 보다 구체적인 행동 패턴으로 더욱 세분화되어 분류될 수 있다는 것은 당업자에게 자명하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아닌 설명을 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서 본 발명의 보호 범위는 전술한 실시예에 의해 제한되기 보다는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 스마트 장치
210: IMU 센서 220: 프로세서
222: 메모리 230: 통신부
232: 블루투스 통신 모듈 242: 진동부
244: 소리출려부(부저) 246: LED
250: 전원부 252: 무선충전부
254: 유선충전부

Claims (11)

1. 사용자의 행동에 기반한 신호를 검출하기 위한 센서부; 상기 센서부로부터의 신호를 수신하기 위한 프로세서를 포함하고,
   상기 센서부는, 3축으로 구성되어 사용자의 3축상의 가속도 및 각속도를 포함하는 자세 검출하기 위한 적어도 하나의 IMU(Inertial Measurement Unit)를 포함하고,
   상기 프로세서는 상기 IMU 센서로부터 출력되는 3축값에 기반하여 사용자의 위험 상황을 판단하도록 구성되고
   스마트 웨어러블 장치는, 사용자에게 위험 상황을 진동을 통해 알려주기 위한 진동부 및 소리를 통해 사용자의 위험 상황을 외부에 알리기 위한 소리 출력부를 포함하고,
   상기 프로세서에는 사용자의 동작에 기반한 복수의 사용자 행동 패턴이 더 저장되고, 사용자 행동 패턴은, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 그룹으로부터 선택되는 하나 이상의 연속되는 사용자 행동 패턴을 포함하며,
   상기 프로세서는, 각속도 크기가 40 이상이고 가속도 크기의 시간에 대한 std가 0.05보다 크며 특정 패턴을 보이지 않을 경우 1차적으로 판단하고 5초 이상 지속될 시 끌려가기 사용자 행동 패턴으로 판단하고,
   상기 프로세서는, 가속도 크기가 4g 이상이고 각속도 크기가 500 이상이며 특정 패턴을 보이지 않을 경우 발버둥 치기 사용자 행동 패턴으로 판단하는 것을 특징으로 하는 웨어러블 스마트 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 프로세서는, 사용자 행동 패턴이,
   1. 서기 -> 넘어지기,
   2. 서기 -> 발버둥치기 -> 넘어지기
   3. 서기 -> 끌려가기 -> 넘어지기
   4. 서기 -> 걷기 -> 뛰기 -> 넘어지기
   5. 서기 -> 발버둥치기 -> 뛰기
   6. 걷기 -> 넘어지기
   7. 걷기 -> 끌려가기
   8. 뛰기 -> 서기 -> 끌려가기
   9. 뛰기 -> 눕기
   10. 넘어지기 -> 눕기
   중 어느 하나로 순차적으로 진행되는 경우 위험 상황 행동 패턴인 것으로 판단하는 웨어러블 스마트 장치.
   
5. 제4항에 있어서,
   상기 프로세서는, 상기 센서부로부터 입력되는 센서 신호가 수신되면 수신된 센서 신호를 상기 사용자 행동 패턴들 중 어느 것에 해당하는지를 분석하고, 분석된 행동 패턴이 미리정해진 비정상 행동 패턴인 경우, 비정상 행동 패턴이 지속된 시간을 카운트하고, 비정상 행동 패턴이 미리 정해진 시간을 초과하여 지속되는 경우 위험 상황인 것으로 판단하고,
   상기 비정상 행동 패턴은, 눕기, 넘어지기, 끌려가기, 발버둥치기 행동 패턴중 하나인 웨어러블 스마트 장치.
   
6. 위험 상황 판단 방법에 있어서,
   사용자의 자세를 검출하기 위해 적어도 하나의 IMU(Inertial Measurement Unit) 센서를 포함하는 웨어러블 스마트 장치를 사용자에게 제공하는 단계;
   상기 IMU 센서를 이용하여 사용자의 행동에 따른 복수의 사용자 행동 패턴을 정의하는 단계;
   상기 IMU 센서로부터 실시간으로 센서 데이터를 입력받는 단계;
   상기 IMU 센서로부터 입력된 센서 데이터로부터 매칭되는 사용자 행동 패턴을 찾기 위해 입력되는 센서 데이터를 분석하는 단계;
   상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계를 포함하고,
   상기 사용자 행동 패턴은, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 그룹으로부터 선택되는 하나 이상의 연속되는 사용자 행동 패턴을 포함하고,
   상기 끌려가기 사용자 행동 패턴은, 각속도 크기가 40 이상이고 가속도 크기의 시간에 대한 std가 0.05보다 크며 특정 패턴을 보이지 않고 5초 이상 지속되는 것으로 정의되고,
   상기 발버둥 치기 사용자 행동 패턴는 가속도 크기가 4g 이상이고 각속도 크기가 500 이상이며 특정 패턴을 보이지 않는 것으로 정의되는 위험 상황 판단 방법.
   
7. 삭제
8. 제6항에 있어서,
   상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는,
   분석된 사용자 행동 패턴이,
   1. 서기 -> 넘어지기,
   2. 서기 -> 발버둥치기 -> 넘어지기
   3. 서기 -> 끌려가기 -> 넘어지기
   4. 서기 -> 걷기 -> 뛰기 -> 넘어지기
   5. 서기 -> 발버둥치기 -> 뛰기
   6. 걷기 -> 넘어지기
   7. 걷기 -> 끌려가기
   8. 뛰기 -> 서기 -> 끌려가기
   9. 뛰기 -> 눕기
   10. 넘어지기 -> 눕기
   중 어느 하나로 순차적으로 진행되는 경우 위험 상황 행동 패턴인 것으로 판단하는 위험 상황 판단 방법.
   
9. 제8항에 있어서,
   상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는,
   분석된 사용자 행동 패턴이 미리 정해진 비정상 행동 패턴에 대응하는지 판별하는 단계;
   비정상 행동 패턴에 대응하는 경우, 비정상 행동 패턴이 지속된 시간을 카운트하는 단계; 및
   카운트된 시간이 미리 정해진 시간을 초과하여 지속되는 경우 위험 상황인 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 위험 상황 판단 방법.
   
10. 제9항에 있어서,
    상기 비정상 행동 패턴은,
    눕기, 넘어지기, 끌려가기, 발버둥치기 행동 패턴중 하나인 것을 특징으로 하는 위험 상황 판단 방법.
    
11. 제10항에 있어서,
    상기 분석된 사용자 행동 패턴에 기반하여 사용자의 위험 상황을 판단하는 단계는, 머신 학습 기반의 인공지능 알고리즘에 의해 수행되고,
    상기 머신 학습 기반의 인공지능 알고리즘은,
    적어도 하나의 IMU 센서로부터의 센서 정보와,
    상기 사용자 행동 패턴으로서, 걷기, 뛰기, 서기 또는 앉기, 눕기, 넘어지기, 끌려가기 및 발버둥 치기로 이루어진 사용자 행동 패턴 정보와,
    사용자의 행동 패턴의 순서; 및
    사용자 행동 패턴에서 나타나는 각 행동의 시간으로 이루어지는 입력 정보에 의해 학습되는 것을 특징으로 하는 위험 상황 판단 방법.

Images