KR101584458B1 - 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법 - Google Patents

혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법 Download PDF

Info

Publication number
KR101584458B1
KR101584458B1 KR1020140174075A KR20140174075A KR101584458B1 KR 101584458 B1 KR101584458 B1 KR 101584458B1 KR 1020140174075 A KR1020140174075 A KR 1020140174075A KR 20140174075 A KR20140174075 A KR 20140174075A KR 101584458 B1 KR101584458 B1 KR 101584458B1
Authority
KR
South Korea
Prior art keywords
sensor data
posture
mixed
data
training
Prior art date
Application number
KR1020140174075A
Other languages
English (en)
Inventor
이승룡
이호성
방재훈
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140174075A priority Critical patent/KR101584458B1/ko
Application granted granted Critical
Publication of KR101584458B1 publication Critical patent/KR101584458B1/ko

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

고정식 센서 및 비고정식 센서의 혼합 센서 데이터를 이용하여 사용자의 행위 및 자세를 인지하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법을 제공하여 다양한 환경에서의 사용자의 행위 및 자세를 보다 정확하게 인지할 수 있다.

Description

혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법{APPARATUS AND METHOD FOR REAL-TIME RECOGNITION OF ACTIVITY AND POSTURE BASED ON COMBINED SENSOR DATA}
본 발명은 실시간 행위인지 및 자세인지 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 고정식 센서 및 비고정식 센서의 혼합 센서 데이터를 기반으로 실시간으로 행위 및 자세를 인지하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법에 관한 것이다.
고성능의 센서들이 집적된 스마트폰과 웨어러블 디바이스와 같은 모바일 컴퓨팅 기술의 획기적인 발전으로 인하여 이러한 모바일 플랫폼을 대상으로 하는 행위인지 및 자세인지 기술이 활발히 진행되고 있다.
기존 행위인지 기술은 지속적인 움직임에 따른 고유 패턴을 포착하여 행위를 인지하는 반면, 자세인지 기술은 급격한 순간 변화나 신체 방향의 변화를 포착하여 자세를 인지하는 방법을 사용하여, 서로 다른 동작 특성에 따라 행위인지 및 자세인지 기술은 각각에 적합한 기법을 차용하여 개별적인 연구가 진행되어 왔다.
즉, 종래의 행위나 자세를 인지하기 위한 일반적인 방법은 사용자가 휴대한 모바일 기기의 가속도, 자이로스코프 혹은 GPS와 같은 센서들의 데이터를 수집, 분석하여 신체 움직임에 따라 변화하는 고유의 특징과 패턴들을 포착하는 것이다.
이러한 종래의 기술들은 각각의 방법론에 따라 신체의 곳곳에 고정식 센서를 부착하여 보다 높은 성능으로 많은 신체 움직임을 포착 가능한 최적의 인지 방법을 찾아내거나, 최근에는 스마트폰과 같은 비고정식 센서를 이용하여 신체 움직임에 따른 진동 패턴을 포착하는 수준에 불과하였다.
즉, 종래의 기술들에 사용되는 신체의 고정식 센서 및 비고정식 센서들은 각각 두드러진 장단점과 특징을 가지고 있고, 이를 적합한 상황에 적용할 때 최적의 인지 성능을 보이는 한계가 존재하였다.
예를 들어, 지속적인 움직임 패턴을 가진 행위인지와, 급격한 움직임 변화를 포착하는 자세인지 연구는 서로 다른 동작 특성에 따라 각각에 적합한 기법을 차용하여 개별적으로 연구되거나, 행위와 자세인지를 통합한 모델에서는 다소 낮은 성능을 보이는 한계가 존재하는 문제점이 있었다.
미국 공개특허공보 공개번호 제2014-0128778호 대한민국 공개특허공보 공개번호 제10-2014-0039422호 대한민국 공개특허공보 공개번호 제10-2014-0116632호
본 발명은 신체의 비고정식 센서 및 고정식 센서의 센서 데이터를 혼합한 혼합 센서 데이터 기반으로 사용자의 행위 및 자세를 동시에 인지할 수 있는 개선된 실시간 행위인지 및 자세인지 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 각각의 장점을 혼합한 최소 수의 고정식 센서 및 비고정식 센서를 이용하여 다양한 실시 환경에서의 사용자의 움직임을 실시간으로 인지할 수 있는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법을 제공하고자 한다.
일 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 비고정식 센서부 및 고정식 센서부로부터 각각 수신된 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득하는 윈도우잉부, 상기 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 상기 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 상기 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정하는 인지모델결정부 및 상기 스트림 데이터에 대하여 상기 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력하는 행위 및 자세 분류부를 포함한다.
상기 인지모델결정부는 상기 획득된 훈련 데이터에 대하여 상기 혼합 센서 데이터로 혼합하는 혼합데이터 처리부를 포함할 수 있다.
상기 인지모델결정부는 상기 혼합 센서 데이터를 기반으로 상기 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM,)과, 상기 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출하는 행위인지 특징추출부를 더 포함할 수 있다.
상기 인지모델결정부는 상기 혼합 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와, 상기 수직 신호 패턴 및 상기 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출하는 자세인지 특징추출부를 더 포함할 수 있다.
상기 인지모델결정부는 상기 행위인지 특징정보 및 상기 자세인지 특징 정보를 기반으로 상기 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행하는 훈련 및 검증부를 더 포함할 수 있다.
상기 인지모델결정부는 상기 훈련 및 검증 프로세스를 통하여 상기 행위인지 특징정보 및 상기 자세인지 특징 정보에 대응하는 인지모델을 선택하는 인지모델선택부를 더 포함할 수 있다.
상기 축 간 상관관계는 상기 수직 신호 패턴 및 상기 수평 신호 패턴에 대한 공분산(covariance), 표준편차(Standard deviation) 및 평균값(mean) 중 적어도 어느 하나를 이용하여 연산될 수 있다.
상기 인지모델결정부는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 적용한 훈련 데이터에 대하여 상기 혼합 데이터로 처리할 수 있다.
일 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법은 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득하는 단계, 상기 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 상기 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 상기 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정하는 단계 및 상기 스트림 데이터에 대하여 상기 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력하는 단계를 포함한다.
상기 인지모델을 결정하는 단계는 상기 획득된 훈련 데이터에 대하여 상기 혼합 센서 데이터로 혼합하는 단계를 포함할 수 있다.
상기 인지모델을 결정하는 단계는 상기 혼합 센서 데이터를 기반으로 상기 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM,)과, 상기 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출하는 단계를 더 포함할 수 있다.
상기 인지모델을 결정하는 단계는 상기 혼합 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와, 상기 수직 신호 패턴 및 상기 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출하는 단계를 더 포함할 수 있다.
상기 인지모델을 결정하는 단계는 상기 행위인지 특징정보 및 상기 자세인지 특징 정보를 기반으로 상기 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행하는 단계를 더 포함할 수 있다.
상기 인지모델을 결정하는 단계는 상기 훈련 및 검증 프로세스를 통하여 상기 행위인지 특징정보 및 상기 자세인지 특징 정보에 대응하는 인지모델을 선택하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 최근 부각되는 스마트폰(비고정식 센서)과 웨어러블 디바이스(고정식 센서)의 센서 데이터를 함께 고려하여 사용자의 행위 및 자세를 동시에 인지할 수 있다.
또한, 본 발명의 실시예에 따르면, 고정식 센서 및 비고정식 센서의 최소 수의 센서를 이용하여 다양한 실시 환경에서의 사용자의 움직임을 실시간으로 인지할 수 있다.
도 1은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 구성을 설명하기 위해 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 인지모델결정부를 설명하기 위하여 도시한 블록도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 처리된 행위인지 신호 패턴을 도시한 것이다.
도 5는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 처리된 자세인지 신호 패턴을 도시한 것이다.
도 6a은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 비고정식 센서 데이터에 고속 푸리에 변환을 적용하기 전 신호 결과를 도시한 것이고, 도 6b는 비고정식 센서 데이터의 샘플링 구간별 고속 푸리에 변환을 적용하여 발생한 신호 결과를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 통하여 처리된 분류 알고리즘별 결과 데이터를 도시한 것이다.
도 9 및 도 10은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용하여 테스트한 결과를 도시한 것이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 구성을 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치(100)는 비고정식 센서(210) 및 고정식 센서(220)로부터 비고정식 센서 데이터 및 고정식 센서 데이터를 각각 수신하고, 수신된 비고정식 센서 데이터 및 고정식 센서 데이터를 기반으로 훈련 데이터를 획득하며, 획득된 훈련 데이터로부터 특징 정보를 추출 및 선택하고, 훈련과 검증을 통하여 인지모델을 결정하며, 결정된 인지모델을 기반으로 실시간 획득 데이터에 대하여 사용자의 행위 및 자세를 인지하여 분류 결과를 도출한다.
이를 위해, 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치(100)는 윈도우잉부(110), 인지모델결정부(120) 및 행위 및 자세 분류부(130)를 포함한다.
윈도잉부(110)는 비고정식 센서(210) 및 고정식 센서(220)로부터 비고정식 센서 데이터 및 고정식 센서 데이터를 수신하여 수신된 비고정식 센서 데이터 및 고정식 센서 데이터로부터 훈련데이터를 획득하고, 인지모델결정부(120)는 윈도우잉부(110)로부터 훈련 데이터로부터 특징 정보를 추출하고 선택하여 훈련과 검증을 통하여 인지모델을 결정하며, 행위 및 자세 분류부(130)는 결정된 인지모델을 기반으로 사용자의 행위와 자세에 대한 분류 결과를 제공한다.
본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치(100)의 비고정식 센서부(210)는 사용자가 소지할 수 있는 스마트폰과 같은 비고정식 센서를 포함하는 장치일 수 있다.
또한, 비고정식 센서부(210)는 스마트폰, 태블릿 PC, 휴대용 스마트 단말기 및 휴대용 센서 기기 중 적어도 어느 하나일 수 있다.
또한, 실시예에 따른 고정식 센서부(220)는 사용자의 손목 밴드형 및 시계형 웨어러블 장치와 같이 고정식 센서를 포함하는 장치일 수 있다.
또한, 고정식 센서부(220)는 웨어러블 디바이스, 휴대용 센서 부착 기기, 안경이나 손목에 착용하는 기기 및 밴드형 기기 중 적어도 어느 하나일 수 있다.
윈도우잉부(110)는 비고정식 센서부(210) 및 고정식 센서부(220)로부터 각각 수신된 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득한다.
예를 들면, 윈도우잉부(110)는 비고정식 센서부(210) 및 고정식 센서부(220)로부터 수신된 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터의 샘플링 주기(Sampling rate)를 구간별로 나누어 데이터를 획득할 수 있고, 획득된 데이터를 동기화하여 훈련 데이터의 집합을 획득할 수 있다.
윈도우잉부(110)에 의해 획득된 훈련 데이터는 인지모델결정부(120)로 전송될 수 있다.
인지모델결정부(120)는 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정한다.
실시예에 따라 인지모델결정부(120)는 비고정식 센서 데이터의 고유 진동 패턴 및 고정식 센서 데이터의 수직과 수평 신호에 대한 진동 패턴을 혼합하여 행위인지모델을 결정할 수 있다.
또한, 인지모델결정부(120)는 비고정식 센서 데이터와 고정식 센서 데이터의 수직 및 수평 신호 패턴의 상관관계와 축 간 상관관계의 특징을 활용하여 자세인지모델을 결정할 수 있다.
행위 및 자세 분류부(130)는 스트림 데이터에 대하여 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력한다.
행위 및 자세 분류부(130)는 결정된 인지모델을 기반으로 윈도우잉부(110)를 통해 수신되는 비고정식 센서 데이터 및 고정식 센서 데이터의 실시간 사용자의 행위인지 및 자세인지를 분류할 수 있다.
또한, 행위 및 자세 분류부(130)를 통해 출력된 사용자의 행위 및 자세에 대한 분류 결과를 기반으로 실시간 사용자의 행위 및 자세를 인지할 수 있다.
도 2는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 인지모델결정부를 설명하기 위하여 도시한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 인지모델결정부(120)는 혼합 데이터 처리부(121), 행위인지 특징추출부(122), 자세인지 특징추출부(123), 훈련 및 검증부(124) 및 인지모델선택부(125)를 포함한다.
본 발명의 실시예에 따른 인지모델결정부(120)는 윈도우잉부(110)로부터 훈련 데이터를 수신하고, 수신된 훈련 데이터를 기반으로 혼합 센서 데이터를 획득하며, 획득된 혼합 센서 데이터를 이용하여 행위인지 및 자세인지의 특징 정보를 추출하고, 추출된 행위인지 및 자세인지의 특징정보를 기반으로 인지모델을 결정한다.
혼합데이터 처리부(121)는 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 혼합할 수 있다.
또한, 혼합데이터 처리부(121)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 적용한 훈련 데이터에 대하여 혼합 데이터로 처리할 수 있다.
예를 들어, 혼합데이터 처리부(121)는 획득된 훈련 데이터의 각 샘플링 구간별 고속 푸리에 변환을 적용하여 주파수 도메인에서의 패턴을 얻어낼 수 있다.
행위인지 특징추출부(122)는 혼합 센서 데이터를 기반으로 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM)과 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출할 수 있다.
구체적으로, 행위인지 특징추출부(122)는 고정식 센서부(220)에 포함되어 있는 가속도 센서로부터 수직 및 수평 신호를 추출할 수 있다.
행위인지 특징 추출부(122)는 고정식 센서 데이터로부터 수직 및 수평 신호를 추출하기 위해, [수학식 1]과 같이 고정식 센서 데이터의 3차원 벡터 ai를 이용하여, 각 샘플링 구간별 평균 벡터 v를 산출할 수 있다.
[수학식 1]
ai = (xi, yi, zi), (i=1,2,....,N)
v = (mx, my, mz)
di = ai - v
여기서, xi는 i번째 샘플링 데이터에 대한 x축의 좌표값, yi는 y축의 좌표값, zi는 z축의 좌표값을 의미하고, mx는 x축의 샘플링 구간의 데이터값, my는 y축의 샘플링 구간의 데이터값, mz는 z축의 샘플링 구간의 데이터값을 의미한다. 또한, di는 3차원 벡터에서 각 샘플링 구간별 평균 벡터를 뺀 값을 의미한다.
또한, 행위인지 특징 추출부(122)는 [수학식 2] 와 같이 동일한 샘플링 구간 내의 각 벡터 ai에서 구간 평균 벡터 v를 뺀 di를 도출한 후, 도출한 di를 기반으로 벡터의 내적(vector dot product)을 이용하여 수직(Vertical) 성분인 pi를 산출할 수 있고, di와의 벡터 뺄셈(vector sub-traction)을 통해 수평(Horizontal) 성분 hi를 산출할 수 있다.
[수학식 2]
di = (xi-mx, yi-my, zi-mz)
Figure 112014118711727-pat00001
hi = di - pi
여기서, pi는 고정식 센서 데이터의 수직 성분을 의미하고, hi는 고정식 센서 데이터의 수평 성분을 의미한다.
자세인지 특징추출부(123)는 혼합 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와 수직 신호 패턴 및 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출할 수 있다.
또한, 자세인지 특징추출부(123)는 [수학식 3]을 이용하여 혼합된 수직 및 수평 방향 패턴에 대한 축 간 상관관계(Correlation between each axis)를 도출할 수 있다.
[수학식 3]
Figure 112014118711727-pat00002
Figure 112014118711727-pat00003
여기서, V, H는 각각 수직 및 수평 속성을 나타내고, α, β는 각각 비고정식 센서와 고정식 센서를 의미한다.
실시예에 따라서, 자세인지 특징 추출부(123)는 [수학식 3]의 상관관계 도출을 위해 공분산(convariance), 표준편차(Standard deviation) 및 평균값(mean) 중 적어도 어느 하나의 수학식을 이용하여 혼합 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴의 축 간 상관관계를 도출할 수 있다.
상기 공분산(covatiance)의 수학식은 [수학식 4] 와 같다.
[수학식 4]
Figure 112014118711727-pat00004
Figure 112014118711727-pat00005
또한, 표준편차(Standard deviation)의 수학식은 [수학식 5] 와 같다.
[수학식 5]
Figure 112014118711727-pat00006
Figure 112014118711727-pat00007
또한, 평균값(mean)의 수학식은 [수학식 6] 과 같다.
[수학식 6]
Figure 112014118711727-pat00008
Figure 112014118711727-pat00009

훈련 및 검증부(124)는 행위인지 특징정보 및 자세인지 특징 정보를 기반으로 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행할 수 있다. 상세하게는 훈련 및 검증부(124)는 훈련 데이터의 집합을 이용하여 혼합 데이터 처리 알고리즘을 통해 훈련 및 검증 프로세스를 수행할 수 있다.
인지모델선택부(125)는 훈련 및 검증 프로세스를 통하여 행위인지 특징정보 및 자세인지 특징 정보에 대응하는 인지모델을 선택할 수 있다.
예를 들면, 인지모델선택부(125)는 사용자의 걷기, 뛰기, 정지, 자전거타기, 서기, 앉기, 눕기 및 교통수단 탑승과 같은 행위 및 자세 각각에 대한 데이터를 구축한 인지모델을 포함할 수 있다.
도 3 및 도 4는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 처리된 행위인지 신호 패턴을 도시한 것이다.
도 3은 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 빠른 워킹(walking (fast)), 느린 워킹(walking (slow)), 빠른 러닝(running (fast)) 및 느린 러닝(running (slow))의 행위 동작 특성에 기반한 고유 진동 패턴, 수직 방향 패턴 및 수평 방향 패턴의 결과 데이터를 도시한 것이다.
도 3을 참조하면, 빠른 워킹, 느린 워킹, 빠른 러닝 및 느린 러닝의 동작에 따른 고유 진동 패턴, 수직 및 수평 방향 패턴 결과는 빠른 워킹에서의 수직 및 수평 방향 패턴과 느린 워킹에서의 수직 및 수평 방향 패턴이 유사하게 나타난다.
또한, 빠른 러닝에서의 수직 및 수평 방향 패턴과 느린 러닝에서의 수직 및 수평 방향 패턴의 결과가 유사하게 나타난다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 고정식 센서 데이터의 수직 및 수평 방향 패턴만을 이용하여 행위를 인지할 경우, 행위 강도에 따른 신호의 혼잡 문제가 발생할 수 있다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 도 3에 도시된 바와 같은, 비고정식 센서 데이터의 고유 진통 패턴과 고정식 센서 데이터의 수직 및 수평 방향 패턴을 동시에 사용함으로써, 빠른 워킹, 느린 워킹, 빠른 러닝 및 느린 러닝과 같은 행위 강도에 따른 신호 혼잡 문제를 해결할 수 있고, 보다 효과적으로 행위 간에 구분이 가능한 특징 정보를 획득할 수 있다.
도 4는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 워킹(walking), 러닝(running) 및 자전거 타기(cycling) 시 사용자의 행위 동작 특성에 기반한 고유 진동 패턴, 수직 방향 패턴 및 수평 방향 패턴의 결과 데이터를 도시한 것이다.
도 4를 참조하면, 워킹, 러닝 및 자전거 타기의 동작에 따른 고유 진동 패턴, 수직 및 수평 방향 패턴 결과는 워킹, 러닝 및 자전거 타기의 행위 동작에서의 고유 진동 패턴이 유사하게 나타난다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 비고정식 센서의 고유 진동 패턴만을 이용하여 행위를 인지할 경우, 다양한 행위에 따른 신호의 혼잡 문제가 발생할 수 있다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 도 4에 도시된 바와 같은, 비고정식 센서 데이터의 고유 진동 패턴과 고정식 센서 데이터의 수직 및 수평 방향 패턴을 동시에 사용함으로써, 워킹, 러닝 및 자전거 타기와 같은 다양한 행위에 따른 신호 혼잡 문제를 해결할 수 있고, 보다 효과적으로 행위 간에 구분이 가능한 특징 정보를 획득할 수 있다.
도 5는 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 처리된 자세인지 신호 패턴을 도시한 것이다.
보다 상세하게는, 도 5는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 혼합 데이터를 이용하여 서기, 앉기 및 눕기의 자세 동작 특성에 기반한 비고정식 센서 데이터와, 고정식 센서 데이터의 수직 및 수평 방향 패턴의 결과 데이터를 도시한 것이다.
또한, 도 5를 참조하면, 서기, 앉기 및 눕기에 대한 비고정식 센서 데이터 및 고정식 센서 데이터의 수직 방향 패턴의 결과를 좌측 영역에 도시하였고, 비고정식 센서 데이터 및 고정식 센서 데이터의 수평 방향 패턴의 결과를 우측 영역에 도시하였다.
도 5에 도시된 바와 같이, 서기, 앉기 및 눕기의 자세에 따른 비고정식 센서 데이터와 고정식 센서 데이터의 수직 및 수평 방향 패턴 결과는 세 가지의 자세 각각에 따라 상이한 패턴을 포함한다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 도 5에 도시된 바와 같은, 비고정식 센서 데이터와 고정식 센서 데이터의 수직 및 수평 방향 패턴을 동시에 사용함으로써, 서기, 앉기 및 눕기와 같은 자세에 대해 보다 효과적으로 자세 간의 구분이 가능한 특징 정보를 획득할 수 있다.
도 6a은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 비고정식 센서 데이터에 고속 푸리에 변환을 적용하기 전 신호 결과를 도시한 것이고, 도 6b는 비고정식 센서 데이터의 샘플링 구간별 고속 푸리에 변환을 적용하여 발생한 신호 결과를 도시한 것이다.
도 6a는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 비고정식 센서 데이터의 고유 진동 패턴을 이용하여 서기, 앉기 및 교통수단 탑승 여부와 같은 사용자의 자세 동작 특성에 기반한 결과 데이터를 나타낸다.
도 6a를 참조하면, 서기, 앉기 및 교통수단 탑승 여부의 자세 동작에 따른 비고정식 센서 데이터만의 고유 진동 패턴 결과는 교통수단 탑승 시 발생하는 차량의 진동 패턴과 서기 및 앉기에 대한 일상적인 신체 움직임 패턴이 서로 혼동되어 신호의 혼잡 문제가 발생한다. 여기서, 교통수단은 버스, 지하철 및 자가용 중 적어도 어느 하나일 수 있다.
도 6b는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 비고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 구간별 고속 푸리에 변환(Fast Fourier Transform, FFT)을 적용하여 주파수 도메인에서의 패턴을 획득하고, 획득된 주파수 도메인에서의 패턴을 적용한 결과 데이터를 나타낸다.
도 6b를 참조하면, 서기, 앉기 및 교통수단 탑승 여부의 자세 동작에 따른 고속 푸리에 변환을 적용한 주파수 도메인 패턴 결과는 사용자의 서기, 앉기 및 교통수단 탑승 여부의 각 자세에 대해 상이한 주파수 패턴을 나타낸다.
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 도 6b에 도시된 바와 같은, 비고정식 센서 데이터의 고유 진동 패턴 및 고속 푸리에 변환을 적용한 주파수 도메인에서의 패턴을 함께 활용함으로써, 서기, 앉기 및 교통수단 탑승 여부의 자세에 대해 보다 효과적으로 자세 간의 구분이 가능한 특징 정보를 획득할 수 있다.
도 7은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법은 단계 710에서 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득한다.
예를 들면, 단계 710은 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터의 샘플링 주기(Sampling rate)를 50Hz로 일치시키고 3초, 150개의 샘플링 구간을 취하여 매 구간별로 데이터를 획득할 수 있고, 획득된 데이터를 동기화하여 훈련 데이터의 집합을 획득할 수 있다.
이후, 단계 720에서 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정한다.
또한, 단계 720은 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 혼합하는 단계를 포함할 수 있고, 이는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 적용한 훈련 데이터에 대하여 혼합 데이터로 처리하는 단계일 수 있다.
실시예에 따라, 혼합하는 단계는 차량의 진동 패턴과 서기 및 앉기의 일상적인 신체 움직임 패턴의 혼동을 방지하기 위하여 각 샘플링 구간별 고속 푸리에 변환을 적용하여 주파수 도메인에서의 패턴을 추출하여 포함할 수 있다.
또한, 단계 720은 혼합 센서 데이터를 기반으로 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM)과, 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출하는 단계를 더 포함할 수 있다.
행위인지 특징정보를 추출하는 단계는 고정식 센서에 포함되어 있는 가속도 센서로부터 수직 및 수평 신호를 추출하는 방법을 사용할 수 있다.
또한, 단계 720은 혼합 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와, 수직 신호 패턴 및 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출하는 단계를 더 포함할 수 있다.
자세인지 특징정보를 추출하는 단계는 혼합된 수직 및 수평 방향 패턴에 대한 축 간 상관관계를 도출하여 자세인지를 위한 특징정보를 추출할 수 있다.
상기 축 간 상관관계는 수직 신호 패턴 및 수평 신호 패턴에 대한 공분산(convariance), 표준편차(Standard deviation) 및 평균값(mean) 중 적어도 어느 하나를 이용하여 연산될 수 있다.
또한, 단계 720은 행위인지 특징정보 및 자세인지 특징 정보를 기반으로 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행하는 단계를 더 포함할 수 있다.
훈련 및 검증 프로세스를 수행하는 단계는 훈련 데이터의 집합을 이용하여 혼합 데이터 처리 알고리즘을 통해 훈련 및 검증 프로세스를 수행할 수 있다.
또한, 단계 720은 훈련 및 검증 프로세스를 통하여 행위인지 특징정보 및 자세인지 특징 정보에 대응하는 인지모델을 선택하는 단계를 더 포함할 수 있다.
실시예에 따라, 인지모델을 선택하는 단계는 사용자의 행위 및 자세에 대한 인지모델 데이터를 구축할 수 있다.
예를 들면, 인지모델을 선택하는 단계는 사용자의 걷기, 뛰기, 정지, 자전거타기, 서기, 앉기, 눕기 및 교통수단 탑승과 같은 행위 및 자세 각각에 대한 데이터를 구축한 인지모델을 포함할 수 있다.
이후, 단계 730에서 스트림 데이터에 대하여 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력한다.
단계 730은 결정된 인지모델을 기반으로 비고정식 센서 데이터 및 고정식 센서 데이터의 실시간 사용자의 행위인지 및 자세인지를 분류할 수 있다.
또한, 단계 730를 통해 출력된 분류 결과를 기반으로 실시간 사용자의 행위 및 자세를 인지할 수 있다.
이하에서는 본 발명의 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 성능 평가를 위한 실시예를 설명하기로 한다.
[실시예]
혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치의 성능 평가를 위한 실험을 진행하였으며, 실험 결과에 대한 비교 및 성능을 나타낸다.
성능 평가를 진행하기 위한 실험 조건으로 비고정식 센서부는 삼성전자의 갤럭시 S3 스마트폰을 사용하였고, 고정식 센서부는 쉬머(Shimmer) 웨어러블 디바이스를 사용하였으며, 쉬머 웨어러블 디바이스는 좌측 손목에 위치시키고, 갤럭시 S3 스마트폰은 좌우 바지 주머니 또는 자전거 타기의 경우, 상의 재킷의 주머니에 위치시켰다.
또한, 갤럭시 S3 스마트폰과 쉬머 웨어러블 디바이스 간 데이터 송수신을 위하여 블루투스 통신을 활용하였다.
실험 과정은 20대 중후반의 남겨 9명(남자 8, 여자 1)으로 구성된 모집단을 대상으로 수행되었으며, 피험자별로 약 5~10분 동안 각 행위와 자세를 지속하는 방법으로 데이터를 수집하였다.
데이터 수집은 언덕이나 내리막길을 제외한 평탄한 장소에서 임의적으로 이루어졌으며, 실험의 대상이 되는 행위는 빠른 워킹(5~6km/h), 느린 워킹(4~5km/h), 빠른 러닝(12~14km/h), 느린 러닝(8~10km/h) 및 자전거 타기(10~12km/h)이며, 자세는 서기, 앉기, 눕기 그리고 교통수단 탑승으로 총 9개의 행위 및 자세를 인지한다.
또한, 샘플 데이터 수집은 안드로이드 스마트폰 애플리케이션을 활용하였다.
본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용한 실험 결과를 아래의 표에 나타내었다.
[표 1]
Figure 112014118711727-pat00010

표 1을 참조하면, 본 발명의 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용한 행위 인지 실험 결과는 빠른 워킹(walking (fast))에서 약 97%의 인지 정확도를 보였고, 느린 워킹(walking (slow))에서 100%의 인지 정확도를 보였으며, 빠른 러닝(running (fast))에서 약 91%의 인지 정확도를 보였고, 느린 러닝(running (slow))에서 100%의 인지 정확도를 보였으며, 자전거 타기에서는 약 91%의 인지 정확도를 보였다.
본 발명의 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용한 행위 인지 실험 결과는 평균 약 96%의 높은 행위 인지 정확도를 보였다.
다시 표 1을 참조하면, 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용한 자세 인지 실험 결과는 서기는 100%의 인지 정확도를 보였고, 앉기는 약 60%의 인지 정확도를 보였으며, 눕기는 약 99%의 인지 정확도를 보였고, 교통수단 탑승은 약 93%의 인지 정확도를 보였다.
본 발명의 혼합 센서 데이터 기반 실시간 행위인지 장치를 이용한 자세 인지 실험 결과는 평균 약 88%의 자세 인지 정확도를 보였다.
또한, 본 발명의 혼합 데이터 기반의 행위인지 및 자세인지 장치를 이용한 행위 및 자세 인지 실험 결과는 평균 92.45%의 정확도를 보였으며 앉기 및 누워있기 자세인지에서 상대적으로 높은 분류 오차를 보였다.
도 8은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 통하여 처리된 분류 알고리즘별 결과 데이터를 도시한 것이다.
도 8를 참조하면, 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 통한 결과 데이터(Proposed)는 서포트 벡터 머신(Support Vector Machine, SVM) 분류 알고리즘에서 선행 기술의 결과 데이터(Previous)보다 높은 정확도를 도출한다.
또한, 도 8을 참조하면, 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 통한 결과 데이터(Proposed)는 서포트 벡터 머신 분류 알고리즘 외의 엔비트리(NBTree), 제이48(J48), 베이즈넷(BayesNet) 및 나이브베이즈(NaiveBayes) 분류 알고리즘에서 선행 기술의 결과 데이터(Previous)보다 높은 결과를 보였다.
도 9 및 도 10은 본 발명의 실시예에 따른 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용하여 테스트한 결과를 도시한 것이다.
실험 과정은 데이터 수집에 참여한 모집단 중 한 명이며, 20대 후반의 남성을 대상으로 수행되었다.
또한, 실험의 진행 과정은 실내(자택)에서 시작되었고, 실내(자택)에서 자세 변화를 진행한 후, 실외로 나가 도보로 약 10분 거리에 위치한 250m 둘레의 트랙이 있는 운동장으로 이동하였으며, 이후의 모든 행동들은 본 트랙에서 이루어졌다.
상기 운동장의 트랙에서 이루어지는 테스트를 위한 시나리오는 약 2분 동안 누워있고, 약 2분 동안 의자에 앉아 있었으며, 약 2분 동안 의자에서 일어서있고, 약 5분 동안 실외에서 워킹(4~5km/h)을 하였으며, 약 3분 동안 직진 워킹(5~6km/h)을 하였고, 약 3분 동안 운동장 트랙에서 자전거(16~18km/h)를 탔으며, 약 3분 동안 운동장 트랙에서 러닝(8~10km/h)을 하였고, 약 1분 동안 운동장 트랙에서 빠른 러닝(12~14km/h)을 하였으며, 약 5분 동안 운동장 트랙에서 워킹(4~5km/h)을 하였고, 약 3분 동안 서있었으며, 약 4분 동안 운동장 트랙에서 워킹(4~5km/h)을 하였고, 약 3분 동안 운동장 트랙에서 빠른 워킹(5~6km/h)을 하였으며, 약 40분 동안 교통수단 탑승하여 자리에 앉아있기의 행위 및 자세가 실시되었다.
도 9를 참조하면, 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치를 이용한 실제 환경에서의 테스트 결과는 사용자의 눕기, 앉기, 서기, 느린 워킹, 빠른 워킹, 자전거 타기, 느린 러닝, 빠른 러닝, 느린 워킹, 서기, 느린 워킹 및 빠른 워킹의 다양한 행위 및 자세에 대해 전반적으로 우수한 인지 결과를 보였다.
또한, 도 10을 참조하면, 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치는 사용자의 교통수단 탑승 여부의 테스트 결과에서 사용자의 서기 및 앉기의 자세인지와 약간의 분류 오차가 나타났지만, 전반적으로 우수한 인지 결과를 보였다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치
110: 윈도우잉부
120: 인지모델결정부
121: 혼합 데이터 처리부
122: 행위인지 특징추출부
123: 자세인지 특징추출부
124: 훈련 및 검증부
125: 인지모델 선택부
130: 행위 및 자세 분류부
210: 비고정식 센서
220: 고정식 센서

Claims (15)

  1. 비고정식 센서부 및 고정식 센서부로부터 각각 수신된 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득하는 윈도우잉부;
    상기 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 상기 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 상기 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정하는 인지모델결정부; 및
    상기 스트림 데이터에 대하여 상기 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력하는 행위 및 자세 분류부
    를 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  2. 제1항에 있어서,
    상기 인지모델결정부는
    상기 획득된 훈련 데이터에 대하여 상기 혼합 센서 데이터로 혼합하는 혼합데이터 처리부
    를 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  3. 제2항에 있어서,
    상기 인지모델결정부는
    상기 혼합 센서 데이터를 기반으로 상기 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM,)과, 상기 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출하는 행위인지 특징추출부
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  4. 제3항에 있어서,
    상기 인지모델결정부는
    상기 혼합 센서 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와, 상기 수직 신호 패턴 및 상기 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출하는 자세인지 특징추출부
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  5. 제4항에 있어서,
    상기 인지모델결정부는
    상기 행위인지 특징정보 및 상기 자세인지 특징 정보를 기반으로 상기 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행하는 훈련 및 검증부
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  6. 제5항에 있어서,
    상기 인지모델결정부는
    상기 훈련 및 검증 프로세스를 통하여 상기 행위인지 특징정보 및 상기 자세인지 특징 정보에 대응하는 인지모델을 선택하는 인지모델선택부
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  7. 제4항에 있어서,
    상기 축 간 상관관계는
    상기 수직 신호 패턴 및 상기 수평 신호 패턴에 대한 공분산(covariance), 표준편차(Standard deviation) 및 평균값(mean) 중 적어도 어느 하나를 이용하여 연산되는
    혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  8. 제1항에 있어서,
    상기 인지모델결정부는
    고속 푸리에 변환(Fast Fourier Transform, FFT)을 적용한 훈련 데이터에 대하여 상기 혼합 센서 데이터로 처리하는
    혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치.
  9. 비고정식 센서 데이터 및 고정식 센서 데이터의 스트림 데이터에 대하여 샘플링 주기에 대응하여 동기화하여 훈련 데이터를 획득하는 단계;
    상기 획득된 훈련 데이터에 대하여 혼합 센서 데이터로 처리하고, 상기 처리된 혼합 센서 데이터로부터 특징 정보를 추출하며, 상기 추출된 특징 정보를 훈련 및 검증하여 인지모델을 결정하는 단계; 및
    상기 스트림 데이터에 대하여 상기 결정된 인지모델을 기반으로 실시간 사용자의 행위 및 자세에 대한 분류 결과를 출력하는 단계
    를 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  10. 제9항에 있어서,
    상기 인지모델을 결정하는 단계는
    상기 획득된 훈련 데이터에 대하여 상기 혼합 센서 데이터로 혼합하는 단계
    를 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  11. 제10항에 있어서,
    상기 인지모델을 결정하는 단계는
    상기 혼합 센서 데이터를 기반으로 상기 비고정식 센서 데이터의 고유 진동 패턴(Signal Vector Magnitude, SVM,)과, 상기 고정식 센서 데이터의 수직 신호 및 수평 신호에 대한 진동패턴으로부터 행위인지를 위한 행위인지 특징정보를 추출하는 단계
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  12. 제11항에 있어서,
    상기 인지모델을 결정하는 단계는
    상기 혼합 센서 데이터에 대한 수직 신호 패턴 및 수평 신호 패턴 간 상관관계와, 상기 수직 신호 패턴 및 상기 수평 신호 패턴의 축 간 상관관계로부터 자세인지를 위한 자세인지 특징정보를 추출하는 단계
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  13. 제12항에 있어서,
    상기 인지모델을 결정하는 단계는
    상기 행위인지 특징정보 및 상기 자세인지 특징 정보를 기반으로 상기 훈련 데이터에 대하여 훈련 및 검증 프로세스를 수행하는 단계
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  14. 제13항에 있어서,
    상기 인지모델을 결정하는 단계는
    상기 훈련 및 검증 프로세스를 통하여 상기 행위인지 특징정보 및 상기 자세인지 특징 정보에 대응하는 인지모델을 선택하는 단계
    를 더 포함하는 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 방법.
  15. 제9항 내지 제14항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020140174075A 2014-12-05 2014-12-05 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법 KR101584458B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140174075A KR101584458B1 (ko) 2014-12-05 2014-12-05 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174075A KR101584458B1 (ko) 2014-12-05 2014-12-05 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101584458B1 true KR101584458B1 (ko) 2016-01-14

Family

ID=55173090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174075A KR101584458B1 (ko) 2014-12-05 2014-12-05 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101584458B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097888A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
KR20190085604A (ko) * 2018-01-11 2019-07-19 경희대학교 산학협력단 사용자 행위를 인지하는 방법, 장치 및 컴퓨터 프로그램
KR102099287B1 (ko) * 2019-01-08 2020-04-10 경희대학교 산학협력단 클라우드 기반의 센서 데이터 관리 장치 및 그 방법
KR20200086465A (ko) * 2019-01-09 2020-07-17 재단법인대구경북과학기술원 이종 센서들을 이용한 타겟 검출 방법 및 장치
KR102384241B1 (ko) 2020-12-22 2022-04-08 경희대학교 산학협력단 사용자 행동 패턴 학습 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140128778A1 (en) 2012-11-02 2014-05-08 Vital Connect, Inc. Determining body postures and activities

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140128778A1 (en) 2012-11-02 2014-05-08 Vital Connect, Inc. Determining body postures and activities

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097888A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
KR102446811B1 (ko) * 2016-02-19 2022-09-23 삼성전자주식회사 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
KR20190085604A (ko) * 2018-01-11 2019-07-19 경희대학교 산학협력단 사용자 행위를 인지하는 방법, 장치 및 컴퓨터 프로그램
KR102012804B1 (ko) * 2018-01-11 2019-08-21 경희대학교 산학협력단 사용자 행위를 인지하는 방법, 장치 및 컴퓨터 프로그램
KR102099287B1 (ko) * 2019-01-08 2020-04-10 경희대학교 산학협력단 클라우드 기반의 센서 데이터 관리 장치 및 그 방법
US10909081B2 (en) 2019-01-08 2021-02-02 University-Industry Cooperation Group Of Kyung Hee University Apparatus for managing sensory data based on cloud and method of managing sensory data based on cloud
KR20200086465A (ko) * 2019-01-09 2020-07-17 재단법인대구경북과학기술원 이종 센서들을 이용한 타겟 검출 방법 및 장치
KR102143077B1 (ko) * 2019-01-09 2020-08-10 재단법인대구경북과학기술원 이종 센서들을 이용한 타겟 검출 방법 및 장치
KR102384241B1 (ko) 2020-12-22 2022-04-08 경희대학교 산학협력단 사용자 행동 패턴 학습 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101584458B1 (ko) 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법
Liu et al. Toward detection of unsafe driving with wearables
US11389084B2 (en) Electronic device and method of controlling same
Hemminki et al. Accelerometer-based transportation mode detection on smartphones
CN103477192B (zh) 用于推断移动装置的位置的装置、方法和设备
Zhao et al. Join driving: A smart phone-based driving behavior evaluation system
Feng et al. Investigating mobile device picking-up motion as a novel biometric modality
WO2014089238A1 (en) Gait analysis system and method
JP2016513494A (ja) 自動的な運動の区分と認識
US20140142885A1 (en) Method and Apparatus for Determining Walking Direction for a Pedestrian Dead Reckoning Process
CN107662613B (zh) 一种基于移动群智感知的极端驾驶行为识别方法及系统
US20150120022A1 (en) Training supporting apparatus and system for supporting training of walking and/or running
CN111288986B (zh) 一种运动识别方法及运动识别装置
US11045116B1 (en) Enhanced determination of cadence for control in mobile
CN107358248B (zh) 一种提高跌倒检测系统精度的方法
Oshin et al. ERSP: An energy-efficient real-time smartphone pedometer
Oshin et al. Energy-efficient real-time human mobility state classification using smartphones
KR20150038877A (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
Han et al. Smartphone based gait analysis using STFT and wavelet transform for indoor navigation
CN106203437A (zh) 个体驾驶行为特征识别方法和装置
KR101609813B1 (ko) 스마트폰 환경에서 보행 수 검출 장치 및 방법
JP6372249B2 (ja) 情報処理装置、進行方向推定方法及びプログラム
JP6449355B2 (ja) 移動体の状態を検知するための方法、プログラム、及び装置
US10569135B2 (en) Analysis device, recording medium, and analysis method
CN116092193A (zh) 一种基于人体运动状态识别的行人航迹推算方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 5