KR102382701B1 - 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법 - Google Patents

Abstract

센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템이 개시된다. 사용자위치 인식시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 모바일장치와, 상기 제1통신모듈로부터 상기 행동정보를 수신하는 제2통신모듈과, 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제2프로세서를 구비하는 사용자단말장치를 포함한다. 사용자의 행동에 수반된 사용자 공간에서의 위치를 알아내어 사용자 행동에 수반되는 전자기기를 제어하거나 노약자나 어린이의 행동을 감시할 수 있는 서비스를 제공한다.

Description

센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법{A User Terminal Device And Method For Recognizing User Location Using Sensor-based Activity Recognition}

본 발명은 사용자의 행동이 가옥 내 특정 위치에 연관 혹은 의존성이 있다는 점을 기반으로, 스마트워치와 같은 웨어러블 기기(wearable device)에 장착된 각종 센서를 통해 사용자 상태나 주변환경에 대한 정보를 얻은 후 이 정보에 해당하는 사용자 공간에서의 사용자위치를 알아내는 사용자단말장치 및 방법에 관한 것이다.

정보 통신 기술의 발달 및 사물인터넷의 확산으로 웨어러블 기기에 대한 관심이 높아지고 있다. 웨어러블 기기란 사용자의 신체에 착용 가능한 컴퓨팅 장치로서, 다양한 센서를 내장하고 있다. 다양한 센서의 데이터를 컴퓨팅하여 웨어러블 기기를 통해 사용자가 어떠한 상황에 놓여있는지를 파악함으로써 사물인터넷 기반의 다양한 서비스를 제공할 수 있으므로, 웨어러블 기기를 사용자 상황 인지를 위해 어떻게 사용할 것인가에 대한 연구가 활발히 진행되고 있다. 최근 연구 목적이 아닌 상용 제품으로서 다양한 종류의 웨어러블 기기가 출시되고 있다.

사용자의 행동 정보나 위치 정보를 파악하기 위한 종래의 기술은 사용하는 센서에 따라 나눌 수 있으며, 사용하는 센서 또한 센서의 위치에 따라 두 가지로 나뉜다. 첫 번째 방식으로 센서를 공간에 설치하는 기반 시설에 의존하는 센서 사용 방법이다. 넓은 공간에 값싼 센서인 수동형 적외선 침입 감지 센서 혹은 초음파 센서를 설치하거나, 카메라로 녹화하여 데이터를 수집하기도 하며, 무선신호 송수신기를 사용한 단층 촬영을 한다. 이 방식에서는 센서가 직접 설치된 장소에 한에서만 사용자의 위치 파악이 가능하다. 두 번째 방식으로 센서가 장착된 기기를 사용자가 소지하는 방법이다. 이 방식에서는 사용자가 센서를 몸에 부착하거나 스마트폰을 몸에 소지, 혹은 웨어러블 기기를 착용하며, 센서가 사용자 근처에 있는 상황을 가정한다. 가속도나 회전각속도를 측정하는 관성 센서를 주로 사용하며, RFID 신호를 읽는 모듈이나 Wi-Fi 신호를 수집하는 네트워크 모듈 등을 사용하기도 한다. 가령 RFID 태그를 사용하거나 스마트폰의 W-Fi 모듈을 이용한다.

그러나 위에서 서술된 종래의 기술들은 다음과 같은 문제점을 갖는다. 첫째, 기반 시설에 센서를 설치하는 방식은 집안 곳곳에 필요한 센서들이 장착되어 있어야 하기 때문에 비용과 설치에 관련된 실용적인 문제가 있다. 사물인터넷이 보급되어 스마트홈이라는 개념이 도입되었지만, 아직 집안 구석구석 초음파 센서나 카메라를 설치할 수 있는 단계에는 이르지 못했으며, 가능하다고 가정을 하더라도 추가적인 비용이 발생할 소지가 있다. 둘째로, 스마트폰을 이용하는 방식은 현재 널리 이용되고 있으나, 사용자가 가정 내에 있을 때에는 사용에 제약이 있다. 가령 가정 내에서는 사용자가 스마트폰을 충전하거나 소지하고 있지 않아 사용자로부터 움직임 정보를 직접 획득하지 못할 수도 있다. 마지막으로 종래의 기술로 웨어러블 기기를 이용한 위치 파악 방법은 주기적인 Wi-Fi 신호 수집으로 인해 전력 소모가 심하다는 문제가 있다. 웨어러블 기기는 배터리 용량이 상대적으로 작기 때문에 Wi-Fi 신호를 수집하여 사용자의 위치를 파악하는데 적합하지 않다. 또한, 웨어러블 기기는 크기의 제한으로 하드웨어 및 소프트웨어적으로 충분한 능력을 발휘할 수 없다.

본 발명의 목적은 종래 기술의 문제점들을 해결하기 위해 웨어러블 기기에 내장된 센서 정보를 사용하여 사용자의 위치를 파악하는 사용자단말장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은 다수의 센서들을 설치하는 기반 시설 없이 가옥 내의 사용자위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 가옥 내에서 사용자가 스마트폰을 항상 소지하지 않더라도 사용자의 위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 스마트폰이 사용자의 근처에 있는지를 파악하고, 근처에 있을 경우 스마트폰의 위치 정보를 보조적인 수단으로서 사용하여 가옥 내 사용자위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 저렴한 비용으로 가옥 내의 사용자위치 인식을 위한 학습 모델을 구축할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.

상술한 본 발명의 해결과제를 달성하기 위한 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 사용자단말장치는, 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하고 상기 감지정보를 기초로 행동정보를 추출하는 모바일장치로부터 상기 행동정보를 수신하는 통신모듈과; 상기 수신된 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 프로세서를 포함하는 것을 특징으로 한다.

상기 모바일장치는 웨어러블기기 및 모바일폰 중 적어도 하나를 포함할 수 있다.

상기 사용자단말장치는 모바일폰, 노트북 PC, 태블릿 PC, PDA, 데스크탑PC 및 서버 중 적어도 하나를 포함할 수 있다.

상기 모바일장치는 가속도센서, 마이크로폰, 심박센서, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제1센서모듈을 포함할 수 있다.

상기 사용자단말장치는 가속도센서, 마이크로폰, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제2센서모듈을 포함할 수 있다.

상기 모바일장치는 상기 제1센서모듈에 의해 감지된 제1감지정보를 기초로 제1행동정보를 추출하고, 상기 프로세서는 상기 제2센서모듈에 의해 감지된 제2감지정보를 기초로 제2행동정보를 추출하고, 상기 제1행동정보와 상기 제2행동정보를 기초로 사용자위치를 결정할 수 있다.

상기 통신모듈은 블루투수 통신모듈을 포함하며, 상기 프로세서는 상기 모바일장치와의 불루투스 통신 신호세기를 기초로 상기 모바일장치와 상기 사용자단말장치의 거리를 측정할 수 있다.

상기 통신모듈은 와이파이 통신모듈을 포함하며, 상기 프로세서는 상기 모바일장치와 상기 사용자단말장치의 거리가 소정의 범위 내에 있을 때 사용자와 상기 사용자단말장치가 동일한 위치에 있다고 판단하고, 와이파이 기반 위치추적 시스템(WPS)을 통하여 획득한 사용자단말기의 위치를 사용자위치로 결정할 수 있다.

상기 행동정보는 상기 제1센서모듈로부터 획득한 로우(raw) 감지데이터를 기초로 생성한 행동 핑거프린트(activity fingerprint)를 포함할 수 있다.

상기 행동 핑거프린트는 로우(raw) 감지데이터로부터 추출된 특징을 기초로 군집화(clustering) 알고리즘에 의해 생성될 수 있다.

상기 프로세서는 상기 행동 핑거프린트(activity fingerprint)를 기초로 통계적 모델(Statistics Markov Model)을 이용하여 사용자위치를 결정할 수 있다.

상기 사용자단말장치는 상기 프로세서는 상기 사용자위치에 해당하는 행동 핑거프린트를 사용자위치와 연계시켜 저장하는 저장부를 더 포함할 수 있다.

상기 사용자단말장치는 상기 행동정보에 해당하는 사용자행동을 행동시간과 연계시킨 사용자 행동이력데이터를 저장하는 저장부를 더 포함할 수 있다.

상기 프로세서는 상기 사용자위치에 배치된 전자기기를 제어할 수 있다.

본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 모바일장치와; 상기 제1통신모듈로부터 상기 행동정보를 수신하는 제2통신모듈과, 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제2프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 제1모바일장치와; 와이파이 통신과 불루투스 통신을 수행하는 제2통신모듈과, 상기 와이파이 통신을 통해 자신의 위치정보를 획득하고 상기 불루투수 통신을 통해 상기 제1모바일장치와의 거리정보를 획득하는 제2프로세서를 구비한 제2모바일장치와; 상기 제1통신모듈로부터 상기 행동정보를 수신하고 상기 제2통신모듈로부터 상기 위치정보와 상기 거리정보를 수신하는 제3통신모듈과, 상기 거리정보를 기초로 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리 내에 있을 때에 상기 위치정보를 사용자위치로 결정하고, 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리를 벗어났을 때 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제3프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 하는 한다.

본 발명의 실시예에 따른 센서 기반 행동 인식을 이용한 사용자위치 인식방법은 모바일장치가 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 단계와; 상기 감지정보를 기초로 행동정보를 추출하는 단계와; 상기 행동정보를 사용자단말장치로 전송하는 단계와; 상기 수신된 행동정보를 기초로 상기 행동정보에 해당하는 사용자 공간에서의 사용자위치를 결정하는 단계를 포함하는 것을 특징으로 한다.

상기 사용자위치 인식방법은 상기 모바일장치와 상기 사용자단말장치 사이의 불루투스 통신을 이용하여 사용자가 상기 사용자단말장치와 동일한 위치에 있는지를 판단하는 단계와; 사용자가 상기 사용자단말장치와 동일한 위치에 있을 경우 상기 사용자단말장치의 와이파이 통신을 이용하여 상기 사용자단말장치의 위치를 사용자 공간에서의 사용자위치로 결정하는 단계를 더 포함할 수 있다.

상기 사용자위치 인식방법은 상기 사용자단말장치가 사용자의 상태 및 사용자의 주변환경 중 적어도 하나에 대한 제2정보를 감지하는 단계와; 상기 사용자단말장치가 상기 제2정보를 기초로 제2행동정보를 추출하는 단계와; 상기 제1행동정보와 상기 제2행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 기록매체는 상기 행동정보를 기초로 상기 사용자행동에 해당하는 상기 사용자 공간에서의 상기 사용자위치를 결정하는 프로그램을 기록할 수 있다.

사물인터넷이 적용된 스마트홈 환경에서는 사용자의 위치 혹은 행동 정보를 사용자의 편리를 위한 서비스에 접목시킬 수 있다. 특히, 사용자의 행동 정보를 바탕으로 위치를 파악하기 때문에 사용자가 어느 방에서 어떠한 행동을 하는지에 대한 상황 인식을 수행할 수 있다. 사용자의 상황 인식을 통해 가정 내 사용자의 생활 습관을 분석할 수 있으며, 사용자에게 상황 별 맞춤형 서비스를 제공할 수 있게 된다.

스마트워치를 통해 사용자가 가정 내 언제, 어디서, 무엇을 했는지를 파악할 수 있다는 점은 사용자가 어떻게 지내는지 생활 패턴을 알 수 있다는 점과 직결된다. 본 발명에서 판단 가능한 행동은 TV 시청, 책 읽기, 잠자기, PC 사용 등 가정 내에서 수행하는 일반적인 활동과, 청소하기, 샤워, 요리, 식사, 설거지, 머리 말리기, 빨래 널기 등 가정 내에서 수행하는 위생 활동, 그리고 수다, 커피 만들기 및 마시기 등 타과의인 상호 작용을 포함하는 행동을 다루고 있다. 이와 같은 행동이 어느 방에서 일어나는지 파악한다는 점에서 사용자의 상황을 자세히 파악할 수 있다.

사용자로부터 각 행동이 언제 어디서 일어났는지 정보를 습득할 수 있으므로, 사용자의 생활 패턴을 분석할 수 있다. 가령 평소 몇 시에 일어나는지, 시간대별로 집에서 주로 하는 행동이 무엇인지 등 사용자가 아침에 눈을 떠서 밤에 잘 때까지의 생활 패턴을 파악할 수 있다. 따라서, 충분한 기간에 걸쳐 데이터가 수집된다면, 사용자가 다음에 어떤 행동을 할지 예측이 가능할 것이다. 사용자의 행동 예측을 통해 필요한 서비스를 제공함으로써 사용자에게 편리함을 줄 수 있다.

사용자의 행동 예측을 통해 연속적인 서비스를 제공할 수 있다. 가령 스마트워치를 착용한 사용자를 아침이 되면 팔목의 진동을 통해 깨워주며, 사용자가 있는 방의 전등을 켜 줄 것이다. 늦잠을 자지 않도록 화장실에 갈 때까지 주기적으로 깨울 것이다. 사용자가 세면, 머리 말리기를 하는 동안, 사물 인터넷이 내장된 커피 포트기는 사용자를 위한 모닝 커피를 준비할 것이다. 씻고 아침 식사가 끝나면 TV를 자동으로 켜서 아침 뉴스를 보여줄 것이다.

본 발명은 노인이나 장애인, 치매 환자처럼 가정 내에서 일상생활동작(Activities of Daily Living)을 주기적으로 점검해야 하는 상황에 매우 적합하게 적용될 수 있다. 보호자 없이 독립하여 생활할 수 있는지 여부를 판단하는 분야에서는 식사, 샤워, 이동 등 어떤 행동을 하는가를 통해 자립성을 판단한다. 본 발명에서는 사용자가 어떤 행동을 어디서 하는지 파악할 수 있기 때문에, 기반 시설 및 영상 촬영 없이 원격 모니터링을 진행할 수 있다. 또한, 사용자에게서 수집하는 정보는 사생활을 침해하지 않으므로 종래의 기술보다 실용화하기 쉬운 장점이 있다. 예를 들어, 스마트워치에서는 영상 정보를 전혀 수집하지 않고, 소리 또한 복원이 불가능한 방법으로 가공하여 특징을 분석하므로 사생활을 침해하지 않으며 동작한다.

도 1은 본 발명의 실시예에 따른 행동기반 위치인식 시스템의 시나리오를 나타내는 모식도,
도 2는 본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치의 블록도,
도 3은 가옥 내 공간별 전자기기 관계를 나타낸 표,
도 4 및 5는 각각 사용자 별 공간과 행동 관계를 나타낸 표,
도 6은 본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 과정을 나타내는 모식도,
도 7은 가정 내 행동에 따른 행동 스코어를 나타내는 도,
도 8은 본 발명의 실시예에 따른 행동 핑거프린트 생성과정을 나타내는 모식도,
도 9는 불루투스 통신 신호 세기와 거리의 관계를 나타내는 그래프,
도 10은 사용자위치 인식을 추정하는 HMM를 나타내는 모식도,
도 11은 가옥의 공간 및 전자기기 배치구조의 한 예를 나타내는 도,
도 12는 가옥의 공간 및 전자기기 배치구조의 다른 예를 나타내는 도,
도 13은 가옥에서의 일상 행동 추적을 나타내는 도,
도 14 내지 17은 사용자 별 행동과 공간의 관계를 나타내는 도,
도 18은 클러스터 k에 따른 예측 정확도를 나타내는 그래프,
도 19는 추출특징 종류에 따른 정확도를 나타내는 그래프,
도 20은 가옥의 공간별 예측 정확도를 나타내는 표,
도 21은 WiFi기반 위치결정 시스템에 따른 사용위치결정을 설명하기 위한 도,
도 22는 학습기간 별 정확도를 나타내는 그래프,
도 23은 본 발명의 실시예에 따른 추출 특징 별 예측 정확도를 나타내는 그래프,
도 24는 다른 공간에 같은 행에 따른 차이를 나타내는 그래프,
도 25는 본 발명의 실시예에 따른 사용자위치 인식방법을 나타내는 순서도, 및
도 26은 본 발명의 다른 실시예에 따른 사용자위치 인식방법을 나타내는 순서도이다.

이하, 본 발명의 일 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경 (modification), 균등물 (equivalent), 및/또는 대체물 (alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 명세서에서, “가진다,” “가질 수 있다,”“포함한다,” 또는 “포함할 수 있다.” 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 명세서에서, “A 또는 B,”“A 또는/및 B 중 적어도 하나,”또는 “A 또는/및 B 중 하나 또는 그 이상”등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B,” “ A 및 B 중 적어도 하나,”또는 “ A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 명세서에서 “제 1,”“제 2,”“첫째,”또는“둘째,”등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 이러한 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소 (예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소 (예: 제3 구성요소)가 존재하지 않은 것으로 이해될 수 있다.

본 명세서에서 사용된 표현 “~하도록 구성된 (또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한 (suitable for),” “~하는 능력을 가지는 (having the capacity to),” “~하도록 설계된 (designed to),” “~하도록 변경된 (adapted to),” “~하도록 만들어진 (made to),”또는 “~를 할 수 있는 (capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성 (또는 설정)된”은 하드웨어적으로 “특별히 설계된 (specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 명세서에서 사용된 용어들은 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미가 있는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.

도 1은 본 발명의 실시예에 따른 행동기반 위치인식 시스템(1)의 시나리오를 나타내는 모식도이다.

도 1을 참조하면, 행동기반 위치인식 시스템(1)은 추가적인 인프라구축 없이 홈, 건물, 빌딩, 사무실 등 특정 공간 내의 환경에서 거주자 또는 사용자(이하 '사용자'로 칭한다)의 위치를 인식한다. 물론, 홈, 건물, 빌딩, 사무실 외의 지붕이 없는 공원 등에서도 행동 기반으로 사용자의 위치를 인식할 수 있다. 행동기반 위치인식 시스템(1)은 사용자단말장치(100) 및 모바일장치(200)를 포함한다. 사용자단말장치(100)는 모바일폰, 노트북 PC, 태블릿 PC, PDA, 데스크탑PC 및 서버 등으로 구현될 수 있다. 모바일장치(200)는 웨어러블장치로서 스마트워치, 웨어러블 밴드, 스마트안경, 해드셋 등으로 구현될 수 있다. 본 발명의 실시예에서 사용자단말장치(100)는 널리 이용되는 모바일폰(100)을 적용하였고, 모바일장치(200)는 일상생활에서 사용자의 행동 및 이동을 모니터링하기 위해 범용 웨어러블(wearable) 장치로서 손목착용 스마트워치(200)를 적용하였다. 스마트폰(100) 및 손목착용 스마트워치(200)는 상업 시장에서 이용이 증가하고 있고 사용자에게 사용 및 착용에 어떤 곤란도 없다. 또한 모바일폰(100) 및 스마트워치(200)는 사용자가 몇몇 상황, 예를 들면 충전, 수면, 샤워 등을 제외하고는 항상 착용하는 것으로 가정하였다.

행동기반 위치인식 시스템(1)은 다음과 같은 방법으로 사용자를 추적한다. 스마트워치(200)는 사용자의 이동을 감시하고, 3축 가속도센서(230-1)를 이용하여 팔 움직임에 대한 행동 핑거프린트를 생성하고, 마이크로폰(230-2)을 이용하여 주변환경이나 행동 소리를 측정한다. 사용자의 행동에는 청소, TV시청, 수면, 샤워, 식사, PC이용, 요리, 설거지, 차마시기, 수다떨기, 세면, 화장실 볼일보기, 독서, 세탁물 걷기, 세탁물 정리, 머리말리기, 커피타기 등이 있다. 모바일폰(100)은 장치의 "방"위치를 인식하기 위해 WiFi 수신신호강도(RSS: Received Siignal Strength)를 이용하여 주기적으로 WiFi 위치추적을 수행한다. 모바일폰(100)과 스마트워치(200) 사이의 거리측정 및 데이터 교환은 불루투스 통신을 통해 주기적으로 수행된다. 거리측정을 통해, 사용자가 자신의 모바일폰에 가까이 있다면 사용자의 현재 위치는 WiFi 위치결정시스템(WFPS: Wi-Fi positioning system)으로부터 모바일폰(200)의 인식된 위치로서 결정된다. 방 위치정보와 행동 핑거프린트는 공간과 행동 사이의 상관관계를 고려한 추론모델을 학습하기 위한 학습 샘플에 추가된다. 한편, 사용자가 모바일폰(100)으로부터 떨어져 있을 때, 행동기반 위치인식 시스템(1)은 스마트워치(200)에 의해 관찰된 행동에 높은 상관관계를 가진 가옥 내 공간을 찾는 추론모델로부터 사용자의 위치를 판단한다. 본 발명의 행동기반 위치인식 시스템(1)에서 특징추출 및 위치 추론은 모바일폰(100) 또는 스마트워치(200) 중 어느 한 곳에서 수행될 수 있다. 특징벡터는 스마트워치(200)에서 생성되어 모바일폰(100)으로 전송될 수 있다. 그러나, 행동 핑거프린트를 기반으로 하는 학습 및 예측단계는 한정된 자원 및 웨어러블 기기의 한정된 컴퓨팅 능력에 기인하여 모바일폰(100)에서 수행되는 것이 바람직하다.

도 2는 본 발명의 실시예에 따른 행동기반 위치인식 시스템(1)을 나타내는 블록도로서, 사용자단말장치(100), 모바일장치(200) 및 무선공유기(Access Point)(300)를 포함한다.

사용자단말장치(100)는 제1프로세서(110), 제1센서모듈(120), 제1통신모듈(130) 및 제1저장부(140)를 포함한다. 사용자단말장치(100)는 상기 구성요소 외에 신호처리부, 디스플레이부, 사용자입력부 등 추가 구성요소들을 포함할 수 있다.

제1프로세서(110)는 중앙처리유닛(CPU), 마이크로 프로세싱 유닛(MPU), ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등을 포함하는 컨트롤보드로 구현된다. 제1프로세서(110)는 사용자단말장치(100)의 각 구성요소들, 예를 들면 제1센서모듈(120), 제1통신모듈(130), 제1저장부(140) 등을 전반적으로 제어하고, 스마트워치(200) 또는 네트워크를 통한 외부장치, 예를 들면 서버에서 수신된, 입력된, 감지된 각종 정보를 소프트웨어적으로 또는 하드웨어적으로 처리할 수 있다. 제1프로세서(110)는 예를 들면 안드로이드 버전 5.0(롤리팝)과 같은 운영체제(OS)를 포함할 수 있다. 또한, 제1프로세서(110)는 모바일폰(200)에서 전송한 정보, 예를 들면 모바일폰(200)의 제1센서모듈(120)에서 사용자의 상태 및 주변환경에 대한 정보 중 적어도 하나를 감지한 제1감지정보를 수신하여 사용자 공간위치에서 사용자 위치를 인식하는 어플리케이션(프로그램)을 포함한다. 제1프로세서(110)는 수신한 제1감지정보에 해당하는 사용자 공간위치에서 사용자 위치, 예를 들면 TV를 시청하는 거실을 인식하고, 거실에 배치된 TV를 제어하거나 TV에 정보를 제공하여 TV가 사용자에게 적합한 서비스를 제공하게 할 수 있다.

제1센서모듈(120)은 3축 가속도센서(120-1), 마이크로폰(120-2), 자이로스코프(120-3)(gyroscope), 지자기센서(Geomagnetism Sensor), 중력센서(Gravity Sensor), 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 포함한다. 물론 센서모듈(120)은 상술한 센서들 외에 다른 센서를 더 포함할 수 있다.

3축 가속도센서(120-1)는 장치의 상하 좌우 움직임을 감지한다. 3축 가속도센서(120-1)는 사용자의 걸음 수(이동량)나 이동방향의 감지를 통해 움직임벡터를 얻는다.

마이크로폰(120-2)은 사용자의 행동에 수반된 소리, 예를 들면 샤워 시의 물소리, 어학공부의 말소리, 수다떨기의 대화소리 등을 측정한다. 이 측정된 음향 특징은 사용자 공간에서의 위치를 추정하는 데에 이용된다.

자이로스코프(120-3)는 각 운동량 보존 법칙(conservation of angular momentum)에 근거해서 방향을 측정하거나 유지하는 데 쓰는 기구이다. 빠르게 회전하는 바퀴의 운동량에 따라 장치를 유지하고 있는 틀이 기울어져도 빠르게 회전하고 있는 바퀴의 자세는 장치의 기울어짐과는 상관없이 일정하게 유지된다. 자이로스코프는 기계적 자이로 (mechanical gyro), 광학 자이로 (optical gyro), 마이크로 자이로 (micro gyro)로 나눌 수 있다. 기계적 자이로는 회전하거나 진동하는 물체의 코리올리 효과를 이용하는 것으로 진동 자이로가 여기에 속한다. 광학자이로는 사냑(Sagnac) 효과를 이용한 것으로 RLG (Ring Laser Gyro), FOG (Fiber Optic Gyro)가 있다. 마이크로 자이로는 반도체 공정 기술을 이용하여 자이로를 수 mm 이하의 크기로 소형화한 것이며, 주로 진동자이로 원리를 쓴다.

지자기센서(120-4)는 나침반처럼 방위를 표시해 주는 센서이다. 지자기센서(120-4)는 원하는 지역의 방향을 제시해 주는 데 사용하거나 현재 사용자의 위치를 기준으로 지도를 보여주는 증강 현실 맵 구현에 사용된다.

중력센서는 중력 방향을 탐지하는 센서로서, 전자 기기 등에 탑재되어 중력이 어느 방향으로 작용하는지를 탐지하고, 그 상황에 맞추어 기기 사용자 편의를 돕는 센서이다. 예를 들어, 중력 센서 기능이 있는 모바일폰(100)의 경우 가로로 돌리면 사용자가 보기 편하도록 사진 이미지가 가로 방향으로 바뀐다. 모바일폰이나 MP3 등 주로 IT 가전에 적용되었으나 자동차용 운행 기록 장치(블랙박스)에도 탑재되어 차량 충돌 시 충돌 방향을 기록하기도 한다.

광센서는 빛을 이용하여 움직임이나 온도를 감지하는 센서이다.

디지털나침반은 방향을 탐지하는 센서이다.

냄새센서는 냄새를 탐지하는 센서로서, 냄새 분자가 물질에 달라붙을 때 발생하는 변화를 활용하는데 반도체 방식, 전도성 고분자 활용 방식, 수정 진동자 활용 방식, 생체 수용체 방식이 있다. 기본 원리는 냄새 분자가 센서 물질에 달라붙을 때 발생하는 신호를 패턴화해 적용하는 것이다.

근접센서는 스위치의 검출면에 접근하는 물체 혹은 근방에 존재하는 물체의 유무를 전자계의 힘을 이용하여 기계적 접촉없이 탐지하는 센서이다.

제1통신모듈(130)은 WiFI 통신모듈(130-1), 불루투스 통신모듈(130-2)을 포함한다. 추가적으로 제1통신모듈(130)은 2G, 3G, 4G, 롱텀에볼루션(LTE)와 같은 이동 통신, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 무선인터넷 모듈, 및 RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 근거리 통신모듈을 포함할 수 있다.

WiFi 통신모듈(130-1)은 무선공유기(300)를 통해 무선인터넷을 수행한다. 본 발명에서는 무선공유기들(300)과 모바일장치(100) 사이의 위치정보를 이용하여 정확한 모바일장치(100)의 위치를 알아낼 수 있다.

불루투스 통신모듈(130-2)은 스마트워치(200)와의 데이터 통신을 수행한다. 불루투스 통신모듈(130-2)은 또한 불루투스 통신 신호세기를 이용하여 모바일장치(100)와 스마트워치(200) 사이의 거리를 측정한다. 이때, 특정 범위 내의 불루투스 신호 세기 범위 내에 있을 때, 모바일장치(100)와 스마트워치(200)는 동일한 위치에 존재하는 것으로 판단한다. 즉, 동일위치는 스마트워치(200)를 사용자가 항상 착용하는 것으로 가정할 때, 사용자가 모바일장치(100)를 지니고 있는 것으로 판단하는 기준이 된다.

제1저장부(140)는 한정되지 않은 데이터가 저장된다. 제1저장부(140)는 프로세서(110)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제1저장부(140)에 저장되는 데이터는, 예를 들면 사용자 제1센서모듈(120)에서 감지한 로우(Raw) 감지데이터, 제1프로세서(110)에 의해 로우(Raw) 감지데이터를 이용하여 추출한 특징, 상기 추출 특징으로부터 생성한 제1행동 핑거프린트 데이터, 제1통신모듈을 통해 스마트워치(200)에서 수신한 제2행동 핑거프린트 데이터, 제1행동 핑거프린트에 연관된 공간위치 데이터베이스, 제2행동 핑거프린트에 연관된 공간위치 데이터베이스, 위치 핑거프린트에 연관된 공간위치 데이터베이스, 위치 핑거프린트에 대응하는 행동 핑거프린트 데이터베이스, 사용자의 행동에 관련된 행동 핑거프린트-위치 핑거프린트-전자기기 사용 이력 데이터베이스 등을 포함한다. 물론, 제1저장부(140)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함한다.

제1저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

스마트워치(200)는 제2프로세서(210), 제2센서모듈(220), 제2통신모듈(230) 및 제2저장부(240)를 포함한다. 스마트워치(200)는 상기 구성요소 외에 신호처리부, 디스플레이부, 사용자입력부 등 추가 구성요소들을 포함할 수 있다.

제2프로세서(210)는 중앙처리유닛(CPU), 마이크로 프로세싱 유닛(MPU), ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등을 포함하는 컨트롤보드로 구현된다. 제2프로세서(210)는 스마트워치장치(200)의 각 구성요소들, 예를 들면 제2센서모듈(220), 제2통신모듈(230), 제2저장부(240) 등을 전반적으로 제어하고, 사용자단말장치(100)에서 수신된, 입력된, 감지된 각종 정보를 소프트웨어적으로 또는 하드웨어적으로 처리할 수 있다. 제2프로세서(210)는 예를 들면 안드로이드 버전 5.0(롤리팝)과 같은 운영체제(OS)를 포함할 수 있다. 또한, 제2프로세서(210)는 제2센서모듈(220)에서 사용자의 상태 및 주변환경에 대한 정보 중 적어도 하나를 감지한 제2감지정보를 수신하여 특징을 추출하고, 추출한 특징으로부터 행동 핑거프린트를 생성하는 어플리케이션(프로그램)을 포함한다.

제2센서모듈(220)은 3축 가속도센서(220-1), 마이크로폰(220-2), 자이로스코프(220-3)(gyroscope), 심박센서(Heart-beat pulse sensor)(220-4), 지자기센서(Geomagnetism Sensor), 중력센서(Gravity Sensor), 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 포함한다. 물론 제2센서모듈(220)은 상술한 센서들 외에 다른 센서를 더 포함할 수 있다.

3축 가속도센서(220-1)는 장치의 상하 좌우 움직임을 감지한다. 3축 가속도센서(220-1)는 사용자의 걸음 수(이동량)나 이동방향의 감지를 통해 움직임벡터를 얻는다.

마이크로폰(220-2)은 사용자의 행동에 수반된 소리, 예를 들면 샤워 시의 물소리, 어학공부의 말소리, 수다떨기의 대화소리 등을 측정한다. 이 측정된 음향 특징은 사용자 공간에서의 위치를 추정하는 데에 이용된다.

자이로스코프(220-3)는 각 운동량 보존 법칙(conservation of angular momentum)에 근거해서 방향을 측정하거나 유지하는 데 쓰는 기구이다. 빠르게 회전하는 바퀴의 운동량에 따라 장치를 유지하고 있는 틀이 기울어져도 빠르게 회전하고 있는 바퀴의 자세는 장치의 기울어짐과는 상관없이 일정하게 유지된다.

심박센서(220-4)는 팔목의 혈관을 향해 방사된 적외선이 혈관압력이 변화함에 따라 미세하게 변화하는 차이를 감지하여 심박을 추출한다.

지자기센서는 나침반처럼 방위를 표시해 주는 센서이다. 지자기센서(120-4)는 원하는 지역의 방향을 제시해 주는 데 사용하거나 현재 사용자의 위치를 기준으로 지도를 보여주는 증강 현실 맵 구현에 사용된다.

중력센서는 중력 방향을 탐지하는 센서로서, 전자 기기 등에 탑재되어 중력이 어느 방향으로 작용하는지를 탐지하고, 그 상황에 맞추어 기기 사용자 편의를 돕는 센서이다. 예를 들어, 중력 센서 기능이 있는 스마트워치(200)의 경우 가로로 돌리면 사용자가 보기 편하도록 사진 이미지가 가로 방향으로 바뀐다.

광센서는 빛을 이용하여 움직임이나 온도를 감지하는 센서이다.

디지털나침반은 방향을 탐지하는 센서이다.

냄새센서는 냄새를 탐지하는 센서로서, 냄새 분자가 물질에 달라붙을 때 발생하는 변화를 활용하는데 반도체 방식, 전도성 고분자 활용 방식, 수정 진동자 활용 방식, 생체 수용체 방식이 있다. 기본 원리는 냄새 분자가 센서 물질에 달라붙을 때 발생하는 신호를 패턴화해 적용하는 것이다.

근접센서는 스위치의 검출면에 접근하는 물체 혹은 근방에 존재하는 물체의 유무를 전자계의 힘을 이용하여 기계적 접촉없이 탐지하는 센서이다.

제2통신모듈(230)은 불루투스 통신모듈(230)을 포함한다. 추가적으로 제2통신모듈(230)은 2G, 3G, 4G, 롱텀에볼루션(LTE)와 같은 이동 통신, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 무선인터넷 모듈, 및 RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 근거리 통신모듈을 포함할 수 있다. 그러나 스마트워치(200)의 경우 크기의 제한이나 제2프로세서의 처리능력 제한에 따라 불루투스 통신 모듈(203)만을 적용하는 것으로 가정한다.

불루투스 통신모듈(230)은 사용자단말기(100)와의 데이터 통신을 수행한다. 불루투스 통신모듈(230)은 또한 불루투스 통신 신호세기를 이용하여 사용자단말기(100)와 스마트워치(200) 사이의 거리를 측정하는 데에 이용된다. 이때, 특정 범위 내의 불루투스 신호 세기 범위 내에 있을 때, 사용자단말장치(100)와 스마트워치(200)는 동일한 위치에 존재하는 것으로 판단한다. 즉, 동일한 위치는 스마트워치(200)를 사용자가 항상 착용하는 것으로 가정할 때, 사용자가 모바일장치(100)를 지니고 있는 것으로 판단하는 기준이다.

제2저장부(240)는 한정되지 않은 데이터가 저장된다. 제2저장부(240)는 프로세서(210)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제2저장부(240)에 저장되는 데이터는, 예를 들면 제2센서모듈(220)에서 감지한 로우(Raw) 감지데이터, 제2프로세서(210)에 의해 로우(Raw) 감지데이터를 이용하여 추출한 특징, 상기 추출 특징으로부터 생성한 제2행동 핑거프린트 데이터 등을 포함한다. 물론, 제2저장부(240)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 부가데이터 등을 포함한다.

제2저장부(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다

무선공유기(Access Point)(300)는 무선 랜(LAN)에서 기지국 역할을 하는 소출력 무선기기로서, 유선과 무선을 잇는 브릿지 역할을 하게 된다. 유선망 관점에서 공유기(300)는 라우터 또는 스위치 등에 붙게 되며 라우터나 스위치는 무선 스테이션을 의식하지 못하며 이는 전적으로 공유기(300)에 의존하게 된다. 따라서, 공유기(300)는 유선망을 무선망으로 확장시켜주는 역할을 한다.

이하 본 발명의 실시예에 따라 행동기반 사용자 위치 인식방법을 상세히 설명하면 다음과 같다. 스마트워치(200)에 적용된 제2센서모듈(220)은 3축 가속도센서(220-1) 및 마이크로폰(220-2)만으로 설명하지만 모든 종류의 센서들이 적용될 수 있다.

스마트폰 또는 웨어러블장치인 스마트워치(200)는 항상 사용자의 행동을 인식하기 위해 사용된다. 3축 가속도센서(220-1)는 걷기, 복도 전환, 윗층 오르기 등과 같은 물리적 행동을 검출, 낙하 후 사용자의 움직임 검출, 모바일폰을 사용하여 다이어트 목적을 위해 사용자 행동 레벨을 모니터하기 위해 사용된다. 3축 가속도센서(220-1)는 걷는 걸음 수, 수면량, 소모 칼로리와 같은 사용자 행동을 추적하는 데에 이용된다. 마이크로폰(220-2)은 사용자의 행동을 모니터하기 위해 사용된다. 바디스코어는 목 주변영역의 음향센서를 사용하여 음향을 분석함으로써 먹고, 마시고, 말하는 행동을 인식한다. 본 발명의 실시예에 따른 행동기반 사용자 위치를 인식하는 사용자단말장치(200)는 수동적 구축 없이 자동으로 사용자의 위치를 학습하고 평가한다. 행동과 위치(예를 들면 방) 사이의 관계를 분석하기 위해 모바일폰 어플리케이션을 이용하여 3주 동안 2 사용자(A 및 B)의 일상 행동 및 대응 위치를 수집하였다. 또한, 스마트워치 어플리케이션을 통하여 주기적으로 현재 행동 및 가옥 내 위치를 수동으로 구축하였다.

사용자의 행동은 그들이 위치된 공간에 매우 큰 의존성을 가진다. 예를 들면 "TV시청" 및 "소파에 앉기"와 같은 행동은 전형적으로 거실에서 일어난다. 마찬가지로, 먹고 마시는 식사관련 행동은 식당의 식탁에서 일어난다. 도 3 내지 도 5는 홈 환경에서 가옥 내 공간, 전자기기 위치 및 행동에 대한 리스트를 나타낸 것이다. 도면들에 나타낸 바와 같이, 사용자 A의 17개 행동들 중 10개(59%) 및 사용자 B의 17 행동들 중 12개(86%)가 단일의 방에만 의존하는데 반해, 대부분의 행동은 하나 이상의 특정 가옥 내 공간에서 일어난다. 이것은 사용자의 특정 행동을 인식함으로써 홈 환경에서 사람들의 위치를 추론할 있음을 의미한다.

그러나 몇몇 행동은 특정 가옥 내 공간에 의존하지 않는다. 예를 들면, 청소와 빨래걷기와 같은 행동들은 청소기와 세탁기와 같은 전자기기가 고정 위치에 있지 않기 때문에 다수의 공간에서 관찰된다. 또한, 몇 가지 행동 타입은 사용자가 다르거나 같은 타입의 다수 전자기기가 존재할 경우에 다른 가옥 내 공간에서 일어난다. 결과적으로, 공간과 행동 사이의 상관관계는 사용자, 행동 타입 및 홈 환경에 설치된 전자기기에 의존한다.

스마트워치(200)의 3축 가속도센서(220)는 손목의 가속력을 측정함으로써 물리적 행동의 특징을 인식한다. 그러나, 하나의 손목에만 스마트워치(200)를 착용하는 것은 가른 손목의 행동을 인식할 수 없어 행동 인식이 충분하지 않다. 예를 들면 왼손에 스마트워치(200)를 착용하고 음료수를 오른손으로 마시는 경우를 들 수 있다. 또한, 어떤 행동은 가속도센서(220-1)의 측정만을 이용해서는 식별이 되지 않는다. 예를 들면, 테이블에서 TV시청, 독서 및 음료 마시기는 앉아서 하는 행동 속성이기 때문에 가속도센서의 측정에서 매우 유사한 특징을 나타낼 수 있다. 이러한 문제를 해결하기 위해 스마트워치(200)의 마이크로폰(220-2)을 사용하여 추출된 행동 또는 방의 소리 특징을 가속도센서(220-2)의 움직임 특징과 함께 적용하였다.

도 4 및 5에 나타낸 바와 같이, 가옥 공간에서의 행동 의존성은 개인에 따라 그리고 행동의 타입에 따라 변화한다. 또한, 사람들이 다른 물리적 특성(나이, 키, 몸무게) 및 습관을 갖기 때문에 같은 사람일지라도 다르게 행동한다. 그러므로, 개인적 학습 매커니즘이 인간 행동을 분류하기 위해 요구된다.

행동인식을 통해 사용자 위치를 결정하기 위해서, 행동과 공간 사이의 상호관계가 학습되어야 한다. 또한, 이러한 학습과정은 사용자 의존에 따라 개인적인 방법으로 수행되어야 한다. 그러나, 각 사용자의 현재 위치의 수동적 구축은 상당한 노력이 요구되기 때문에 사용자의 위치를 자동적으로 구축하는 학습방법이 필요하다. 따라서, 본 발명의 실시예에서는 스마트워치(200)와 모바일폰(100)의 사용을 통하여 자동학습방법을 적용하였다. 즉, 사용자의 행동들에 대한 특징을 자동적으로 추출하고 일상생활에서 공간과 행동 사이의 상관관계를 학습하는 센서기반 행동인식을 통한 사용자위치 인식시스템(1)을 개발하였다.

도 6은 센서기반 행동인식을 통한 사용자위치 인식시스템(1)의 기능적 구조를 나타내는 블록도로서, 행동 핑거프린트 생성부(400), 위치획득부(500) 및 HMM 기반 위치인식부(600)를 포함한다.

먼저, 행동 핑거프린트 생성부 (400)는 스마트워치(200)의 가속도 센서 입력으로부터 사용자의 이동을 검출하기 위해 로우(raw) 센서 데이터를 사전 처리한다. 이후 다양한 센서 데이터로부터 행동 핑거프린트를 추출한다, 추출된 특징은 불루투수 통신모듈(230)을 통해 모바일폰(100) 또는 서버로 전송한다. 여기서, 서버는 네트워크를 통해 연결되어 다수 사용자들의 각 홈 환경에서 사용자 위치를 인식하고 사용자에게 적절한 서비스를 제공하고 행동에 수반되는 전자기기들을 제어하기 위해 구축된 컴퓨터이다. 서버는 PC, 데스크 탑 PC, 노트북 PC 등으로 구현가능하며, 각 가정마다 구축될 수 있다.

위치획득부(500)는 모바일폰(100)은 주기적으로 근처 WiFi 공유기들로부터 신호 세기를 감지하고, WiFi 핑거프린트 기술을 기초로 그들의 위치를 획득한다. 또한, 모바일폰(100)은 사용자가 같은 위치에 있는 여부를 판단하기 위해 페어링된 스마트워치(200)를 사용하여 거리를 계산한다.

HMM 기반 위치인식부(600)는 통계적 마코프 모델(statistics Markov Model), 예를 들면 히든 마코프 모델(HMM: Hidden Markov Model)을 기반으로 하며, 2파트로 이루어져 있다. 제1파트는 모바일폰(100)이 동일 공간에서 사용자와 같은 위치에 존재할 때의 추론 모델의 학습단계이다. 충분한 학습샘플로 자동적으로 구축하고 HMM기반 추론모델을 업데이트한다. 제2파트는 스마트워치(200)로부터 얻은 행동 핑거프린트를 이용하여 사용자의 위치를 판단한다.

이하, 센서기반 행동인식을 통한 사용자위치 인식방법에 대해 도 6 내지 24를 참조하여 상세히 설명한다.

도 6에 나타낸 바와 같이, 행동 핑거프린트 생성부(400)는 전처리부(410), 제1특징추출부(420), 제2특징추출부(430), 및 클러스터링부(440)를 포함한다.

행동인식에 의한 홈 환경에서의 사용자 위치인식은 인식된 행동이 관련 공간에서 수행되어야 하는 사전조건을 기초로 한다. 전처리부(410)는 사용자들이 주변을 이동(예를 들면 청소)하는 동안에 행동들로부터 필터링하기 위해 사용자의 이동상태를 검출한다. 또한, 사용자의 오랜 이동은 사용자의 위치변화를 나타내기 때문에 이동거리의 측정을 기초로 사용자 위치가 업데이트 될 때를 예측한다. 이동상태는 정지, 이동, 불명(사용자가 스마트워치를 착용하지 않았을 때)의 3가지 상태를 취한다. 여기서, 이동거리 및 이동상태는 걸음 수 검출을 기초로 측정한다. 가속도센서(220-1)를 이용한 걸음 수 검출 알고리즘은 이미 공지된 기술을 이용한다. 걸음 수는 좌표 스테핑(stepping)점을 마크하기 위해 사용되는 스마트워치(200)에서의 가속도센서(220-1)의 피크 검출을 기초로 카운트한다. ΔTmin 및 ΔTmax를 각각 연속 가속도 피크 사이에서의 최소시간과 최대시간이라 정의할 때, 2개 피크 이상이 ΔTmin 이내로 측정될 경우 단지 하나의 피크만을 한 걸음으로 계산하고, 다른 피크들은 걸음의 오류 포지티브 검출을 방지하기 위해 버린다. 정상적인 사용자가 홈에서 초당 3걸음 이하를 걷기 때문에 ΔTmin는 0.33으로 설정한다. 만일 2걸음 이상이 ΔTmax(예를 들면 2초) 이내로 카운트 될 경우 이동상태는 "이동"으로 판단하고, 그밖에 피크가 ΔTmax 동안에 검출되지 않으면 "정지"로 판단한다. 추가로, ΔTmax 동안에 측정에서의 변화가 없을 때(예를 들면 측정의 표준 편차가 0.05g 이하 일 때), 스마트워치(200)를 미착용이고 이동상태를 "불명"으로 판단한다. 스마트워치(200)로 모니터하는 행동은 이동상태가 "이동"에서 "정지"로 변화할 때 시작된다.

특징추출부(420, 430)는 스마트워치(200)로부터 얻은 2가지 타입, 움직임 정보와 소리정보를 기초로 한 2가지 타입으로 된 행동특징을 추출한다. 움직임특징은 행동 중의 팔 이동을 나타내며, 소리특징은 위치에서의 주변 소리는 물론 행동으로 발생된 소리를 나타낸다.

움직임특징은 가속도 센서(220-1)로부터의 측정을 통해 자세 및 반복적인 팔 움직임의 동작 특성을 캡쳐한다. 행동을 모니터하기 위해 약 5s의 슬라이딩 윈도우를 사용하였고, 측정은 50Hz 이상의 비율에서 수집된다. 윈도우는 이전 슬라이딩 윈도우와 50% 중첩된다. 일단 슬라이딩 윈도우가 측정으로 채워지면, 다음의 움직임 특징들이 추출된다.

(1) 평균 및 표준 편차벡터: 3차원 평균 및 표준 편차 벡터는 윈도우(512프레임을 포함하는 5-s 윈도우)에서 가속도 신호로부터 계산된다. N가속도 측정 샘플로서 평균 및 표준 편차 벡터는 다음의 식 [1] 및 식[2]로 나타내어진다.

(2) 기울기 각: 기울기 각은 포지티브 z-축과 중력 벡터 g 사이의 각도로 정의된다. 기울기 각은 임의의 자세 중에서 구별을 위해 사용되며, 다음의 식 [3]으로 계산된다.

(3) 에너지: 짧은 시간의 에너지 이동을 캡쳐하기 위해서는 에너지 특징이 계산된다. 에너지는 신호의 이산 고속 푸리에 변환(FFT: Fast Fourier Transform) 성분 크기 제공의 합이다. 이 합은 정규화를 위해 윈도우 길이로 나누어진다. 에너지는 다음의 식 [4]에 의해 계산된다.

Xi는 슬라이딩 윈도우 내의 FFT 성분이다.

(4) 상관벡터: 각 쌍의 축 사이의 상관관계를 구성하는 벡터는 다음과 같은 식 [5]로 표현된다.

(5) 주파수 대역의 파워 스펙트럼 밀도( PSD ): PSD는 주파수 대 Hz당 파워의 주파수-도메인 플롯이다. PSD 특징은 주파수 도메인에서의 반복 이동을 나타낸다. PSD는 주파수에 따라 4부분, 0-1, 1-2, 2-4 및 4-8Hz로 나누어진다.

(6) 행동 스코어(AS): 소정 기간(예를 들면 최근 10분) 동안에 얼마나 자주 팔을 사용했는지를 모니터링 함으로써 사용자의 행동 레벨을 계산한다. 행동 레벨은 사용자가 의자에 앉거나 잠을 자는 정지상태에 또는 복잡한 이동(요리)을 수반하는 다이내믹 상태에 있는지 여부를 나타낸다. 행동 스코어는 도 7에 나타낸 바와 같이 다른 행동으로부터 수면행동을 구별하기 위한 중요(key) 특징이다. 행동스코어(AS)는 다음과 같은 식 [6]으로 계산된다.

스마트워치(200)에 내장된 마이크로폰을 이용하여 소리인식을 수행한다. 행동의 소리 또는 공간에서의 고유 주변환경 소리(예를 들면 전자기기 동작소음)는 홈 행동을 추론하기 위해 사용된다. 예를 들면, 물소리에 의해 누군가가 샤워를 하고 있음을 알릴 수 있다. 스마트워치(200)의 마이크로폰(220-2)을 사용하여 매 180초마다 3초 동안 사용자가 정지상태에 있을 때 소리를 기록하였다. 다음에, 보통 대화소리 신호처리에 사용되는 루트 평균 스퀘어(RMS: root mean square) 및 mel-주파수 켑스트럴 계수(MFCCs: mel-frequency Cepstral coefficients)가 소리특징으로 추출되었다. "mel"은 인간의 가청 주파수를 기초로 한 측정의 기본 단위이다. MFCC는 mel-주파수 필터 뱅크 상에서 로그 스케일 파워 ?정°?럼의 선형 코싸인 변환을 기초로 한다. 여기서 25-mel 필터 뱅크를 사용하였고, 소리 특징을 위해 처음 12계수를 계산하였다.

클러스터링부(440)는 군집화(clustering) 알고리즘을 이용하여 상기 추출된 움직임 특징과 소리 특징을 기반으로 행동 핑거프린트를 생성한다. 여기서는, 사용자 참여 없이 학습데이터 상에 주석(annotation)을 자동적으로 생성한다. 또한, 인간 행동에 따른 감지 데이터를 카테고리화하기 위해 추출된 특징 벡터들을 클러스터링한다. 먼저, 추출된 특징들이 높은 디멘션 벡터(움직임은 37 디멘션이고 소리는 12 디멘션)로 구성되기 때문에 선형 판별 분석(LDA: Linear Discriminant Analysis) 디메션 축소를 이용하여 벡터의 디멘션을 축소시킨다. 군집화(clustering) 알고리즘으로서 K-평균 클러스터링 알고리즘은 수동 라벨링 없이 유사성을 기반으로 특징 벡터들을 카테고리화한다. K-평균 클러스터링 알고리즘에서, 벡터들은 k의 배타적 집단으로 나누어지며, k 시드(seed) 벡터는 초기에 특징들로부터 선택된다. 도 8에 나타낸 바와 같이 특징벡터들의 클러스터링 결과는 행동 핑거프린트로서 정의된다. K-평균 클러스터링 알고리즘의 중요한 점은 그 결과가 아 프리오리(a priori)라 알려진 K값에 의존한다는 점이다. 홈 환경에 따라 결정되는 K값은 경험적으로 판단된다.

위치획득부(500)는 WiFi 기반 위치결정 시스템(WPS: Wi-Fi-based positioning system)을 이용한 위치 핑거프린트 생성부(510)와 불루투스 통신을 이용한 스마트워치(200)와 모바일폰(100) 사이의 거리를 측정하는 거리측정부(520)를 포함한다.

WiFi 기반 위치결정 시스템은 추가적인 인프라구축 없이 모바일장치의 정확한 위치(예를 들면 룸 레벨에서)를 제공하기 때문에 널리 이용된다. 그러나, 스마트워치(200)와 같은 웨어러블 장치들에도 WiFi 기반 위치결정 시스템을 채용하는 것은 가능하나 제한된 배터리용량과 작은 형태라는 점 때문에 적절하지는 않다. 각 사용자가 기본적으로 개인적인 모바일폰(100)을 갖고 있는 것으로 가정하고, 사용자의 위치를 얻기 위해 WPS를 사용한다. 만일 사용자가 홈의 어떤 공간에 머무를 경우에, 모바일폰(100)은 주변의 WiFi 공유기들로부터 RSS를 측정한다. 다음에, 만일 S(f_t,f^a)≤ρ일 경우 t시간에 장소 a에 위치하는 것으로 판단한다. 여기서, 유사함수 S(·) 는 타미모토 계수(Tanimoto coefficient)를 기초로 하며, f_t는 모바일폰에 의해 시간 t에서 측정된 RSS벡터이고, f^a는 장소a에서 훈련된 WiFi 핑거 프린트이고, ρ는 주어진 임계값이다.

모바일폰(100)은 방 정보를 얻기 위해 주기적으로(예를 들면 매 5분마다) RSS벡터들을 수집한다. 그러나 홈 환경에서, 모바일폰(100)이 항상 장치 소유자의 위치와 동일한 위치에 있다는 것을 보장하지 않는다. 사용자가 모바일폰(100)이 놓여 있는 공간과 다른 위치에 있는 경우를 필터링하기 위해, 거리측정부(520)는 모바일폰(100)과 스마트워치(200) 사이의 불루투스 통신의 신호세기를 이용한다. 도 9는 가옥 내 공간에서 불루투스 통신의 신호세기와 거리를 나타내는 도이다. 불루투스 신호의 전송 범위는 WiFi보다 짧은 10-20m이다. 따라서, 불루투스 신호와 거리의 비는 WiFi 신호보다 더 높다. 모바일폰(100)과 스마트워치(200) 사이의 거리가 6m 이내로 짧을 때 신호 세기는 1m 거리차로 급격히 감소하기 시작한다. 4m 보다 가까운 거리인 불루투수를 통한 데이터 교환이 -72dBm일 때 모바일폰(100)과 스마트워치(200)가 같은 공간에 있다고 판단한다.

HMM 기반 위치인식부(600)는 2개의 단계, 훈련단계와 평가단계를 포함한다. 훈련단계에서, 행동과 가옥 내 공간 사이의 관계는 사용자가 모바일폰(100)과 동일한 위치에 있을 때 훈련된다. 사용자가 모바일폰 없이 이동함에 따라 모바일폰(100)으로부터 멀어지면, 위치를 모바일폰(100)의 WPS로 직접 결정할 수 없기 때문에, 행동 핑거프린트들을 사용한 평가단계로 사용자 위치를 추론한다.

본 발명의 실시예에서는 가옥 내 공간과 행동 핑거프린트를 링크시키는 훈련과정이 필요하다. 종래의 긱계학습과 인식 시스템에서는 그들이 훈련 중에 한 행동의 타입을 수동적으로 구축하였지만, 본 발명의 실시예에서는 행동의 타입이 아닌 사용자의 위치에 포커싱되어 있기 때문에 훈련 동안에 수동적인 구축은 필요없다. 사용자가 모바일폰(100)과 같은 위치에 있을 때 추론모델의 훈련 샘플을 생성하기 위해 WPS로부터 얻어진 평가위치를 이용한다.

HMM 기반 위치인식부(600)는 홈에서 사용자 이동을 모델링하기 위해 히든 마코프 모델(HMM)을 적용한다. HMM은 히든 상태 x와 관찰 y를 가진 생성확률모델(generative probabilistic model)이다. 상태 x는 방출확률α로 알려진 조건 확률 분포를 가진 관찰(observation)을 방출한다. 또한, 히든 상태들 사이의 이동은 이동확률β라 불리는 확률 집합에 의해 지배된다. 도 10은 행동 핑거프린트를 기초로 한 위치결정방법을 나타내는 그래픽 표현이다. HMM에서, 상태는 숨겨져 있고 관찰은 알려져 있기 때문에, HMM의 주요목표는 관찰 시컨스(y1, y2,…,yt)에 해당하는 히든 상태 시컨스(x1, x2,…, xt)를 결정하는 것이다. 본 발명에서는 관찰된 행동 핑거프린트의 시컨스로 사용자에 의해 이전에 방문된 방 위치 집합을 평가한다. HMM을 구축하기 위해서는 이동과 방출 확률분포가 모두 훈련 샘플들로 평가된다.

이동확률은 상태 x_i에서 상태 x_j로 이동할 확률을 나타내며, α_ij로 표현된다. α_ij를 평가하기 위해서는 전술한 WPS를 통하여 이력적 관찰 이동(historically-observed movement)을 이용한다. 방 위치 r_i에서 r_j로의 이동확률α_ij은 다음 식 [7]로 계산된다.

여기서, T(i,j)는 훈련 샘플에서 x_i에서 x_j로 이동 총수이고, N은 방의 수이다.

주어진 위치 r_i와 대응 행동 핑거프린트af_j에 대한 방출확률β_ij는 행동 핑거프린트 af_j가 방r_i 에 있는 사용자로부터 관찰되는 확률이다. 방출확률β_ij는 다음의 식 [8]로 계산된다.

여기서, E(i, a_k)는 상태 x_i에서의 af_k를 방출하기 위한 총수이고, M은 특징 벡터들의 클러스터 수이다.

상술한 관찰부(610)의 방출확률과 상태부(620)의 이동확률을 기초로 한 HMM 훈련에 의한 훈련 세트 DB (620)의 구축을 완료하면, 사용자가 모바일폰(200)과 동일 위치에 있음을 감지하였을 때 사용자 위치가 평가단계에서 비터비 복조부(650)에 의해 얻어진다. 관찰된 행동 핑거프린트로부터 HMM에서 가장 가능성 있는 히든 상태들을 평가하기 위해 비터비 복조(Viterbi decoding)를 사용한다. 비터비 복조는 주어진 관찰 시컨스로부터 상태 시컨스의 가능성을 최대화하는 최선 상태 시컨스를 선택하기 위한 다이내믹 프로그래밍 기반 알고리즘이다. 상태공간 X와 초기확률 π를 가진 HMM모델이 주어지면, 시간 t에서 가장 가능성 있는 상태 x_k 의 확률은 다음 식 [9]로 표현된 점화식에 의해 계산된다.

여기서, α_uk는 상태 x_u에서 상태 x_k로의 이동확률이고, β_kt는 방위치 r_k에서 시간 t에서 관찰된 행동 핑거프린트의 방출확률αf_t 이다.

본 발명의 실시예에서는 안드로이드 스마트폰(100)과 S사 스마트워치(200)를 채용하여 다음과 같이 실험과 데이터 수집을 진행하였다. 스마트워치(200)는 3축 가속도센서(220-1), 마이크로폰(220-2), 자리로스코프(220-3), 카메라 및 불루투스 모듈(230)과 같은 다양한 센서를 포함한다. 스마트폰(100)은 스마트워치(200)가 행동 핑거프린트를 수집하기 위해 그의 다양한 센서들을 통해 계속적으로 모니터링하는 동안에, WiFi 핑거프린트 기술을 이용하여 사용자의 위치를 추론하기 위해 주기적으로(예를 들면 매 5분마다) WiFi 스캔을 수행한다. 실험하는 동안에 도 11 및 12에 나타낸 바와 같이 홈 환경(홈 A, 홈 B)에서 3∼5주 동안 4명의 사용자를 모티터링하였다. 정확한 평가를 위한 사용자의 지상 실측 위치를 수집하기 위해, 상태가 이동에서 정지로 변화될 때 또는 튜티 싸이클 시간(duty cycle time)(예를 들면 15분)이 종료될 때 리퀘스트 메시지를 사용자에게 주어서 스마트워치 상에서 그들의 위치와 현재행동에 대해 기록하도록 하였다.

도 13은 홈에서 사용자의 실제 행동과 위치 및 움직임 특징과 소리특징을 추적한 상태를 나타낸다. 움직임 특징과 소리 특징은 0-1 범위로 각 성분을 정규화함으로써 가시적으로 나타내었다. 도 13에 나타낸 바와 같이, 사용자는 방에서 방으로 이동하는 동안에 다양한 행동을 수행하며, 각 행동의 고유 특징이 관찰되었다. 랩탑을 사용하는 것과 같은 몇가지 행동은 소리 특징에서 다른 행동들과 명확한 차이를 보여주지 않았다. 샤워를 하는 경우에 움직임 특징은 스마트워치를 착용하지 않은 관계로 유용하지 않으며, 반면에 소리특징은 물소리를 감지할 수 있어 도움이 된다. 결과적으로 움직임 특징과 소리특징 모두를 동시에 사용하는 것은 단일의 특징을 사용하는 것보다 더 효과적이다.

행동과 공간 사이에 상호관계를 보여주기 위해, 행동과 위치 사이의 상관게수를 다음의 식 [10]으로 계산하였다.

도 14 내지 17은 4명의 사용자 A, B, C, D의 상관계수 결과를 나타낸 것이다. 상관계수의 높은 값은 행동이 대응위치에서 항상 일어나는 것을 나타낸다. 홈 행동은 항상 어떤 공간과 관계되어 있다. 그러나 사용자 A 또는 C의 행동에 대응하는 위치는 그들 함께 살더라도 사용자 B 또는 D와 다르다. 또한, 몇몇 행동은 하나의 위치로 명확히 종속되지 않는다. 예를 들면, 사용자 A는 종종 방 C 또는 거실 중 어느 한 곳에서 랩탑을 사용하는데 반해, 사용자 B의 PC/랩탑 사용은 전체적으로 방 A에 종속되어 있다. 주부(사용자 A 및 C)는 부엌, 거실, 및 청소를 위해 심지어 다른 개인 방과 같은 공유 공간을 포함한 집의 거의 모든 방들 돌아다니는 반면에, 다른 사용자(B, C)는 항상 자신이 소유한 거실과 화장실과 같은 몇 개의 방만을 돌아다닌다. 결과적으로, 행동 모니터링을 기반으로 한 사용자 위치평가는 개인적인 방법으로 훈련되고 실험되어야 한다.

행동 핑거프린트의 효율성을 평가하기 위해, 먼저 본 발명의 사용자 위치 인식 시스템(1)의 파라메터(클러스터링 알고리즘의 입력 k)를 선택한 후 지상 실측 위치정보로 구축한 HMM추론 모델을 사용하여 사용자 위치 인식 시스템(1)의 성능을 평가한다.

먼저, 수동으로 구축한 데이터를 기초로 한 지상 실측 위치정보로 훈련된 제안 시스템의 성능을 평가한다. 정확한 평가를 위해 사용자에 의해 구축한 실제 위치와 행동 핑거프린트로 평가된 위치를 비교한다. 도 18은 행동 핑거프린트를 생성하기 위해 사용되는 클러스터의 수에 따른 영향을 나타낸다. 일반적으로, 클러스터의 수가 크면 미세하게 나누어진 행동 핑거프린트가 인간의 행동을 보다 잘 나타내기 때문에 위치 평가의 정확도가 증가한다. 그러나 클러스터의 수가 20보다 크면 정확도에서 큰 차이가 나지 않는다. 따라서, 25종류의 행동 핑거프린트는 홈에서 인간행동을 나타내는데 충분하기 때문에 클러스터 값 k의 수로 25로 결정하였다.

도 19는 움직임 특징과 소리특징 단독 또는 결합에 대한 정밀도와 리콜의 예측 정확도를 나타낸 것으로, 단지 단일 특징을 사용하는 것의 정밀도는 움직임 특징으로 87%, 소리특징으로 76%이다. 그러나, 움직임 특징과 소리 특징 모두를 함께 사용하는 경우 정밀도와 리콜은 90% 이상이다.

도 20은 가옥 내 공간에 따른 본 발명 시스템(1)의 정확도를 나타낸 것이다. 도 20에 나타낸 바와 같이 정밀도와 리콜은 화장실과 부엌을 제외하고 모든 곳에서 90% 이상이고, 화장실과 부엌은 각각 정밀도가 83.9%와 85.0%이었다.

본 발명의 행동기반 사용자 위치 인식 시스템(1)은 수동적 구축없이 WiFi 핑거프린트 기술을 사용하여 행동 핑거프린트의 위치를 자동적으로 라벨링한다. 사용자는 무선 DB를 구축하기 위해 각 방에서 3개의 RSS 측정값을 수집한 후, 실험 동안에 수집된 RSS측정값과 사용자의 위치를 평가하였다. 도 21의 (a)는 홈A에서 수집한 정규화된 RSS 벡터의 유사성을 나타낸다. 대부분의 경우에, 하나의 방에서의 RSS측정값이 다른 방에서의 측정값과 구별된다. 도 21의 (b)는 방 위치에 따른 WiFi 기반 위치결정 시스템의 정확도를 나타낸다. WiFi 기반 위치결정 시스템은 홈 A에서 91%, 홈 B에서는 88%로 산출되었다.

추가적으로, 위치를 정확하게 예측하기 위한 훈련 샘플의 요구 시간과 양을 분석하기 위해 예측 위치에 관한 훈련기간의 영향을 평가하였다. 도 22는 개인에 따라 훈련기간과 예측 정확도의 관계를 나타낸 그래프이다. 5일 동안 수집한 훈련 샘플로, 사용자의 위치를 정확하게 추론하였다. 특히, 사용자 B와 D의 경우에, 단지 2일 동안 수집한 훈련 샘플만으로 홈에서 정확도 80% 이상으로 그들의 홈 행동 및 대응 위치를 충분히 학습하였다. 이러한 결과는 도 15 및 17에 나타낸 바와 같이 사용자 B와 D가 그들의 방에서 매우 간단한 행동과 이동 패턴을 갖는 학생이었기 때문이다.

WPS를 이용한 훈련샘플의 자동 구축의 본 발명의 사용자 위치인식 시스템(1)의 성능을 평가하기 위해 공지된 분류식 방법과 비교하였다. 비교 모델로서, 행동인식과 오디오 분류를 위해 널리 사용되고, 판별분류자인 서포트 벡터 머신(SVM: support vector machine)법을 사용하였다. SVM법을 사용하기 위해서 훈련샘플의 집합(V₁, r₁),…,(v_t,r_t)을 적용하였다. v_t는 시간 t에서 스마트워치(200)로부터 추출된 특징 벡터이고, r_t는 시간 t에서 방 위치에 대한 라벨링이다. 사용자 위치인식 시스템(1)은 2종류의 특징 벡터가 존재하기 때문에 움직임 특징과 소리 특징에 대한 2개의 SVM 기반 분류자를 사용하였다. 각 분리기는 독립적으로 특징 벡터들과 사용자 위치를 분류한다. 그러나 복합 센서로부터의 특징 벡터들은 파워 소모 이슈 때문에 다른 튜티 싸이클로 생성된다. 2개 분류자의 결합 가능성을 최대화한 위치 평가는 다음의 식 [11]에 의해 수행된다.

여기서, r_i는 방 위치이고, C_k 및 C_a는 각각 움직임 특징과 소리 특징에 대한 SVM 분류자이다.

도 23은 본 발명의 실시예와 SVM기반 분류법의 성능을 비교한 그래프이다. 도 23에 나타낸 바와 같이, 본 발명의 실시예가 어떤 센서를 선택하든 SVM기반 분류방식 보다 우수하다. SVM기반 분류방식에서, 소리특징이 외부 환경요소로 인해 생성된 주변 소음이나 다른 소리가 혼입되기 때문에 단일 움직임 특징을 사용하는 것이 단일 소리 특징을 사용하는 것보다 우수하다.

유사한 행동을 식별하기 위해 가속도 센서와 마이크로폰 이외의 다른 센서 예를 들면 방향특징을 감지하는 자계센서를 이용할 수 있다. 도 24는 다른 공간에서 같은 행동을 구별하기 위한 자계센서로부터의 방향 특징을 나타낸 그래프이다. 도 24와 같이, 화장실에 앉아 있는 행동, 부엌 의자에 앉아 있는 행동, 거실 소파에 앉아 잇는 행동은 가속도센서로부터는 유사한 움직임 특징을 갖기 때문에 서로 쉽게 구별되지 않는다. 또한, 몇몇의 행동(사용자 B의 수면과 랩탑사용)은 여러 공간에서 발생한다. 이러한 경우에, 자계 센서로 방향 특징을 결합함으로써 다른 위치에서의 유사한 행동을 쉽게 식별할 수 있다. 본 발명은 상술한 자계센서뿐만 아니라 심박센서, 자이로스코프, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 적용할 수도 있고, 언급되지 않은 다른 종류의 센서가 사용될 수 있다.

상술한 설명에서 본 발명의 실시예는 기본적으로 웨어러블 기기인 스마트워치(200)가 사용자 상태 및 주변환경에 대한 정보를 감지하고, 모바일폰인 스마트폰(100)에서 WiFi와 불루투스를 이용하여 위치정보를 획득하는 것으로 설명하였다. 추가적으로, 스마트폰(100)은 보다 충분한 배터리용량, 크기, 및 데이터 처리능력을 고려할 때 사용자 상태 및 주변환경에 대한 정보를 감지하는 센서들을 이용하여 제2의 행동 핑거프린트를 획득하여 HMM 기반 사용자 위치인식의 정확도를 향상시킬 수 있다.

HMM 기반 사용자 위치인식은 스마트폰(100)에서 수행할 수도 있고, 단지 스마트폰(100)이 위치정보와 행동특징 정보만을 취득하여 서버로 전송한 후 서버가 수행할 수도 있다.

이하 도 25를 참조하여 본 발명의 실시예에 따른 센서기반 행동인식을 통한 사용자 위치인식방법을 설명하면 다음과 같다.

단계 S110에서, 스마트워치(200)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 감지한다.

단계 S120에서, 상기 감지된 정보를 기초로 행동특징을 추출한다.

단계 S130에서, 상기 추출된 특징을 기초로 행동 핑거프린트를 생성한다.

단계 S140에서, 스마트폰(100)에서 WiFi 통신을 이용하여 스마트폰(100)의 위치 알아내고, 불루투스 통신을 이용하여 스마트워치(200)와 스마트폰(100) 사이의 거리를 측정하여 사용자가 스마트폰(100)과 같은 위치에 있는지를 판단한다.

단계 S150에서, 사용자가 스마트폰(100)과 같은 위치에 있으면, WiFi 통신을 이용한 스마트폰(100)의 위치를 사용자 위치로 판단한다.

단계 S160에서, 단계 S150에서 판단한 사용자위치에서 사용자가 행동한 특징에 해당하는 핑거프린트를 사용자위치와 연계시켜 저장한다. 이 연계된 데이터는 위치와 행동 핑거프린트의 훈련 DB로서 활용할 수 있다.

단계 170에서, 사용자가 스마트폰(100)과 같은 위치에 없으면, 스마트워치(200)에서 보내온 행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식한다.

도 26은 본 발명의 다른 실시예에 따른 센서기반 행동인식을 통한 사용자 위치인식방법을 나타낸 순서도 이다.

단계 S210에서, 스마트워치(200)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 감지한다.

단계 S220에서, 상기 감지된 정보를 기초로 행동특징을 추출한다.

단계 S230에서, 상기 추출된 특징을 기초로 행동 핑거프린트를 생성한다.

단계 S240에서, 스마트폰(100)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 포함하는 제2정보를 감지한다.

단계 S250에서, 상기 감지된 제2정보를 기초로 제2행동특징을 추출한다.

단계 S260에서, 상기 추출된 특징을 기초로 제2행동 핑거프린트를 생성한다.

단계 S270에서, 스마트폰(100)에서 WiFi 통신을 이용하여 스마트폰(100)의 위치 알아내고, 불루투스 통신을 이용하여 스마트워치(200)와 스마트폰(100) 사이의 거리를 측정하여 사용자가 스마트폰(100)과 같은 위치에 있는지를 판단한다.

단계 S280에서, 사용자가 스마트폰(100)과 같은 위치에 있으면, WiFi 통신을 이용한 스마트폰(100)의 위치를 사용자 위치로 판단한다.

단계 S290에서, 단계 S280에서 판단한 사용자위치에서 사용자가 행동한 특징에 해당하는 핑거프린트를 사용자위치와 연계시켜 저장한다. 이 연계된 데이터는 위치와 행동 핑거프린트를 이용한 사용자 위치인식, 즉 행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식에 이용될 수 있다.

단계 300에서, 사용자가 스마트폰(100)과 같은 위치에 없으면, 스마트워치(200)에서 보내온 제1행동 핑거프린트 및 스마트폰(100)의 제2행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식한다.

이상과 같이 본 발명은 한정된 예시적 실시예와 도면을 통해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

본 발명의 실시예에 따른 동작들은 단일 또는 복수의 프로세서에 의해 그 동작이 구현될 수 있을 것이다. 이러한 경우 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령이 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판단 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM이나 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 기지국 또는 릴레이의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.

그러므로 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 사용자단말장치(모바일폰, 스마트폰)
110: 제1프로세서
120: 제1센서모듈
130: 제1통신모듈
140: 제1저장부
200: 모바일장치(스마트워치)
210: 제2프로세서
220: 제2센서모듈
230; 제2통신모듈
240: 제2저장부
300: 무선공유기
400: 행동 핑거프린트 생성부
500; 위치획득부
600: HMM 기반 위치인식부

Claims (20)

1. 사용자 위치를 인식하는 사용자 단말 장치에 있어서,
   모바일 장치로부터 행동정보를 수신하는 통신모듈과, 상기 통신 모듈은 블루투스 통신과 와이파이 통신을 수행하며;
   상기 블루투스 통신의 신호 세기에 기초하여 상기 사용자 단말 장치와 상기 모바일 장치의 거리를 측정하고,
   상기 모바일 장치와 상기 사용자 단말 장치의 거리가 소정 범위 내인 지를 판단하고,
   상기 소정 범위 내인 것으로 판단되는 경우, 상기 와이파이 통신 신호에 기초한 와이파이 기반 위치 추적 시스템(WPS)을 통해 획득된 상기 사용자 단말 장치의 위치를 사용자위치로 결정하고,
   상기 소정 범위 내가 아닌 것으로 판단되는 경우, 상기 모바일 장치로부터 수신된 행동 정보에 기초하여 사용자 위치를 결정하는 프로세서를 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 모바일 장치는 웨어러블 기기 및 모바일 폰 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 사용자 단말 장치는 모바일 폰, 노트 북 PC, 태블릿 PC, PDA, 데스크 탑 PC 및 서버 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
4. 제1항에 있어서,
   상기 모바일 장치는 가속도 센서, 마이크로 폰, 심박 센서, 자이로스코프, 지자기 센서, 중력 센서, 광 센서, 디지털 나침반, 냄새 센서 및 근접 센서 중 적어도 하나로 구성된 제1센서 모듈을 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
5. 제4항에 있어서,
   상기 사용자 단말 장치는 가속도 센서, 마이크로 폰, 자이로스코프, 지자기 센서, 중력 센서, 광 센서, 디지털 나침반, 냄새 센서 및 근접 센서 중 적어도 하나로 구성된 제2센서 모듈을 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
6. 제5항에 있어서,
   상기 행동 정보는 제1행동 정보이고,
   상기 모바일 장치는 상기 제1센서 모듈에 의해 감지된 제1감지 정보에 기초하여 상기 제1행동 정보를 추출하고,
   상기 프로세서는 상기 제2센서 모듈에 의해 감지된 제2감지 정보에 기초하여 제2행동 정보를 추출하고, 상기 제1행동 정보와 상기 제2 행동 정보에 기초하여 상기 사용자 위치를 결정하는 것을 특징으로 하는 사용자 단말 장치.
   
7. 삭제
8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 프로세서는 상기 모바일 장치와 상기 사용자 단말 장치의 거리가 상기 소정 범위 내인 것으로 판단되는 경우 사용자와 상기 사용자 단말 장치가 동일한 위치에 있다고 판단하고, 상기 와이파이 기반 위치 추적 시스템을 통하여 획득한 상기 사용자 단말 장치의 위치를 상기 사용자 위치로 결정하는 것을 특징으로 하는 사용자 단말 장치.
   
9. 제4항에 있어서,
   상기 행동 정보는 상기 제1센서 모듈로부터 획득한 로우(raw) 감지 데이터를 기초로 생성한 행동 핑거프린트(activity fingerprint)를 포함하는 것을 특징으로 하는 사용자 단말 장치.
   
10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

    제9항에 있어서,
    상기 행동 핑거프린트는 로우(raw) 감지 데이터로부터 추출된 특징을 기초로 군집화(clustering) 알고리즘에 의해 생성되는 것을 특징으로 하는 사용자 단말 장치.
    
11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

    제9항에 있어서,
    상기 프로세서는 상기 행동 핑거프린트(activity fingerprint)를 기초로 통계적 마코프 모델(Statistics Markov Model)을 이용하여 사용자 위치를 결정하는 것을 특징으로 하는 사용자 단말 장치.
    
12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

    제8항에 있어서,
    상기 프로세서는 상기 사용자 위치에 해당하는 행동 핑거프린트를 사용자 위치와 연계시켜 학습 모델로 저장하는 저장부를 더 포함하는 것을 특징으로 하는 사용자 단말 장치.
    
13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    상기 행동 정보에 해당하는 사용자 행동을 행동 시간과 연계시킨 사용자 행동 이력 데이터를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 사용자 단말 장치.
    
14. 제1항에 있어서,
    상기 프로세서는 상기 사용자 위치에 배치된 전자 기기를 제어하는 것을 특징으로 하는 사용자 단말 장치.
    
15. 사용자 위치를 인식하는 시스템에 있어서,
    행동 정보를 추출하는 제1프로세서와, 상기 추출된 행동 정보를 전송하는 제1통신 모듈을 구비한 모바일 장치와, 상기 제1통신 모듈은 블루투스 통신을 수행하며;
    상기 제1통신 모듈로부터 상기 행동 정보를 수신하는 제2 통신 모듈과, 상기 제2통신 모듈은 상기 블루투스 통신과 와이파이 통신을 수행하며; 상기 블루투스 통신의 신호 세기에 기초하여 사용자 단말 장치와 상기 모바일 장치의 거리를 측정하고, 상기 모바일 장치와 상기 사용자 단말 장치의 거리가 소정 범위 내인 지를 판단하고, 상기 소정 범위 내인 것으로 판단되는 경우, 상기 와이파이 통신 신호에 기초한 와이파이 기반 위치 추적 시스템(WPS)을 통해 획득된 상기 사용자 단말 장치의 위치를 사용자 위치로 결정하고, 상기 소정 범위 내가 아닌 것으로 판단되는 경우, 상기 모바일 장치의 제1통신 모듈로부터 수신한 행동 정보에 기초하여 사용자 위치를 결정하는 제2프로세서를 구비하는 상기 사용자 단말 장치를 포함하는 것을 특징으로 하는 시스템.
    
16. 사용자 위치를 인식하는 시스템에 있어서,
    행동 정보를 추출하는 제1프로세서와, 상기 추출된 행동 정보를 전송하는 제1통신 모듈을 구비한 제1 모바일 장치와, 상기 제1통신 모듈은 블루투스 통신을 수행하며;
    와이파이 통신과 상기 블루투스 통신을 수행하는 제2통신 모듈과, 상기 와이파이 통신을 통해 자신의 위치 정보를 획득하고 상기 블루투스 통신을 통해 상기 제1모바일 장치와의 거리 정보를 획득하는 제2프로세서를 구비한 제2 모바일 장치와;
    상기 제1통신 모듈로부터 상기 행동 정보를 수신하고 상기 제2 통신 모듈로부터 상기 와이파이 통신을 통해 획득된 위치 정보와 상기 블루투스 통신을 통해 획득된 거리 정보를 수신하는 제3통신 모듈과, 상기 거리 정보에 기초하여 상기 제1모바일 장치와 상기 제2모바일 장치의 거리가 소정 거리 내인 것으로 판단되는 경우 상기 위치 정보를 사용자 위치로 결정하고, 상기 제1모바일 장치와 상기 제2모바일 장치의 거리가 소정 거리 내가 아닌 것으로 판단되는 경우 상기 수신한 행동 정보를 기초에 기초하여 사용자 위치를 결정하는 제3프로세서를 구비하는 사용자 단말 장치를 포함하는 것을 특징으로 하는 시스템.
    
17. 사용자 위치 인식 방법에 있어서,
    모바일 장치가 행동 정보를 사용자 단말 장치로 전송하는 단계와;
    상기 사용자 단말 장치가 블루투스 통신의 신호 세기에 기초하여 상기 사용자 단말 장치와 상기 모바일 장치의 거리를 측정하는 단계와;
    상기 사용자 단말 장치가 상기 모바일 장치와 상기 사용자 단말 장치의 거리가 소정 범위 내인 지를 판단하는 단계와;
    상기 소정 범위 내인 것으로 판단되는 경우, 와이파이 통신 신호에 기초한 와이파이 기반 위치 추적 시스템(WPS)를 통해 획득된 상기 사용자 단말 장치의 위치를 사용자 위치로 결정하고,
    상기 소정 범위 내가 아닌 것으로 판단되는 경우, 상기 모바일 장치로부터 상기 사용자 단말 장치로 전송된 상기 행동 정보에 기초하여 사용자 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 위치 인식 방법.
    
18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

    제17항에 있어서,
    상기 소정 범위 내인 것으로 판단되는 경우, 사용자와 상기 사용자 단말 장치가 동일한 위치에 있다고 판단하는 단계와;
    상기 동일한 위치에 있다고 판단하는 경우 상기 사용자 단말 장치의 위치를 상기 사용자 위치로 결정하는 단계를 더 포함하는 것을 특징으로 하는 사용자 위치 인식 방법.
    
19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈

    제17항에 있어서,
    상기 행동 정보는 제1행동 정보이고,
    상기 사용자 단말 장치가 사용자의 상태 및 사용자의 주변 환경 중 적어도 하나에 대한 제2정보를 감지하는 단계와;
    상기 사용자 단말 장치가 상기 제2정보에 기초하여 제2행동 정보를 추출하는 단계와
    상기 제1행동 정보와 상기 제2행동 정보에 기초하여 상기 사용자 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 사용자 위치 인식 방법.
    
20. 청구항 17항에 기재된 상기 사용자 단말 장치와 상기 모바일 장치의 거리와 상기 사용자 단말 장치의 위치, 및 상기 행동 정보에 기초하여 상기 사용자 위치를 결정하는 프로그램을 기록하고 있는 기록매체.

Images