KR101165537B1 - 사용자 장치 및 그의 사용자의 상황 인지 방법 - Google Patents

사용자 장치 및 그의 사용자의 상황 인지 방법 Download PDF

Info

Publication number
KR101165537B1
KR101165537B1 KR1020100105091A KR20100105091A KR101165537B1 KR 101165537 B1 KR101165537 B1 KR 101165537B1 KR 1020100105091 A KR1020100105091 A KR 1020100105091A KR 20100105091 A KR20100105091 A KR 20100105091A KR 101165537 B1 KR101165537 B1 KR 101165537B1
Authority
KR
South Korea
Prior art keywords
user
unit
situation
recognized
actions
Prior art date
Application number
KR1020100105091A
Other languages
English (en)
Other versions
KR20120043845A (ko
Inventor
권세형
김대현
양재영
이세진
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020100105091A priority Critical patent/KR101165537B1/ko
Priority to JP2011235316A priority patent/JP2012095300A/ja
Priority to EP11186899.8A priority patent/EP2447809B1/en
Priority to CN201110342786.1A priority patent/CN102456141B/zh
Priority to US13/282,912 priority patent/US20120109862A1/en
Publication of KR20120043845A publication Critical patent/KR20120043845A/ko
Application granted granted Critical
Publication of KR101165537B1 publication Critical patent/KR101165537B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 상황 인지 방법에 있어서, 사용자 장치에 구비된 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 객체(object)에 의해 발생되는 적어도 하나의 행동들을 인식하고, 상기 인식되는 행동들의 패턴을 분석하여 상기 사용자의 현재 상황을 인지하는 사용자의 상황 인지 방법이 개시된다. 이로써, 스마트폰과 같은 사용자 장치를 사용하는 사용자의 행동을 실시간으로 분석하고, 분석결과에 따라 사용자의 상황에 적합한 서비스를 제공해 줄 수 있다.

Description

사용자 장치 및 그의 사용자의 상황 인지 방법{User Equipment and method for cogniting user state thereof}
본 발명은 사용자 장치 및 그의 사용자의 상황 인지 방법에 관한 것으로, 보다 상세하게는 사용자에 의해 발생하는 움직임에 따라 사용자의 상황을 인지하고, 그에 적합한 서비스를 제공할 수 있는 사용자 장치 및 그의 사용자의 상황 인지 방법 및 이를 이용한 서비스에 관한 것이다.
스마트폰은 휴대가 가능한 IT 기기 중 하나로서, 기존의 일반적인 전화 기능뿐만 아니라 보다 강화된 프로세싱 기능, 네트워크 기능 및 센서들을 이용하여 다양한 서비스를 제공한다. 스마트폰을 사용하는 사용자는 보다 쉽게 네트워크를 통해 필요한 정보를 검색하며, SNS(Social Network Service)를 통해 주변인들과 커뮤니케이팅하며, 또는, 원하는 동영상을 볼 수 있다.
또한, 스마트폰은 내장된 센서들을 이용하여 네비게이팅 서비스를 제공함으로써, 사용자는 쉽게 길을 찾거나 다른 사람에게 사용자의 현재 위치를 알려줄 수도 있다. 즉, 스마트폰은 센서들을 통해 보다 많은 사용자 정보를 획득 및 가공하여 다양한 서비스를 제공할 수 있다. 그러나, 이러한 복합적인 센서의 사용을 활용하는 시스템 구축은 많은 수학적 모델과 기계학습 알고리즘을 필요로 하므로, 쉽게 구현되지 못하고 있다.
본 발명은 구비된 센서들을 기반으로 사용자의 행동을 인식하고, 그에 따른 적합한 서비스를 제공할 수 있는 사용자 장치 및 그의 사용자의 상황 인지 방법 및 이를 이용한 서비스를 제공함을 목적으로 한다.
본 발명의 일 실시예에 따르면, 사용자의 상황 인지 방법은, 사용자 장치에 구비된 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 객체(object)에 의해 발생되는 적어도 하나의 행동들을 인식하는 단계; 및 상기 인식되는 행동들의 패턴을 분석하여 상기 사용자의 현재 상황을 인지하는 단계;를 포함한다.
상기 객체는 상기 사용자 장치의 사용자, 상기 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나이다.
상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고, 상기 사용자의 현재 상황을 인지하는 단계는 상기 인식되는 단위행동들의 패턴을 분석한다.
상기 적어도 하나의 센서에 의해 획득되는 신호로부터 특징값-상기 사용자의 단위행동을 나타내는 값-들을 연속적으로 추출하는 단계;를 더 포함하며, 상기 단위행동들을 인식하는 단계는, 상기 연속적으로 추출되는 특징값들을 분석하여 상기 단위행동들을 인식한다.
상기 단위행동들을 인식하는 단계는, 상기 추출된 특징값들을 각각, 사전에 설정된 단위행동 모델과 비교하여, 상기 추출된 특징값들에 대응하는 단위행동들을 파악한다.
상기 상황을 인지하는 단계는, 상기 인식되는 적어도 하나의 행동들을 조합하여 상태 천이 그래프를 생성하는 단계; 및 적어도 한 개의 행동들의 집합으로 이루어진 기준 상태 천이 그래프들 중 상기 생성되는 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 상기 사용자의 현재 상황을 인지하는 단계;를 포함한다.
상기 상황을 인지하는 단계는, 상기 인식되는 적어도 하나의 행동들 중 동일한 행동이 지속적으로 인식되는 경우, 상기 지속적으로 인식된 시간을 더 고려하여, 상기 사용자의 현재 상황을 인지한다.
상기 복수 개의 센서들 중 상기 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 위치를 실시간으로 추적하는 단계;를 더 포함하며, 상기 상황을 인지하는 단계는, 상기 추적되는 위치들 중 특정 장소에서 인식되는 행동을 이용하여 상기 사용자의 현재 상황을 인지한다.
상기 상황을 인지하는 단계는, 동일한 행동이 지속적으로 인식되는 경우, 상기 지속되는 시간을 이용하여 상기 사용자의 현재 상황을 인지한다.
상기 상황을 인지하는 단계는, 상기 행동이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 상기 사용자의 현재 상황을 인지한다.
상기 적어도 하나의 행동을 인식하는 단계는, 상기 복수 개의 센서들 중 가속도 센서 및 디지털 나침반 중 적어도 하나로부터 제공되는 신호를 분석하여, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 중 및 계단 오르기 중 적어도 하나를 인식하는 단계; 와 상기 복수 개의 센서들 중 소리 감지를 위한 오디오 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 대화 여부 및 주변 소음 정도를 인식하는 단계; 와 상기 복수 개의 센서들 중 조도 센서 및 근접 센서 중 적어도 하나로부터 제공되는 신호를 분석하여, 상기 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동 및 상기 사용자 장치의 핸들링 여부 중 적어도 하나를 인식하는 단계; 중 적어도 어느 하나의 단계를 포함한다.
본 실시예에 따른 사용자 장치에 있어서의 상황 인지에 기초한 서비스 제공 방법은, 객체의 적어도 하나의 행동을 인지하는 단계; 및 상기 인지되는 객체의 행동에 대응하는 서비스를, 서비스 제공 대상에게 제공하는 단계;를 더 포함한다.
상기 서비스 제공 대상은, 상기 사용자 장치의 사용자, 및 상기 사용자가 아닌 제3자 중 적어도 어느 하나이다.
상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고, 상기 사용자의 현재 상황을 인지하는 단계는 상기 인식되는 단위행동들의 패턴을 분석한다.
또한, 본 발명의 일 실시예에 따른 사용자의 상황 인지가 가능한 사용자 장치는, 복수 개의 센서들을 포함하는 센서부; 상기 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 객체에 의해 순차적으로 발생한 단위행동들을 인식하는 단위행동 인식부; 및 상기 인식되는 단위행동들의 패턴을 분석하여, 상기 사용자의 현재 상황을 인지하는 상황 인지부;를 포함한다.
상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고, 상기 단위행동 인식부는 상기 인식되는 단위행동들의 패턴을 분석하고, 상기 상황 인식부는 상기 인식되는 단위행동들의 패턴을 분석하여, 상기 사용자의 현재 상황을 인지한다.
상기 적어도 하나의 센서에 의해 획득되는 신호로부터 특징값-상기 사용자의 단위행동을 나타내는 값-들을 연속적으로 추출하는 특징값 추출부;를 더 포함하며, 상기 단위행동 인식부는, 상기 연속적으로 추출되는 특징값들을 분석하여 상기 단위행동들을 인식한다.
상기 단위행동 인식부는, 상기 추출된 특징값들을 각각, 사전에 설정된 단위행동과 비교하여, 상기 추출된 특징값들에 대응하는 단위행동들을 파악한다.
적어도 한 개의 행동의 집합으로 이루어진 기준 상태 천이 그래프들 및 상기 기준 상태 천이 그래프들 각각에 대응하는 상황 정보들이 저장되는 저장부;를 더 포함하며, 상기 상황 인지부는, 상기 인식되는 적어도 하나의 행동들을 조합하여 상태 천이 그래프를 생성하고, 상기 기준 상태 천이 그래프들 중 상기 생성되는 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 상기 사용자의 현재 상황을 인지한다.
상기 상황 인지부는, 상기 인식되는 행동들 중 동일한 행동이 지속적으로 인식되는 경우, 상기 지속적으로 인식된 시간을 더 고려하여, 상기 사용자의 현재 상황을 인지한다.
상기 복수 개의 센서들 중 상기 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 위치를 실시간으로 추적하는 위치 추적부;를 더 포함한다.
상기 상황 인지부는, 상기 추적되는 위치들 중 특정 장소에서 인식되는 행동을 이용하여 상기 사용자의 현재 상황을 인지하는 동작과, 동일한 행동이 지속적으로 인식되는 경우, 상기 지속되는 시간을 이용하여 상기 사용자의 현재 상황을 인지하는 동작과, 상기 행동들이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 상기 사용자의 현재 상황을 인지하는 동작 중 적어도 어느 하나의 행동을 수행한다.
상기 복수 개의 센서들은 가속도 센서, 디지털 나침반, 오디오 센서, 조도 센서, 및 근접 센서 중 적어도 하나의 센서를 포함하며, 상기 단위행동 인식부는, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 중, 계단 오르기, 상기 사용자의 대화 여부 및 주변 소음, 상기 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동, 및 상기 사용자 장치의 핸들링 여부 중 적어도 하나를 인식한다.
상기 인지되는 사용자의 현재 상황에 대응하는 서비스를 제공하는 어플리케이션부;를 더 포함한다.
본 실시예에 따른 사용자의 상황 설정 방법은, 사용자에 의해 순차적으로 발생한 단위행동들을 센싱한 신호를 분석하여 상기 단위행동들 각각에 대응하는 특징값들을 추출하는 단계; 상기 추출된 특징값들 각각에 상기 대응하는 단위행동을 설정하여 단위행동 모델을 생성하는 단계; 및 상기 설정된 단위행동들의 조합으로 이루어지는 기준 상태 천이 그래프에 특정 의미를 가지는 상황을 설정하는 단계;를 포함한다.
상기 인식되는 단위행동들은, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 중, 계단 오르기, 상기 사용자의 대화 여부, 주변 소음 정도에 의해 인식되는 행동, 상기 사용자가 위치한 곳의 밝기를 통해 인식되는 행동 및 상기 사용자 장치의 핸들링 여부 중 적어도 하나를 포함한다.
상기 상황을 설정하는 단계는, 상기 설정된 단위행동들을 조합하여 상기 기준 상태 천이 그래프를 생성하는 단계; 및 상기 생성된 기준 상태 천이 그래프에 해당하는 상기 상황을 설정하여 저장하는 단계;를 포함한다.
본 실시예에 따른 사용자의 상황 설정 장치는, 사용자에 의해 순차적으로 발생한 단위행동들을 센싱한 신호를 분석하여 상기 단위행동들 각각에 대응하는 특징값들을 추출하는 특징값 추출부; 상기 추출된 특징값들 각각에 상기 대응하는 단위행동을 설정하여 단위행동 모델을 생성하는 단위행동 설정부; 및 상기 설정된 단위행동들의 조합으로 이루어지는 기준 상태 천이 그래프에 특정 의미를 가지는 상황을 설정하는 상황 설정부;를 포함한다.
상기 상황 설정부는, 상기 설정된 단위행동들을 조합하여 기준 상태 천이 그래프를 생성하고, 상기 생성된 기준 상태 천이 그래프에 해당하는 상황을 설정하여 메모리에 저장한다.
본 발명의 일 실시예에 따르면, 상술한 방법들 중 적어도 어느 하나의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 실시예에 따르면, 스마트폰과 같은 사용자 장치를 사용하는 사용자의 행동을 실시간으로 분석하고, 분석결과에 따라 사용자의 상황에 적합한 서비스를 제공해 줄 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자 장치만으로 사용자의 라이프 로깅(Life Logging)이 가능하며, 라이프 로깅 시, 센싱된 사용자의 행동, 상황 등을 메타데이터로 사용할 수 있다.
또한, 본 발명의 실시예에 따르면, 모니터링이 필요한 산업 환경에 적용하여, 행동 기반의 모니터링을 할 수 있는 기술 기반을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 현재 행동 또는 상황을 인지함으로써, 상황 적합한 광고를 사용자에게 제공하는 새로운 형태의 광고 플랫폼으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 사용자의 현재 상황을 인식할 수 있는 제1사용자 장치를 도시한 블록도,
도 2는 각속도 센서로부터 제공되는 원시 신호를 그래프로 변환한 일 예를 도시한 도면,
도 3은 파워 스펙트럼 방식에 의해 각속도 신호가 변환된 일 예를 도시한 도면,
도 4는 제1저장부에 저장된 기준 상태 천이 그래프들 및 이에 매핑 저장된 상황 정보들의 일 예를 도시한 도면,
도 5는 본 발명의 실시예에 따른 사용자의 단위행동 별로 상황을 설정하기 위한 제2사용자 장치를 도시한 블록도,
도 6은 본 발명의 실시예에 따른 사용자 장치의 사용자의 상황 인지 방법을 설명하기 위한 흐름도, 그리고,
도 7은 본 발명의 실시예에 따른 사용자 장치의 사용자의 상황 설정 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1은 본 발명의 실시예에 따른 사용자의 현재 상황을 인식할 수 있는 제1사용자 장치(100)를 도시한 블록도이다.
도 1에 도시된 제1사용자 장치(100)는 네트워크를 통해 유선 통신 또는 무선 통신이 가능한 장치로서, 복수 개의 센서들을 이용하여 사용자가 현재 처해 있는 상황을 인식하고, 인식된 상황에 따라 적합한 서비스를 선택적으로 제공할 수 있다. 제1사용자 장치(100)의 예로는 스마트폰, 모바일폰, 랩탑 컴퓨터 등 통신이 가능한 모든 전자기기가 될 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 현재 처해 있는 상황을 인식함에 있어서, 객체의 행동을 인식하여 판단한다. 여기서, "객체"라고 함은 사용자 장치의 사용자, 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나를 포함하는 의미로 사용된다.
예를 들면, 사용자 장치(100)는, 상기 사용자 장치(100)의 사용자의 행동, 상기 사용자 장치(100)의 사용자가 아닌 제3자(예를 들면 강도, 도둑)의 행동, 어떤 물체(예를 들면 자동차나 오토바이)의 움직임 등을 인식하여 사용자가 처해 있는 상황을 인식할 수 있다. 이하에서는, 도 1을 참조하여, 사용자 장치(100)의 사용자의 행동을 위주로 사용자가 처해 있는 상황을 인식하는 예를 위주로 설명하기로 한다.
도 1을 참조하면, 제1사용자 장치(100)는 제1센서부(110), 제1통신부(120), 제1저장부(130), 제1상황인지모듈(140), 제1정보제공 인터페이스(IF:Interface)부(150) 및 제1어플리케이션부(160)를 포함할 수 있다.
제1센서부(110)는 제1사용자 장치(100)를 사용하는 사용자의 움직임을 센싱하기 위하여 복수 개의 센서들을 포함할 수 있다. 제1센서부(110)는 복수 개의 센서들 중 적어도 하나의 센서에 의해 센싱되는 신호를 제1상황인지모듈(140)로 제공할 수 있다. 제1센서부(110)는 위치 센서, 가속도 센서, 각속도 센서, 디지털 나침반, 조도 센서, 근접 센서, 오디오 센서 등 다양한 종류의 센서를 포함할 수 있다.
또한, 제1 센서부(110)는 카메라를 더 포함할 수 있다. 예를 들면, 제1 센서부(110)는 제1 사용자 장치(100)의 주위의 화면을 캡쳐링할 수 있다.
위치 센서는 사용자 장치(100)의 현재 위치를 센싱하며, GPS(Global Positioning System) 센서, PSD(Position Sensitive Device) 센서 등 다양하다. 가속도 센서는 X축, Y축, Z축 각각의 가속도와, 제1사용자 장치(100)가 각 방향으로 기울어진 정도를 센싱한다. 각속도 센서는 제1사용자 장치(100)가 기설정된 기준 방향에 대해 회전한 방향을 센싱할 수 있다. 디지털 나침반은 동서남북을 판단하고, 그를 기준으로 제1사용자 장치(100)의 위치를 센싱할 수 있다. 조도 센서는 제1사용자 장치(100)가 현재 위치한 장소의 밝기를 센싱할 수 있다. 근접 센서는 제1사용자 장치(100) 근처에 존재하는 물체의 유무를 전자계의 힘을 이용하여 기계적 접촉이 없이 센싱할 수 있다. 오디오 센서는 제1사용자 장치(100)의 주변의 소음, 사용자의 대화 상태 등을 센싱할 수 있다.
제1통신부(120)는 네트워크, 기지국 등을 통한 유선 통신 또는 무선 통신 인터페이스를 제공한다. 예를 들어, 제1통신부(120)는 블루투스 기능, Wi-Fi 기능, 3G망 서비스 기능 등 다양한 통신 인터페이스를 제공할 수 있으며, 이에 한정되지 않는다. 제1통신부(120)는 Wi-Fi 기능을 제공하기 위해 기지국과 통신하며, 기지국과의 통신 결과에 의해 현재 위치에 대한 정보를 추가적으로 알 수 있다.
제1저장부(130)는 적어도 한 개의 단위행동의 집합으로 이루어진 기준 상태 천이 그래프들 및 기준 상태 천이 그래프들 각각에 대응하는 상황 정보들이 매핑되어 저장된다. 기준 상태 천이 그래프들 및 그에 대응하는 상황 정보들은 제1사용자 장치(100)를 설계하는 단계에서, 실험에 의해 얻어진 정보들일 수 있으며, 이에 대해서는 도 5를 참조하여 자세히 설명한다.
제1상황인지모듈(140)은 제1센서부(110)의 복수 개의 센서들 중 적어도 하나로부터 제공되는 신호를 처리 및 분석하여, 사용자에 의해 발생한 단위행동을 인식하고, 인식된 단위행동을 조합하여 사용자가 현재 처해 있는 상황을 인지할 수 있다.
제1상황인지모듈(140)은 제1위치 추적부(141), 제1신호 처리부(143), 제1특징값 추출부(145), 제1단위행동 인식부(147) 및 상황 인지부(149)를 포함할 수 있다.
제1위치 추적부(141)는 복수 개의 센서들 중 사용자의 현재 위치를 센싱하는 위치 센서 또는 제1통신부(120)로부터 제공되는 신호를 분석하여, 사용자의 위치를 실시간으로 추적할 수 있다. 제1위치 추적부(141)는 실시간으로 추적되는 사용자의 위치에 대한 정보를 상황 인지부(149)에게 제공할 수 있다. 또한, 사용자의 위치를 실시간으로 추적함에 따라, 제1위치 추적부(141)는 사용자가 자주 방문하는 장소를 별도로 저장 및 관리하고, 이러한 정보를 후술할 상황 인지부(149)에게 제공할 수 있다.
제1신호 처리부(143)는 복수 개의 센서들 중 적어도 하나의 센서로부터 제공되는 원 신호를 처리하여 노이즈를 제거할 수 있다. 도 2는 각속도 센서로부터 제공되는 원시 신호(이하, '각속도 신호'라 한다)를 그래프로 변환한 일 예, 도 3은 파워 스펙트럼 방식에 의해 각속도 신호가 변환된 일 예를 보여준다. 각속도 센서는 각 축(예를 들어, x축, y축, z축)에 대한 각속도 신호를 연속적으로 제공하며, 이러한 각속도 신호는 도 2에 도시된 바와 같이, 노이즈를 포함하고 있을 수 있다. 따라서, 제1신호 처리부(143)는 각속도 신호에 대해 파워 스펙트럼(Power Spectrum) 방식을 적용하여, 도 3에 도시된 바와 같이, 노이즈가 제거된 스펙트럼 값을 주파수 별로 출력할 수 있다. 스펙트럼 값은 주파수에 따른 파워(power/frequency, dB/Hz)의 변화 관계를 의미한다.
제1특징값 추출부(145)는 적어도 하나의 센서에 의해 획득되는 신호 또는 제1신호 처리부(143)로부터 입력되는 신호로부터 특징값을 추출할 수 있다. 특징값은 사용자의 단위행동을 나타내는 값으로서, 각 단위행동마다 다른 특징값을 갖는다.
이하에서는 도 3을 참조하여 특징값을 추출하는 방법에 대해 설명한다. 제1특징값 추출부(145)는 도 3과 같이 변환된 신호에 윈도우를 적용하고, 아래 3가지 방식 중 하나를 이용하여 특징값을 추출할 수 있다. 제1특징값 추출부(145)는 특징값 추출에 필요한 계산량과 에러를 최소화하기 위하여, 스펙트럼 값들로 이루어진 신호를 m개의 윈도우로 분할한다. 제1특징값 추출부(145)는 윈도우의 일정 부분이 중첩되도록 분할하여, 에러 스무딩 효과를 제공할 수 있다. 도 3에는 제1 내지 제3윈도우(W1, W2, W3)가 도시되어 있다.
첫째, 제1특징값 추출부(145)는 제1 내지 제3윈도우(W1, W2, W3) 각각에서 스펙트럼 값들의 평균값을 특징값으로 사용할 수 있다. 따라서, 신호가 m개의 윈도우로 분할된 경우, m개의 특징값이 추출될 수 있다.
둘째, 제1특징값 추출부(145)는 각 윈도우 구간에서 스펙트럼 값의 변화 추이를 특징값으로 추출할 수 있다. 즉, 제1특징값 추출부(145)는 각 윈도우 구간에서 스펙트럼 값의 증가 또는 감소 여부를 판별하고, 그 변화의 크기를 특징값으로서 추출할 수 있다.
셋째, 제1특징값 추출부(145)는 각 윈도우 구간에서 발생한 최대값과 최소값을 특징값으로서 추출할 수 있다.
다시 도 1을 참조하면, 제1단위행동 인식부(147)는 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 사용자에 의해 순차적으로 발생한 단위행동들을 인식할 수 있다. 단위행동은 걷기, 뛰기, 앉기, 정지 등 사용자의 움직임의 기본단위를 의미한다.
자세히 설명하면, 제1단위행동 인식부(147)는, 제1특징값 추출부(145)로부터 연속적으로 추출되어 입력되는 특징값들을 분석하여 단위행동들을 인식할 수 있다. 제1단위행동 인식부(147)는, 추출된 특징값들을 각각, 사전에 설정된 단위행동 모델과 비교하여, 추출된 특징값들에 대응하는 단위행동들을 파악할 수 있다. 즉, 제1단위행동 인식부(147)는 추출된 특징값을 단위행동 모델에 투사하고, 선형 판별 분석법(Linear Discrimination Analysis)을 이용하여 단위행동을 인식할 수 있다.
단위행동 모델은 사용자에 의해 발생하는 단위행동 및 단위행동에 대응하는 특징값이 매핑된 특징공간으로서, 제1사용자 장치(100)를 설계하는 단계에서 실험에 의해 얻어진 정보들일 수 있으며, 이에 대해서는 도 5를 참조하여 자세히 설명한다.
이하에서는 제1센서부(110)에 의해 센싱되는 신호의 종류에 따라, 제1단위행동 인식부(147)에서 인식될 수 있는 단위행동에 대해 설명한다.
복수 개의 센서들 중 가속도 센서 및 디지털 나침반 중 적어도 하나에 의해 센싱된 신호로부터 특징값들이 추출되면, 제1단위행동 인식부(147)는, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 중 및 계단 오르기 중 적어도 하나를 포함하는 단위행동을 인식할 수 있다.
또한, 복수 개의 센서들 중 오디오 센서에 의해 센싱된 신호로부터 특징값들이 추출되면, 제1단위행동 인식부(147)는, 사용자의 대화 여부 및 주변 소음 정도를 인식하고, 대화 상태라는 단위행동 또는 주변 소음에 매핑된 단위행동을 인식할 수 있다.
또한, 복수 개의 센서들 중 조도 센서 및 근접 센서 중 적어도 하나에 의해 센싱된 신호롤부터 특징값들이 추출되면, 제1단위행동 인식부(147)는, 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동, 또는, 사용자 장치의 핸들링 여부 중 적어도 하나를 단위행동으로 인식할 수 있다.
상술한 제1특징값 추출부(145)의 기능이 구비되지 않은 경우, 제1단위행동 인식부(147)는 도 3과 같이, 파워 스펙트럼을 통해 변환된 값들을 이용하여 단위행동을 인식할 수도 있다.
상황 인지부(149)는 제1단위행동 인식부(147)에 의해 인식되는 단위행동들의 패턴을 분석하여, 아래 4가지의 분류 방식 중 적어도 하나를 이용하여 사용자의 현재 상황을 인지할 수 있다.
첫째, 상황 인지부(149)는 인식되는 단위행동들을 조합하여 상태 천이 그래프(State Transition Graph)를 생성하고, 사전에 설정된 기준 상태 천이 그래프들 중 생성된 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 사용자의 현재 상황을 인지할 수 있다.
도 4는 제1저장부(130)에 저장된 기준 상태 천이 그래프들 및 이에 매핑 저장된 상황 정보들의 일 예를 보여준다.
도 4를 참조하면, 제1기준 상태 천이 그래프는 제1단위행동(1) 후 제2단위행동(2) 및 제3단위행동(3)이 인식되거나, 제1단위행동(1) 후 제4단위행동(4)이 인식되는 순서의 조합을 갖는다. 따라서, 상황 인지부(149)에서 생성되는 상태 천이 그래프가 제1기준 상태 천이 그래프와 가장 유사하거나 동일하면, 상황 인지부(149)는 현재 사용자의 상황은 '출근'인 것으로 인지할 수 있다. 제2기준 상태 천이 그래프는 제11 내지 제15단위행동들(11~16)의 조합으로 이루어지며, '출근'과 유사하므로 상세한 설명은 생략한다.
이 때, 상황 인지부(149)는, 동일한 단위행동이 지속적으로 인식되는 경우, 동일한 단위행동이 지속적으로 인식된 시간을 더 고려하여, 사용자의 현재 상황을 인지할 수 있다. 예를 들어, 제1단위행동(1)에 대해 설정된 임계값이 20분인 경우, 생성된 상태 천이 그래프가 제1기준 상태 천이 그래프와 동일하나, 제1단위행동(1)이 지속적으로 인식된 시간이 20분을 초과하면, 상황 인지부(149)는 사용자가 '출근'이 아닌 다른 상황에 있는 것으로 인지할 수 있다.
둘째, 상황 인지부(149)는, 제1위치 추적부(141)를 통해 추적되는 위치들 중 특정 장소에서 인식되는 단위행동을 이용하여 사용자의 현재 상황을 인지할 수 있다. 즉, 상황 인지부(149)는 추적된 사용자의 위치와 인식된 단위행동들을 결합하여, 사용자의 움직임을 의미있는 행동으로 분류하거나, 상황을 인지할 수 있다. 예를 들어, 상황 인지부(149)는 사용자가 평소 자주 방문하는 장소를 주요 장소로 설정하고, 특정 장소에서 추출되는 단위행동을 이용하여 사용자의 현재 상황을 인지할 수 있다. 주요 장소는 예를 들어, 집, 직장, Gym 센서 등 다양하다.
셋째, 상황 인지부(149)는 동일한 단위행동이 지속적으로 인식되는 경우, 동일한 단위행동이 지속되는 시간과 동일한 단위행동에 설정된 임계값을 이용하여 사용자의 현재 상황을 인지할 수 있다. 예를 들어, 뛰기라는 단일행동이 지속적으로 인식되는 경우, 임계값 20분 이내이면, 상황 인지부(149)는 사용자의 상황을 '출근'으로 인지하며, 임계값이 30분을 초과하면, 사용자의 상황을 '조깅'으로 인지할 수 있다.
넷째, 상황 인지부(149)는, 단위행동들이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 사용자의 현재 상황을 인지할 수 있다. 예를 들어, 단위행동이 동일한 날짜 또는 동일한 시간에 반복적으로 인지되면, 상황 인지부(149)는 날짜 또는 시간에 매핑된 상황을 사용자의 현재 상황으로 인지할 수 있다.
한편, 제1정보제공 IF부(150)는 상황 인지부(149)에서 인지된 상황에 대한 정보를 제1어플리케이션부(160)에게 전달하는 인터페이싱을 제공한다. 제1정보제공 IF부(150)는 제1메시지 생성부(151) 및 제1API(153)부를 포함한다. 제1메시지 생성부(151)는 상황 인지부(149)에서 인지된 상황에 대한 정보를 제1어플리케이션부(160)에서 인식할 수 형태의 메시지로 생성한다. 제1API부(153)는 생성된 메시지를 이용하여 해당 서비스의 실행을 제1어플리케이션부(160)에게 요청할 수 있다.
제1어플리케이션부(160)는 제1API부(153)의 요청에 따라, 상황 인지부(149)에서 인지된 사용자의 현재 상황에 대응하는 서비스를 제공할 수 있다. 제1어플리케이션부(160)가 광고와 관련된 경우, 제1어플리케이션부(160)는 사용자의 현재 상황에 적합한 광고를 사용자에게 제공할 수 있다. 예를 들어, 사용자가 '조깅'이라는 상황에 있는 것으로 인지되면, 제1어플리케이션부(160)는 음료 또는 운동용품의 광고를 제공할 수 있다. 제1어플리케이션부(160)가 산업분야에서 사용되는 경우, 제1어플리케이션부(160)는 생산자의 상황을 인지하여, 공정제어 분야에 적용할 수 있다. 또한, 제1어플리케이션부(160)가 의료와 관련된 서비스를 제공하는 경우, 제1어플리케이션부(160)는 환자의 상황을 모니터링 및 인지하고, 응급상황 등을 발견하고, 주변인에게 알리는 등의 응급 조치를 취할 수 있다.
도 5는 본 발명의 실시예에 따른 사용자의 단위행동 별로 상황을 설정하기 위한 제2사용자 장치(500)를 도시한 블록도이다.
도 5에 도시된 제2사용자 장치(500)는 유선 통신 또는 무선 통신이 가능한 장치이거나, 또는, 복수 개의 센서들을 이용하여 사용자의 단위행동 및 각 단위행동에 대응하는 사용자의 상황을 정의할 수 있다.
도 5를 참조하면, 제2사용자 장치(500)는 제2센서부(510), 제2통신부(520), 제2저장부(530), 상황설정모듈(540), 제2정보제공 인터페이스(IF:Interface)부(550) 및 제2어플리케이션부(560)를 포함할 수 있다.
도 5의 제2센서부(510), 제2통신부(520), 제2저장부(530), 상황설정모듈(540), 제2정보제공 IF부(550) 및 제2어플리케이션부(560)는 도 1의 제1센서부(110), 제1통신부(120), 제1저장부(130), 제1상황인지모듈(140), 정보제공 IF부(150) 및 제1어플리케이션부(160)와 대부분 동일하므로 상세한 설명은 생략한다.
제2센서부(510)는 제2사용자 장치(500)를 사용하는 사용자의 움직임을 센싱하기 위하여 복수 개의 센서들을 포함하며, 적어도 하나의 센서에 의해 센싱되는 신호를 상황설정모듈(540)로 제공할 수 있다. 제2센서부(510)는 위치 센서, 가속도 센서, 각속도 센서, 디지털 나침반, 조도 센서, 근접 센서, 오디오 센서 등 다양한 종류의 센서를 포함할 수 있다.
제2통신부(520)는 블루투스 기능, Wi-Fi 기능, 3G망 서비스 기능 등 다양한 통신 서비스를 제공하기 위한 통신 인터페이스이다.
제2저장부(530)에는 적어도 한 개의 단위행동의 집합으로 이루어진 기준 상태 천이 그래프들 및 기준 상태 천이 그래프들 각각에 대응하는 상황 정보들이 매핑되어 저장된다. 기준 상태 천이 그래프들에 대응하는 상황 정보는 상황 설정부(549)에서 생성될 수 있다.
상황설정모듈(540)은 제2위치 추적부(541), 제2신호 처리부(543), 제2특징값 추출부(545), 단위행동 설정부(547) 및 상황 설정부(549)를 포함할 수 있다.
제2신호 처리부(543)는 복수 개의 센서들 중 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 사용자의 위치를 실시간으로 추적할 수 있다.
제2신호 처리부(543)는 복수 개의 센서들 중 적어도 하나의 센서로부터 제공되는 원 신호를 처리하여 노이즈를 제거할 수 있다.
제2특징값 추출부(545)는 적어도 하나의 센서에 의해 획득되는 신호 또는 제2신호 처리부(543)로부터 입력되는 신호로부터 특징값을 추출할 수 있다. 특징값은 사용자가 기준 상태 천이 그래프들을 생성하기 위하여 의도적으로 수행한 단위행동에 대응하는 신호로부터 추출되므로, 각 단위행동마다 다른 값을 갖는다.
사용자는 정해진 패턴대로 단위행동들을 순차적으로 수행하며, 단위행동 설정부(547)는 제2특징값 추출부(545)로부터 연속적으로 추출되어 입력되는 특징값들에, 해당하는 단위행동들을 설정할 수 있다. 즉, 사용자가 의도적으로 발생한 단위행동에 의해 추출된 특징값에, 해당 단위행동을 설정할 수 있다. 단위행동 설정부(547)는 추출된 특징값에 설정되는 단위행동을 조합하여 단위행동 모델을 작성할 수 있다. 단위행동 모델은 사용자가 순차적으로 수행한 단위행동 및 단위행동에 대응하는 추출된 특징값이 매핑된 특징공간으로 표현된다.
상황 설정부(549)는 설정된 단위행동들의 조합으로 이루어지는 기준 상태 천이 그래프에 특정 의미를 가지는 상황을 설정할 수 있다. 상황 설정부(549)는 아래 4가지의 분류 방식 중 적어도 하나를 이용하여 사용자의 현재 상황을 설정할 수 있다.
첫째, 상황 설정부(549)는 단위행동 설정부(547)에 의해 설정되는 단위행동들의 조합으로 이루어지는 기준 상태 천이 그래프를 생성하고, 생성된 기준 상태 천이 그래프에, 특정 의미를 가지는 상황을 설정할 수 있다. 예를 들어, 사용자가 '조깅'을 하는 동안 생성된 상태 천이 그래프가 도 4에 도시된 제2기준 상태 천이 그래프이면, 사용자는 제2기준 상태 천이 그래프에 '조깅'이라는 상황을 입력하고, 상황 설정부(549)는 입력된 상황을 제2기준 상태 천이 그래프에 매핑되도록 설정한 후 제2저장부(530)에 저장할 수 있다. 이 때, 상황 설정부(549)는, 각 단위행동에 임계값을 추가적으로 설정하여, 상황을 더 구체적으로 설정할 수 있다.
둘째, 상황 설정부(549)는, 제2위치 추적부(510)에서 추적되는 위치와 인식되는 단위행동을 결합하여, 상황을 설정할 수 있다.
셋째, 상황 설정부(549)는 단위행동이 연속적으로 지속되는 시간에 따라, 동일한 단위행동에 대해서도 다른 상황을 설정할 수 있다.
넷째, 상황 설정부(549)는, 단위행동들이 설정되는 날짜 및 시간 중 적어도 하나를 고려하여, 상황을 설정할 수 있다.
상술한 상황 설정부(549)는 단위행동들의 집합에 대해 상황뿐만 아니라, 상황에 적합한 서비스를 더 설정할 수 있다.
한편, 제2정보제공 IF부(550)는 상황 설정부(549)에서 설정된 상황에 대한 정보를 제2어플리케이션부(560)에게 전달하기 위하여, 제2메시지 생성부(551) 및 제2API부(553)를 포함한다.
제2어플리케이션부(560)는 제2API부(553)의 요청에 따라, 상황 설정부(549)에서 인지된 사용자의 현재 상황에 대응하는 서비스를 제공할 수 있다. 제2정보제공 IF부(550) 및 제2어플리케이션부(560)는 제2사용자 장치(500)에 구비되지 않을 수도 있다.
상술한 바와 같이, 본 사용자 장치는 사용자의 상황을 인지하고 사용자의 상황에 기초하여 서비스를 제공할 수 있다. 예를 들면, 본 사용자 장치는 사용자 상황을 인지함에 있어서, 사용자 장치의 사용자 행동뿐만 아니라, 제3자(예를 들면, 사용자 장치의 주변에 있는 다른 사람: 도둑, 강도..)의 행동이나, 어떤 사물의 움직임(자동차)을 종합하여 사용자 상황을 인지할 수 있다. 그리고, 그러한 사용자 상황에 맞은 서비스를 서비스 제공 대상에게 제공할 수 있다.
예를 들면, 자동차가 사용자를 치는 경우, 사용자의 비명이나 어떤 사물이 사용자 장치로 고속으로 접근하는 화면, 또는 소리에 기초하여 사용자가 교통사고를 당하였다고 인지할 수 있다. 이러한 경우 사용자 장치는 그러한 상황을 서비스 제공 대상(미리 정해진 자나 장치일 수 있다. 예를 들면, 가족의 핸드폰 또는 경찰서)에게 사용자의 상황을 알릴 수 있다.
도 6은 본 발명의 실시예에 따른 사용자 장치의 사용자의 상황 인지 방법을 설명하기 위한 흐름도이다.
도 6의 사용자의 상황 인지 방법을 수행하는 사용자 장치는 도 1을 참조하여 설명한 제1사용자 장치(100)일 수 있으며, 실질적으로 제1사용자 장치(100)의 제어부(미도시) 또는 적어도 한 개의 프로세서(미도시)에 의해 구동될 수 있다.
S610단계에서, 사용자 장치는 구비된 복수 개의 센서들 중 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 사용자의 위치를 실시간으로 추적할 수 있다. 사용자의 위치를 실시간으로 추적함에 따라, 사용자 장치는 사용자가 자주 방문하는 장소를 별도로 저장 및 관리할 수도 있다.
S620단계에서, 사용자 장치는 복수 개의 센서들 중 적어도 하나의 센서로부터 제공되는 원 신호를 처리하여 노이즈를 제거할 수 있다.
S630단계에서, 사용자 장치는 S620단계로부터 제공되는 신호로부터 특징값을 추출할 수 있다. 특징값은 도 3을 참조하여 설명한 윈도우를 고려하여 추출될 수 있다.
S640단계에서, 사용자 장치는 S630단계에서 연속적으로 추출되는 특징값들을 분석하여 단위행동들을 인식할 수 있다. 예를 들어, 사용자 장치는 추출된 특징값들을 각각, 사전에 설정된 단위행동 모델과 비교하여, 추출된 특징값들에 대응하는 단위행동들을 파악할 수 있다. 인식되는 단위행동들은 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 중, 계단 오르기, 사용자의 대화 여부, 주변 소음에 매핑된 단위행동, 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동, 및 사용자 장치의 핸들링 여부 중 적어도 하나를 포함할 수 있다.
S650단계에서, 사용자 장치는 S640단계에서 인식되는 단위행동들을 조합하여 상태 천이 그래프를 생성할 수 있다.
S660단계에서, 사용자 장치는 사전에 설정된 기준 상태 천이 그래프들 중 S650단계에서 생성된 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 사용자의 현재 상황을 인지할 수 있다. 이 때, 사용자 장치는 동일한 단위행동이 지속적으로 인식된 시간과 각 단위행동에 설정된 임계값을 더 고려하여, 사용자의 현재 상황을 인지할 수 있다.
S650단계 및 S660단계는 상태 천이 그래프를 이용하여 사용자의 상황을 인지하는 경우에 대해 기재하고 있으나, 사용자 장치는 S610단계에서 추적된 위치, 동일한 단위행동이 지속되는 시간, 단위행동이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 사용자의 현재 상황을 인지할 수도 있다.
S670단계에서, 사용자 장치는 인지된 사용자의 현재 상황에 대응하는 서비스를 제공할 수 있다.
이처럼, 본원 발명은 사용자 상황 인지에 기초한 서비스 제공 방법으로 구현될 수 있다. 나아가, 본원 발명에 따른 사용자 상황 인지에 기초한 서비스 제공 방법은, 다양한 방식으로 변형이 가능하다. 예를 들면, 사용자 상황을 인지함에 있어서, 사용자 장치의 사용자 행동뿐만 아니라, 제3자(예를 들면, 사용자 장치의 주변에 있는 다른 사람: 도둑, 강도..)의 행동이나, 어떤 사물의 움직임(자동차)을 종합하여 사용자 상황을 인지할 수 있다. 그리고, 그러한 사용자 상황에 맞은 서비스를 서비스 제공 대상에게 제공할 수 있다.
예를 들면, 자동차가 사용자를 치는 경우, 사용자의 비명이나 어떤 사물이 사용자 장치로 고속으로 접근하는 화면, 또는 소리에 기초하여 사용자가 교통사고를 당하였다고 인지할 수 있다. 이러한 경우 사용자 장치는 그러한 상황을 서비스 제공 대상(미리 정해진 자나 장치일 수 있다. 예를 들면, 가족의 핸드폰 또는 경찰서)에게 사용자의 상황을 알릴 수 있다.
또 다른 예를 들면, 사용자가 강도를 만난 경우, 강도의 음성 내용, 모습, 사용자의 음성 내용 등에 기초하여 사용자가 강도를 만났다고 인지할 수 있다. 이러한 경우 사용자 장치는 그러한 상황을 서비스 제공 대상에게 알릴 수 있다.
도 7은 본 발명의 실시예에 따른 사용자 장치의 사용자의 상황 설정 방법을 설명하기 위한 흐름도이다.
도 7의 사용자의 상황 설정 방법을 수행하는 사용자 장치는 도 5를 참조하여 설명한 제2사용자 장치(500)일 수 있으며, 실질적으로 제2사용자 장치(500)의 제어부(미도시) 또는 적어도 한 개의 프로세서(미도시)에 의해 구동될 수 있다.
S710단계에서, 사용자 장치는 구비된 복수 개의 센서들 중 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 사용자의 위치를 실시간으로 추적할 수 있다. 사용자의 위치를 실시간으로 추적함에 따라, 사용자 장치는 사용자가 자주 방문하는 장소를 별도로 저장 및 관리할 수도 있다.
S720단계에서, 사용자는 단위행동들에 따른 움직임을 수행하며, 사용자 장치는 복수 개의 센서들 중 적어도 하나의 센서로부터 제공되는 원 신호를 처리하여 노이즈를 제거할 수 있다. 원 신호는 사용자의 움직임을 센싱한 신호일 수 있다.
S730단계에서, 사용자 장치는 S720단계로부터 제공되는 신호로부터 특징값을 추출할 수 있다. 특징값은 사용자가 수행한 단위행동들에 대응하는 신호로부터 추출되므로, 각 단위행동마다 다른 값을 갖는다.
S740단계에서, 사용자 장치는 S730단계에서 연속적으로 추출되는 특징값들에 해당 단위행동을 사용자 입력에 의해 설정하고, 추출된 특징값과 그에 해당하는 단위행동의 조합으로 이루어지는 단위행동 모델을 작성할 수 있다. 예를 들어, 사용자가 걷기라는 단위행동을 수행한 후 제1특징값이 추출되면, S740단계에서, 사용자는 제1특징값에 걷기라는 단위행동을 입력하고, 사용자 장치는 입력된 단위행동을 설정할 수 있다.
S750단계에서, 사용자 장치는 S740단계에서 설정되는 단위행동들의 조합으로 이루어지는 기준 상태 천이 그래프를 생성하고, 생성된 기준 상태 천이 그래프에, 특정 의미를 가지는 상황을 설정할 수 있다. 이 때, 보다 정확한 상황 별 기준 상태 천이 그래프를 생성하기 위하여, 사용자는 기준 상태 천이 그래프를 생성하기 위해 수행한 단위행동을 재수행하고, 사용자 장치는 재수행한 단위행동들의 특징값으로부터 임시 상태 천이 그래프를 생성한다. 그리고, 사용자 장치는 동일한 단위행동들에 대해 먼저 생성된 기준 상태 천이 그래프와 나중에 생성된 임시 상태 천이 그래프를 비교하여 오차가 발견되면, 오차를 이용하여 기준 상태 천이 그래프를 보정할 수 있다.
S760단계에서, 설정된 각 상황마다 적합한 서비스를 추가적으로 설정할 수 있다.
상술한 장치 및 방법들에 대한 실시예들에서, 주로 사용자의 행동에 기초하여 사용자가 처한 상황을 인식하는 것으로 설명하였지만, 본원 발명은 사용자 행동 뿐만 아니라, 제3자의 행동이나 사물의 움직임을 인식하여 사용자가 처해 있는 상황을 인식할 수 있음은 물론이다.
또한, 상술한 실시예들에 따라서 인지된 사용자 상황을 이용하여 서비스를 제공하는 방법으로 본원 발명은 구현가능하다. 예를 들면, 상술한 실시예들에 따라서 객체의 적어도 하나의 행동을 인지하고, 상기 인지되는 객체의 행동에 대응하는 서비스를, 서비스 제공 대상에게 제공하는 서비스 방법으로 구현가능하다. 여기서, 객체는, 상술한 바와 같이 사용자 장치의 사용자, 상기 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나일 수 있고, 서비스 제공 대상은, 사용자 장치의 사용자, 및 상기 사용자가 아닌 제3자 중 적어도 하나일 수 있을 것이다.
상기와 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 제1사용자 장치 110: 제1센서부
120: 제1통신부 130: 제1저장부
140: 제1상황인지모듈 150: 제1정보제공인터페이스부
160: 제1어플리케이션부

Claims (33)

  1. 사용자의 상황 인지 방법에 있어서,
    사용자 장치에 구비된 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 객체(object)에 의해 발생되는 적어도 하나의 행동들을 인식하는 단계; 및
    상기 인식되는 행동들의 패턴을 분석하여 상기 사용자의 현재 상황을 인지하는 단계;를 포함하며,
    상기 적어도 하나의 행동들을 인식하는 단계는,
    상기 복수 개의 센서들 중 가속도 센서 및 디지털 나침반 중 적어도 하나로부터 제공되는 신호를 분석하여, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 여부 및 계단 오르기 중 적어도 하나를 인식하는 단계;와
    상기 복수 개의 센서들 중 소리 감지를 위한 오디오 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 대화 여부 및 주변 소음 정도를 인식하는 단계; 와
    상기 복수 개의 센서들 중 조도 센서 및 근접 센서 중 적어도 하나로부터 제공되는 신호를 분석하여, 상기 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동 및 상기 사용자 장치의 핸들링 여부 중 적어도 하나를 인식하는 단계; 중 적어도 어느 하나의 단계를 포함하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  2. 제 1 항에 있어서,
    상기 객체는 상기 사용자 장치의 사용자, 상기 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나인 것을 특징으로 하는 사용자의 상황 인지 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고,
    상기 사용자의 현재 상황을 인지하는 단계는 상기 인식되는 단위행동들의 패턴을 분석하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 센서에 의해 획득되는 신호로부터 특징값-상기 사용자의 단위행동을 나타내는 값-들을 연속적으로 추출하는 단계;를 더 포함하며,
    상기 단위행동들을 인식하는 단계는, 상기 연속적으로 추출되는 특징값들을 분석하여 상기 단위행동들을 인식하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  5. 제4항에 있어서,
    상기 단위행동들을 인식하는 단계는, 상기 추출된 특징값들을 각각, 사전에 설정된 단위행동 모델과 비교하여, 상기 추출된 특징값들에 대응하는 단위행동들을 파악하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  6. 제1항에 있어서,
    상기 상황을 인지하는 단계는,
    상기 인식되는 적어도 하나의 행동들을 조합하여 상태 천이 그래프를 생성하는 단계; 및
    적어도 한 개의 행동들의 집합으로 이루어진 기준 상태 천이 그래프들 중 상기 생성되는 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 상기 사용자의 현재 상황을 인지하는 단계;를 포함하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  7. 제6항에 있어서,
    상기 상황을 인지하는 단계는,
    상기 인식되는 적어도 하나의 행동들 중 동일한 행동이 지속적으로 인식되는 경우, 상기 지속적으로 인식된 시간을 더 고려하여, 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  8. 제2항에 있어서,
    상기 복수 개의 센서들 중 상기 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 위치를 실시간으로 추적하는 단계;를 더 포함하며,
    상기 상황을 인지하는 단계는,
    상기 추적되는 위치들 중 특정 장소에서 인식되는 행동을 이용하여 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  9. 제1항에 있어서,
    상기 상황을 인지하는 단계는,
    동일한 행동이 지속적으로 인식되는 경우, 상기 지속되는 시간을 이용하여 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  10. 제1항에 있어서,
    상기 상황을 인지하는 단계는,
    상기 행동이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지 방법.
  11. 삭제
  12. 사용자 장치에 있어서의 서비스 제공 방법에 있어서,
    객체의 적어도 하나의 행동을 인지하는 단계; 및
    상기 인지되는 객체의 행동에 대응하는 서비스를, 서비스 제공 대상에게 제공하는 단계;를 더 포함하며,
    상기 서비스가 광고 서비스인 경우, 상기 제공하는 단계는 어플리케이션을 통해 상기 객체의 행동에 대응하는 광고 서비스를 제공하는 것을 특징으로 하는 상황 인지에 기초한 서비스 제공 방법.
  13. 제 12 항에 있어서,
    상기 객체는 상기 사용자 장치의 사용자, 상기 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나인 것을 특징으로 하는 상황 인지에 기초한 서비스 제공 방법.
  14. 제 12 항에 있어서,
    상기 서비스 제공 대상은, 상기 사용자 장치의 사용자, 및 상기 사용자가 아닌 제3자 중 적어도 어느 하나인 것을 특징으로 하는 상황 인지에 기초한 서비스 제공 방법.
  15. 제 12 항에 있어서,
    상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고,
    상기 사용자의 현재 상황을 인지하는 단계는 상기 인식되는 단위행동들의 패턴을 분석하는 것을 특징으로 하는 상황 인지에 기초한 서비스 제공 방법.
  16. 복수 개의 센서들을 포함하는 센서부;
    상기 복수 개의 센서들 중 적어도 하나의 센서에 의해 획득되는 신호를 분석하여, 객체에 의해 순차적으로 발생한 단위행동들을 인식하는 단위행동 인식부; 및
    상기 인식되는 단위행동들의 패턴을 분석하여, 상기 사용자의 현재 상황을 인지하는 상황 인지부;를 포함하며,
    상기 복수 개의 센서들은 가속도 센서, 디지털 나침반, 오디오 센서, 조도 센서, 및 근접 센서 중 적어도 하나의 센서를 포함하며,
    상기 단위행동 인식부는, 앉기, 걷기, 뛰기, 정지, 교통 수단 이용 여부, 계단 오르기, 상기 사용자의 대화 여부 및 주변 소음, 상기 사용자가 현재 위치한 곳의 밝기를 통해 인식되는 행동, 및 상기 사용자 장치의 핸들링 여부 중 적어도 하나를 인식하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  17. 제16항에 있어서
    상기 객체는 상기 사용자 장치의 사용자, 상기 사용자가 아닌 제3자, 및 물체 중 적어도 어느 하나인 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  18. 제17항에 있어서,
    상기 적어도 하나의 행동들은 순차적으로 발생한 단위행동들이고,
    상기 단위행동 인식부는 상기 인식되는 단위행동들의 패턴을 분석하고,
    상기 상황 인식부는 상기 인식되는 단위행동들의 패턴을 분석하여, 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  19. 제18항에 있어서
    상기 적어도 하나의 센서에 의해 획득되는 신호로부터 특징값-상기 사용자의 단위행동을 나타내는 값-들을 연속적으로 추출하는 특징값 추출부;를 더 포함하며,
    상기 단위행동 인식부는, 상기 연속적으로 추출되는 특징값들을 분석하여 상기 단위행동들을 인식하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  20. 제19항에 있어서,
    상기 단위행동 인식부는, 상기 추출된 특징값들을 각각, 사전에 설정된 단위행동과 비교하여, 상기 추출된 특징값들에 대응하는 단위행동들을 파악하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  21. 제16항에 있어서,
    적어도 한 개의 행동의 집합으로 이루어진 기준 상태 천이 그래프들 및 상기 기준 상태 천이 그래프들 각각에 대응하는 상황 정보들이 저장되는 저장부;를 더 포함하며,
    상기 상황 인지부는,
    상기 인식되는 적어도 하나의 행동들을 조합하여 상태 천이 그래프를 생성하고, 상기 기준 상태 천이 그래프들 중 상기 생성되는 상태 천이 그래프와의 일치도가 가장 큰 기준 상태 천이 그래프에 대응하는 상황 정보로부터, 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  22. 제21항에 있어서,
    상기 상황 인지부는, 상기 인식되는 행동들 중 동일한 행동이 지속적으로 인식되는 경우, 상기 지속적으로 인식된 시간을 더 고려하여, 상기 사용자의 현재 상황을 인지하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  23. 제16항에 있어서,
    상기 복수 개의 센서들 중 상기 사용자의 현재 위치를 센싱하는 위치 센서로부터 제공되는 신호를 분석하여, 상기 사용자의 위치를 실시간으로 추적하는 위치 추적부;를 더 포함하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  24. 제23항에 있어서,
    상기 상황 인지부는,
    상기 추적되는 위치들 중 특정 장소에서 인식되는 행동을 이용하여 상기 사용자의 현재 상황을 인지하는 동작과, 동일한 행동이 지속적으로 인식되는 경우, 상기 지속되는 시간을 이용하여 상기 사용자의 현재 상황을 인지하는 동작과, 상기 행동들이 인식되는 날짜 및 시간 중 적어도 하나를 이용하여, 상기 사용자의 현재 상황을 인지하는 동작 중 적어도 어느 하나의 행동을 수행하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  25. 삭제
  26. 제16항에 있어서,
    상기 인지되는 사용자의 현재 상황에 대응하는 광고 서비스를 제공하는 어플리케이션부;를 더 포함하는 것을 특징으로 하는 사용자의 상황 인지가 가능한 사용자 장치.
  27. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020100105091A 2010-10-27 2010-10-27 사용자 장치 및 그의 사용자의 상황 인지 방법 KR101165537B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100105091A KR101165537B1 (ko) 2010-10-27 2010-10-27 사용자 장치 및 그의 사용자의 상황 인지 방법
JP2011235316A JP2012095300A (ja) 2010-10-27 2011-10-26 ユーザ装置及びそのユーザの状況認知方法
EP11186899.8A EP2447809B1 (en) 2010-10-27 2011-10-27 User device and method of recognizing user context
CN201110342786.1A CN102456141B (zh) 2010-10-27 2011-10-27 用于识别用户背景的用户装置和方法
US13/282,912 US20120109862A1 (en) 2010-10-27 2011-10-27 User device and method of recognizing user context

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100105091A KR101165537B1 (ko) 2010-10-27 2010-10-27 사용자 장치 및 그의 사용자의 상황 인지 방법

Publications (2)

Publication Number Publication Date
KR20120043845A KR20120043845A (ko) 2012-05-07
KR101165537B1 true KR101165537B1 (ko) 2012-07-16

Family

ID=44925346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100105091A KR101165537B1 (ko) 2010-10-27 2010-10-27 사용자 장치 및 그의 사용자의 상황 인지 방법

Country Status (5)

Country Link
US (1) US20120109862A1 (ko)
EP (1) EP2447809B1 (ko)
JP (1) JP2012095300A (ko)
KR (1) KR101165537B1 (ko)
CN (1) CN102456141B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577610B1 (ko) 2014-08-04 2015-12-29 에스케이텔레콤 주식회사 사운드 데이터 기반 교통 수단 인지를 위한 학습 방법, 그리고 이를 이용한 사운드 데이터 기반 교통 수단 인지 방법 및 장치
WO2016080695A1 (ko) * 2014-11-18 2016-05-26 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744974B2 (en) 2011-03-12 2014-06-03 Mocapay, Inc. Systems and methods for secure wireless payment transactions when a wireless network is unavailable
KR101220156B1 (ko) * 2012-02-13 2013-01-11 동국대학교 경주캠퍼스 산학협력단 스마트 폰의 정지 상태 감지방법 및 그 방법이 수행되는 프로그램이 기록된 기록매체
US9215553B2 (en) * 2012-05-11 2015-12-15 Rowles Holdings, Llc Automatic determination of and reaction to mobile user routine behavior based on geographical and repetitive pattern analysis
JP5895716B2 (ja) * 2012-06-01 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101969450B1 (ko) * 2012-07-06 2019-04-16 삼성전자 주식회사 단위 행동 인식을 기반으로 사용자의 대표 행동을 인식하는 장치 및 방법
KR102116874B1 (ko) * 2012-10-30 2020-05-29 에스케이텔레콤 주식회사 상황인지 상태 표시 가능한 사용자 단말 및 사용자 단말의 상황인지 상태 표시 방법
US9740773B2 (en) 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
KR101510860B1 (ko) * 2012-11-08 2015-04-10 아주대학교산학협력단 사용자 의도 파악 어플리케이션 서비스 방법 및 서버와 이를 이용한 사용자 의도 파악 어플리케이션 서비스 시스템
KR101394270B1 (ko) * 2012-11-14 2014-05-13 한국과학기술연구원 영상 감지 시스템 및 방법
US9712474B2 (en) 2012-11-21 2017-07-18 Tencent Technology (Shenzhen) Company Limited Information push, receiving and exchanging method, server, client and exchanging apparatus
CN103841132B (zh) * 2012-11-21 2015-08-19 腾讯科技（深圳）有限公司 信息推送、接收及交互方法,服务器、客户端及交互装置
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
KR101878359B1 (ko) * 2012-12-13 2018-07-16 한국전자통신연구원 정보기술을 이용한 다중지능 검사 장치 및 방법
KR101436235B1 (ko) * 2013-02-05 2014-08-29 한국과학기술원 야외학습 시 학생 행동 모니터링 시스템 및 방법
US20140237102A1 (en) * 2013-02-15 2014-08-21 Nokia Corporation Method and Apparatus for Determining an Activity Description
KR101511514B1 (ko) * 2013-06-28 2015-04-14 현대엠엔소프트 주식회사 컨텐츠 제공 방법 및 서버
KR102081389B1 (ko) 2013-07-15 2020-02-25 삼성전자주식회사 위치 기반 서비스 제공 방법 및 그 전자 장치
KR101500662B1 (ko) * 2013-10-18 2015-03-09 경희대학교 산학협력단 모바일 단말을 이용한 활동 인식 장치 및 인식 방법
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
DE102014009689A1 (de) * 2014-06-30 2015-12-31 Airbus Operations Gmbh Intelligentes Soundsystem/-modul zur Kabinenkommunikation
KR102382701B1 (ko) 2015-09-02 2022-04-06 삼성전자 주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
JP6895276B2 (ja) * 2017-03-03 2021-06-30 株式会社日立製作所 行動認識システムおよび行動認識方法
JP7119098B2 (ja) 2018-01-12 2022-08-16 ライン プラス コーポレーション メッセージングサービス環境におけるユーザ状況の感知と、ユーザ状況に基づくメッセージングサービスとのインタラクション
WO2019143367A1 (en) * 2018-01-22 2019-07-25 Xinova, LLC Context-aware instruction delivery to agents
KR102093740B1 (ko) * 2018-03-13 2020-03-26 경북대학교 산학협력단 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치
KR20210076716A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102604906B1 (ko) * 2021-04-22 2023-11-22 주식회사 아셈블 증강 현실 콘텐츠 제공 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048589A (ja) * 2000-08-03 2002-02-15 Tohoku Denshi Sangyo Kk 移動体の移動経路推定装置
US7224981B2 (en) * 2002-06-20 2007-05-29 Intel Corporation Speech recognition of mobile devices
US20050068171A1 (en) * 2003-09-30 2005-03-31 General Electric Company Wearable security system and method
JP4350781B2 (ja) * 2003-12-01 2009-10-21 ソフトバンクモバイル株式会社 移動体通信端末
US20050255826A1 (en) * 2004-05-12 2005-11-17 Wittenburg Kent B Cellular telephone based surveillance system
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7675414B2 (en) * 2006-08-10 2010-03-09 Qualcomm Incorporated Methods and apparatus for an environmental and behavioral adaptive wireless communication device
JP5018120B2 (ja) * 2007-02-19 2012-09-05 Ｋｄｄｉ株式会社 携帯端末、プログラム及び携帯端末への表示画面制御方法
EP2127407A4 (en) * 2007-03-02 2015-03-11 Aegis Mobility Inc MANAGING MOBILE DEVICE COMMUNICATION SESSIONS TO REDUCE USER DISTRACTION
US8587402B2 (en) * 2008-03-07 2013-11-19 Palm, Inc. Context aware data processing in mobile computing device
JP5166316B2 (ja) * 2009-02-20 2013-03-21 株式会社東芝 状況認識装置及び状況認識方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577610B1 (ko) 2014-08-04 2015-12-29 에스케이텔레콤 주식회사 사운드 데이터 기반 교통 수단 인지를 위한 학습 방법, 그리고 이를 이용한 사운드 데이터 기반 교통 수단 인지 방법 및 장치
WO2016080695A1 (ko) * 2014-11-18 2016-05-26 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR101625304B1 (ko) 2014-11-18 2016-05-27 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법

Also Published As

Publication number Publication date
EP2447809B1 (en) 2018-09-19
US20120109862A1 (en) 2012-05-03
JP2012095300A (ja) 2012-05-17
EP2447809A2 (en) 2012-05-02
KR20120043845A (ko) 2012-05-07
EP2447809A3 (en) 2017-01-04
CN102456141B (zh) 2015-11-25
CN102456141A (zh) 2012-05-16

Similar Documents

Publication Publication Date Title
KR101165537B1 (ko) 사용자 장치 및 그의 사용자의 상황 인지 방법
US8521681B2 (en) Apparatus and method for recognizing a context of an object
Porzi et al. A smart watch-based gesture recognition system for assisting people with visual impairments
US20190102531A1 (en) Identity authentication method and apparatus
US9268399B2 (en) Adaptive sensor sampling for power efficient context aware inferences
CN104737523B (zh) 通过指派用于数据群集的情境标签来管理移动装置中的情境模型
US10878819B1 (en) System and method for enabling real-time captioning for the hearing impaired via augmented reality
CN109792577B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US9706406B1 (en) Security measures for an electronic device
EP4350691A1 (en) Generation of notifications based on context data in response to speech phrase from user
US11217246B2 (en) Communication robot and method for operating the same
CN110493781B (zh) 动态授权的方法和系统
CN107172590A (zh) 基于移动终端的活动状态信息处理方法、装置及移动终端
CN106228158A (zh) 图片检测的方法和装置
US10721347B2 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
KR20190074011A (ko) 음성 인식 장치 및 방법
US20140267384A1 (en) Display apparatus and control method thereof
CN112911204A (zh) 监控方法、装置、存储介质和电子设备
KR102598270B1 (ko) 차량 탑승 인식 방법 및 이를 구현한 전자 장치
KR101774236B1 (ko) 사용자 상황 인지 장치 및 방법
KR101995799B1 (ko) 상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법
CN107454359B (zh) 播放视频的方法及装置
KR20160011302A (ko) 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
Fanourakis A report on personally identifiable sensor data from smartphone devices
KR20190056273A (ko) 영상 통화 서비스를 제공하는 단말 및 서버

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101027

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120214

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120628

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120706

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120706

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150629

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160701

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170629

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180625

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190701

Start annual number: 8

End annual number: 8