KR20160066526A - 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 - Google Patents

사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20160066526A
KR20160066526A KR1020150170670A KR20150170670A KR20160066526A KR 20160066526 A KR20160066526 A KR 20160066526A KR 1020150170670 A KR1020150170670 A KR 1020150170670A KR 20150170670 A KR20150170670 A KR 20150170670A KR 20160066526 A KR20160066526 A KR 20160066526A
Authority
KR
South Korea
Prior art keywords
state data
data
state
sensor
user
Prior art date
Application number
KR1020150170670A
Other languages
English (en)
Other versions
KR102572698B1 (ko
Inventor
요시아키 아카자와
심재환
코우수케 히라사와
길민우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160066526A publication Critical patent/KR20160066526A/ko
Application granted granted Critical
Publication of KR102572698B1 publication Critical patent/KR102572698B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06F17/30035—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

센서에 의해 획득된 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하고, 적어도 하나의 센서 데이터를 획득하고, 추정 모델에 기초하여, 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법이 개시된다.

Description

사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 {Device and method for obtaining state data indicating state of user}
본 발명은 센서에 의해 획득된 센서 데이터에 기초하여, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스에 대한 것이다.
디바이스는 센서에 의하여 감지된 음향, 영상 및 사용자의 생체 신호 등을 이용하여, 사용자의 상태를 분석할 수 있다. 디바이스는 사용자의 상태를 고려하여 사용자에게 다양한 서비스를 제공하여 줄 수 있다. 예를 들면, 디바이스는 출력된 컨텐츠에 대한 사용자의 집중도, 흥미도 등에 기초하여, 사용자에게 새로운 컨텐츠를 추천해 줄 수 있다.
그러나, 센서의 작동 상태나 센서의 주변 환경에 따라서, 센서 데이터에 노이즈가 포함되거나 일부 센서 데이터가 획득되지 않을 수 있다. 따라서, 센서 데이터에 노이즈가 포함되거나 디바이스가 센서 데이터를 얻을 수 없는 경우에도, 사용자의 상태 데이터를 획득할 수 있는 방법이 필요하다.
본 발명이 해결하고자 하는 과제는 센서에 의해 획득된 센서 데이터에 기초하여, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스를 제공하는데 있다. 구체적으로, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 상태 데이터를 획득할 수 있는 방법 및 디바이스를 제공하는데 있다.
일 실시 예에 의한 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법은 센서에 의해 획득된 정보를 포함하는 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하는 단계; 적어도 하나의 센서 데이터를 획득하는 단계; 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하는 단계; 및 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함한다.
또한, 상기 획득된 상태 데이터에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하는 단계; 상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하는 단계를 더 포함한다.
또한, 상기 하위 계층의 상태 데이터를 획득하는 단계는 상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정한다.
또한, 상기 상위 계층의 상태 데이터를 획득하는 단계는 상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정한다.
또한, 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하는 단계; 상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하는 단계; 및 상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는 단계를 더 포함한다.
또한, 상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고, 상기 상위 계층의 상태 데이터를 획득하는 단계는 상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하는 단계; 및 상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득한다.
또한, 상기 추정 모델을 선택하는 단계는 상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하는 단계; 및 상기 노이즈가 포함된 하위 계층의 상태 데이터를 포함하지 않는 추정 모델을 선택하는 단계를 포함한다.
또한, 상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하거나 출력하는 단계를 더 포함한다.
일 실시 예에 의한, 사용자의 상태를 나타내는 상태 데이터를 획득하는 디바이스는 적어도 하나의 센서 데이터를 획득하는 센서; 상기 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하고, 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 제어부; 상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스를 표시하는 디스플레이를 포함한다.
일 실시 예에 의하면, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 사용자의 상태를 나타내는 상태 데이터를 효과적으로 획득할 수 있다.
도 1은 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
도 2는 일 실시 예에 의한 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 3은 일 실시 예에 의한 추정 모델의 일 예를 나타낸 예시도면이다.
도 4는 일 실시 예에 의한 센서 데이터 일부가 누락된 경우, 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 5는 일 실시 예에 의한 다른 상태 데이터들에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 6 내지 도 11은 일 실시 예에 의한 상태 데이터를 획득하는 일 예를 나타낸 도면이다.
도 12는 일 실시 예에 의한 예측 모델의 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 예측 모델에 기초하여 소정 시점의 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 14는 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 15는 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 기초하여 선택된 추정 모델을 이용하여 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 16은 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 따라 선택된 추정 모델에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 17은 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 디바이스(100)는 센서에 의해 획득된 센서 데이터에 기초하여 사용자의 상태를 나타내는 상태 데이터를 구할 수 있다. 또한, 디바이스(100)는 상태 데이터에 기초하여 출력 중인 컨텐츠에 대한 사용자의 선호도 정보를 구할 수 있다. 디바이스(100)는 선호도 정보에 기초하여 사용자에게 추천할 컨텐츠를 선택하고, 선택된 추천 컨텐츠에 관한 정보를 사용자에게 제공하여 줄 수 있다. 상술된 예에 한하지 않고, 디바이스(100)는 사용자의 상태 데이터를 이용하여 사용자의 상태를 고려한 다양한 서비스를 사용자에게 제공하여 줄 수 있다.
일 실시 예에 의한 디바이스(100)는 사용자에 의해 이용될 수 있는 다양한 종류의 단말 장치일 수 있다. 예를 들면, 디바이스(100)는 PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), 스마트 워치(smart watch), 스마트 밴드, 스마트 글래스(smart glass), 웨어러블 장치, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 디바이스(100)는 상술된 예에 한하지 않고, 현재 개발되어 상용화되었거나 향후 개발될 수 있는 다양한 종류의 장치를 포함할 수 있다.
도 1을 참조하면, 디바이스(100)는 센서 데이터 획득부(101), 상태 데이터 획득부(103), 컨텐츠 수신부(104), 컨텐츠 표시부(105), 컨텐츠 선호도 결정부(106), 컨텐츠 선호도 전송부(107), 컨텐츠 추천 결과 생성부(108) 및 컨텐츠 추천 결과 표시부(109)를 포함할 수 있다.
센서 데이터 획득부(101)는 센서에 의해 감지된 결과에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서는 사용자 또는 사용자의 주변 환경을 관측하여, 그 결과를 센서 데이터로 생성할 수 있다. 예를 들면, 카메라, 마이크, 스마트 폰, 웨어러블 장치, 태블릿 PC, PC 등 주변 환경을 관측할 수 있는 다양한 종류의 장치에 의해 센서 데이터가 생성될 수 있다. 자외선 센서는 소정 물체에 대한 위치 또는 존재 여부를 감지할 수 있다. 위치 인식 센서는 위치 인식 센서가 구비된 단말 장치의 위치 정보를 획득할 수 있다. 가속도 센서는 가속도 센서가 구비된 단말 장치의 동작에 관한 정보를 획득할 수 있다. 카메라는 외부 환경이 촬영된 영상 데이터를 생성할 수 있다. 마이크는 외부 환경의 소리가 녹음된 음향 데이터를 생성할 수 있다. 이에 한하지 않고, 센서 데이터는 다양한 종류의 센서에 의해 획득된 사용자 또는 사용자 주변 환경에 관한 정보를 포함할 수 있다. 자외선 센서, GPS(global positioning system)와 같은 위치 인식 센서, 가속도 센서, 마이크, 카메라 등 다양한 종류의 센서들은 스마트 폰, 웨어러블 장치, 태블릿 PC, PC 등과 같이 사용자에 의해 이용될 수 있는 단말 장치에 구비되어 센서 데이터를 생성할 수 있다. 또한, 상술한 예의 센서들은 디바이스(100)에 구비될 수도 있다.
더하여, 센서 데이터는 센서에 의해 감지된 정보에 포함된 노이즈 정도에 관한 정보를 더 포함할 수 있다. 센서의 작동 상태나 센서 데이터의 값에 따라 노이즈에 관한 정보가 결정될 수 있다. 따라서, 디바이스(100)는 센서 데이터의 노이즈에 관한 정보에 기초하여, 사용자의 상태 데이터를 구할 수 있다.
상태 데이터 획득부(103)는 하나 이상의 센서 데이터를 이용하여 하위 계층의 상태 데이터를 획득할 수 있다. 또한, 상태 데이터 획득부(103)는 하나 이상의 하위 계층의 상태 데이터를 이용하여 중위 또는 상위 계층의 상태 데이터를 획득할 수 있다. 예를 들면, 얼굴의 정면도에 관한 상태 데이터는 카메라에 의해 촬영된 영상 데이터와 마이크에 의해 녹음된 오디오 데이터 중 적어도 하나에 기초하여 획득될 수 있다. 영상 데이터에 의해 인식된 사용자의 얼굴 및 얼굴 방향과, 오디오 데이터에 포함된 목소리 크기 및 목소리 방향 중 적어도 하나에 기초하여, 상태 데이터 획득부(103)는 사용자 얼굴이 어느 방향으로 향해있는지에 관한 정보를 포함하는 상태 데이터를 획득할 수 있다. 또한, 상태 데이터 획득부(103)는 얼굴의 정면도에 관한 상태 데이터를 이용하여, 중위 또는 상위 계층에 속하는 사용자의 집중도, 흥미도, 피로도 등에 관한 상태 데이터를 획득할 수 있다.
하위 계층의 상태 데이터는 하나 이상의 센서 데이터로부터 획득될 수 있다. 또한, 중위 또는 상위 계층의 상태 데이터는 보다 낮은 계층의 상태 데이터로부터 획득될 수 있다. 이에 한하지 않고, 소정 계층의 상태 데이터는 동일 계층의 다른 종류의 상태 데이터 또는 더 높은 계층의 상태 데이터로부터 획득될 수도 있다. 상태 데이터 획득부(103)는 센서 데이터로부터 상태 데이터를 획득하기 위한 정보를 포함하는 추정 모델을 이용하여 각 계층의 상태 데이터를 획득할 수 있다. 상태 데이터 획득부(103)는 추정 모델을 이용하여 낮은 계층의 상태 데이터부터 높은 계층의 상태 데이터까지 사용자에 대한 상태 데이터를 획득할 수 있다.
컨텐츠 수신부(104)는 외부로부터 컨텐츠를 수신할 수 있다. 예를 들면, 컨텐츠 수신부(104)는 네트워크 또는 공중파(ground wave)를 통해 컨텐츠를 수신할 수 있다. 또는, 컨텐츠를 외부로부터 수신함이 없이 컨텐츠 수신부(104)는 디바이스(100)의 메모리에 저장된 컨텐츠를 로딩할 수 있다. 외부로부터 수신되거나 로딩된 컨텐츠는 컨텐츠 표시부(105)에 의해 사용자에게 제공될 수 있다.
컨텐츠 표시부(105)는 컨텐츠 수신부(104)에 의해 수신된 컨텐츠를 디스플레이를 통해 표시할 수 있다. 컨텐츠가 오디오 신호를 포함하는 경우, 컨텐츠 표시부(105)는 스피커를 통해 컨텐츠를 출력할 수 있다. 컨텐츠 표시부(105)는 표시 중인 컨텐츠에 관한 정보를 컨텐츠 선호도 결정부(106)로 전달할 수 있다. 컨텐츠 선호도 결정부(106)는 표시 중인 컨텐츠에 관한 정보를 이용하여, 사용자의 컨텐츠에 관한 선호도를 구할 수 있다.
컨텐츠 선호도 결정부(106)는 상태 데이터 획득부(103)에 의해 획득된 상태 데이터를 이용하여, 사용자의 컨텐츠에 대한 선호도를 구할 수 있다. 예를 들면, 사용자의 상태 데이터 중 흥미도, 집중도 값에 비례하여, 컨텐츠 선호도 결정부(106)는 상태 데이터와 대응되는 컨텐츠에 대한 선호도 값을 결정할 수 있다. 컨텐츠 선호도 결정부(106)에 의해 결정된 사용자의 컨텐츠에 대한 선호도 정보는 컨텐츠 선호도 전송부(107)에 의해 외부로 전송될 수 있다. 외부로 전송된 컨텐츠 선호도 정보는 외부 장치에서 사용자에게 광고 또는 서비스를 제공하는데 이용될 수 있다. 상술된 예에 한하지 않고, 사용자의 선호도 정보는 디바이스(100)에서 사용자에게 광고 또는 서비스를 제공하는데 이용될 수 있다.
컨텐츠 추천 결과 생성부(108)는 사용자의 컨텐츠 선호도 정보에 기초하여, 사용자에게 추천하는 컨텐츠에 관한 정보를 생성할 수 있다. 예를 들면, 컨텐츠 추천 결과 생성부(108)는 사용자의 선호도가 높은 컨텐츠의 장르, 출연 배우, 제작자 등의 특성을 파악할 수 있다. 그리고, 컨텐츠 추천 결과 생성부(108)는 파악된 특성과 유사한 특성을 가지는 컨텐츠를 선택하여, 사용자에게 추천할 컨텐츠로써 선택된 컨텐츠에 관한 정보를 생성할 수 있다.
컨텐츠 추천 결과 표시부(109)는 컨텐츠 추천 결과 생성부(108)에 의해 생성된 사용자에게 추천하는 컨텐츠에 관한 정보를 디스플레이를 통해 표시할 수 있다. 또는, 컨텐츠 추천 결과 표시부(109)는 사용자에게 추천하는 컨텐츠에 관한 정보를 음성, 진동 등 다양한 방법으로 출력할 수 있다.
도 2는 일 실시 예에 의한 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S210에서, 디바이스(100)는 센서 데이터로부터 복수 개의 계층에 포함된 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득할 수 있다. 추정 모델은 각 상태 데이터들이 어떤 데이터에 기초하여 획득되는지에 관한 정보를 포함할 수 있다. 디바이스(100)는 추정 모델을 이용하여 센서 데이터로부터 각 계층의 상태 데이터들을 획득할 수 있다.
단계 S220에서, 디바이스(100)는 센서 데이터를 획득할 수 있다. 센서 데이터는 디바이스(100)에 구비되거나 외부에 존재하는 센서에 의해 획득될 수 있다. 센서 데이터는 사용자 또는 사용자의 주변 환경에 관한 정보를 포함할 수 있다.
단계 S230에서, 디바이스(100)는 단계 S210에서 획득된 추정 모델에 기초하여, 센서 데이터로부터 하위 계층의 상태 데이터를 획득할 수 있다. 하위 계층의 상태 데이터는 센서 데이터로부터 직접적으로 획득될 수 있는 상태 데이터를 포함할 수 있다. 하위 계층의 상태 데이터는 하나 이상의 센서 데이터로부터 획득될 수 있으며, 센서 데이터의 노이즈 포함 여부에 따라서 상태 데이터의 값이 결정될 수 있다.
상태 데이터는 사용자의 상태 정도를 나타내는 상태 값과, 상태값에 대한 신뢰 정도를 나타내는 신뢰도 값을 포함할 수 있다. 상태 값과 신뢰도 값은 센서 데이터의 노이즈 포함 정도에 따라 결정될 수 있다. 예를 들면, 얼굴의 정면도에 관한 상태 값은 카메라에 의해 촬영된 영상 데이터 및 마이크에 의해 녹음된 오디오 데이터 중 적어도 하나에 기초하여 얼굴 방향을 나타내는 0 내지 1 사이의 값으로 결정될 수 있다. 영상 데이터에 의해 인식된 얼굴 방향과, 오디오 데이터에 의해 인식된 목소리 방향을 나타내는 0 내지 1 사이의 값이 결정될 수 있다. 각 센서 데이터의 신뢰도 값과 가중치 값에 따라서, 얼굴 방향 값 및 목소리 방향 값에 기초하여 얼굴의 정면도에 대한 상태 값이 결정될 수 있다. 센서 데이터의 가중치 값은 센서 데이터가 상태 데이터에 미치는 영향에 따라 결정될 수 있다. 센서 데이터의 신뢰도 값 또는 가중치 값이 높을수록 해당 센서 데이터가 상태 값에 대해 반영되는 정도가 높아질 수 있다.
또한, 얼굴의 정면도에 대한 신뢰도 값은 각 센서 데이터의 노이즈 포함 정도 및 각 센서 데이터의 가중치 값 중 적어도 하나에 따라서 결정될 수 있다. 센서 데이터의 노이즈 포함 정도는 센서 데이터가 획득된 센서의 작동 상태, 센서 데이터의 값 등에 기초하여 결정될 수 있다. 예를 들어, 센서 데이터의 소정 속성 값이 미리 정의된 범위 내에 있는지에 따라 노이즈 포함 정도가 결정될 수 있다. 또한, 센서 데이터의 가중치 값은 각 상태 데이터에 대해 센서 데이터가 관련된 정도에 따라 결정될 수 있다. 따라서, 센서 데이터의 가중치 값은 상태 데이터 별로 다른 값을 포함할 수 있다.
단계 S240에서, 디바이스(100)는 단계 S210에서 획득된 추정 모델에 기초하여, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득할 수 있다. 상위 계층의 상태 데이터는 센서 데이터에 기초하여 획득된 하위 계층의 상태 데이터로부터 획득될 수 있다. 상위 계층의 상태 데이터는 하위 계층의 상태 데이터와 마찬가지로, 상태 값과 신뢰도 값을 포함할 수 있다. 상위 계층의 상태 데이터는 하위 계층의 상태 값과 신뢰도 값에 기초하여 획득된 상태 값과 신뢰도 값을 포함할 수 있다.
따라서, 디바이스(100)는 센서 데이터의 노이즈 포함 정도를 고려하여 하위 계층의 상태 데이터를 획득할 수 있으므로, 센서 데이터에 노이즈가 포함되어 있는 경우에도, 상태 데이터를 효과적으로 획득할 수 있다.
또한, 디바이스(100)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 3은 일 실시 예에 의한 추정 모델의 일 예를 나타낸 예시도면이다.
도 3을 참조하면, 추정 모델은 각 상태 데이터들이 획득되는데 이용되는 상태 데이터 또는 센서 데이터에 관한 정보를 포함할 수 있다. 도 3의 그래프에서, 화살표의 접속원의 값에 따라 접속처의 값이 결정될 수 있다.
추정 모델을 생성하는 장치는, 사용자에게 질문을 수행하거나 사용자에 관한 정보를 수집하여, 각 노드와 관련된 데이터에 기초하여 도 3과 같은 추정 모델을 생성할 수 있다. 예를 들어, 추정 모델을 생성하는 장치는 사용자의 웃는 정도 및 목소리 크기에 기초하여 결정된 흥미도에 대하여 사용자의 피드백을 받을 수 있다. 사용자의 피드백에 기초하여, 사용자의 웃는 정도 및 목소리 크기에 적용될 가중치 값이 결정될 수 있다. 수집된 정보에 기초하여 기계 학습 알고리즘에 의해, 사용자에 대한 추정 모델이 생성될 수 있다. 추정 모델은 사용자 별로 생성될 수 있으나 이에 한하지 않고, 외부로부터 미리 생성된 추정 모델이 이용될 수도 있다. 추정 모델을 생성하는 장치는 디바이스(100)나 외부 장치가 될 수 있다.
센서 계층에는 센서에 의해 취득된 센서 데이터가 포함될 수 있다. 도 3을 참조하면, 센서 계층에는 카메라, 마이크, 스마트폰, 웨어러블 장치에 의해 획득된 센서 데이터가 포함될 수 있다.
하위 계층에는 센서 데이터가 1차 처리됨에 따라 획득될 수 있는 상태 데이터가 포함될 수 있다. 예를 들어, 카메라에 의해 획득된 영상 데이터로부터 눈뜬 정도, 얼굴의 정면도, 몸자세의 정면도, 웃는 정도 등의 상태 데이터들이 획득될 수 있다. 각 상태 데이터들의 상태 값은 0에서 1 사이의 값으로 결정될 수 있다.
중위 계층에는, 하위 계층의 상태 데이터로부터 획득될 수 있는 상태 데이터가 포함될 수 있다. 예를 들어, 컨텐츠에 대한 집중도, 흥미도 및 기쁜 정도 등의 상태 데이터들은 하위 계층의 상태 데이터 또는 동일 계층의 상태 데이터들로부터 획득될 수 있다. 컨텐츠에 대한 집중도가 높은 경우, 흥미도도 높을 가능성이 높을 수 있으므로, 집중도 또는 흥미도의 상태 데이터들은 서로 참조됨으로써 획득될 수 있다.
상위 계층에는, 중위 계층 또는 하위 계층의 상태 데이터로부터 획득될 수 있는 상태 데이터가 포함될 수 있다. 상태 데이터의 계층이 높아질수록 센서 데이터와의 관계가 약해질 수 있다. 따라서, 상위 계층의 상태 데이터는 센서 데이터로부터 직접적으로 도출되기 보다는, 다른 계층의 상태 데이터로부터 획득될 수 있다. 또는 상위 계층의 상태 데이터는 해당 상태 데이터를 위해 별도로 구비된 센서에 의해 획득된 센서 데이터에 기초하여 획득될 수 있다. 상위 계층에는 스트레스 정도, 피로도, 지루한 정도, 적극성 등의 상태 데이터가 포함될 수 있다.
중위 계층의 상태 데이터나 상위 계층의 상태 데이터 들은 사용자의 주관적인 감정을 나타낼 수 있다. 따라서, 중위 계층 또는 상위 계층에 대한 추정 모델은 사용자에 대해 실시된 앙케이트 결과 또는 별도 준비된 전용의 센서로부터 얻은 데이터를 기초로 생성될 수 있다.
사용자 속성 계층에는, 사용자 속성을 나타내는 상태 데이터가 포함될 수 있다. 예를 들면, 교우관계, 가족 구성, 연령 등에 관한 상태 데이터가 포함될 수 있다. 사용자 속성 계층의 상태 데이터는 사용자에 관하여 수집된 정보에 기초하여 결정될 수 있다.
사용자 속성 계층의 상태 데이터에 기초하여 상위 계층의 상태 데이터가 결정될 수 있다. 예를 들어, 연령이 높은 사용자는 쉽게 피로해지거나 지루해질 수 있는 점에서, 상위 계층의 피로도나 지루한 정도에 대한 상태 데이터는 사용자 속성 중 연령에 관한 상태 데이터에 기초하여 결정될 수 있다.
도 4는 일 실시 예에 의한 센서 데이터 일부가 누락된 경우, 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 4를 참조하면, 카메라의 작동 상태에 따라서, 센서 데이터 중 카메라에 의해 획득될 수 있는 영상 데이터가 결여될 수 있다. 따라서, 카메라에 의해 획득될 수 있는 눈뜬 정도에 대한 상태 데이터는 획득될 수 없으나, 나머지 하위 계층의 상태 데이터는 마이크, 스마트폰의 센서 데이터에 기초하여 획득될 수 있다. 또한, 중위 계층의 집중도에 대한 상태 데이터는 눈뜬 정도에 대한 상태 데이터를 제외한 나머지 하위 계층의 상태 데이터에 기초하여 획득될 수 있다.
따라서, 디바이스(100)는 일부 센서 데이터의 값이 결여되어도, 나머지 센서 데이터에 기초하여, 추정 모델에 따라 상태 데이터를 획득할 수 있다.
이하 도 5 내지 도 11을 참조하여, 상태 데이터를 획득하는 방법에 대하여 상세히 설명하기로 한다.
도 5는 일 실시 예에 의한 다른 상태 데이터들에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 5를 참조하면, 4개의 상태 데이터로부터 집중도에 대한 상태 데이터가 획득될 수 있다. Ei는 i번째 상태 데이터의 상태값을 나타내고, Ci는 i번째 상태 데이터의 신뢰도를 나타낸다. 집중도에 대한 상태 데이터에 포함된 E5, C5 값은 이하 수학식 1 및 2와 같이 획득될 수 있다.
Figure pat00001
Figure pat00002
수학식 1 및 2에서, Wji는 i번째 상태 데이터를 구하기 위해 j번째 상태 데이터에 적용될 수 있는 가중치 값을 나타낸다. 가중치 값은 0 내지 1사이의 값일 수 있다. N은 i번째 상태 데이터를 구하기 위해 이용되는 상태 데이터의 총 수를 나타낸다. 이하에서 i번째 상태 데이터는 편의상 제i 상태 데이터로 나타내기로 한다.
집중도의 상태 데이터에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 3 및 4와 같이 획득될 수 있다.
Figure pat00003
Figure pat00004
도 6 내지 도 11은 일 실시 예에 의한 상태 데이터를 획득하는 일 예를 나타낸 도면이다.
도 6을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 5 및 6과 같이 획득될 수 있다.
Figure pat00005
Figure pat00006
도 6에 도시된 바와 같이 제1 내지 제4 상태 데이터들의 가중치 값은 1이므로, 제1 내지 제4 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 또한, 제1 내지 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1 내지 제4 상태 데이터의 값은 높은 신뢰도를 가진다. 따라서, 제5 상태 데이터의 상태 값과 신뢰도 값은 최대치인 1의 값으로 결정될 수 있다.
도 7을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 7 및 8과 같이 획득될 수 있다.
Figure pat00007
Figure pat00008
도 7에 도시된 바와 같이 제1 내지 제4 상태 데이터들의 가중치 값은 1이므로, 제1 내지 제4 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 제1 및 제2 상태 데이터들의 신뢰도 값은 1이므로, 제1 및 제2 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제3 및 제4 상태 데이터들의 신뢰도 값은 0이므로, 제3 및 제4 상태 데이터의 값은 낮은 신뢰도를 가진다. 예를 들면, 제3 및 제4 상태 데이터들을 획득할 수 있는 센서가 작동될 수 없거나 작동되지 않는 상태인 경우, 신뢰도 값이 0으로 결정될 수 있다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 그러나, 제5 상태 데이터에 대한 강한 영향력을 가지는 제3 및 제4 상태 데이터의 신뢰도가 낮으므로, 제5 상태 데이터에 대한 신뢰도 값은 0.5로 결정될 수 있다.
신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 상태 값이 결정될 수 있는 점에서, 제5 상태 데이터(집중도)에 대하여 '눈이 크게 뜨여있고, 얼굴이 정면을 향해 있었으므로, 집중도가 높다'와 같은 코멘트가 가능하다. 제5 상태 데이터에 관한 코멘트는 디스플레이에 표시됨으로써 사용자에게 제공될 수 있다.
도 8을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 9 및 10과 같이 획득될 수 있다.
Figure pat00009
Figure pat00010
도 8에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 및 제2 상태 데이터들의 신뢰도 값은 1이므로, 제1 및 제2 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제3 및 제4 상태 데이터들의 신뢰도 값은 0이므로, 제3 및 제4 상태 데이터의 값은 낮은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 제3 및 제4 상태 데이터의 신뢰도가 낮더라도, 제3 및 제4 상태 데이터는 제5 상태 데이터에 대한 약한 영향력을 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 0.91의 높은 값으로 결정될 수 있다.
도 9를 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 11 및 12와 같이 획득될 수 있다.
Figure pat00011
Figure pat00012
도 9에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 내지 제3 상태 데이터들의 신뢰도 값은 0이므로, 제1 내지 제3 상태 데이터의 값은 낮은 신뢰도를 가진다. 그러나, 제4 상태 데이터의 신뢰도 값은 1이므로, 제4 상태 데이터의 값은 높은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제4 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 그러나, 제5 상태 데이터에 대해 약한 영향력을 가지는 제4 상태 데이터의 값만이 높은 신뢰도를 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 0.05의 낮은 값으로 결정될 수 있다.
도 10을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 13 및 14와 같이 획득될 수 있다.
Figure pat00013
Figure pat00014
도 10에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 내지 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1 내지 제4 상태 데이터의 값은 높은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 제1 내지 제4 상태 데이터의 값이 모두 높은 신뢰도를 가지므로 강한 영향력을 가지는 제1 및 제2 상태 데이터의 값에 따라 0.09의 값으로 결정될 수 있다. 제1 내지 제4 상태 데이터의 값이 모두 높은 신뢰도를 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 1의 높은 값으로 결정될 수 있다.
강한 영향력을 가지는 제1 제2 상태 데이터의 값에 따라 상태 값이 결정될 수 있는 점에서, 제5 상태 데이터(집중도)에 대하여 '눈이 거의 감겨 있고 얼굴이 정면 방향과는 멀리 향하여 있었으므로, 집중도가 낮다'와 같은 코멘트가 가능하다.
도 11을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 15 및 16과 같이 획득될 수 있다.
Figure pat00015
Figure pat00016
도 11에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1, 제3 및 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1, 제3 및 제4 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제2 상태 데이터의 신뢰도 값은 0이므로, 제2 상태 데이터의 값은 낮은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 강한 영향력을 가지는 제1 및 제2 상태 데이터의 값에 따라 0.17의 값으로 결정될 수 있다. 제2 상태 데이터의 신뢰도가 낮아, 낮은 상태 값을 가지는 제2 상태 데이터의 영향이 낮아지게 됨에 따라 도 11의 제5 상태 데이터의 상태 값은 도 10의 제5 상태 데이터의 상태 값보다 큰 값으로 결정될 수 있다. 또한, 가중치가 높은 제2 상태 데이터의 신뢰도가 낮아 따라 도 11의 제5 상태 데이터의 신뢰도 값은 도 10의 제5 상태 데이터의 신뢰도 값보다 낮은 값인 0.55로 결정될 수 있다. 따라서, 접속원의 상태 데이터들 중 신뢰도가 낮은 상태 데이터의 가중치가 높은 경우, 접속처의 상태 데이터의 신뢰도는 낮아질 수 있다.
도 12 내지 도 13을 참조하여, 예측 모델에 기초하여, 소정 시점의 상태 데이터를 획득하는 방법에 대해 자세히 설명하기로 한다.
도 12는 일 실시 예에 의한 예측 모델의 일 예를 나타낸 예시 도면이다.
도 12를 참조하면, 예측 모델은 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함할 수 있다. 도 12의 그래프에서, 화살표의 접속원의 값에 따라 접속처의 값이 결정될 수 있고, 화살표에 표기된 값은 가중치 값을 나타낸다. 예측 모델에 의해 결정된 상태 데이터의 상태 값은 추정 모델에 의해 결정된 상태 값을 보정하는데 이용될 수 있다.
상당 시간 동안에는 사용자의 상태가 동일하게 지속될 수 있는 점에서, 근접한 시점에서의 동종의 상태 데이터들은 서로 유사할 수 있다. 각 상태 데이터의 시간에 따른 변화 정도에 따라서, 예측 모델이 결정될 수 있다. 예측 모델을 생성하는 장치는 추정 모델을 생성하는 장치와 같이 사용자에게 질문을 수행하거나 사용자에 관한 정보를 수집함으로써, 각 노드와 관련된 데이터를 수집할 수 있다. 예측 모델을 생성하는 장치는 수집된 데이터를 이용하여 학습된 결과에 따라 예측 모델을 생성할 수 있다. 학습 방법에는, 예를 들면, 베이즈 모델(Bayesian model)에 의한 파라미터 학습, 유전 알고리즘(genetic algorithm)에 의한 최적해 결정 방법 등이 있다.
도 12의 예측 모델은 시점 t-2, t-1, t, t+1에서, 각 계층의 동종의 상태 데이터를 포함할 수 있다. 또한, 예측 모델은 상태 데이터들이 획득되는데 이용되는 상태 데이터 및 가중치에 관한 정보를 포함할 수 있다.
예측 모델에 따라 획득될 수 있는 시점 t에서의 상태 데이터 A의 상태 값 Pt(A)은 이하 수학식 17에 따라 획득될 수 있다.
Figure pat00017
디바이스(100)는 Pt(A) 값을 이용하여 추정 모델에 의해 획득된 상태 값인 E(A) 값을 보정할 수 있다. 예를 들면, 디바이스(100)는 Pt(A) 및 E(A)의 평균 값을 상태 데이터 A의 상태 값으로 보정할 수 있다.
시점 t에서의 상태 데이터 A의 신뢰도 값 Ct(A)은 추정 모델에 의해 수학식 2에 따라 획득된 상태 데이터 A의 신뢰도 값 C(A)으로 결정될 수 있다.
n은 시점 t의 상태 데이터 A의 상태 값을 획득하기 위해 참조될 수 있는 시간 폭을 나타낸다. Pt(A)는 시점 t에서의 상태 데이터 A의 상태 값을 나타내고, Ct(A)는 시점 t에서의 상태 데이터 A의 신뢰도 값을 나타낸다. Wk, t(A)는 시점 t에서의 상태 데이터 A에 대하여 시점 k에서의 상태 데이터 A에 적용될 수 있는 가중치 값을 나타낸다.
예를 들어, 디바이스(100)는 t-2, t-1 시점의 가족 구성의 상태 데이터에 기초하여 시점 t에서 사용자 속성 계층의 가족 구성에 대한 상태 값을 획득할 수 있다. 디바이스(100)는 이하 수학식 18과 같이 시점 t-2, t-1에서의 가족 구성에 대한 상태 데이터를 이용하여 시점 t에서의 가족 구성에 대한 상태 값을 구할 수 있다.
Figure pat00018
예측 모델에서, 사용자 속성 계층에 속하는 상태 데이터들은 시간에 따른 변동성이 적으므로 시점 간 적용될 수 있는 가중치 값은 높은 값으로 결정될 수 있다. 계층이 낮아질수록 시간에 따른 변동성이 커짐에 따라 시점 간 적용될 수 있는 가중치 값은 낮은 값으로 결정될 수 있다.
도 13은 일 실시 예에 의한 예측 모델에 기초하여 소정 시점의 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 13을 참조하면, 단계 S1310에서, 디바이스(100)는 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하고, 단계 S1320에서 센서 데이터를 획득할 수 있다. 센서 데이터는 센서에 의해 획득된 정보를 포함할 수 있다.
단계 S1330에서, 디바이스(100)는 추정 모델에 기초하여, 센서 데이터로부터 각 계층의 상태 데이터를 획득할 수 있다. 디바이스(100)는 센서 데이터로부터 하위 계층의 상태 데이터를 획득하거나, 하위 또는 중위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득할 수 있다. 디바이스(100)는 추정 모델에 따라 상위 계층의 상태 데이터를 획득하기 위한 사용자 속성 계층의 상태 데이터들을 획득할 수 있다.
단계 S1340에서, 디바이스(100)는 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득할 수 있다. 그리고, 단계 S1350에서, 디바이스(100)는 예측 모델을 이용하여 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득할 수 있다. 디바이스(100)는 인접한 시점에서의 상태 데이터들은 유사성이 존재하는 점을 이용하여 다른 시점의 상태 데이터를 이용하여 소정 시점의 상태 데이터를 획득할 수 있다. 다른 시점의 상태 데이터는 소정 시점의 상태 데이터와 동일한 종류의 상태 데이터일 수 있다. 디바이스(100)는 예측 모델을 이용하여 획득된 상태 데이터를 이용하여, 추정 모델을 이용하여 획득된 상태 데이터를 보정할 수 있다.
이하 도 14 내지 도 16을 참조하여, 센서 데이터의 노이즈 포함 여부에 기초하여 선택된 추정 모델에 기초하여, 상태 데이터를 획득하는 방법에 대하여 자세히 설명하기로 한다.
도 14는 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 14의 디바이스(500)는 도 1의 디바이스(100)와 대응될 수 있다. 디바이스(500)는 센서 데이터에 기초하여 추정 모델을 선택하고, 선택된 추정 모델을 이용하여 사용자의 상태를 나타내는 상태 데이터를 획득할 수 있다. 도 1의 디바이스(100)와는 달리 센서 데이터에 기초하여 복수 개의 추정 모델 중에서 하나 이상을 선택할 수 있다.
도 14를 참조하면, 디바이스(500)는 센서 데이터 획득부(501), 센서 데이터 전처리부(502), 상태 인식 엔진 선택부(503), 상태 데이터 획득부(504), 컨텐츠 수신부(505), 컨텐츠 표시부(506), 컨텐츠 선호도 결정부(507), 컨텐츠 선호도 전송부(508), 컨텐츠 추천 결과 생성부(509) 및 컨텐츠 추천 결과 표시부(510)를 포함할 수 있다.
도 14의 센서 데이터 획득부(501), 상태 데이터 획득부(504), 컨텐츠 수신부(505), 컨텐츠 표시부(506), 컨텐츠 선호도 결정부(507), 컨텐츠 선호도 전송부(508), 컨텐츠 추천 결과 생성부(509) 및 컨텐츠 추천 결과 표시부(510)는 도 1의 센서 데이터 획득부(101), 상태 데이터 획득부(103), 컨텐츠 수신부(104), 컨텐츠 표시부(105), 컨텐츠 선호도 결정부(106), 컨텐츠 선호도 전송부(107), 컨텐츠 추천 결과 생성부(108) 및 컨텐츠 추천 결과 표시부(109)와 대응될 수 있다. 도 1에서의 설명과 중복되는 설명은 생략될 수 있다.
센서 데이터 획득부(501)는 센서에 의해 감지된 결과에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서는 사용자 또는 사용자의 주변 환경을 관측하여, 그 결과를 센서 데이터로 생성할 수 있다. 더하여, 센서 데이터는 센서에 의해 감지된 정보에 관한 노이즈 포함 정도에 관한 정보를 더 포함할 수 있다. 따라서, 디바이스(100)는 센서 데이터의 노이즈 포함 정도에 기초하여, 사용자의 상태 데이터를 구할 수 있다.
센서 데이터 전처리부(502)는 센서 데이터 획득부(501)에 의해 획득된 센서 데이터를 전처리할 수 있다. 센서 데이터 전처리부(502)는 센서 데이터로부터 노이즈 포함 정도에 관한 정보를 추출할 수 있다. 예를 들면, 센서 데이터 전처리부(502)는 센서 데이터를 분석하여 노이즈 포함 정도를 판단할 수 있다.
또한, 센서 데이터 전처리부(502)는 센서 데이터로부터 상태 데이터를 추출하기 적절한지 여부를 판단할 수 있다. 센서 데이터 중 영상 데이터에 사용자의 모습이 촬영되어 있지 않은 경우, 영상 데이터로부터 사용자의 상태 데이터가 획득되기 어렵다. 따라서, 센서 데이터 전처리부(502)는 센서 데이터로부터 직접적으로 획득될 수 있는 하위 계층의 상태 데이터가 유효한 값을 가지는지 여부 또는 노이즈를 포함하는 정도를 나타내는 정보를 생성할 수 있다.
상태 인식 엔진 선택부(503)는 센서 데이터 또는 하위 계층의 상태 데이터의 노이즈 포함 정도에 기초하여, 상태 데이터 획득에 이용될 추정 모델을 선택할 수 있다. 추정 모델을 생성하는 장치는 사용자에 관하여 수집된 정보를 학습함으로써, 사용자에 관한 추정 모델을 복수 개 생성할 수 있다. 사용자의 상태나 주변 환경에 따라 추정 모델은 다양한 형태로 생성될 수 있다. 적어도 하나의 상태 인식 엔진은 각 상태 인식 엔진과 대응되는 추정 모델에 기초하여, 사용자의 상태 데이터를 획득할 수 있다.
노이즈가 포함된 센서 데이터 또는 노이즈가 포함된 하위 계층의 상태 데이터로부터 획득된 상태 데이터는 노이즈로 인하여 적절한 데이터를 포함하고 있지 않을 수 있다. 따라서, 상태 인식 엔진 선택부(503)는 노이즈를 포함하는 센터 데이터 또는 노이즈가 포함된 하위 계층의 상태 데이터가 포함되지 않은 추정 모델을 선택할 수 있다. 상태 인식 엔진 선택부(503)에 의해 추정 모델이 선택되면, 선택된 추정 모델과 대응되는 상태 인식 엔진에 의해 사용자의 상태 데이터가 획득될 수 있다.
상태 데이터 획득부(504)는 사용자의 상태 데이터를 획득할 수 있는 적어도 하나의 상태 인식 엔진을 포함할 수 있다. 상태 인식 엔진 선택부(503)에 의해 선택된 추정 모델과 대응되는 상태 인식 엔진에 의해 사용자의 상태 데이터가 획득될 수 있다.
컨텐츠 수신부(505)는 외부로부터 컨텐츠를 수신하거나, 디바이스(500)의 메모리에 저장된 컨텐츠를 로딩할 수 있다.
컨텐츠 표시부(506)는 컨텐츠 수신부(505)에 의해 수신된 컨텐츠를 디스플레이를 통해 표시할 수 있다. 컨텐츠가 오디오 신호를 포함하는 경우, 컨텐츠 표시부(505)는 스피커를 통해 컨텐츠를 출력할 수 있다. 컨텐츠 표시부(506)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
컨텐츠 선호도 결정부(507)는 상태 데이터 획득부(504)에 의해 획득된 상태 데이터를 이용하여, 사용자의 컨텐츠에 대한 선호도를 구할 수 있다.
컨텐츠 추천 결과 생성부(509)는 사용자의 컨텐츠 선호도 정보에 기초하여, 사용자에게 추천하는 컨텐츠에 관한 정보를 생성할 수 있다.
컨텐츠 추천 결과 표시부(510)는 컨텐츠 추천 결과 생성부(509)에 의해 생성된 사용자에게 추천하는 컨텐츠에 관한 정보를 디스플레이를 통해 표시할 수 있다.
도 15는 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 기초하여 선택된 추정 모델을 이용하여 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 15를 참조하면, 단계 S1510에서, 디바이스(500)는 상태 데이터를 획득하기 위한 정보를 포함하는 적어도 하나의 추정 모델과 센서 데이터를 획득할 수 있다. 추정 모델은 각 상태 데이터들이 어떤 데이터에 기초하여 획득되는지에 관한 정보를 포함할 수 있다. 적어도 하나의 추정 모델은 추정 모델의 생성 시의 사용자의 상태 혹은 주변 환경에 따라 서로 다른 정보를 포함할 수 있다.
단계 S1520에서, 디바이스(500)는 센서 데이터의 노이즈 포함 여부에 기초하여, 상태 데이터를 획득하기 위한 추정 모델을 선택할 수 있다. 디바이스(500)는 노이즈를 포함한 것으로 판단된 센서 데이터를 이용하는 추정 모델에 의해 획득된 상태 데이터에는 노이즈 포함 정도에 따라 서로 다른 가중치가 적용될 수 있다.
단계 S1530에서, 디바이스(500)는 단계 S1520에서 선택된 추정 모델에 기초하여, 센서 데이터로부터 각 계층의 상태 데이터를 획득할 수 있다. 선택된 각각의 추정 모델과 대응되는 상태 인식 엔진들은 각 상태 인식 엔진과 대응되는 추정 모델에 기초하여, 센서 데이터로부터 상태 데이터를 획득할 수 있다.
또한, 디바이스(500)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 16은 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 따라 선택된 추정 모델에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 16을 참조하면, 다수의 센서(300)로부터 센서 데이터가 센서 데이터 전처리부(502)로 전달될 수 있다. 센서 데이터 전처리부(502)는 센서 데이터로부터 눈방향, 눈뜬 정도, 웃는 정도, 몸 자세, 이동 정도, 목소리 크기 등의 하위 계층의 상태 데이터를 추출할 수 있다. 센서 데이터에 노이즈가 포함되어 있는 경우, 센서 데이터로부터 획득된 하위 계층의 상태 데이터 역시 노이즈가 포함되어 있는 것으로 판단될 수 있다. 도 16과 관련된 설명에서는 도시된 바에 따라 하위 계층의 상태 데이터에 대한 노이즈 포함 정도에 기초하여 상태 데이터가 획득됨을 기준으로 설명하기로 한다.
센서 데이터 전처리부(502)는 각 하위 계층의 상태 데이터에 대한 노이즈 포함 정도를 결정할 수 있다. 하위 계층의 상태 데이터에 대한 노이즈 포함 정도에 관한 정보는 센서 데이터에 포함된 센서의 작동상태 또는 센서의 주변 환경에 관한 정보에 따라 결정될 수도 있다. 예를 들면, 센서 데이터 전처리부(502)는 하위 계층의 상태 데이터에 대하여 노이즈 포함 정도를 나타내는 정보를 생성할 수 있다.
도 16을 참조하면, 웃는 정도 및 몸 자세의 상태 데이터가 유효한 값을 가지지 않을 수 있다. 따라서, 눈 방향, 눈뜬 정도, 이동 정도, 목소리 크기의 상태 데이터에 대한 정보는 해당 상태 데이터에 노이즈가 포함되어 있지 않거나 상태 데이터의 값이 유효하다고 판단될 정도의 적은 노이즈를 포함함을 나타내는 정보를 포함할 수 있다. 또한, 웃는 정도 및 몸 자세의 상태 데이터에 대한 정보는 해당 상태 데이터에 노이즈가 포함되어 유효하지 않음을 나타내는 정보를 포함할 수 있다.
상태 인식 엔진 선택부(503)는 센서 데이터 전처리부(502)에 의해 생성된 각 하위 계층의 상태 데이터에 대한 노이즈 포함 정도를 나타내는 정보에 기초하여, 추정 모델을 선택함으로써 상태 인식 엔진을 선택할 수 있다. 상태 인식 엔진의 선택은 각 상태 인식 엔진에 대한 가중치 값이 0 내지 1 사이의 값으로 결정됨으로써 수행될 수 있다. 상태 인식 엔진 선택부(503)는 선택된 상태 인식 엔진에 대한 가중치 값을 0 초과 1 이하의 값으로 결정하고, 선택되지 않은 상태 인식 엔진에 대한 가중치 값은 0으로 결정할 수 있다.
각 상태 인식 엔진은 대응되는 추정 모델을 이용하여, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 출력할 수 있다. 도 16에서, 하위 계층의 상태 데이터는 입력 노드 1 내지 6을 통해 상태 인식 엔진으로 입력될 수 있다. 또한, 상위 계층의 상태 데이터는 출력 노드 1 내지 9를 통해 상태 인식 엔진으로부터 출력될 수 있다. 상태 인식 엔진의 중간 노드는 상술된 중위 계층의 상태 데이터와 대응될 수 있다. 중간 노드는 추정 모델에 따라 상태 인식 엔진에 포함되어 있지 않을 수 있다. 도 16에 도시된 상태 인식 엔진의 예는 예시에 불과하고 각 상태 인식 엔진은 다양한 형태의 추정 모델을 이용하여 상태 데이터를 획득할 수 있다.
출력 노드 1 내지 9를 통해 출력될 수 있는 상위 계층의 상태 데이터는 상태 인식 엔진에 대한 가중치 값에 따라 이하 수학식 19와 같이 최종 결정될 수 있다.
Figure pat00019
R은 상태 데이터 획득부(504)로부터 최종적으로 출력될 수 있는 상위 계층의 상태 데이터이며, n은 상태 인식 엔진의 총 수를 나타낸다. wi는 상태 인식 엔진 i에 적용되는 가중치 값이며, ri는 상태 인식 엔진 i로부터 출력되는 상태 데이터를 나타낸다.
상태 인식 엔진 선택부(503)는 웃는 정도와 몸자세의 상태 데이터와 각각 대응되는 입력 노드 3 및 4를 포함하는 상태 인식 엔진 C, D, E, F, G에 대한 가중치 값을 0으로 결정할 수 있다. 또한, 상태 인식 엔진 선택부(503)는 나머지 입력 노드 1, 2, 5, 6을 포함하는 상태 인식 엔진 A, B, H, I에 대한 가중치 값은 0이 아닌 값으로 결정할 수 있다. 상태 인식 엔진 선택부(503)는 상술된 예에 한하지 않고, 상태 데이터의 노이즈 정도에 따라 가중치 값을 다르게 결정할 수 있다.
또한, 상태 인식 엔진 선택부(503)는 사용자의 상태에 따라 상태 데이터를 획득하기 적합하지 않은 추정 모델을 포함하는 상태 인식 엔진을 제외하기 위하여, 상태 데이터의 노이즈 정도와는 관련없이 일부 상태 인식 엔진의 가중치 값을 0으로 결정할 수도 있다.
상태 데이터 획득부(504)는 상태 인식 엔진 선택부(503)에 의해 결정된 가중치 값에 기초하여, 각 상태 인식 엔진으로부터 출력된 상위 계층의 상태 데이터를 출력할 수 있다.
디바이스(100)는 상태 데이터 획득부(504)에 의해 획득된 상위 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 17은 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 17을 참조하면, 디바이스(1700)는 디스플레이(1710), 제어부(1720) 및 센서(1730)를 포함할 수 있다.
디스플레이(1710)는 디바이스(1700)에 의해 획득된 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 표시할 수 있다. 또한, 디스플레이(1710)는 사용자 요청에 따른 다양한 컨텐츠를 표시할 수 있다.
또한, 상술된 예에 한하지 않고, 디바이스(1700)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
제어부(1720)는 추정 모델을 이용하여 센서 데이터로부터 복수 개의 계층에 속한 상태 데이터를 획득할 수 있다. 센서 데이터로부터 하위 계층의 상태 데이터가 획득될 수 있고, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터가 획득될 수 있다. 제어부(1720)는 상위 계층의 상태 데이터에 기초하여, 사용자에게 서비스를 제공하여 줄 수 있다.
또한, 제어부(1720)는 예측 모델을 이용하여 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득할 수 있다. 제어부(1720)는 예측 모델을 이용하여 획득된 상태 데이터를 이용하여 추정 모델을 이용하여 획득된 상태 데이터의 상태 값을 보정할 수 있다.
또한, 제어부(1720)는 센서 데이터의 노이즈 포함 정도에 기초하여 추정 모델을 선택하고, 선택된 추정 모델에 기초하여 상태 데이터를 획득할 수 있다. 제어부(1720)는 센서 데이터의 노이즈 포함 정도에 기초하여, 각 추정 모델로부터 획득된 상태 데이터에 적용될 가중치 값을 결정할 수 있다.
센서(1730)는 사용자 또는 사용자의 주변 환경에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서(1730)는 카메라, 마이크, 위치 감지 센서, 가속도 센서 등 다양한 종류의 센서를 포함할 수 있다. 센서(1730)에 의해 획득된 센서 데이터에 기초하여 제어부(1720)는 사용자의 상태 데이터를 획득할 수 있다.
일 실시 예에 의하면, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 사용자의 상태를 나타내는 상태 데이터를 효과적으로 획득할 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (17)

  1. 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법에 있어서,
    센서에 의해 획득된 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하는 단계;
    적어도 하나의 센서 데이터를 획득하는 단계;
    상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하는 단계; 및
    상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하는 단계; 및
    상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 하위 계층의 상태 데이터를 획득하는 단계는
    상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 상위 계층의 상태 데이터를 획득하는 단계는
    상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하는 단계;
    상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하는 단계; 및
    상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고,
    상기 상위 계층의 상태 데이터를 획득하는 단계는
    상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하는 단계; 및
    상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 추정 모델을 선택하는 단계는
    상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하는 단계; 및
    상기 노이즈가 포함된 하위 계층의 상태 데이터를 이용하지 않는 추정 모델을 선택하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하거나 출력하는 단계를 더 포함하는 방법.
  9. 사용자의 상태를 나타내는 상태 데이터를 획득하는 디바이스에 있어서,
    적어도 하나의 센서 데이터를 획득하는 센서;
    상기 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하고, 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 제어부;
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하는 디스플레이를 포함하는, 디바이스.
  10. 제9항에 있어서, 상기 제어부는
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하고, 상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하고,
    상기 디스플레이는 상기 선택된 컨텐츠에 관한 정보를 표시하는, 디바이스.
  11. 제9항에 있어서, 상기 제어부는
    상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정하는, 디바이스.
  12. 제9항에 있어서, 상기 제어부는
    상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정하는, 디바이스.
  13. 제9항에 있어서, 상기 제어부는
    이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하고, 상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하고, 상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는, 디바이스.
  14. 제9항에 있어서,
    상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고,
    상기 제어부는, 상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하고, 상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는, 디바이스.
  15. 제14항에 있어서, 상기 제어부는
    상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하고, 상기 노이즈가 포함된 하위 계층의 상태 데이터를 이용하지 않는 추정 모델을 선택하는, 디바이스.
  16. 제9항에 있어서, 상기 디바이스는
    상기 하위 계층의 상태 데이터 및 상기 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 출력하는 출력부를 더 포함하는, 디바이스.
  17. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020150170670A 2014-12-02 2015-12-02 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 KR102572698B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014244404 2014-12-02
JPJP-P-2014-244405 2014-12-02
JP2014244405 2014-12-02
JPJP-P-2014-244404 2014-12-02
JPJP-P-2015-213452 2015-10-29
JP2015213452A JP2016110631A (ja) 2014-12-02 2015-10-29 状態推定装置、状態推定方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20160066526A true KR20160066526A (ko) 2016-06-10
KR102572698B1 KR102572698B1 (ko) 2023-08-31

Family

ID=56124463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170670A KR102572698B1 (ko) 2014-12-02 2015-12-02 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스

Country Status (4)

Country Link
US (1) US10878325B2 (ko)
JP (1) JP2016110631A (ko)
KR (1) KR102572698B1 (ko)
CN (1) CN107003736A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170141928A (ko) * 2016-06-16 2017-12-27 삼성에스디에스 주식회사 데이터 플랫폼에 기반한 IoT 서비스 제공 방법 및 그 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006199B2 (ja) * 2017-12-01 2022-01-24 オムロン株式会社 データ生成装置、データ生成方法、データ生成プログラムおよびセンサ装置
CN112970027A (zh) 2018-11-09 2021-06-15 阿克里互动实验室公司 用于筛查和治疗情感障碍的面部表情检测
JP7485638B2 (ja) 2021-06-18 2024-05-16 Ｌｉｎｅヤフー株式会社 端末装置、端末装置の制御方法、および、端末装置の制御プログラム
JP2023127043A (ja) * 2022-03-01 2023-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199403A (ja) * 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
US20130268954A1 (en) * 2012-04-04 2013-10-10 Microsoft Corporation Controlling a media program based on a media reaction
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20160007899A1 (en) * 2013-03-13 2016-01-14 Aptima, Inc. Systems and methods to determine user state

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083984A (ja) * 1999-09-09 2001-03-30 Alpine Electronics Inc インタフェース装置
JP4641389B2 (ja) * 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
JP4799120B2 (ja) 2005-10-14 2011-10-26 株式会社内田洋行 個人の行動特性を用いた意図推測システム及び方法並びにプログラム
JP5011190B2 (ja) 2008-03-31 2012-08-29 株式会社エヌ・ティ・ティ・データ コンテクスト装置およびプログラム
JP5215098B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
JP5691512B2 (ja) * 2010-03-24 2015-04-01 沖電気工業株式会社 入力支援装置、入力支援方法、およびプログラム
KR101890717B1 (ko) 2010-07-20 2018-08-23 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
JP2013037471A (ja) 2011-08-05 2013-02-21 Nec Corp 確率モデル更新システム、確率モデル更新装置、確率モデル更新方法およびプログラム
JP5937829B2 (ja) 2012-01-25 2016-06-22 日本放送協会 視聴状況認識装置及び視聴状況認識プログラム
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
CA2775700C (en) * 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
CN103383764A (zh) * 2012-05-04 2013-11-06 微软公司 基于当前媒体反应的广告呈现
CA2775814C (en) 2012-05-04 2013-09-03 Microsoft Corporation Advertisement presentation based on a current media reaction
KR101460404B1 (ko) 2012-09-04 2014-11-12 포항공과대학교 산학협력단 사용자 중심의 상황정보 관리 장치 및 그 방법
KR101978743B1 (ko) 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
US9344773B2 (en) 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
KR20140104537A (ko) 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법
JP6002599B2 (ja) 2013-02-22 2016-10-05 日本電信電話株式会社 センサデータ統合装置、センサデータ統合方法及びプログラム
WO2015190141A1 (ja) * 2014-06-13 2015-12-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199403A (ja) * 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
US20130268954A1 (en) * 2012-04-04 2013-10-10 Microsoft Corporation Controlling a media program based on a media reaction
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20160007899A1 (en) * 2013-03-13 2016-01-14 Aptima, Inc. Systems and methods to determine user state

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170141928A (ko) * 2016-06-16 2017-12-27 삼성에스디에스 주식회사 데이터 플랫폼에 기반한 IoT 서비스 제공 방법 및 그 장치

Also Published As

Publication number Publication date
CN107003736A (zh) 2017-08-01
JP2016110631A (ja) 2016-06-20
KR102572698B1 (ko) 2023-08-31
US20170344891A1 (en) 2017-11-30
US10878325B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
KR102572698B1 (ko) 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스
US10003924B2 (en) Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
JP5185358B2 (ja) 行動履歴検索装置
KR102033050B1 (ko) 시간차 모델을 위한 비지도 학습 기법
US10475461B2 (en) Periodic ambient waveform analysis for enhanced social functions
US8442754B2 (en) Apparatus, method and medium detecting landmarks with a mobile device
US11481426B2 (en) Predicting acoustic features for geographic locations
KR102195899B1 (ko) 컨텐트 관리 방법 및 이를 위한 클라우드 서버
US10334217B2 (en) Video sequence assembly
JP6056853B2 (ja) 電子機器
KR20170067503A (ko) 단말장치, 서버 및 이벤트 제안방법
CN105934760A (zh) 利用计算机视觉辅助的适应性图像搜索
JP2015201157A (ja) ソーシャルネットワークデータを使用する動的コンテンツ推奨システム
US20140240352A1 (en) Content delivery system with augmented reality mechanism and method of operation thereof
JP2012113589A (ja) 行動促進装置、行動促進方法およびプログラム
US20180249218A1 (en) Camera with reaction integration
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
KR102301231B1 (ko) 영상 제공 방법 및 이를 위한 장치
KR20180074562A (ko) 전자 장치 및 이의 제어 방법
US20180014158A1 (en) Mobile Device Recommendation System and Method
US9510032B2 (en) Program guide with gamification of user metadata
JPWO2016052501A1 (ja) ユーザインタフェース装置、プログラム及びコンテンツの通知方法
US20230007351A1 (en) Automated content virality enhancement
US11595486B2 (en) Cloud-based, geospatially-enabled data recording, notification, and rendering system and method
JP2023135608A (ja) 擬音表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right