KR102186580B1

KR102186580B1 - 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치

Info

Publication number: KR102186580B1
Application number: KR1020180093159A
Authority: KR
Inventors: 남재현; 조안나; 최태준
Original assignee: 주식회사 룩시드랩스
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2020-12-03
Also published as: KR20200017797A; WO2020032400A1

Abstract

본 발명의 일 실시예에 따른 발명은 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치가 제공된다. 상기 방법은, 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하는 단계; 상기 HMD 장치를 통해서 상기 제1 시선 데이터와 연관된 상기 제1 비주얼 오브젝트에 대응하는 상기 사용자의 제1 뇌파 데이터를 획득하는 단계; 상기 획득된 제1 뇌파 데이터를 상기 사용자 감정을 판단하기 위한 기준 생체 정보로 결정하는 단계; 상기 HMD 장치를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 제공하는 단계; 상기 HMD 장치를 통해서 상기 제2 비주얼 오브젝트에 대한 상기 사용자의 제2 시선 데이터를 획득하고, 상기 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 상기 사용자의 제2 뇌파 데이터를 획득하는 단계; 및 상기 기준 생체 정보 및 상기 제2 뇌파 데이터를 기초로 상기 제2 비주얼 오브젝트에 대한 감정 정보를 생성하는 단계를 포함한다.

Description

사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치{METHOD FOR ESTIMATING EMOTION OF USER AND APPARATUS THEREFOR}

본 발명은 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치에 관한 것이다.

일반적으로 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치(이하, 'HMD 장치'라 함)는, 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 또는 혼합 현실(Mixed Reality, MR)에 관한 영상을 제공하는 디스플레이 장치이다.

이와 같은 HMD 장치는, 사용자의 눈 부위에 착용 가능하도록 고글(goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성된다. 여기서, 본체에는 가상 현실, 증강 현실 또는/및 혼합 현실에 관한 영상을 출력하는 수단으로서, 디스플레이가 구비되거나, 스마트폰 등과 같은 휴대용 단말 장치가 설치되거나, 모니터 등과 같이 PC 등에 연결되는 디스플레이 장치가 실장된다.
등록특허공보 제10-1759335호

최근에는 사용자의 가상 현실, 증강 현실 또는 혼합 현실에 관한 영상의 시청이 사용자에게 미치는 영향을 분석하기 위해 HMD 장치가 사용자의 생체 정보를 획득하기 위한 생체 센서를 구비하고, 이러한 생체 센서를 이용하여 사용자가 해당 영상을 시청하는 동안 사용자의 뇌파, 시선, 심전도, 안전도, 근전도 등의 신호가 획득될 수 있다. HMD 장치와 연결된 전자 장치는 생체 센서로부터 획득된 신호를 분석하여 사용자가 해당 영상을 시청하면서 어떠한 감정을 느꼈는지를 확인할 수 있다.

그러나, 이와 같이 가상 현실, 증강 현실 또는 혼합 현실에 관한 영상을 시청하는 동안 사용자의 뇌파를 획득하는 경우 사용자가 시청한 영상의 특정 장면들마다 사용자의 뇌파를 획득하고, 획득된 뇌파를 분석하여 사용자의 감정을 판단하기 때문에, 사용자가 응시한 특정 비주얼 오브젝트에 관련하여 사용자가 어떠한 감정을 가지는지 미리 예측하기 어렵다는 문제점이 있다.

본 발명이 해결하고자 하는 과제는 상술한 바와 같은 문제점을 해결하기 위해 사용자의 감정을 판단하기 방법 및 이를 위한 장치를 제공하는 것이다.

구체적으로, 본 발명이 해결하고자 하는 과제는 사용자의 시선 데이터 및 뇌파 데이터를 이용하여 특정 비주얼 오브젝트에 대한 사용자의 감정을 판단할 수 있는 방법 및 이를 위한 장치를 제공하는 것이다.

본 발명의 과제들은 이에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위해 본 발명의 일 실시예에 따른 발명은 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치가 제공된다. 상기 방법은, 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하는 단계; 상기 HMD 장치를 통해서 상기 제1 시선 데이터와 연관된 상기 제1 비주얼 오브젝트에 대응하는 상기 사용자의 제1 뇌파 데이터를 획득하는 단계; 상기 획득된 제1 뇌파 데이터를 상기 사용자 감정을 판단하기 위한 기준 생체 정보로 결정하는 단계; 상기 HMD 장치를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 제공하는 단계; 상기 HMD 장치를 통해서 상기 제2 비주얼 오브젝트에 대한 상기 사용자의 제2 시선 데이터를 획득하고, 상기 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 상기 사용자의 제2 뇌파 데이터를 획득하는 단계; 및 상기 기준 생체 정보 및 상기 제2 뇌파 데이터를 기초로 상기 제2 비주얼 오브젝트에 대한 감정 정보를 생성하는 단계를 포함한다.

상기 장치는, 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하고, 상기 HMD 장치를 통해서 상기 제1 시선 데이터와 연관된 상기 제1 비주얼 오브젝트에 대응하는 상기 사용자의 제1 뇌파 데이터를 획득하고, 상기 획득된 제1 뇌파 데이터를 상기 사용자 감정을 판단하기 위한 기준 생체 정보로 결정하고, 상기 HMD 장치를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 제공하고, 상기 HMD 장치를 통해서 상기 제2 비주얼 오브젝트에 대한 상기 사용자의 제2 시선 데이터가 획득되면 상기 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 상기 사용자의 제2 뇌파 데이터를 획득하고, 상기 기준 생체 정보 및 상기 제2 뇌파 데이터를 기초로 상기 제2 비주얼 오브젝트에 대한 감정 정보를 생성한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 사용자의 시선 데이터 및 뇌파 데이터를 기초로 결정된 기준 생체 정보를 이용하여 사용자가 시선을 응시한 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성함으로써, 사용자의 시선이 응시되는 다양한 비주얼 오브젝트에 대한 사용자의 감정을 예측할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 감정 판단 장치를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 영상 출력 장치가 실장된 HMD 장치를 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 HMD 장치 및 영상 출력 장치와 연결된 전자 장치를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이를 구비한 HMD 장치 및 HMD 장치와 연결된 전자 장치를 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 방법을 설명하기 위한 개략적인 순서도이다.
도 6a, 도 6b, 도 6c 및 도 6d는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다.
도 9는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 특정 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성하는 방법을 설명하기 위한 예시도이다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 보정하기 위한 방법을 설명하기 위한 예시도들이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서에서, 본 발명의 일 실시예에 따른 사용자 감정 판단 장치는 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 정보를 획득하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, 사용자 감정 판단 장치는 HMD(Head Mounted Display) 장치, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 정보를 획득하는 센서가 포함된 디바이스, 가상 현실, 증강 현실 또는 혼합 현실에 관련된 영상을 출력하는 영상 출력 장치 및 이들을 관리하는 전자 장치를 포함할 수 있다. 예를 들어, HMD 장치가 디스플레이를 구비하는 경우 사용자 감정 판단 장치는 HMD 장치 및 전자 장치를 포함할 수 있다. 여기서 생체 정보는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 감정 판단 장치를 설명하기 위한 개략도이다. 도 1을 참조하면, 사용자 감정 판단 장치는 HMD 장치(100)를 포함하고, 영상 출력 장치(200) 및 전자 장치(300) 중 적어도 하나를 포함할 수 있다. 예를 들어, HMD 장치(100)가 디스플레이를 구비하는 경우 영상 출력 장치(200)는 포함되지 않을 수 있다.

HMD 장치(100)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실, 증강 현실 또는 혼합 현실에 관한 영상을 제공함과 동시에, 사용자의 시선 및 뇌파 등의 생체 정보를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다.

구체적으로, HMD 장치(100)는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실, 증강 현실 또는 혼합 현실을 위한 영상 처리를 HMD 장치(100) 내부에서 수행하는 형태로 구현되거나 HMD 장치(100)의 일부에 가상 현실, 증강 현실 또는 혼합 현실에 관한 영상을 제공하는 영상 출력 장치(200)가 장착되고, 장착된 영상 출력 장치(200) 내부에서 가상 현실을 위한 영상 처리를 수행하는 형태로 구현될 수 있다.

HMD 장치(100)가 디스플레이를 구비하는 경우 사용자가 HMD 장치(100)를 착용할 시 사용자가 가상 현실, 증강 현실 또는 혼합 현실에 관한 영상을 확인할 수 있도록 디스플레이의 일면이 사용자의 얼굴에 대향 배치될 수 있다.

다양한 실시예에서 HMD 장치(100)의 일부에는 영상 출력 장치(200)를 수용할 수 있는 수용 공간(101)이 형성될 수 있다. 수용 공간(101) 내에 영상 출력 장치(200)가 수용된 경우 영상 출력 장치(200)의 일면(예: 영상 출력 장치(200)의 디스플레이가 위치된 일면)이 사용자의 얼굴에 대향 배치될 수 있다. 예를 들면, 영상 출력 장치(200)는 스마트폰, 태블릿 PC 등과 같은 휴대용 단말장치 또는 PC에 연결되어 PC로부터 제공되는 영상을 출력할 수 있는 휴대용 모니터 등을 포함할 수 있다.

HMD 장치(100)의 일측에는 사용자의 시선 데이터 및 뇌파 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 시선을 추적하는 시선 추적 센서 및 사용자의 뇌파를 측정하는 뇌파 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되어, 사용자가 HMD 장치(100)를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호(EEG: electroencephalography)를 측정하여 뇌파 데이터를 획득할 수 있다.

HMD 장치(100)는 영상 출력 장치(200) 또는 전자 장치(300)의 요청에 따라 사용자의 시선 데이터 및 사용자의 뇌파 데이터를 획득하고, 획득된 시선 데이터 및 뇌파 데이터를 영상 출력 장치(100) 또는 전자 장치(300)로 전달할 수 있다.

구체적으로, HMD 장치(100)는 디스플레이가 포함되는 경우 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하기 위해 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 HMD 장치(100)의 디스플레이를 통해서 표시할 수 있다. 상기 제1 비주얼 오브젝트 또는 제1 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다. 상기 제1 사용자 인터페이스는 제1 비주얼 오브젝트에 대응하여 사용자의 특정 행위에 대한 보상 서비스를 제공하는 보상형 콘텐트에 대한 사용자 인터페이스이고, 제1 비주얼 오브젝트는 상기 제1 사용자 인터페이스를 구성하는 보상형 콘텐트에 관련된 텍스트, 이미지, 아이콘 등의 그래픽 객체들 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 상기 보상형 콘텐트는 광고, 설문 조사, 이벤트, 문제풀이 또는 게임 등을 포함할 수 있다. 예를 들어, 제1 사용자 인터페이스는 광고를 재생하기 위한 사용자 인터페이스, 설문 조사를 위한 사용자 인터페이스, 이벤트 참여를 위한 사용자 인터페이스, 문제풀이를 위한 사용자 인터페이스 또는 게임 플레이를 사용자 인터페이스일 수 있다. 상기 제1 비주얼 오브젝트는 광고를 재생하기 위한 사용자 인터페이스에 포함된 광고 대상을 나타내는 이미지, 설문 조사를 위한 사용자 인터페이스에 포함된 설문 내용을 나타내는 텍스트, 이벤트 참여를 위한 사용자 인터페이스에 포함된 이벤트 내용을 나타내는 텍스트 및 이미지, 게임 플레이를 위한 사용자 인터페이스에 포함된 게임 관련 캐릭터, 아이템, 배경 등을 나타내는 이미지일 수 있다. 상기 사용자의 특정 행위는 보상 데이터를 획득하기 위한 조건을 만족하는 다양한 행위들 중 어느 하나를 포함하는데, 사용자 인터페이스에 포함된 광고 대상에 해당하는 이미지를 특정 시간 동안 응시하거나, 설문 또는 이벤트에 참여하거나, 게임 내 특정 아이템 또는 스코어를 획득하는 등의 행위를 포함할 수 있다.

상기 HMD 장치(100)는 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대한 사용자의 제1 뇌파 데이터를 획득하고, 획득된 제1 뇌파 데이터를 전자 장치(300)로 전달할 수 있다. 다양한 실시예에서 HMD 장치(100)는 전자 장치(300)와 연결되지 않은 상태 등과 같이 독립적으로 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대한 사용자의 제1 뇌파 데이터를 수집하여 저장한 후 전자 장치(300)와 연결되었을 때, 저장된 제1 뇌파 데이터를 전자 장치(300)로 전달할 수도 있다.

상기 HMD 장치(100)는 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 사용자의 제2 시선 데이터 및 제2 뇌파 데이터를 획득하기 위해 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 상기 제2 비주얼 오브젝트 또는 제2 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다. 상기 HMD 장치(100)는 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터를 획득하고, 획득된 제2 시선 데이터에 연관된 제2 비주얼 오브젝트에 대응하는 사용자의 제2 뇌파 데이터를 획득할 수 있다. 상기 HMD 장치(100)는 획득된 제2 뇌파 데이터를 전자 장치(300)로 전달할 수 있다. 다양한 실시예에서 HMD 장치(100)는 전자 장치(300)와 연결되지 않은 상태 등과 같이 독립적으로 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대한 사용자의 제2 뇌파 데이터를 수집하여 저장한 후 전자 장치(300)와 연결되었을 때, 저장된 제2 뇌파 데이터를 전자 장치(300)로 전달할 수도 있다.

다양한 실시예에서 HMD 장치(100)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 상기 복수의 비주얼 오브젝트들 또는 제3 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다. 상기 HMD 장치(100)는 사용자의 제3 시선 데이터를 획득하고, 복수의 비주얼 오브젝트들 중 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 획득할 수 있다. 상기 HMD 장치(100)는 획득된 제3 뇌파 데이터를 전자 장치(300)로 전달할 수 있다. 다양한 실시예에서 HMD 장치(100)는 전자 장치(300)와 연결되지 않은 상태 등과 같이 독립적으로 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대한 사용자의 제3 뇌파 데이터를 수집하여 저장한 후 전자 장치(300)와 연결되었을 때, 저장된 제3 뇌파 데이터를 전자 장치(300)로 전달할 수도 있다.

다양한 실시예에서 영상 출력 장치(200)가 HMD 장치(100)에 실장되는 경우 상기 영상 출력 장치(200)는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 영상 출력 장치(200)의 디스플레이를 통해서 표시할 수 있다. 상기 영상 출력 장치(200)는 HMD 장치(100)를 통해서 제1 비주얼 오브젝트에 대한 사용자의 제1 시선 데이터를 획득하고, 획득된 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대한 사용자의 제1 뇌파 데이터를 HMD 장치(100)를 통해서 획득할 수 있다. 상기 영상 출력 장치(200)는 획득된 제1 뇌파 데이터를 전자 장치(300)로 전달할 수 있다.

상기 영상 출력 장치(200)는 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 상기 영상 출력 장치(200)는 HMD 장치(100)를 통해서 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터를 획득하고, 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대한 사용자의 제2 뇌파 데이터를 HMD 장치(100)를 통해서 획득할 수 있다. 상기 영상 출력 장치(200)는 획득된 제2 뇌파 데이터를 전자 장치(300)로 전달할 수 있다.

다양한 실시예에서 영상 출력 장치(200)는 기준 생체 정보의 정확도를 향상시키기 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 상기 영상 출력 장치(200)는 HMD 장치(100)를 통해서 사용자의 제3 시선 데이터를 획득하고, 복수의 비주얼 오브젝트들 중 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 획득할 수 있다. 상기 영상 출력 장치(200)는 획득된 제3 뇌파 데이터를 전자 장치(300)로 전달할 수 있다.

전자 장치(300)는 HMD 장치(100) 또는/및 영상 출력 장치(200)와 전기적으로 연결되고, HMD 장치(100) 또는 영상 출력 장치(200)로 사용자 인터페이스를 제공할 수 있다. 상기 전자 장치(300)는 HMD 장치(100)로부터 뇌파 데이터를 수신하거나 영상 출력 장치(200)로부터 사용자의 감정 정보를 수신하여 이를 나타내는 인터페이스 화면을 디스플레이를 통해서 표시할 수 있다. 이러한 전자 장치(300)는 유선 통신을 통해 HMD 장치(100) 또는 영상 출력 장치(200)와 통신할 수 있다.

HMD 장치(100)가 디스플레이를 구비하는 경우 전자 장치(300)는 HMD 장치(100)로 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하고, HMD 장치(100)로부터 제1 비주얼 오브젝트에 대응하는 제1 뇌파 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제1 뇌파 데이터를 사용자 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다.

구체적으로, 전자 장치(300)는 HMD 장치(100)로 사용자의 제1 시선 데이터를 요청하고, HMD 장치(100)로부터 제1 시선 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 상기 제1 시선 데이터는 사용자의 시선에 따른 제1 위치 좌표를 포함할 수 있다. 상기 전자 장치(300)는 제1 위치 좌표와 HMD 장치(100)의 디스플레이 상의 특정 위치에 대한 좌표를 맵핑하여 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단할 수 있다. 예를 들어, 상기 맵핑된 좌표가 제1 비주얼 오브젝트를 구성하는 화소들의 위치 좌표 중 어느 하나에 해당하면 전자 장치(300)는 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응한다고 판단할 수 있다. 상기 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응되면 전자 장치(300)는 제1 시선 데이터가 제1 비주얼 오브젝트에 대응한다고 판단할 수 있다. 상기 제1 시선 데이터가 제1 비주얼 오브젝트에 대응되면 전자 장치(300)는 제1 비주얼 오브젝트에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 특정 행위가 감지되면 전자 장치(300)는 해당 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. 상기 HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 전자 장치(300)는 수신된 제1 뇌파 데이터를 사용자 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 긍정적인 보상(예: 아이템 또는 점수 획득 등)에 해당하는 보상 데이터가 제공되면 전자 장치(300)는 HMD 장치(100)로부터 수신된 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정할 수 있다. 부정적인 보상(예: 점수 차감 등)에 해당하는 보상 데이터가 제공되거나 보상 데이터가 제공되지 않으면(예: 아이템 또는 점수 미획득 등) 전자 장치(300)는 HMD 장치(100)로부터 수신된 제1 뇌파 데이터를 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정할 수 있다. 예를 들어, 긍정적인 감정은 기쁨, 행복, 즐거움 등을 포함하고, 부정적인 감정은 슬픔, 분노, 괴로움 등을 포함할 수 있다. 상기에서는 보상 데이터가 제공되거나 제공되지 않은 경우를 설명하였으나, 다양한 실시예에서 보상 데이터가 긍정적인 보상(예: 점수 획득 등) 또는 부정적인 보상(예: 점수 차감 등)을 포함할 경우 긍정적인 보상을 포함하는 보상 데이터가 제공되면 전자 장치(300)는 긍적적인 보상이 포함된 보상 데이터가 제공되었을 때 HMD 장치(100)를 통해서 획득된 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정하고, 부정적인 보상이 포함된 보상 데이터가 제공되었을 때 HMD 장치(100)를 통해서 획득된 제1 뇌파 데이터를 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정할 수 있다. 다양한 실시예에서 기준 생체 정보는 사용자의 다양한 감정을 판단하기 위해 다수 개로 결정될 수 있다. 예를 들어, 사용자의 기쁨, 행복, 관심, 즐거움, 신남, 편안, 무관심, 놀람, 슬픔, 두려움, 화남, 걱정, 긴장, 혼란, 불안, 억울함, 미움, 짜증, 피곤, 싸늘함, 서운함, 우울함 등의 감정을 판단하기 위한 기준 생체 정보가 결정될 수 있다.

상기 전자 장치(300)는 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 제2 비주얼 오브젝트에 대응하는 제2 뇌파 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제2 뇌파 데이터 및 기준 생체 정보를 기초로 제2 비주얼 오브젝트에 대한 감정 정보를 생성할 수 있다. 구체적으로, 구체적으로, 전자 장치(300)는 HMD 장치(100)로 사용자의 제2 시선 데이터를 요청하고, HMD 장치(100)로부터 제2 시선 데이터가 수신되면 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 예를 들어, 제2 시선 데이터는 사용자의 시선에 대한 제2 위치 좌표를 포함할 수 있고, 제2 비주얼 오브젝트는 사용자가 어떠한 감정을 가지는지를 확인하기 위한 광고, 게임 등의 다양한 콘텐트를 나타내는 텍스트, 이미지, 아이콘 등의 그래픽 객체들 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 상기 전자 장치(300)는 제2 위치 좌표와 HMD 장치(100)의 디스플레이 상의 특정 위치에 대한 좌표를 맵핑하여 맵핑된 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응하는지를 확인할 수 있다. 상기 제2 위치 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응되면 전자 장치(300)는 제2 시선 데이터가 제2 비주얼 오브젝트에 대응한다고 판단할 수 있다. 상기 제2 시선 데이터가 제2 비주얼 오브젝트에 대응한다고 판단되면 전자 장치(300)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제2 뇌파 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제2 뇌파 데이터와 일치하는 기준 생체 정보를 확인하고, 확인된 기준 생체 정보에 관련된 감정 정보(예: 긍정적인 감정 또는 부정적인 감정 등)를 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다. 예를 들어, 제2 뇌파 데이터와 일치하는 기준 생체 정보가 긍정적인 감정에 해당하는 제1 기준 생체 정보인 경우 전자 장치(300)는 긍정적인 감정을 제2 비주얼 오브젝트에 대한 감정 정보로 생성할 수 있다. 다양한 실시예에서 제2 뇌파 데이터와 일치하는 기준 생체 정보가 부정적인 감정에 해당하는 제2 기준 생체 정보인 경우 전자 장치(300)는 부정적인 감정을 제2 비주얼 오브젝트에 대한 감정 정보로 생성할 수 있다.

상기 전자 장치(300)는 생성된 감정 정보를 저장하거나, 감정 정보를 나타내는 인터페이스 화면을 디스플레이를 통해서 표시할 수 있다.

다양한 실시예에서 제2 비주얼 오브젝트는 상기 제1 비주얼 오브젝트와 서로 무관한 특징 또는 주제를 가지거나 서로 무관한 카테고리에 대응하는 적어도 하나의 그래픽 객체를 포함할 수 있다. 예를 들어, 제1 비주얼 오브젝트가 게임에 관련되는 경우 제2 비주얼 오브젝트는 광고에 관련된 그래픽 객체일 수 있다. 또한, 제1 비주얼 오브젝트가 어드벤처 게임에 관련되는 경우 제2 비주얼 오브젝트는 롤플레잉 게임에 관련된 그래픽 객체일 수 있다. 또한, 제1 비주얼 오브젝트가 자동차 광고에 관련되는 경우 제2 비주얼 오브젝트는 화장품 광고에 대한 그래픽 객체일 수 있다.

이와 같이 본 발명은 제2 비주얼 오브젝트와 서로 무관한 특징 또는 주제를 가지거나 무관한 카테고리에 해당하는 제1 비주얼 오브젝트를 이용하더라도 제2 비주얼 오브젝트에 대한 사용자의 감정을 예측할 수 있게 된다.

상기 전자 장치(300)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 복수의 비주얼 오브젝트들 중 사용자의 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 제3 뇌파 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 구체적으로, 전자 장치(300)는 HMD 장치(100)를 통해서 사용자의 제3 시선 데이터를 획득하고, 복수의 비주얼 오브젝트들 중 제3 시선 데이터에 연관된 제3 비주얼 오브젝트를 확인할 수 있다. 예를 들어, 전자 장치(300)는 HMD 장치(100)를 통해서 사용자의 시선에 대한 제3 위치 좌표를 나타내는 제3 시선 데이터를 획득하고, 획득된 제3 위치 좌표와 HMD 장치(100)의 디스플레이 상의 특정 좌표를 맵핑하여 맵핑된 좌표에 해당하는 제3 비주얼 오브젝트를 확인할 수 있다. 이를 통해서, 사용자의 시선이 복수의 비주얼 오브젝트들 중 어느 비주얼 오브젝트를 응시하는지를 확인할 수 있다. 상기 사용자의 시선이 제3 비주얼 오브젝트에 응시되는 것으로 확인되면 전자 장치(300)는 HMD 장치(100)로 사용자의 제3 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제3 뇌파 데이터를 수신할 수 있다. 상기 전자 장치(300)는 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 다양한 실시예에서 전자 장치(300)는 사용자의 시선뿐만 아니라 제3 비주얼 오브젝트에 대한 사용자의 선택 입력이 수신되면 선택 입력이 수신될 때 HMD 장치(100)를 통해서 사용자의 제3 뇌파 데이터를 획득하여 획득된 제3 뇌파 데이터를 기초로 기준 생체 정보를 보정할 수도 있다.

다양한 실시예에서 영상 출력 장치(200)가 HMD 장치(100)에 실장되는 경우 전자 장치(300)는 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하기 위해 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 영상 출력 장치(200)로 제공할 수 있다. 상기 전자 장치(300)는 HMD 장치(100)를 통해서 제1 비주얼 오브젝트에 대한 사용자의 제1 시선 데이터를 획득하고, 획득된 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대한 사용자의 제1 뇌파 데이터를 HMD 장치(100)를 통해서 획득할 수 있다. 상기 전자 장치(300)는 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 구체적으로, 전자 장치(300)는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, 영상 출력 장치(200)를 통해서 제1 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제1 시선 데이터를 요청할 수 있다. 예를 들어, 전자 장치(300)는 제1 사용자 인터페이스를 포함하는 영상을 영상 출력 장치(200)로 전달할 수 있다. 상기 영상은 가상 현실 영상, 증강 현실 영상 또는 혼합 현실 영상일 수 있다. HMD 장치(100)로부터 제1 시선 데이터가 수신되면 전자 장치(300)는 수신된 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 상기 제1 시선 데이터가 제1 비주얼 오브젝트에 대응되면 전자 장치(300)는 제1 비주얼 오브젝트에 대한 사용자의 특정 행위가 감지되는지를 확인하고, 특정 행위가 감지되면 감지된 특정 행위의 결과에 따른 보상 데이터가 제공되는지 확인 수 있다. 예를 들어, 전자 장치(300)는 영상 출력 장치(200)를 통해서 표시 중인 제1 사용자 인터페이스를 분석하여 특정 행위가 감지되는지 및 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인할 수 있다. 상기 전자 장치(300)는 보상 데이터가 제공될 때 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 수신된 제1 뇌파 데이터를 사용자 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다.

상기 전자 장치(300)는 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 사용자의 제2 시선 데이터 및 제2 뇌파 데이터를 획득하기 위해 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, HMD 장치(100)를 통해서 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터를 획득할 수 있다. 상기 전자 장치(300)는 제2 시선 데이터에 연관된 제2 비주얼 오브젝트에 대응하는 사용자의 제2 뇌파 데이터를 HMD 장치(100)를 통해서 획득하고, 기준 생체 정보 및 획득된 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성할 수 있다. 구체적으로, 전자 장치(300)는 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, 영상 출력 장치(200)를 통해서 제2 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제2 시선 데이터를 요청할 수 있다. 예를 들어, 전자 장치(300)는 제2 사용자 인터페이스를 포함하는 영상을 영상 출력 장치(200)로 전달할 수 있다. 상기 영상은 가상 현실 영상, 증강 현실 영상 또는 혼합 현실 영상일 수 있다. HMD 장치(100)로부터 제2 시선 데이터가 수신되면 전자 장치(300)는 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 제2 시선 데이터가 제2 비주얼 오브젝트에 대응되면 전자 장치(300)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제2 뇌파 데이터가 수신되면 수신된 제2 뇌파 데이터와 일치하는 기준 생체 정보를 확인할 수 있다. 전자 장치(300)는 확인된 기준 생체 정보에 관련된 감정 정보를 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다. 예를 들어, 제2 뇌파 데이터와 일치하는 기준 생체 정보가 긍정적인 감정에 해당하는 제1 기준 생체 정보인 경우 전자 장치(300)는 긍정적인 감정을 제2 비주얼 오브젝트에 대한 감정 정보로 생성할 수 있다. 다양한 실시예에서 제2 뇌파 데이터와 일치하는 기준 생체 정보가 부정적인 감정에 해당하는 제2 기준 생체 정보인 경우 전자 장치(300)는 부정적인 감정을 제2 비주얼 오브젝트에 대한 감정 정보로 생성할 수 있다.

다양한 실시예에서 전자 장치(300)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 영상 출력 장치(200)로 제공할 수 있다. 상기 전자 장치(300)는 HMD 장치(100)를 통해서 복수의 비주얼 오브젝트들 중 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 획득하고, 획득된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 구체적으로, 전자 장치(300)는 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, 영상 출력 장치(200)를 통해서 제3 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제3 시선 데이터를 요청할 수 있다. 예를 들어, 전자 장치(300)는 제3 사용자 인터페이스를 포함하는 영상을 HMD 장치(100)로 전달할 수 있다. 상기 영상은 가상 현실 영상, 증강 현실 영상 또는 혼합 현실 영상일 수 있다. HMD 장치(100)로부터 제3 시선 데이터가 수신되면 전자 장치(300)는 수신된 제3 시선 데이터가 복수의 비주얼 오브젝트들 중 어느 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 이를 통해서 사용자의 시선이 복수의 오브젝트들 중 어느 비주얼 오브젝트를 응시하는지를 확인할 수 있다. 예를 들어, 수신된 제3 시선 데이터가 제3 비주얼 오브젝트에 대응하는 경우 전자 장치(300)는 HMD 장치(100)로 사용자의 제3 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제3 뇌파 데이터가 수신되면 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 다양한 실시예에서 전자 장치(300)는 제3 비주얼 오브젝트에 대한 사용자의 선택 입력이 수신되면 선택 입력이 수신될 때 HMD 장치(100)를 통해서 사용자의 제3 뇌파 데이터를 획득하고, 획득된 제3 뇌파 데이터를 기초로 기준 생체 정보를 보정할 수도 있다.

하기에서는 사용자의 감정을 판단하기 위해 영상 출력 장치(200)가 사용자의 감정 정보를 생성하는 실시예를 설명하도록 한다.

다양한 실시예에서 영상 출력 장치(200)는 HMD 장치(100)로부터 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 구체적으로, 영상 출력 장치(200)는 HMD 장치(100)로 사용자의 제1 시선 데이터를 요청하고, HMD 장치(100)로부터 제1 시선 데이터를 수신할 수 있다. 상기 영상 출력 장치(200)는 수신된 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 상기 제1 시선 데이터가 제1 비주얼 오브젝트에 대응되면 영상 출력 장치(200)는 제1 비주얼 오브젝트에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 특정 행위가 감지되면 영상 출력 장치(200)는 해당 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. 상기 HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 영상 출력 장치(200)는 수신된 제1 뇌파 데이터를 사용자 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다.

상기 영상 출력 장치(200)는 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 사용자의 시선 데이터 및 뇌파 데이터를 획득하기 위해 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 상기 영상 출력 장치(200)는 HMD 장치(100)를 통해서 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터를 획득하고, 획득된 제2 시선 데이터에 연관된 제2 비주얼 오브젝트에 대응하는 사용자의 제2 뇌파 데이터를 획득할 수 있다. 상기 영상 출력 장치(200)는 기준 생체 정보 및 획득된 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성할 수 있다. 구체적으로, 영상 출력 장치(200)는 HMD 장치(100)로 사용자의 제2 시선 데이터를 요청하고, HMD 장치(100)로부터 제2 시선 데이터가 수신되면 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 상기 제2 시선 데이터가 제2 비주얼 오브젝트에 대응한다고 판단되면 영상 출력 장치(200)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제2 뇌파 데이터를 수신할 수 있다. 상기 영상 출력 장치(200)는 수신된 제2 뇌파 데이터와 일치하는 기준 생체 정보를 확인하고, 확인된 기준 생체 정보에 관련된 감정 정보(예: 긍정적인 감정 또는 부정적인 감정 등)를 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다. 상기 영상 출력 장치(200)는 생성된 감정 정보를 전자 장치(300)로 전달할 수 있다.

다양한 실시예에서 영상 출력 장치(200)는 기준 생체 정보의 정확도를 향상시키기 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 디스플레이를 통해서 표시할 수 있다. 제3 사용자 인터페이스가 제공되면 영상 출력 장치(200)는 HMD 장치(100)를 통해서 사용자의 제3 시선 데이터를 획득할 수 있다. 상기 영상 출력 장치(200)는 복수의 비주얼 오브젝트들 중 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 HMD 장치(100)를 통해서 획득하고, 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 다양한 실시예에서 영상 출력 장치(200)는 사용자의 시선뿐만 아니라 제3 비주얼 오브젝트에 대한 사용자의 선택 입력이 수신되면 선택 입력이 수신될 때 HMD 장치(100)를 통해서 사용자의 제3 뇌파 데이터를 획득하여 획득된 제3 뇌파 데이터를 기초로 기준 생체 정보를 보정할 수도 있다.

상기에서는 HMD 장치(100)가 사용자의 시선 데이터에 연관된 비주얼 오브젝트에 대응하는 뇌파 데이터를 영상 출력 장치(200) 또는 전자 장치(300)로 제공하는 것으로 설명하였으나, 다양한 실시예에서 HMD 장치(100)는 기준 생체 정보를 생성하고, 기준 생체 정보를 이용하여 사용자의 감정 정보를 생성하고, 기준 생체 정보를 보정하는 등의 동작들을 수행할 수도 있다. 이러한 동작들은 전자 장치(300)와 연결되지 않은 상태에서 수행될 수 있으며, HMD 장치(100)는 생성된 감정 정보를 저장하고 있다가 전자 장치(300)와 연결될 시 저장된 감정 정보를 전자 장치(300)로 전달할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 영상 출력 장치가 실장된 HMD 장치를 설명하기 위한 개략도이다. 하기에서는 도 2를 참조하여 영상 출력 장치(200)가 사용자의 감정 정보를 생성하는 실시 예를 설명하도록 한다.

도 1 및 도 2를 참조하면, HMD 장치(100)는 통신 인터페이스(110), 메모리(130), 센서(140) 및 프로세서(150)를 포함하고, 영상 출력 장치(200)는 통신 인터페이스(210), 디스플레이(220), 메모리(230) 및 프로세서(240)를 포함할 수 있다.

먼저, HMD 장치(100)에 대해서 살펴보면, HMD 장치(100)의 통신 인터페이스(110)는 HMD 장치(100)가 외부 장치와 통신 가능하도록 연결한다. 예를 들면, 통신 인터페이스(110)는 유/무선 통신을 이용하여 영상 출력 장치(200) 및 전자 장치(300)와 연결할 수 있다. 여기서, 무선 통신은 WiFi(wireless fidelity), 블루투스, 저전력 블루투스(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함하고, 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 통신 인터페이스(110)는 영상 출력 장치(200) 또는 전자 장치(300)로부터 사용자의 시선 데이터 및 뇌파 데이터에 대한 요청을 수신하고, 센서(140)를 통해서 획득된 사용자의 시선 데이터 및 뇌파 데이터를 영상 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다.

메모리(130)는 센서(140)를 통해서 획득된 센싱 정보(예: 시선 데이터 및 뇌파 데이터)를 저장할 수 있다.

센서(140)는 사용자의 시선을 추적하는 시선 추적 센서(142) 및 사용자의 뇌파를 측정하는 뇌파 센서(144)를 포함할 수 있다. 예를 들어, 시선 추적 센서(142)는 사용자의 눈 또는 얼굴을 촬영하는 카메라 센서를 포함하고, 카메라 센서를 통해서 촬영된 영상을 분석하여 사용자의 시선에 대한 위치 좌표를 나타내는 시선 데이터를 출력할 수 있다. 다양한 실시예에서 사용자의 시선을 추적하기 위해 다양한 방식이 사용될 수 있으며, 영상 분석 이외에 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 뇌파 센서(144)는 적어도 하나의 EEG(Electroencephalogram) 센서 및/또는 MEG(Magnetoencephalography), NIRS(Near-Infrared Spectrometer)를 포함할 수 있다. 상기 뇌파 센서는 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 혹은 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정하여 뇌파 데이터로 출력할 수 있다.

프로세서(150)는 통신 인터페이스(110), 메모리(130) 및 센서(140)와 동작 가능하게 연결되며, 영상 출력 장치(200) 또는 전자 장치(300)의 요청에 따라 센서(140)를 통해서 획득된 시선 데이터 및 뇌파 데이터를 영상 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다. 구체적으로, 프로세서(150)는 영상 출력 장치(200) 또는 전자 장치(300)로부터 사용자의 시선 데이터에 대한 요청이 수신되면 시선 추적 센서(142)를 통해서 획득된 시선 데이터를 영상 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다. 상기 프로세서(150)는 영상 출력 장치(200) 또는 전자 장치(300)로부터 사용자의 뇌파 데이터에 대한 요청이 수신되면 뇌파 센서(144)를 통해서 획득된 뇌파 데이터를 영상 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다.

영상 출력 장치(200)에 대해서 살펴보면, 영상 출력 장치(200)의 통신 인터페이스(210)는 영상 출력 장치(200)가 외부 장치와 통신 가능하도록 연결한다. 예를 들면, 통신 인터페이스(210)는 유/무선 통신을 이용하여 HMD 장치(100)와 연결하고, HMD 장치(100)로부터 영상 출력 장치(200)가 HMD 장치(100)에 장착됨을 나타내는 신호를 수신할 수 있다. 상기 통신 인터페이스(210)는 사용자의 시선 데이터 및 뇌파 데이터에 대한 요청을 HMD 장치(100)로 전달하고, HMD 장치(100)로부터 사용자의 시선 데이터 및 뇌파 데이터를 수신할 수 있다. 다양한 실시예에서 통신 인터페이스(210)는 특정 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 전자 장치(300)로 전달할 수 있다.

디스플레이(220)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심벌 등)를 표시할 수 있다. 구체적으로, 디스플레이(220)는 가상 현실 영상, 증강 현실 영상 또는 혼합 현실 영상을 표시하는데, 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스, 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스 또는 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 나타내는 가상 현실 영상을 표시할 수 있다.

메모리(230)는 영상을 표시하거나 사용자의 감정을 판단하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(230)는 가상 현실 영상 및 가상 현실 영상을 표시하기 위해 사용되는 어플리케이션, 프로그램 또는 위젯 등을 저장할 수 있다. 또한, 메모리(230)는 특정 비주얼 오브젝트가 포함된 사용자 인터페이스를 나타내는 가상 현실 영상을 표시하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 상기 메모리(230)는 HMD 장치(100)로부터 수신된 사용자의 시선 데이터 및 뇌파 데이터를 저장할 수 있다.

프로세서(240)는 통신 인터페이스(210), 디스플레이(220) 및 메모리(130)와 동작 가능하게 연결되며, 특정 비주얼 오브젝트에 대한 사용자의 감정을 판단하기 위한 다양한 명령들을 수행할 수 있다.

구체적으로, 프로세서(240)는 특정 비주얼 오브젝트에 대한 사용자의 감정을 판단하기 위한 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하기 위해 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 디스플레이(220)를 통해서 표시할 수 있다. 다양한 실시예에서 제1 비주얼 오브젝트 또는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다.

상기 프로세서(240)는 HMD 장치(100)를 통해서 사용자의 제1 시선 데이터를 획득하고, 획득된 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대응하는 사용자의 제1 뇌파 데이터를 HMD 장치(100)를 통해서 획득할 수 있다. 상기 프로세서(240)는 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다.

구체적으로, 프로세서(240)는 디스플레이(220)를 통해서 제1 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 시선에 대한 제1 위치 좌표를 포함하는 제1 시선 데이터를 요청하고, HMD 장치(100)로부터 제1 시선 데이터를 수신할 수 있다. 상기 프로세서(240)는 사용자의 시선에 대한 제1 위치 좌표와 디스플레이(220) 상의 특정 좌표를 맵핑하고, 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응하는지 판단할 수 있다. 예를 들어, 프로세서(240)는 상기 맵핑된 좌표가 제1 비주얼 오브젝트를 구성하는 화소들의 위치 좌표 중 어느 하나에 해당하면 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응한다고 판단할 수 있다. 상기 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응되면 프로세서(240)는 제1 시선 데이터가 제1 비주얼 오브젝트에 대응한다고 판단할 수 있다. 상기 제1 시선 데이터가 제1 비주얼 오브젝트에 대응되면 프로세서(240)는 제1 비주얼 오브젝트에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 상기 특정 행위가 감지되면 프로세서(240)는 감지된 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공되면 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. 예를 들어, 프로세서(240)는 디스플레이(220) 상에 표시되는 가상 현실 영상을 분석하여 특정 행위가 감지되는지 또는 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인할 수 있다. HMD 장치(100)로부터 사용자의 제1 뇌파 데이터가 수신되면 프로세서(240)는 수신된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 긍정적인 보상(예: 아이템 또는 점수 획득 등)에 해당하는 보상 데이터가 제공되면 프로세서(240)는 HMD 장치(100)로부터 수신된 제1 뇌파 데이터를 사용자의 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정할 수 있다. 부정적인 보상에 해당하는 보상 데이터가 제공되거나 보상 데이터가 제공되지 않으면 프로세서(240)는 HMD 장치(100)로부터 수신된 제1 뇌파 데이터를 사용자의 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정할 수 있다.

상기 프로세서(240)는 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 사용자의 제2 시선 데이터 및 제2 뇌파 데이터를 획득하기 위해 제2 비주얼 오브젝트가 포함된 제2 사용자 인터페이스를 디스플레이(220)를 통해서 표시할 수 있다. 예를 들어, 제2 비주얼 오브젝트는 사용자가 어떠한 감정을 가지는지를 확인하기 위한 광고, 게임 등의 콘텐트일 수 있다. 다양한 실시예에서 제2 비주얼 오브젝트 또는 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다.

상기 프로세서(240)는 디스플레이(220)를 통해서 제2 사용자 인터페이스가 표시되면 HMD 장치(100)를 통해서 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터를 획득하고, 획득된 제2 시선 데이터에 연관된 제2 비주얼 오브젝트에 대응하는 사용자의 제2 뇌파 데이터를 획득할 수 있다. 상기 프로세서(240)는 기준 생체 정보 및 획득된 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성할 수 있다. 구체적으로, 디스플레이(220)를 통해서 제2 사용자 인터페이스가 표시되면 프로세서(240)는 HMD 장치(100)로 사용자의 시선에 대한 제2 위치 좌표를 포함하는 제2 시선 데이터를 요청하고, HMD 장치(100)로부터 제2 시선 데이터가 수신되면 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 예를 들어, 프로세서(240)는 제2 위치 좌표와 디스플레이(220) 상의 특정 좌표를 맵핑하고, 맵핑된 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단될 수 있다. 맵핑된 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응되면 프로세서(240)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청하고, HMD 장치(100)로부터 사용자의 제2 뇌파 데이터를 수신할 수 있다. 상기 프로세서(240)는 수신된 제2 뇌파 데이터와 일치하는 기준 생체 정보를 확인할 수 있다. 예를 들어, 프로세서(240)는 제2 뇌파 데이터와 기준 생체 정보에 해당하는 제1 뇌파 데이터를 비교하여 두 뇌파 데이터간의 주파수 차이값이 기 설정된 임계값 이하인 경우 제2 뇌파 데이터와 일치하는 기준 생체 정보를 제1 뇌파 데이터로 확인할 수 있다. 상기 프로세서(240)는 확인된 기준 생체 정보에 관련된 감정 정보를 제2 비주얼 오브젝트에 대한 감정 정보로 생성할 수 있다. 예를 들어, 확인된 기준 생체 정보에 관련된 감정 정보가 긍정적인 감정인 경우 프로세서(240)는 긍정적인 감정을 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다. 확인된 기준 생체 정보에 관련된 감정 정보가 부정적인 감정인 경우 프로세서(240)는 부정적인 감정을 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다.

다양한 실시예에서 프로세서(240)는 생성된 감정 정보를 메모리(230)에 저장하거나 생성된 감정 정보를 전자 장치(300)로 전달할 수 있다.

다양한 실시예에서 프로세서(240)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 디스플레이(220)를 통해서 표시할 수 있다. 상기 복수의 비주얼 오브젝트들은 다양한 감정 상태 정보에 관련된 이미지들을 포함할 수 있다. 예를 들어, 복수의 비주얼 오브젝트들은 긍정적인 감정 상태 정보에 관련된 이미지들을 포함하거나, 긍정적인 감정 상태 또는 부정적인 감정 상태 정보에 관련된 이미지들을 포함할 수 있다. 다양한 실시예에서 복수의 비주얼 오브젝트들 또는 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스는 전자 장치(300)로부터 제공될 수 있다.

상기 프로세서(240)는 디스플레이(220)를 통해서 제2 사용자 인터페이스가 표시되면 HMD 장치(100)를 통해서 복수의 비주얼 오브젝트들 중 제3 비주얼 오브젝트에 대한 사용자의 제3 시선 데이터를 획득하고, 획득된 제3 시선 데이터에 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 획득할 수 있다. 상기 프로세서(240)는 획득된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 구체적으로, 디스플레이(220)를 통해서 제3 사용자 인터페이스가 표시되면 프로세서(240)는 HMD 장치(100)로 사용자의 시선에 대한 제3 위치 좌표를 포함하는 제3 시선 데이터를 요청하고, HMD 장치(100)로부터 제3 시선 데이터가 수신되면 수신된 제3 시선 데이터가 복수의 비주얼 오브젝트들 중 어느 비주얼 오브젝트에 대응하는지를 확인할 수 있다. 예를 들어, 프로세서(240)는 제3 위치 좌표와 디스플레이(220) 상의 특정 좌표를 맵핑하고, 맵핑된 좌표가 복수의 비주얼 오브젝트들 중 어느 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단할 수 있다. 맵핑된 좌표가 제3 비주얼 오브젝트의 위치 좌표에 대응되면 프로세서(240)는 HMD 장치(100)로 사용자의 제3 뇌파 데이터를 요청하고, HMD 장치(100)로부터 사용자의 제3 뇌파 데이터를 수신할 수 있다. 상기 프로세서(240)는 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다.

다양한 실시예에서 프로세서(240)는 복수의 비주얼 오브젝트들 각각에 대응하여 다양한 감정 상태 정보를 설정하고, 복수의 비주얼 오브젝트들 중 사용자의 제3 시선 데이터에 연관된 제3 비주얼 오브젝트에 대응하는 감정 상태 정보를 확인할 수 있다. 예를 들어, 복수의 오브젝트들은 긍정적인 감정에 대응되는 비주얼 오브젝트 또는 부정적인 감정에 대응되는 비주얼 오브젝트를 포함할 수 있다. 확인된 감정 상태 정보가 긍정적인 감정인 경우 프로세서(240)는 제3 뇌파 데이터를 이용하여 긍정적인 감정을 판단하기 위해 결정된 제1 기준 생체 정보를 보정할 수 있다. 확인된 감정 상태 정보가 부정적인 감정인 경우 프로세서(240)는 제3 뇌파 데이터를 이용하여 부정적인 감정을 판단하기 위해 결정된 제2 기준 생체 정보를 보정할 수 있다.

도 3은 본 발명의 일 실시예에 따른 HMD 장치 및 영상 출력 장치와 연결된 전자 장치를 설명하기 위한 개략도이다. 하기에서는 도 3을 참조하여 전자 장치(300)가 사용자의 감정 정보를 생성하는 실시 예를 설명하도록 한다.

도 1, 도 2 및 도 3을 참조하면, 전자 장치(300)는 통신 인터페이스(310), 디스플레이(320), 메모리(330) 및 프로세서(340)를 포함할 수 있다.

통신 인터페이스(310)는 전자 장치(300)가 외부 장치와 통신 가능하도록 연결한다. 예를 들면, 통신 인터페이스(310)는 유선 통신을 이용하여 영상 출력 장치(200)가 실장된 HMD 장치(100) 및 상기 영상 출력 장치(200)와 연결할 수 있다. 구체적으로, 통신 인터페이스(310)는 HMD 장치(100)로 사용자의 시선 데이터 및 뇌파 데이터에 대한 요청을 전달하거나, HMD 장치(100)로부터 사용자의 시선 데이터 및 뇌파 데이터를 수신할 수 있다. 상기 통신 인터페이스(310)는 특정 비주얼 오브젝트와 함께 해당 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하도록 하기 위한 요청을 영상 출력 장치(200)로 전달할 수 있다. 다양한 실시예에서 통신 인터페이스(310)는 상기 요청과 함께 해당 사용자 인터페이스를 포함하는 가상 현실 영상을 영상 출력 장치(200)로 전달할 수 있다.

디스플레이(320)는 사용자에게 각종 콘텐트를 표시할 수 있다. 구체적으로, 디스플레이(320)는 통신 인터페이스(310)를 통해서 HMD 장치(100)로부터 수신된 사용자의 시선 데이터 및 뇌파 데이터를 나타내는 정보를 표시할 수 있다. 상기 디스플레이(320)는 프로세서(340)에 의해서 생성된 감정 정보를 표시할 수 있다. 다양한 실시예에서 디스플레이(320)는 영상 출력 장치(200)를 통해서 표시되는 사용자 인터페이스를 영상 출력 장치(200)와 동시에 표시할 수도 있다.

메모리(330)는 사용자의 감정을 판단하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(330)는 HMD 장치(100)로부터 수신된 사용자의 시선 데이터 및 뇌파 데이터를 저장할 수 있다. 상기 메모리(330)는 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 나타내는 가상 현실 영상을 저장하거나 프로세서(340)에 의해서 생성된 감정 정보를 저장할 수 있다.

프로세서(340)는 통신 인터페이스(310), 디스플레이(320) 및 메모리(330)와 동작 가능하게 연결되며, 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 다양한 명령들을 수행할 수 있다.

구체적으로, 프로세서(340)는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, 영상 출력 장치(200)를 통해서 제1 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제1 시선 데이터를 요청할 수 있다. HMD 장치(100)로부터 사용자의 시선에 대한 제1 위치 좌표를 포함하는 제1 시선 데이터가 수신되면 프로세서(340)는 수신된 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 제1 시선 데이터가 제1 비주얼 오브젝트에 대응되면 프로세서(340)는 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 프로세서(340)는 수신된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 구체적으로, 프로세서(340)는 사용자의 시선에 대한 제1 위치 좌표와 영상 출력 장치(200)의 디스플레이(220) 상의 특정 위치 좌표를 맵핑하여 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단할 수 있다. 맵핑된 좌표가 제1 비주얼 오브젝트의 위치 좌표에 대응되면 프로세서(340)는 제1 비주얼 오브젝트에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 예를 들어, 프로세서(340)는 영상 출력 장치(200)의 디스플레이(220) 상에 표시 중인 가상 현실 영상을 실시간으로 분석하여 특정 행위가 감지되는지를 확인할 수 있다. 상기 가상 현실 영상이 게임 콘텐트인 경우 제1 비주얼 오브젝트가 포함된 제1 사용자 인터페이스는 게임 아이템이 포함된, 게임 플레이를 위한 사용자 인터페이스일 수 있다. 상기 프로세서(340)는 영상 출력 장치(200)를 통해서 표시 중인 사용자 인터페이스를 분석하여 게임 아이템을 획득하는 행위가 감지되는지를 판단할 수 있다. 특정 행위가 감지되면 프로세서(340)는 해당 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. 예를 들어, 게임 아이템을 획득하는 행위가 감지되면 프로세서(340)는 획득된 게임 아이템을 사용자의 게임 계정에 귀속시키는 등의 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. 상기 HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 프로세서(340)는 수신된 제1 뇌파 데이터를 사용자의 긍정적인 감정 또는 부정적인 감정에 대응하는 기준 생체 정보로 결정할 수 있다. 예를 들어, 긍정적인 보상에 해당하는 보상 데이터가 제공될 때 HMD 장치(100)로부터 획득된 제1 뇌파 데이터는 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정될 수 있다. 부정적인 보상에 해당하는 보상 데이터가 제공될 때 HMD 장치(100)로부터 획득된 제1 뇌파 데이터는 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정될 수 있다.

상기 프로세서(340)는 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 영상 출력 장치(200)로 제공하고, 영상 출력 장치(200)를 통해서 제2 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제2 시선 데이터를 요청할 수 있다. HMD 장치(100)로부터 사용자의 시선에 대한 제2 위치 좌표를 포함하는 제2 시선 데이터를 수신되면 프로세서(340)는 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단할 수 있다. 제2 시선 데이터가 제2 비주얼 오브젝트에 대응되면 프로세서(340)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청할 수 있다. HMD 장치(100)로부터 제2 뇌파 데이터가 수신되면 프로세서(340)는 기준 생체 정보 및 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성할 수 있다. 구체적으로, 프로세서(340)는 사용자의 시선에 대한 제2 위치 좌표와 영상 출력 장치(200)의 디스플레이(220) 상의 특정 위치 좌표를 맵핑하여 맵핑된 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단할 수 있다. 맵핑된 좌표가 제2 비주얼 오브젝트의 위치 좌표에 대응되면 프로세서(340)는 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제2 뇌파 데이터가 수신되면 수신된 제2 뇌파 데이터와 일치하는 기준 생체 정보를 확인할 수 있다. 프로세서(340)는 확인된 기준 생체 정보에 관련된 감정 정보(예: 긍정적인 감정 또는 부정적인 감정)를 제2 비주얼 오브젝트에 대한 사용자의 감정 정보로 생성할 수 있다.

다양한 실시예에서 프로세서(340)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 영상 출력 장치(200)로 제공할 수 있다. 영상 출력 장치(200)를 통해서 제3 사용자 인터페이스가 표시되면 프로세서(340)는 HMD 장치(100)로 사용자의 제3 시선 데이터를 요청하고, HMD 장치(100)로부터 사용자의 시선에 대한 제3 위치 좌표를 포함하는 제3 시선 데이터를 수신할 수 있다. 상기 프로세서(340)는 복수의 비주얼 오브젝트들 중 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 HMD 장치(100)로 요청하고, HMD 장치(100)로부터 제3 뇌파 데이터를 수신할 수 있다. 상기 프로세서(340)는 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다.

구체적으로, 프로세서(340)는 사용자의 시선에 대한 제3 위치 좌표와 영상 출력 장치(200)의 디스플레이(220) 상의 특정 위치 좌표를 맵핑하여 맵핑된 좌표가 복수의 비주얼 오브젝트들 중 어느 비주얼 오브젝트의 위치 좌표에 대응하는지를 판단할 수 있다. 맵핑된 좌표가 제3 비주얼 오브젝트의 위치 좌표에 대응하면 프로세서(340)는 사용자의 시선이 제3 비주얼 오브젝트를 응시하는 것으로 판단할 수 있다. 예를 들어, 사용자의 시선이 복수의 비주얼 오브젝트들 중 제3 비주얼 오브젝트를 응시하는 것으로 판단되면 프로세서(340)는 사용자가 제3 비주얼 오브젝트에 대해서 긍정적인 감정을 가지는 것으로 판단할 수 있다. 상기 프로세서(340)는 HMD 장치(100)로 사용자의 제3 뇌파 데이터를 요청하고, HMD 장치(100)로부터 제3 뇌파 데이터가 수신되면 수신된 제3 뇌파 데이터를 이용하여 긍정적인 감정에 해당하는 제1 기준 생체 정보를 보정할 수 있다. 예를 들어, 프로세서(340)는 제1 기준 생체 정보에 해당하는 뇌파 데이터의 주파수 값을 제3 뇌파 데이터에 대한 주파수 값과 일치하도록 보정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 디스플레이를 구비한 HMD 장치 및 HMD 장치와 연결된 전자 장치를 설명하기 위한 개략도이다. 하기에서는 도 4를 참조하여 전자 장치(300)가 사용자의 감정 정보를 생성하는 실시 예를 설명하도록 한다.

도 1 내지 도 4를 참조하면, HMD 장치(100)는 도 2에서 상술한 바와 같이 통신 인터페이스(110), 메모리(130), 센서(140) 및 프로세서(150)를 포함하고, 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하기 위한 디스플레이(120)를 더 포함할 수 있다. 전자 장치(300)는 도 3에서 상술한 바와 같이 통신 인터페이스(310), 디스플레이(320), 메모리(330) 및 프로세서(340)를 포함할 수 있다.

먼저, HMD 장치(100)에 대해서 살펴보면, HMD 장치(100)의 통신 인터페이스(110)는 유/무선 통신을 이용하여 전자 장치(300)와 연결되어 전자 장치(300)로부터 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하기 위한 요청을 수신하거나 사용자의 시선 데이터 및 뇌파 데이터에 대한 요청을 수신하고, 센서(140)를 통해서 획득된 사용자의 시선 데이터 및 뇌파 데이터를 전자 장치(300)로 전달할 수 있다. 다양한 실시예에서 통신 인터페이스(110)는 전자 장치(300)로부터 비주얼 오브젝트가 포함된 사용자 인터페이스를 나타내는 가상 현실 영상을 수신할 수도 있다.

디스플레이(120)는 사용자에게 각종 콘텐트를 표시할 수 있다. 구체적으로, 디스플레이(10)는 가상 현실 영상, 증강 현실 영상 또는 혼합 현실 영상 등을 표시하는데, 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스, 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스 또는 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 나타내는 가상 현실 영상을 표시할 수 있다.

메모리(130)는 영상을 표시하기 위한 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(130)는 가상 현실 영상 및 가상 현실 영상을 표시하기 위해 사용되는 어플리케이션, 프로그램 또는 위젯 등을 저장할 수 있다. 또한, 메모리(130)는 특정 비주얼 오브젝트가 포함된 사용자 인터페이스를 나타내는 가상 현실 영상을 표시하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 상기 메모리(140)는 센서(140)를 통해서 출력된 사용자의 시선 데이터 및 뇌파 데이터를 저장할 수 있다.

센서(140)는 도 2에서 상술한 바와 같이 사용자의 시선을 추적하는 시선 추적 센서(142) 및 사용자의 뇌파를 측정하는 뇌파 센서(144)를 포함할 수 있다.

프로세서(150)는 통신 인터페이스(110), 디스플레이(120), 메모리(130) 및 센서(140)와 동작 가능하게 연결되며, 전자 장치(300)의 요청에 따라 디스플레이(120)를 통해서 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하거나 센서(140)를 통해서 획득된 시선 데이터 및 뇌파 데이터를 전자 장치(300)로 전달할 수 있다.

구체적으로, 프로세서(150)는 통신 인터페이스(110)를 통해서 전자 장치(300)로부터 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하기 위한 요청을 수신하고, 요청에 따라 디스플레이(120)를 통해서 사용자 인터페이스를 표시할 수 있다. 예를 들어, 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스, 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스 또는 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스일 수 있다.

상기 프로세서(150)는 전자 장치(300)로부터 사용자의 시선 데이터에 대한 요청을 수신하고, 요청에 따라 시선 추적 센서(140)를 통해서 특정 비주얼 오브젝트에 연관된 사용자의 시선 데이터를 획득하고, 획득된 시선 데이터를 전자 장치(300)로 전달할 수 있다. 예를 들어, 시선 데이터는 제1 시선 데이터, 제2 시선 데이터 또는 제3 시선 데이터일 수 있다.

상기 프로세서(150)는 전자 장치(300)로부터 사용자의 뇌파 데이터에 대한 요청을 수신하고, 요청에 따라 뇌파 센서(144)를 통해서 시선 데이터에 연관된 비주얼 오브젝트에 대응하는 사용자의 뇌파 데이터를 획득하고, 획득된 뇌파 데이터를 전자 장치(300)로 전달할 수 있다. 예를 들어, 뇌파 데이터는 제1 뇌파 데이터, 제2 뇌파 데이터 또는 제3 뇌파 데이터일 수 있다.

전자 장치(300)에 대해서 살펴보면, 전자 장치(300)의 통신 인터페이스(310)는 도 3에서 상술한 바와 같이 유선 통신을 이용하여 통해 디스플레이가 구비된 HMD 장치(100)와 연결할 수 있다. 구체적으로, 통신 인터페이스(310)는 HMD 장치(100)로 사용자의 시선 데이터 및 뇌파 데이터에 대한 요청을 전달하거나, HMD 장치(100)로부터 사용자의 시선 데이터 및 뇌파 데이터를 수신할 수 있다. 상기 통신 인터페이스(310)는 특정 비주얼 오브젝트와 함께 해당 비주얼 오브젝트를 포함하는 사용자 인터페이스를 표시하도록 하기 위한 요청을 HMD 장치(100)로 전달할 수 있다. 다양한 실시예에서 통신 인터페이스(310)는 상기 요청과 함께 해당 사용자 인터페이스를 포함하는 가상 현실 영상을 HMD 장치(100)로 전달할 수 있다.

디스플레이(320)는 도 3에서 상술한 바와 같이 사용자에게 각종 콘텐트를 표시할 수 있다. 구체적으로, 디스플레이(320)는 통신 인터페이스(310)를 통해서 HMD 장치(100)로부터 수신된 사용자의 시선 데이터 및 뇌파 데이터를 나타내는 정보를 표시할 수 있다. 상기 디스플레이(320)는 프로세서(340)에 의해서 생성된 감정 정보를 표시할 수 있다. 다양한 실시예에서 디스플레이(320)는 영상 출력 장치(200)를 통해서 표시되는 사용자 인터페이스를 영상 출력 장치(200)와 동시에 표시할 수도 있다.

메모리(330)는 도 3에서 상술한 바와 같이 사용자의 감정을 판단하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(330)는 HMD 장치(100)로부터 수신된 사용자의 시선 데이터 및 뇌파 데이터를 저장할 수 있다. 상기 메모리(330)는 특정 비주얼 오브젝트를 포함하는 사용자 인터페이스를 나타내는 가상 현실 영상을 저장하거나 프로세서(340)에 의해서 생성된 감정 정보를 저장할 수 있다.

프로세서(340)는 도 3에서 상술한 바와 같이 통신 인터페이스(310), 디스플레이(320) 및 메모리(330)와 동작 가능하게 연결되며, 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 다양한 명령들을 수행할 수 있다.

구체적으로, 프로세서(340)는 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하기 위한 요청을 HMD 장치(100)로 전달하고, HMD 장치(100)의 디스플레이(120)를 통해서 제1 사용자 인터페이스가 표시되면 HMD 장치(100)로 사용자의 제1 시선 데이터를 요청할 수 있다. HMD 장치(100)로부터 사용자의 제1 시선 데이터가 수신되면 프로세서(340)는 수신된 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하는지를 판단하고, 제1 시선 데이터가 제1 비주얼 오브젝트에 대응하면 HMD 장치(100)로 사용자의 제1 뇌파 데이터를 요청할 수 있다. HMD 장치(100)로부터 제1 뇌파 데이터가 수신되면 프로세서(340)는 수신된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다.

상기 프로세서(340)는 사용자의 감정을 판단하기 위한 제2 시선 데이터 및 제2 뇌파 데이터를 획득하기 위해 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 HMD 장치(100)로 제공할 수 있다. HMD 장치(100)의 디스플레이(120)를 통해서 제2 사용자 인터페이스가 표시되면 프로세서(340)는 HMD 장치(100)로 사용자의 제2 시선 데이터를 요청하고, HMD 장치(100)로부터 사용자의 제2 시선 데이터를 수신할 수 있다. 상기 프로세서(340)는 수신된 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하는지를 판단하고, 제2 시선 데이터가 제2 비주얼 오브젝트에 대응하면 HMD 장치(100)로 사용자의 제2 뇌파 데이터를 요청할 수 있다. HMD 장치(100)로부터 제2 뇌파 데이터가 수신되면 프로세서(340)는 기준 생체 정보 및 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성할 수 있다.

다양한 실시예에서 프로세서(340)는 기준 생체 정보의 정확도를 향상시키 위해 복수의 비주얼 오브젝트들을 포함하는 제3 사용자 인터페이스를 HMD 장치(100)로 제공할 수 있다. HMD 장치(100)의 디스플레이(120)를 통해서 제3 사용자 인터페이스가 표시되면 프로세서(340)는 HMD 장치(100)로 사용자의 제3 시선 데이터를 요청하고, HMD 장치(100)로부터 사용자의 제3 시선 데이터를 수신할 수 있다. 상기 프로세서(340)는 복수의 비주얼 오브젝트들 중 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 사용자의 제3 뇌파 데이터를 HMD 장치(100)로 요청하고, HMD 장치(100)로부터 제3 뇌파 데이터를 수신할 수 있다. 상기 프로세서(340)는 수신된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성하기 위한 방법을 설명하기 위한 개략적인 순서도이다.

도 5를 참조하면, 사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 HMD 장치(100)를 통해서 제1 비주얼 오브젝트를 포함하는 사용자 인터페이스가 제공될 수 있다(S500). 예를 들어, 사용자 감정 판단 장치는 디스플레이를 구비한 HMD 장치(100) 또는 HMD 장치(100)가 디스플레이를 구비하지 않을 경우 영상 출력 장치(200)가 실장된 HMD 장치(100) 및 전자 장치(300)를 포함할 수 있다. HMD 장치(100)를 통해서 제1 시선 데이터와 연관된 제1 비주얼 오브젝트에 대응하는 사용자의 제1 뇌파 데이터가 획득되고(S510), 획득된 제1 뇌파 데이터가 사용자 감정을 판단하기 위한 기준 생체 정보로 결정될 수 있다(S520). 상기 HMD 장치(100)를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스가 제공될 수 있다(S530). 상기 HMD 장치(100)를 통해서 제2 비주얼 오브젝트에 대한 사용자의 제2 시선 데이터가 획득되고, 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 사용자의 제2 뇌파 데이터가 획득될 수 있다(S540). 기준 생체 정보 및 획득된 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보가 생성될 수 있다(S550).

도 6a, 도 6b, 도 6c 및 도 6d는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다. 하기에서 비주얼 오브젝트를 포함하는 사용자 인터페이스는 HMD 장치(100)의 디스플레이(120) 또는 영상 출력 장치(200)의 디스플레이(220)를 통해서 표시될 수 있고, 하기에서 수행되는 동작들은 전자 장치(300)의 프로세서(340), 영상 출력 장치(200)의 프로세서(240) 또는 HMD 장치(100)의 프로세서(150)를 통해서 수행될 수 있다.

도 6a를 참조하면, 사용자 감정 판단 장치는 제1 비주얼 오브젝트(602)의 개수가 홀수 또는 짝수인지를 맞추는 게임 콘텐트에 대한 사용자 인터페이스(600)를 표시할 수 있다. 상기 사용자 감정 판단 장치는 기 설정된 제1 시간 동안 사용자 인터페이스(600)를 표시하고, 사용자의 제1 시선 데이터를 획득하여 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(602)에 대응하는지를 판단할 수 있다. 다양한 실시예에서 사용자 감정 판단 장치는 사용자 인터페이스(600)에 포함된 복수의 비주얼 오브젝트들 중 어느 하나에 연관된 제1 시선 데이터를 획득할 수 있다.

도 6b를 참조하면, 사용자 감정 판단 장치는 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(602)에 대응하고, 제1 시간이 경과되면 기 설정된 제2 시간 동안 짝수 또는 홀수를 선택하기 위한 사용자 인터페이스(610)를 표시할 수 있다. 예를 들어, 사용자 인터페이스(610)는 제1 비주얼 오브젝트(602)의 개수가 짝수인 것을 선택하기 위한 제1 아이콘(612), 제1 비주얼 오브젝트(602)의 개수가 홀수인 것을 선택하기 위한 제2 아이콘(614) 및 제2 시간 중 남은 시간을 나타내는 텍스트(616)를 포함할 수 있다.

상기 사용자 감정 판단 장치는 제1 비주얼 오브젝트(602)에 대한 사용자의 특정 행위가 감지되는지를 확인하고, 제1 비주얼 오브젝트(602)에 대한 특정 행위가 감지되면 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인할 수 있다. 예를 들어, 제2 아이콘(614)을 선택하기 위한 사용자 입력이 수신되면 사용자 감정 판단 장치는 수신된 사용자 입력을 특정 행위가 감지되는 것으로 판단하고, 도 6c와 같이 사용자 입력에 따른 긍정적인 보상 데이터를 제공하기 위한 사용자 인터페이스(620)를 표시할 수 있다. 도 6c를 참조하면, 사용자 감정 판단 장치는 사용자 입력에 해당하는 제1 비주얼 오브젝트(602)의 개수가 홀수인 경우 사용자가 선택한 '홀수'가 정답임을 나타내기 위한 이미지(622) 및 이에 대한 긍정적인 보상에 해당하는 보상 데이터를 나타내기 위한 텍스트(예: + 1000원)(624)를 포함하는 사용자 인터페이스(620)를 표시할 수 있다.

상기 사용자 감정 판단 장치는 보상 데이터가 제공되면 사용자의 제1 뇌파 데이터를 획득하고, 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 사용자 감정 판단 장치는 도 6c와 같이 긍정적인 보상에 해당하는 보상 데이터가 제공하기 위한 사용자 인터페이스(620)가 표시되면 사용자가 긍정적인 감정을 가진다고 판단하고, 획득된 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정할 수 있다.

다양한 실시예에서 제1 아이콘(612)을 선택하기 위한 사용자 입력이 수신되면 사용자 감정 판단 장치는 도 6d와 같이 사용자 입력에 따른 부정적인 보상 데이터를 제공하기 위한 사용자 인터페이스(630)를 표시할 수 있다.

도 6d를 참조하면, 사용자 감정 판단 장치는 사용자 입력에 해당하는 비주얼 오브젝트(602)의 개수가 짝수인 경우 사용자가 선택한 '짝수'가 오답임을 나타내기 위한 이미지(632) 및 이에 대한 부정적인 보상에 해당하는 보상 데이터를 나타내기 위한 텍스트(예: - 1000원)(634)를 포함하는 사용자 인터페이스(630)를 표시할 수 있다. 상기 사용자 감정 판단 장치는 사용자 인터페이스(630)가 표시되면 사용자의 제1 뇌파 데이터를 획득하고, 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 사용자 감정 판단 장치는 부정적인 보상에 해당하는 보상 데이터가 제공되면 사용자가 부정적인 감정을 가진다고 판단하고, 보상 데이터가 제공될 때 획득된 제1 뇌파 데이터를 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정할 수 있다.

도 7a 및 도 7b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다. 하기에서 비주얼 오브젝트를 포함하는 사용자 인터페이스는 HMD 장치(100)의 디스플레이(120) 또는 영상 출력 장치(200)의 디스플레이(220)를 통해서 표시될 수 있고, 하기에서 수행되는 동작들은 전자 장치(300)의 프로세서(340), 영상 출력 장치(200)의 프로세서(240) 또는 HMD 장치(100)의 프로세서(150)를 통해서 수행될 수 있다.

도 7a를 참조하면, 사용자 감정 판단 장치는 특정 아이템을 획득하기 위한 게임 콘텐트에 대한 사용자 인터페이스(700)를 표시할 수 있다. 상기 사용자 인터페이스(700)는 게임 콘텐트에 관련된 제1 비주얼 오브젝트(702)를 포함할 수 있다. 예를 들어, 제1 비주얼 오브젝트(702)는 특정 게임 아이템을 획득하기 위해 게임 환경을 구성하는 그래픽 객체일 수 있다.

상기 사용자 감정 판단 장치는 사용자의 제1 시선 데이터를 획득하고, 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(702)에 대응하는지를 판단할 수 있다. 다양한 실시예에서 사용자 감정 판단 장치는 사용자 인터페이스(700)에 포함된 복수의 비주얼 오브젝트들 중 어느 하나에 연관된 제1 시선 데이터를 획득할 수 있다. 상기 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(702)에 대응하면 사용자 감정 판단 장치는 제1 비주얼 오브젝트(702)에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 예를 들어, 특정 행위는 게임 캐릭터가 특정 게임 아이템을 획득하기 위해 제1 비주얼 오브젝트(702)에 관련된 게임 퀘스트를 수행하는 행위일 수 있다. 상기 특정 행위가 감지되면 사용자 감정 판단 장치는 해당 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 사용자의 제1 뇌파 데이터를 획득할 수 있다. 구체적으로, 게임 퀘스트 수행이 확인되면 사용자 감정 판단 장치는 게임 퀘스트를 완료하는지를 확인하고, 게임 퀘스트가 완료되면 도 7b와 같이 게임 퀘스트 완료에 따른 보상으로 게임 아이템을 제공하기 위한 사용자 인터페이스(710)를 표시할 수 있다. 도 7b를 참조하면, 사용자 인터페이스(710)는 게임 퀘스트 완료에 따라 획득된 게임 아이템을 나타내기 위한 이미지(712) 및 게임 아이템이 획득됨을 나타내기 위한 텍스트(714)를 포함할 수 있다. 상기 사용자 인터페이스(710)가 표시되면 사용자 감정 판단 장치는 사용자의 제1 뇌파 데이터를 획득하고, 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 도 7b와 같이 게임 퀘스트 완료에 따른 게임 아이템을 제공하기 위한 사용자 인터페이스(710)가 표시되면 사용자 감정 판단 장치는 사용자가 긍정적인 감정을 가진다고 판단하고, 획득된 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정할 수 있다.

도 8a 및 도 8b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 결정하기 위한 방법을 설명하기 위한 예시도들이다. 하기에서 비주얼 오브젝트를 포함하는 사용자 인터페이스는 HMD 장치(100)의 디스플레이(120) 또는 영상 출력 장치(200)의 디스플레이(220)를 통해서 표시될 수 있고, 하기에서 수행되는 동작들은 전자 장치(300)의 프로세서(340), 영상 출력 장치(200)의 프로세서(240) 또는 HMD 장치(100)의 프로세서(150)를 통해서 수행될 수 있다.

도 8a를 참조하면, 사용자 감정 판단 장치는 특정 주제에 관련된 문제풀이를 위한 사용자 인터페이스(800)를 표시할 수 있다. 상기 사용자 인터페이스(800)는 문제풀이에 관련된 제1 비주얼 오브젝트(802)를 포함할 수 있다. 예를 들어, 제1 비주얼 오브젝트(802)는 문제풀이를 위한 문제 또는/및 답안을 나타내는 텍스트일 수 있다.

상기 사용자 감정 판단 장치는 사용자의 제1 시선 데이터를 획득하고, 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(802)에 대응하는지를 판단할 수 있다. 다양한 실시예에서 사용자 감정 판단 장치는 사용자 인터페이스(800)에 포함된 복수의 비주얼 오브젝트들 중 어느 하나에 연관된 제1 시선 데이터를 획득할 수 있다. 상기 획득된 제1 시선 데이터가 제1 비주얼 오브젝트(802)에 대응하면 사용자 감정 판단 장치는 비주얼 오브젝트(802)에 대한 사용자의 특정 행위가 감지되는지를 확인할 수 있다. 예를 들어, 특정 행위는 문제에 대한 답안을 선택하는 행위일 수 있다. 상기 특정 행위가 감지되면 사용자 감정 판단 장치는 해당 특정 행위의 결과에 따른 보상 데이터가 제공되는지를 확인하고, 보상 데이터가 제공될 때 사용자의 제1 뇌파 데이터를 획득할 수 있다. 구체적으로, 문제에 대한 답변 선택이 확인되면 사용자 감정 판단 장치는 문제풀이를 완료하는지를 확인하고, 문제풀이가 완료되면 도 8b와 같이 문제풀이 완료에 따른 보상으로 점수 데이터를 제공하기 위한 사용자 인터페이스(810)를 표시할 수 있다. 도 8b를 참조하면, 사용자 인터페이스(810)는 문제풀이 완료에 따라 획득된 점수 데이터를 나타내는 텍스트/이미지(812), 문제풀이에 소요된 시간을 나타내기 위한 텍스트/이미지(814) 및 점수 획득을 축하함을 나타내는 텍스트(예: 축하합니다!)(816)를 포함할 수 있다. 상기 사용자 인터페이스(810)가 표시되면 사용자 감정 판단 장치는 사용자의 제1 뇌파 데이터를 획득하고, 획득된 제1 뇌파 데이터를 사용자의 감정을 판단하기 위한 기준 생체 정보로 결정할 수 있다. 예를 들어, 도 8b와 같이 문제풀이 완료에 따른 점수 데이터를 제공하기 위한 사용자 인터페이스(810)가 표시되면 사용자 감정 판단 장치는 사용자가 긍정적인 감정을 가진다고 판단하고, 획득된 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정할 수 있다.

도 9는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 특정 비주얼 오브젝트에 대한 사용자의 감정을 나타내는 감정 정보를 생성하는 방법을 설명하기 위한 예시도이다. 하기에서 수행되는 동작들은 전자 장치(300)의 프로세서(340), 영상 출력 장치(200)의 프로세서(240) 또는 HMD 장치(100)의 프로세서(150)를 통해서 수행될 수 있다.

도 9를 참조하면, 사용자 감정 판단 장치는 광고 대상을 나타내는 제2 비주얼 오브젝트(902)를 포함하는 사용자 인터페이스(900)를 표시할 수 있다. 예를 들어, 제2 비주얼 오브젝트(902)는 차량 이미지일 수 있다.

상기 사용자 감정 판단 장치는 사용자의 제2 시선 데이터를 획득하고, 획득된 사용자의 제2 시선 데이터가 제2 비주얼 오브젝트(902)에 대응하는지를 판단할 수 있다. 예를 들어, 사용자 감정 판단 장치는 사용자의 시선에 대한 위치 좌표를 포함하는 제2 시선 데이터를 획득하고, 사용자의 시선에 대한 위치 좌표와 디스플레이 상의 특정 위치 좌표를 맵핑하여 맵핑된 좌표가 차량 이미지를 구성하는 화소들 중 어느 하나의 화소의 위치 좌표에 대응하는지를 판단할 수 있다. 맵핑된 좌표가 차량 이미지를 구성하는 화소들 중 어느 하나의 화소의 위치 좌표에 대응하면 사용자 감정 판단 장치는 사용자의 제2 시선 데이터가 제2 비주얼 오브젝트(902)에 대응하는 것으로 판단할 수 있다. 사용자의 제2 시선 데이터가 제2 비주얼 오브젝트(902)에 대응하면 사용자 감정 판단 장치는 사용자의 제2 뇌파 데이터를 획득하고, 기준 생체 정보 및 획득된 제2 뇌파 데이터를 기초로 제2 비주얼 오브젝트(902)에 대한 사용자의 감정을 나타내는 감정 정보를 생성할 수 있다. 예를 들어, 사용자 감정 판단 장치는 비주얼 오브젝트(902)에 대응하여 획득된 뇌파 데이터와 일치하는 기준 생체 정보를 확인하고, 확인된 기준 생체 정보에 관련된 감정 정보를 제2 비주얼 오브젝트(902)에 대한 사용자의 감정 정보로서 생성할 수 있다. 기준 생체 정보가 긍정적인 감정에 연관되는 경우 사용자 감정 판단 장치는 긍정적인 감정을 제2 비주얼 오브젝트(902)에 대한 감정 정보로 생성할 수 있다.

이를 통해서, 본 발명은 사용자가 광고 대상에 대한 감정을 외부로 표현하지 않더라도 광고 대상에 해당하는 비주얼 오브젝트에 대한 사용자의 감정을 확인할 수 있다. 또한, 본 발명은 제2 비주얼 오브젝트와 무관한 특징 또는 주제를 가지거나 무관한 카테고리에 해당하는 제1 비주얼 오브젝트를 이용하여 결정된 기준 생체 정보에 기초하여 제2 비주얼 오브젝트에 대한 사용자의 감정을 판단할 수 있다.

도 10a 및 도 10b는 본 발명의 일 실시예에 따른 사용자 감정 판단 장치에서 기준 생체 정보를 보정하기 위한 방법을 설명하기 위한 예시도들이다. 하기에서 비주얼 오브젝트를 포함하는 사용자 인터페이스는 HMD 장치(100)의 디스플레이(120) 또는 영상 출력 장치(200)의 디스플레이(220)를 통해서 표시될 수 있고, 하기에서 수행되는 동작들은 전자 장치(300)의 프로세서(340), 영상 출력 장치(200)의 프로세서(240) 또는 HMD 장치(100)의 프로세서(150)를 통해서 수행될 수 있다.

도 10a를 참조하면, 사용자 감정 판단 장치는 복수의 비주얼 오브젝트들(1002, 1004)을 포함하는 사용자 인터페이스(1000)를 표시할 수 있다. 상기 사용자 인터페이스(1000)는 제1 인물에 대한 비주얼 오브젝트(1002) 및 제2 인물에 대한 제3 비주얼 오브젝트(1004)를 포함할 수 있다. 다양한 실시예에서 복수의 비주얼 오브젝트들은 다양한 주제에 관련된 이미지들을 포함할 수 있다. 사용자 인터페이스(1000)가 표시되면 사용자 감정 판단 장치는 사용자의 제3 시선 데이터를 획득하고, 획득된 제3 시선 데이터가 복수의 비주얼 오브젝트들(1002, 1004) 중 어느 하나에 대응하는지를 판단할 수 있다. 예를 들어, 제3 시선 데이터가 복수의 비주얼 오브젝트들(1002, 1004) 중 제3 비주얼 오브젝트(1004)에 대응되면 사용자 감정 판단 장치는 도 10b와 같이 제3 비주얼 오브젝트(1004)를 선호함을 나타내기 위한 사용자 인터페이스(1010)를 표시할 수 있다. 다양한 실시예에서 사용자 감정 판단 장치는 복수의 비주얼 오브젝트들(1002, 1004) 중 제3 비주얼 오브젝트(1004)를 선택하기 위한 사용자 입력이 수신되면 도 10b와 같은 사용자 인터페이스(1010)를 표시할 수도 있다. 상기 사용자 인터페이스(1010)는 제3 비주얼 오브젝트(1004)가 선호됨을 나타내기 위한 이미지(1012) 및 텍스트(1014)를 포함할 수 있다.

도 10b를 참조하면, 사용자 감정 판단 장치는 사용자 인터페이스(1010)가 표시되면 사용자의 제3 뇌파 데이터를 획득하고, 획득된 제3 뇌파 데이터를 이용하여 기준 생체 정보를 보정할 수 있다. 예를 들어, 사용자 감정 판단 장치는 제3 비주얼 오브젝트(1004)에 대응하여 획득된 제3 뇌파 데이터가 사용자가 선호하는 감정을 가지는 것으로 판단하고, 제3 뇌파 데이터와, 선호하는 감정에 관련된 기준 생체 정보에 해당하는 뇌파 데이터가 서로 일치하도록 기준 생체 정보를 보정할 수 있다.

이를 통해서, 본 발명은 사용자의 특정 감정에 해당하는 뇌파 데이터를 획득하고, 획득된 뇌파 데이터를 이용하여 기준 생체 정보를 보정함으로써, 사용자의 감정에 대한 정확도 높은 판단 결과를 도출할 수 있다.

이와 같이 본 발명은 사용자의 시선 데이터 및 뇌파 데이터를 기초로 결정된 기준 생체 정보를 이용하여 사용자가 시선을 응시한 특정 비주얼 오브젝트에 대한 사용자의 감정 정보를 생성함으로써, 사용자의 시선이 응시되는 다양한 비주얼 오브젝트에 대한 사용자의 감정을 예측할 수 있다.

본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: HMD 장치
200: 영상 출력 장치
300: 전자 장치

Claims

사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하는 단계;
상기 HMD 장치를 통해서 상기 제1 시선 데이터와 연관된 상기 제1 비주얼 오브젝트에 대응하는 상기 사용자의 제1 뇌파 데이터를 획득하는 단계;
상기 획득된 제1 뇌파 데이터를 상기 사용자 감정을 판단하기 위한 기준 생체 정보로 결정하는 단계;
상기 HMD 장치를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 제공하는 단계;
상기 HMD 장치를 통해서 상기 제2 비주얼 오브젝트에 대한 상기 사용자의 제2 시선 데이터를 획득하고, 상기 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 상기 사용자의 제2 뇌파 데이터를 획득하는 단계; 및
상기 기준 생체 정보 및 상기 제2 뇌파 데이터를 기초로 상기 제2 비주얼 오브젝트에 대한 감정 정보를 생성하는 단계를 포함하고,
상기 제1 비주얼 오브젝트는,
상기 사용자의 특정 행위에 대한 보상 서비스를 제공하는 보상형 콘텐트에 관련된 적어도 하나의 그래픽 객체인, 사용자 감정 판단 장치의 사용자 감정 판단 방법.
삭제
제1항에 있어서, 상기 사용자의 제1 뇌파 데이터를 획득하는 단계는,
상기 특정 행위에 대한 보상으로 보상 데이터가 제공되면 상기 사용자의 제1 뇌파 데이터를 획득하는 단계를 포함하는, 사용자 감정 판단 장치의 사용자 감정 판단 방법.
제3항에 있어서, 상기 기준 생체 정보로 결정하는 단계는,
상기 보상 데이터가 긍정적인 보상이면 상기 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정하는 단계; 및
상기 보상 데이터가 부정적인 보상이면 상기 제1 뇌파 데이터를 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정하는 단계를 포함하는, 사용자 감정 판단 장치의 사용자 감정 판단 방법.
제1항에 있어서, 상기 제2 비주얼 오브젝트는,
상기 제1 비주얼 오브젝트과 서로 무관한 카테고리에 대응하는 적어도 하나의 그래픽 객체인, 사용자 감정 판단 장치의 사용자 감정 판단 방법.
제1항에 있어서,
상기 사용자 감정 판단 장치를 통해서 제3 비주얼 오브젝트를 포함하는 제3 사용자 인터페이스를 제공하는 단계;
상기 제3 비주얼 오브젝트에 대한 상기 사용자의 제3 시선 데이터가 획득되면 상기 획득된 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 상기 사용자의 제3 뇌파 데이터를 획득하는 단계; 및
상기 획득된 제3 뇌파 데이터를 기초로 상기 기준 생체 정보를 보정하는 단계를 더 포함하는, 사용자 감정 판단 장치의 사용자 감정 판단 방법.
사용자 감정 판단 장치에 있어서,
사용자의 제1 시선 데이터 및 제1 뇌파 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 제1 비주얼 오브젝트를 포함하는 제1 사용자 인터페이스를 제공하고,
상기 HMD 장치를 통해서 상기 제1 시선 데이터와 연관된 상기 제1 비주얼 오브젝트에 대응하는 상기 사용자의 제1 뇌파 데이터를 획득하고,
상기 획득된 제1 뇌파 데이터를 상기 사용자 감정을 판단하기 위한 기준 생체 정보로 결정하고,
상기 HMD 장치를 통해서 제2 비주얼 오브젝트를 포함하는 제2 사용자 인터페이스를 제공하고,
상기 HMD 장치를 통해서 상기 제2 비주얼 오브젝트에 대한 상기 사용자의 제2 시선 데이터가 획득되면 상기 획득된 제2 시선 데이터와 연관된 제2 비주얼 오브젝트에 대응하는 상기 사용자의 제2 뇌파 데이터를 획득하고,
상기 기준 생체 정보 및 상기 제2 뇌파 데이터를 기초로 상기 제2 비주얼 오브젝트에 대한 감정 정보를 생성하고,
상기 제1 비주얼 오브젝트는,
상기 사용자의 특정 행위에 대한 보상 서비스를 제공하는 보상형 콘텐트에 관련된 적어도 하나의 그래픽 객체인, 사용자 감정 판단 장치.
삭제
제7항에 있어서, 상기 사용자 감정 판단 장치는,
상기 특정 행위에 대한 보상으로 보상 데이터가 제공되면 상기 사용자의 제1 뇌파 데이터를 획득하는, 사용자 감정 판단 장치.
제9항에 있어서, 상기 사용자 감정 판단 장치는,
상기 보상 데이터가 긍정적인 보상이면 상기 제1 뇌파 데이터를 긍정적인 감정을 판단하기 위한 제1 기준 생체 정보로 결정하고,
상기 보상 데이터가 부정적인 보상이면 상기 제1 뇌파 데이터를 부정적인 감정을 판단하기 위한 제2 기준 생체 정보로 결정하는, 사용자 감정 판단 장치.
제7항에 있어서, 상기 제2 비주얼 오브젝트는,
상기 제1 비주얼 오브젝트과 서로 무관한 카테고리에 대응하는 적어도 하나의 그래픽 객체인, 사용자 감정 판단 장치.
제7항에 있어서, 상기 사용자 감정 판단 장치는,
제3 비주얼 오브젝트를 포함하는 제3 사용자 인터페이스를 제공하고,
상기 제3 비주얼 오브젝트에 대한 상기 사용자의 제3 시선 데이터가 획득되면 상기 획득된 제3 시선 데이터와 연관된 제3 비주얼 오브젝트에 대응하는 상기 사용자의 제3 뇌파 데이터를 획득하고,
상기 획득된 제3 뇌파 데이터를 기초로 상기 기준 생체 정보를 보정하는, 사용자 감정 판단 장치.