KR20200132446A - 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스 - Google Patents

Abstract

본 발명은, 프로세서에 의해 구현되는 감정 라벨링 방법으로서, 복수의 감정 유발 컨텐츠를 사용자에게 제공하는 단계, 복수의 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 사용자의 생체 신호 데이터를 수신하는 단계, 복수의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택을 입력 받는 단계, 감정이 라벨링된 생체 신호 데이터를 획득하도록 선택과 생체 신호 데이터를 매칭하는 단계, 및 감정이 라벨링된 생체 신호 데이터를 제공하는 단계를 포함하는, 감정 라벨링 방법 및 이를 이용한 디바이스를 제공한다.

Description

감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스{METHOD FOR LABELING EMOTION AND DEVICE FOR LABELING EMOTION USING THE SAME}

본 발명은 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스에 관한 것으로, 보다 구체적으로는 생체 신호 데이터와 사용자의 감정을 매칭하여 제공하는, 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스에 관한 것이다.

감정이란, 인간이 가질 수 있는 정신적 상태를 의미하고, 크게는 희, 노, 애, 락으로 구분될 수 있다.

이때, 인간의 감정과 관련하여, 감정에 대한 인의적인 외부 자극을 통해 유발하거나 이를 토대로 심리적 안정을 도모하고자 하는 다양한 기술적 개발이 진행되고 있는 실정이다.

보다 구체적으로, HMD (Head-Mounted Display) 디바이스, HCI (human computer interaction), 게임, 동작 기반의 제어와 같은 다양한 스마트 환경에서 컴퓨터 시스템과 인간 간의 자연스러운 상호 작용을 구축하려는 요구가 증가되고 있다. 이를 위해, 인간의 감정을 자동적으로 분석하고 이해하려는 수요 또한 증가하고 있는 실정이다.

이때, 인간과 컴퓨터 시스템의 상호 작용을 위해서는, 인간 간의 의사 소통처럼 지능형 시스템 또한 사람의 느낌을 이해하고 적절한 반응이 요구될 수 있다. 특히, 상기 시스템들은 인간의 감정, 인간의 의도, 마음 상태를 다양한 방법으로 예측하여 이해하는 기능이 필수적일 수 있다.

한편, 종래의 감정 평가 프로토콜은, 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 평가하고, 항상 동일한 초기의 레벨 값에서 감정 평가가 이루어짐에 따라, 감정 평가 결과의 신뢰도가 낮을 수 있다.

특히, 상기 감정 평가 프로토콜은 사용자 별로 다양한 성향에 대한 맞춤 분석이 어렵고, 이에 감정 평가 결과에 대한 오차가 클 수 있다.

이에, 컴퓨터 시스템에서 사람의 감정에 자연스럽게 반응하는 지능형 감정 컴퓨팅을 위해, 인간의 감정 상태를 인지하고 분석하여, 감정 평가의 정확도를 향상시킬 수 있는 새로운 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.

본 발명의 발명자들은, 인간에 대한 감정에 대하여, 인체의 반응의 일환으로 생체 신호들의 변화가 선행할 것이라는 점에 주목하였다.

보다 구체적으로, 본 발명의 발명자들은 뇌파 데이터, 맥박, 혈압 등 사용자의 의식적 및/또는 무의식적 (예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 의미하는 생체 신호 데이터가 인간의 감정과 연관이 있을 수 있음에 주목하였다.

나아가, 본 발명의 발명자들은 상기와 같은 생체 신호 데이터를 제공하고 다양한 컨텐츠를 제공할 수 있는 HMD 디바이스에 더욱 주목하였다.

이때, HMD 디바이스는 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상현실 (Virtual Reality, VR), 증강 현실 (Augmented Reality, AR) 또는/및 혼합 현실 (Mixed Reality, MR) 에 관련된 영상을 제공하는 디스플레이 장치일 수 있다. 이와 같은 HMD 디바이스는, 사용자의 눈 부위에 착용 가능하도록 고글 (Goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성될 수 있다. 나아가, HMD 디바이스는 사용자의 생체 신호 데이터를 획득하는 센서가 구비될 수 있고, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 감정 유발 컨텐츠를 출력하는 컨텐츠 출력부, 사용자로부터 선택을 입력하는 입력부를 더욱 포함할 수 있다.

이에, 본 발명의 발명자들은, HMD 디바이스를 통해 제공된 컨텐츠에 따른 사용자의 생체 신호 데이터에 기초하여 사용자의 감정을 예측하거나 분류할 수 있음을 인지할 수 있었다.

특히, 본 발명의 발명자들은, 감정 평가에 있어서 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 평가하는 종래의 프로토콜에 대한 문제점을 해결하기 위해, 사용자 개개인에 대한 감정 평가의 기준이 되는 기준 감정을 설정하는 것에 주목하였다.

결과적으로 본 발명의 발명자들은, 감정을 유발하는 감정 유발 컨텐츠의 제공에 따른 사용자에 대한 감정 선택을 입력 받고, 선택 중에 획득된 사용자의 생체 신호 데이터와 매칭하여, 사용자 개개인에 대한 기준 감정을 결정하도록, 본 발명의 감정 라벨링 시스템을 구축할 수 있었다.

나아가, 본 발명의 발명자들은 제공된 감정 유발 컨텐츠에 대한 사용자의 응시와 같은 시선 데이터가 사용자의 감정과 연관이 있음에 주목하였고, 시선 데이터를 기준 감정의 결정에 더욱 적용할 수 있었다.

이에, 본 발명의 발명자들은 사용자 개개인에 대한 기준 감정의 설정, 즉 감정 라벨링을 통해, 새롭게 발생하는 이벤트에 따른 생체 신호에 기초하여 사용자의 감정을 보다 민감하고 정확하게 유추할 수 있음을 기대할 수 있었다.

또한, 본 발명의 발명자들은 전술한 방법에 의해 결정된 기준 감정이 사용자의 감정을 분류하도록 구성된 예측 모델의 학습에 적용될 수 있음에 더욱 주목하였다.

이때, 본 발명의 발명자들은 예측 모델의 학습에 있어서 학습 데이터가 충분하지 않다는 점을 인지하였다.

본 발명의 발명자들은, 이를 해결하기 위해 감정 유발 컨텐츠에 대한 선택이 이루어지는 과정에서의 사용자의 시선, 머뭇거림 등에 따라 생성된 모호한 라벨링 데이터를 학습 데이터로 더욱 적용하고자 하였다.

이에, 본 발명이 해결하고자 하는 과제는, 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 획득된 생체 신호 데이터 및/또는 시선 데이터에 기초하여 생체 신호 데이터에 대한 감정을 라벨링하도록 구성된, 감정 라벨링 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 미리 결정된 선택 유지 시간에 따라, 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터 또는 제2 라벨링된 생체 신호 데이터로 매칭하도록 구성된, 감정 라벨링 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 복수의 감정 유발 컨텐츠를 사용자에게 제공하도록 구성된 출력부, 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 획득된 생체 신호 데이터 및/또는 시선 데이터를 수신하도록 구성된 수신부, 및 컨텐츠에 대한 선택을 입력 받도록 구성된 입력부 및 선택과 생체 신호 데이터를 매칭하여 제공하는 프로세서를 포함하는, 감정 라벨링용 디바이스를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 감정 라벨링 방법 및 감정 라벨링용 디바이스를 제공한다. 본 발명의 실시예에 따른 프로세서에 의해서 수행되는 사용자의 생체 신호 데이터를 이용한 감정 라벨링 방법은, 복수의 감정 유발 컨텐츠를 사용자에게 제공하는 단계, 복수의 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 사용자의 생체 신호 데이터를 수신하는 단계, 복수의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택을 입력 받은 단계, 사용자의 선택과 생체 신호 데이터를 매칭하는 단계 및 감정이 라벨링된 생체 신호 데이터를 제공하는 단계를 포함한다.

본 발명의 특징에 따르면, 상기 방법은 복수의 감정 유발 컨텐츠에 대한 시선 데이터를 수신하는 단계를 더 포함하고, 선택은 복수의 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 응시가 미리 결정된 시간 이상 유지되는 경우, 생체 신호 데이터를 매칭하는 단계는, 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함할 수 있다. 나아가, 응시가 미리 결정된 시간 미만으로 유지되는 경우, 생체 신호 데이터를 매칭하는 단계는, 선택과 생체 신호 데이터를 제2 감정이 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 방법은 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터를, 감정 분류 모델이 생체 신호 데이터에 기초하여 감정을 분류하도록 학습시키는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 방법은 새로운 시선 데이터를 수신하는 단계, 및 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터, 및 상기 새로운 시선 데이터에 기초하여 사용자에 대한 감정을 평가하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 방법은 사용자로부터 새로운 생체 신호 데이터를 수신하는 단계, 및 감정이 라벨링된 생체 신호 데이터 및 새로운 생체 신호 데이터에 기초하여 사용자의 감정을 평가하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 감정 유발 컨턴츠에 대한 선택을 입력 받은 단계는, 사용자로부터 복수의 감정 유발 컨텐츠 중 적어도 하나의 감정 유발 컨텐츠에 대한 선택을 HMD (Head Mounted Display) 디바이스의 입력부를 통해 입력 받은 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 방법은, 생체 신호 데이터를 매칭하는 단계 이후에, 사용자의 선택과 연관된 복수개의 감정 유발 컨텐츠를 제공하는 단계, 선택과 연관된 복수개의 감정 유발 컨텐츠에 대한 선택이 입력되는 과정에서 사용자의 추가 생체 신호 데이터를 수신하는 단계, 선택과 연관된 복수개의 감정 유발 컨텐츠 중 적어도 하나의 추가 선택을 입력 받는 단계, 및 추가 선택과 추가 생체 신호 데이터를 매칭하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 복수의 감정 유발 컨텐츠를 사용자에게 제공하는 단계는, 복수의 감정을 표현하는 음성, 이미지, 영화, 애니메이션, 광고, 홍보 영상 및 텍스트 중 적어도 하나의 컨텐츠를 제공하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 복수의 감정 유발 컨텐츠를 사용자에게 제공하는 단계는 사용자의 감정에 대한 질의 음성을 제공하는 단계를 포함하고, 사용자의 생체 신호 데이터를 수신하는 단계는, 질의 음성에 대한 대답이 진행되는 중에 생성된 사용자의 생체 신호 데이터를 수신하는 단계를 포함할 수 있다. 나아가, 선택을 입력 받는 단계는, 질의 음성에 대한 대답 음성을 입력 받은 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 선택을 입력 받은 단계 이후에, 사용자에 의해 선택된 적어도 하나의 감정 유발 컨텐츠를 나머지 감정 유발 컨텐츠와 상이한 크기로 출력하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 감정 라벨링용 디바이스는, 복수의 감정 유발 컨텐츠를 사용자에게 제공하도록 구성된 출력부, 복수의 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 상기 사용자의 생체 신호 데이터를 수신하도록 구성된 수신부, 복수의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택을 입력 받도록 구성된 입력부, 및 사용자의 선택과 생체 신호 데이터를 매칭하도록 구성된 프로세서를 포함한다.

본 발명의 특징에 따르면, 수신부는 복수의 감정 유발 컨텐츠에 대한 시선 데이터를 수신하도록 더 구성될 수 있고, 입력부는 복수의 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 선택으로 입력 받도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면, 프로세서는, 응시가 미리 결정된 시간 이상 유지된 경우 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하거나, 응시가 미리 결정된 시간 미만으로 유지된 경우 선택과 생체 신호 데이터를 제2 라벨링된 생체 신호 데이터로 매칭하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 프로세서는 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터를, 생체 신호 데이터에 기초하여 감정을 분류하도록 구성된 감정 분류 모델을 학습시키도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 수시부는 새로운 시선 데이터를 수신하도록 더 구성될 수 있다. 나아가, 프로세서는 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터, 및 상기 새로운 시선 데이터에 기초하여 사용자에 대한 감정을 평가하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 수신부는 사용자로부터 새로운 생체 신호 데이터를 수신하도록 더 구성될 수 있다. 나아가, 프로세서는 감정이 라벨링된 생체 신호 데이터 및 새로운 생체 신호 데이터에 기초하여 사용자의 감정을 평가하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 입력부는 감정 유발 컨턴츠에 대한 선택을 입력 받은 단계는, 사용자로부터 복수의 감정 유발 컨텐츠 중 적어도 하나의 감정 유발 컨텐츠에 대한 선택을 입력 받도록 구성된 HMD (Head Mounted Display) 의 입력부일 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은, 사용자 개개인에 대한 감정 평가의 기준이 되는 기준 감정을 결정하고 제공함으로써, 감정 평가에 있어서 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 평가하는 종래의 프로토콜에 대한 문제점을 해결할 수 있는 효과가 있다.

보다 구체적으로 본 발명은, 감정을 유발하는 감정 유발 컨텐츠의 제공에 따른 사용자에 대한 감정 선택을 입력 받고, 선택 중에 획득된 사용자의 생체 신호 데이터와 매칭하여, 사용자 개개인에 대한 기준 감정을 결정할 수 있는 새로운 감정 라벨링 시스템을 제공할 수 있는 효과가 있다.

나아가, 본 발명은 기준 감정 결정에 있어서, 제공된 감정 유발 컨텐츠에 대한 사용자의 응시와 같은 시선 데이터를 더욱 고려함으로써 사용자의 기준 감정을 더욱 정확하게 설정할 수 있는 효과가 있다.

또한, 본 발명은, 감정 유발 컨텐츠에 대한 선택이 이루어지는 과정에서의 사용자의 시선, 머뭇거림 등에 따라 생성된 모호한 라벨링 데이터를 학습 데이터로 제공할 수 있음에 따라, 감정을 분류하도록 구성된 예측 모델의 감정 분류 성능의 향상에 기여할 수 있다.

이에, 본 발명은 사용자 개개인에 대한 기준 감정의 설정, 즉 감정 라벨링을 통해, 새롭게 발생하는 이벤트에 따른 생체 신호에 기초하여 사용자의 감정을 보다 민감하고 정확하게 유추할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.

도 1은 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 기준 감정 라벨링 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 감정 라벨링용 디바이스를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 감정 라벨링용 디바이스에서 사용자의 생체 신호 데이터에 기반하여 기준 감정을 결정하는 방법을 설명하기 위한 개략적인 순서도이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 유발 영상 컨텐츠에 기초하여 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시에 기초하여 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, HMD 디바이스의 입력부를 통한 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 유발 질의에 따른 사용자의 응답에 따른 선택을 입력 받는 단계를 예시적으로 도시한 것이다.
도 8a는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 및 HMD 디바이스의 입력부를 통한 사용자의 선택에 따라 제1 라벨링된 생체 신호데이터를 예시적으로 도시한 것이다.
도 8b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 선택에 따라 감정이 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다.
도 9a는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 시간에 따라 제2 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다.
도 9b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 및 HMD 디바이스의 입력부를 통한 사용자의 선택에 따라 제2 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 분류 모델에 기초한 사용자의 감정 평가 단계를 예시적으로 도시한 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 발명에서, 기준 감정 라벨링 시스템은 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 신호 데이터를 획득하도록 구성된 모든 디바이스를 포함할 수 있다. 예를 들어, 기준 감정 라벨링 시스템은 HMD 디바이스뿐만 아니라, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 신호 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 감정 유발 컨텐츠를 출력하는 컨텐츠 출력 장치와, 이들을 관리하는 전자 장치를 포함할 수 있다. 예를 들어, HMD 디바이스가 출력부를 구비하는 경우 감정 라벨링 시스템은 HMD 디바이스 및 전자 장치만을 포함할 수 있다. 여기서 생체 신호 데이터는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 기준 감정 라벨링 시스템을 설명하기 위한 개략도이다. 도 2는 본 발명의 실시예에 따른 감정 라벨링용 디바이스를 설명하기 위한 개략도이다.

먼저, 도 1을 참조하면, 기준 감정 라벨링 시스템 (1000) 은 감정 유발 컨텐츠의 제공에 따른 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 신호 데이터에 대하여 감정을 라벨링 하는 시스템일 수 있다. 이때, 기준 감정 라벨링 시스템 (1000) 은, 생체 신호 데이터와 사용자의 선택을 매칭하여 기준 감정을 라벨링하고, 새로운 생체 신호 데이터를 기초로 사용자의 감정을 평가하는 감정 라벨링용 디바이스 (100) 사용자의 생체 신호 데이터를 획득하기 위한 HMD 디바이스 (200) 로 구성될 수 있다.

이때, 감정 라벨링용 디바이스 (100) 는 HMD 디바이스 (200) 와 통신 가능하도록 연결되고, HMD 디바이스 (200) 로 감정 유발 컨텐츠를 제공하도록 구성될 수 있다. 나아가, 감정 라벨링용 디바이스 (100) 는 HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터와 감정 유발 컨텐츠에 대한 선택에 기반하여 감정을 라벨링하는 디바이스로서, PC (Personal Computer), 노트북, 워크스테이션 (workstation), 스마트 TV 등을 포함할 수 있다.

보다 구체적으로, 도 2를 함께 참조하면, 감정 라벨링용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함할 수 있다.

이때, 수신부 (110) 복수의 감정 유발 컨텐츠 제공에 따른 사용자의 생체 신호 데이터를 수신하도록 구성될 수 있다. 다양한 실시예에서 수신부 (110) 는 복수의 감정 유발 컨텐츠에 대한 시선 데이터를 수신하도록 더 구성될 수 있다.

입력부 (120) 는 복수의 감정 유발 컨텐츠 제공에 따른 감정 상태에 대한 선택을 입력 받을 수 있다. 여기서, 감정 상태는 적어도 하나의 부분 컨텐츠에 포함된 장면들 각각에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인지한 사용자가 느끼는 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등을 의미할 수 있다. 다양한 실시예에서 입력부 (120) 는 하나의 컨텐츠에 대한 복수의 감정 유발 부분의 장면에 대한 사용자의 응시에 따른 사용자의 선택을 입력 받을 수 있다.

한편, 입력부 (120) 는 복수의 감정 유발 컨텐츠 중 적어도 하나의 감정 유발 컨텐츠에 대한 선택을 입력 받도록 구성된 HMD (Head Mounted Display) 의 입력부일 수도 있다.

출력부 (130) 는 복수의 감정 유발 컨텐츠에 대한 사용자의 입력을 획득하기 위한 인터페이스 화면을 제공하도록 구성될 수 있다. 이에, 입력부 (120) 는 인터페이스 화면을 통해서 사용자가 적어도 하나의 감정 유발 컨텐츠를 인지하여 느끼는 감정 상태에 대한 입력을 수신할 수 있다. 여기서, 인터페이스 화면은 복수의 감정 유발 컨텐츠를 나타내는 표시 공간 및 각 그룹에 대한 사용자의 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등의 감정 상태를 입력하기 위한 입력 공간을 포함하거나, 감정 상태에 연관된 태그 (tag) 를 각 부분에 태깅 (tagging) 하기 위한 그래픽 공간을 포함할 수 있다.

한편, 복수의 감정 유발 컨텐츠는 전술할 것에 제한되지 않고, 후술할 HMD 디바이스 (200) 의 출력부를 통해서도 제공될 수 있다.

저장부 (140) 는, 수신부 (110) 에 수신된 다양한 생체 신호 데이터, 입력부 (120) 를 통해 입력된 사용자의 선택 및 출력부 (130) 를 통해 제공되는 복수의 감정 유발 컨텐츠를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 라벨링된 생체 신호 데이터, 분류된 사용자의 감정을 저장하도록 더욱 구성될 수 있다. 그러나, 이에 제한되지 않고, 저장부 (140) 는 프로세서 (150) 가 기준 감정을 결정하거나 새로운 생체 신호 데이터에 대한 감정을 분류하는 과정에서 생성되는 모든 데이터들을 저장하도록 구성될 수 있다.

프로세서는 (150) 는 HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터에 기반하여 감정을 라벨링 하도록 구성될 수 있다. 예를 들어, 출력부 (130) 의 인터페이스 화면을 통해서 제공된 감정 유발 컨텐츠와 관련하여 입력된 감정 상태 정보가 “기쁨”이면 프로세서 (150) 는 감정 상태의 입력 중에 획득된 생체 신호 데이터를 “기쁨”으로 라벨링할 수 있다.

나아가, 프로세서 (150) 는 수신부 (110) 를 통해 획득된 복수의 컨텐츠에 대한 응시가 미리 결정된 시간 이상 유지된 경우, 사용자의 감정 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하도록 구성될 수 있다.

이때, 선택을 위한 '미리 결정된 시간'은 사용자의 특성에 따라 다양한 범위로 설정될 수 있다. 예를 들어, 미리 결정된 시간은, 감정 라벨링 프로토콜이 진행 되는 동안, 사용자 각각의 감정 유발 컨텐츠에 응시가 진행되는 시간에 대한 통계적 특성에 따라, 상이하게 설정될 수 있다.

또한, 프로세서 (150) 는 수신부 (110) 를 통해 획득된 복수의 컨텐츠에 대한 응시가 미리 결정된 시간 미만으로 유지된 경우, 사용자의 감정 선택과 생체 신호 데이터를 제2 라벨링된 생체 신호 데이터로 매칭하도록 더욱 구성될 수 있다.

다양한 실시예에서 프로세서는 (150) 는, HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터와 입력된 사용자의 선택을 매칭하여 라벨링된 생체 신호 데이터를 기초로 사용자에 대한 감정을 평가하도록 더욱 구성될 수 있다.

이때, 사용자에 대한 감정 평가는 라벨링된 생체 신호데이터를 학습하여 새로운 생체 신호 데이터를 기초로 감정을 추출하도록 학습된 감정 분류 모델에 의해 수행될 수 있다. 예를 들어, 프로세서 (150) 는 딥 러닝 알고리즘에 기초하여, 뇌파 특징 데이터, 시선 특징 데이터와 같은 다양한 생체 특징 데이터로부터 사용자의 감정을 분류 및 평가할 수 있다. 이때, 딥 러닝 알고리즘은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서 (150) 는 기준 감정을 학습하여 새로운 생체 신호 데이터를 기초로 감정을 분류할 수 있는 한, 보다 다양한 알고리즘에 기초할 수 있다.

다시 도 1을 참조하면, HMD 디바이스 (200) 는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 감정 유발 컨텐츠를 제공함과 동시에, 사용자의 생체 신호 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 감정 유발 컨텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브 (non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브 (interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽 (Stereoscopic) 영상이 포함될 수 있다. 나아가, 감정 유발 컨텐츠는 사용자의 감정에 대한 질의 음성을 포함할 수 있다.

HMD 디바이스 (200) 는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실을 위한 다양한 감정 유발 컨텐츠를 HMD 디바이스 (200) 내부의 출력부를 통해 처리하는 형태로 구현될 수 있다.

HMD 디바이스 (200)가 출력부를 구비하는 경우 사용자가 HMD 디바이스 (200)를 착용할 시 사용자가 감정 유발 컨텐츠를 확인할 수 있도록 출력부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.

HMD 디바이스 (200) 의 일측에는 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 뇌파를 측정하는 뇌파 센서 및/또는 사용자의 응시 또는 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 디바이스 (200) 를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호 (electroencephalography, EEG), 근전도 신호(electromyography, EMG) 또는 심전도 신호 (electrocardiogram, ECG) 등과 같은 뇌파 데이터를 획득할 수 있다. 본 명세서에서는 HMD 디바이스 (200) 가 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 디바이스 (200) 와 별도의 모듈을 통해 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서가 HMD 하우징에 장착되는 형식으로 구현될 수 있다. HMD 디바이스 (200) 라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.

HMD 디바이스 (200) 는 감정 라벨링용 디바이스 (100) 의 요청에 따라 사용자의 생체 신호 데이터를 획득하고, 획득된 생체 신호 데이터를 출력부 또는 수신부를 통해 감정 라벨링용 디바이스 (100) 로 전달할 수 있다.

HMD 디바이스 (200) 는 출력부가 포함되는 경우 사용자의 생체 신호 데이터를 획득하기 위해 감정 유발 컨텐츠를 HMD 디바이스 (200) 의 출력부를 통해서 표시할 수 있다. 나아가, HMD 디바이스 (200) 에 구비된 적어도 하나의 센서를 통해서 감정 유발 컨텐츠에 대한 선택이 진행되는 중의 생체 신호 데이터가 획득될 수 있다. 이때, HMD 디바이스 (200) 는 획득된 생체 신호 데이터를 감정 라벨링용 디바이스 (100) 로 전달할 수 있다.

이와 같은 감정 라벨링 시스템 (1000) 에 의해 사용자 개개인에 따른 맞춤형 기준 감정이 결정될 수 있다.

도 3은 본 발명의 실시예에 따른 감정 라벨링용 디바이스에서 사용자의 생체 신호 데이터에 기반하여 기준 감정을 결정하는 방법을 설명하기 위한 개략적인 순서도이다.

먼저, 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따르면, 복수개의 감정 유발 컨텐츠가 사용자에게 제공된다 (S310). 그 다음, 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 사용자의 생체 신호 데이터가 수신된다 (S320). 그 다음, 복수개의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택이 입력된다 (S330). 그 다음, 사용자의 선택과 생체 신호 데이터가 매칭된다 (S340). 마지막으로 감정이 라벨링된 생체 신호 데이터의 매칭 데이터가 저장된다 (S350).

보다 구체적으로, 복수개의 감정 유발 컨텐츠가 사용자에게 제공되는 단계 (S310) 에서, 사용자에게 다양한 감정을 유도하는 감정 유발 컨텐츠가 제공될 수 있다.

본 발명의 일 실시예에 따르면, 복수개의 감정 유발 컨텐츠가 사용자에게 제공되는 단계 (S310) 에서, 복수의 감정을 표현하는 음성, 이미지, 영화, 애니메이션, 광고, 홍보 영상 및 텍스트 중 적어도 하나의 컨텐츠가 제공될 수 있다.

본 발명의 다른 실시예에 따르면, 복수개의 감정 유발 컨텐츠가 사용자에게 제공되는 단계 (S310) 에서, 사용자의 감정에 대한 질의 음성이 제공될 수 있다.

다음으로 생체 신호 데이터가 수신되는 단계 (S320) 에서, 복수개의 감정 유발 컨텐츠의 제공에 따른 사용자의 감정과 연관된 선택이 입력될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 복수의 감정 유발 컨텐츠에 대한 응시를 포함하는 시선 데이터에 대한 수신이 진행될 수 있다. 이때, 시선 데이터는 사용자의 시선이 응시된 시선 응시 시간, 사용자의 시선이 멀티미디어 컨텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 사용자의 눈이 깜박인 눈 깜박임 횟수 등을 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 생체 신호 데이터가 수신되는 단계 (S320) 에서 뇌파 데이터, 맥박, 혈압 등 사용자의 의식적 및/또는 무의식적 (예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 의미하는 생체 신호 데이터가 수신될 수 있다. 바람직하게, 생체 신호 데이터가 수신되는 단계 (S320) 에서 적어도 하나의 감정 유발 컨텐츠에 대한 선택이 진행되는 중에 획득된 뇌파 데이터가 수신될 수 있으나, 이에 제한되는 것은 아니다.

다음으로, 적어도 하나의 감정 유발 컨텐츠에 대한 선택이 입력되는 단계 (S330) 에서, 복수의 감정 유발 컨텐츠에 대한 사용자의 선택이 입력될 수 있다.

본 발명의 일 실시예에 따르면, 적어도 하나의 컨텐츠에 대한 선택이 입력되는 단계 (S330) 에서, 복수의 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시가 선택으로 입력될 수 있다. 즉, 사용자와 감정 유발 컨텐츠간의 간접적인 상호 작용을 통해 사용자의 선택이 이루어짐으로써 감정의 라벨링이 수동적으로 진행될 수 있다.

본 발명의 다른 실시예에 따르면, 적어도 하나의 컨텐츠에 대한 선택이 입력되는 단계 (S330) 에서, 복수의 감정 유발 컨텐츠 중 하나의 감정 유발 컨텐츠에 대한 선택이 HMD (Head Mounted Display) 디바이스의 입력부를 통해 입력될 수 있다. 즉, 입력부를 통해 감정 유발 컨텐츠에 대한 선택이 직접 수행됨에 따라, 감정 라벨링 또한 사용자에 의해 진행될 수 있다.

본 발명의 또 다른 실시예에 따르면, 적어도 하나의 컨텐츠에 대한 선택이 입력되는 단계 (S330) 에서, 사용자의 감정에 대한 질의 음성의 제공에 따른, 사용자의 대답 음성이 입력될 수 있다.

다음으로, 사용자의 선택과 생체 신호 데이터가 매칭되는 단계 (S340) 에서, 복수의 감정 유발 컨텐츠에 대한 선택과, 상기 선택이 진행되는 중에 생성된 생체 신호 데이터가 매칭되어 감정이 라벨링된 생체 신호 데이터가 획득될 수 있다.

본 발명의 일 실시예에 따르면, 적어도 하나의 컨텐츠에 대한 응시가 미리 결정된 시간 이상 유지되는 경우, 사용자의 선택과 생체 신호 데이터가 매칭되는 단계 (S340) 에서, 상기 선택과 상기 생체 신호 데이터가 제1 라벨링된 생체 신호 데이터로 매칭될 수 있다. 또한, 적어도 하나의 컨텐츠에 대한 응시가 미리 결정된 시간 미만인 경우, 상기 선택과 상기 생체 신호 데이터가 제2 감정이 라벨링된 생체 신호 데이터로 매칭될 수 있다.

이때, 생체 신호 데이터가 매칭되는 단계 (S340) 에서, '미리 결정된 시간'은 사용자의 특성에 따라 다양한 범위로 설정될 수 있다. 예를 들어, 미리 결정된 시간은, 감정 라벨링 프로토콜이 진행 되는 동안, 사용자 각각의 감정 유발 컨텐츠에 응시가 진행되는 시간에 대한 통계적 특성에 따라, 상이하게 설정될 수 있다.

본 발명의 다른 실시예에 따르면, 사용자의 선택과 생체 신호 데이터가 매칭되는 단계 (S340) 이후에, 사용자의 선택과 연관된 복수개의 감정 유발 컨텐츠를 제공하고, 상기 연관된 복수개의 감정 유발 컨텐츠에 대한 선택이 입력되는 과정에서 사용자의 추가 생체 신호 데이터를 수신하고, 선택과 연관된 복수개의 감정 유발 컨텐츠 중 적어도 하나의 추가 선택을 입력 받고, 추가 선택과 추가 생체 신호 데이터를 매칭하는 단계가 더욱 수행될 수 있다.

한편, 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따르면, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터를 이용하여, 생체 신호 데이터에 기초하여 감정을 분류하도록 구성된 감정 분류 모델을 학습시키는 단계가 더욱 수행될 수 있다.

본 발명의 다른 실시예에 따른 감정 라벨링 방법에 따르면, 새로운 시선 데이터를 수신하는 단계, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터, 및 새로운 시선 데이터에 기초하여 사용자에 대한 감정을 평가하는 단계가 더욱 수행될 수 있다.

본 발명의 또 다른 실시예에 따른 감정 라벨링 방법에 따르면, 사용자로부터 새로운 생체 신호 데이터를 수신하는 단계, 및 감정이 라벨링된 생체 신호 데이터 및 새로운 생체 신호 데이터에 기초하여 사용자의 감정을 평가하는 단계가 더욱 수행될 수 있다.

이와 같은 본 발명의 다양한 실시예에 따른 감정 라벨링 방법에 의해 사용자 개개인에 따른 맞춤형 기준 감정이 결정될 수 있고, 사용자에 대한 생체 신호 데이터에 기초하여 감정이 평가될 수도 있다.

이하에서는, 도 4a 내지 4c, 5a 내지 5c, 6a 및 6b, 도 7을 참조하여, 본 발명의 다양한 실시예에 따른 감정 라벨링 방법에서, 선택을 입력 받는 단계를 설명한다.

도 4a 및 4b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 유발 영상 컨텐츠에 기초하여 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다. 도 5a 내지 5c는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시에 기초하여 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다. 도 6a 및 6b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, HMD 디바이스의 입력부를 통한 사용자의 선택을 입력 받는 단계를 예시적으로 도시한 것이다. 도 7은 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 유발 질의에 따른 사용자의 응답에 따른 선택을 입력 받는 단계를 예시적으로 도시한 것이다.

먼저, 도 4a를 참조하면, 사용자는 HMD 디바이스를 통해 복수의 감정 유발 컨텐츠를 제공받는다. 보다 구체적으로, 사용자는 “안도감”의 감정이 미리 태깅된 부분, “즐거움”의 감정이 미리 태깅된 부분 및 “행복함”의 감정이 미리 태깅된 부분의 복수의 감정 유발 컨텐츠로 구성된 영상을 제공받을 수 있다. 그 다음, 도 4b를 참조하면 복수의 감정 유발 컨텐츠 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 복수의 감정 유발 컨텐츠 각각에 대한 사용자의 응시 정도에 따라, 컨텐츠에 대한 사용자의 선택이 진행될 수 있다. 보다 구체적으로, “안도감”의 감정이 미리 태깅된 부분에 대한 사용자의 응시 정도가 높음에 따라, “안도감”이 해당 컨텐츠에 대한 사용자의 감정으로 선택될 수 있다. 나아가, “안도감”의 감정이 미리 태깅된 부분에 대한 사용자의 응시가 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “안도감”과 매칭되어 라벨링될 수 있다.

도 5a를 참조하면, 본 발명의 다른 실시예에 따른 감정 라벨링 방법에 의해 사용자는 HMD 디바이스를 통해, 감정 유발 질의와 함께, “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 도 5b를 참조하면 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 복수의 감정 단어 각각에 대한 사용자의 응시 정도에 따라, 사용자의 선택이 진행될 수 있다. 보다 구체적으로, “안도감”의 감정 단어에 대한 응시 시간은 3초로, “행복”, “괴로움” 및 “우울”의 감정 단어보다 높은 응시 정도를 나타냄에 따라, “안도감”은 사용자의 감정으로 선택될 수 있다. 본 발명의 다른 실시예에 따르면, 미리 결정된 응시 시간 (예를 들어, 2초) 이상인 “안도감”이 사용자의 감정으로 선택될 수도 있다. 한편, 사용자에 의해 선택된 감정 단어인 “안도감”은 다른 감정 단어들보다 큰 크기로 출력될 수 있다. 나아가, 도 5c를 더욱 참조하면 “안도감”에 대한 사용자의 응시가 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “안도감”과 매칭되어 라벨링될 수 있다. 한편, “안도감”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, 응시 정도가 상대적으로 낮은 “행복”, “괴로움” 또는 “우울”의 감정 단어 및 응시에 따른 생체 신호 데이터 각각과 매칭된 감정 라벨링 데이터보다 신뢰도가 상대적으로 높을 수 있다. 즉, “안도감”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는 확실한 감정 라벨링 데이터로 결정될 수 있다.

도 6a를 참조하면, 본 발명의 또 다른 실시예에 따른 감정 라벨링 방법에 의해 사용자는 HMD 디바이스를 통해, 감정 유발 질의와 함께, “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 선택인 “즐거움”이 HMD 디바이스의 입력부를 통해 입력될 수 있다. 이때, “즐거움”에 대한 HMD 디바이스를 통한 입력이 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “즐거움”과 매칭되어 라벨링될 수 있다. 다음으로, 도 6b를 참조하면, “즐거움”에 대한 사용자의 선택이 입력된 후, “즐거움”과 유사한 감정 카테고리를 갖는 복수의 감정 단어인 “감사”, “신뢰”, “활기찬” 및 “안정적”의 감정 단어의 제공 및 이에 따른 사용자의 2차 선택이 HMD 디바이스를 통해 수행될 수 있다. 결과적으로, 사용자의 선택인 “활기찬”이 HMD 디바이스의 입력부를 통해 입력될 수 있다. 이때, “활기찬”에 대한 HMD 디바이스를 통한 입력이 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “활기찬”과 매칭되어 라벨링될 수 있다.

도 7을 참조하면, 본 발명의 또 다른 실시예에 따른 감정 라벨링 방법에 의해 사용자는 기분에 대한 질의를 음성으로 제공받는다. 그 다음, 음성의 질의에 대한 사용자의 대답 음성이 선택으로 입력될 수 있다. 이때, 사용자의 대답 음성은, 감정 단어를 포함할 수 있다. 보다 구체적으로, “지금 기분이 어때요?”라는 질의 음성에 대한, 사용자의 “조금 긴장돼~”라는 대답 음성에서 “긴장”의 감정 단어가 입력될 수 있다. 나아가, 대답 음성이 입력되는 동안 획득된 생체 신호 데이터가 “긴장”의 선택과 매칭될 수 있다. 그 다음, 사용자의 대답 음성에 따른 추가 질의 음성이 제공되고, 사용자의 추가 대답 음성에 기초하여 “떨림” 및 “두려움”의 선택이 입력될 수 있다. 즉, 추가 대답 음성이 입력되는 동안 획득된 생체 신호 데이터가 “떨림” 및 “두려움”의 선택과 매칭될 수 있다.

다음으로, 도 8a 및 도 8b, 9a 및 9b를 참조하여 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 제1 라벨링된 생체 신호데이터 및 제2 라벨링된 생체 신호 데이터의 매칭 방법을 예시적으로 설명한다.

이때, 제1 라벨링된 생체 신호 데이터를 “확실한 감정 라벨링 데이터”로, 제2 라벨링된 생체 신호 데이터를 “모호한 감정 라벨링 데이터”로 예를 들어 설명하나, 이에 제한되는 것은 아니다. 예를 들어, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터는 상이한 두 개의 감정 카테고리를 갖는 생체 신호 데이터 각각을 지칭할 수도 있다.

도 8a는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 및 HMD 디바이스의 입력부를 통한 사용자의 선택에 따라 제1 라벨링된 생체 신호데이터를 예시적으로 도시한 것이다. 도 8b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 선택에 따라 감정이 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다. 도 9a는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 시간에 따라 제2 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다. 도 9b는 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 사용자의 응시 및 HMD 디바이스의 입력부를 통한 사용자의 선택에 따라 제2 라벨링된 생체 신호 데이터를 예시적으로 도시한 것이다.

먼저, 도 8a를 참조하면, 사용자는 HMD 디바이스를 통해, 감정 유발 질의와 함께, “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 복수의 감정 단어 각각에 대한 사용자의 응시 정도가 측정될 수 있다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 선택인 “행복”이 HMD 디바이스의 입력부를 통해 입력될 수 있다. 즉, “행복”에 대한 HMD 디바이스를 통한 입력이 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “행복”과 매칭되어 감정이 라벨링된 생체 신호 데이터가 획득될 수 있다. 이때, 사용자의 선택인 “행복”은, 복수의 감정 단어 중 응시 시간이 가장 높은 감정 단어일 수 있다. 따라서, “행복”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, 응시 시간이 상대적으로 짧은 HMD 장치에 의해 선택된 감정 단어에 대하여 라벨링된 생체 신호 데이터보다 신뢰도가 높은, 확실한 감정 라벨링 데이터로 결정될 수 있다.

도 8b를 함께 참조하면, 사용자에 의해 선택된 컨텐츠 또는 컨텐츠에 대하여 태깅된 “즐거움”, “슬픔”, “행복”, “당황” 및 “괴로움”에 대하여 라벨링된 뇌파 데이터가 도시된다. 이때, 생체 신호 데이터는 뇌파 데이터에 제한되지 않고, 맥박, 혈압 등 사용자의 의식적 및/또는 무의식적 (예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 더욱 포함할 수 있다.

한편, 8a 및 8b에서 제1 라벨링된 생체 신호 데이터의 확실한 감정 라벨링 데이터는, 사용자의 감정을 분류하도록 구성된 감정 분류 모델의 학습에 적용될 수 있다. 예를 들어, 감정 분류 모델은, 확실한 감정 라벨링 데이터를 학습 데이터로 이용하여, 새롭게 입력된 사용자의 생체 신호 데이터를 기반으로 사용자의 감정을 분류하도록 학습될 수 있다.

다음으로, 도 9a를 참조하면, 사용자는, HMD 디바이스를 통해, 감정 유발 질의 및 “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 가장 긴 응시 시간 또는, 미리 결정된 시간 (예를 들어, 2초) 이상의 응시 시간을 갖는 “안도감”을 제외한 “행복”, “괴로움”, “우울”의 감정 단어의 응시가 진행되는 중에 획득한 생체 신호 데이터는 각각의 감정 단어와 모호한 감정 라벨링 데이터로 매칭될 수 있다. 즉, “행복”, “괴로움”, “우울”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, “안도감”과 라벨링된 생체 신호 데이터보다 신뢰도가 낮은 데이터일 수 있다.

도 9b를 참조하면, 사용자는, HMD 디바이스를 통해, 감정 유발 질의 및 “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시와 함께 HMD 디바이스의 입력부를 통한 사용자의 선택이 이루어질 수 있다. 이때, 사용자에 의해 선택된 “행복”은, 가장 긴 응시 시간 또는, 미리 결정된 시간 (예를 들어, 2초) 이상의 응시 시간을 갖는 “무서움”과 상이하다. 즉, 사용자에 의해 선택된 “행복”과 이에 대한 선택이 진행되는 중에 획득된 생체 신호 데이터는 모호한 감정 라벨링 데이터로 매칭될 수 있다. 즉, “행복”, “괴로움”, “우울”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, “안도감”과 라벨링된 생체 신호 데이터보다 신뢰도가 낮은 데이터일 수 있다.

한편, 9a 및 9b에서 제2 라벨링된 생체 신호 데이터의 모호한 감정 라벨링 데이터는, 8a 및 8b에서 전술한 제1 라벨링된 생체 신호 데이터의 확실한 감정 라벨링 데이터와 사용자의 감정을 분류하도록 구성된 감정 분류 모델의 학습에 더욱 적용될 수 있다. 즉, 본 발명의 감정 라벨링 방법에 따라 라벨링된 생체 신호 데이터들은 감정 분류 모델의 학습에 제공될 수 있어, 감정 분류 모델에 대한 감정 분류 성능 향상을 기대할 수 있다. 예를 들어, 감정 분류 모델은, 확실한 감정 라벨링 데이터와 함께 모호한 감정 라벨링 데이터를 학습 데이터로 이용하도록 구성될 수 있다.

이하에서는 도 10을 참조하여, 본 발명의 일 실시예에 따른 감정 라벨링 방법의 감정 평가 단계에 대하여 구체적으로 설명한다.

도 10은 본 발명의 일 실시예에 따른 감정 라벨링 방법에 따라, 감정 분류 모델에 기초한 사용자의 감정 평가 단계를 예시적으로 도시한 것이다.

도 10을 참조하면, 감정 평가를 위해, 사용자로부터 획득된 새로운 생체 신호 데이터가 감정 분류 모델에 입력된다. 그 다음, 감정 분류 모델 내에서 입력된 생체 신호 데이터에 대한 특징이 추출된다.

이때, 감정 분류 모델은, DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나의 딥 러닝 알고리즘에 기초할 수 있다.

최종적으로, 감정 분류 모델은 사용자에 대한 감정을 분류하여 출력한다.

이에, 감정 분류 모델에 기초한 본 발명의 일 실시예에 따른 감정 라벨링용 디바이스는, HMD 장치로부터 획득된 사용자의 생체 신호 데이터를 기초로 사용자의 감정을 평가하여 제공할 수 있다.

본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 감정 라벨링용 디바이스
200: HMD 디바이스
1000: 기준 감정 라벨링 시스템

Claims (18)

1. 프로세서에 의해 구현되는 감정 라벨링 방법으로서,
   복수의 감정 유발 컨텐츠를 사용자에게 제공하는 단계;
   상기 복수의 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 상기 사용자의 생체 신호 데이터를 수신하는 단계;
   상기 상기 복수의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택을 입력 받는 단계;
   감정이 라벨링된 생체 신호 데이터를 획득하도록, 상기 선택과 상기 생체 신호 데이터를 매칭하는 단계, 및
   상기 감정이 라벨링된 생체 신호 데이터를 제공하는 단계를 포함하는, 감정 라벨링 방법.
2. 제1항에 있어서,
   상기 복수의 감정 유발 컨텐츠에 대한 시선 데이터를 수신하는 단계를 더 포함하고,
   상기 선택은 상기 복수의 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 포함하는, 감정 라벨링 방법.
3. 제2항에 있어서,
   상기 응시가 미리 결정된 시간 이상 유지되는 경우,
   상기 생체 신호 데이터를 매칭하는 단계는,
   상기 선택과 상기 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함하고,
   상기 응시가 미리 결정된 시간 미만인 경우,
   상기 생체 신호 데이터를 매칭하는 단계는,
   상기 선택과 상기 생체 신호 데이터를 제2 감정이 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함하는, 감정 라벨링 방법.
4. 제3항에 있어서,
   상기 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터를 이용하여, 생체 신호 데이터에 기초하여 감정을 분류하도록 구성된 감정 분류 모델을 학습시키는 단계를 더 포함하는, 감정 라벨링 방법.
5. 제3항에 있어서,
   새로운 시선 데이터를 수신하는 단계, 및
   상기 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터, 및 상기 새로운 시선 데이터에 기초하여 사용자에 대한 감정을 평가하는 단계를 더 포함하는, 감정 라벨링 방법.
6. 제1항에 있어서,
   사용자로부터 새로운 생체 신호 데이터를 수신하는 단계, 및
   상기 감정이 라벨링된 생체 신호 데이터 및 상기 새로운 생체 신호 데이터에 기초하여, 상기 사용자의 감정을 평가하는 단계를 더 포함하는, 감정 라벨링 방법.
7. 제1항에 있어서,
   상기 감정 유발 컨텐츠에 대한 선택을 입력 받는 단계는,
   상기 사용자로부터 상기 복수의 감정 유발 컨텐츠 중 하나의 감정 유발 컨텐츠에 대한 선택을 HMD (Head Mounted Display) 디바이스의 입력부를 통해 입력 받는 단계를 포함하는, 감정 라벨링 방법.
8. 제7항에 있어서,
   상기 생체 신호 데이터를 매칭하는 단계 이후에,
   상기 선택과 연관된 복수개의 감정 유발 컨텐츠를 제공하는 단계;
   상기 선택과 연관된 복수개의 감정 유발 컨텐츠에 대한 선택이 입력되는 과정에서 사용자의 추가 생체 신호 데이터를 수신하는 단계;
   상기 선택과 연관된 복수개의 감정 유발 컨텐츠 중 적어도 하나의 추가 선택을 입력 받는 단계, 및
   상기 추가 선택과 상기 추가 생체 신호 데이터를 매칭하는 단계를 더 포함하는, 감정 라벨링 방법.
9. 제1항에 있어서,
   상기 복수의 감정 유발 컨텐츠는,
   복수의 감정을 표현하는 음성, 이미지, 영화, 애니메이션, 광고, 홍보 영상 및 텍스트 중 적어도 하나의 컨텐츠를 포함하는, 감정 라벨링 방법.
10. 제1항에 있어서,
    상기 복수의 감정 유발 컨텐츠는,
    상기 사용자의 감정에 대한 질의 음성을 포함하고,
    상기 선택은,
    상기 질의 음성에 대한 상기 사용자의 대답 음성을 포함하는, 감정 라벨링 방법.
11. 제1항에 있어서,
    상기 선택을 입력 받는 단계 이후에,
    상기 적어도 하나의 감정 유발 컨텐츠를 나머지 감정 유발 컨텐츠와 상이한 크기로 출력하는 단계를 더 포함하는, 감정 라벨링 방법.
12. 복수의 감정 유발 컨텐츠를 사용자에게 제공하도록 구성된 출력부,
    상기 복수의 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 상기 사용자의 생체 신호 데이터를 수신하도록 구성된 수신부,
    상기 복수의 감정 유발 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택을 입력 받도록 구성된 입력부, 및
    상기 사용자의 선택과 생체 신호 데이터를 매칭하도록 구성된 프로세서를 포함하는, 감정 라벨링용 디바이스.
13. 제12항에 있어서,
    상기 수신부는, 복수의 감정 유발 컨텐츠에 대한 시선 데이터를 수신하도록 더 구성되고,
    상기 입력부는 복수의 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 선택으로 입력 받도록 더 구성된, 감정 라벨링용 디바이스.
14. 제13항에 있어서,
    상기 프로세서는, 응시가 미리 결정된 시간 이상 유지된 경우 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하거나, 응시가 미리 결정된 시간 미만으로 유지된 경우 선택과 생체 신호 데이터를 제2 라벨링된 생체 신호 데이터로 매칭하도록 더 구성된, 감정 라벨링용 디바이스.
15. 제14항에 있어서,
    상기 프로세서는, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터를, 생체 신호 데이터에 기초하여 감정을 분류하도록 구성된 감정 분류 모델을 학습시키도록 더 구성된, 감정 라벨링용 디바이스.
16. 제14항에 있어서,
    상기 수신부는 새로운 시선 데이터를 수신하도록 더 구성될 수 있다. 나아가, 프로세서는 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링 데이터, 및 상기 새로운 시선 데이터에 기초하여 사용자에 대한 감정을 평가하도록 더 구성된, 감정 라벨링용 디바이스.
17. 제12항에 있어서,
    상기 수신부는 사용자로부터 새로운 생체 신호 데이터를 수신하도록 더 구성되고,
    상기 프로세서는 감정이 라벨링된 생체 신호 데이터 및 새로운 생체 신호 데이터에 기초하여 사용자의 감정을 평가하도록 더 구성된, 감정 라벨링용 디바이스.
18. 제12항에 있어서,
    상기 입력부는 상기 적어도 하나의 감정 유발 컨텐츠에 대한 선택을 입력 받도록 구성된 HMD (Head Mounted Display) 의 입력부인, 감정 라벨링용 디바이스.

Images