KR20210107442A - 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법 - Google Patents

감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법 Download PDF

Info

Publication number
KR20210107442A
KR20210107442A KR1020200022454A KR20200022454A KR20210107442A KR 20210107442 A KR20210107442 A KR 20210107442A KR 1020200022454 A KR1020200022454 A KR 1020200022454A KR 20200022454 A KR20200022454 A KR 20200022454A KR 20210107442 A KR20210107442 A KR 20210107442A
Authority
KR
South Korea
Prior art keywords
user
simulator
satisfaction
emotional state
control method
Prior art date
Application number
KR1020200022454A
Other languages
English (en)
Other versions
KR102490035B1 (ko
Inventor
최종은
용환무
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200022454A priority Critical patent/KR102490035B1/ko
Publication of KR20210107442A publication Critical patent/KR20210107442A/ko
Application granted granted Critical
Publication of KR102490035B1 publication Critical patent/KR102490035B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 VR 시뮬레이터 사용자의 이미지를 획득하는 단계, 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계, 기 학습된 합성곱 신경망 모델을 이용하여 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계, 기 학습된 만족도 추정 모델을 이용하여 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계, 및 추정한 만족도에 맞추어 VR 시뮬레이터의 동작을 제어하는 단계를 포함한다.

Description

감정 상태 추정을 이용한 VR 시뮬레이터 제어 방법{VR SIMULATOR CONTROL METHOD USING EMOTIONAL STATE ESTIMATION}
본 발명은 감정 상태 추정을 이용한 VR 시뮬레이터 제어 방법에 관한 것이다. 보다 상세하게 본 발명은 HMD(Head Mounted Display)를 착용한 상태로 VR(Virtual Reality) 시뮬레이터를 이용하는 사용자의 감정 상태를 정확하게 추정하여 VR 시뮬레이터의 동작을 제어함으로써 함으로써, 사용자에게 양질의 서비스를 제공할 수 있도록 한 VR 시뮬레이터 제어 방법에 관한 것이다.
가상 현실(Virtual Reality, VR)이란 사람이 실제와 같은 체험을 할 수 있도록 컴퓨터 기술을 이용해 만든 가상의 세계를 의미하며, 가상 현실을 체험할 수 있도록 해주는 장치가 VR 시뮬레이터이다. 제공되는 컨텐츠의 종류에 따라 VR 시뮬레이터의 종류나 형태가 달라질 수 밖에 없지만, HMD(Head Mounted Display)라고 부르는 디스플레이 장치가 핵심 요소라는 점에서는 공통점을 가진다. 도 1에는 자동차 운전 환경을 제공하는 VR 시뮬레이터(100)의 일 예가 도시되어 있다.
도 1에 도시된 바와 같이, VR 시뮬레이터(100)는 사용자(10)에게 시각적, 청각적 정보를 제공하는 HMD(110), 및 자동차 운전석과 같은 환경을 제공하는 의자(120)와 핸들(140)을 포함할 수 있으며, 여기에 별도의 디스플레이 장치(130)가 더 포함될 수 있다. 사용자(10)는 HMD(110)를 착용한 상태에서 핸들(140)을 조작함으로써, 마치 진짜 자동차를 운전하는 것과 유사한 경험을 할 수 있다.
한편, 보다 나은 서비스를 제공하기 위해서는 VR 시뮬레이터(100)를 이용하는 사용자(10)의 만족도를 정확하게 파악할 필요가 있다. 이를 위하여, VR 시뮬레이터(100) 사용이 종료된 이후 사용자(10)로부터 설문을 받는 방법이 이용될 수 있다. 그러나, 설문을 받는 방법은 컨텐츠 전반에 대한 평가 지표로는 사용될 수 있으나, 컨텐츠의 어떤 부분이 어떤 만족도를 주었는지는 알 수 없다는 문제가 있다. 또한, 컨텐츠가 제공되는 동안 지속적으로 변하는 사용자(10)의 반응을 즉각적으로 파악할 수 없기 때문에, 사용자(10) 맞춤형 서비스를 제공할 수 없다는 문제가 있다.
이러한 문제점들을 해결하기 위하여 얼굴 인식 기술을 이용한 감정 추정 기술을 적용하려는 시도들이 있었다. 그러나, 대부분의 얼굴 인식 기술들은 눈 주변부를 특징점으로 하여 감정 상태를 추정하는 것이기 때문에, HMD(110)를 착용한 상태에서는 정확한 감정 상태를 추정할 수 없다는 문제점이 있다.
본 발명의 과제는 기 학습된 합성곱 신경망 모델을 이용하여 VR 시뮬레이터 사용자의 감정 상태를 정확하게 추정하고, 추정한 감정 상태에 따라 VR 시뮬레이터를 제어하는 데 있다. 특히, 입 주변부를 중심으로 합성곱 신경망 모델을 학습함으로써, HMD를 착용한 상태에서도 사용자의 감정 상태를 정확하게 파악할 수 있다.
다만, 본 발명이 해결하고자 하는 과제가 상술한 과제에 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 다양하게 확장될 수 있을 것이다.
상술한 본 발명의 과제를 달성하기 위하여, 예시적인 실시예들에 따른 VR 시뮬레이터 제어 방법은, HMD(Head Mounted Display)를 착용한 VR(Virtual Reality) 시뮬레이터 사용자의 이미지를 획득하는 단계, 상기 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계, 기 학습된 합성곱 신경망 모델을 이용하여 상기 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계, 기 학습된 만족도 추정 모델을 이용하여 상기 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계, 및 상기 추정한 만족도에 맞추어 상기 VR 시뮬레이터의 동작을 제어하는 단계를 포함한다.
예시적인 실시예들에 있어서, 상기 사용자의 감정 상태를 추정하는 단계는, 상기 사용자의 얼굴 이미지 중에서 입 주변부의 특징점을 이용하여 사용자의 감정 상태를 추정할 수 있다.
예시적인 실시예들에 있어서, 상기 기 학습된 합성곱 신경망 모델은, HMD를 착용한 사람의 이미지들, 및 HMD를 착용하지 않은 사람의 이미지에서 눈 주변부를 제거한 이미지들을 이용하여 학습된 것일 수 있다.
예시적인 실시예들에 있어서, 상기 기 학습된 만족도 추정 모델은, 상기 기 학습된 합성곱 신경망 모델을 이용하여 상기 VR 시뮬레이터를 사용하고 있는 사용자의 감정 상태를 추정하는 단계, 상기 VR 시뮬레이터 사용을 종료한 사용자로부터 만족도에 관한 설문 정보를 획득하는 단계, 및 상기 추정한 감정 상태의 변화와 상기 획득한 설문 정보를 이용하여 회귀 분석을 실시하여 만족도 추정 모델을 생성하는 단계를 통해 학습된 것일 수 있다.
예시적인 실시예들에 있어서, 상기 VR 시뮬레이터의 동작을 제어하는 단계는, 사용자의 만족도에 따라 VR 시뮬레이터의 동작 중지 여부를 결정하거나, 또는 VR 시뮬레이터에서 제공하는 컨텐츠의 종류를 변경할 수 있다.
예시적인 실시예들에 있어서, 상기 사용자의 만족도는 사용자가 느끼는 멀미의 정도, 공포의 정도, 컨텐츠 만족도 중에서 적어도 하나를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 감정 상태는, 행복, 놀라움, 중립, 부정적인 감정을 포함할 수 있다.
본 발명의 예시적인 실시예들에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 상태로 VR 시뮬레이터를 이용하고 있는 사용자의 감정 상태, 및 감정 상태 변화에 따른 만족도를 정확하게 추정할 수 있다. 이를 이용하여 VR 시뮬레이터의 동작 상태나 제공되는 컨텐츠를 변경함으로써, VR 시뮬레이터 사용자에게 만족도 높은 최적의 서비스를 제공할 수 있다.
도 1은 VR 시뮬레이터의 일 예를 나타내는 도면이다.
도 2는 본 발명에 따른 VR 시뮬레이터 제어 장치를 나타내는 블록도이다.
도 3은 신경망 모델의 일 예를 나타내는 도면이다.
도 4는 신경망 모델을 학습하는 방법을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시예에 따른 VR 시뮬레이터 제어 장치의 외형을 나타내는 도면들이다.
도 6은 본 발명에 따른 VR 시뮬레이터 제어 방법의 단계들을 설명하기 위한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명에 따른 VR 시뮬레이터 제어 장치를 나타내는 블록도이다. 도 3은 신경망 모델의 일 예를 나타내는 도면이다. 도 4는 신경망 모델을 학습하는 방법을 설명하기 위한 도면들이다. 도 5는 본 발명의 일 실시예에 따른 VR 시뮬레이터 제어 장치의 외형을 나타내는 도면들이다.
도 2를 참조하면, VR 시뮬레이터 제어 장치(200)는 촬영된 이미지와 만족도 정보를 획득하는 입력부(210), 획득한 이미지로부터 사람의 얼굴을 인식하는 얼굴 인식부(220), 기 학습된 신경망 모델을 이용하여 인식한 얼굴로부터 사용자의 감정 상태를 추정하는 감정 추정부(230), 추정한 감정 상태 변화를 이용하여 사용자의 만족도를 추정하는 만족도 추정부(240), 외부와 통신을 수행하는 통신부(250), 각종 데이터들이 저장되는 저장부(260), 추정한 사용자의 감정 상태에 따라 VR 시뮬레이터를 제어하는 제어부(270), 및 제어 상태 등을 외부로 출력하는 출력부(280)를 포함한다.
입력부(210)는 카메라 등의 촬영 장치, 및 사용자로부터 만족도 정보를 입력 받는 터치 패널을 포함할 수 있다.
상기 카메라는 VR 시뮬레이터(100)를 사용 중인 사용자(10)를 촬영하여 이미지를 획득하고, 제어부(260)를 통해 얼굴 인식부(220) 및 감정 추정부(230)로 제공할 수 있다. 또한, 입력부(210)에서 촬영된 이미지는 저장부(250)에 저장되어 후술할 합성곱 신경망 모델(N1)의 학습에 사용될 수 있다.
상기 터치 패널은 VR 시뮬레이터(100) 이용을 종료한 사용자(10)로부터 만족도에 관한 정보를 입력 받는 수단이다. 상기 만족도는 VR 시뮬레이터(100)를 사용하는 동안 사용자(10)가 느낀 멀미의 정도, 공포의 정도, 재미 등 서비스 만족 정도 등을 포함할 수 있다. 입력부(210)는 상기 만족도에 관한 정보를 입력 받아, 만족도 추정부(240)로 제공할 수 있다.
얼굴 인식부(220)는 영상 이미지 내에서 사람의 얼굴 영역을 인식하는 얼굴 인식 알고리즘을 포함하며, 입력부(210)에서 제공 받은 이미지로부터 사람의 얼굴을 인식할 수 있다. 다만, 본 발명에서는 HMD(110)를 착용한 상태의 사용자(10)를 인식하여야 하기 때문에, 얼굴 인식부(220)는 주로 입 주변부를 특징점으로 하여 사람의 얼굴을 인식할 수 있다.
감정 추정부(230)는 얼굴 인식부(220)에서 인식한 사람의 얼굴 이미지로부터 사용자(10)의 감정 상태를 추정할 수 있다. 이 경우에 있어서, 상기 감정 상태는 행복, 놀라움, 중립, 부정적인(negative) 감정 등을 포함할 수 있으나, 감정 상태의 분류는 필요에 따라 적절히 변경될 수 있다.
일 실시예에 있어서, 감정 추정부(230)는 기 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델(N1)을 이용하여 사용자(10)의 감정 상태를 추정할 수 있다. 상기 합성곱 신경망 모델(N1)의 일 예가 도 3에 도시되어 있다.
도 3에 도시된 바와 같이, 상기 합성곱 신경망 모델(N1)은 3개의 합성곱 계층들(Convolution Layer, C1, C2, C3), 3개의 맥스 풀링 계층들(Max Pulling Layer), 및 2개의 완전 연결 계층들(Fully Connected Layer, F1, F2)을 포함할 수 있다. 이 경우, 입력부(210)에서 촬영된 이미지들이 입력(Input)으로 제공되며, 상기 계층들을 거치면서 특징 맵(Feature Map)들이 생성되고, 마지막으로 사용자(10)의 감정 상태에 대한 추정 값이 출력(Output)될 수 있다.
한편, 종래의 감정 추정 기술들은 얼굴 전체, 특히 눈 주변부의 특징점 변화를 주된 타겟으로 파악하여 사람의 감정 상태를 추정하였다. 그러나, VR 시뮬레이터(100)를 사용 중인 사용자(10)는 눈을 덮는 HMD(110)를 착용한 상태이기 때문에, 눈 주변부의 특징점 변화를 파악하기 어렵다. 따라서, 본 발명에서는 얼굴 이미지에서 눈 주변부를 제외하고 나머지 부분, 특히 입 주변부의 특징점 변화를 이용하여 신경망 모델을 학습하고, 또한 사용자(10)의 감정 상태를 추정한다.
예를 들면, 상기 기 학습된 합성곱 신경망 모델(N1)은 입력부(210)에서 촬영된 HMD(110) 착용 상태의 사용자 이미지(도 4(a))들, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거한 이미지(도 4(b))들, 그리고 통신부(240)를 통해 외부(인터넷 서버 등)에서 획득한 HMD 착용 이미지들을 이용하여 감정 상태 추정에 관한 학습을 수행할 수 있다. 이 경우, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거하는 것은 HMD(110)를 착용한 상태라고 가정한 것으로, 최대한 많은 수의 학습 데이터를 이용하여 추정의 정확성을 향상시키기 위함이다. 또한, 눈 주변부(B)를 학습에 이용하지 않기 때문에, 입 주변부(A)의 이미지가 주된 평가 요소로 작용하게 된다.
만족도 추정부(240)는 감정 추정부(230)가 추정한 감정 상태의 변화에 관한 정보, 및 입력부(210)가 사용자(10)로부터 획득한 만족도 정보를 이용하여 회귀 분석(Regression Analysis)을 실시함으로써, 감정 상태 변화에 따른 만족도 추정 모델을 생성할 수 있다. 구체적으로, VR 시뮬레이터(100) 사용을 마친 사용자(10)가 해당 컨텐츠에 대한 만족도 정보, 예를 들어, 멀미 정도, 공포 정도, 컨텐츠 만족도 정보 등을 입력부(210)에 입력하면, 만족도 추정부(240)는 상기 입력된 만족도 정보를 지상 진실(Ground Truth)로 사용하여, 감정 추정부(230)에서 추정한 감정 상태와 만족도 사이의 상관 관계를 학습할 수 있다.
또한, 만족도 추정부(240)는 상기 학습된 만족도 추정 모델을 이용하여, 사용자(10)의 만족도를 실시간으로 판단할 수 있다. 만족도 추정부(240)는 상기 추정한 만족도 정보를 제어부(270)로 제공할 수 있고, 제어부(270)는 이를 이용하여 VR 시뮬레이터(200)를 제어할 수 있다. 예를 들어, 사용자(10)가 멀미를 하는 등 불쾌한 상태에 있다고 만족도 추정부(240)가 판단한 경우라면, 제어부(270)는 즉시 VR 시뮬레이터(100)의 동작을 중지시킬 수 있을 것이다.
통신부(250)는 VR 시뮬레이터 제어 장치(200)와 외부, 예를 들면, 인터넷 통신망이나 클라우드 서버 사이의 통신을 수행할 수 있다. 예를 들면, VR 시뮬레이터 제어 장치(200)는 통신부(250)를 통해 감정 추정 학습에 필요한 이미지들을 획득할 수 있고, VR 시뮬레이터(100)를 원격으로 제어할 수 있다.
저장부(260)는 각종 데이터를 저장하고, 저장된 데이터를 다른 구성들로 제공할 수 있다. 예를 들면, 입력부(210)를 통해 획득한 사용자의 만족도 정보, 통신부(250)를 통해 외부로부터 획득한 학습용 이미지들이 저장부(260)에 저장될 수 있다.
제어부(270)는 만족도 추정부(240)에서 추정한 사용자(10)의 만족도에 따라 VR 시뮬레이터(100)를 제어할 수 있다. 예를 들어, 사용자(10)가 멀미를 느끼는 경우 제어부(270)는 VR 시뮬레이터(100)의 동작을 중지시킬 수 있고, 사용자(10)가 지루함을 느끼는 경우 제어부(270)는 VR 시뮬레이터(100)에서 제공되는 컨텐츠의 종류나 난이도를 교체할 수 있다.
출력부(280)는 시각 이미지로 정보를 전달하는 디스플레이 장치, 소리로 정보를 전달하는 스피커 등을 포함할 수 있다. 출력부(280)는 사용자(10)에게 VR 시뮬레이터(100)에 관한 각종 정보들을 제공하거나, 사용자(10)의 감정 상태 및 만족도에 관한 추정 결과를 표시하거나, 또는 VR 시뮬레이터(100)의 동작 상태를 표시할 수 있다.
도 5는 상술한 VR 시뮬레이터 제어 장치(200)의 일례를 나타내는 도면이다. 도 5에 도시된 바와 같이, VR 시뮬레이터 제어 장치(200)는 외형을 이루는 바디(201), 및 상기 바디(201)에 장착되는 복수 개의 디스플레이 장치들(202, 203) 및 카메라(도시되지 않음)를 포함할 수 있다. 바디(201)의 내부에는 얼굴 인식부(220), 감정 추정부(230), 만족도 추정부(240), 통신부(250), 저장부(260), 및 제어부(270) 등이 수용될 수 있다.
바디(201) 전면에 설치된 제1 디스플레이 장치(202)는 VR 시뮬레이터(100) 사용자(10)에게 정보를 제공하고, VR 시뮬레이터(100) 사용이 끝난 사용자(10)로부터 만족도에 관한 설문 정보를 입력 받을 수 있다. 또한, 바디(201)의 후면에 설치된 제2 디스플레이 장치(203)는, 사용자(10)의 감정 상태와 만족도 정보, VR 시뮬레이터(100)의 동작 상태 등에 관한 정보를 관리자에게 제공할 수 있다. 다만, 도 5에 도시된 VR 시뮬레이터 제어 장치(200)는 예시적인 것이며, 설치 환경과 필요에 따라 외관과 구성이 적절히 변경될 수 있다.
상술한 바와 같이, 본 발명에 따른 VR 시뮬레이터 제어 장치는, HMD(110)를 착용한 상태로 VR 시뮬레이터(100)를 이용하고 있는 사용자(10)의 감정 상태를 추정하고, 감정 상태 변화에 따른 사용자(10)의 만족도를 정확하게 파악할 수 있다. 또한, 사용자(10)의 만족도에 따라 VR 시뮬레이터(100)의 동작 상태나 제공되는 컨텐츠를 변경할 수 있다. 이에 따라, VR 시뮬레이터(100) 사용자에게 최적의 서비스를 제공할 수 있다.
이하에서는, 도 1 내지 도 5를 참조로 설명한 VR 시뮬레이터 제어 장치(200)를 이용하여 VR 시뮬레이터(100)를 제어하는 방법에 대하여 보다 상세하게 설명하기로 한다. 다만, 중복되는 내용에 대해서는 설명을 생략하거나 또는 간략히 설명하기로 한다.
도 6을 참조하면, 먼저 감정 추정을 위한 신경망 모델(N1)과 만족도 추정 모델을 학습한다(S100).
감정 추정을 위한 신경망 모델(N1)의 경우, VR 시뮬레이터(100)를 이용 했던 사용자들의 이미지(도 4(a))들, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거한 이미지(도 4(b))들, 그리고 인터넷 서버 등 외부에서 획득한 HMD 착용 이미지들을 이용하여, HMD(110)를 착용한 사용자의 감정 상태를 추정하는 모델을 학습할 수 있다. 이 때, 눈 주변부(B)는 HMD(110)에 가려지기 때문에, 입 주변부(A)가 주요한 특징점으로 작용할 수 있다. 이에 대해서는 도 3 및 도 4를 참조로 상술한 바 있다.
만족도 추정 모델의 경우, 상기 신경망 모델(N1)에서 추정한 감정 상태 정보와, 입력부(210)를 통해 사용자로부터 획득한 만족도 설문 결과를 이용하여 회귀 분석(Regression Analysis)을 실시함으로써, 감정 상태 변화에 따른 만족도 추정 모델을 생성할 수 있다. 이에 대해서도 만족도 추정부(240)를 설명하면서 상술한 바 있다.
추정 모델들에 대한 학습이 완료되면, 상기 학습된 추정 모델들을 이용하여 VR 시뮬레이터(100)를 사용 중인 사용자(10)의 감정 상태 및 만족도를 파악한다.
구체적으로, VR 시뮬레이터(100)를 사용중인 이미지를 획득하고(S110), 상기 획득한 이미지로부터 사람의 얼굴을 인식하고(S120), 상기 학습된 신경망 모델(N1)을 사용하여 인식된 얼굴 이미지로부터 사용자의 감정 상태를 추정한다(S130). 또한, 상기 학습된 만족도 추정 모델을 사용하여 사용자의 감정 상태 변화에 따른 만족도를 추정한다(S140).
마지막으로, 추정된 사용자의 만족도에 맞추어 실시간으로 VR 시뮬레이터(100)의 동작이나 제공되는 컨텐츠를 제어한다. 예를 들어, 사용자가 멀미를 느낀다고 추정되면 VR 시뮬레이터(100)의 동작을 중지시키고, 사용자가 지루함을 느낀다고 추정되면 제공되는 컨텐츠를 교체한다.
상술한 바와 같이, 본 발명에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 VR 시뮬레이터(100) 사용자의 감정 상태, 및 감정 상태 변화에 따른 만족도를 정확하게 파악할 수 있다. 또한, 사용자의 만족도에 따라 VR 시뮬레이터(100)의 동작 상태나 제공되는 컨텐츠를 변경할 수 있다. 이에 따라, VR 시뮬레이터(100) 사용자에게 최적의 서비스를 제공할 수 있다. 뿐만 아니라, 제공된 컨텐츠에 대한 사용자의 반응을 빅 데이터로 활용함으로써 보다 나은 VR 시뮬레이터 컨텐츠 개발에도 활용할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 사용자 100: VR 시뮬레이터
110: HMD 120: 의자
130: 디스플레이 장치 140: 핸들
200: VR 시뮬레이터 제어 장치
210: 입력부 220: 얼굴 인식부
230: 감정 추정부 240: 만족도 추정부
250: 통신부 260: 저장부
270: 제어부 280: 출력부

Claims (7)

  1. HMD(Head Mounted Display)를 착용한 VR(Virtual Reality) 시뮬레이터 사용자의 이미지를 획득하는 단계;
    상기 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계;
    기 학습된 합성곱 신경망 모델을 이용하여 상기 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계;
    기 학습된 만족도 추정 모델을 이용하여 상기 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계; 및
    상기 추정한 만족도에 맞추어 상기 VR 시뮬레이터의 동작을 제어하는 단계를 포함하는 VR 시뮬레이터 제어 방법.
  2. 제1항에 있어서, 상기 사용자의 감정 상태를 추정하는 단계는, 상기 사용자의 얼굴 이미지 중에서 입 주변부의 특징점을 이용하여 사용자의 감정 상태를 추정하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
  3. 제1항에 있어서, 상기 기 학습된 합성곱 신경망 모델은,
    HMD를 착용한 사람의 이미지들, 및 HMD를 착용하지 않은 사람의 이미지에서 눈 주변부를 제거한 이미지들을 이용하여 학습된 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
  4. 제3항에 있어서, 상기 기 학습된 만족도 추정 모델은,
    상기 기 학습된 합성곱 신경망 모델을 이용하여 상기 VR 시뮬레이터를 사용하고 있는 사용자의 감정 상태를 추정하는 단계;
    상기 VR 시뮬레이터 사용을 종료한 사용자로부터 만족도에 관한 설문 정보를 획득하는 단계; 및
    상기 추정한 감정 상태의 변화와 상기 획득한 설문 정보를 이용하여 회귀 분석을 실시하여 만족도 추정 모델을 생성하는 단계를 통해 학습된 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
  5. 제1항에 있어서, 상기 VR 시뮬레이터의 동작을 제어하는 단계는,
    사용자의 만족도에 따라 VR 시뮬레이터의 동작 중지 여부를 결정하거나, 또는 VR 시뮬레이터에서 제공하는 컨텐츠의 종류를 변경하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
  6. 제1항에 있어서, 상기 사용자의 만족도는 사용자가 느끼는 멀미의 정도, 공포의 정도, 컨텐츠 만족도 중에서 적어도 하나를 포함하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
  7. 제1항에 있어서, 상기 감정 상태는, 행복, 놀라움, 중립, 부정적인 감정을 포함하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
KR1020200022454A 2020-02-24 2020-02-24 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법 KR102490035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022454A KR102490035B1 (ko) 2020-02-24 2020-02-24 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022454A KR102490035B1 (ko) 2020-02-24 2020-02-24 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법

Publications (2)

Publication Number Publication Date
KR20210107442A true KR20210107442A (ko) 2021-09-01
KR102490035B1 KR102490035B1 (ko) 2023-01-17

Family

ID=77780028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022454A KR102490035B1 (ko) 2020-02-24 2020-02-24 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법

Country Status (1)

Country Link
KR (1) KR102490035B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2597122A (en) * 2020-05-11 2022-01-19 Nvidia Corp Reaction prediction using one or more neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180089855A (ko) * 2017-02-01 2018-08-09 삼성전자주식회사 상품을 추천하는 디바이스 및 방법
KR20180125756A (ko) * 2017-05-16 2018-11-26 전주대학교 산학협력단 감정인식 인터페이스 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180089855A (ko) * 2017-02-01 2018-08-09 삼성전자주식회사 상품을 추천하는 디바이스 및 방법
KR20180125756A (ko) * 2017-05-16 2018-11-26 전주대학교 산학협력단 감정인식 인터페이스 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2597122A (en) * 2020-05-11 2022-01-19 Nvidia Corp Reaction prediction using one or more neural networks

Also Published As

Publication number Publication date
KR102490035B1 (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
KR20200091839A (ko) 커뮤니케이션 장치, 커뮤니케이션 로봇 및 컴퓨터가 판독 가능한 기록 매체
US20220189093A1 (en) Interaction based on in-vehicle digital persons
CN109923462B (zh) 感测眼镜
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
TW202036465A (zh) 駕駛員注意力監測方法和裝置及電子設備
US20130083063A1 (en) Service Provision Using Personal Audio/Visual System
KR102525181B1 (ko) 이미지 수정 시스템 및 이의 이미지 수정 방법
US11645823B2 (en) Neutral avatars
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
CN109773807B (zh) 运动控制方法、机器人
CN108932654A (zh) 一种虚拟试妆指导方法及装置
EP3723050A1 (en) Modifying an appearance of hair
KR102229061B1 (ko) 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR102490035B1 (ko) 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법
CN114904268A (zh) 一种虚拟形象的调整方法、装置、电子设备及存储介质
JP5983159B2 (ja) 視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110139021B (zh) 辅助拍摄方法及终端设备
CN116543266A (zh) 注视行为知识引导的自动驾驶智能模型训练方法及装置
CN113781271A (zh) 化妆教学方法及装置、电子设备、存储介质
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
WO2023181808A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
KR102596322B1 (ko) 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021140642A1 (ja) 視線推定装置、視線推定方法、モデル生成装置、及びモデル生成方法
KR102647730B1 (ko) 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant