KR102490035B1 - Vr simulator control method using emotional state estimation - Google Patents

Vr simulator control method using emotional state estimation Download PDF

Info

Publication number
KR102490035B1
KR102490035B1 KR1020200022454A KR20200022454A KR102490035B1 KR 102490035 B1 KR102490035 B1 KR 102490035B1 KR 1020200022454 A KR1020200022454 A KR 1020200022454A KR 20200022454 A KR20200022454 A KR 20200022454A KR 102490035 B1 KR102490035 B1 KR 102490035B1
Authority
KR
South Korea
Prior art keywords
simulator
user
satisfaction
emotional state
learned
Prior art date
Application number
KR1020200022454A
Other languages
Korean (ko)
Other versions
KR20210107442A (en
Inventor
최종은
용환무
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200022454A priority Critical patent/KR102490035B1/en
Publication of KR20210107442A publication Critical patent/KR20210107442A/en
Application granted granted Critical
Publication of KR102490035B1 publication Critical patent/KR102490035B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 VR 시뮬레이터 사용자의 이미지를 획득하는 단계, 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계, 기 학습된 합성곱 신경망 모델을 이용하여 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계, 기 학습된 만족도 추정 모델을 이용하여 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계, 및 추정한 만족도에 맞추어 VR 시뮬레이터의 동작을 제어하는 단계를 포함한다.A method for controlling a VR simulator according to the present invention includes acquiring an image of a VR simulator user wearing an HMD, recognizing a user's face in the acquired image, and a face recognized using a pre-learned convolutional neural network model. Estimating the user's emotional state from the image, estimating the user's satisfaction from changes in the emotional state estimated using the previously learned satisfaction estimation model, and controlling the operation of the VR simulator according to the estimated satisfaction. include

Description

감정 상태 추정을 이용한 VR 시뮬레이터 제어 방법{VR SIMULATOR CONTROL METHOD USING EMOTIONAL STATE ESTIMATION}VR simulator control method using emotional state estimation {VR SIMULATOR CONTROL METHOD USING EMOTIONAL STATE ESTIMATION}

본 발명은 감정 상태 추정을 이용한 VR 시뮬레이터 제어 방법에 관한 것이다. 보다 상세하게 본 발명은 HMD(Head Mounted Display)를 착용한 상태로 VR(Virtual Reality) 시뮬레이터를 이용하는 사용자의 감정 상태를 정확하게 추정하여 VR 시뮬레이터의 동작을 제어함으로써 함으로써, 사용자에게 양질의 서비스를 제공할 수 있도록 한 VR 시뮬레이터 제어 방법에 관한 것이다.The present invention relates to a VR simulator control method using emotional state estimation. More specifically, the present invention provides a high-quality service to the user by accurately estimating the user's emotional state using a VR (Virtual Reality) simulator while wearing a Head Mounted Display (HMD) and controlling the operation of the VR simulator. It relates to a VR simulator control method that enables

가상 현실(Virtual Reality, VR)이란 사람이 실제와 같은 체험을 할 수 있도록 컴퓨터 기술을 이용해 만든 가상의 세계를 의미하며, 가상 현실을 체험할 수 있도록 해주는 장치가 VR 시뮬레이터이다. 제공되는 컨텐츠의 종류에 따라 VR 시뮬레이터의 종류나 형태가 달라질 수 밖에 없지만, HMD(Head Mounted Display)라고 부르는 디스플레이 장치가 핵심 요소라는 점에서는 공통점을 가진다. 도 1에는 자동차 운전 환경을 제공하는 VR 시뮬레이터(100)의 일 예가 도시되어 있다.Virtual Reality (VR) refers to a virtual world created using computer technology so that people can experience the same as real life, and a device that allows people to experience virtual reality is a VR simulator. Although the types and shapes of VR simulators inevitably vary depending on the type of content provided, they have a common point in that a display device called a Head Mounted Display (HMD) is a key element. 1 shows an example of a VR simulator 100 providing a car driving environment.

도 1에 도시된 바와 같이, VR 시뮬레이터(100)는 사용자(10)에게 시각적, 청각적 정보를 제공하는 HMD(110), 및 자동차 운전석과 같은 환경을 제공하는 의자(120)와 핸들(140)을 포함할 수 있으며, 여기에 별도의 디스플레이 장치(130)가 더 포함될 수 있다. 사용자(10)는 HMD(110)를 착용한 상태에서 핸들(140)을 조작함으로써, 마치 진짜 자동차를 운전하는 것과 유사한 경험을 할 수 있다.As shown in FIG. 1, the VR simulator 100 includes an HMD 110 that provides visual and auditory information to the user 10, and a chair 120 and a steering wheel 140 that provide an environment like a driver's seat of a car. It may include, where a separate display device 130 may be further included. The user 10 may have an experience similar to driving a real car by manipulating the steering wheel 140 while wearing the HMD 110 .

한편, 보다 나은 서비스를 제공하기 위해서는 VR 시뮬레이터(100)를 이용하는 사용자(10)의 만족도를 정확하게 파악할 필요가 있다. 이를 위하여, VR 시뮬레이터(100) 사용이 종료된 이후 사용자(10)로부터 설문을 받는 방법이 이용될 수 있다. 그러나, 설문을 받는 방법은 컨텐츠 전반에 대한 평가 지표로는 사용될 수 있으나, 컨텐츠의 어떤 부분이 어떤 만족도를 주었는지는 알 수 없다는 문제가 있다. 또한, 컨텐츠가 제공되는 동안 지속적으로 변하는 사용자(10)의 반응을 즉각적으로 파악할 수 없기 때문에, 사용자(10) 맞춤형 서비스를 제공할 수 없다는 문제가 있다.On the other hand, in order to provide a better service, it is necessary to accurately grasp the satisfaction of the user 10 using the VR simulator 100. To this end, a method of receiving a questionnaire from the user 10 after use of the VR simulator 100 may be used. However, although the method of receiving a survey can be used as an evaluation index for overall content, there is a problem in that it is not possible to know which part of the content gave what level of satisfaction. In addition, there is a problem in that a user 10 customized service cannot be provided because it is not possible to immediately grasp the user 10's constantly changing reaction while the content is being provided.

이러한 문제점들을 해결하기 위하여 얼굴 인식 기술을 이용한 감정 추정 기술을 적용하려는 시도들이 있었다. 그러나, 대부분의 얼굴 인식 기술들은 눈 주변부를 특징점으로 하여 감정 상태를 추정하는 것이기 때문에, HMD(110)를 착용한 상태에서는 정확한 감정 상태를 추정할 수 없다는 문제점이 있다.In order to solve these problems, there have been attempts to apply emotion estimation technology using face recognition technology. However, since most face recognition technologies estimate an emotional state using the eye periphery as a feature point, there is a problem in that an accurate emotional state cannot be estimated while the HMD 110 is worn.

본 발명의 과제는 기 학습된 합성곱 신경망 모델을 이용하여 VR 시뮬레이터 사용자의 감정 상태를 정확하게 추정하고, 추정한 감정 상태에 따라 VR 시뮬레이터를 제어하는 데 있다. 특히, 입 주변부를 중심으로 합성곱 신경망 모델을 학습함으로써, HMD를 착용한 상태에서도 사용자의 감정 상태를 정확하게 파악할 수 있다.An object of the present invention is to accurately estimate the emotional state of a VR simulator user using a pre-learned convolutional neural network model, and to control the VR simulator according to the estimated emotional state. In particular, by learning a convolutional neural network model around the mouth, it is possible to accurately grasp the user's emotional state even while wearing the HMD.

다만, 본 발명이 해결하고자 하는 과제가 상술한 과제에 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 다양하게 확장될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to the above-described problem, and may be expanded in various ways without departing from the spirit and scope of the present invention.

상술한 본 발명의 과제를 달성하기 위하여, 예시적인 실시예들에 따른 VR 시뮬레이터 제어 방법은, HMD(Head Mounted Display)를 착용한 VR(Virtual Reality) 시뮬레이터 사용자의 이미지를 획득하는 단계, 상기 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계, 기 학습된 합성곱 신경망 모델을 이용하여 상기 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계, 기 학습된 만족도 추정 모델을 이용하여 상기 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계, 및 상기 추정한 만족도에 맞추어 상기 VR 시뮬레이터의 동작을 제어하는 단계를 포함한다.In order to achieve the above object of the present invention, a VR simulator control method according to exemplary embodiments includes acquiring an image of a VR (Virtual Reality) simulator user wearing a Head Mounted Display (HMD), the obtained Recognizing the user's face in the image, estimating the user's emotional state from the recognized face image using a pre-learned convolutional neural network model, and using the pre-learned satisfaction estimation model to estimate the emotional state Estimating the user's satisfaction from the change in , and controlling the operation of the VR simulator according to the estimated satisfaction.

예시적인 실시예들에 있어서, 상기 사용자의 감정 상태를 추정하는 단계는, 상기 사용자의 얼굴 이미지 중에서 입 주변부의 특징점을 이용하여 사용자의 감정 상태를 추정할 수 있다.In example embodiments, the estimating of the user's emotional state may include estimating the user's emotional state using a feature point around the mouth of the user's face image.

예시적인 실시예들에 있어서, 상기 기 학습된 합성곱 신경망 모델은, HMD를 착용한 사람의 이미지들, 및 HMD를 착용하지 않은 사람의 이미지에서 눈 주변부를 제거한 이미지들을 이용하여 학습된 것일 수 있다.In example embodiments, the pre-learned convolutional neural network model may be learned using images of a person wearing an HMD and images obtained by removing eye peripheries from images of a person not wearing an HMD. .

예시적인 실시예들에 있어서, 상기 기 학습된 만족도 추정 모델은, 상기 기 학습된 합성곱 신경망 모델을 이용하여 상기 VR 시뮬레이터를 사용하고 있는 사용자의 감정 상태를 추정하는 단계, 상기 VR 시뮬레이터 사용을 종료한 사용자로부터 만족도에 관한 설문 정보를 획득하는 단계, 및 상기 추정한 감정 상태의 변화와 상기 획득한 설문 정보를 이용하여 회귀 분석을 실시하여 만족도 추정 모델을 생성하는 단계를 통해 학습된 것일 수 있다.In example embodiments, the pre-learned satisfaction estimation model may include estimating an emotional state of a user using the VR simulator using the pre-learned convolutional neural network model, terminating use of the VR simulator. It may be learned through the steps of acquiring survey information about satisfaction from one user and generating a satisfaction estimation model by performing regression analysis using the estimated change in emotional state and the obtained survey information.

예시적인 실시예들에 있어서, 상기 VR 시뮬레이터의 동작을 제어하는 단계는, 사용자의 만족도에 따라 VR 시뮬레이터의 동작 중지 여부를 결정하거나, 또는 VR 시뮬레이터에서 제공하는 컨텐츠의 종류를 변경할 수 있다.In exemplary embodiments, the controlling of the operation of the VR simulator may determine whether to stop the operation of the VR simulator or change the type of content provided by the VR simulator according to the user's satisfaction.

예시적인 실시예들에 있어서, 상기 사용자의 만족도는 사용자가 느끼는 멀미의 정도, 공포의 정도, 컨텐츠 만족도 중에서 적어도 하나를 포함할 수 있다.In example embodiments, the user's satisfaction may include at least one of a degree of motion sickness felt by the user, a degree of fear, and content satisfaction.

예시적인 실시예들에 있어서, 상기 감정 상태는, 행복, 놀라움, 중립, 부정적인 감정을 포함할 수 있다.In example embodiments, the emotional state may include happiness, surprise, neutral, and negative emotions.

본 발명의 예시적인 실시예들에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 상태로 VR 시뮬레이터를 이용하고 있는 사용자의 감정 상태, 및 감정 상태 변화에 따른 만족도를 정확하게 추정할 수 있다. 이를 이용하여 VR 시뮬레이터의 동작 상태나 제공되는 컨텐츠를 변경함으로써, VR 시뮬레이터 사용자에게 만족도 높은 최적의 서비스를 제공할 수 있다.The VR simulator control method according to exemplary embodiments of the present invention can accurately estimate the emotional state of a user who is using the VR simulator while wearing the HMD, and satisfaction according to changes in the emotional state. By using this, the operating state of the VR simulator or the provided content can be changed, thereby providing an optimal service with high satisfaction to the VR simulator user.

도 1은 VR 시뮬레이터의 일 예를 나타내는 도면이다.
도 2는 본 발명에 따른 VR 시뮬레이터 제어 장치를 나타내는 블록도이다.
도 3은 신경망 모델의 일 예를 나타내는 도면이다.
도 4는 신경망 모델을 학습하는 방법을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시예에 따른 VR 시뮬레이터 제어 장치의 외형을 나타내는 도면들이다.
도 6은 본 발명에 따른 VR 시뮬레이터 제어 방법의 단계들을 설명하기 위한 순서도이다.1 is a diagram illustrating an example of a VR simulator.
2 is a block diagram showing a VR simulator control device according to the present invention.
3 is a diagram illustrating an example of a neural network model.
4 are diagrams for explaining a method of learning a neural network model.
5 are diagrams showing the appearance of a VR simulator control device according to an embodiment of the present invention.
6 is a flowchart for explaining the steps of the VR simulator control method according to the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the present invention disclosed in the text, specific structural or functional descriptions are only exemplified for the purpose of explaining the embodiments of the present invention, and the embodiments of the present invention may be implemented in various forms and the text It should not be construed as being limited to the embodiments described above.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form disclosed, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Other expressions describing the relationship between elements, such as "between" and "directly between" or "adjacent to" and "directly adjacent to", etc., should be interpreted similarly.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "having" are intended to indicate that the described feature, number, step, operation, component, part, or combination thereof exists, but that one or more other features or numbers are present. However, it should be understood that it does not preclude the presence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, they are not interpreted in an ideal or excessively formal meaning. .

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail. The same reference numerals are used for the same components in the drawings, and redundant descriptions of the same components are omitted.

도 2는 본 발명에 따른 VR 시뮬레이터 제어 장치를 나타내는 블록도이다. 도 3은 신경망 모델의 일 예를 나타내는 도면이다. 도 4는 신경망 모델을 학습하는 방법을 설명하기 위한 도면들이다. 도 5는 본 발명의 일 실시예에 따른 VR 시뮬레이터 제어 장치의 외형을 나타내는 도면들이다.2 is a block diagram showing a VR simulator control device according to the present invention. 3 is a diagram illustrating an example of a neural network model. 4 are diagrams for explaining a method of learning a neural network model. 5 are diagrams showing the appearance of a VR simulator control device according to an embodiment of the present invention.

도 2를 참조하면, VR 시뮬레이터 제어 장치(200)는 촬영된 이미지와 만족도 정보를 획득하는 입력부(210), 획득한 이미지로부터 사람의 얼굴을 인식하는 얼굴 인식부(220), 기 학습된 신경망 모델을 이용하여 인식한 얼굴로부터 사용자의 감정 상태를 추정하는 감정 추정부(230), 추정한 감정 상태 변화를 이용하여 사용자의 만족도를 추정하는 만족도 추정부(240), 외부와 통신을 수행하는 통신부(250), 각종 데이터들이 저장되는 저장부(260), 추정한 사용자의 감정 상태에 따라 VR 시뮬레이터를 제어하는 제어부(270), 및 제어 상태 등을 외부로 출력하는 출력부(280)를 포함한다.Referring to FIG. 2, the VR simulator control device 200 includes an input unit 210 for obtaining a captured image and satisfaction information, a face recognition unit 220 for recognizing a person's face from the acquired image, and a pre-learned neural network model. An emotion estimator 230 for estimating the user's emotional state from a face recognized by using , a satisfaction estimator 240 for estimating the user's satisfaction using the estimated emotional state change, and a communication unit for communicating with the outside ( 250), a storage unit 260 for storing various data, a control unit 270 for controlling the VR simulator according to the estimated emotional state of the user, and an output unit 280 for outputting the control state to the outside.

입력부(210)는 카메라 등의 촬영 장치, 및 사용자로부터 만족도 정보를 입력 받는 터치 패널을 포함할 수 있다.The input unit 210 may include a photographing device such as a camera and a touch panel that receives satisfaction information from a user.

상기 카메라는 VR 시뮬레이터(100)를 사용 중인 사용자(10)를 촬영하여 이미지를 획득하고, 제어부(260)를 통해 얼굴 인식부(220) 및 감정 추정부(230)로 제공할 수 있다. 또한, 입력부(210)에서 촬영된 이미지는 저장부(250)에 저장되어 후술할 합성곱 신경망 모델(N1)의 학습에 사용될 수 있다.The camera may capture an image of the user 10 using the VR simulator 100, obtain an image, and provide the image to the face recognition unit 220 and the emotion estimation unit 230 through the controller 260. In addition, the image captured by the input unit 210 is stored in the storage unit 250 and can be used for learning of the convolutional neural network model N1 to be described later.

상기 터치 패널은 VR 시뮬레이터(100) 이용을 종료한 사용자(10)로부터 만족도에 관한 정보를 입력 받는 수단이다. 상기 만족도는 VR 시뮬레이터(100)를 사용하는 동안 사용자(10)가 느낀 멀미의 정도, 공포의 정도, 재미 등 서비스 만족 정도 등을 포함할 수 있다. 입력부(210)는 상기 만족도에 관한 정보를 입력 받아, 만족도 추정부(240)로 제공할 수 있다.The touch panel is a means for receiving information about satisfaction from the user 10 who has finished using the VR simulator 100 . The satisfaction level may include the degree of motion sickness felt by the user 10 while using the VR simulator 100, the degree of fear, the degree of satisfaction with services such as fun, and the like. The input unit 210 may receive information about the satisfaction and provide it to the satisfaction estimation unit 240 .

얼굴 인식부(220)는 영상 이미지 내에서 사람의 얼굴 영역을 인식하는 얼굴 인식 알고리즘을 포함하며, 입력부(210)에서 제공 받은 이미지로부터 사람의 얼굴을 인식할 수 있다. 다만, 본 발명에서는 HMD(110)를 착용한 상태의 사용자(10)를 인식하여야 하기 때문에, 얼굴 인식부(220)는 주로 입 주변부를 특징점으로 하여 사람의 얼굴을 인식할 수 있다.The face recognition unit 220 includes a face recognition algorithm for recognizing a human face region in a video image, and can recognize a human face from an image provided by the input unit 210 . However, in the present invention, since the user 10 wearing the HMD 110 needs to be recognized, the face recognition unit 220 may recognize a person's face mainly using the mouth periphery as a feature point.

감정 추정부(230)는 얼굴 인식부(220)에서 인식한 사람의 얼굴 이미지로부터 사용자(10)의 감정 상태를 추정할 수 있다. 이 경우에 있어서, 상기 감정 상태는 행복, 놀라움, 중립, 부정적인(negative) 감정 등을 포함할 수 있으나, 감정 상태의 분류는 필요에 따라 적절히 변경될 수 있다.The emotion estimator 230 may estimate the emotional state of the user 10 from the face image of the person recognized by the face recognition unit 220 . In this case, the emotional state may include happiness, surprise, neutral, negative emotion, etc., but the classification of the emotional state may be appropriately changed as needed.

일 실시예에 있어서, 감정 추정부(230)는 기 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델(N1)을 이용하여 사용자(10)의 감정 상태를 추정할 수 있다. 상기 합성곱 신경망 모델(N1)의 일 예가 도 3에 도시되어 있다.In one embodiment, the emotion estimator 230 may estimate the emotional state of the user 10 using a pre-learned Convolutional Neural Network (CNN) model N1. An example of the convolutional neural network model N1 is shown in FIG. 3 .

도 3에 도시된 바와 같이, 상기 합성곱 신경망 모델(N1)은 3개의 합성곱 계층들(Convolution Layer, C1, C2, C3), 3개의 맥스 풀링 계층들(Max Pulling Layer), 및 2개의 완전 연결 계층들(Fully Connected Layer, F1, F2)을 포함할 수 있다. 이 경우, 입력부(210)에서 촬영된 이미지들이 입력(Input)으로 제공되며, 상기 계층들을 거치면서 특징 맵(Feature Map)들이 생성되고, 마지막으로 사용자(10)의 감정 상태에 대한 추정 값이 출력(Output)될 수 있다.As shown in FIG. 3, the convolutional neural network model N1 has three convolution layers (Convolution Layers, C1, C2, and C3), three Max Pulling Layers, and two complete It may include fully connected layers (F1, F2). In this case, images taken by the input unit 210 are provided as input, feature maps are generated through the layers, and finally, an estimated value for the emotional state of the user 10 is output. (Output) can be.

한편, 종래의 감정 추정 기술들은 얼굴 전체, 특히 눈 주변부의 특징점 변화를 주된 타겟으로 파악하여 사람의 감정 상태를 추정하였다. 그러나, VR 시뮬레이터(100)를 사용 중인 사용자(10)는 눈을 덮는 HMD(110)를 착용한 상태이기 때문에, 눈 주변부의 특징점 변화를 파악하기 어렵다. 따라서, 본 발명에서는 얼굴 이미지에서 눈 주변부를 제외하고 나머지 부분, 특히 입 주변부의 특징점 변화를 이용하여 신경망 모델을 학습하고, 또한 사용자(10)의 감정 상태를 추정한다.On the other hand, conventional emotion estimation techniques estimate a person's emotional state by identifying changes in feature points of the entire face, particularly around the eyes, as a main target. However, since the user 10 using the VR simulator 100 is wearing the HMD 110 covering the eyes, it is difficult to grasp changes in feature points around the eyes. Therefore, in the present invention, a neural network model is learned using changes in feature points of the face image except for the eye periphery, in particular, the mouth periphery, and the emotional state of the user 10 is estimated.

예를 들면, 상기 기 학습된 합성곱 신경망 모델(N1)은 입력부(210)에서 촬영된 HMD(110) 착용 상태의 사용자 이미지(도 4(a))들, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거한 이미지(도 4(b))들, 그리고 통신부(240)를 통해 외부(인터넷 서버 등)에서 획득한 HMD 착용 이미지들을 이용하여 감정 상태 추정에 관한 학습을 수행할 수 있다. 이 경우, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거하는 것은 HMD(110)를 착용한 상태라고 가정한 것으로, 최대한 많은 수의 학습 데이터를 이용하여 추정의 정확성을 향상시키기 위함이다. 또한, 눈 주변부(B)를 학습에 이용하지 않기 때문에, 입 주변부(A)의 이미지가 주된 평가 요소로 작용하게 된다.For example, the pre-learned convolutional neural network model (N1) is a user image (FIG. 4(a)) in a wearing state of the HMD (110) photographed by the input unit 210, and an eye periphery (B) in a person's face image. ) removed (FIG. 4(b)) and HMD wearing images obtained from outside (Internet server, etc.) through the communication unit 240, learning about emotional state estimation can be performed. In this case, removing the eye periphery B from the human face image assumes that the HMD 110 is worn, and is intended to improve estimation accuracy by using as many training data as possible. Also, since the eye periphery (B) is not used for learning, the image of the mouth periphery (A) acts as a main evaluation factor.

만족도 추정부(240)는 감정 추정부(230)가 추정한 감정 상태의 변화에 관한 정보, 및 입력부(210)가 사용자(10)로부터 획득한 만족도 정보를 이용하여 회귀 분석(Regression Analysis)을 실시함으로써, 감정 상태 변화에 따른 만족도 추정 모델을 생성할 수 있다. 구체적으로, VR 시뮬레이터(100) 사용을 마친 사용자(10)가 해당 컨텐츠에 대한 만족도 정보, 예를 들어, 멀미 정도, 공포 정도, 컨텐츠 만족도 정보 등을 입력부(210)에 입력하면, 만족도 추정부(240)는 상기 입력된 만족도 정보를 지상 진실(Ground Truth)로 사용하여, 감정 추정부(230)에서 추정한 감정 상태와 만족도 사이의 상관 관계를 학습할 수 있다.The satisfaction estimator 240 performs a regression analysis using the information about the change in emotional state estimated by the emotion estimator 230 and the satisfaction information obtained from the user 10 by the input unit 210. By doing so, it is possible to generate a satisfaction estimation model according to changes in emotional state. Specifically, when the user 10, who has finished using the VR simulator 100, inputs satisfaction information about the corresponding content, for example, the degree of motion sickness, the degree of fear, content satisfaction information, etc. into the input unit 210, the satisfaction estimation unit ( 240) may learn a correlation between the emotional state estimated by the emotion estimator 230 and satisfaction by using the input satisfaction information as ground truth.

또한, 만족도 추정부(240)는 상기 학습된 만족도 추정 모델을 이용하여, 사용자(10)의 만족도를 실시간으로 판단할 수 있다. 만족도 추정부(240)는 상기 추정한 만족도 정보를 제어부(270)로 제공할 수 있고, 제어부(270)는 이를 이용하여 VR 시뮬레이터(200)를 제어할 수 있다. 예를 들어, 사용자(10)가 멀미를 하는 등 불쾌한 상태에 있다고 만족도 추정부(240)가 판단한 경우라면, 제어부(270)는 즉시 VR 시뮬레이터(100)의 동작을 중지시킬 수 있을 것이다.In addition, the satisfaction estimator 240 may determine the satisfaction of the user 10 in real time using the learned satisfaction estimation model. The satisfaction estimator 240 may provide the estimated satisfaction information to the control unit 270, and the control unit 270 may control the VR simulator 200 using this. For example, if the satisfaction estimation unit 240 determines that the user 10 is in an unpleasant state, such as motion sickness, the controller 270 may immediately stop the operation of the VR simulator 100.

통신부(250)는 VR 시뮬레이터 제어 장치(200)와 외부, 예를 들면, 인터넷 통신망이나 클라우드 서버 사이의 통신을 수행할 수 있다. 예를 들면, VR 시뮬레이터 제어 장치(200)는 통신부(250)를 통해 감정 추정 학습에 필요한 이미지들을 획득할 수 있고, VR 시뮬레이터(100)를 원격으로 제어할 수 있다.The communication unit 250 may perform communication between the VR simulator control device 200 and the outside, for example, an Internet communication network or a cloud server. For example, the VR simulator control device 200 may acquire images necessary for emotion estimation learning through the communication unit 250 and may remotely control the VR simulator 100 .

저장부(260)는 각종 데이터를 저장하고, 저장된 데이터를 다른 구성들로 제공할 수 있다. 예를 들면, 입력부(210)를 통해 획득한 사용자의 만족도 정보, 통신부(250)를 통해 외부로부터 획득한 학습용 이미지들이 저장부(260)에 저장될 수 있다.The storage unit 260 may store various data and provide the stored data in different configurations. For example, the user's satisfaction information obtained through the input unit 210 and learning images obtained from the outside through the communication unit 250 may be stored in the storage unit 260 .

제어부(270)는 만족도 추정부(240)에서 추정한 사용자(10)의 만족도에 따라 VR 시뮬레이터(100)를 제어할 수 있다. 예를 들어, 사용자(10)가 멀미를 느끼는 경우 제어부(270)는 VR 시뮬레이터(100)의 동작을 중지시킬 수 있고, 사용자(10)가 지루함을 느끼는 경우 제어부(270)는 VR 시뮬레이터(100)에서 제공되는 컨텐츠의 종류나 난이도를 교체할 수 있다.The control unit 270 may control the VR simulator 100 according to the satisfaction of the user 10 estimated by the satisfaction estimation unit 240 . For example, if the user 10 feels motion sickness, the controller 270 may stop the operation of the VR simulator 100, and if the user 10 feels bored, the controller 270 may stop the operation of the VR simulator 100. You can change the type or difficulty of the content provided in .

출력부(280)는 시각 이미지로 정보를 전달하는 디스플레이 장치, 소리로 정보를 전달하는 스피커 등을 포함할 수 있다. 출력부(280)는 사용자(10)에게 VR 시뮬레이터(100)에 관한 각종 정보들을 제공하거나, 사용자(10)의 감정 상태 및 만족도에 관한 추정 결과를 표시하거나, 또는 VR 시뮬레이터(100)의 동작 상태를 표시할 수 있다.The output unit 280 may include a display device that delivers information as a visual image, a speaker that delivers information as sound, and the like. The output unit 280 provides the user 10 with various information about the VR simulator 100, displays estimation results about the emotional state and satisfaction of the user 10, or the operating state of the VR simulator 100. can be displayed.

도 5는 상술한 VR 시뮬레이터 제어 장치(200)의 일례를 나타내는 도면이다. 도 5에 도시된 바와 같이, VR 시뮬레이터 제어 장치(200)는 외형을 이루는 바디(201), 및 상기 바디(201)에 장착되는 복수 개의 디스플레이 장치들(202, 203) 및 카메라(도시되지 않음)를 포함할 수 있다. 바디(201)의 내부에는 얼굴 인식부(220), 감정 추정부(230), 만족도 추정부(240), 통신부(250), 저장부(260), 및 제어부(270) 등이 수용될 수 있다.5 is a diagram showing an example of the VR simulator control device 200 described above. As shown in FIG. 5, the VR simulator control device 200 includes a body 201 forming an external shape, a plurality of display devices 202 and 203 mounted on the body 201, and a camera (not shown). can include A face recognition unit 220, an emotion estimation unit 230, a satisfaction estimation unit 240, a communication unit 250, a storage unit 260, and a control unit 270 may be accommodated inside the body 201. .

바디(201) 전면에 설치된 제1 디스플레이 장치(202)는 VR 시뮬레이터(100) 사용자(10)에게 정보를 제공하고, VR 시뮬레이터(100) 사용이 끝난 사용자(10)로부터 만족도에 관한 설문 정보를 입력 받을 수 있다. 또한, 바디(201)의 후면에 설치된 제2 디스플레이 장치(203)는, 사용자(10)의 감정 상태와 만족도 정보, VR 시뮬레이터(100)의 동작 상태 등에 관한 정보를 관리자에게 제공할 수 있다. 다만, 도 5에 도시된 VR 시뮬레이터 제어 장치(200)는 예시적인 것이며, 설치 환경과 필요에 따라 외관과 구성이 적절히 변경될 수 있다.The first display device 202 installed on the front of the body 201 provides information to the user 10 of the VR simulator 100, and inputs survey information about satisfaction from the user 10 who has finished using the VR simulator 100. can receive In addition, the second display device 203 installed on the rear side of the body 201 may provide the manager with information about the emotional state and satisfaction information of the user 10, the operating state of the VR simulator 100, and the like. However, the VR simulator control device 200 shown in FIG. 5 is exemplary, and the appearance and configuration may be appropriately changed according to the installation environment and needs.

상술한 바와 같이, 본 발명에 따른 VR 시뮬레이터 제어 장치는, HMD(110)를 착용한 상태로 VR 시뮬레이터(100)를 이용하고 있는 사용자(10)의 감정 상태를 추정하고, 감정 상태 변화에 따른 사용자(10)의 만족도를 정확하게 파악할 수 있다. 또한, 사용자(10)의 만족도에 따라 VR 시뮬레이터(100)의 동작 상태나 제공되는 컨텐츠를 변경할 수 있다. 이에 따라, VR 시뮬레이터(100) 사용자에게 최적의 서비스를 제공할 수 있다.As described above, the VR simulator control device according to the present invention estimates the emotional state of the user 10 using the VR simulator 100 while wearing the HMD 110, and the user 10 according to the change in the emotional state. The satisfaction level of (10) can be accurately grasped. In addition, the operating state of the VR simulator 100 or provided content may be changed according to the satisfaction of the user 10 . Accordingly, it is possible to provide optimal services to users of the VR simulator 100 .

이하에서는, 도 1 내지 도 5를 참조로 설명한 VR 시뮬레이터 제어 장치(200)를 이용하여 VR 시뮬레이터(100)를 제어하는 방법에 대하여 보다 상세하게 설명하기로 한다. 다만, 중복되는 내용에 대해서는 설명을 생략하거나 또는 간략히 설명하기로 한다.Hereinafter, a method of controlling the VR simulator 100 using the VR simulator control device 200 described with reference to FIGS. 1 to 5 will be described in detail. However, descriptions of overlapping contents will be omitted or briefly described.

도 6을 참조하면, 먼저 감정 추정을 위한 신경망 모델(N1)과 만족도 추정 모델을 학습한다(S100).Referring to FIG. 6 , first, a neural network model N1 for emotion estimation and a satisfaction estimation model are learned (S100).

감정 추정을 위한 신경망 모델(N1)의 경우, VR 시뮬레이터(100)를 이용 했던 사용자들의 이미지(도 4(a))들, 사람의 얼굴 이미지에서 눈 주변부(B)를 제거한 이미지(도 4(b))들, 그리고 인터넷 서버 등 외부에서 획득한 HMD 착용 이미지들을 이용하여, HMD(110)를 착용한 사용자의 감정 상태를 추정하는 모델을 학습할 수 있다. 이 때, 눈 주변부(B)는 HMD(110)에 가려지기 때문에, 입 주변부(A)가 주요한 특징점으로 작용할 수 있다. 이에 대해서는 도 3 및 도 4를 참조로 상술한 바 있다.In the case of the neural network model (N1) for emotion estimation, the images of users who used the VR simulator 100 (FIG. 4(a)), and the image of the eye periphery (B) removed from the human face image (FIG. 4(b) )), and HMD wearing images obtained from an external source such as an Internet server, etc., a model for estimating an emotional state of a user wearing the HMD 110 may be learned. At this time, since the eye periphery (B) is covered by the HMD 110, the mouth periphery (A) may act as a major feature point. This has been described above with reference to FIGS. 3 and 4 .

만족도 추정 모델의 경우, 상기 신경망 모델(N1)에서 추정한 감정 상태 정보와, 입력부(210)를 통해 사용자로부터 획득한 만족도 설문 결과를 이용하여 회귀 분석(Regression Analysis)을 실시함으로써, 감정 상태 변화에 따른 만족도 추정 모델을 생성할 수 있다. 이에 대해서도 만족도 추정부(240)를 설명하면서 상술한 바 있다.In the case of the satisfaction estimation model, regression analysis is performed using the emotional state information estimated by the neural network model (N1) and the satisfaction survey result obtained from the user through the input unit 210 to determine the emotional state change. A satisfaction estimation model according to the above can be created. This has also been described above while explaining the satisfaction estimation unit 240 .

추정 모델들에 대한 학습이 완료되면, 상기 학습된 추정 모델들을 이용하여 VR 시뮬레이터(100)를 사용 중인 사용자(10)의 감정 상태 및 만족도를 파악한다.When the learning of the estimation models is completed, the emotional state and satisfaction of the user 10 who is using the VR simulator 100 is grasped using the learned estimation models.

구체적으로, VR 시뮬레이터(100)를 사용중인 이미지를 획득하고(S110), 상기 획득한 이미지로부터 사람의 얼굴을 인식하고(S120), 상기 학습된 신경망 모델(N1)을 사용하여 인식된 얼굴 이미지로부터 사용자의 감정 상태를 추정한다(S130). 또한, 상기 학습된 만족도 추정 모델을 사용하여 사용자의 감정 상태 변화에 따른 만족도를 추정한다(S140).Specifically, an image in which the VR simulator 100 is being used is acquired (S110), a person's face is recognized from the acquired image (S120), and a face image recognized using the trained neural network model (N1) is obtained. The user's emotional state is estimated (S130). In addition, the satisfaction according to the change in the user's emotional state is estimated using the learned satisfaction estimation model (S140).

마지막으로, 추정된 사용자의 만족도에 맞추어 실시간으로 VR 시뮬레이터(100)의 동작이나 제공되는 컨텐츠를 제어한다. 예를 들어, 사용자가 멀미를 느낀다고 추정되면 VR 시뮬레이터(100)의 동작을 중지시키고, 사용자가 지루함을 느낀다고 추정되면 제공되는 컨텐츠를 교체한다.Finally, the operation of the VR simulator 100 or provided content is controlled in real time according to the estimated user's satisfaction. For example, if it is estimated that the user feels motion sickness, the operation of the VR simulator 100 is stopped, and if it is estimated that the user feels bored, provided content is replaced.

상술한 바와 같이, 본 발명에 따른 VR 시뮬레이터 제어 방법은, HMD를 착용한 VR 시뮬레이터(100) 사용자의 감정 상태, 및 감정 상태 변화에 따른 만족도를 정확하게 파악할 수 있다. 또한, 사용자의 만족도에 따라 VR 시뮬레이터(100)의 동작 상태나 제공되는 컨텐츠를 변경할 수 있다. 이에 따라, VR 시뮬레이터(100) 사용자에게 최적의 서비스를 제공할 수 있다. 뿐만 아니라, 제공된 컨텐츠에 대한 사용자의 반응을 빅 데이터로 활용함으로써 보다 나은 VR 시뮬레이터 컨텐츠 개발에도 활용할 수 있다.As described above, the VR simulator control method according to the present invention can accurately grasp the emotional state of the user of the VR simulator 100 wearing the HMD and satisfaction according to changes in the emotional state. In addition, the operating state of the VR simulator 100 or provided content may be changed according to the user's satisfaction. Accordingly, it is possible to provide optimal services to users of the VR simulator 100 . In addition, by using the user's reaction to the provided content as big data, it can be used to develop better VR simulator content.

이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims below. You will understand that you can.

10: 사용자 100: VR 시뮬레이터
110: HMD 120: 의자
130: 디스플레이 장치 140: 핸들
200: VR 시뮬레이터 제어 장치
210: 입력부 220: 얼굴 인식부
230: 감정 추정부 240: 만족도 추정부
250: 통신부 260: 저장부
270: 제어부 280: 출력부10: user 100: VR simulator
110: HMD 120: chair
130: display device 140: handle
200: VR simulator control device
210: input unit 220: face recognition unit
230: emotion estimation unit 240: satisfaction estimation unit
250: communication unit 260: storage unit
270: control unit 280: output unit

Claims (7)

VR 시뮬레이터에 의해, HMD(Head Mounted Display)를 착용한 VR(Virtual Reality) 시뮬레이터 사용자의 이미지를 획득하는 단계;
상기 VR 시뮬레이터에 의해, 상기 획득한 이미지 내에서 사용자의 얼굴을 인식하는 단계;
상기 VR 시뮬레이터에 의해, 기 학습된 합성곱 신경망 모델을 이용하여 상기 인식한 얼굴 이미지로부터 사용자의 감정 상태를 추정하는 단계;
상기 VR 시뮬레이터에 의해, 기 학습된 만족도 추정 모델을 이용하여 상기 추정한 감정 상태의 변화로부터 사용자의 만족도를 추정하는 단계; 및
상기 VR 시뮬레이터에 의해, 상기 추정한 만족도에 맞추어 상기 VR 시뮬레이터의 동작을 제어하는 단계를 포함하고,
상기 사용자의 감정 상태를 추정하는 단계는, 상기 사용자의 얼굴 이미지 중에서 입 주변부의 특징점을 이용하여 사용자의 감정 상태를 추정하는 것을 특징으로 하고,
상기 기 학습된 합성곱 신경망 모델은,
HMD를 착용한 사람의 이미지들, 및 HMD를 착용하지 않은 사람의 이미지에서 눈 주변부를 제거한 이미지들을 이용하여 학습된 것을 특징으로 하고,
상기 기 학습된 만족도 추정 모델은,
상기 기 학습된 합성곱 신경망 모델을 이용하여 상기 VR 시뮬레이터를 사용하고 있는 사용자의 감정 상태를 추정하는 단계;
상기 VR 시뮬레이터 사용을 종료한 사용자로부터 만족도에 관한 설문 정보를 획득하는 단계; 및
상기 추정한 감정 상태의 변화와 상기 획득한 설문 정보를 이용하여 회귀 분석을 실시하여 만족도 추정 모델을 생성하는 단계를 통해 학습된 것을 특징으로 하는 VR 시뮬레이터 제어 방법.
Acquiring an image of a VR (Virtual Reality) simulator user wearing a Head Mounted Display (HMD) by a VR simulator;
Recognizing a user's face in the acquired image by the VR simulator;
estimating, by the VR simulator, a user's emotional state from the recognized facial image using a previously learned convolutional neural network model;
estimating, by the VR simulator, a user's satisfaction level from a change in the estimated emotional state using a pre-learned satisfaction estimation model; and
Controlling, by the VR simulator, an operation of the VR simulator according to the estimated satisfaction;
The estimating of the user's emotional state may include estimating the user's emotional state using a feature point around the mouth of the user's face image;
The pre-learned convolutional neural network model,
It is characterized in that it is learned using images of a person wearing an HMD and images in which the eye periphery is removed from the image of a person not wearing an HMD,
The pre-learned satisfaction estimation model,
estimating an emotional state of a user using the VR simulator using the pre-learned convolutional neural network model;
obtaining survey information about satisfaction from a user who has finished using the VR simulator; and
The VR simulator control method, characterized in that learned through the step of generating a satisfaction estimation model by performing a regression analysis using the change in the estimated emotional state and the obtained questionnaire information.
 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 VR 시뮬레이터의 동작을 제어하는 단계는,
사용자의 만족도에 따라 VR 시뮬레이터의 동작 중지 여부를 결정하거나, 또는 VR 시뮬레이터에서 제공하는 컨텐츠의 종류를 변경하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.The method of claim 1, wherein controlling the operation of the VR simulator comprises:
A VR simulator control method comprising determining whether to stop operation of the VR simulator or changing the type of content provided by the VR simulator according to a user's satisfaction. 제1항에 있어서, 상기 사용자의 만족도는 사용자가 느끼는 멀미의 정도, 공포의 정도, 컨텐츠 만족도 중에서 적어도 하나를 포함하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.The method of claim 1, wherein the user's satisfaction includes at least one of a degree of motion sickness felt by the user, a degree of fear, and content satisfaction. 제1항에 있어서, 상기 감정 상태는, 행복, 놀라움, 중립, 부정적인 감정을 포함하는 것을 특징으로 하는 VR 시뮬레이터 제어 방법.The method of claim 1, wherein the emotional state includes happiness, surprise, neutral, and negative emotions.
KR1020200022454A 2020-02-24 2020-02-24 Vr simulator control method using emotional state estimation KR102490035B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022454A KR102490035B1 (en) 2020-02-24 2020-02-24 Vr simulator control method using emotional state estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022454A KR102490035B1 (en) 2020-02-24 2020-02-24 Vr simulator control method using emotional state estimation

Publications (2)

Publication Number Publication Date
KR20210107442A KR20210107442A (en) 2021-09-01
KR102490035B1 true KR102490035B1 (en) 2023-01-17

Family

ID=77780028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022454A KR102490035B1 (en) 2020-02-24 2020-02-24 Vr simulator control method using emotional state estimation

Country Status (1)

Country Link
KR (1) KR102490035B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210346806A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Reaction prediction using one or more neural networks

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520627B1 (en) * 2017-02-01 2023-04-12 삼성전자주식회사 Apparatus and method and for recommending products
KR101952804B1 (en) * 2017-05-16 2019-02-27 전주대학교 산학협력단 Emotion recognition interface apparatus

Also Published As

Publication number Publication date
KR20210107442A (en) 2021-09-01

Similar Documents

Publication Publication Date Title
KR20200091839A (en) Communication device, communication robot and computer readable storage medium
CN109923462B (en) Sensing glasses
US20220189093A1 (en) Interaction based on in-vehicle digital persons
CN108877336A (en) Teaching method, cloud service platform and tutoring system based on augmented reality
KR20190038900A (en) Word Flow Annotation
KR102525181B1 (en) System for correcting image and image correcting method thereof
US12079943B2 (en) Neutral avatars
CN110139021B (en) Auxiliary shooting method and terminal equipment
EP3723050A1 (en) Modifying an appearance of hair
JP2023103335A (en) Computer program, server device, terminal device, and display method
KR102490035B1 (en) Vr simulator control method using emotional state estimation
CN114904268A (en) Virtual image adjusting method and device, electronic equipment and storage medium
CN113781271A (en) Makeup teaching method and device, electronic equipment and storage medium
KR102229056B1 (en) Apparatus and method for generating recognition model of facial expression and computer recordable medium storing computer program thereof
CN108960191B (en) Multi-mode fusion emotion calculation method and system for robot
US20230215121A1 (en) Method and apparatus for providing user-interactive customized interaction for xr real object transformation
US20200250498A1 (en) Information processing apparatus, information processing method, and program
KR20220004156A (en) Car cabin interaction method, device and vehicle based on digital human
WO2023181808A1 (en) Information processing device, information processing method, and recording medium
KR102596322B1 (en) Method, system, and non-transitory computer-readable recording medium for authoring contents based on in-vehicle video
WO2021140642A1 (en) Sight line estimation device, sight line estimation method, model generation device, and model generation method
WO2024012462A1 (en) Virtual human interaction method and system, and storage medium
Zell et al. From Perception to Interaction with Virtual Characters.
JAISWAL Multimodal Communication in Human Computer Interaction
CN118227013A (en) Following adjustment method and device for digital human eye gazing direction, computer readable storage medium and terminal

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant