KR20220000164A - Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system - Google Patents

Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system Download PDF

Info

Publication number
KR20220000164A
KR20220000164A KR1020200077788A KR20200077788A KR20220000164A KR 20220000164 A KR20220000164 A KR 20220000164A KR 1020200077788 A KR1020200077788 A KR 1020200077788A KR 20200077788 A KR20200077788 A KR 20200077788A KR 20220000164 A KR20220000164 A KR 20220000164A
Authority
KR
South Korea
Prior art keywords
player
virtual reality
game
information
emotion
Prior art date
Application number
KR1020200077788A
Other languages
Korean (ko)
Other versions
KR102433084B1 (en
Inventor
김성균
Original Assignee
주식회사 리얼리티매직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼리티매직 filed Critical 주식회사 리얼리티매직
Priority to KR1020200077788A priority Critical patent/KR102433084B1/en
Publication of KR20220000164A publication Critical patent/KR20220000164A/en
Application granted granted Critical
Publication of KR102433084B1 publication Critical patent/KR102433084B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present application relates to a player emotion analysis method for a virtual reality game, a virtual reality game operation method based on the player emotion, and a virtual reality system. The player emotion analysis method for the virtual reality game according to one aspect of the present application comprises the following steps of: obtaining real space information related to a player performing the VR game; and obtaining emotional information of the player from the real space information by using an artificial neural network trained by using learning data that an emotion index defined by using biometric information reflecting emotional intensity and game progress information of the VR game reflecting the emotional type is labeled with the real space information. According to the present invention, a variety of emotional states of the player such as immersion, fear, or inconvenience are recognized in response to a posture or movement of the player.

Description

가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템{PLAYER EMOTION ANALYSIS METHOD FOR VIRTUAL REALITY GAME, PLAYER EMOTION-BASED VIRTUAL REALITY SERVICE MANAGEMENT METHOD AND VIRTUAL REALITY SYSTEM}PLAYER EMOTION ANALYSIS METHOD FOR VIRTUAL REALITY GAME, PLAYER EMOTION-BASED VIRTUAL REALITY SERVICE MANAGEMENT METHOD AND VIRTUAL REALITY SYSTEM

본 출원은 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것으로, 보다 상세하게는 가상 현실 게임을 수행하는 플레이어의 흥분도나 몰입도, 난처함 등과 같은 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것이다. The present application relates to a method for analyzing player emotions for a virtual reality game, a method for operating a virtual reality service based on player emotions, and a virtual reality system, and more particularly, analyzing emotions such as excitement, immersion, and embarrassment of a player performing a virtual reality game It relates to a method for analyzing player emotions for virtual reality games, a method for operating a virtual reality service based on player emotions, and a virtual reality system.

실제와 유사한 환경을 갖는 컴퓨터 그래픽으로 만들어진 가상 현실(VR: Virtual Reality) 서비스는 최근 대규모 투자가 진행됨에 따라 차세대 대표 서비스로 각광받고 있다. 가상 현실 기술의 적용 분야는 교육, 의료, 국방, 교통 등의 다양한 분야에 걸쳐 있으나, 사용자에게 높은 몰입도와 체험감을 제공할 수 있어 특히 게임 및 엔터테인먼트 분야에서 가장 두각을 보이고 있다.A virtual reality (VR) service made with computer graphics having an environment similar to the real one is spotlighted as a next-generation representative service as a large-scale investment is in progress. The field of application of virtual reality technology spans various fields such as education, medical care, national defense, and transportation.

초기 가상 현실 게임은 주로 개인용 플랫폼을 중심으로 개발이 이루어졌으나, 최근에는 테마 파크 등을 중심으로 하는 장소 기반 엔터테인먼트(Location-Based Entertainment) 형태로 발전하고 있다. Initially, virtual reality games were developed mainly for personal platforms, but recently, they are developing into a location-based entertainment form centered on theme parks and the like.

장소 기반 VR 플랫폼은 개인용 VR 플랫폼이 게임에 익숙한 게이머를 주고객층으로 하는 것과 달리 다양한 고객층을 대상으로 하는데, VR 게임을 처음 접하거나 VR에 익숙하지 않은 초심자의 경우에는 압도적으로 높은 몰입감을 제공하는 VR 서비스의 장점으로 인해 오히려 멀미나 공포심 등이 유발될 수 있어 이에 대한 대응 방안이 요청되고 있다. A place-based VR platform targets a variety of customer groups, unlike personal VR platforms that target gamers who are familiar with games. Because of the advantages of , it can cause motion sickness or fear, so countermeasures are being requested.

본 출원의 일 과제는, VR 게임이 진행되는 중 이를 수행하는 플레이어의 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템을 제공하는 것이다. One object of the present application is to provide a player emotion analysis method for a virtual reality game, a method for operating a virtual reality service based on player emotion, and a virtual reality system for analyzing the emotion of a player who performs a VR game while the VR game is in progress.

본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present application is not limited to the above-mentioned problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present application belongs from the present specification and the accompanying drawings. .

본 출원의 일 양상에 따르면, VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계; 및 감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함하는 가상 현실 게임용 감정 분석 방법이 제공될 수 있다.According to an aspect of the present application, the method comprising: acquiring real-space information about a player performing a VR game; and an artificial neural network in which an emotion index defined using biometric information reflecting the emotional intensity and game progress information in the VR game reflecting the emotion type is learned using the learning data labeled in the real spatial information. An emotion analysis method for a virtual reality game including; obtaining emotional information of the player from real space information may be provided.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. will be able

본 출원의 실시예에 따르면, 플레이어의 자세나 움직임에 따라 플레이어가 VR 게임에 몰입하고 있는지 아니면 공포감이나 멀미 등과 같은 불편함을 느끼고 있는지 등과 같은 플레이어의 다양한 감정 상태를 알 수 있다. According to the embodiment of the present application, various emotional states of the player, such as whether the player is immersed in the VR game or feels discomfort such as fear or motion sickness, can be known according to the player's posture or movement.

또 본 출원의 실시예에 따르면, 몰입도나 흥분도와 같은 플레이어의 감정 상태를 검출함으로써, VR 게임의 난이도를 조절하는 등을 통해 플레이어의 보다 향상된 가상 현실 경험을 제공할 수 있다.In addition, according to the embodiment of the present application, by detecting the emotional state of the player, such as the degree of immersion or excitement, it is possible to provide a more improved virtual reality experience for the player by adjusting the difficulty of the VR game.

또 본 출원의 실시예에 따르면, 공포감이나 불안감, 메스꺼움 등과 같은 플레이어의 감정 상태를 검출함으로써, VR 게임 내의 환경을 조절하거나 VR 진행 요원이 조치를 취할 수 있도록 알람을 제공하여 플레이어에게 보다 개선된 VR 서비스를 제공할 수 있다. In addition, according to the embodiment of the present application, by detecting the emotional state of the player such as fear, anxiety, nausea, etc., the environment in the VR game is adjusted or an alarm is provided so that the VR operator can take action, so that the player can be further improved in VR service can be provided.

본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effect of the present invention is not limited to the above-described effect, and the tasks not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and accompanying drawings.

도 1은 본 명세서의 실시예에 따른 가상 현실 시스템의 블록도이다.
도 2는 본 명세서의 실시예에 따른 가상 현실 시스템의 개략도이다.
도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다.
도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다.
도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이다.
도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.
1 is a block diagram of a virtual reality system according to an embodiment of the present specification.
2 is a schematic diagram of a virtual reality system according to an embodiment of the present specification.
3 is a flowchart of an example of an emotion analysis method according to an embodiment of the present specification.
4 is a diagram illustrating an example of an artificial neural network for performing emotion analysis according to an embodiment of the present specification.
5 is a flowchart illustrating an example of a method for operating a virtual reality service according to an embodiment of the present specification.
6 is a flowchart illustrating another example of a method for operating a virtual reality service according to an embodiment of the present specification.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described herein are for clearly explaining the spirit of the present invention to those of ordinary skill in the art to which the present invention pertains, so the present invention is not limited by the embodiments described herein, and the present invention It should be construed as including modifications or variations that do not depart from the spirit of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected as widely used general terms as possible in consideration of the functions in the present invention, but they may vary depending on the intention, custom, or emergence of new technologies of those of ordinary skill in the art to which the present invention belongs. can However, if a specific term is defined and used in an arbitrary sense, the meaning of the term will be separately described. Therefore, the terms used in this specification should be interpreted based on the actual meaning of the terms and the contents of the entire specification, rather than the names of simple terms.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to this specification are for easily explaining the present invention, and the shapes shown in the drawings may be exaggerated as necessary to help understand the present invention, so the present invention is not limited by the drawings.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a known configuration or function related to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted if necessary.

본 명세서는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템(1000)에 관한 것이다. The present specification relates to a player emotion analysis method for a virtual reality game, a player emotion-based virtual reality service operating method, and the virtual reality system 1000 .

이하에서는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)에 관하여 도 1 및 도 2를 참조하여 설명하기로 한다.Hereinafter, a virtual reality system 1000 according to an embodiment of the present specification will be described with reference to FIGS. 1 and 2 .

가상 현실 시스템(1000)은 사용자에게 가상 현실을 제공하는 시스템이다. 여기서, 가상 현실(VR: Virtual Reality)이라 현실 세계와 달리 컴퓨터 프로그램에 의해 만들어진 시각 및 청각 정보 등을 이용하여 제공되는 인공 환경을 의미할 수 있다. The virtual reality system 1000 is a system that provides virtual reality to a user. Here, virtual reality (VR) may mean an artificial environment provided by using visual and auditory information created by a computer program, unlike the real world.

가상 현실은 주로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 협의의 가상 현실, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 증강 현실(AR: Augmented Reality) 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 혼합 현실(MR: Mixed Reality)로 구분될 수 있으나, 본 명세서에서 '가상 현실'이라는 용어는 별도의 언급이 없는 한 광의의 가상 현실로 해석될 수 있다.Virtual reality is mainly a virtual reality that provides an image by creating a virtual space separated from reality by a program, and Augmented Reality (AR: Augmented Reality) that provides a single image by overlapping virtual images based on the real world ) and mixed reality (MR: Mixed Reality), which provides a virtual space by fusing the real world and virtual reality and provides an image for it, the term 'virtual reality' is It can be interpreted as virtual reality in a broad sense.

본 명세서에서는 가상 현실 시스템(1000)은 예를 들어 가상 현실로 만들어진 비디오 게임(이하 'VR 게임'이라 함)을 사용자(이하 '플레이어(3)'라 함)에게 제공할 수 있다.In the present specification, the virtual reality system 1000 may provide, for example, a video game made in virtual reality (hereinafter referred to as a 'VR game') to a user (hereinafter referred to as a 'player 3').

도 1은 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 블록도이고, 도 2는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 개략도이다. 1 is a block diagram of a virtual reality system 1000 according to an embodiment of the present specification, and FIG. 2 is a schematic diagram of a virtual reality system 1000 according to an embodiment of the present specification.

도 1 및 도 2를 참조하면, 가상 현실 시스템(1000)은 헤드 마운트 디스플레이(HMD(1100): Head-Mounted Display), 게임 콘트롤러(1200), 보조 컴퓨팅 장치(1300), 측위 모듈(1400), 모니터링 모듈(1500) 및 서버(1600)를 포함할 수 있다. 1 and 2, the virtual reality system 1000 includes a head mounted display (HMD 1100: Head-Mounted Display), a game controller 1200, an auxiliary computing device 1300, a positioning module 1400, It may include a monitoring module 1500 and a server 1600 .

HMD(1100)는 플레이어(3)의 두부에 착용되는 기기로서, 가상 현실 서비스의 사용자에 대한 출력 인터페이스로의 기능을 수행할 수 있다.The HMD 1100 is a device worn on the head of the player 3 and may function as an output interface for a user of a virtual reality service.

주로 HMD(1100)는 플레이어(3)에게 가상 환경에 관한 시각적 정보, 즉 가상 이미지를 출력할 수 있다. 예시적으로 HMD(1100)는 착용자의 양 눈에 서로 격리된 두 개의 이미지를 출력하는 스테레오스코픽 디스플레이를 통해 플레이어(3)에게 3차원 영상을 제공할 수 있다.Mainly, the HMD 1100 may output visual information about the virtual environment, ie, a virtual image, to the player 3 . For example, the HMD 1100 may provide a 3D image to the player 3 through a stereoscopic display that outputs two images isolated from each other to both eyes of the wearer.

또 HMD(1100)는 선택적으로 음성을 출력하는 스피커를 포함하여 착용자에게 가상 환경에 관한 음성 출력을 할 수도 있다.In addition, the HMD 1100 may include a speaker that selectively outputs a voice to output a voice related to the virtual environment to the wearer.

HMD(1100)는 상술한 출력 인터페이스로서의 역할 이외에도 착용자에 대한 센서로서 기능할 수도 있다. 예를 들어, HMD(1100)에는 자이로 센서나 가속도 센서 등이 탑재되고, HMD(1100)는 이를 이용해 사용자의 두부의 움직임이나 두부의 자세를 감지할 수 있다. The HMD 1100 may function as a sensor for the wearer in addition to the above-described role as the output interface. For example, the HMD 1100 is equipped with a gyro sensor, an acceleration sensor, or the like, and the HMD 1100 can detect the movement of the user's head or the posture of the head using this.

이외에도 HMD(1100)에는 가상 현실 시스템(1000)의 측위 모델이 착용자의 두부의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.In addition, a marker used for tracking the position, posture, and motion of the wearer's head by the positioning model of the virtual reality system 1000 may be installed on the exterior of the HMD 1100 .

게임 콘트롤러(1200)는 가상 현실 서비스의 사용자에 대한 입력 인터페이스로의 기능을 수행한다. The game controller 1200 functions as an input interface for a user of the virtual reality service.

게임 콘트롤러(1200)는 주로 스틱 형상이나 도 2에 도시된 바와 같은 총(gun) 형상으로 제공되며 플레이어(3)에 의해 파지될 수 있다. The game controller 1200 is mainly provided in a stick shape or a gun shape as shown in FIG. 2 and can be gripped by the player 3 .

게임 콘트롤러(1200)는 플레이어(3)의 조작을 입력받는 조작 버튼을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 조작 버튼을 통해 가상 공간 상에서 총을 발사할 수 있다.The game controller 1200 may include an operation button for receiving an operation of the player 3 . For example, the player 3 may fire a gun in the virtual space through an operation button of the game controller 1200 .

또 게임 콘트롤러(1200)는 플레이어(3)의 조작에 따라 조정되는 게임 콘트롤러(1200)의 자세를 감지하는 자이로 센서나 가속도 센서 등을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 자세를 조절하여 가상 공간 상에서 총의 발사 방향을 조정할 수 있다.In addition, the game controller 1200 may include a gyro sensor or an acceleration sensor that detects the posture of the game controller 1200 adjusted according to the manipulation of the player 3 . For example, the player 3 may adjust the firing direction of the gun in the virtual space by adjusting the posture of the game controller 1200 .

이외에도 게임 콘틀롤러(1200)에는 가상 현실 시스템(1000)의 측위 모델이 게임 콘트롤러(1200)의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.In addition, a marker used for tracking the position, posture, motion, etc. of the game controller 1200 by the positioning model of the virtual reality system 1000 may be installed on the exterior of the game controller 1200 .

측위 모듈(1400)은 현실 공간 상에서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측정할 수 있다. The positioning module 1400 may measure the position of the player 3 or the game controller 1200 in real space.

VR 게임 내의 가상 공간은 VR 게임이 수행되는 현실 공간인 플레이그라운드(1)와 매칭될 수 있는데, 예를 들어 플레이어(3)가 현실 공간에서는 도 2에 도시된 바와 같이 플레이그라운드(1) 상에 위치할 때 가상 현실 시스템(1000)은 플레이어(3)가 조종하는 캐릭터(이하 '플레이어(3) 캐릭터' 또는 '아바타'라고 함)를 가상 공간에서는 플레이그라운드(1) 상의 위치에 대응하는 가상 위치에 배치하거나, 플레이어(3)가 플레이그라운드(1) 상에 이동하면 아바타 역시 가상 공간 내에서 이동시킬 수 있다.The virtual space in the VR game may be matched with the playground 1, which is a real space in which the VR game is performed. For example, in the real space, the player 3 plays the playground 1 on the When positioned, the virtual reality system 1000 sets the character (hereinafter referred to as 'player 3 character' or 'avatar') controlled by the player 3 to a virtual position corresponding to the position on the playground 1 in the virtual space. , or when the player 3 moves on the playground 1, the avatar can also be moved in the virtual space.

측위 모듈(1400)은 이처럼 가상 현실 시스템(1000)이 가상 공간 내의 아바타를 처리하기 위한 기초 정보로서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측위할 수 있다. As such, the positioning module 1400 may position the player 3 or the game controller 1200 as basic information for the virtual reality system 1000 to process the avatar in the virtual space.

측위 모듈(1400)은 예시적으로 플레이그라운드(1) 내의 플레이어(3)나 HMD(1100)나 게임 콘트롤러(1200)에 설치된 마커를 추적하는 카메라일 수 있다. 여기서, 카메라는 RGB 카메라를 비롯한 적외선 카메라나 열상 카메라를 모두 포함하는 개념이며, 측위 모듈(1400)은 카메라 이외에도 다양한 형태로 구현될 수 있다.The positioning module 1400 may be, for example, a camera that tracks a marker installed in the player 3 in the playground 1 , the HMD 1100 , or the game controller 1200 . Here, the camera is a concept including all infrared cameras and thermal cameras, including RGB cameras, and the positioning module 1400 may be implemented in various forms other than the camera.

측위 모듈(1400)은 플레이그라운드(1) 내의 플레이어(3)를 촬상하기 적절한 각도를 갖도록 플레이그라운드(1)이 주변에 배치되는 구조물(2)에 설치될 수 있다.The positioning module 1400 may be installed in the structure 2 around which the playground 1 is disposed so as to have an angle suitable for imaging the player 3 in the playground 1 .

보조 컴퓨팅 장치(1300)와 서버(1600)는 가상 현실을 구현하기 위한 각종 연산 및 정보 처리를 수행할 수 있다. 예를 들어, 이들은 측위 모듈(1400)이나 HMD(1100), 게임 콘트롤러(1200)에서 검출된 각종 정보를 처리하여 플레이어(3)나 게임 콘트롤러(1200)의 위치나 자세, 모션, 플레이어(3)의 시야각 등을 산출하고, 산출된 정보를 이용하여 가상 현실을 형성하는 시각적/청각적 정보를 생성한다. The auxiliary computing device 1300 and the server 1600 may perform various calculations and information processing for realizing virtual reality. For example, they process the various information detected by the positioning module 1400, the HMD 1100, and the game controller 1200 to determine the position, posture, motion, and motion of the player 3 or the game controller 1200, the player 3 The visual/auditory information that forms the virtual reality is generated by calculating the viewing angle of the .

도 1 및 도 2에는 보조 컴퓨팅 장치(1300)와 서버(1600)가 별개의 구성인 것으로 도시하고 있으나, 가상 현실 시스템(1000)에서 보조 컴퓨팅 장치(1300)가 생략되고 보조 컴퓨팅 장치(1300)의 기능이 서버(1600)나 HMD(1100)로 통합될 수도 있다.1 and 2 , the auxiliary computing device 1300 and the server 1600 are illustrated as separate components, but in the virtual reality system 1000 , the auxiliary computing device 1300 is omitted and the auxiliary computing device 1300 is Functions may be integrated into the server 1600 or HMD 1100 .

다만, VR 게임 서비스에서는 몰입도의 향상을 위해 시청각적 피드백의 실시간성이 중요할 수 있는데, 서버(1600)와 HMD(1100) 간의 무선 통신을 이용하는 경우 지연 시간이 발생할 수 있는 반면, 플레이어(3)에 의해 소지되어 HMD(1100)와 유선으로 연결이 가능한 보조 컴퓨팅 장치(1300)가 VR 이미지나 음성을 생성하여 이를 HMD(1100)로 유선 전송하면 저지연 시청각 피드백이 가능한 장점이 있을 수 있다.However, in the VR game service, real-time audiovisual feedback may be important to improve immersion. When using wireless communication between the server 1600 and the HMD 1100, a delay time may occur, whereas the player 3 ) carried by the HMD 1100 and the auxiliary computing device 1300 capable of being connected by wire to generate a VR image or voice and transmit it to the HMD 1100 by wire, there may be an advantage that low-delay audiovisual feedback is possible.

여기서, 보조 컴퓨팅 장치(1300)나, 서버(1600) 또는 연산 기능을 갖는 HMD(1100)는 제어기를 포함할 수 있으며, 본 명세서에서 제어기는 컴퓨터 프로그램을 수행하는 칩이나 프로세서, 각종 연산 및 정보 처리를 수행할 수 있는 전기적 회로와 같은 하드웨어적 형태는 물론 소프트웨어적 형태 내지는 하드웨어와 소프트웨어가 결합된 형태를 포괄하는 것으로 해석될 수 있다.Here, the auxiliary computing device 1300 , the server 1600 , or the HMD 1100 having an arithmetic function may include a controller, and in this specification, the controller is a chip or processor that executes a computer program, various arithmetic and information processing. It can be interpreted as encompassing not only a hardware form such as an electrical circuit capable of performing the above, but also a software form or a form in which hardware and software are combined.

한편, 후술되는 본 명세서의 실시예에 따른 방법들에서 가상 현실 시스템(1000)이 수행하는 동작들은 특별한 언급이 없는한 상술한 제어기의 제어에 따라 수행되는 것으로 이해될 수 있음을 밝혀둔다. Meanwhile, it should be noted that operations performed by the virtual reality system 1000 in the methods according to embodiments of the present specification to be described below may be understood to be performed under the control of the above-described controller unless otherwise specified.

모니터링 모듈(1500)은 VR 게임의 관리자에게 정보를 제공할 수 있다. The monitoring module 1500 may provide information to the manager of the VR game.

여기서, 관리자는 테마 파크 등의 장소 기반 VR 플랫폼에서 VR 서비스의 운영을 담당하는 인력을 의미할 수 있다. 일반적으로 장소 기반 VR 플랫폼 운영시에는 플레이어(3) 중 VR에 익숙치 못한 초심자가 있을 수 있으며, 이들이 VR 서비스를 즐길 수 있도록 관리자는 VR과 관련된 각종 장비의 착용이나 VR 서비스의 진행 방법 등을 안내하는 등의 부수적인 서비스를 제공할 수 있다.Here, the manager may mean a person in charge of operation of a VR service in a place-based VR platform such as a theme park. In general, when operating a place-based VR platform, there may be beginners who are unfamiliar with VR among the players (3). Ancillary services such as

특히, 어린이나 게임에 익숙치 못한 노약자나 고소 공포증이나 폐쇄 공포증이 있는 이용자들의 경우에는 VR의 몰입감으로 인해 VR 서비스를 즐기지 못하거나 심한 경우에는 불안감이나 공포감을 느끼고, 멀미나 구토감을 일으키기도 하므로, 관리자가 이러한 VR 서비스의 이용자의 상태를 신속하게 파악하여 그에 따른 고객 응대를 하는 것은 VR 서비스에서 매우 중요한 요소 중 하나로 볼 수 있다.In particular, in the case of children, the elderly who are unfamiliar with the game, or users with phobia of heights or claustrophobia, they cannot enjoy the VR service due to the immersion of VR or, in severe cases, feel anxiety or fear, and cause motion sickness or vomiting. It can be seen as one of the most important factors in VR service for the company to quickly identify the status of users of these VR services and respond accordingly.

모니터링 모듈(1500)은 관리자에게 현재 VR 서비스를 이용하는 플레이어(3)의 상태나 플레이어(3)에게 필요한 조치에 대한 정보나 지시를 제공할 수 있다. 예시적으로 모니터링 모듈(1500)은 디스플레이나 스피커 또는 이들이 조합된 기기로 제공될 수 있으며, 상술한 정보들을 관리자에게 출력할 수 있다. 물론, 모니터링 모듈(1500)은 이외에도 주변 관람객에게 VR의 가상 공간 내에서 진행되는 상황을 표시하는 중계 방송을 하거나, VR 게임 내의 정보를 표시하는 전광판으로 기능하거나 또는 VR 게임에 대해 홍보하는 영상을 출력하는 광고판으로써의 역할을 겸하는 것도 가능하다. 모니터링 모듈(1500)은 디스플레이 형태 이외에도 조치가 필요한 이용자에게 조명을 조사하는 조명 라이팅 형태로 제공되는 것도 가능할 수 있다.The monitoring module 1500 may provide the manager with information or instructions on the status of the player 3 currently using the VR service or actions necessary for the player 3 . For example, the monitoring module 1500 may be provided as a display, a speaker, or a device in which they are combined, and may output the above-described information to an administrator. Of course, the monitoring module 1500 also performs a relay broadcast that displays the progress in the virtual space of VR to nearby viewers, functions as an electric billboard displaying information in the VR game, or outputs an image to promote the VR game It is also possible to serve as a billboard for The monitoring module 1500 may be provided in the form of lighting lighting that irradiates lighting to users who need measures in addition to the display format.

이상에서 언급한 가상 현실 시스템(1000)의 구성 요소들은 서로 통신 유닛을 통해 데이터를 송수신할 수 있음을 밝혀둔다.It should be noted that the above-mentioned components of the virtual reality system 1000 may transmit/receive data to and from each other through a communication unit.

이하에서는 본 명세서의 실시예에 따른 감정 분석 방법에 관하여 설명한다. 여기서, 플레이어(3)의 감정이란 즐거움, 흥미도, 흥분도, 몰입도, 공포감, 불안감, 지루함 등과 같은 인간의 감정을 포괄하는 의미로 이해될 수 있다. 또한, 본 명세서에서는 플레이어(3)의 감정 대신 플레이어(3)의 상태를 분석하는 것으로 이해하여도 전체적인 취지 상 무방함을 미리 밝혀둔다. Hereinafter, an emotion analysis method according to an embodiment of the present specification will be described. Here, the emotions of the player 3 may be understood as encompassing human emotions such as pleasure, interest, excitement, immersion, fear, anxiety, boredom, and the like. In addition, in this specification, it is clarified in advance that it is okay to understand that the player 3's state is analyzed instead of the player's 3 emotions for the sake of the overall purpose.

또한, 본 방법은 주로 가상 현실 게임용 감정 분석 방법으로 해석될 수 있으나, 반드시 게임용이어야만 하는 것은 아님을 미리 밝혀둔다. In addition, the present method may be mainly interpreted as an emotion analysis method for a virtual reality game, but it should be noted in advance that it is not necessarily for a game.

한편, 이하의 설명에서 수행되는 동작들은 다른 구성 요소가 수행하는 것으로 별도로 언급하거나 문맥상 그러한 것이 분명한 경우를 제외하고는 가상 현실 시스템(1000), 특히 서버(1600)에 의해 수행되는 것으로 이해되어야 할 것이다. Meanwhile, the operations performed in the following description should be understood as being performed by the virtual reality system 1000, particularly the server 1600, unless otherwise noted as being performed by other components or otherwise clear from the context. will be.

도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다. 3 is a flowchart of an example of an emotion analysis method according to an embodiment of the present specification.

도 3을 참조하면, 본 명세서의 실시예에 따른 감정 분석 방법은 플레이어(3)의 현실 공간 정보를 획득하는 단계(S1100), 플레이어(3)의 가상 공간 정보를 획득하는 단계(S1200) 및 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석하는 단계(S1300)를 포함할 수 있다.Referring to FIG. 3 , the emotion analysis method according to the embodiment of the present specification includes the steps of obtaining real space information of the player 3 ( S1100 ), obtaining virtual space information of the player 3 ( S1200 ), and reality It may include analyzing the emotion of the player 3 based on the spatial information and the virtual spatial information ( S1300 ).

이하에서는 상술한 감정 분석 방법의 일 예의 각 단계들에 관하여 도 4를 참조하여 설명한다.Hereinafter, each step of an example of the above-described emotion analysis method will be described with reference to FIG. 4 .

도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다. 4 is a diagram illustrating an example of an artificial neural network for performing emotion analysis according to an embodiment of the present specification.

먼저 가상 현실 시스템(1000)은 플레이어(3)의 현실 공간 정보를 획득할 수 있다(S1100). 여기서, 현실 공간 정보는, 현실 세계에서 플레이어(3)가 플레이그라운드(1) 상 위치하는 위치, 플레이어(3)의 자세, 플레이어(3)의 움직임이나 동작, 플레이어(3)의 표정, 플레이어(3)의 동공의 상태나 움직임과 같이 플레이어(3)의 현실 공간에서의 신체 반응적인 모든 것을 포함하는 포괄적인 개념이다. 이러한 현실 공간 정보는 가상 현실 시스템(1000)에서 다양한 방식으로 획득될 수 있으며, 이하는 그 몇몇 대표적인 예시들에 대한 언급이다.First, the virtual reality system 1000 may obtain real space information of the player 3 ( S1100 ). Here, the real space information includes the position where the player 3 is located on the playground 1 in the real world, the posture of the player 3, the movement or action of the player 3, the expression of the player 3, the player ( It is a comprehensive concept that includes everything that is responsive to the body of the player 3 in the real space, such as the state or movement of the pupil of 3). Such real space information may be obtained in various ways in the virtual reality system 1000 , and the following is a reference to some representative examples thereof.

일 예로, 가상 현실 시스템(1000)은 플레이어(3)의 위치를 획득할 수 있다. As an example, the virtual reality system 1000 may obtain the position of the player 3 .

카메라로 제공되는 측위 모듈(1400)이 플레이어(3)가 위치하는 플레이그라운드(1)를 촬상하고 이를 서버(1600)로 전송하고, 서버(1600)는 카메라가 촬상한 이미지로부터 플레이그라운드(1) 상의 플레이어(3)의 위치를 판단할 수 있다. 이때 서버(1600)는 전통적인 객체 인식 알고리즘이나 딥 러닝 등의 기계학습 알고리즘을 이용하여 이미지로부터 사람 형태를 인식함으로써 플레이어 위치를 산출할 수 있다. 예시적으로, 서버(1600)는 사람 형태의 오브젝트에 대한 바운딩 박스를 생성하는 인공 신경망 모델을 통해 이미지 중 플레이어(3) 영역에 대해 바운딩 박스를 검출하고, 플레이어(3)의 발에 해당하는 바운딩 박스의 밑면이 플레이그라운드(1)의 지면과 동일한 높이인 점을 이용해 카메라의 자세 및 위치를 고려해 촬상 이미지를 플레이그라운드(1)를 기준면으로 하는 탑뷰로 변환하여 플레이그라운드(1) 상에서 플레이어(3)가 위치하는 지점을 산출할 수 있을 것이다. The positioning module 1400 provided as a camera captures the playground 1 where the player 3 is located and transmits it to the server 1600, and the server 1600 uses the image captured by the camera to capture the playground 1 It is possible to determine the position of the player 3 on the top. In this case, the server 1600 may calculate the player position by recognizing the human shape from the image using a machine learning algorithm such as a traditional object recognition algorithm or deep learning. Exemplarily, the server 1600 detects a bounding box for the player 3 region in the image through an artificial neural network model that generates a bounding box for a human-shaped object, and a bounding corresponding to the player 3’s foot. Using the point that the bottom of the box is the same height as the ground of the playground (1), the captured image is converted into a top view with the playground (1) as the reference plane in consideration of the camera’s posture and position, and the player (3) on the playground (1) ) can be calculated.

또는 HMD(1100)나 게임 콘트롤러(1200)를 비롯해 플레이어(3)에 착용되는 장비에 마커를 준비하고, 이미지로부터 마커를 검출하고, 마커의 크기, 위치 관계, 배열 패턴 등을 통해 플레이그라운드(1) 상에 플레이어(3)가 위치하는 위치를 검출하는 것도 가능하다. Alternatively, the HMD (1100) or the game controller (1200), including the equipment worn on the player (3) prepares a marker, detects the marker from the image, and the playground (1) through the size, positional relationship, arrangement pattern of the marker, etc. ), it is also possible to detect the position where the player 3 is located.

그 밖에도 능동형 소자를 플레이어(3)에 착용되는 장비에 준비하고, 그 신호를 검출하는 방식으로 플레이어(3)의 위치를 산출하거나 플레이어(3)에 착용되는 장비에 설치되는 가속도계나 자이로센서 등의 센싱값을 서버(1600)가 수신하고 이를 통해 플레이어(3)의 위치를 검출하는 것도 가능하다. In addition, an active element is prepared in the equipment worn by the player 3, and the position of the player 3 is calculated by detecting the signal, or an accelerometer or gyro sensor installed in the equipment worn on the player 3, etc. It is also possible for the server 1600 to receive the sensed value and to detect the position of the player 3 through this.

다른 예로, 가상 현실 시스템(1000)은 플레이어(3)의 자세를 획득할 수 있다. 자세의 획득은 위치의 획득과 유사하게, 플레이어(3)가 촬상된 이미지로부터의 자세 인식 알고리즘을 통하거나 각종 마커를 통한 관절 각도나 위치를 통한 자세 인식 알고리즘 등을 통해 수행될 수 있다.As another example, the virtual reality system 1000 may acquire the posture of the player 3 . The acquisition of the posture may be performed, similarly to the acquisition of the position, through a posture recognition algorithm from an image captured by the player 3 or through a posture recognition algorithm through a joint angle or position through various markers.

또 다른 예로, 가상 현실 시스템(1000)은 움직임이나 모션을 획득할 수 있다. 움직임은 획득 역시 위치나 자세의 획득과 유사하게 획득될 수 있다. 구체적으로는 연속 촬상된 이미지 간의 차이나 마커의 위치 변화의 분석을 통해 시간 축 상에서 플레이어(3)의 자세나 위치의 변화를 통해 움직임이나 모션을 획득할 수 있다. 물론, 각종 장비에 탑재된 가속도계나 자이로 센서의 신호값을 이용하여 움직임의 속도나 방향, 자세의 변화 등을 직접 측정하는 것도 가능할 수 있다.As another example, the virtual reality system 1000 may acquire motion or motion. The motion acquisition may also be acquired similarly to the acquisition of a position or posture. Specifically, movement or motion may be acquired through a change in the posture or position of the player 3 on the time axis through analysis of a difference between consecutively captured images or a change in the position of a marker. Of course, it may be possible to directly measure the speed or direction of movement, change in posture, and the like, using signal values of accelerometers or gyro sensors mounted on various devices.

다시 또 다른 예로, HMD(1200)에 탑재된 동공 트래킹 수단을 통해 플레이어(3)의 동공의 상태나 움직임, 이동 경로, 시야 방향, 시야 전환 속도 등을 획득할 수도 있다.As another example, the state or movement of the pupil of the player 3 through the pupil tracking means mounted on the HMD 1200, the movement path, the viewing direction, the viewing speed switching speed, etc. may be acquired.

또 다시 또 다른 예로는, 사용자의 신체에 각종 바이오 센서(예를 들면, 맥박 센서 등)을 부착하여 이에 기초하여 현실 공간 정보를 획득하는 것도 가능하다.As another example, it is also possible to attach various biosensors (eg, a pulse sensor, etc.) to the user's body and acquire real spatial information based thereon.

다음으로 가상 현실 시스템(1000)은 플레이어(3)의 가상 공간 정보를 획득할 수 있다(S1200). 여기서, 가상 공간 정보는 가상 세계에서 플레이어(3)가 수행하는 각종 조작, 조작에 따른 결과, 아바타의 위치, 게임 스코어, 게임 수행 속도, 플레이어의 게임 세션으로의 진입 여부, 게임 클리어 여부, 게임 스코어, 아바타의 사망율, 아바타의 타격/피격 빈도, 적 캐릭터의 타격/피격 빈도, 게임의 승률 등과 같이, VR 게임과 관련된 모든 기초 정보(raw information)은 물론 이들을 통계적으로 처리한 가공 정보를 모두 포괄하는 포괄적인 개념이다. Next, the virtual reality system 1000 may acquire virtual space information of the player 3 ( S1200 ). Here, the virtual space information includes various manipulations performed by the player 3 in the virtual world, the results of manipulations, the location of the avatar, the game score, the game performance speed, whether the player enters the game session, whether the game is cleared, the game score , avatar's death rate, avatar's hit/hit frequency, enemy character's hit/hit frequency, game win rate, etc., including all raw information related to VR games as well as statistically processed processed information. It is a comprehensive concept.

가상 공간 정보는 서버(1600)에 의해 획득될 수 있으며, 이러한 정보의 처리에는 측위 모듈(1400)에 의해 감지되는 플레이어(3)의 움직임이나 게임 콘트롤러(1200)를 통한 사용자 조작, HMD(1100)를 통한 두부의 움직임 등을 추가로 고려할 수 있다. Virtual space information may be acquired by the server 1600, and processing of this information includes the movement of the player 3 detected by the positioning module 1400, user manipulation through the game controller 1200, and the HMD 1100. The movement of the head through the

상술한 정보들을 획득하면, 가상 현실 시스템(1000)은 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석할 수 있다(S1300).When the above-described information is obtained, the virtual reality system 1000 may analyze the emotion of the player 3 based on the real space information and the virtual space information (S1300).

구체적으로 서버(1600)는 딥 러닝을 비롯한 다양한 기계 학습 알고리즘을 이용하여 현실 공간 정보나 가상 공간 정보 또는 이 둘을 모두 이용하여 플레이어(3)의 감정이나 감정 상태 또는 상태를 분석/예상할 수 있다. 예를 들면, 서버(1600)는 장기간 동안 정지 자세로 있거나 동공 트래킹 결과 눈을 감고 있는 것을 감지하면, 플레이어(3)가 공포나 불안, 지루함 등의 부정적인 감정을 갖는 것으로 분석할 수 있다. 다른 예를 들어, 서버(1600)는 플레이어(3)의 동공이 매우 빠른 속도로 움직이고 있다면, 플레이어(3)가 흥분, 즐거움, 재미 등의 긍정적 감정을 갖는 것으로 분석할 수 있다. 또 다른 예를 들어, 가상 공간 상에서 아바타가 자주 사망하는 것이 확인되면, 서버(1600)는 이를 기초로 플레이어(1600)가 짜증을 갖는 것으로 예측할 수 있으며, 반대로 아바타가 전혀 사망하지 않거나 모든 목표를 빠른 시간 안에 달성한다면 지루함을 느낄 것으로 예측할 수 있다.Specifically, the server 1600 may analyze/predict the emotion or emotional state or state of the player 3 using real space information, virtual space information, or both using various machine learning algorithms including deep learning. . For example, when the server 1600 detects that the user is in a stationary position for a long period of time or that the eyes are closed as a result of pupil tracking, it may be analyzed that the player 3 has negative emotions such as fear, anxiety, or boredom. For another example, if the pupil of the player 3 is moving at a very high speed, the server 1600 may analyze that the player 3 has positive emotions such as excitement, pleasure, and fun. As another example, if it is confirmed that the avatar frequently dies in the virtual space, the server 1600 may predict that the player 1600 is annoyed based on this, and conversely, the avatar does not die at all or all targets are quickly completed. If you achieve it in time, you can expect to feel bored.

다만, 상술한 현실/가상 공간 정보를 이용한 감정 분석은 대단히 복잡한 분야이며, 본 명세서에서는 인공 신경망 기법을 활용해 비교적 정확한 감정 분석을 수행할 수 있다.However, emotion analysis using the above-described real/virtual spatial information is a very complex field, and in the present specification, a relatively accurate emotion analysis can be performed using an artificial neural network technique.

도 4는 감정 분석을 수행하는 인공 신경망의 구조를 도시한 것으로, 인공 신경망은 현실 공간 정보 및 가상 공간 정보 중 적어도 일부를 입력받는 입력 레이어와 감정 분석 결과를 출력하는 출력 레이어를 가질 수 있다. 또 인공 신경망의 입력 레이어와 출력 레이어 사이에는 출력 레이어에 의해 도출된 감정 분석 결과와 실제의 감정 간의 오차를 역전시킴으로써 웨이트와 바이어스가 조정되는 은닉 레이어가 배치될 수 있다. 이러한 인공 신경망은 감정 분석 결과의 참값이 라벨링된 입력 데이터로 구성되는 학습 자료인 러닝 셋을 통해 그 모델이 점차로 정밀해지는 방향으로 학습될 수 있으며, 충분한 정확도를 갖도록 학습된 인공 신경망 모델은 하드웨어적으로 또는 소프트웨어적으로 또는 이 둘이 조합된 형태로 서버(1600)에 저장될 수 있다. 4 illustrates the structure of an artificial neural network for performing emotion analysis, the artificial neural network may have an input layer that receives at least a portion of real space information and virtual space information, and an output layer that outputs an emotion analysis result. Also, between the input layer and the output layer of the artificial neural network, a hidden layer whose weight and bias are adjusted by reversing the error between the emotion analysis result derived by the output layer and the actual emotion may be disposed. Such an artificial neural network can be trained in such a way that the model gradually becomes more precise through the learning set, which is a learning set consisting of input data labeled with the true value of the emotion analysis result, and the artificial neural network model trained to have sufficient accuracy is hardware-wise. Alternatively, it may be stored in the server 1600 in software or in the form of a combination of the two.

따라서, 서버(1600)는 상술한 현실 공간 정보나 가상 공간 정보로부터 인공 신경망 모델을 이용해 플레이어(3)의 감정에 관한 분석 결과를 획득할 수 있게 된다. 물론, 해당 인공 신경망 모델은 서버(1600)가 아닌 원격지에 별도로 준비되고, 서버(1600)는 원격지 컴퓨터와의 통신을 통해 감정 분석을 수행하는 것도 가능할 수 있다.Accordingly, the server 1600 can obtain the analysis result on the emotion of the player 3 by using the artificial neural network model from the above-described real space information or virtual space information. Of course, the artificial neural network model may be separately prepared at a remote location other than the server 1600 , and the server 1600 may also perform emotion analysis through communication with a remote computer.

다만, 이처럼 구성된 인공 신경망의 고도화에는 수많은 러닝 셋 데이터를 통한 학습이 필수적으로 요청되며, 다시 말해 인공 신경망의 정확도는 러닝 셋의 수집에 크게 의존되는 것이다. However, learning through a large number of running set data is essential to the advancement of the artificial neural network constructed in this way, that is, the accuracy of the artificial neural network is highly dependent on the collection of the running set.

그런데, 본 명세서에서 말하고 있는 플레이어(3)의 감정은 수치화시켜 표현하기 쉽지 않기 때문에 러닝 셋의 데이터 라벨링이 어려울 수 있으므로, 본 명세서에서는 인공 신경망의 분석 결과가 직접적인 감정 카테고리인 대신 비교적 감정 상태를 투명하게 반영하는 현실 공간 정보를 감정 정보로 정의할 수 있다. 다시 말해, 입력 레이어로 입력되는 다양한 정보들 중 일부를 인공 신경망의 결과값으로 라벨링함으로써 비교적 학습 데이터의 확보가 용이해질 수 있는 것이다. However, since the emotion of the player 3 mentioned in this specification is not easy to quantify and express, it may be difficult to label the data of the running set. It is possible to define the real spatial information that reflects the emotional information as emotional information. In other words, by labeling some of the various pieces of information input to the input layer with the result value of the artificial neural network, it is possible to relatively easily secure the learning data.

구체적인 예시를 들면, 플레이어(3)의 심박수나 호흡수 등과 같이 감정에 따라 비교적 적은 레이턴시를 가지고 직접적으로 변화하는 생체 수치를 감정 정보로 이용할 수 있는 것이다. 예를 들면, 심박수가 빨라질수록 플레이어(3)의 흥분도가 상승되거나 불안감/공포감이 상승하는 것으로 이해될 수 있으며, 심박수가 느려질수록 플레이어(3)가 지루함을 크게 느끼고 흥미를 잃는 것으로 이해할 수 있을 것이다. 이는 동공의 움직임 등에도 유사하게 적용될 수 있다. As a specific example, biometric values that directly change with relatively low latency depending on emotions, such as heart rate or respiration rate of the player 3 , may be used as emotion information. For example, as the heart rate increases, it can be understood that the excitement level of the player 3 increases or the feeling of anxiety/fear increases, and as the heart rate decreases, the player 3 becomes more bored and loses interest. will be. This can be similarly applied to the movement of the pupil.

다만, 상술한 바와 같이 심박수나 동공의 움직임 등의 상승은 흥분도나 불안감의 상승을 의미하지만 양자에 함께 적용될 수 있어, 조금더 세밀한 감정 상태를 구분하기 위해 현실 공간 정보를 감정 정보로 이용함에 있어 추가적인 현실 공간 정보나 가상 공간 정보를 함께 이용할 수 있다. However, as described above, an increase in heart rate or pupil movement means an increase in excitement or anxiety, but it can be applied to both. Real space information and virtual space information can be used together.

조금 더 구체적으로 설명하면, 심박수나 동공 움직임 등과 같은 직관적인 현실 공간 정보와 게임 내의 스코어 등과 같이 게임이 잘 진행되고 있는지를 직관적으로 반영하는 가상 공간 정보를 주요 변수로 하는 감정 인덱스를 정의하고, 이를 감정 분석 결과물로써 이용할 수 있는 것이다. 이때 감정 인덱스는 부정적인 감정으로부터 긍정적인 감정으로부터 갈수록 수치가 증감하는 형태로 마련될 수 있을 것이다. 여기서, 생체 정보는 감정의 강도를 반영하고, 감정 종류는 VR 게임 내의 게임 진행 상황에 따라 반영되는 것으로 해석될 수도 있다.More specifically, an emotion index is defined using intuitive real spatial information such as heart rate and pupil movement, and virtual spatial information that intuitively reflects whether the game is progressing well, such as an in-game score, as the main variable. It can be used as a result of emotional analysis. In this case, the emotion index may be prepared in a form in which the numerical value increases or decreases from negative emotions to positive emotions. Here, the biometric information may be interpreted as reflecting the intensity of the emotion, and the emotion type is reflected according to the progress of the game in the VR game.

이러한 학습 데이터 셋은 플레이어(3)의 VR 게임 플레이로부터 자연스럽게 확보될 수 있으므로, 비교적 인공 신경망의 학습과 고도화가 용이할 것이다. Since such a learning data set can be obtained naturally from the player 3's VR game play, learning and upgrading of the artificial neural network will be relatively easy.

결과적으로 위의 예시적 언급과 같이 학습된 인공 신경망 모델을 이용하면 서버(3)는 현실/가상 공간 정보로부터 플레이어(3)의 감정 상태를 반영하는 수치 범위에서 결정되는 감정 인덱스를 획득할 수 있다.As a result, using the artificial neural network model trained as mentioned above, the server 3 can obtain an emotion index determined in a numerical range reflecting the emotional state of the player 3 from real/virtual spatial information. .

상술한 바와 같이 가상 현실 시스템(1000)이 VR 체험 중인 플레이어(3)의 감정을 분석하게 되면, VR 서비스의 운용에 플레이어(3)의 감정 정보를 다양한 형태로 활용할 수 있다. As described above, when the virtual reality system 1000 analyzes the emotion of the player 3 during VR experience, the emotion information of the player 3 may be utilized in various forms to operate the VR service.

이하에서는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 예시들에 관해 도 5 및 도 6을 참조하여 설명하기로 한다.Hereinafter, examples of a method for operating a virtual reality service according to an embodiment of the present specification will be described with reference to FIGS. 5 and 6 .

도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이고, 도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.5 is a flowchart of an example of a method for operating a virtual reality service according to an embodiment of the present specification, and FIG. 6 is a flowchart of another example of a method of operating a virtual reality service according to an embodiment of the present specification.

도 5를 참조하면, 가상 현실 서비스 운용 방법의 일 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S2100), 플레이어(3)의 감정을 분석하는 단계(S2200) 및 분석된 감정에 기초하여 게임 난이도를 조정하는 단계(S2300)를 포함할 수 있다.Referring to FIG. 5 , an example of a method for operating a virtual reality service includes the steps of acquiring real and/or virtual space information of the player 3 ( S2100 ), analyzing the emotions of the player 3 ( S2200 ), and It may include adjusting the game difficulty based on the analyzed emotion (S2300).

도 6을 참조하면, 가상 현실 서비스 운용 방법의 다른 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S3100), 플레이어(3)의 감정을 분석하는 단계(S3200) 및 분석된 감정에 기초하여 현장 요원에게 플레이어 가이드를 지시하는 단계(S3300)를 포함할 수 있다.Referring to FIG. 6 , another example of a virtual reality service operating method includes the steps of acquiring real and/or virtual space information of the player 3 ( S3100 ), analyzing the emotions of the player 3 ( S3200 ), and It may include a step (S3300) of instructing a player guide to the field agent based on the analyzed emotion.

여기서, 단계 S2100과 S3100, 그리고 단계 S2200과 S3200에 관해서는 이미 자세히 설명한 바 있으므로 이에 대한 설명은 생략하기로 한다.Here, since steps S2100 and S3100 and steps S2200 and S3200 have already been described in detail, a description thereof will be omitted.

가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 VR 게임의 난이도를 조절할 수 있다(S2300). The virtual reality system 1000 may adjust the difficulty of the VR game by using the result of analyzing the player 3's emotions (S2300).

구체적으로 서버(1600)는 흥분도를 표현하는 값을 갖는 감정 인덱스 형태로 감정 분석 결과를 얻을 수 있으며, 플레이어의 흥분도가 낮은 경우에 난이도를 변경할 수 있다. 보다 구체적으로는, 심박수나 맥박수가 낮으면 흥미가 없는 것으로 이해될 수 있고, 반대로 높으면 흥미가 있는 것으로 이해될 수 있으므로, 서버(1600)는 흥미가 없는 것으로 해석되는 결과값이 획득되면 난이도를 변경할 수 있다. 이‹š 인-게임 정보에 기초하여 플레이어(3)가 게임에 곤람함을 겪고 있다면 난이도를 낮추는 방향으로, 반대의 경우에는 난이도를 높이는 방향으로 난이도를 변경할 수 있을 것이다.Specifically, the server 1600 may obtain the emotion analysis result in the form of an emotion index having a value expressing the level of excitement, and may change the difficulty level when the level of excitement of the player is low. More specifically, if the heart rate or pulse rate is low, it may be understood as uninteresting, and conversely, if the heart rate or pulse rate is high, it may be understood as interesting. can Based on this in-game information, if the player 3 is experiencing difficulty in the game, the difficulty may be changed in the direction of decreasing the difficulty, and vice versa, in the direction of increasing the difficulty.

또 가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 현장 요원에게 플레이어 가이드를 지시할 수 있다(S2300). In addition, the virtual reality system 1000 may instruct the field agent to guide the player using the result of analyzing the player 3's emotions (S2300).

구체적으로 서버(1600)는 플레이어(3)의 공포감이나 불안감, 메스꺼움 등이 높은 감정이 검출되면, 현장 요원에게 해당 플레이어(3)를 돕거나 해당 플레이어(3)에 대한 VR 서비스 중단을 지시할 수 있다. 이러한 지시는 모니터링 모듈(1500)을 통해 출력되는 것도 가능하다.Specifically, when the server 1600 detects a high emotion such as fear, anxiety, or nausea of the player 3, the server 1600 can help the player 3 or instruct the player 3 to stop the VR service. have. This instruction may be output through the monitoring module 1500 .

이상의 다양한 예시들을 수행하기 위해 서버(1600)에는 인-게임 정보와 조명 속성 간의 매칭 테이블이 저장되어 있을 수 있으며, 서버(1600)는 조명 속상과 매칭되는 인-게임 정보를 획득하면, 매칭 테이블을 참조하여 조명 속성을 결정하고, 이에 따라 해당 인-게임 정보와 관련된 플레이어(3)를 결정한 뒤, 해당 플레이어(3)에게 결정된 조명 속성에 따라 조명 연출을 수행할 수 있다. In order to perform the above various examples, the server 1600 may store a matching table between in-game information and lighting properties. After determining the lighting property with reference to, and thus determining the player 3 related to the corresponding in-game information, it is possible to perform lighting directing according to the lighting property determined for the player 3 .

이상에서 설명한 본 발명의 실시예에 따른 방법들은 단독으로 또는 서로 조합되어 이용될 수 있다. 본 발명의 실시예에 따른 방법에서 설명된 각 단계들은 모두 필수적인 것은 아니므로 각 방법들이 그 단계들을 전부 포함하는 것은 물론 일부만 포함하여 수행되는 것도 가능하다. 또 각 단계들이 설명된 순서는 설명의 편의를 위한 것에 불과하므로, 본 발명에서 설명된 방법에서 각 단계들이 반드시 설명된 순서대로 진행되어야 하는 것은 아니다. The methods according to the embodiments of the present invention described above may be used alone or in combination with each other. Since each step described in the method according to the embodiment of the present invention is not essential, each method may be performed including all of the steps as well as only some of the steps. Also, since the order in which each step is described is only for convenience of description, each step in the method described in the present invention does not necessarily have to be performed in the described order.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 이상에서 설명한 본 발명의 실시예들은 서로 별개로 또는 조합되어 구현되는 것도 가능하다. The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments of the present invention described above may be implemented separately or in combination with each other.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

1: 플레이그라운드 2: 구조물
3: 플레이어 1000: 가상 현실 시스템
1100: HMD 1200: 게임 콘트롤러
1300: 보조 컴퓨팅 장치 1400: 측위 모듈
1500: 모니터링 모듈 1600: 서버
1: Playground 2: Structures
3: Player 1000: Virtual Reality System
1100: HMD 1200: game controller
1300: secondary computing device 1400: positioning module
1500: monitoring module 1600: server

Claims (7)

VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계; 및
감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함하는
가상 현실 게임용 감정 분석 방법.
acquiring real spatial information about a player who plays a VR game; and
The emotion index defined using the biometric information that reflects the emotional intensity and the game progress information in the VR game that reflects the emotion type is the reality using an artificial neural network learned using the learning data labeled in the real spatial information. Including; obtaining emotional information of the player from spatial information
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 생체 정보는, 호흡수, 맥박수, 심박수 및 혈압 중 적어도 하나를 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The biometric information includes at least one of a respiration rate, a pulse rate, a heart rate, and a blood pressure.
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 게임 진행 정보는, 게임 내의 스코어의 변화율을 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The game progress information, including the rate of change of the score in the game
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 감정 정보에 기초하여 상기 VR 게임의 난이도를 조정하는 단계;를 더 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
Adjusting the difficulty level of the VR game based on the emotion information; further comprising
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 감정 정보에 기초하여 현장 요원에 대한 플레이어 가이드를 지시하는 단계;를 더 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
Instructing a player guide to the field agent based on the emotion information; further comprising
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 현실 공간 정보는, 상기 플레이어의 위치, 움직임, 속도, 자세 및 시선 중 적어도 하나를 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The real space information includes at least one of a position, movement, speed, posture, and gaze of the player.
Sentiment analysis method for virtual reality games.
제1 항에 있어서,
상기 VR 게임과 관련된 가상 공간 정보를 더 고려하여 상기 감정 정보를 획득하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
acquiring the emotion information by further considering the virtual space information related to the VR game
Sentiment analysis method for virtual reality games.
KR1020200077788A 2020-06-25 2020-06-25 Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system KR102433084B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077788A KR102433084B1 (en) 2020-06-25 2020-06-25 Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077788A KR102433084B1 (en) 2020-06-25 2020-06-25 Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system

Publications (2)

Publication Number Publication Date
KR20220000164A true KR20220000164A (en) 2022-01-03
KR102433084B1 KR102433084B1 (en) 2022-08-17

Family

ID=79348390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077788A KR102433084B1 (en) 2020-06-25 2020-06-25 Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system

Country Status (1)

Country Link
KR (1) KR102433084B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116603232A (en) * 2023-05-30 2023-08-18 深圳市德尔凯科技有限公司 Three-dimensional VR and entity feedback based mutual-aid game entertainment system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007006A (en) * 2015-07-08 2018-01-19 삼성전자주식회사 Appraisal
KR20190020418A (en) * 2017-08-21 2019-03-04 주식회사 엠투에스 Virtual Reality Monitoring System Using Virtual Reality and Psychotherapy Using the Same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007006A (en) * 2015-07-08 2018-01-19 삼성전자주식회사 Appraisal
KR20190020418A (en) * 2017-08-21 2019-03-04 주식회사 엠투에스 Virtual Reality Monitoring System Using Virtual Reality and Psychotherapy Using the Same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116603232A (en) * 2023-05-30 2023-08-18 深圳市德尔凯科技有限公司 Three-dimensional VR and entity feedback based mutual-aid game entertainment system

Also Published As

Publication number Publication date
KR102433084B1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
US11947719B2 (en) Building saccade models for predicting a landing point of a saccade experienced by a player
US11762461B2 (en) Late update of eye tracking information to GPU for fast foveated rendering
US9498720B2 (en) Sharing games using personal audio/visual apparatus
JP2019532374A (en) Technology for controlling a virtual image generation system using the emotional state of a user
Shaw et al. Challenges in virtual reality exergame design
WO2019014392A1 (en) Input controller and corresponding game mechanics for virtual reality systems
JP6200023B1 (en) Simulation control apparatus and simulation control program
JP2017182218A (en) Simulation controller and simulation control program
JP7160669B2 (en) Program, Information Processing Apparatus, and Method
JP6248219B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP2018147465A (en) Information processing method, device, and program for causing computer to execute the method
KR102433084B1 (en) Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system
CN114253393A (en) Information processing apparatus, terminal, method, and computer-readable recording medium
KR102433082B1 (en) In-game event-based lighting production method for virtual reality game and virtual reality system for performing the same
JP2017182217A (en) Simulation controller and simulation control program
JP6263292B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
KR102433080B1 (en) Player location-based lighting production method for virtual reality game and virtual reality system for performing the same
WO2020255996A1 (en) Program, method, and terminal device
JP6330072B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
KR102433085B1 (en) Method for broadcasting virtual reality game and virtual reality system for performing the same
JP6643783B2 (en) Simulation control device and simulation control program
JP2018147469A (en) Information processing method, apparatus, and program for implementing that information processing method in computer
JP2018143752A (en) Information processing method, device, and program for causing computer to execute the information processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant