KR20220000164A - Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system - Google Patents
Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system Download PDFInfo
- Publication number
- KR20220000164A KR20220000164A KR1020200077788A KR20200077788A KR20220000164A KR 20220000164 A KR20220000164 A KR 20220000164A KR 1020200077788 A KR1020200077788 A KR 1020200077788A KR 20200077788 A KR20200077788 A KR 20200077788A KR 20220000164 A KR20220000164 A KR 20220000164A
- Authority
- KR
- South Korea
- Prior art keywords
- player
- virtual reality
- game
- information
- emotion
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 출원은 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것으로, 보다 상세하게는 가상 현실 게임을 수행하는 플레이어의 흥분도나 몰입도, 난처함 등과 같은 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것이다. The present application relates to a method for analyzing player emotions for a virtual reality game, a method for operating a virtual reality service based on player emotions, and a virtual reality system, and more particularly, analyzing emotions such as excitement, immersion, and embarrassment of a player performing a virtual reality game It relates to a method for analyzing player emotions for virtual reality games, a method for operating a virtual reality service based on player emotions, and a virtual reality system.
실제와 유사한 환경을 갖는 컴퓨터 그래픽으로 만들어진 가상 현실(VR: Virtual Reality) 서비스는 최근 대규모 투자가 진행됨에 따라 차세대 대표 서비스로 각광받고 있다. 가상 현실 기술의 적용 분야는 교육, 의료, 국방, 교통 등의 다양한 분야에 걸쳐 있으나, 사용자에게 높은 몰입도와 체험감을 제공할 수 있어 특히 게임 및 엔터테인먼트 분야에서 가장 두각을 보이고 있다.A virtual reality (VR) service made with computer graphics having an environment similar to the real one is spotlighted as a next-generation representative service as a large-scale investment is in progress. The field of application of virtual reality technology spans various fields such as education, medical care, national defense, and transportation.
초기 가상 현실 게임은 주로 개인용 플랫폼을 중심으로 개발이 이루어졌으나, 최근에는 테마 파크 등을 중심으로 하는 장소 기반 엔터테인먼트(Location-Based Entertainment) 형태로 발전하고 있다. Initially, virtual reality games were developed mainly for personal platforms, but recently, they are developing into a location-based entertainment form centered on theme parks and the like.
장소 기반 VR 플랫폼은 개인용 VR 플랫폼이 게임에 익숙한 게이머를 주고객층으로 하는 것과 달리 다양한 고객층을 대상으로 하는데, VR 게임을 처음 접하거나 VR에 익숙하지 않은 초심자의 경우에는 압도적으로 높은 몰입감을 제공하는 VR 서비스의 장점으로 인해 오히려 멀미나 공포심 등이 유발될 수 있어 이에 대한 대응 방안이 요청되고 있다. A place-based VR platform targets a variety of customer groups, unlike personal VR platforms that target gamers who are familiar with games. Because of the advantages of , it can cause motion sickness or fear, so countermeasures are being requested.
본 출원의 일 과제는, VR 게임이 진행되는 중 이를 수행하는 플레이어의 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템을 제공하는 것이다. One object of the present application is to provide a player emotion analysis method for a virtual reality game, a method for operating a virtual reality service based on player emotion, and a virtual reality system for analyzing the emotion of a player who performs a VR game while the VR game is in progress.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present application is not limited to the above-mentioned problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present application belongs from the present specification and the accompanying drawings. .
본 출원의 일 양상에 따르면, VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계; 및 감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함하는 가상 현실 게임용 감정 분석 방법이 제공될 수 있다.According to an aspect of the present application, the method comprising: acquiring real-space information about a player performing a VR game; and an artificial neural network in which an emotion index defined using biometric information reflecting the emotional intensity and game progress information in the VR game reflecting the emotion type is learned using the learning data labeled in the real spatial information. An emotion analysis method for a virtual reality game including; obtaining emotional information of the player from real space information may be provided.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. will be able
본 출원의 실시예에 따르면, 플레이어의 자세나 움직임에 따라 플레이어가 VR 게임에 몰입하고 있는지 아니면 공포감이나 멀미 등과 같은 불편함을 느끼고 있는지 등과 같은 플레이어의 다양한 감정 상태를 알 수 있다. According to the embodiment of the present application, various emotional states of the player, such as whether the player is immersed in the VR game or feels discomfort such as fear or motion sickness, can be known according to the player's posture or movement.
또 본 출원의 실시예에 따르면, 몰입도나 흥분도와 같은 플레이어의 감정 상태를 검출함으로써, VR 게임의 난이도를 조절하는 등을 통해 플레이어의 보다 향상된 가상 현실 경험을 제공할 수 있다.In addition, according to the embodiment of the present application, by detecting the emotional state of the player, such as the degree of immersion or excitement, it is possible to provide a more improved virtual reality experience for the player by adjusting the difficulty of the VR game.
또 본 출원의 실시예에 따르면, 공포감이나 불안감, 메스꺼움 등과 같은 플레이어의 감정 상태를 검출함으로써, VR 게임 내의 환경을 조절하거나 VR 진행 요원이 조치를 취할 수 있도록 알람을 제공하여 플레이어에게 보다 개선된 VR 서비스를 제공할 수 있다. In addition, according to the embodiment of the present application, by detecting the emotional state of the player such as fear, anxiety, nausea, etc., the environment in the VR game is adjusted or an alarm is provided so that the VR operator can take action, so that the player can be further improved in VR service can be provided.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effect of the present invention is not limited to the above-described effect, and the tasks not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and accompanying drawings.
도 1은 본 명세서의 실시예에 따른 가상 현실 시스템의 블록도이다.
도 2는 본 명세서의 실시예에 따른 가상 현실 시스템의 개략도이다.
도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다.
도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다.
도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이다.
도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.1 is a block diagram of a virtual reality system according to an embodiment of the present specification.
2 is a schematic diagram of a virtual reality system according to an embodiment of the present specification.
3 is a flowchart of an example of an emotion analysis method according to an embodiment of the present specification.
4 is a diagram illustrating an example of an artificial neural network for performing emotion analysis according to an embodiment of the present specification.
5 is a flowchart illustrating an example of a method for operating a virtual reality service according to an embodiment of the present specification.
6 is a flowchart illustrating another example of a method for operating a virtual reality service according to an embodiment of the present specification.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described herein are for clearly explaining the spirit of the present invention to those of ordinary skill in the art to which the present invention pertains, so the present invention is not limited by the embodiments described herein, and the present invention It should be construed as including modifications or variations that do not depart from the spirit of the present invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected as widely used general terms as possible in consideration of the functions in the present invention, but they may vary depending on the intention, custom, or emergence of new technologies of those of ordinary skill in the art to which the present invention belongs. can However, if a specific term is defined and used in an arbitrary sense, the meaning of the term will be separately described. Therefore, the terms used in this specification should be interpreted based on the actual meaning of the terms and the contents of the entire specification, rather than the names of simple terms.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to this specification are for easily explaining the present invention, and the shapes shown in the drawings may be exaggerated as necessary to help understand the present invention, so the present invention is not limited by the drawings.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a known configuration or function related to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted if necessary.
본 명세서는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템(1000)에 관한 것이다. The present specification relates to a player emotion analysis method for a virtual reality game, a player emotion-based virtual reality service operating method, and the
이하에서는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)에 관하여 도 1 및 도 2를 참조하여 설명하기로 한다.Hereinafter, a
가상 현실 시스템(1000)은 사용자에게 가상 현실을 제공하는 시스템이다. 여기서, 가상 현실(VR: Virtual Reality)이라 현실 세계와 달리 컴퓨터 프로그램에 의해 만들어진 시각 및 청각 정보 등을 이용하여 제공되는 인공 환경을 의미할 수 있다. The
가상 현실은 주로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 협의의 가상 현실, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 증강 현실(AR: Augmented Reality) 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 혼합 현실(MR: Mixed Reality)로 구분될 수 있으나, 본 명세서에서 '가상 현실'이라는 용어는 별도의 언급이 없는 한 광의의 가상 현실로 해석될 수 있다.Virtual reality is mainly a virtual reality that provides an image by creating a virtual space separated from reality by a program, and Augmented Reality (AR: Augmented Reality) that provides a single image by overlapping virtual images based on the real world ) and mixed reality (MR: Mixed Reality), which provides a virtual space by fusing the real world and virtual reality and provides an image for it, the term 'virtual reality' is It can be interpreted as virtual reality in a broad sense.
본 명세서에서는 가상 현실 시스템(1000)은 예를 들어 가상 현실로 만들어진 비디오 게임(이하 'VR 게임'이라 함)을 사용자(이하 '플레이어(3)'라 함)에게 제공할 수 있다.In the present specification, the
도 1은 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 블록도이고, 도 2는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 개략도이다. 1 is a block diagram of a
도 1 및 도 2를 참조하면, 가상 현실 시스템(1000)은 헤드 마운트 디스플레이(HMD(1100): Head-Mounted Display), 게임 콘트롤러(1200), 보조 컴퓨팅 장치(1300), 측위 모듈(1400), 모니터링 모듈(1500) 및 서버(1600)를 포함할 수 있다. 1 and 2, the
HMD(1100)는 플레이어(3)의 두부에 착용되는 기기로서, 가상 현실 서비스의 사용자에 대한 출력 인터페이스로의 기능을 수행할 수 있다.The HMD 1100 is a device worn on the head of the
주로 HMD(1100)는 플레이어(3)에게 가상 환경에 관한 시각적 정보, 즉 가상 이미지를 출력할 수 있다. 예시적으로 HMD(1100)는 착용자의 양 눈에 서로 격리된 두 개의 이미지를 출력하는 스테레오스코픽 디스플레이를 통해 플레이어(3)에게 3차원 영상을 제공할 수 있다.Mainly, the HMD 1100 may output visual information about the virtual environment, ie, a virtual image, to the
또 HMD(1100)는 선택적으로 음성을 출력하는 스피커를 포함하여 착용자에게 가상 환경에 관한 음성 출력을 할 수도 있다.In addition, the HMD 1100 may include a speaker that selectively outputs a voice to output a voice related to the virtual environment to the wearer.
HMD(1100)는 상술한 출력 인터페이스로서의 역할 이외에도 착용자에 대한 센서로서 기능할 수도 있다. 예를 들어, HMD(1100)에는 자이로 센서나 가속도 센서 등이 탑재되고, HMD(1100)는 이를 이용해 사용자의 두부의 움직임이나 두부의 자세를 감지할 수 있다. The HMD 1100 may function as a sensor for the wearer in addition to the above-described role as the output interface. For example, the HMD 1100 is equipped with a gyro sensor, an acceleration sensor, or the like, and the HMD 1100 can detect the movement of the user's head or the posture of the head using this.
이외에도 HMD(1100)에는 가상 현실 시스템(1000)의 측위 모델이 착용자의 두부의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.In addition, a marker used for tracking the position, posture, and motion of the wearer's head by the positioning model of the
게임 콘트롤러(1200)는 가상 현실 서비스의 사용자에 대한 입력 인터페이스로의 기능을 수행한다. The
게임 콘트롤러(1200)는 주로 스틱 형상이나 도 2에 도시된 바와 같은 총(gun) 형상으로 제공되며 플레이어(3)에 의해 파지될 수 있다. The
게임 콘트롤러(1200)는 플레이어(3)의 조작을 입력받는 조작 버튼을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 조작 버튼을 통해 가상 공간 상에서 총을 발사할 수 있다.The
또 게임 콘트롤러(1200)는 플레이어(3)의 조작에 따라 조정되는 게임 콘트롤러(1200)의 자세를 감지하는 자이로 센서나 가속도 센서 등을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 자세를 조절하여 가상 공간 상에서 총의 발사 방향을 조정할 수 있다.In addition, the
이외에도 게임 콘틀롤러(1200)에는 가상 현실 시스템(1000)의 측위 모델이 게임 콘트롤러(1200)의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.In addition, a marker used for tracking the position, posture, motion, etc. of the
측위 모듈(1400)은 현실 공간 상에서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측정할 수 있다. The
VR 게임 내의 가상 공간은 VR 게임이 수행되는 현실 공간인 플레이그라운드(1)와 매칭될 수 있는데, 예를 들어 플레이어(3)가 현실 공간에서는 도 2에 도시된 바와 같이 플레이그라운드(1) 상에 위치할 때 가상 현실 시스템(1000)은 플레이어(3)가 조종하는 캐릭터(이하 '플레이어(3) 캐릭터' 또는 '아바타'라고 함)를 가상 공간에서는 플레이그라운드(1) 상의 위치에 대응하는 가상 위치에 배치하거나, 플레이어(3)가 플레이그라운드(1) 상에 이동하면 아바타 역시 가상 공간 내에서 이동시킬 수 있다.The virtual space in the VR game may be matched with the
측위 모듈(1400)은 이처럼 가상 현실 시스템(1000)이 가상 공간 내의 아바타를 처리하기 위한 기초 정보로서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측위할 수 있다. As such, the
측위 모듈(1400)은 예시적으로 플레이그라운드(1) 내의 플레이어(3)나 HMD(1100)나 게임 콘트롤러(1200)에 설치된 마커를 추적하는 카메라일 수 있다. 여기서, 카메라는 RGB 카메라를 비롯한 적외선 카메라나 열상 카메라를 모두 포함하는 개념이며, 측위 모듈(1400)은 카메라 이외에도 다양한 형태로 구현될 수 있다.The
측위 모듈(1400)은 플레이그라운드(1) 내의 플레이어(3)를 촬상하기 적절한 각도를 갖도록 플레이그라운드(1)이 주변에 배치되는 구조물(2)에 설치될 수 있다.The
보조 컴퓨팅 장치(1300)와 서버(1600)는 가상 현실을 구현하기 위한 각종 연산 및 정보 처리를 수행할 수 있다. 예를 들어, 이들은 측위 모듈(1400)이나 HMD(1100), 게임 콘트롤러(1200)에서 검출된 각종 정보를 처리하여 플레이어(3)나 게임 콘트롤러(1200)의 위치나 자세, 모션, 플레이어(3)의 시야각 등을 산출하고, 산출된 정보를 이용하여 가상 현실을 형성하는 시각적/청각적 정보를 생성한다. The
도 1 및 도 2에는 보조 컴퓨팅 장치(1300)와 서버(1600)가 별개의 구성인 것으로 도시하고 있으나, 가상 현실 시스템(1000)에서 보조 컴퓨팅 장치(1300)가 생략되고 보조 컴퓨팅 장치(1300)의 기능이 서버(1600)나 HMD(1100)로 통합될 수도 있다.1 and 2 , the
다만, VR 게임 서비스에서는 몰입도의 향상을 위해 시청각적 피드백의 실시간성이 중요할 수 있는데, 서버(1600)와 HMD(1100) 간의 무선 통신을 이용하는 경우 지연 시간이 발생할 수 있는 반면, 플레이어(3)에 의해 소지되어 HMD(1100)와 유선으로 연결이 가능한 보조 컴퓨팅 장치(1300)가 VR 이미지나 음성을 생성하여 이를 HMD(1100)로 유선 전송하면 저지연 시청각 피드백이 가능한 장점이 있을 수 있다.However, in the VR game service, real-time audiovisual feedback may be important to improve immersion. When using wireless communication between the
여기서, 보조 컴퓨팅 장치(1300)나, 서버(1600) 또는 연산 기능을 갖는 HMD(1100)는 제어기를 포함할 수 있으며, 본 명세서에서 제어기는 컴퓨터 프로그램을 수행하는 칩이나 프로세서, 각종 연산 및 정보 처리를 수행할 수 있는 전기적 회로와 같은 하드웨어적 형태는 물론 소프트웨어적 형태 내지는 하드웨어와 소프트웨어가 결합된 형태를 포괄하는 것으로 해석될 수 있다.Here, the
한편, 후술되는 본 명세서의 실시예에 따른 방법들에서 가상 현실 시스템(1000)이 수행하는 동작들은 특별한 언급이 없는한 상술한 제어기의 제어에 따라 수행되는 것으로 이해될 수 있음을 밝혀둔다. Meanwhile, it should be noted that operations performed by the
모니터링 모듈(1500)은 VR 게임의 관리자에게 정보를 제공할 수 있다. The
여기서, 관리자는 테마 파크 등의 장소 기반 VR 플랫폼에서 VR 서비스의 운영을 담당하는 인력을 의미할 수 있다. 일반적으로 장소 기반 VR 플랫폼 운영시에는 플레이어(3) 중 VR에 익숙치 못한 초심자가 있을 수 있으며, 이들이 VR 서비스를 즐길 수 있도록 관리자는 VR과 관련된 각종 장비의 착용이나 VR 서비스의 진행 방법 등을 안내하는 등의 부수적인 서비스를 제공할 수 있다.Here, the manager may mean a person in charge of operation of a VR service in a place-based VR platform such as a theme park. In general, when operating a place-based VR platform, there may be beginners who are unfamiliar with VR among the players (3). Ancillary services such as
특히, 어린이나 게임에 익숙치 못한 노약자나 고소 공포증이나 폐쇄 공포증이 있는 이용자들의 경우에는 VR의 몰입감으로 인해 VR 서비스를 즐기지 못하거나 심한 경우에는 불안감이나 공포감을 느끼고, 멀미나 구토감을 일으키기도 하므로, 관리자가 이러한 VR 서비스의 이용자의 상태를 신속하게 파악하여 그에 따른 고객 응대를 하는 것은 VR 서비스에서 매우 중요한 요소 중 하나로 볼 수 있다.In particular, in the case of children, the elderly who are unfamiliar with the game, or users with phobia of heights or claustrophobia, they cannot enjoy the VR service due to the immersion of VR or, in severe cases, feel anxiety or fear, and cause motion sickness or vomiting. It can be seen as one of the most important factors in VR service for the company to quickly identify the status of users of these VR services and respond accordingly.
모니터링 모듈(1500)은 관리자에게 현재 VR 서비스를 이용하는 플레이어(3)의 상태나 플레이어(3)에게 필요한 조치에 대한 정보나 지시를 제공할 수 있다. 예시적으로 모니터링 모듈(1500)은 디스플레이나 스피커 또는 이들이 조합된 기기로 제공될 수 있으며, 상술한 정보들을 관리자에게 출력할 수 있다. 물론, 모니터링 모듈(1500)은 이외에도 주변 관람객에게 VR의 가상 공간 내에서 진행되는 상황을 표시하는 중계 방송을 하거나, VR 게임 내의 정보를 표시하는 전광판으로 기능하거나 또는 VR 게임에 대해 홍보하는 영상을 출력하는 광고판으로써의 역할을 겸하는 것도 가능하다. 모니터링 모듈(1500)은 디스플레이 형태 이외에도 조치가 필요한 이용자에게 조명을 조사하는 조명 라이팅 형태로 제공되는 것도 가능할 수 있다.The
이상에서 언급한 가상 현실 시스템(1000)의 구성 요소들은 서로 통신 유닛을 통해 데이터를 송수신할 수 있음을 밝혀둔다.It should be noted that the above-mentioned components of the
이하에서는 본 명세서의 실시예에 따른 감정 분석 방법에 관하여 설명한다. 여기서, 플레이어(3)의 감정이란 즐거움, 흥미도, 흥분도, 몰입도, 공포감, 불안감, 지루함 등과 같은 인간의 감정을 포괄하는 의미로 이해될 수 있다. 또한, 본 명세서에서는 플레이어(3)의 감정 대신 플레이어(3)의 상태를 분석하는 것으로 이해하여도 전체적인 취지 상 무방함을 미리 밝혀둔다. Hereinafter, an emotion analysis method according to an embodiment of the present specification will be described. Here, the emotions of the
또한, 본 방법은 주로 가상 현실 게임용 감정 분석 방법으로 해석될 수 있으나, 반드시 게임용이어야만 하는 것은 아님을 미리 밝혀둔다. In addition, the present method may be mainly interpreted as an emotion analysis method for a virtual reality game, but it should be noted in advance that it is not necessarily for a game.
한편, 이하의 설명에서 수행되는 동작들은 다른 구성 요소가 수행하는 것으로 별도로 언급하거나 문맥상 그러한 것이 분명한 경우를 제외하고는 가상 현실 시스템(1000), 특히 서버(1600)에 의해 수행되는 것으로 이해되어야 할 것이다. Meanwhile, the operations performed in the following description should be understood as being performed by the
도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다. 3 is a flowchart of an example of an emotion analysis method according to an embodiment of the present specification.
도 3을 참조하면, 본 명세서의 실시예에 따른 감정 분석 방법은 플레이어(3)의 현실 공간 정보를 획득하는 단계(S1100), 플레이어(3)의 가상 공간 정보를 획득하는 단계(S1200) 및 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석하는 단계(S1300)를 포함할 수 있다.Referring to FIG. 3 , the emotion analysis method according to the embodiment of the present specification includes the steps of obtaining real space information of the player 3 ( S1100 ), obtaining virtual space information of the player 3 ( S1200 ), and reality It may include analyzing the emotion of the
이하에서는 상술한 감정 분석 방법의 일 예의 각 단계들에 관하여 도 4를 참조하여 설명한다.Hereinafter, each step of an example of the above-described emotion analysis method will be described with reference to FIG. 4 .
도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다. 4 is a diagram illustrating an example of an artificial neural network for performing emotion analysis according to an embodiment of the present specification.
먼저 가상 현실 시스템(1000)은 플레이어(3)의 현실 공간 정보를 획득할 수 있다(S1100). 여기서, 현실 공간 정보는, 현실 세계에서 플레이어(3)가 플레이그라운드(1) 상 위치하는 위치, 플레이어(3)의 자세, 플레이어(3)의 움직임이나 동작, 플레이어(3)의 표정, 플레이어(3)의 동공의 상태나 움직임과 같이 플레이어(3)의 현실 공간에서의 신체 반응적인 모든 것을 포함하는 포괄적인 개념이다. 이러한 현실 공간 정보는 가상 현실 시스템(1000)에서 다양한 방식으로 획득될 수 있으며, 이하는 그 몇몇 대표적인 예시들에 대한 언급이다.First, the
일 예로, 가상 현실 시스템(1000)은 플레이어(3)의 위치를 획득할 수 있다. As an example, the
카메라로 제공되는 측위 모듈(1400)이 플레이어(3)가 위치하는 플레이그라운드(1)를 촬상하고 이를 서버(1600)로 전송하고, 서버(1600)는 카메라가 촬상한 이미지로부터 플레이그라운드(1) 상의 플레이어(3)의 위치를 판단할 수 있다. 이때 서버(1600)는 전통적인 객체 인식 알고리즘이나 딥 러닝 등의 기계학습 알고리즘을 이용하여 이미지로부터 사람 형태를 인식함으로써 플레이어 위치를 산출할 수 있다. 예시적으로, 서버(1600)는 사람 형태의 오브젝트에 대한 바운딩 박스를 생성하는 인공 신경망 모델을 통해 이미지 중 플레이어(3) 영역에 대해 바운딩 박스를 검출하고, 플레이어(3)의 발에 해당하는 바운딩 박스의 밑면이 플레이그라운드(1)의 지면과 동일한 높이인 점을 이용해 카메라의 자세 및 위치를 고려해 촬상 이미지를 플레이그라운드(1)를 기준면으로 하는 탑뷰로 변환하여 플레이그라운드(1) 상에서 플레이어(3)가 위치하는 지점을 산출할 수 있을 것이다. The
또는 HMD(1100)나 게임 콘트롤러(1200)를 비롯해 플레이어(3)에 착용되는 장비에 마커를 준비하고, 이미지로부터 마커를 검출하고, 마커의 크기, 위치 관계, 배열 패턴 등을 통해 플레이그라운드(1) 상에 플레이어(3)가 위치하는 위치를 검출하는 것도 가능하다. Alternatively, the HMD (1100) or the game controller (1200), including the equipment worn on the player (3) prepares a marker, detects the marker from the image, and the playground (1) through the size, positional relationship, arrangement pattern of the marker, etc. ), it is also possible to detect the position where the
그 밖에도 능동형 소자를 플레이어(3)에 착용되는 장비에 준비하고, 그 신호를 검출하는 방식으로 플레이어(3)의 위치를 산출하거나 플레이어(3)에 착용되는 장비에 설치되는 가속도계나 자이로센서 등의 센싱값을 서버(1600)가 수신하고 이를 통해 플레이어(3)의 위치를 검출하는 것도 가능하다. In addition, an active element is prepared in the equipment worn by the
다른 예로, 가상 현실 시스템(1000)은 플레이어(3)의 자세를 획득할 수 있다. 자세의 획득은 위치의 획득과 유사하게, 플레이어(3)가 촬상된 이미지로부터의 자세 인식 알고리즘을 통하거나 각종 마커를 통한 관절 각도나 위치를 통한 자세 인식 알고리즘 등을 통해 수행될 수 있다.As another example, the
또 다른 예로, 가상 현실 시스템(1000)은 움직임이나 모션을 획득할 수 있다. 움직임은 획득 역시 위치나 자세의 획득과 유사하게 획득될 수 있다. 구체적으로는 연속 촬상된 이미지 간의 차이나 마커의 위치 변화의 분석을 통해 시간 축 상에서 플레이어(3)의 자세나 위치의 변화를 통해 움직임이나 모션을 획득할 수 있다. 물론, 각종 장비에 탑재된 가속도계나 자이로 센서의 신호값을 이용하여 움직임의 속도나 방향, 자세의 변화 등을 직접 측정하는 것도 가능할 수 있다.As another example, the
다시 또 다른 예로, HMD(1200)에 탑재된 동공 트래킹 수단을 통해 플레이어(3)의 동공의 상태나 움직임, 이동 경로, 시야 방향, 시야 전환 속도 등을 획득할 수도 있다.As another example, the state or movement of the pupil of the
또 다시 또 다른 예로는, 사용자의 신체에 각종 바이오 센서(예를 들면, 맥박 센서 등)을 부착하여 이에 기초하여 현실 공간 정보를 획득하는 것도 가능하다.As another example, it is also possible to attach various biosensors (eg, a pulse sensor, etc.) to the user's body and acquire real spatial information based thereon.
다음으로 가상 현실 시스템(1000)은 플레이어(3)의 가상 공간 정보를 획득할 수 있다(S1200). 여기서, 가상 공간 정보는 가상 세계에서 플레이어(3)가 수행하는 각종 조작, 조작에 따른 결과, 아바타의 위치, 게임 스코어, 게임 수행 속도, 플레이어의 게임 세션으로의 진입 여부, 게임 클리어 여부, 게임 스코어, 아바타의 사망율, 아바타의 타격/피격 빈도, 적 캐릭터의 타격/피격 빈도, 게임의 승률 등과 같이, VR 게임과 관련된 모든 기초 정보(raw information)은 물론 이들을 통계적으로 처리한 가공 정보를 모두 포괄하는 포괄적인 개념이다. Next, the
가상 공간 정보는 서버(1600)에 의해 획득될 수 있으며, 이러한 정보의 처리에는 측위 모듈(1400)에 의해 감지되는 플레이어(3)의 움직임이나 게임 콘트롤러(1200)를 통한 사용자 조작, HMD(1100)를 통한 두부의 움직임 등을 추가로 고려할 수 있다. Virtual space information may be acquired by the
상술한 정보들을 획득하면, 가상 현실 시스템(1000)은 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석할 수 있다(S1300).When the above-described information is obtained, the
구체적으로 서버(1600)는 딥 러닝을 비롯한 다양한 기계 학습 알고리즘을 이용하여 현실 공간 정보나 가상 공간 정보 또는 이 둘을 모두 이용하여 플레이어(3)의 감정이나 감정 상태 또는 상태를 분석/예상할 수 있다. 예를 들면, 서버(1600)는 장기간 동안 정지 자세로 있거나 동공 트래킹 결과 눈을 감고 있는 것을 감지하면, 플레이어(3)가 공포나 불안, 지루함 등의 부정적인 감정을 갖는 것으로 분석할 수 있다. 다른 예를 들어, 서버(1600)는 플레이어(3)의 동공이 매우 빠른 속도로 움직이고 있다면, 플레이어(3)가 흥분, 즐거움, 재미 등의 긍정적 감정을 갖는 것으로 분석할 수 있다. 또 다른 예를 들어, 가상 공간 상에서 아바타가 자주 사망하는 것이 확인되면, 서버(1600)는 이를 기초로 플레이어(1600)가 짜증을 갖는 것으로 예측할 수 있으며, 반대로 아바타가 전혀 사망하지 않거나 모든 목표를 빠른 시간 안에 달성한다면 지루함을 느낄 것으로 예측할 수 있다.Specifically, the
다만, 상술한 현실/가상 공간 정보를 이용한 감정 분석은 대단히 복잡한 분야이며, 본 명세서에서는 인공 신경망 기법을 활용해 비교적 정확한 감정 분석을 수행할 수 있다.However, emotion analysis using the above-described real/virtual spatial information is a very complex field, and in the present specification, a relatively accurate emotion analysis can be performed using an artificial neural network technique.
도 4는 감정 분석을 수행하는 인공 신경망의 구조를 도시한 것으로, 인공 신경망은 현실 공간 정보 및 가상 공간 정보 중 적어도 일부를 입력받는 입력 레이어와 감정 분석 결과를 출력하는 출력 레이어를 가질 수 있다. 또 인공 신경망의 입력 레이어와 출력 레이어 사이에는 출력 레이어에 의해 도출된 감정 분석 결과와 실제의 감정 간의 오차를 역전시킴으로써 웨이트와 바이어스가 조정되는 은닉 레이어가 배치될 수 있다. 이러한 인공 신경망은 감정 분석 결과의 참값이 라벨링된 입력 데이터로 구성되는 학습 자료인 러닝 셋을 통해 그 모델이 점차로 정밀해지는 방향으로 학습될 수 있으며, 충분한 정확도를 갖도록 학습된 인공 신경망 모델은 하드웨어적으로 또는 소프트웨어적으로 또는 이 둘이 조합된 형태로 서버(1600)에 저장될 수 있다. 4 illustrates the structure of an artificial neural network for performing emotion analysis, the artificial neural network may have an input layer that receives at least a portion of real space information and virtual space information, and an output layer that outputs an emotion analysis result. Also, between the input layer and the output layer of the artificial neural network, a hidden layer whose weight and bias are adjusted by reversing the error between the emotion analysis result derived by the output layer and the actual emotion may be disposed. Such an artificial neural network can be trained in such a way that the model gradually becomes more precise through the learning set, which is a learning set consisting of input data labeled with the true value of the emotion analysis result, and the artificial neural network model trained to have sufficient accuracy is hardware-wise. Alternatively, it may be stored in the
따라서, 서버(1600)는 상술한 현실 공간 정보나 가상 공간 정보로부터 인공 신경망 모델을 이용해 플레이어(3)의 감정에 관한 분석 결과를 획득할 수 있게 된다. 물론, 해당 인공 신경망 모델은 서버(1600)가 아닌 원격지에 별도로 준비되고, 서버(1600)는 원격지 컴퓨터와의 통신을 통해 감정 분석을 수행하는 것도 가능할 수 있다.Accordingly, the
다만, 이처럼 구성된 인공 신경망의 고도화에는 수많은 러닝 셋 데이터를 통한 학습이 필수적으로 요청되며, 다시 말해 인공 신경망의 정확도는 러닝 셋의 수집에 크게 의존되는 것이다. However, learning through a large number of running set data is essential to the advancement of the artificial neural network constructed in this way, that is, the accuracy of the artificial neural network is highly dependent on the collection of the running set.
그런데, 본 명세서에서 말하고 있는 플레이어(3)의 감정은 수치화시켜 표현하기 쉽지 않기 때문에 러닝 셋의 데이터 라벨링이 어려울 수 있으므로, 본 명세서에서는 인공 신경망의 분석 결과가 직접적인 감정 카테고리인 대신 비교적 감정 상태를 투명하게 반영하는 현실 공간 정보를 감정 정보로 정의할 수 있다. 다시 말해, 입력 레이어로 입력되는 다양한 정보들 중 일부를 인공 신경망의 결과값으로 라벨링함으로써 비교적 학습 데이터의 확보가 용이해질 수 있는 것이다. However, since the emotion of the
구체적인 예시를 들면, 플레이어(3)의 심박수나 호흡수 등과 같이 감정에 따라 비교적 적은 레이턴시를 가지고 직접적으로 변화하는 생체 수치를 감정 정보로 이용할 수 있는 것이다. 예를 들면, 심박수가 빨라질수록 플레이어(3)의 흥분도가 상승되거나 불안감/공포감이 상승하는 것으로 이해될 수 있으며, 심박수가 느려질수록 플레이어(3)가 지루함을 크게 느끼고 흥미를 잃는 것으로 이해할 수 있을 것이다. 이는 동공의 움직임 등에도 유사하게 적용될 수 있다. As a specific example, biometric values that directly change with relatively low latency depending on emotions, such as heart rate or respiration rate of the
다만, 상술한 바와 같이 심박수나 동공의 움직임 등의 상승은 흥분도나 불안감의 상승을 의미하지만 양자에 함께 적용될 수 있어, 조금더 세밀한 감정 상태를 구분하기 위해 현실 공간 정보를 감정 정보로 이용함에 있어 추가적인 현실 공간 정보나 가상 공간 정보를 함께 이용할 수 있다. However, as described above, an increase in heart rate or pupil movement means an increase in excitement or anxiety, but it can be applied to both. Real space information and virtual space information can be used together.
조금 더 구체적으로 설명하면, 심박수나 동공 움직임 등과 같은 직관적인 현실 공간 정보와 게임 내의 스코어 등과 같이 게임이 잘 진행되고 있는지를 직관적으로 반영하는 가상 공간 정보를 주요 변수로 하는 감정 인덱스를 정의하고, 이를 감정 분석 결과물로써 이용할 수 있는 것이다. 이때 감정 인덱스는 부정적인 감정으로부터 긍정적인 감정으로부터 갈수록 수치가 증감하는 형태로 마련될 수 있을 것이다. 여기서, 생체 정보는 감정의 강도를 반영하고, 감정 종류는 VR 게임 내의 게임 진행 상황에 따라 반영되는 것으로 해석될 수도 있다.More specifically, an emotion index is defined using intuitive real spatial information such as heart rate and pupil movement, and virtual spatial information that intuitively reflects whether the game is progressing well, such as an in-game score, as the main variable. It can be used as a result of emotional analysis. In this case, the emotion index may be prepared in a form in which the numerical value increases or decreases from negative emotions to positive emotions. Here, the biometric information may be interpreted as reflecting the intensity of the emotion, and the emotion type is reflected according to the progress of the game in the VR game.
이러한 학습 데이터 셋은 플레이어(3)의 VR 게임 플레이로부터 자연스럽게 확보될 수 있으므로, 비교적 인공 신경망의 학습과 고도화가 용이할 것이다. Since such a learning data set can be obtained naturally from the
결과적으로 위의 예시적 언급과 같이 학습된 인공 신경망 모델을 이용하면 서버(3)는 현실/가상 공간 정보로부터 플레이어(3)의 감정 상태를 반영하는 수치 범위에서 결정되는 감정 인덱스를 획득할 수 있다.As a result, using the artificial neural network model trained as mentioned above, the
상술한 바와 같이 가상 현실 시스템(1000)이 VR 체험 중인 플레이어(3)의 감정을 분석하게 되면, VR 서비스의 운용에 플레이어(3)의 감정 정보를 다양한 형태로 활용할 수 있다. As described above, when the
이하에서는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 예시들에 관해 도 5 및 도 6을 참조하여 설명하기로 한다.Hereinafter, examples of a method for operating a virtual reality service according to an embodiment of the present specification will be described with reference to FIGS. 5 and 6 .
도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이고, 도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.5 is a flowchart of an example of a method for operating a virtual reality service according to an embodiment of the present specification, and FIG. 6 is a flowchart of another example of a method of operating a virtual reality service according to an embodiment of the present specification.
도 5를 참조하면, 가상 현실 서비스 운용 방법의 일 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S2100), 플레이어(3)의 감정을 분석하는 단계(S2200) 및 분석된 감정에 기초하여 게임 난이도를 조정하는 단계(S2300)를 포함할 수 있다.Referring to FIG. 5 , an example of a method for operating a virtual reality service includes the steps of acquiring real and/or virtual space information of the player 3 ( S2100 ), analyzing the emotions of the player 3 ( S2200 ), and It may include adjusting the game difficulty based on the analyzed emotion (S2300).
도 6을 참조하면, 가상 현실 서비스 운용 방법의 다른 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S3100), 플레이어(3)의 감정을 분석하는 단계(S3200) 및 분석된 감정에 기초하여 현장 요원에게 플레이어 가이드를 지시하는 단계(S3300)를 포함할 수 있다.Referring to FIG. 6 , another example of a virtual reality service operating method includes the steps of acquiring real and/or virtual space information of the player 3 ( S3100 ), analyzing the emotions of the player 3 ( S3200 ), and It may include a step (S3300) of instructing a player guide to the field agent based on the analyzed emotion.
여기서, 단계 S2100과 S3100, 그리고 단계 S2200과 S3200에 관해서는 이미 자세히 설명한 바 있으므로 이에 대한 설명은 생략하기로 한다.Here, since steps S2100 and S3100 and steps S2200 and S3200 have already been described in detail, a description thereof will be omitted.
가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 VR 게임의 난이도를 조절할 수 있다(S2300). The
구체적으로 서버(1600)는 흥분도를 표현하는 값을 갖는 감정 인덱스 형태로 감정 분석 결과를 얻을 수 있으며, 플레이어의 흥분도가 낮은 경우에 난이도를 변경할 수 있다. 보다 구체적으로는, 심박수나 맥박수가 낮으면 흥미가 없는 것으로 이해될 수 있고, 반대로 높으면 흥미가 있는 것으로 이해될 수 있으므로, 서버(1600)는 흥미가 없는 것으로 해석되는 결과값이 획득되면 난이도를 변경할 수 있다. 이 인-게임 정보에 기초하여 플레이어(3)가 게임에 곤람함을 겪고 있다면 난이도를 낮추는 방향으로, 반대의 경우에는 난이도를 높이는 방향으로 난이도를 변경할 수 있을 것이다.Specifically, the
또 가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 현장 요원에게 플레이어 가이드를 지시할 수 있다(S2300). In addition, the
구체적으로 서버(1600)는 플레이어(3)의 공포감이나 불안감, 메스꺼움 등이 높은 감정이 검출되면, 현장 요원에게 해당 플레이어(3)를 돕거나 해당 플레이어(3)에 대한 VR 서비스 중단을 지시할 수 있다. 이러한 지시는 모니터링 모듈(1500)을 통해 출력되는 것도 가능하다.Specifically, when the
이상의 다양한 예시들을 수행하기 위해 서버(1600)에는 인-게임 정보와 조명 속성 간의 매칭 테이블이 저장되어 있을 수 있으며, 서버(1600)는 조명 속상과 매칭되는 인-게임 정보를 획득하면, 매칭 테이블을 참조하여 조명 속성을 결정하고, 이에 따라 해당 인-게임 정보와 관련된 플레이어(3)를 결정한 뒤, 해당 플레이어(3)에게 결정된 조명 속성에 따라 조명 연출을 수행할 수 있다. In order to perform the above various examples, the
이상에서 설명한 본 발명의 실시예에 따른 방법들은 단독으로 또는 서로 조합되어 이용될 수 있다. 본 발명의 실시예에 따른 방법에서 설명된 각 단계들은 모두 필수적인 것은 아니므로 각 방법들이 그 단계들을 전부 포함하는 것은 물론 일부만 포함하여 수행되는 것도 가능하다. 또 각 단계들이 설명된 순서는 설명의 편의를 위한 것에 불과하므로, 본 발명에서 설명된 방법에서 각 단계들이 반드시 설명된 순서대로 진행되어야 하는 것은 아니다. The methods according to the embodiments of the present invention described above may be used alone or in combination with each other. Since each step described in the method according to the embodiment of the present invention is not essential, each method may be performed including all of the steps as well as only some of the steps. Also, since the order in which each step is described is only for convenience of description, each step in the method described in the present invention does not necessarily have to be performed in the described order.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 이상에서 설명한 본 발명의 실시예들은 서로 별개로 또는 조합되어 구현되는 것도 가능하다. The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments of the present invention described above may be implemented separately or in combination with each other.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
1: 플레이그라운드
2: 구조물
3: 플레이어
1000: 가상 현실 시스템
1100: HMD
1200: 게임 콘트롤러
1300: 보조 컴퓨팅 장치
1400: 측위 모듈
1500: 모니터링 모듈
1600: 서버1: Playground 2: Structures
3: Player 1000: Virtual Reality System
1100: HMD 1200: game controller
1300: secondary computing device 1400: positioning module
1500: monitoring module 1600: server
Claims (7)
감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함하는
가상 현실 게임용 감정 분석 방법.
acquiring real spatial information about a player who plays a VR game; and
The emotion index defined using the biometric information that reflects the emotional intensity and the game progress information in the VR game that reflects the emotion type is the reality using an artificial neural network learned using the learning data labeled in the real spatial information. Including; obtaining emotional information of the player from spatial information
Sentiment analysis method for virtual reality games.
상기 생체 정보는, 호흡수, 맥박수, 심박수 및 혈압 중 적어도 하나를 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The biometric information includes at least one of a respiration rate, a pulse rate, a heart rate, and a blood pressure.
Sentiment analysis method for virtual reality games.
상기 게임 진행 정보는, 게임 내의 스코어의 변화율을 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The game progress information, including the rate of change of the score in the game
Sentiment analysis method for virtual reality games.
상기 감정 정보에 기초하여 상기 VR 게임의 난이도를 조정하는 단계;를 더 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
Adjusting the difficulty level of the VR game based on the emotion information; further comprising
Sentiment analysis method for virtual reality games.
상기 감정 정보에 기초하여 현장 요원에 대한 플레이어 가이드를 지시하는 단계;를 더 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
Instructing a player guide to the field agent based on the emotion information; further comprising
Sentiment analysis method for virtual reality games.
상기 현실 공간 정보는, 상기 플레이어의 위치, 움직임, 속도, 자세 및 시선 중 적어도 하나를 포함하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
The real space information includes at least one of a position, movement, speed, posture, and gaze of the player.
Sentiment analysis method for virtual reality games.
상기 VR 게임과 관련된 가상 공간 정보를 더 고려하여 상기 감정 정보를 획득하는
가상 현실 게임용 감정 분석 방법.
According to claim 1,
acquiring the emotion information by further considering the virtual space information related to the VR game
Sentiment analysis method for virtual reality games.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200077788A KR102433084B1 (en) | 2020-06-25 | 2020-06-25 | Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200077788A KR102433084B1 (en) | 2020-06-25 | 2020-06-25 | Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220000164A true KR20220000164A (en) | 2022-01-03 |
KR102433084B1 KR102433084B1 (en) | 2022-08-17 |
Family
ID=79348390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200077788A KR102433084B1 (en) | 2020-06-25 | 2020-06-25 | Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102433084B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116603232A (en) * | 2023-05-30 | 2023-08-18 | 深圳市德尔凯科技有限公司 | Three-dimensional VR and entity feedback based mutual-aid game entertainment system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180007006A (en) * | 2015-07-08 | 2018-01-19 | 삼성전자주식회사 | Appraisal |
KR20190020418A (en) * | 2017-08-21 | 2019-03-04 | 주식회사 엠투에스 | Virtual Reality Monitoring System Using Virtual Reality and Psychotherapy Using the Same |
-
2020
- 2020-06-25 KR KR1020200077788A patent/KR102433084B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180007006A (en) * | 2015-07-08 | 2018-01-19 | 삼성전자주식회사 | Appraisal |
KR20190020418A (en) * | 2017-08-21 | 2019-03-04 | 주식회사 엠투에스 | Virtual Reality Monitoring System Using Virtual Reality and Psychotherapy Using the Same |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116603232A (en) * | 2023-05-30 | 2023-08-18 | 深圳市德尔凯科技有限公司 | Three-dimensional VR and entity feedback based mutual-aid game entertainment system |
Also Published As
Publication number | Publication date |
---|---|
KR102433084B1 (en) | 2022-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11947719B2 (en) | Building saccade models for predicting a landing point of a saccade experienced by a player | |
US11762461B2 (en) | Late update of eye tracking information to GPU for fast foveated rendering | |
US9498720B2 (en) | Sharing games using personal audio/visual apparatus | |
JP2019532374A (en) | Technology for controlling a virtual image generation system using the emotional state of a user | |
Shaw et al. | Challenges in virtual reality exergame design | |
WO2019014392A1 (en) | Input controller and corresponding game mechanics for virtual reality systems | |
JP6200023B1 (en) | Simulation control apparatus and simulation control program | |
JP2017182218A (en) | Simulation controller and simulation control program | |
JP7160669B2 (en) | Program, Information Processing Apparatus, and Method | |
JP6248219B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
JP2018147465A (en) | Information processing method, device, and program for causing computer to execute the method | |
KR102433084B1 (en) | Player emotion analysis method for virtual reality game, player emotion-based virtual reality service management method and virtual reality system | |
CN114253393A (en) | Information processing apparatus, terminal, method, and computer-readable recording medium | |
KR102433082B1 (en) | In-game event-based lighting production method for virtual reality game and virtual reality system for performing the same | |
JP2017182217A (en) | Simulation controller and simulation control program | |
JP6263292B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
KR102433080B1 (en) | Player location-based lighting production method for virtual reality game and virtual reality system for performing the same | |
WO2020255996A1 (en) | Program, method, and terminal device | |
JP6330072B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
KR102433085B1 (en) | Method for broadcasting virtual reality game and virtual reality system for performing the same | |
JP6643783B2 (en) | Simulation control device and simulation control program | |
JP2018147469A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP2018143752A (en) | Information processing method, device, and program for causing computer to execute the information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |