KR102222136B1 - Virtual reality content control device, virtual reality attraction and calibration method thereof - Google Patents

Virtual reality content control device, virtual reality attraction and calibration method thereof Download PDF

Info

Publication number
KR102222136B1
KR102222136B1 KR1020190043561A KR20190043561A KR102222136B1 KR 102222136 B1 KR102222136 B1 KR 102222136B1 KR 1020190043561 A KR1020190043561 A KR 1020190043561A KR 20190043561 A KR20190043561 A KR 20190043561A KR 102222136 B1 KR102222136 B1 KR 102222136B1
Authority
KR
South Korea
Prior art keywords
simulator
user
content
virtual camera
value
Prior art date
Application number
KR1020190043561A
Other languages
Korean (ko)
Other versions
KR20200121055A (en
Inventor
최윤화
김홍석
홍해종
송명성
Original Assignee
주식회사 스토익엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스토익엔터테인먼트 filed Critical 주식회사 스토익엔터테인먼트
Priority to KR1020190043561A priority Critical patent/KR102222136B1/en
Publication of KR20200121055A publication Critical patent/KR20200121055A/en
Application granted granted Critical
Publication of KR102222136B1 publication Critical patent/KR102222136B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 VR 컨텐츠의 시나리오 또는 인터페이스 장치로부터 전달되는 사용자 명령에 따라 VR 컨텐츠를 구동하여 VR 컨텐츠에서 제공되는 가상 공간에서 사용자에 대응하는 객체의 지향 방향과 함께 사용자가 탑승 가능하도록 구성된 시뮬레이터의 움직임을 제어하고, 시뮬레이터로부터 인가되는 시뮬레이터 변이값에 따라 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향을 조절하여 획득되는 카메라 영상을 인터페이스 장치로 전달하며, 객체의 회전 움직임에 대응하는 객체 변이값과 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하고, 오차값에 대응하여 가상 카메라의 지향 방향과 객체의 지향 방향이 일치하도록 보정하는 VR 컨텐츠 제어 장치, VR 어트랙션 및 이의 보정 방법을 제공할 수 있다.The present invention drives VR contents according to a scenario of VR contents or a user command transmitted from an interface device, so that the movement of a simulator configured to allow a user to ride along with the orientation direction of an object corresponding to the user in a virtual space provided from the VR contents Controls and transmits the camera image obtained by adjusting the direction of the virtual camera representing the user's gaze in the virtual space according to the simulator shift value applied from the simulator to the interface device, and the object shift value corresponding to the rotational motion of the object Provides a VR content control device, VR attraction, and a correction method thereof, which obtains an error value corresponding to the difference between the difference between the and the simulator transition value, and corrects the direction of the virtual camera and the direction of the object in response to the error value. I can.

Figure R1020190043561
Figure R1020190043561

Description

가상 현실 컨텐츠 제어 장치, 가상 현실 어트랙션 및 이의 보정 방법{VIRTUAL REALITY CONTENT CONTROL DEVICE, VIRTUAL REALITY ATTRACTION AND CALIBRATION METHOD THEREOF}Virtual reality content control device, virtual reality attraction, and correction method thereof {VIRTUAL REALITY CONTENT CONTROL DEVICE, VIRTUAL REALITY ATTRACTION AND CALIBRATION METHOD THEREOF}

본 발명은 가상 현실 컨텐츠 제어 장치, 가상 현실 어트랙션 및 이의 보정 방법에 관한 것으로, VR 컨텐츠 내에서의 요구 시야 방향과 플레이어의 시야 방향 간의 오차를 제거하고 회전 움직임을 보정할 수 있는 가상 현실 컨텐츠 제어 장치, 가상 현실 어트랙션 및 이의 보정 방법에 관한 것이다.The present invention relates to a virtual reality content control device, a virtual reality attraction, and a correction method thereof, wherein the virtual reality content control device is capable of correcting rotational movement by removing an error between the required viewing direction in VR content and the viewing direction of the player. , To a virtual reality attraction and a correction method thereof.

가상 현실(Virtual Reality: 이하 VR) 기술의 발전에 의해 VR 어트랙션 시장이 활성화됨에 따라 여러 형태의 사용자 탑승형 VR 시뮬레이터가 개발되었다. 기존에는 사용자가 실제 탑승하는 탑승체가 고정된 위치에서 롤(Roll)과 피치(Pitch)의 2축 또는 롤과 피치 및 히브(heave)의 3축에 대한 제한적인 회전각을 제공하는 지상 고정형 시뮬레이터가 가장 보편적으로 이용되었다. 지상 고정형 시뮬레이터는 제한적인 회전각만을 제공하므로, 지상 고정형 시뮬레이터를 위한 VR 컨텐츠는 미리 지정된 시나리오의 경로를 따라 진행하도록 구성되었다.With the development of virtual reality (VR) technology, the VR attraction market has been revitalized, and various types of user-boarding VR simulators have been developed. Conventionally, a ground-fixed simulator that provides limited rotation angles for two axes of Roll and Pitch or three axes of Roll and Pitch and Heave at a location where the vehicle actually boarded by the user is fixed. Most commonly used. Since the ground-fixed simulator provides only a limited rotation angle, the VR content for the ground-fixed simulator is configured to proceed along the path of a predetermined scenario.

따라서 VR 컨텐츠 내에서 사용자가 바라보는 영상의 방향과 시뮬레이터의 구동을 사전에 정확하게 연동시킬 수 있었다. 또한 사용자 자신의 머리 회전 등을 HMD(Head Mounted Display) 트래킹 등으로 측정하여 추가적으로 반영하기 용이하였다.Therefore, it was possible to accurately link the direction of the image viewed by the user in the VR content and the driving of the simulator in advance. In addition, it was easy to reflect additionally by measuring the rotation of the user's own head using HMD (Head Mounted Display) tracking, etc.

한편 최근에는 더욱 다양하고 현실적인 체감 환경을 제공할 수 있도록 로봇암과 같이 롤(Roll)과 피치(Pitch) 및 요(Yaw)의 3축을 사용하면서 각 축당 최대 360도의 회전각을 가져 높은 자유도를 제공하는 시뮬레이터가 주목 받고 있다. 그러나 로봇암 시뮬레이터를 기반으로 VR 어트랙션 제품을 개발함에 따라 지상 고정형 시뮬레이터를 사용할 때와는 다른 문제점이 발견되었다.Meanwhile, in order to provide a more diverse and realistic sensational environment in recent years, 3 axes of Roll, Pitch, and Yaw are used like a robot arm, while providing a high degree of freedom with a rotation angle of up to 360 degrees for each axis. The simulator is attracting attention. However, as a VR attraction product was developed based on a robot arm simulator, a different problem was discovered than when using a ground-fixed simulator.

로봇암 시뮬레이터와 같이 롤과 피치 및 요(Yaw)의 3축을 사용하면서 각 축당 최대 360도의 회전각을 가져 높은 자유도를 제공하는 시뮬레이터를 포함하는 VR 어트랙션은 대부분 높은 자유도를 기반으로 VR 컨텐츠의 가상 공간에서 사용자가 임의로 지향 방향을 조절할 수 있도록 한다. 이때 로봇암 시뮬레이터에서는 VR 컨텐츠 내에서 사용자가 탑승하는 객체가 회전하게 되면, 동시에 시뮬레이터에 탑승한 사용자의 실제 회전값이 연동되어 회전하도록 구동된다. 즉 VR 컨텐츠 내의 객체의 회전과 함께 시뮬레이터에 탑승한 사용자의 지향 방향이 시뮬레이터의 구동에 의해 함께 회전된다. 따라서 기존의 지상 고정형 시뮬레이터에 적용하는 방식과 같이, VR 컨텐츠로 구현된 가상의 세계에서 사용자의 시선을 나타내는 가상 카메라가 VR 컨텐츠 내의 객체와 계층적으로 링크되어 구현된 경우, VR 컨텐츠 내의 객체가 회전하면 가상 카메라가 함께 회전하게 된다. 즉 사용자가 바라보는 가상 공간에서의 지향 방향이 가변된다.VR attractions, which include a simulator that provides a high degree of freedom with a rotation angle of up to 360 degrees for each axis while using three axes of roll, pitch, and yaw like a robot arm simulator are mostly virtual spaces of VR contents based on high degrees of freedom. Allows the user to arbitrarily adjust the orientation direction. At this time, in the robot arm simulator, when the object on which the user rides in the VR content rotates, the actual rotation value of the user on the simulator is interlocked and driven to rotate. That is, along with the rotation of the object in the VR content, the orientation direction of the user who boarded the simulator is rotated together by driving the simulator. Therefore, as in the method applied to the existing ground-fixed simulator, when a virtual camera representing the user's gaze in a virtual world implemented as VR content is hierarchically linked with an object in the VR content, the object in the VR content is rotated. This will cause the virtual camera to rotate together. That is, the direction of orientation in the virtual space viewed by the user is changed.

이때, 시뮬레이터에 의한 사용자의 실제 회전을 HMD 트래킹 등으로 측정하여 가상 카메라 방향에 추가 반영하게 되면, 가상 카메라 방향은 VR 컨텐츠 내의 객체의 회전과 시뮬레이터의 회전의 합에 대응하는 만큼 회전하게 된다. 즉 VR 컨텐츠에서 요구되는 가상 카메라 회전 각도와 상이한 각도로 회전되어 객체의 진행 방향과 전혀 상이한 방향을 지향하게 되며, 사용자에게 의도하지 않은 카메라 영상을 제공하게 된다.In this case, when the actual rotation of the user by the simulator is measured by HMD tracking and the like and reflected in the direction of the virtual camera, the direction of the virtual camera rotates as much as corresponding to the sum of the rotation of the object in the VR content and the rotation of the simulator. In other words, it is rotated at an angle different from the virtual camera rotation angle required by VR contents, so that the object is directed in a completely different direction from the moving direction, and an unintended camera image is provided to the user.

이는 사용자의 VR 컨텐츠에 대한 피로도를 높여 몰입감 저하 및 VR 멀미를 심각한 수준까지 유발할 수 있다는 문제가 있다.This has a problem in that it can cause a serious level of immersion and VR motion sickness by increasing the user's fatigue with VR content.

이러한 문제를 해결하기 위한 방법 중 한가지는 가상 카메라와 객체와의 계층적 링크 구조를 제거하여, 가상 공간에서 가상 카메라의 지향 방향을 객체의 지향 방향과 무관하게 시뮬레이터에 의한 회전에 따라 조절하는 것이다. 이 경우, VR 컨텐츠 내의 객체가 회전하더라도 가상 카메라의 지향 방향은 객체의 회전과 무관하게 HMD 트래킹 등으로 측정되는 시뮬레이터에 의한 회전이 반영되어, 이상적으로는 가상 카메라의 회전과 가상 공간에서 객체의 회전 및 시뮬레이터의 회전이 일치하게 된다.One of the ways to solve this problem is to remove the hierarchical link structure between the virtual camera and the object, and adjust the orientation direction of the virtual camera in the virtual space according to the rotation by the simulator regardless of the orientation direction of the object. In this case, even if the object in the VR content rotates, the orientation direction of the virtual camera reflects the rotation by the simulator, which is measured by HMD tracking, regardless of the rotation of the object, ideally the rotation of the virtual camera and the rotation of the object in the virtual space. And the rotation of the simulator coincide.

그러나 소프트웨어 형태로 제공되는 VR 컨텐츠 내의 영상 변화와 달리 하드웨어로 구현되는 시뮬레이터는 정확하게 구동을 제어하기 어렵다. 즉 VR 컨텐츠 내에서 사용자가 탑승하는 객체의 지향 방향이 회전하는 경우, 실제 사용자가 탑승한 시뮬레이터의 회전 각도가 VR 컨텐츠 내의 회전 각도와 상이한 경우가 빈번하게 발생한다. 뿐만 아니라, VR 컨텐츠 내의 객체가 회전하는 속도와 시뮬레이터가 회전하는 속도 사이에서도 오차가 발생한다. 이로 인해, 사용자는 여전히 VR 컨텐츠로 구현된 가상의 세계에서 객체의 진행 방향과 상이한 방향을 지향하게 된다.However, unlike video changes in VR content provided in the form of software, it is difficult to accurately control the driving of a simulator implemented in hardware. That is, when the orientation direction of the object on which the user rides in the VR content rotates, the rotation angle of the simulator on which the user actually rides is different from the rotation angle in the VR content frequently. In addition, an error occurs between the speed at which the object in the VR content rotates and the speed at which the simulator rotates. Due to this, the user still aims in a direction different from the moving direction of the object in the virtual world implemented as VR content.

유사하게 가상 카메라의 지향 방향을 객체의 지향 방향에 매칭시키는 경우, HMD 트래킹을 이용한 사용자 머리 회전을 반영할 수 없어 VR 컨텐츠의 자유도가 제약되므로, 다른 방안이 요구된다.Similarly, if the orientation direction of the virtual camera is matched with the orientation direction of the object, the degree of freedom of VR content is limited because the rotation of the user's head using HMD tracking cannot be reflected, and thus another method is required.

한국 공개 특허 제10-2018-0129140호 (2018.12.05 공개)Korean Patent Publication No. 10-2018-0129140 (published on Dec. 5, 2018)

본 발명의 목적은 VR 컨텐츠 내에서의 객체 지향 방향과 시뮬레이터의 구동에 의한 가상 카메라의 지향 방향의 오차를 제거할 수 있는 VR 컨텐츠 제어 장치, VR 어트랙션 및 이의 보정 방법을 제공하는데 있다.An object of the present invention is to provide a VR content control device, a VR attraction, and a correction method thereof capable of removing an error in an object-oriented direction in VR content and an orientation direction of a virtual camera caused by driving a simulator.

본 발명의 다른 목적은 사용자의 VR 컨텐츠에 대한 피로도를 줄여 몰입감을 극대화할 수 있는 VR 컨텐츠 제어 장치, VR 어트랙션 및 이의 보정 방법을 제공하는데 있다.Another object of the present invention is to provide a VR content control device, a VR attraction, and a correction method thereof capable of maximizing a sense of immersion by reducing a user's fatigue with respect to VR content.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR 컨텐츠 제어 장치는 VR 컨텐츠의 시나리오 또는 인터페이스 장치로부터 전달되는 사용자 명령에 따라 VR 컨텐츠를 구동하여 상기 VR 컨텐츠에서 제공되는 가상 공간에서 상기 사용자에 대응하는 객체의 지향 방향과 함께 상기 사용자가 탑승 가능하도록 구성된 시뮬레이터의 움직임을 제어하고, 상기 시뮬레이터로부터 인가되는 시뮬레이터 변이값에 따라 상기 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향을 조절하여 획득되는 카메라 영상을 상기 인터페이스 장치로 전달하며, 상기 객체의 회전 움직임에 대응하는 객체 변이값과 상기 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하고, 상기 오차값에 대응하여 상기 가상 카메라의 지향 방향과 상기 객체의 지향 방향이 일치하도록 보정한다.A VR content control device according to an embodiment of the present invention for achieving the above object drives VR content according to a scenario of VR content or a user command transmitted from an interface device to the user in a virtual space provided by the VR content. By controlling the movement of the simulator configured to allow the user to board along with the direction of the corresponding object, and adjusting the direction of the virtual camera representing the user's gaze in the virtual space according to the simulator transition value applied from the simulator. Transfers the acquired camera image to the interface device, obtains an error value corresponding to a difference between an object disparity value corresponding to the rotational motion of the object and the simulator disparity value, and The orientation direction and the orientation direction of the object are corrected to match.

상기 오차값에 따라 상기 가상 카메라의 지향 방향 또는 상기 객체의 지향 방향 중 하나를 보정할 수 있다.According to the error value, one of the direction of the virtual camera or the direction of the object may be corrected.

상기 VR 컨텐츠 제어 장치는 기지정된 시간 구간 간격 또는 상기 오차값이 기지정된 기준 오차값 이상이면 상기 가상 카메라의 지향 방향을 조절할 수 있다.The VR content control apparatus may adjust the direction of the virtual camera when the predetermined time interval or the error value is greater than or equal to a predetermined reference error value.

상기 VR 컨텐츠 제어 장치는 상기 오차값이 기지정된 기준 조절값 이상이면, 상기 가상 카메라의 회전 속도를 상기 오차값의 크기에 대응하여 보정하거나, 상기 가상 카메라의 지향 방향을 기지정된 조절값 단위로 보정할 수 있다.If the error value is greater than or equal to a predetermined reference adjustment value, the VR content control device corrects the rotation speed of the virtual camera corresponding to the size of the error value, or corrects the orientation direction of the virtual camera in units of a predetermined adjustment value. can do.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 VR 어트랙션은 사용자에게 카메라 영상을 출력하는 인터페이스부; 상기 사용자가 탑승 가능하도록 구성되어, 탑승된 상기 사용자에게 움직임을 제공하며, 상기 사용자의 움직임을 나타내는 시뮬레이터 변이값을 출력하는 시뮬레이터; 및 VR 컨텐츠를 구동하여 상기 VR 컨텐츠의 시나리오 또는 사용자 명령에 따라 상기 VR 컨텐츠에서 제공되는 가상 공간에서 상기 사용자에 대응하는 객체의 지향 방향 및 상기 시뮬레이터의 움직임을 제어하고, 상기 시뮬레이터 변이값에 따라 상기 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향을 조절하여 획득되는 카메라 영상을 상기 인터페이스부로 전달하는 컨텐츠 제어부; 를 포함하고, 상기 컨텐츠 제어부는 상기 객체의 회전 움직임에 대응하는 객체 변이값과 상기 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하고, 상기 오차값에 대응하여 상기 가상 카메라의 지향 방향과 상기 객체의 지향 방향이 일치하도록 보정할 수 있다.A VR attraction according to another embodiment of the present invention for achieving the above object includes an interface unit for outputting a camera image to a user; A simulator configured to allow the user to board, provide movement to the user on board, and output a simulator transition value representing the movement of the user; And controlling the direction of the object corresponding to the user and the movement of the simulator in the virtual space provided from the VR content by driving the VR content, and controlling the movement of the simulator according to the scenario of the VR content or a user command. A content control unit for transmitting a camera image obtained by adjusting a direction of a virtual camera indicating a user's gaze in a virtual space to the interface unit; Including, wherein the content control unit obtains an error value corresponding to a difference between an object disparity value corresponding to the rotational motion of the object and the simulator disparity value, and the orientation direction of the virtual camera and the It can be corrected to match the orientation of the object.

상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 VR 컨텐츠 제어 장치의 보정 방법은 VR 컨텐츠를 구동하는 단계; VR 컨텐츠의 시나리오 또는 인터페이스 장치로부터 전달되는 사용자 명령에 따라 상기 VR 컨텐츠에서 제공되는 가상 공간에서 상기 사용자에 대응하는 객체의 지향 방향과 함께 상기 사용자가 탑승 가능하도록 구성된 시뮬레이터의 움직임을 제어하는 단계; 상기 시뮬레이터로부터 인가되는 시뮬레이터 변이값에 따라 상기 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향을 조절하는 단계; 상기 객체의 회전 움직임에 대응하는 객체 변이값과 상기 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하는 단계; 상기 오차값에 대응하여 상기 가상 카메라의 지향 방향과 상기 객체의 지향 방향이 일치하도록 보정하는 단계; 및 보정된 상기 가상 카메라의 지향 방향에서 획득되는 카메라 영상을 상기 인터페이스부를 통해 출력하는 단계; 를 포함한다.A method for calibrating a VR content control device according to another embodiment of the present invention for achieving the above object includes: driving VR content; Controlling a motion of a simulator configured to allow the user to ride together with a direction of an object corresponding to the user in a virtual space provided by the VR content according to a scenario of VR content or a user command transmitted from an interface device; Adjusting a direction of a virtual camera indicating a user's gaze in the virtual space according to a simulator shift value applied from the simulator; Obtaining an error value corresponding to a difference between an object disparity value corresponding to the rotational motion of the object and the simulator disparity value; Correcting so that the orientation direction of the virtual camera and the orientation direction of the object match in response to the error value; And outputting the corrected camera image acquired in the direction of the virtual camera through the interface unit. Includes.

따라서, 본 발명의 실시예에 따른 VR 컨텐츠 제어 장치, VR 어트랙션 및 이의 보정 방법은 VR 컨텐츠 내에서의 객체 지향 방향과 시뮬레이터의 구동에 의한 가상 카메라의 지향 방향의 오차를 제거하여, 사용자의 VR 컨텐츠에 대한 피로도를 줄여 몰입감을 극대화할 수 있다.Accordingly, the VR content control device, VR attraction, and correction method thereof according to an embodiment of the present invention remove an error between the object orientation direction in the VR content and the orientation direction of the virtual camera due to driving of the simulator, so that the user's VR content You can maximize the feeling of immersion by reducing fatigue.

도1 은 본 발명의 일 실시예에 따른 VR 어트랙션의 개략적 구성을 나타낸다.
도2 내지 도5 는 VR 컨텐츠 내의 객체와 가상 카메라 및 시뮬레이터의 회전에 따른 객체의 진행 방향과 가상 카메라 지향 방향 사이의 오차를 시뮬레이션한 결과를 설명하기 위한 도면이다.
도6 은 본 발명의 일 실시예에 따른 VR 컨텐츠 제어 장치의 보정 방법을 나타낸다.1 shows a schematic configuration of a VR attraction according to an embodiment of the present invention.
2 to 5 are diagrams for explaining a simulation result of an error between an object in VR content, a moving direction of an object and a direction of a virtual camera according to rotation of a virtual camera and simulator.
6 shows a correction method of a VR content control device according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a certain part "includes" a certain component, it means that other components may be further included, rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. And software.

도1 은 본 발명의 일 실시예에 따른 VR 어트랙션의 개략적 구성을 나타낸다.1 shows a schematic configuration of a VR attraction according to an embodiment of the present invention.

도1 을 참조하면, 본 실시예에 따른 VR 어트랙션은 컨텐츠 제공부(110), 컨텐츠 제어부(120), 인터페이스부(130), 시뮬레이터(140) 및 짐벌 조절부(150)를 포함한다.Referring to FIG. 1, a VR attraction according to this embodiment includes a content providing unit 110, a content control unit 120, an interface unit 130, a simulator 140, and a gimbal control unit 150.

컨텐츠 제공부(110)는 VR 어트랙션이 사용자에게 제공할 VR 컨텐츠를 저장하여, 컨텐츠 제어부(120)로 전달한다. 여기서 VR 컨텐츠는 사용자가 실제 환경에서와 유사한 환경에서 가상 체험을 수행할 수 있도록 소프트웨어로 구현된 가상 공간을 포함한다.The content providing unit 110 stores VR content to be provided to the user by the VR attraction and delivers it to the content control unit 120. Here, the VR content includes a virtual space implemented in software so that a user can perform a virtual experience in an environment similar to that in a real environment.

컨텐츠 제어부(120)는 컨텐츠 제공부(110)로부터 VR 컨텐츠를 인가받아 구동한다. 컨텐츠 제어부(120)는 인터페이스부(130)에서 인가되는 사용자 명령에 응답하여 VR 컨텐츠를 구동하고, VR 컨텐츠의 구동에 따른 가상 공간의 영상을 인터페이스부(130)를 통해 사용자에게 제공할 수 있다. 컨텐츠 제어부(120)는 가상 공간에서 사용자를 둘러싸는 전방위 영상 중 사용자의 시선을 나타내는 가상 카메라에 대응하는 영상을 인터페이스부(130)로 전달하여 사용자가 가상 공간을 현실과 유사하게 체험할 수 있도록 한다.The content control unit 120 receives and drives the VR content from the content providing unit 110. The content control unit 120 may drive the VR content in response to a user command applied from the interface unit 130 and provide an image of a virtual space according to the driving of the VR content to the user through the interface unit 130. The content control unit 120 transmits an image corresponding to a virtual camera representing the user's gaze among omnidirectional images surrounding the user in the virtual space to the interface unit 130 so that the user can experience the virtual space similar to reality. .

이때 가상 공간에서의 사용자는 다양한 형태의 객체로 구현되어 가상 공간 내에서 회전할 수 있다. 여기서 객체는 가상 공간에서 사용자를 나타내는 캐릭터 자체이거나, 캐릭터가 탑승할 수 있는 차량, 항공기 등의 탑승물일 수 있다. 따라서 가상 공간에서 객체가 회전하는 경우, 컨텐츠 제어부(120)는 가상 카메라의 지향 방향 또한 객체의 움직임에 대응하여 회전시킨다.In this case, the user in the virtual space is implemented as various types of objects and can rotate within the virtual space. Here, the object may be a character representing a user in a virtual space, or may be a vehicle or a vehicle on which the character can ride. Therefore, when an object rotates in a virtual space, the content control unit 120 rotates the direction of the virtual camera in response to the movement of the object.

그리고 컨텐츠 제어부(120)는 VR 컨텐츠에 미리 지정된 시나리오 또는 인터페이스부(130)에서 인가되는 사용자 명령 중 적어도 하나에 따라 가상 공간에서 가상 카메라의 지향 방향을 조절할 수 있다. 즉 컨텐츠 제어부(120)는 VR 컨텐츠에 따라 사용자를 감싸는 전방위 영상을 생성하고, VR 컨텐츠의 시나리오 또는 사용자 명령 중 적어도 하나에 응답하여, 전방위 영상 중 가상 카메라의 지향 방향에 대응하는 일부 영상을 카메라 영상으로 인터페이스부(130)로 전달한다.In addition, the content control unit 120 may adjust the orientation direction of the virtual camera in the virtual space according to at least one of a scenario designated in advance for the VR content or a user command applied from the interface unit 130. That is, the content control unit 120 generates an omnidirectional image surrounding the user according to the VR content, and in response to at least one of a scenario of the VR content or a user command, the content control unit 120 displays a partial image corresponding to the direction of the virtual camera among the omnidirectional images. It is transmitted to the interface unit 130.

이때, 컨텐츠 제어부(120)는 가상 공간에서 객체의 지향 방향 변화를 객체 변이값으로서 짐벌 조절부(150)로 전달한다. 경우에 따라서 컨텐츠 제어부(120)는 객체의 지향 방향 변화, 즉 객체 회전 각도만을 객체 변이값에 포함하여 짐벌 조절부(150)로 전달할 수도 있다.In this case, the content control unit 120 transmits the change in the orientation direction of the object in the virtual space to the gimbal control unit 150 as an object disparity value. In some cases, the content control unit 120 may include only a change in the orientation direction of the object, that is, an object rotation angle, in the object displacement value, and transmit it to the gimbal adjustment unit 150.

또한, 컨텐츠 제어부(120)는 가상 공간에서 객체의 회전 움직임에 대응하여 시뮬레이터(140)를 구동함으로써, 현실의 사용자가 가상 공간에서 객체의 회전 움직임에 대응하는 움직임을 체감할 수 있도록 한다. 컨텐츠 제어부(120)는 시뮬레이터(140)가 구동되면 시뮬레이터(140)가 구동되어 사용자가 실제 회전된 크기를 시뮬레이터 변이값으로 인가받아 짐벌 조절부(150)로 전달한다. 컨텐츠 제어부(120)는 객체 변이값와 유사하게, 시뮬레이터의 회전 각도만을 시뮬레이터 변이값에 포함하여 짐벌 조절부(150)로 전달할 수도 있다.In addition, the content control unit 120 drives the simulator 140 in response to the rotational movement of the object in the virtual space, so that a real user can experience the movement corresponding to the rotational movement of the object in the virtual space. When the simulator 140 is driven, the content control unit 120 receives the actual rotated size as a simulator displacement value and transmits it to the gimbal control unit 150. Similar to the object shift value, the content control unit 120 may include only the rotation angle of the simulator in the simulator shift value and transmit it to the gimbal control unit 150.

한편, 본 실시예에서 컨텐츠 제어부(120)는 짐벌 조절부(150)로부터 오차값이 인가되면, 인가된 오차값에 응답하여, 가상 카메라의 지향 방향을 추가로 조절한다. 즉 객체의 지향 ??향과 시뮬레이터의 구동에 의해 나타나는 가상 카메라의 지향 방향 사이의 오차가 제거되도록 가상 카메라 지향 방향을 조절한다.Meanwhile, in the present embodiment, when an error value is applied from the gimbal control unit 150, the content control unit 120 additionally adjusts the orientation direction of the virtual camera in response to the applied error value. That is, the direction of the virtual camera is adjusted so that the error between the direction of the object and the direction of the virtual camera caused by driving the simulator is removed.

컨텐츠 제어부(120)는 일예로 기지정된 시간 구간(예를 들면, 1ms) 간격로 가상 카메라 지향 방향을 조절할 수 있다. 또한 인가된 오차값이 기지정된 기준 오차값 이상이면 가상 카메라 지향 방향을 조절할 수도 있다For example, the content control unit 120 may adjust the direction of the virtual camera at a predetermined time interval (eg, 1 ms). In addition, if the applied error value is greater than or equal to a predetermined reference error value, the direction of the virtual camera can be adjusted.

다만 오차값이 큰 경우에 컨텐츠 제어부(120)가 가상 카메라 지향 방향을 객체의 지향 방향과 한번에 일치시키게 되면, 카메라 영상이 연속되는 형태로 사용자에게 출력되지 않고 끊어지게 된다. 이러한 영상의 끊김 현상은 VR 컨텐츠에 대한 몰입감을 저하시키는 요소로 작용한다.However, when the error value is large, if the content control unit 120 matches the direction of the virtual camera with the direction of the object at once, the camera image is not output to the user in a continuous form and is cut off. This video interruption acts as a factor that reduces the sense of immersion in VR content.

이에 컨텐츠 제어부(120)는 오차값이 기지정된 기준 조절값 이상인 경우, 오차값의 크기에 대응하여 가상 카메라의 회전 속도를 조절할 수도 있다. 즉 오차값의 크기가 크면 가상 카메라를 빠르게 회전시키면서 점차적으로 가상 카메라의 지향 방향과 객체의 지향 방향 사이의 오차를 보정하고, 오차값의 크기가 작으면 가상 카메라를 느리게 회전시키면서 오차를 보정할 수 있다. 또는 오차값이 기준 조절값 이상이면, 기지정된 조절값 단위로 가상 카메라의 지향 방향을 조절하여, 사용자에게 카메라 영상이 연속되어 출력되도록 조절할 수도 있다.Accordingly, when the error value is greater than or equal to a predetermined reference adjustment value, the content control unit 120 may adjust the rotation speed of the virtual camera according to the size of the error value. In other words, if the size of the error value is large, the error between the direction of the virtual camera and the direction of the object is gradually corrected by rotating the virtual camera quickly, and if the size of the error value is small, the error can be corrected by rotating the virtual camera slowly. have. Alternatively, if the error value is greater than or equal to the reference adjustment value, the orientation direction of the virtual camera may be adjusted in units of a predetermined adjustment value, and the camera image may be continuously output to the user.

한편, 컨텐츠 제어부(120)는 오차값에 따라 가상 카메라의 지향 방향이 아닌 객체의 지향 방향이 가상 카메라의 지향 방향에 일치하도록 제어할 수도 있다.Meanwhile, the content control unit 120 may control the orientation direction of the object rather than the orientation direction of the virtual camera to match the orientation direction of the virtual camera according to the error value.

그리고 컨텐츠 제어부(120)는 사용자의 머리 회전을 HMD 트래킹 등으로 추적하여 가상 카메라의 지향 방향을 추가로 조절할 수도 있다. 컨텐츠 제어부(120)는 HMD 트래킹에 따라 사용자의 머리 회전을 가상 카메라의 지향 방향에 추가로 반영하는 경우, 시뮬레이터 변이값, 즉 시뮬레이터의 회전 각도를 차감하여 반영할 수 있다.In addition, the content controller 120 may further adjust the direction of the virtual camera by tracking the rotation of the user's head by using HMD tracking or the like. When the rotation of the user's head is additionally reflected in the direction of the virtual camera according to HMD tracking, the content control unit 120 may reflect a simulator shift value, that is, a rotation angle of the simulator, by subtracting it.

인터페이스부(130)는 사용자 명령을 인가받아 컨텐츠 제어부(120)로 전달하고, 컨텐츠 제어부(120)에서 전송된 카메라 영상을 출력한다. 인터페이스부(130)는 일예로 HMD와 같은 영상 출력 장치로 구현되어 사용자에게 전달된 카메라 영상을 출력할 수 있다. 인터페이스부(130)가 HMD를 포함하는 경우, 인터페이스부(130)는 컨텐츠 제어부(120)가 사용자 머리의 지향 방향, 즉 HMD 지향 방향을 가상 카메라의 회전 각도에 더 반영할 수 있도록 HMD의 지향 방향을 컨텐츠 제어부(120)로 전달할 수 있다.The interface unit 130 receives the user command and transmits the received user command to the content control unit 120, and outputs a camera image transmitted from the content control unit 120. The interface unit 130 may be implemented as an image output device such as an HMD and output a camera image transmitted to a user. When the interface unit 130 includes an HMD, the interface unit 130 further reflects the direction of the user's head, that is, the direction of the HMD, to the rotation angle of the virtual camera. Can be delivered to the content control unit 120.

또한 인터페이스부(130)는 영상 출력 장치와 별도로 사용자가 가상 공간에서의 객체의 움직임을 조작할 수 있도록 컨트롤러 등을 더 포함할 수 있다.In addition, the interface unit 130 may further include a controller or the like so that the user can manipulate the motion of the object in the virtual space separately from the image output device.

시뮬레이터(140)는 사용자가 가상 공간에서 객체의 움직임에 대응하는 물리적인 움직임을 현실에서 체험할 수 있도록 구성된 기구물로 구현된다. 시뮬레이터(140)는 컨텐츠 제어부(120)의 제어에 따라 시뮬레이터 탑승부(142)의 움직임을 발생시키는 시뮬레이터 구동부(141), 사용자가 탑승하는 구조물인 시뮬레이터 탑승부(142) 및 시뮬레이터 구동부(141)에 의한 시뮬레이터 탑승부(142)의 실제 움직임을 측정하는 구동 측정부(143)를 포함할 수 있다.The simulator 140 is implemented as a device configured to allow a user to experience a physical movement corresponding to a movement of an object in a virtual space in reality. The simulator 140 is a simulator driving unit 141 that generates a movement of the simulator boarding unit 142 under the control of the content control unit 120, the simulator boarding unit 142 and the simulator driving unit 141, which are structures on which the user is boarded. It may include a driving measurement unit 143 that measures the actual movement of the simulator boarding unit 142 by.

짐벌 조절부(150)는 컨텐츠 제어부(120)로부터 객체 변이값과 시뮬레이터 변이값을 인가받아 가상 공간에서의 객체의 회전 움직임에 대비한 시뮬레이터 탑승부(142)의 실제 움직임 사이의 오차를 계산하여 오차값으로 획득하고, 획득된 오차값을 컨텐츠 제어부(120)로 전달한다. 짐벌 조절부(150)는 일예로 가상 공간에서 객체의 회전 각도와 시뮬레이터 탑승부(142)의 회전 각도 사이의 오차를 오차값으로 획득하여 컨텐츠 제어부(120)로 전달함으로써, 컨텐츠 제어부(120)가 시뮬레이터 탑승부(142)의 회전 각도만큼 가상 카메라의 지향 방향을 더 조절하여 객체의 회전 각도에 일치되도록 조절하도록 한다. 경우에 따라서는 가상 카메라가 아닌 객체의 지향 방향을 조절하여 가상 카메라의 지향 방향과 객체의 지향 방향을 일치 시킬 수도 있다.The gimbal control unit 150 receives the object variation value and the simulator variation value from the content control unit 120 and calculates an error between the actual movement of the simulator boarding unit 142 against the rotational movement of the object in the virtual space. It is obtained as a value, and the obtained error value is transmitted to the content control unit 120. The gimbal control unit 150 obtains an error between the rotation angle of the object and the rotation angle of the simulator boarding unit 142 in a virtual space as an error value and transmits the error to the content control unit 120, so that the content control unit 120 The orientation direction of the virtual camera is further adjusted by the rotation angle of the simulator boarding unit 142 so as to match the rotation angle of the object. In some cases, it is possible to match the direction of the virtual camera with the direction of the object by adjusting the direction of the object other than the virtual camera.

여기서는 설명의 편의를 위하여 짐벌 조절부(150)를 컨텐츠 제어부(120)와 별도의 구성으로 도시하였으나, 짐벌 조절부(150)는 컨텐츠 제어부(120)에 포함될 수 있다.Here, for convenience of explanation, the gimbal control unit 150 is illustrated as a separate configuration from the content control unit 120, but the gimbal control unit 150 may be included in the content control unit 120.

그리고 인터페이스부(130)에 HMD가 포함되어 HMD의 지향 방향이 인가되는 경우, 컨텐츠 제어부(120)는 일예로 HMD의 지향 방향의 변이, 즉 HMD의 회전 각도에서 시뮬레이터의 변이값을 차감하여 사용자의 머리 회전에 의한 가상 카메라의 지향 방향을 추가로 변경할 수 있다.In addition, when the HMD is included in the interface unit 130 and the direction of the HMD is applied, the content control unit 120 subtracts the displacement value of the simulator from the change in the direction of the HMD, that is, the rotation angle of the HMD. You can further change the direction of the virtual camera by rotating the head.

도1 에서 인터페이스부(130)와 시뮬레이터(140)는 별도의 장치로 구현될 수 있으며, 이 경우 컨텐츠 제공부(110)와 컨텐츠 제어부(120) 및 짐벌 조절부(150)는 VR 컨텐트 제어 장치로 구분될 수 있다.In FIG. 1, the interface unit 130 and the simulator 140 may be implemented as separate devices. In this case, the content providing unit 110, the content control unit 120, and the gimbal control unit 150 are VR content control devices. Can be distinguished.

도2 내지 도5 는 VR 컨텐츠 내의 객체와 가상 카메라 및 시뮬레이터의 회전에 따른 객체의 진행 방향과 가상 카메라 지향 방향 사이의 오차를 시뮬레이션한 결과를 설명하기 위한 도면이다.2 to 5 are diagrams for explaining a simulation result of an error between an object in VR content, a moving direction of an object and a direction of a virtual camera according to rotation of a virtual camera and a simulator.

도2 내지 도5 에서는 VR 컨텐츠에 의해 구현된 가상 공간에서 차량이 객체인 경우를 도시하였으며, 각각에서 (a)와 (c)는 객체의 지향 방향, 즉 진행 방향을 나타내고, (b)와 (d)는 가상 카메라의 지향 방향에 따른 카메라 영상을 나타낸다. 그리고 도2 내지 도5 에서 파란색 바는 객체인 차량의 진행 방향을 나타내고, 붉은색 바는 가상 카메라의 지향 방향을 나타낸다.2 to 5 illustrate a case where a vehicle is an object in a virtual space implemented by VR content, in each of (a) and (c) denote the orientation direction of the object, that is, the direction of travel, and (b) and ( d) shows the camera image according to the direction of the virtual camera. In addition, in FIGS. 2 to 5, a blue bar indicates a moving direction of a vehicle, which is an object, and a red bar indicates a direction of a virtual camera.

도2 는 VR 컨텐츠의 구동 초기 시점, 즉 VR 컨텐츠가 구동되고 시뮬레이터에는 움직임이 발생되지 않은 경우를 나타낸다. 따라서 이상적으로 객체의 지향 방향과 가상 카메라의 지향 방향 사이에 오차가 0이어야 하지만, 실제로는 도2 에서 도시된 바와 같이 시뮬레이터에서 측정되는 시뮬레이터의 지향 방향에는 미세한 오차가 포함될 수도 있으며, 이는 허용 오차 범위 이내이다.2 shows a case in which the VR content is initially driven, that is, when the VR content is driven and no movement occurs in the simulator. Therefore, ideally, the error between the direction of the object and the direction of the virtual camera should be 0, but in reality, as shown in Fig. 2, the direction of the simulator measured by the simulator may contain a minute error, which is the tolerance range. Within.

도3 은 가상 카메라의 지향 방향이 객체의 회전에 따라 회전할 뿐만 아니라, 시뮬레이터의 회전에도 응답하여 회전하는 경우를 나타낸다. 이는 기존의 지상 고정형의 의자형 시뮬레이터에서의 카메라 지향 방향을 결정하는 방식을 로봇암 시뮬레이터에 그대로 적용한 경우이다. 이 경우, VR 컨텐츠를 구동하여 객체가 회전하게 되면, 객체의 회전 각도와 시뮬레이터의 회전 각도가 합쳐진 만큼 가상 카메라의 지향 방향이 회전하게 된다. 즉 객체의 지향 ??향과 가상 카메라의 지향 방향이 시뮬레이터의 회전 각도만큼 오차로 나타나게 된다. 따라서 사용자는 객체의 진행 방향과 무관한 방향의 카메라 영상을 보게 된다.3 shows a case where the direction of the virtual camera rotates not only in response to the rotation of the object, but also in response to the rotation of the simulator. This is a case in which the method of determining the camera direction in the existing ground-fixed chair-type simulator is applied to the robot arm simulator as it is. In this case, when the object is rotated by driving the VR content, the orientation direction of the virtual camera is rotated as much as the rotation angle of the object and the rotation angle of the simulator are combined. That is, the orientation of the object and the orientation of the virtual camera appear as an error as much as the rotation angle of the simulator. Therefore, the user sees the camera image in a direction independent of the moving direction of the object.

도4 는 가상 카메라의 지향 방향이 시뮬레이터의 지향 방향에 따라 회전하는 경우를 나타낸다. 이 경우 객체의 지향 ??향과 가상 카메라의 지향 방향 사이의 오차가 작지만, 시뮬레이터의 회전 각도가 객체의 회전 각도에 정확하게 일치하지 않음으로써 여전히 오차가 발생하게 됨을 알 수 있다.4 shows a case where the direction of the virtual camera rotates according to the direction of the simulator. In this case, the error between the orientation of the object and the orientation of the virtual camera is small, but it can be seen that the error still occurs because the rotation angle of the simulator does not exactly match the rotation angle of the object.

도5 는 본 실시예에 따른 VR 어트렉션에서 가상 카메라의 지향 방향을 나타낸다. 도5 에 도시된 바와 같이, 본 실시예에서는 객체 변이값과 시뮬레이터 변이값 사이의 오차를 수시로 보정하여 가상 카메라의 지향 방향과 객체의 지향 방향이 일치하도록 보정하였다. 이에 시뮬레이터가 객체의 회전 각도만큼 회전하지 않더라도, 가상 공간에서 객체의 지향 방향과 가상 카메라의 지향 방향은 항시 일치하게 된다.5 shows the direction of the virtual camera in the VR attraction according to the present embodiment. As shown in FIG. 5, in this embodiment, an error between the object shift value and the simulator shift value is frequently corrected so that the orientation direction of the virtual camera and the orientation direction of the object coincide. Accordingly, even if the simulator does not rotate as much as the rotation angle of the object, the orientation direction of the object in the virtual space and the orientation direction of the virtual camera always coincide.

도6 은 본 발명의 일 실시예에 따른 VR 컨텐츠 제어 장치의 보정 방법을 나타낸다.6 shows a method of calibrating a VR content control device according to an embodiment of the present invention.

도6 을 참조하여, VR 컨텐츠 제어 장치의 보정 방법을 설명하면, 우선 VR 컨텐츠 제어 장치는 VR 컨텐츠를 구동한다(S10). 그리고 VR 컨텐츠가 구동되는 동안 VR 컨텐츠의 시나리오 또는 사용자 명령에 응답하여 가상 공간에서 사용자에 대응하는 객체를 회전시켜야 하는지 판별한다(S20).Referring to FIG. 6, the correction method of the VR content control device will be described. First, the VR content control device drives the VR content (S10). In addition, while the VR content is being driven, it is determined whether the object corresponding to the user in the virtual space should be rotated in response to a scenario of the VR content or a user command (S20).

만일 객체를 회전시켜야 하는 것으로 판별되면, 가상 공간에서 객체를 회전시키면서 동시에 시뮬레이터 탑승부(142)에 탑승한 사용자가 실제로 회전하도록 시뮬레이터를 구동한다(S30).If it is determined that the object should be rotated, while rotating the object in the virtual space, the simulator is driven so that the user boarding the simulator boarding unit 142 actually rotates (S30).

그리고 가상 공간에서 객체의 지향 방향 변화를 객체 변이값으로 획득하고, 시뮬레이터(140)가 구동되어 사용자가 실제 회전된 크기를 시뮬레이터 변이값으로 획득한다(S40). 이때 획득된 시뮬레이터 변이값에 따라 가상 공간에서 가상 카메라 또한 회전하게 된다. 즉 회전된 가상 카메라의 지향 방향에 따라 카메라 영상이 변경된다.Then, the change in the orientation direction of the object in the virtual space is obtained as the object displacement value, and the simulator 140 is driven to obtain the actual rotational size of the user as the simulator displacement value (S40). At this time, the virtual camera is also rotated in the virtual space according to the obtained simulator shift value. That is, the camera image is changed according to the orientation direction of the rotated virtual camera.

그리고 객체 변이값과 시뮬레이터 변이값이 획득되면, 두 변이값 사이의 차를 오차값으로 획득한다(S50). 여기서 오차값은 가상 카메라의 지향 방향과 객체의 지향 방향 사이의 오차로서 객체의 회전 각도에 대비하여 시뮬레이터가 실제 회전한 각도 사이의 차로 나타난다.In addition, when the object mutation value and the simulator mutation value are obtained, the difference between the two mutation values is obtained as an error value (S50). Here, the error value is an error between the orientation direction of the virtual camera and the orientation direction of the object, and appears as a difference between the actual rotation angle of the simulator compared to the rotation angle of the object.

오차값이 획득되면, 획득된 오차값에 따라 가상 카메라의 지향 방향과 객체의 지향 방향 사이의 오차를 보정한다(S60). 즉 가상 카메라의 지향 방향과 객체의 지향 방향이 일치하도록 조절하여 카메라 영상을 획득하고, 획득된 카메라 영상을 인터페이스부(130)를 통해 사용자에게 출력한다.When the error value is obtained, the error between the direction of the virtual camera and the direction of the object is corrected according to the obtained error value (S60). That is, the camera image is acquired by adjusting the orientation direction of the virtual camera and the orientation direction of the object to match, and the acquired camera image is output to the user through the interface unit 130.

이때, 객체의 지향 방향에 일치하도록 가상 카메라의 지향 방향을 조절할 수 있으나, 경우에 따라서는 가상 카메라의 지향 방향에 일치하도록 객체의 지향 방향을 조절할 수도 있다.In this case, the orientation direction of the virtual camera may be adjusted to match the orientation direction of the object, but in some cases, the orientation direction of the object may be adjusted to match the orientation direction of the virtual camera.

오차값에 따른 가상 카메라의 지향 방향과 객체의 지향 방향 사이의 오차 보정은 VR 어트랙션의 설정에 따라 기지정된 시간 구간 간격으로 반복적으로 수행되거나, 획득된 오차값이 기지정된 기준 오차값 이상인 경우에 수행되도록 설정될 수 있다.Correction of the error between the direction of the virtual camera and the direction of the object according to the error value is performed repeatedly at predetermined time interval intervals according to the settings of the VR attraction, or when the acquired error value is greater than or equal to a predetermined reference error value. It can be set to be possible.

또한 오차값이 기지정된 기준 조절값 이상인 경우, 기지정된 조절값 단위로 가상 카메라의 지향 방향을 조절하거나, 오차값의 크기에 대응하여 가상 카메라의 회전 속도를 조절할 수도 있다.In addition, when the error value is greater than or equal to the predetermined reference adjustment value, the direction of the virtual camera may be adjusted in units of the predetermined adjustment value, or the rotation speed of the virtual camera may be adjusted according to the size of the error value.

그리고 도시하지 않았으나, 컨텐츠 제어부(120)는 HMD의 지향 방향이 변화하면, HMD의 지향 방향 변화에서 시뮬레이터의 변이값을 차감하여 사용자의 머리 회전에 의한 가상 카메라의 지향 방향을 추가로 변경할 수도 있다.Further, although not shown, if the direction of the HMD changes, the content control unit 120 may further change the direction of the virtual camera by rotating the user's head by subtracting the displacement value of the simulator from the change in the direction of the HMD.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Here, the computer-readable medium may be any available medium that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (Read Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

110: 컨텐츠 제공부
120: 컨텐츠 제어부
130: 인터페이스부
140: 시뮬레이터
150: 짐벌 조절부110: content provider
120: content control unit
130: interface unit
140: simulator
150: gimbal control

Claims (14)

VR 컨텐츠의 시나리오 또는 인터페이스 장치로부터 전달되는 사용자 명령에 따라 VR 컨텐츠를 구동하여 상기 VR 컨텐츠에서 제공되는 가상 공간에서 상기 사용자에 대응하는 객체의 지향 방향과 함께 상기 사용자가 탑승 가능하도록 구성된 시뮬레이터의 움직임을 제어하기 위해 상기 객체의 회전 각도 정보를 포함하는 객체 변이값을 상기 시뮬레이터에 제공하며,
상기 객체 변이값에 상응하여 움직이는 상기 시뮬레이터의 실제 회전 각도 정보를 포함하는 시뮬레이터 변이값을 획득하고,
상기 객체의 회전 각도 정보를 포함하는 객체 변이값과 상기 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하고, 상기 오차값에 대응하여 상기 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향과 상기 객체의 지향 방향이 일차하도록 상기 객체의 지향 방향 또는 상기 가상 카메라의 지향 방향을 보정하며,
상기 오차값이 기지정된 기준 조절값 이상이면, 상기 가상 카메라의 지향 방향을 기지정된 조절값 단위로 보정하는 VR 컨텐츠 제어 장치.

By driving VR content according to a scenario of VR content or a user command transmitted from an interface device, the movement of the simulator configured to allow the user to ride together with the orientation direction of the object corresponding to the user in the virtual space provided by the VR content In order to control, an object displacement value including rotation angle information of the object is provided to the simulator,
Acquiring a simulator displacement value including information on an actual rotation angle of the simulator moving in accordance with the object displacement value,
A direction direction of a virtual camera indicating a user's gaze in the virtual space in response to the error value and obtaining an error value corresponding to the difference between the object displacement value including the rotation angle information of the object and the simulator displacement value And correcting the orientation direction of the object or the orientation direction of the virtual camera so that the orientation direction of the object is the same,
If the error value is greater than or equal to a predetermined reference adjustment value, the VR content control device corrects the direction of the virtual camera in units of a predetermined adjustment value.

 삭제delete 삭제delete 제1 항에 있어서, 상기 VR 컨텐츠 제어 장치는
기지정된 시간 구간 간격 또는 상기 오차값이 기지정된 기준 오차값 이상이면 상기 가상 카메라의 지향 방향을 보정하는 VR 컨텐츠 제어 장치.The apparatus of claim 1, wherein the VR content control device
VR content control device for correcting the orientation direction of the virtual camera when the predetermined time interval or the error value is greater than or equal to a predetermined reference error value. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete VR 컨텐츠를 구동하는 단계;
VR 컨텐츠의 시나리오 또는 인터페이스 장치로부터 전달되는 사용자 명령에 따라 상기 VR 컨텐츠에서 제공되는 가상 공간에서 상기 사용자에 대응하는 객체의 지향 방향과 함께 사용자가 탑승 가능하도록 구성된 시뮬레이터의 움직임을 제어하기 위해 상기 객체의 회전 각도 정보를 포함하는 객체 변이값을 상기 시뮬레이터에 제공하는 단계;
상기 시뮬레이터로부터 상기 객체 변이값에 상응하여 움직이는 상기 시뮬레이터의 실제 회전 각도 정보를 포함하는 시뮬레이터 변이값을 획득하는 단계;
상기 객체의 회전 각도 정보를 포함하는 객체 변이값과 상기 시뮬레이터 변이값 사이의 차에 대응하는 오차값을 획득하는 단계;
상기 오차값에 대응하여 상기 가상 공간에서의 사용자의 시선을 나타내는 가상 카메라의 지향 방향과 상기 객체의 지향 방향이 일차하도록 상기 객체의 지향 방향 또는 상기 가상 카메라의 지향 방향을 보정하는 단계; 및
보정된 상기 가상 카메라의 지향 방향에서 획득되는 카메라 영상을 상기 인터페이스 장치를 통해 출력하는 단계; 를 포함하되,
상기 보정하는 단계는 상기 오차값에 따라 상기 가상 카메라의 지향 방향 또는 상기 객체의 지향 방향 중 하나를 보정하고,
상기 보정하는 단계는 상기 오차값이 기지정된 기준 조절값 이상이면, 상기 가상 카메라의 지향 방향을 기지정된 조절값 단위로 보정하는 VR 컨텐츠 제어 장치의 보정 방법.

Driving VR content;
In order to control the movement of the simulator configured to allow the user to ride along with the orientation direction of the object corresponding to the user in the virtual space provided by the VR content according to a scenario of VR content or a user command transmitted from an interface device Providing an object displacement value including rotation angle information to the simulator;
Acquiring a simulator displacement value including information on an actual rotation angle of the simulator moving according to the object displacement value from the simulator;
Obtaining an error value corresponding to a difference between an object disparity value including rotation angle information of the object and the simulator disparity value;
Correcting the orientation direction of the object or the orientation direction of the virtual camera so that the orientation direction of the virtual camera representing the user's gaze in the virtual space and the orientation direction of the object are identical in correspondence to the error value; And
Outputting the corrected camera image acquired in the direction of the virtual camera through the interface device; Including,
The correcting comprises correcting one of the direction of the virtual camera or the direction of the object according to the error value,
In the step of correcting, if the error value is equal to or greater than a predetermined reference adjustment value, the direction of the virtual camera is corrected in units of a predetermined adjustment value.

 삭제delete 제10 항에 있어서, 상기 보정하는 단계는
기지정된 시간 구간 간격 또는 상기 오차값이 기지정된 기준 오차값 이상이면 상기 가상 카메라의 지향 방향을 보정하는 VR 컨텐츠 제어 장치의 보정 방법.The method of claim 10, wherein the step of correcting
A correction method of a VR content control device for correcting a direction of the virtual camera when the predetermined time interval or the error value is greater than or equal to a predetermined reference error value. 삭제delete 삭제delete
KR1020190043561A 2019-04-15 2019-04-15 Virtual reality content control device, virtual reality attraction and calibration method thereof KR102222136B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190043561A KR102222136B1 (en) 2019-04-15 2019-04-15 Virtual reality content control device, virtual reality attraction and calibration method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190043561A KR102222136B1 (en) 2019-04-15 2019-04-15 Virtual reality content control device, virtual reality attraction and calibration method thereof

Publications (2)

Publication Number Publication Date
KR20200121055A KR20200121055A (en) 2020-10-23
KR102222136B1 true KR102222136B1 (en) 2021-03-04

Family

ID=73039282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190043561A KR102222136B1 (en) 2019-04-15 2019-04-15 Virtual reality content control device, virtual reality attraction and calibration method thereof

Country Status (1)

Country Link
KR (1) KR102222136B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
KR101922677B1 (en) * 2016-12-06 2019-02-20 주식회사 상화 Experience apparatus
KR20180129140A (en) 2017-05-25 2018-12-05 주식회사 누믹스미디어웍스 Method of user mosion analyzing for virtual reality connection, method and device for virtual reality connection

Also Published As

Publication number Publication date
KR20200121055A (en) 2020-10-23

Similar Documents

Publication Publication Date Title
US10983354B2 (en) Focus adjusting multiplanar head mounted display
JP6110007B2 (en) Perceptual-based predictive tracking for head-mounted displays
JP6502586B2 (en) Virtual reality headset to focus
US9881421B2 (en) Image processing
US8442661B1 (en) Remotely controlled self-balancing robot including a stabilized laser pointer
US20180314322A1 (en) System and method for immersive cave application
US5601353A (en) Panoramic display with stationary display device and rotating support structure
US10970931B2 (en) Method for transmitting virtual reality image created based on image direction data, and computer readable medium storing program using the same
US20170199386A1 (en) Head-mounted display
CN102450001A (en) Multi-projector system and method
US11880502B2 (en) Information processing device, information processing method, and non-transitory computer readable storage medium storing an information processing program
JP7196089B2 (en) Virtual reality video playback method and program using the same
WO2018123074A1 (en) Photographing apparatus
KR102222136B1 (en) Virtual reality content control device, virtual reality attraction and calibration method thereof
US11192246B2 (en) Two-axis rotatable mechanical eyeball
JP5367954B2 (en) GAME PROGRAM, GAME DEVICE, AND STORAGE MEDIUM
US10653948B2 (en) Calibration of a magnetometer for augmented reality experience
JP2003216983A (en) Three-dimensional map display
US11376733B2 (en) Mechanical eyeball for animatronic devices
TW201944365A (en) A method to enhance first-person-view experience
KR102179810B1 (en) Method and program for playing virtual reality image
KR102542641B1 (en) Apparatus and operation method for rehabilitation training using hand tracking
Sammartino Integrated Virtual Reality Game Interaction: The Archery Game
WO2022261824A1 (en) Control method and apparatus, somatosensory romote controller, control system, and storage medium
KR20220148089A (en) Method and Device for transforming DoF in mulse - media system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant