KR20210059396A - Apparatus and method for directing virtual reality video - Google Patents

Apparatus and method for directing virtual reality video Download PDF

Info

Publication number
KR20210059396A
KR20210059396A KR1020190146788A KR20190146788A KR20210059396A KR 20210059396 A KR20210059396 A KR 20210059396A KR 1020190146788 A KR1020190146788 A KR 1020190146788A KR 20190146788 A KR20190146788 A KR 20190146788A KR 20210059396 A KR20210059396 A KR 20210059396A
Authority
KR
South Korea
Prior art keywords
virtual reality
screen
display unit
image
reality space
Prior art date
Application number
KR1020190146788A
Other languages
Korean (ko)
Other versions
KR102271641B1 (en
Inventor
이강열
허완욱
Original Assignee
주식회사 더블유씨지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더블유씨지 filed Critical 주식회사 더블유씨지
Priority to KR1020190146788A priority Critical patent/KR102271641B1/en
Publication of KR20210059396A publication Critical patent/KR20210059396A/en
Application granted granted Critical
Publication of KR102271641B1 publication Critical patent/KR102271641B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

According to one embodiment of the present invention, provided is a virtual reality (VR) image rendering device, which includes: a display unit three-dimensionally installed to display a game image implemented in VR by a user; and an image extracting unit extracting a screen from the virtual reality space, converting the extracted screen to fit an installation state of the display unit, and transmitting the converted screen to the display unit.

Description

가상 현실 영상 연출 장치 및 방법{APPARATUS AND METHOD FOR DIRECTING VIRTUAL REALITY VIDEO}Virtual reality video directing apparatus and method {APPARATUS AND METHOD FOR DIRECTING VIRTUAL REALITY VIDEO}

본 발명은 가상 현실 영상을 현장의 관객과 방송 시청자에게 연출하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for directing a virtual reality image to an on-site audience and a broadcast viewer.

종래에는 가상 현실(Virtual Reality, VR)의 영상을 연출하기 위해 현장에 스크린과 카메라를 설치하고 크로마키 방식으로 촬영하는 방법을 이용하였다. 그러나, 이러한 방법은 카메라가 VR 장치(HMD 등)를 장착한 사용자의 정면 방향에 대해서만 촬영이 가능하여 추가적인 방송 연출이 불가능하고 시각적으로도 불편한 문제점이 있었다.Conventionally, in order to produce a virtual reality (VR) image, a screen and a camera are installed in the field, and a method of photographing using a chroma key method has been used. However, this method has a problem in that the camera can shoot only in the front direction of a user equipped with a VR device (HMD, etc.), so that additional broadcast production is impossible and visually inconvenient.

또한, 가상 현실 영상을 연출하는 다른 방법으로서 VR 장치를 장착하여 게임을 하는 사용자의 개인 시점에 대한 화면을 제공하기도 하는데, 이러한 방법은 VR 게임의 특성을 연출에 반영하기가 어렵고 관객이나 시청자가 가상 현실 공간 속에서 사용자의 게임 진행 방식을 구체적으로 확인할 수가 없었다. 즉, VR 장치의 사용자의 개인 화면만을 제공하는 연출 방법의 경우 현장의 관객이나 방송의 시청자는 가상 현실 공간에서 사용자의 행동이 어떠한 의미인지 파악하는 것이 어려울 수 밖에 없었다.In addition, as another way to produce a virtual reality image, a VR device is installed to provide a screen of the user's personal perspective. This method is difficult to reflect the characteristics of the VR game in the production, and the audience or viewers In the real space, the user's gameplay method could not be confirmed in detail. In other words, in the case of the directing method of providing only the user's personal screen of the VR device, it was difficult for the on-site audience or the broadcaster to grasp what the user's actions mean in the virtual reality space.

이와 같이, 종래의 가상 현실 영상을 연출하는 방법들은 영상을 시청하는 관객이나 시청자가 VR 장치를 이용하여 게임을 플레이하는 사용자의 행동에 대해 정확하게 이해하기가 어렵고, 방송 연출 방법의 다양성이 떨어지는 문제가 있었다.As described above, conventional methods of directing virtual reality images are difficult for the viewers or viewers to accurately understand the behaviors of users who play games using VR devices, and the diversity of broadcast directing methods is low. there was.

본 발명은 VR 장치를 통해 게임을 수행하는 사용자의 가상 현실 공간과 실제 공간이 동기화된 화면을 제공함으로써, 현장의 관람객과 시청자가 가상 현실 공간에서 구현되는 영상을 이해하기 용이하게 할 수 있고, 연출의 다양성을 확보할 수 있는 가상 현실 영상 연출 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention provides a screen in which the virtual reality space of the user playing the game and the actual space are synchronized through a VR device, so that the viewers and viewers of the field can easily understand the images implemented in the virtual reality space, and An object of the present invention is to provide an apparatus and method for creating a virtual reality image capable of securing diversity.

본 발명의 일 실시 예에 따른 VR 영상 연출 장치는 사용자에 의해 가상 현실(VR)에서 구현되는 게임 영상을 표시하도록 입체적으로 설치된 디스플레이부 및 상기 가상 현실 공간에서 화면을 추출하고, 추출된 화면을 상기 디스플레이부의 설치 상태에 맞도록 변환하여 상기 디스플레이부에 전송하는 영상 추출부를 포함할 수 있다.The VR image rendering apparatus according to an embodiment of the present invention includes a display unit three-dimensionally installed to display a game image implemented in virtual reality (VR) by a user, and extracts a screen from the virtual reality space, and displays the extracted screen. It may include an image extracting unit that converts to fit the installation state of the display unit and transmits it to the display unit.

본 발명의 일 실시 예에 따른 VR 영상 추출 장치는 사용자에 의해 가상 현실에서 구현되는 게임을 구동하는 게임 구동부, 상기 게임의 영상을 표시하도록 입체적으로 설치된 디스플레이부에 표시할 배경 화면을 추출하여 상기 디스플레이부의 설치 상태에 맞도록 변환하는 배경 화면 추출부 및 상기 디스플레이부에 표시할 보조 화면을 추출하는 보조 화면 추출부를 포함할 수 있다.The VR image extraction apparatus according to an embodiment of the present invention extracts a background screen to be displayed on a game driving unit that drives a game implemented in virtual reality by a user, and a display unit three-dimensionally installed to display the game image, and displays the display. It may include a background screen extracting unit for converting to fit the installation state of the unit and a sub screen extracting unit for extracting a sub screen to be displayed on the display unit.

본 발명의 일 실시 예에 따른 VR 영상 연출 방법은 사용자에 의해 가상 현실에서 구현되는 게임 영상을 표시하도록 입체적으로 설치된 디스플레이부를 포함하는 VR 영상 연출 방법으로서, 상기 가상 현실 공간에서 화면을 추출하는 단계, 추출된 화면을 상기 디스플레이부의 설치 상태에 맞도록 변환하는 단계 및 변환된 화면을 상기 디스플레이부에 전송하는 단계를 포함할 수 있다.A VR image directing method according to an embodiment of the present invention is a VR image directing method including a display unit three-dimensionally installed to display a game image implemented in virtual reality by a user, the step of extracting a screen from the virtual reality space, It may include converting the extracted screen to fit the installation state of the display unit and transmitting the converted screen to the display unit.

본 발명의 가상 현실 영상 연출 장치 및 방법에 따르면, VR 장치를 통해 게임을 수행하는 사용자의 가상 현실 공간과 실제 공간이 동기화된 화면을 제공함으로써, 현장의 관람객과 시청자가 가상 현실 공간에서 구현되는 영상을 이해하기 용이하게 할 수 있고, 연출의 다양성을 확보할 수 있다.According to the apparatus and method for creating a virtual reality image of the present invention, by providing a screen in which a virtual reality space of a user playing a game and a real space are synchronized through a VR device, the viewers and viewers of the field are images implemented in the virtual reality space. You can make it easier to understand, and you can secure diversity in directing.

도 1은 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 가상 현실 영상 추출 장치의 구성을 나타내는 블록도이다.
도 3은 가상 현실 영상을 구성하는 화면 요소들을 나타내는 도면이다.
도 4a는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치가 실제 무대에서 구현되는 것을 도식화하여 나타내는 도면이고, 도 4b는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 디스플레이부가 실제 무대에 설치되는 것을 나타내는 도면이다.
도 5는 가상 현실의 공간에서 가상 카메라를 배치하는 것을 나타내는 도면이다.
도 6은 가상 현실 공간의 가상 카메라와 실제 무대 공간의 카메라를 동기화하는 것을 나타내는 도면이다.
도 7은 가상 현실 영상을 연출하는 무대의 시안을 나타내는 도면이다.
도 8은 도 7의 무대의 시안에 따라 실제 가상 현실 영상을 연출하는 모습을 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 하드웨어 구성을 나타내는 도면이다.
1 is a block diagram showing the configuration of a virtual reality image rendering apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an apparatus for extracting a virtual reality image according to an embodiment of the present invention.
3 is a diagram illustrating screen elements constituting a virtual reality image.
4A is a diagram schematically showing that a virtual reality image rendering apparatus according to an embodiment of the present invention is implemented on an actual stage, and FIG. 4B is a display unit of the virtual reality image rendering apparatus according to an embodiment of the present invention. It is a diagram showing that it is installed in.
5 is a diagram illustrating an arrangement of a virtual camera in a virtual reality space.
6 is a diagram illustrating synchronizing a virtual camera in a virtual reality space with a camera in an actual stage space.
7 is a diagram showing a draft of a stage for producing a virtual reality image.
FIG. 8 is a diagram illustrating a state in which an actual virtual reality image is produced according to the perspective of the stage of FIG. 7.
9 is a flowchart illustrating a method of creating a virtual reality image according to an embodiment of the present invention.
10 is a diagram illustrating a hardware configuration of a virtual reality image rendering apparatus according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this document, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.For the various embodiments of the present invention disclosed in this document, specific structural or functional descriptions have been exemplified only for the purpose of describing the embodiments of the present invention, and various embodiments of the present invention may be implemented in various forms. And should not be construed as being limited to the embodiments described in this document.

다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성 요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성 요소로 바꾸어 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in various embodiments may modify various elements regardless of their order and/or importance, and the corresponding elements Not limited. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be renamed to a first component.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly indicates otherwise.

기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.All terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by those of ordinary skill in the art. Terms defined in a commonly used dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this document. . In some cases, even terms defined in this document cannot be interpreted to exclude embodiments of the present invention.

도 1은 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a virtual reality image rendering apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 가상 현실(VR) 영상 연출 장치(100)는 디스플레이부(110), 영상 추출부(120) 및 위치 설정부(130)를 포함할 수 있다.Referring to FIG. 1, a virtual reality (VR) image rendering apparatus 100 according to an embodiment of the present invention may include a display unit 110, an image extracting unit 120, and a location setting unit 130. .

디스플레이부(110)는 사용자에 의해 가상 현실에서 구현되는 게임 영상을 표시하도록 입체적으로 설치될 수 있다. 예를 들면, 디스플레이부(110)는 가상 현실 공간에서 사용자가 플레이하는 모습을 표시할 수 있다. 이 때, 디스플레이부(110)는 가상 현실 공간에서의 사용자의 시점에 대한 화면을 표시할 수 있다. 그러나, 이에 제한되는 것은 아니며 디스플레이부(110)는 가상 현실 공간 내에서 다양한 시점에 대한 화면을 표시할 수 있다.The display unit 110 may be three-dimensionally installed to display a game image implemented in virtual reality by a user. For example, the display 110 may display a user's play in a virtual reality space. In this case, the display unit 110 may display a screen for the user's viewpoint in the virtual reality space. However, the present invention is not limited thereto, and the display unit 110 may display screens for various viewpoints in the virtual reality space.

디스플레이부(110)는 실제 현실 공간에 별도로 설치될 수 있다. 즉, 디스플레이부(110)는 본 발명의 일 실시 예에 따른 VR 영상 연출 장치(100)의 나머지 구성과는 별도의 공간(예를 들면, 사용자의 정면이나 측면) 상에 입체적으로 설치될 수 있다.The display unit 110 may be separately installed in an actual real space. That is, the display unit 110 may be three-dimensionally installed in a space separate from the rest of the configuration of the VR image rendering apparatus 100 according to an embodiment of the present invention (for example, in the front or side of the user). .

구체적으로, 디스플레이부(110)는 LED 스크린으로 이루어질 수 있다. 또한, 디스플레이부(110)는 하나의 스크린으로 구성될 수 있을 뿐 아니라 복수의 스크린을 포함할 수도 있다. 이 때, 복수의 스크린은 각각이 서로 다른 방향으로 배치될 수 있다. 또한, 복수의 스크린은 사용자가 위치한 지점의 천장과 바닥에도 배치될 수 있다. 이와 같이, 입체적으로 설치된 디스플레이부(110)를 통해 현장의 관객이나 시청자는 가상 현실 공간에서 사용자가 플레이하는 모습을 보다 생동감 있게 관람할 수 있다. 디스플레이부(110)는 LED 스크린에 한정되는 것은 아니며, LCD, OLED 등 관객에게 게임 영상을 표시할 수 있는 어떠한 구성이어도 무방하다.Specifically, the display unit 110 may be formed of an LED screen. In addition, the display unit 110 may not only be composed of one screen, but may also include a plurality of screens. In this case, each of the plurality of screens may be arranged in different directions. In addition, a plurality of screens may be disposed on a ceiling and a floor at a location where the user is located. In this way, through the three-dimensionally installed display unit 110, an on-site audience or a viewer can more vividly view a user's play in a virtual reality space. The display unit 110 is not limited to an LED screen, and may be any configuration capable of displaying a game image to an audience, such as an LCD or OLED.

또한, 디스플레이부(110)는 가상 현실 공간에서의 사용자의 시점에 대한 화면을 표시하는 제1 디스플레이부와 가상 현실 공간 전체의 화면을 표시하는 제2 디스플레이부를 포함할 수 있다. 예를 들면, 가상 현실 공간에서 게임을 플레이하는 선수석에 제1 디스플레이부를 배치하고, 현장의 관객과 시청자가 가상 현실 공간에서 각 사용자가 플레이하는 모습을 전체적으로 관람할 수 있도록 무대 정면에 제2 디스플레이부를 배치할 수 있다. 따라서, 현장의 관객과 시청자는 게임을 플레이하는 선수의 시점과 전체적인 시점 모두에 대해 영상을 시청할 수 있게 된다.In addition, the display unit 110 may include a first display unit that displays a screen of the user's viewpoint in the virtual reality space and a second display unit that displays the entire screen of the virtual reality space. For example, a first display unit is placed on the player's seat playing a game in a virtual reality space, and a second display unit is placed in front of the stage so that the audience and viewers in the field can generally see how each user is playing in the virtual reality space. Can be placed. Accordingly, the audience and viewers in the field can view the video for both the viewpoint of the player playing the game and the overall viewpoint.

영상 추출부(120)는 가상 현실 공간에서의 화면을 추출하고, 추출된 화면을 디스플레이부(110)의 설치 상태에 맞도록 변환하여 디스플레이부(110)에 전송할 수 있다. 이 경우, 영상 추출부(120)에서 가상 현실 공간의 화면을 추출하고 이를 변환하여 디스플레이부(110)에 표시하는 방법은 다양할 수 있다.The image extracting unit 120 may extract a screen in the virtual reality space, convert the extracted screen to fit the installation state of the display unit 110 and transmit it to the display unit 110. In this case, there may be various methods of extracting the screen of the virtual reality space by the image extracting unit 120 and converting the screen to be displayed on the display unit 110.

예를 들면, 영상 추출부(120)는 가상 현실 공간에서의 사용자의 시점에 대한 화면을 추출하거나, 가상 현실을 구성하는 화면 요소 중 배경 화면을 추출하여 디스플레이부(110)에 표시하도록 할 수 있다. 또한, 영상 추출부(120)는 가상 현실 공간에서의 사용자를 기준으로 일정 거리만큼 떨어진 3인칭의 시점에 대한 화면을 추출하여 디스플레이부(110)에 표시하도록 할 수 있다. 그리고, 영상 추출부(120)는 사용자가 가상 현실 공간에서 직접 조작하는 컨트롤러를 함께 추출하여 디스플레이부(110)에 표시하도록 할 수 있다. For example, the image extracting unit 120 may extract a screen for the user's viewpoint in a virtual reality space, or extract a background screen from screen elements constituting the virtual reality and display it on the display unit 110. . In addition, the image extracting unit 120 may extract a screen for a third-person viewpoint separated by a predetermined distance from the user in the virtual reality space and display the screen on the display unit 110. In addition, the image extracting unit 120 may extract a controller that the user directly manipulates in the virtual reality space and display it on the display unit 110.

이처럼, 영상 추출부(120)는 가상 현실 공간의 여러 시점에 대한 화면을 추출 및 변환하여 디스플레이부(110)에 표시함으로써 현장의 관객이나 시청자가 VR 게임의 사용자의 다양한 시점에서 영상을 관람할 수 있도록 할 수 있다.In this way, the image extracting unit 120 extracts and converts screens for various viewpoints in the virtual reality space and displays them on the display unit 110 so that the on-site audience or viewers can view the images from various viewpoints of the user of the VR game. can do.

또한, 영상 추출부(120)는 디스플레이부(110)의 개수, 형상 및 위치를 고려하여 가상 현실 공간에서 추출된 화면을 변환할 수 있다. 가상 현실 게임을 중계하는 무대 장치에 따라 디스플레이부의 개수, 형상 및 위치 등이 다양하게 설치될 수 있으므로, 영상 추출부(120)는 디스플레이부(110)의 설치 형태에 따라 추출된 화면을 적절하게 변환할 수 있다.In addition, the image extracting unit 120 may convert a screen extracted from the virtual reality space in consideration of the number, shape, and position of the display unit 110. Since the number, shape, and location of the display units can be variously installed depending on the stage device that relays the virtual reality game, the image extraction unit 120 appropriately converts the extracted screen according to the installation type of the display unit 110 can do.

위치 설정부(130)는 가상 현실 공간과 실제 현실 공간이 동기화되도록 가상 현실 공간의 시점을 조정할 수 있다. 구체적으로, 위치 설정부(130)는 가상 현실 공간에 가상 카메라를 배치하고, 가상 카메라를 이용하여 가상 현실 공간의 시점을 조정할 수 있다. 이 때, 가상 현실 공간의 가상 카메라는 실제 현실 공간의 중계 카메라와 동일한 위치에 있도록 배치될 수 있다.The position setting unit 130 may adjust the viewpoint of the virtual reality space so that the virtual reality space and the actual real space are synchronized. Specifically, the location setting unit 130 may arrange a virtual camera in the virtual reality space and adjust the viewpoint of the virtual reality space using the virtual camera. In this case, the virtual camera in the virtual reality space may be arranged to be at the same position as the relay camera in the actual real space.

이처럼, 위치 설정부(130)에서 가상 현실 공간과 실제 현실 공간이 동기화함으로써 디스플레이부(110)에 표시되는 가상 현실 공간의 배경과 VR 게임의 사용자의 실제 공간에서의 움직임이 하나의 공간에서 이루어지는 혼합 현실(Mixed Reality, MR)과 같은 효과를 구현할 수 있다.In this way, the position setting unit 130 synchronizes the virtual reality space with the real real space, so that the background of the virtual reality space displayed on the display unit 110 and the movement of the user of the VR game in the real space are mixed in one space. You can achieve the same effect as in reality (Mixed Reality, MR).

이와 같이, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치에 따르면, VR 장치를 통해 게임을 수행하는 사용자의 가상 현실 공간과 실제 공간이 동기화된 화면을 제공함으로써, 현장의 관람객과 시청자가 가상 현실 공간에서 구현되는 영상을 이해하기 용이하게 할 수 있고, 연출의 다양성을 확보할 수 있다.As described above, according to the virtual reality image rendering apparatus according to an embodiment of the present invention, by providing a screen in which the virtual reality space of the user playing the game and the actual space are synchronized through the VR device, It is possible to make it easier to understand the images implemented in the real space, and it is possible to secure diversity in direction.

도 2는 본 발명의 일 실시 예에 따른 가상 현실 영상 추출 장치의 구성을 타내는 블록도이다. 도 2의 가상 현실 영상 추출 장치(200)는 도 1의 영상 추출부(120)에 해당할 수 있다.2 is a block diagram showing a configuration of an apparatus for extracting a virtual reality image according to an embodiment of the present invention. The virtual reality image extracting apparatus 200 of FIG. 2 may correspond to the image extracting unit 120 of FIG. 1.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 가상 현실 영상 추출 장치(200)는 게임 구동부(210), 배경 화면 추출부(220) 및 보조 화면 추출부(230)를 포함할 수 있다.Referring to FIG. 2, the apparatus 200 for extracting a virtual reality image according to an embodiment of the present invention may include a game driver 210, a background screen extractor 220, and a sub screen extractor 230.

게임 구동부(210)는 사용자에 의해 가상 현실에서 구현되는 게임을 구동할 수 있다. 예를 들면, 게임 구동부(210)는 VR 게임을 실행하는 구동 엔진일 수 있다. The game driver 210 may drive a game implemented in virtual reality by a user. For example, the game driving unit 210 may be a driving engine that executes a VR game.

배경 화면 추출부(220)는 게임의 영상을 표시하도록 입체적으로 설치된 디스플레이부(110)에 표시할 배경 화면을 추출하고, 디스플레이부(110)의 설치 상태에 맞도록 변환할 수 있다. 즉, 배경 화면 추출부(220)는 가상 현실 게임을 플레이하는 사용자가 위치한 가상 현실 공간의 배경을 다양한 시점에 대하여 추출 및 변환하여 디스플레이부(110)에 표시하도록 할 수 있다.The background screen extraction unit 220 may extract a background screen to be displayed on the display unit 110 that is three-dimensionally installed to display the image of the game, and convert it to fit the installation state of the display unit 110. That is, the background screen extraction unit 220 may extract and convert a background of a virtual reality space in which a user playing a virtual reality game is located for various viewpoints, and display the background on the display unit 110.

보조 화면 추출부(230)는 디스플레이부(110)에 표시할 보조 화면을 추출할 수 있다. 예를 들면, 보조 화면 추출부(230)는 가상 현실 게임을 플레이하는 사용자의 캐릭터나 사용자가 직접 조작하는 가상 현실 공간 상의 컨트롤러 등을 추출하여 디스플레이부(110)에 표시하도록 할 수 있다.The auxiliary screen extraction unit 230 may extract an auxiliary screen to be displayed on the display unit 110. For example, the auxiliary screen extraction unit 230 may extract a character of a user playing a virtual reality game or a controller in a virtual reality space that the user directly manipulates and display it on the display unit 110.

도 3은 가상 현실 영상을 구성하는 화면 요소들을 나타내는 도면이다. 도 3에 나타낸 화면 요소들은 도 2의 영상 추출부에서 추출하는 화면 요소일 수 있고, 추출된 화면은 디스플레이부의 설치 상태에 맞도록 변환될 수 있다.3 is a diagram illustrating screen elements constituting a virtual reality image. The screen elements shown in FIG. 3 may be screen elements extracted by the image extracting unit of FIG. 2, and the extracted screen may be converted to fit the installation state of the display unit.

도 3을 참조하면, 가상 현실의 영상(300)은 전경 화면(foreground)(310), 전경 화면(alpha)(320), 배경 화면(background)(330) 및 HMD(Head Mounted Display) 시점 화면(340)을 포함할 수 있다.Referring to FIG. 3, an image 300 of a virtual reality is a foreground 310, an alpha 320, a background 330, and an HMD (Head Mounted Display) viewpoint screen ( 340).

전경 화면(310)은 가상 현실 공간 상의 사용자 앞부분의 영역을 나타낸다. 즉, 전경 화면(310)은 가상 현실 공간의 가상 카메라를 기준으로 사용자보다 앞에 있는 영역을 의미하며, 가상 현실 영상의 방송용 컴퓨터 그래픽(CG) 합성시 가장 앞 부분에 포함될 수 있다. 예를 들면, 전경 화면(310)은 가상 현실 공간 내에 있는 사용자(캐릭터)가 사용하는 물건이나 컨트롤러를 포함할 수 있다. The foreground screen 310 represents an area in front of the user in the virtual reality space. That is, the foreground screen 310 refers to an area in front of a user based on a virtual camera in a virtual reality space, and may be included in the front part when synthesizing a broadcasting computer graphic (CG) of a virtual reality image. For example, the foreground screen 310 may include an object or a controller used by a user (character) in a virtual reality space.

전경 화면(alpha)(320)은 전경 화면(310)을 구성하는 요소들을 흑백 화면으로 나타낸 것이다. 여기서, 전경 화면(310)은 방송용 화면 합성시 가장 앞에 들어가는 요소이므로, 전경 화면(alpha)(320)에 나타낸 것과 같이 투명화 처리를 한다. 즉, 전경 화면(alpha)(320)의 흑색 부분은 화면 합성시 투명하게 표시되며, 백색 부분은 화면 합성시 그대로 화면에 표시될 수 있다.The foreground screen (alpha) 320 shows elements constituting the foreground screen 310 in a black and white screen. Here, since the foreground screen 310 is an element that enters the front when synthesizing a broadcast screen, as shown in the foreground screen (alpha) 320, a transparent process is performed. That is, the black portion of the foreground screen (alpha) 320 is transparently displayed during screen composition, and the white portion may be displayed on the screen as it is during screen composition.

배경 화면(330)은 가상 현실 공간 안에서 사용자가 활동하는 장소를 나타내는 화면이다. 전술한 바와 같이, 영상 추출부(120)는 가상 현실 영상을 구성하는 화면 요소 중 배경 화면(330)만을 추출하여 디스플레이부(110)에 표시함으로써 현장의 관객이나 시청자가 사용자의 시점에서 VR 영상을 관람할 수 있도록 한다.The background screen 330 is a screen representing a place where a user is active in a virtual reality space. As described above, the image extracting unit 120 extracts only the background screen 330 from the screen elements constituting the virtual reality image and displays it on the display unit 110 so that the audience or viewers in the field can view the VR image from the user's point of view. Make it possible to watch.

HMD 시점 화면(340)은 사용자가 VR 공간에서 게임을 플레이 하기 위해 HMD를 착용하면 HMD 상에서 표시되는 정면 시야를 나타내는 화면이다.The HMD viewpoint screen 340 is a screen showing a front view displayed on the HMD when a user wears the HMD to play a game in a VR space.

가상 현실 공간의 영상 연출시 이들 화면 요소의 구체적인 위치 관계에 대해서는 도 5에서 후술한다.The specific positional relationship of these screen elements when creating an image in a virtual reality space will be described later with reference to FIG. 5.

도 4a는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치가 실제 무대에서 구현되는 것을 도식화하여 나타내는 도면으로, 무대의 위에서 내려다본 평면도이다.4A is a diagram schematically illustrating a virtual reality image rendering apparatus implemented on an actual stage according to an embodiment of the present invention, and is a plan view from above of the stage.

도 4a를 참조하면, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 디스플레이부(410)가 3개의 LED 스크린으로 구성되어 있음을 확인할 수 있다. 또한, 각각의 LED 스크린은 사용자의 주변을 둘러싸도록 서로 다른 방향을 향하도록 배치되어 있다. 따라서, 현장의 관객과 시청자는 사용자가 플레이하는 영상을 보다 용이하게 관람할 수 있다.Referring to FIG. 4A, it can be seen that the display unit 410 of the virtual reality image rendering apparatus according to an embodiment of the present invention includes three LED screens. In addition, each of the LED screens are arranged to face in different directions to surround the user's surroundings. Accordingly, viewers and viewers in the field can more easily view the video played by the user.

또한, 사용자의 앞에는 방송용 카메라(420)가 배치될 수 있다. 이는 현장의 관객과 시청자에게 사용자가 LED 스크린 앞에서 플레이하는 모습을 연출하기 위한 것이다.In addition, a broadcasting camera 420 may be disposed in front of the user. This is to direct the appearance of the user playing in front of the LED screen to the audience and viewers in the field.

가상 카메라(430)는 전술한 바와 같이, 가상 현실 공간 상에서의 사용자의 움직임과 배경 화면을 담기 위한 것으로서, 실제로는 가상 현실 공간 내에 설치된 것이다. 도 4a에 나타낸 바와 같이, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치를 통해 실제 공간에서의 방송용 카메라(420)와 가상 현실 공간에서의 가상 카메라(430)가 동일한 위치에 배치되도록 시점을 설정할 수 있다.As described above, the virtual camera 430 is for capturing the user's movement and background screen in the virtual reality space, and is actually installed in the virtual reality space. As shown in FIG. 4A, the viewpoint is set so that the broadcasting camera 420 in the real space and the virtual camera 430 in the virtual reality space are disposed at the same position through the virtual reality image rendering apparatus according to an embodiment of the present invention. Can be set.

도 4b는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 디스플레이부가 실제 무대에 설치되는 것을 나타내는 도면이다.4B is a diagram illustrating that a display unit of a virtual reality image rendering apparatus according to an embodiment of the present invention is installed on an actual stage.

도 4b를 참조하면, 영상 추출부(미도시)에서 추출된 가상 현실 공간의 배경 화면의 영상이 3개의 스크린으로 이루어진 디스플레이부에 표시될 수 있다. 따라서, 사용자의 가상 현실 공간에서의 상황을 연출의 배경으로 활용할 수 있다. 도 4b에 나타낸 바와 같이, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치에 따르면 실제 방송 카메라와 LED 스크린의 화면이 동기화되어 자연스러운 360도의 MR 연출 환경을 제공할 수 있다.Referring to FIG. 4B, an image of a background screen of a virtual reality space extracted by an image extracting unit (not shown) may be displayed on a display unit including three screens. Accordingly, the situation in the user's virtual reality space can be used as a background for directing. As shown in FIG. 4B, according to the virtual reality image rendering apparatus according to an embodiment of the present invention, a screen of an actual broadcasting camera and an LED screen are synchronized to provide a natural 360-degree MR rendering environment.

도 5는 가상 현실의 공간에서 가상 카메라를 배치하는 것을 나타내는 도면이다.5 is a diagram illustrating an arrangement of a virtual camera in a virtual reality space.

도 5를 참조하면, 먼저 VR 공간에 가상 카메라의 위치를 설정한다. 이 때, 포지션 트래커(Position Tracker) 등의 프로그램이나 VR 컨트롤러를 이용하여 가상 카메라를 설정할 수 있다. 그리고, 3D 엔진의 Mixed Reality Plug-in 등의 프로그램을 통해 도 3에 나타낸 바와 같이 VR 게임 화면을 4개의 요소, 즉 전경 화면, 전경 화면(alpha), 배경 화면, HMD 시점 화면으로 분할할 수 있다. 이 때, 게임 화면을 분할하는 기능은 게임 엔진에서 자체적으로 제공할 수 있다.Referring to FIG. 5, first, a location of a virtual camera is set in a VR space. In this case, a virtual camera may be set using a program such as a position tracker or a VR controller. In addition, the VR game screen can be divided into four elements, namely, a foreground screen, a foreground screen (alpha), a background screen, and an HMD view screen, as shown in FIG. 3 through a program such as a mixed reality plug-in of a 3D engine. . In this case, the function of dividing the game screen may be provided by the game engine itself.

다음으로, Xsplit, Obs 등의 응용 프로그램을 이용하여 배경 화면을 추출한다. 이와 같이 하여 가상 현실 공간 상에 가상 카메라와 그라운드 배치를 설정할 수 있다. 그리고, 실제 공간의 사용자, 스크린 및 방송용 카메라의 위치를 고려하여 가상 현실 공간 내에서 가상 카메라를 배치하고, 가상 현실 공간에서의 사용자(캐릭터)와 전경 화면 및 배경 화면의 위치를 조정할 수 있다.Next, the background screen is extracted using applications such as Xsplit and Obs. In this way, it is possible to set the virtual camera and ground arrangement on the virtual reality space. In addition, a virtual camera may be placed in the virtual reality space in consideration of the location of the user, the screen, and the broadcasting camera in the real space, and the positions of the user (character), the foreground screen, and the background screen in the virtual reality space may be adjusted.

도 6은 가상 현실 공간의 가상 카메라와 실제 무대 공간의 카메라를 동기화하는 것을 나타내는 도면이다.6 is a diagram illustrating synchronizing a virtual camera in a virtual reality space with a camera in an actual stage space.

도 6에서 설명한 바와 같이, 먼저 가상 현실 공간에서 전경 화면, 사용자(캐릭터) 및 배경 화면에 대하여 가상 카메라의 배치를 실제 무대 공간의 위치와 동일하게 설정한다. 즉, 가상 현실 공간에서의 배경 화면과 사용자(캐릭터)에 대한 배치를 고려하여 실제 공간에서의 카메라, 사용자 및 LED 스크린에 대한 위치가 일치하도록 가상 카메라의 배치를 조정한다.As described with reference to FIG. 6, first, in the virtual reality space, the arrangement of the virtual cameras for the foreground screen, the user (character), and the background screen is set to be the same as the position of the actual stage space. That is, in consideration of the arrangement of the background screen and the user (character) in the virtual reality space, the arrangement of the virtual camera is adjusted so that the positions of the camera, the user, and the LED screen in the real space coincide.

가상 카메라의 위치 조정이 완료되면, 가상 현실 공간의 배경 화면을 LED 스크린으로 전송하여 실제 LED 스크린에서 가상 현실 공간의 배경이 표시될 수 있도록 한다.When the position adjustment of the virtual camera is completed, the background screen of the virtual reality space is transmitted to the LED screen so that the background of the virtual reality space can be displayed on the actual LED screen.

도 7은 가상 현실 영상을 연출하는 무대의 시안을 나타내는 도면이고, 도 8은 도 7의 무대의 시안에 따라 실제 가상 현실 영상을 연출하는 모습을 나타내는 도면이다.FIG. 7 is a diagram illustrating a draft of a stage in which a virtual reality image is produced, and FIG. 8 is a diagram illustrating a state in which an actual virtual reality image is produced according to the perspective of the stage of FIG. 7.

도 7을 참조하면, 가상 현실 영상을 연출하는 무대는 복수의 스크린을 포함할 수 있다. 즉, VR 공간에서 플레이하는 사용자의 LED 스크린(제1 디스플레이부)(610), 사용자가 플레이하는 모습을 현장의 관객에게 확대하여 표시하는 스크린 (620) 및 가상 현실 공간에서 각 사용자에 의해 구현되는 전체 화면을 표시하는 스크린(제2 디스플레이부)(630)을 포함할 수 있다. 그러나, 도 7 및 도 8은 하나의 예시일 뿐이고 본 발명이 이러한 구성에 한정되는 것은 아니며, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치는 다양한 방식으로 화면을 표시하도록 구성될 수 있다.Referring to FIG. 7, a stage for producing a virtual reality image may include a plurality of screens. That is, the LED screen (first display unit) 610 of the user playing in the VR space, the screen 620 that enlarges and displays the user's playing appearance to the on-site audience, and the virtual reality space implemented by each user. It may include a screen (second display unit) 630 that displays the entire screen. However, FIGS. 7 and 8 are only examples, and the present invention is not limited to this configuration, and the virtual reality image rendering apparatus according to an embodiment of the present invention may be configured to display a screen in various ways.

도 9는 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 방법을 나타내는 흐름도이다.9 is a flowchart illustrating a method of creating a virtual reality image according to an embodiment of the present invention.

도 9를 참조하면, 먼저 사용자에 의해 구현되는 가상 현실 공간에서 디스플레이부에 표시할 화면을 추출할 수 있다(S910). 이 때, VR 화면은 영상 추출부에서 예를 들면, Xsplit, Obs 등의 응용 프로그램 등을 구동하여 화면을 추출할 수 있다. 또한, 추출되는 화면은 사용자가 플레이하는 VR 공간의 배경 화면일 수 있다.Referring to FIG. 9, first, a screen to be displayed on the display unit may be extracted from a virtual reality space implemented by a user (S910). In this case, the VR screen may extract the screen by driving an application program such as Xsplit or Obs in the image extracting unit. In addition, the extracted screen may be a background screen of a VR space played by a user.

그리고, 추출된 화면을 디스플레이부의 설치 상태에 맞도록 변환할 수 있다(S920). 예를 들면, 단계 S920에서는 가상 현실 공간에서의 사용자의 시점에 대한 화면을 추출하거나, 가상 현실을 구성하는 화면 요소 중 배경 화면을 추출하여 디스플레이부에 표시하도록 할 수 있다. 또한, 가상 현실 공간에서의 사용자를 기준으로 일정 거리만큼 떨어진 3인칭의 시점에 대한 화면을 추출하여 디스플레이부에 표시하도록 할 수 있다. 그리고, 사용자가 가상 현실 공간에서 직접 조작하는 컨트롤러를 함께 추출하여 디스플레이부에 표시하도록 할 수 있다. In addition, the extracted screen may be converted to fit the installation state of the display unit (S920). For example, in step S920, a screen for the user's viewpoint in the virtual reality space may be extracted, or a background screen may be extracted from screen elements constituting the virtual reality and displayed on the display unit. In addition, a screen for a third person viewpoint separated by a predetermined distance from the user in the virtual reality space may be extracted and displayed on the display unit. In addition, a controller that the user directly manipulates in the virtual reality space may be extracted together and displayed on the display unit.

이처럼, 단계 S920에서는 가상 현실 공간의 여러 시점에 대한 화면을 추출 및 변환하여 디스플레이부에 표시함으로써 현장의 관객이나 시청자가 VR 게임의 사용자의 다양한 시점에서 영상을 관람할 수 있도록 할 수 있다.As described above, in step S920, screens for various viewpoints in the virtual reality space are extracted and converted and displayed on the display unit, so that an on-site audience or viewer can view the images from various viewpoints of the user of the VR game.

다음으로, 변환된 화면을 디스플레이부에 전송하여 표시할 수 있다(S930). 이 때, 디스플레이부는 실제 현실 공간에 별도로 설치될 수 있다. 또한, 디스플레이부는 LED 스크린으로 이루어질 수 있으며, 하나의 스크린으로 구성될 수 있을 뿐 아니라 복수의 스크린을 포함할 수도 있다. Next, the converted screen may be transmitted to the display unit and displayed (S930). In this case, the display unit may be separately installed in an actual real space. In addition, the display unit may be formed of an LED screen, may be configured as a single screen, and may include a plurality of screens.

이 때, 복수의 스크린은 각각이 서로 다른 방향으로 배치되어 있을 수 있다. 또한, 복수의 스크린은 사용자의 주변을 둘러싸도록 배치될 수 있다. 따라서, 현장의 관객이나 시청자가 가상 현실 공간에서 사용자가 플레이하는 모습을 보다 생동감 있게 관람할 수 있다.In this case, each of the plurality of screens may be arranged in different directions. In addition, a plurality of screens may be arranged to surround the user's periphery. Accordingly, the audience or viewers in the field can more vividly observe the user's play in the virtual reality space.

또한, 디스플레이부의 복수의 스크린은 가상 현실 공간에서의 사용자의 시점에 대한 화면을 표시하는 제1 스크린과 가상 현실 공간 전체의 화면을 표시하는 제2 스크린을 포함할 수 있다. 예를 들면, 가상 현실 공간에서 게임을 플레이하는 선수석에 제1 스크린을 배치하고, 현장의 관객과 시청자가 가상 현실 공간에서 각 사용자가 플레이하는 모습을 전체적으로 관람할 수 있도록 무대에 제2 스크린을 배치할 수 있다. 따라서, 현장의 관객과 시청자는 게임을 플레이하는 선수의 시점과 전체적인 시점 모두에 대해 영상을 시청할 수 있게 된다.In addition, the plurality of screens of the display unit may include a first screen for displaying a screen of a user's viewpoint in a virtual reality space and a second screen for displaying an entire screen of the virtual reality space. For example, a first screen is placed on the player's seat playing a game in a virtual reality space, and a second screen is placed on the stage so that the audience and viewers in the field can see each user playing in the virtual reality space as a whole. can do. Accordingly, the audience and viewers in the field can view the video for both the viewpoint of the player playing the game and the overall viewpoint.

한편, 도 9에는 나타내지 않았으나, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 방법은 가상 현실 공간과 실제 현실 공간이 동기화되도록 상기 가상 현실 공간의 시점을 조정하는 단계를 더 포함할 수 있다. 이 경우, 가상 현실 공간에 가상 카메라를 배치하고, 가상 카메라를 이용하여 가상 현실 공간의 시점을 조정할 수 있다. 이 때, 가상 현실 공간의 가상 카메라는 실제 현실 공간의 중계 카메라와 동일한 위치에 있도록 배치될 수 있다.Meanwhile, although not shown in FIG. 9, the method of creating a virtual reality image according to an embodiment of the present invention may further include adjusting a viewpoint of the virtual reality space so that the virtual reality space and the real real space are synchronized. In this case, a virtual camera may be placed in the virtual reality space, and the viewpoint of the virtual reality space may be adjusted using the virtual camera. In this case, the virtual camera in the virtual reality space may be arranged to be at the same position as the relay camera in the actual real space.

이와 같이, 본 발명의 가상 현실 영상 연출 방법에 따르면, VR 장치를 통해 게임을 수행하는 사용자의 가상 현실 공간과 실제 공간이 동기화된 화면을 제공함으로써, 현장의 관람객과 시청자가 가상 현실 공간에서 구현되는 영상을 이해하기 용이하게 할 수 있고, 연출의 다양성을 확보할 수 있다.As described above, according to the virtual reality image production method of the present invention, by providing a screen in which the virtual reality space of the user playing the game and the actual space are synchronized through the VR device, the viewers and viewers in the field are implemented in the virtual reality space. You can make the video easier to understand, and you can secure diversity in directing.

도 10은 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 하드웨어 구성을 나타내는 도면이다.10 is a diagram illustrating a hardware configuration of a virtual reality image rendering apparatus according to an embodiment of the present invention.

도 10을 참조하면, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치 (800)는 CPU(810), 메모리(820), 입출력 I/F(830) 및 통신 I/F(840)를 포함할 수 있다.Referring to FIG. 10, a virtual reality image rendering apparatus 800 according to an embodiment of the present invention includes a CPU 810, a memory 820, an input/output I/F 830, and a communication I/F 840. can do.

CPU(810)는 메모리(820)에 저장되어 있는 가상 현실 영상 연출용 프로그램을 실행시키고, VR 영상의 연출에 관한 각종 데이터를 처리하며, VR 영상의 연출 기능들을 수행하는 프로세서일 수 있다. The CPU 810 may be a processor that executes a program for directing a virtual reality image stored in the memory 820, processes various data related to the directing of a VR image, and performs functions of directing a VR image.

즉, CPU(810)는 메모리(820)에 저장된 있는 가상 현실 영상 연출용 프로그램을 실행시킴으로써, 도 1의 영상 추출부(120) 및 위치 설정부(130) 등의 기능들을 수행하도록 할 수 있다.That is, the CPU 810 may execute functions such as the image extracting unit 120 and the position setting unit 130 of FIG. 1 by executing a program for creating a virtual reality image stored in the memory 820.

메모리(820)는 가상 현실 영상 연출용 프로그램을 저장할 수 있다. 이러한 메모리(820)는 필요에 따라서 복수 개 마련될 수도 있을 것이다. 메모리(820)는 휘발성 메모리일 수도 있으며 비휘발성 메모리일 수 있다. 휘발성 메모리로서의 메모리(820)는 RAM, DRAM, SRAM 등이 사용될 수 있다. 비휘발성 메모리로서의 메모리(820)는 ROM, PROM, EAROM, EPROM, EEPROM, 플래시 메모리 등이 사용될 수 있다. 상기 열거한 메모리(820)들의 예를 단지 예시일 뿐이며 이들 예로 한정되는 것은 아니다.The memory 820 may store a program for directing a virtual reality image. A plurality of such memories 820 may be provided as needed. The memory 820 may be a volatile memory or a nonvolatile memory. The memory 820 as a volatile memory may be a RAM, DRAM, SRAM, or the like. As the memory 820 as a nonvolatile memory, ROM, PROM, EAROM, EPROM, EEPROM, flash memory, or the like may be used. Examples of the above-listed memories 820 are merely examples and are not limited to these examples.

입출력 I/F(830)는, 키보드, 마우스, 터치 패널 등의 입력 장치(미도시)와 디스플레이(미도시) 등의 출력 장치와 CPU(810) 사이를 연결하여 데이터를 송수신할 수 있도록 하는 인터페이스를 제공할 수 있다. 예를 들면, 본 발명의 일 실시 예에 따른 가상 현실 영상 연출 장치의 사용자(즉, 연출자)는 입출력 I/F를 통해 가상 현실 공간의 배경 화면을 추출하고, 가상 카메라의 위치를 실제 방송용 카메라와 동기화 시킬 수 있다.The input/output I/F 830 is an interface that connects an input device (not shown) such as a keyboard, a mouse, and a touch panel, and an output device such as a display (not shown), and the CPU 810 to transmit and receive data. Can provide. For example, a user (i.e., a director) of the virtual reality image rendering apparatus according to an embodiment of the present invention extracts a background screen of a virtual reality space through input/output I/F, and determines the location of the virtual camera with the actual broadcasting camera. Can be synchronized.

통신 I/F(840)는 서버와 각종 데이터를 송수신할 수 있는 구성으로서, 유선 또는 무선 통신을 지원할 수 있는 각종 장치일 수 있다. 예를 들면, 통신 I/F(840)를 통해 별도로 마련된 외부 서버로부터 가상 현실의 영상을 연출하기 위한 각종 데이터를 수신할 수 있다.The communication I/F 840 is a component capable of transmitting and receiving various types of data with a server, and may be various devices capable of supporting wired or wireless communication. For example, various data for displaying a virtual reality image may be received from an external server separately provided through the communication I/F 840.

이와 같이, 본 발명의 일 실시 예에 따른 컴퓨터 프로그램은 메모리(820)에 기록되고, CPU(810)에 의해 처리됨으로써, 예를 들면 도 1에서 도시한 각 기능을 수행하는 모듈로서 구현될 수도 있다.In this way, the computer program according to an embodiment of the present invention is recorded in the memory 820 and processed by the CPU 810, so that it may be implemented as, for example, a module that performs each function shown in FIG. 1. .

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. In the above, even if all the constituent elements constituting the embodiments of the present invention have been described as being combined into one or operating in combination, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all the constituent elements may be selectively combined and operated in one or more.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, terms such as "include", "consist of" or "have" described above mean that the corresponding component may be present unless otherwise stated, excluding other components. It should not be construed as being able to further include other components. All terms, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art, unless otherwise defined. Terms generally used, such as terms defined in the dictionary, should be interpreted as being consistent with the meaning of the context of the related technology, and are not interpreted as ideal or excessively formal meanings unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 가상 현실 영상 연출 장치 110: 디스플레이부
120: 영상 추출부 130: 위치 설정부
200: 가상 현실 영상 추출 장치 210: 게임 구동부
220: 배경 화면 추출부 230: 보조 화면 추출부
300: 가상 현실 영상 화면 310: 전경 화면
320: 전경 화면(alpha) 330: 배경 화면
340: HMD 시점 화면 410: 디스플레이부
420: 방송용 카메라 430: 가상 카메라
610, 620, 630: 스크린 800: 가상 현실 영상 연출 장치
810: CPU 820: 메모리
830: 입출력 I/F 840: 통신 I/F
100: virtual reality image rendering device 110: display unit
120: image extraction unit 130: position setting unit
200: virtual reality image extraction device 210: game driving unit
220: background screen extraction unit 230: auxiliary screen extraction unit
300: virtual reality video screen 310: foreground screen
320: Foreground screen (alpha) 330: Background screen
340: HMD viewpoint screen 410: display unit
420: broadcast camera 430: virtual camera
610, 620, 630: screen 800: virtual reality video rendering device
810: CPU 820: memory
830: I/O I/F 840: Communication I/F

Claims (19)

사용자에 의해 가상 현실(Virtual Reality, VR)에서 구현되는 게임 영상을 표시하도록 입체적으로 설치된 디스플레이부; 및
상기 가상 현실 공간에서 화면을 추출하고, 추출된 화면을 상기 디스플레이부의 설치 상태에 맞도록 변환하여 상기 디스플레이부에 전송하는 영상 추출부를 포함하는 VR 영상 연출 장치.
A display unit three-dimensionally installed to display a game image implemented in virtual reality (VR) by a user; And
A VR image rendering apparatus comprising an image extracting unit that extracts a screen from the virtual reality space, converts the extracted screen to fit the installation state of the display unit, and transmits it to the display unit.
청구항 1에 있어서,
상기 디스플레이부는 LED 스크린을 포함하는 VR 영상 연출 장치.
The method according to claim 1,
The display unit VR image rendering device including an LED screen.
청구항 1에 있어서,
상기 디스플레이부는 복수의 스크린을 포함하는 VR 영상 연출 장치.
The method according to claim 1,
The display unit VR image rendering apparatus including a plurality of screens.
청구항 3에 있어서,
상기 복수의 스크린은 각각이 서로 다른 방향으로 배치되어 있는 VR 영상 연출 장치.
The method of claim 3,
The plurality of screens are arranged in different directions, respectively, VR image rendering device.
청구항 3에 있어서,
상기 복수의 스크린은 상기 사용자가 위치한 지점의 천장과 바닥에 배치되는 VR 영상 연출 장치.
The method of claim 3,
The plurality of screens are VR image rendering apparatus which are disposed on the ceiling and the floor at the point where the user is located.
청구항 1에 있어서,
상기 디스플레이부는 가상 현실 공간에서의 상기 사용자의 시점에 대한 화면을 표시하는 제1 디스플레이부와 상기 가상 현실 공간 전체 시점의 화면을 표시하는 제2 디스플레이부를 포함하는 VR 영상 연출 장치.
The method according to claim 1,
The display unit VR image rendering apparatus including a first display unit displaying a screen of the user's viewpoint in a virtual reality space and a second display unit displaying a screen of the entire viewpoint of the virtual reality space.
청구항 1에 있어서,
상기 영상 추출부는 상기 가상 현실 공간에서의 상기 사용자의 시점에 대한 화면을 추출하여 상기 디스플레이부에 표시하도록 하는 VR 영상 연출 장치.
The method according to claim 1,
The image extracting unit extracts a screen for the user's viewpoint in the virtual reality space and displays the screen on the display unit.
청구항 1에 있어서,
상기 영상 추출부는 상기 가상 현실 공간에서의 사용자를 기준으로 일정 거리만큼 떨어진 3인칭의 시점에 대한 화면을 추출하여 상기 디스플레이부에 표시하도록 하는 VR 영상 연출 장치.
The method according to claim 1,
The image extracting unit extracts a screen for a third person viewpoint separated by a predetermined distance from the user in the virtual reality space and displays the screen on the display unit.
청구항 1에 있어서,
상기 영상 추출부는 상기 사용자가 상기 가상 현실 공간에서 조작하는 컨트롤러를 함께 추출하여 상기 디스플레이부에 표시하도록 하는 VR 영상 연출 장치.
The method according to claim 1,
The image extractor extracts a controller that the user manipulates in the virtual reality space and displays it on the display unit.
청구항 1에 있어서,
상기 영상 추출부는 상기 가상 현실을 구성하는 화면 요소 중 배경 화면을 추출하는 VR 영상 연출 장치.
The method according to claim 1,
The image extracting unit VR image rendering device for extracting a background screen from screen elements constituting the virtual reality.
청구항 1에 있어서,
상기 영상 추출부는 상기 디스플레이부의 개수, 형상 및 위치를 고려하여 상기 가상 현실 공간에서 추출된 화면을 변환하는 VR 영상 연출 장치.
The method according to claim 1,
The image extracting unit VR image rendering device for converting the screen extracted from the virtual reality space in consideration of the number, shape, and position of the display units.
청구항 1에 있어서,
상기 가상 현실 공간과 실제 현실 공간이 동기화되도록 상기 가상 현실 공간의 시점을 조정하는 위치 설정부를 포함하는 VR 영상 연출 장치.
The method according to claim 1,
VR image rendering apparatus including a position setting unit for adjusting a viewpoint of the virtual reality space so that the virtual reality space and the real reality space are synchronized.
청구항 12에 있어서,
상기 위치 설정부는 상기 가상 현실 공간에 가상 카메라를 배치하고, 상기 가상 카메라를 통해 상기 가상 현실 공간의 시점을 조정하는 VR 영상 연출 장치.
The method of claim 12,
The position setting unit arranges a virtual camera in the virtual reality space, and adjusts a viewpoint of the virtual reality space through the virtual camera.
청구항 13에 있어서,
상기 가상 현실 공간의 상기 가상 카메라는 실제 현실 공간의 카메라와 동일한 위치에 있도록 배치되는 VR 영상 연출 장치.
The method of claim 13,
The virtual camera in the virtual reality space is arranged to be in the same position as the camera in the real real space VR image rendering device.
사용자에 의해 가상 현실에서 구현되는 게임을 구동하는 게임 구동부;
상기 게임의 영상을 표시하도록 입체적으로 설치된 디스플레이부에 표시할 배경 화면을 추출하여 상기 디스플레이부의 설치 상태에 맞도록 변환하는 배경 화면 추출부; 및
상기 디스플레이부에 표시할 보조 화면을 추출하는 보조 화면 추출부를 포함하는 VR 영상 추출 장치.
A game driving unit that drives a game implemented in virtual reality by a user;
A background screen extracting unit extracting a background screen to be displayed on a display unit three-dimensionally installed to display the game image and converting it to fit the installation state of the display unit; And
VR image extraction apparatus comprising a sub screen extracting unit for extracting a sub screen to be displayed on the display unit.
사용자에 의해 가상 현실에서 구현되는 게임 영상을 표시하도록 입체적으로 설치된 디스플레이부를 포함하는 VR 영상 연출 방법으로서,
상기 가상 현실 공간에서 화면을 추출하는 단계;
추출된 화면을 상기 디스플레이부의 설치 상태에 맞도록 변환하는 단계; 및
변환된 화면을 상기 디스플레이부에 전송하는 단계를 포함하는 VR 영상 연출 방법.
A VR image rendering method comprising a display unit three-dimensionally installed to display a game image implemented in a virtual reality by a user,
Extracting a screen from the virtual reality space;
Converting the extracted screen to fit the installation state of the display unit; And
Transmitting the converted screen to the display unit VR image production method comprising the step of.
청구항 16에 있어서,
상기 가상 현실 공간에서 화면을 추출하는 단계는 상기 가상 현실 공간에서의 사용자를 기준으로 일정 거리만큼 떨어진 3인칭의 시점에 대한 화면을 추출하여 상기 디스플레이부에 표시하도록 하는 VR 영상 연출 방법.
The method of claim 16,
In the step of extracting the screen from the virtual reality space, a VR image rendering method of extracting a screen for a third person viewpoint separated by a predetermined distance from the user in the virtual reality space and displaying the screen on the display unit.
청구항 16에 있어서,
상기 가상 현실 공간에서 화면을 추출하는 단계는 상기 사용자가 상기 가상 현실 공간에서 조작하는 컨트롤러를 함께 추출하여 상기 디스플레이부에 표시하도록 하는 VR 영상 연출 방법.
The method of claim 16,
In the step of extracting the screen from the virtual reality space, a VR image rendering method in which the user extracts a controller operated by the user in the virtual reality space and displays it on the display unit.
청구항 16에 있어서,
상기 가상 현실 공간과 실제 현실 공간이 동기화되도록 상기 가상 현실 공간의 시점을 조정하는 단계를 더 포함하는 VR 영상 연출 방법.
The method of claim 16,
The method of creating a VR image further comprising adjusting a viewpoint of the virtual reality space so that the virtual reality space and the real reality space are synchronized.
KR1020190146788A 2019-11-15 2019-11-15 Apparatus and method for directing virtual reality video KR102271641B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190146788A KR102271641B1 (en) 2019-11-15 2019-11-15 Apparatus and method for directing virtual reality video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146788A KR102271641B1 (en) 2019-11-15 2019-11-15 Apparatus and method for directing virtual reality video

Publications (2)

Publication Number Publication Date
KR20210059396A true KR20210059396A (en) 2021-05-25
KR102271641B1 KR102271641B1 (en) 2021-07-02

Family

ID=76145552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146788A KR102271641B1 (en) 2019-11-15 2019-11-15 Apparatus and method for directing virtual reality video

Country Status (1)

Country Link
KR (1) KR102271641B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816208B1 (en) * 2017-03-28 2018-01-08 주식회사 오렌지베리 Device and method for virtual reality mixed display based on multi angle
KR20180032507A (en) * 2016-09-22 2018-03-30 내비테어 엘엘씨 Systems and methods for improved data integration in virtual reality architectures
KR20180122869A (en) * 2017-05-04 2018-11-14 주식회사 일리언 Method and apparatus for processing 3 dimensional image
KR101955478B1 (en) * 2018-07-19 2019-03-08 주식회사 테크노블러드코리아 Contents displaying method of a virtual reality device
JP2019518261A (en) * 2016-03-17 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント Watch a virtual reality environment associated with virtual reality (VR) user interactivity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019518261A (en) * 2016-03-17 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント Watch a virtual reality environment associated with virtual reality (VR) user interactivity
KR20180032507A (en) * 2016-09-22 2018-03-30 내비테어 엘엘씨 Systems and methods for improved data integration in virtual reality architectures
KR101816208B1 (en) * 2017-03-28 2018-01-08 주식회사 오렌지베리 Device and method for virtual reality mixed display based on multi angle
KR20180122869A (en) * 2017-05-04 2018-11-14 주식회사 일리언 Method and apparatus for processing 3 dimensional image
KR101955478B1 (en) * 2018-07-19 2019-03-08 주식회사 테크노블러드코리아 Contents displaying method of a virtual reality device

Also Published As

Publication number Publication date
KR102271641B1 (en) 2021-07-02

Similar Documents

Publication Publication Date Title
JP6317854B2 (en) Virtual three-dimensional space generation method, video system, control method thereof, and recording medium readable by computer device
US10080960B2 (en) Game system that projects game image and created image onto projection target object
US20220264068A1 (en) Telepresence system and method
US8885023B2 (en) System and method for virtual camera control using motion control systems for augmented three dimensional reality
US20200225737A1 (en) Method, apparatus and system providing alternative reality environment
CN113423017B (en) Live broadcast picture display method and device, computer equipment and storage medium
JP2023181217A (en) Information processing system, information processing method, and information processing program
CN110800310A (en) Subtitle processing method and director system for sports game video
US10748341B2 (en) Terminal device, system, program and method for compositing a real-space image of a player into a virtual space
US10792567B2 (en) Terminal device, system, program, and method
US20240048677A1 (en) Information processing system, information processing method, and computer program
US20210183114A1 (en) Vr real player capture for in-game interaction view
CN110730340B (en) Virtual audience display method, system and storage medium based on lens transformation
US20190066378A1 (en) Personal communication via immersive computing environment
KR20190031220A (en) System and method for providing virtual reality content
JP6559375B1 (en) Content distribution system, content distribution method, and content distribution program
KR102271641B1 (en) Apparatus and method for directing virtual reality video
US20200225467A1 (en) Method for projecting immersive audiovisual content
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
WO2018161816A1 (en) Projection system, method, server, and control interface
WO2021261587A1 (en) Entertainment system, processing method, and information storage medium
US20230415040A1 (en) Image generation apparatus, image generation method, and program
US20240153226A1 (en) Information processing apparatus, information processing method, and program
CN116830563A (en) Information processing apparatus, information processing method, and information processing system
JP2023065073A (en) Image generation system and image generation method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right