KR102019879B1 - Apparatus and method for acquiring 360 VR images in a game using a virtual camera - Google Patents

Apparatus and method for acquiring 360 VR images in a game using a virtual camera Download PDF

Info

Publication number
KR102019879B1
KR102019879B1 KR1020170157590A KR20170157590A KR102019879B1 KR 102019879 B1 KR102019879 B1 KR 102019879B1 KR 1020170157590 A KR1020170157590 A KR 1020170157590A KR 20170157590 A KR20170157590 A KR 20170157590A KR 102019879 B1 KR102019879 B1 KR 102019879B1
Authority
KR
South Korea
Prior art keywords
image
way
virtual camera
game
cube
Prior art date
Application number
KR1020170157590A
Other languages
Korean (ko)
Other versions
KR20190059710A (en
Inventor
박우출
김현욱
양진욱
김용화
윤상필
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170157590A priority Critical patent/KR102019879B1/en
Priority to PCT/KR2017/013468 priority patent/WO2019103192A1/en
Publication of KR20190059710A publication Critical patent/KR20190059710A/en
Application granted granted Critical
Publication of KR102019879B1 publication Critical patent/KR102019879B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

본 발명은 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치 및 방법에 관한 것으로, 영상 획득 장치가 게임 내 가상 카메라를 이용해 시점을 변경하여 6방향 영상을 획득하고, 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링한 후, 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환하며, 이를 통해 게임 내 콘텐츠를 360 VR 영상으로 구현하여 시점을 변경하며 게임 내 상황을 확인할 수 있고 게임 내 상황에 대한 몰입도를 높일 수 있다.The present invention relates to an in-game 360 VR image acquisition device and method using a virtual camera, wherein the image acquisition device obtains a six-way image by changing the viewpoint using the in-game virtual camera, and the six-way image to the six-way cube texture After each rendering, the 6-way cube image is converted into a spherical panoramic image corresponding to the sphere, and through this, the in-game content can be implemented as a 360 VR image to change the viewpoint and check the in-game situation. Increased commitment to

Description

가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치 및 방법 {Apparatus and method for acquiring 360 VR images in a game using a virtual camera}Apparatus and method for acquiring 360 VR images in a game using a virtual camera}

본 발명은 영상 처리 기술과 관련한 것으로, 더욱 상세하게는 게임 내에서 시점을 변경하며 촬영하는 가상 카메라의 촬영 영상을 이용해 360 VR 영상을 생성하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치 및 방법에 관한 것이다.The present invention relates to an image processing technology, and more particularly, to an apparatus and method for acquiring a 360 VR image in a game using a virtual camera that generates a 360 VR image by using a captured image of a virtual camera shooting by changing a viewpoint in a game. It is about.

VR(Virtual Reality)은 ICT(Information and Communications Technologies) 산업의 주요 이슈로 떠오르고 있으며, IT(Information Technology) 기업들은 VR 디바이스를 판매하여 이윤을 창출하고 있다.Virtual Reality (VR) is emerging as a major issue in the Information and Communications Technologies (ICT) industry, and information technology companies are making profits by selling VR devices.

그리고 VR 체험을 위한 콘텐츠를 구현하기 위해, 여러 시점으로 촬영한 영상을 이어붙여 다시점의 파노라마 영상으로 변환하고, 사용자의 의도에 따라 시점을 변경하여 영상을 확인할 수 있는 360 VR 기술이 개발되고 있다.In order to realize content for VR experience, 360 VR technology has been developed to connect images captured at various viewpoints to convert them into multi-view panoramic images, and change the viewpoint according to the user's intention. .

한편 VR 영상 기술의 일환으로 게임 콘텐츠를 VR 영상으로 구현하는 방안이 개발되고 있는데, 특히 실시간으로 중계되는 e스포츠 콘텐츠를 다시점으로 확인 가능한 VR 콘텐츠로 제작할 수 있는 방안이 요청된다.Meanwhile, as part of the VR video technology, a plan for realizing game content as a VR video is being developed. In particular, a method for producing e-sports content relayed in real time into VR content that can be viewed in multiple views is requested.

공개특허공보 제10-2017-0086203호 (2017.07.26 공개)Publication No. 10-2017-0086203 (published Jul. 26, 2017)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 게임 내에서 시점을 변경하며 촬영하는 가상 카메라의 촬영 영상을 이용해 게임 상황에 대한 몰입도를 높일 수 있는 360 VR 영상을 생성하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치 및 방법을 제공하기 위한 것이다.An object of the present invention for solving the above problems, using a virtual camera to generate a 360 VR image that can increase the immersion in the game situation by using the captured image of the virtual camera to change the viewpoint in the game using It is to provide a 360 VR image acquisition device and method in the game.

상기와 같은 목적을 달성하기 위한 본 발명의 게임 내 360 VR 영상 획득 장치는, 가상 카메라를 이용해 게임 내에서 시점을 변경하여 6방향 영상을 획득하는 가상 카메라 모듈, 상기 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 렌더링 모듈, 및 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하는 영상 변환 모듈을 포함한다.In-game 360 VR image acquisition device of the present invention for achieving the above object, a virtual camera module for obtaining a six-way image by changing the viewpoint in the game using a virtual camera, the six-way cube texture of the six-way image And a rendering module for rendering each, and an image conversion module for converting the six-way cube image into a spherical panoramic image.

본 발명의 게임 내 360 VR 영상 획득 장치에 있어서, 상기 가상 카메라는, 90도 시야각을 갖는 것을 특징으로 한다.In the in-game 360 VR image acquisition device of the present invention, the virtual camera has a 90-degree viewing angle.

본 발명의 게임 내 360 VR 영상 획득 장치에 있어서, 상기 6방향 큐브 텍스쳐는, 상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 한다.In the in-game 360 VR image acquisition apparatus of the present invention, the six-way cube texture is characterized in that it has a size corresponding to the resolution of the virtual camera.

본 발명의 게임 내 360 VR 영상 획득 장치에 있어서, 상기 영상 변환 모듈은, 상기 6방향 큐브 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 한다.In the in-game 360 VR image acquisition device of the present invention, the image conversion module is included in the six-way cube image according to the correspondence between the pixels included in the six-way cube image and the pixels included in the spherical panoramic image. The stitching is performed by reflecting the pixel value of the pixel in the pixel included in the spherical panoramic image.

상기와 같은 목적을 달성하기 위한 본 발명의 게임 내 360 VR 영상 획득 방법은, 영상 획득 장치가 게임 내 가상 카메라를 이용해 시점을 변경하여 6방향 영상을 획득하는 단계, 상기 영상 획득 장치가 상기 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 단계, 및 상기 영상 획득 장치가 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환하는 단계를 포함한다.In order to achieve the above object, in-game 360 VR image acquisition method of the present invention, the image acquisition device to obtain a six-way image by changing the viewpoint using the in-game virtual camera, the image acquisition device in the six direction Rendering each of the images in a six-way cube texture, and converting the six-way cube image into a spherical panoramic image corresponding to the sphere.

본 발명의 게임 내 360 VR 영상 획득 방법에 있어서, 상기 가상 카메라는, 90도 시야각을 갖는 것을 특징으로 한다.In the in-game 360 VR image acquisition method of the present invention, the virtual camera is characterized in that it has a 90 degree viewing angle.

본 발명의 게임 내 360 VR 영상 획득 방법에 있어서, 상기 6방향 큐브 텍스쳐는, 상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 한다.In the in-game 360 VR image acquisition method of the present invention, the six-way cube texture, characterized in that having a size corresponding to the resolution of the virtual camera.

본 발명의 게임 내 360 VR 영상 획득 방법에 있어서, 상기 평면 영상으로 변환하는 단계는, 상기 6방향 큐브 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 한다.In the in-game 360 VR image acquisition method of the present invention, the step of converting to the planar image, the six-way cube according to the correspondence between the pixels included in the six-way cube image and the pixels included in the spherical panorama image Stitching is performed by reflecting pixel values of pixels included in the image to pixels included in the spherical panoramic image.

본 발명의 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치 및 방법에 따르면, 게임 내 콘텐츠를 360 VR 영상으로 구현하여 시점을 변경하며 게임 내 상황을 확인할 수 있고, 이를 통해 게임 내 상황에 대한 몰입도를 높일 수 있다.According to the apparatus and method for obtaining in-game 360 VR image using the virtual camera of the present invention, the in-game content can be implemented as a 360 VR image to change the viewpoint and check the in-game situation, thereby immersing the in-game situation. Can increase.

도 1은 본 발명의 일 실시예에 따른 영상 획득 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 6방향 큐브 영상을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 구형 파노라마 영상의 픽셀을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 구형 파노라마 영상을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 획득 방법의 과정을 나타낸 도면이다.1 is a diagram illustrating a configuration of an image capturing apparatus according to an embodiment of the present invention.
2 is a diagram illustrating pixels of a six-way cube texture according to an embodiment of the present invention.
3 is a view showing a six-way cube image according to an embodiment of the present invention.
4 is a diagram illustrating pixels of a spherical panoramic image according to an embodiment of the present invention.
5 is a diagram illustrating a spherical panoramic image according to an embodiment of the present invention.
6 is a view showing a process of an image acquisition method according to an embodiment of the present invention.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, only parts necessary for understanding the embodiments of the present invention will be described, it should be noted that the description of other parts will be omitted so as not to distract from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors are suited to the concept of terms in order to explain their invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, and various equivalents may be substituted for them at the time of the present application. It should be understood that there may be variations and variations.

본 발명은 게임 내 상황을 360 VR 영상으로 획득하는 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.The present invention relates to a technique for acquiring an in-game situation as a 360 VR image. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 획득 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 6방향 큐브 영상을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 구형 파노라마 영상의 픽셀을 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 구형 파노라마 영상을 나타낸 도면이다.1 is a view showing the configuration of an image acquisition device according to an embodiment of the present invention, Figure 2 is a view showing a pixel of the six-way cube texture according to an embodiment of the present invention, Figure 3 is a view of the present invention 6 is a view illustrating a six-way cube image according to an embodiment, FIG. 4 is a diagram illustrating pixels of a spherical panoramic image according to an embodiment of the present invention, and FIG. 5 is a diagram of a spherical panoramic image according to an embodiment of the present invention. Drawing.

도 1 내지 도 5를 참조하면, 본 실시예의 영상 획득 장치(100)는 게임 내에서 촬영한 영상을 기반으로 다시점으로 확인 가능한 구형(spherical) 파노라마 영상으로 변환하는 역할을 한다.1 to 5, the image obtaining apparatus 100 of the present exemplary embodiment converts a spherical panoramic image that can be viewed as a multiview based on an image captured in a game.

영상 획득 장치(100)는 가상 카메라 모듈(10), 렌더링 모듈(20) 및 영상 변환 모듈(30)을 포함하며, 각 모듈(10, 20, 30)은 데이터 입출력 인터페이스, 연산 유닛, 메모리, 프로그램 저장소 등을 포함한다.The image capturing apparatus 100 includes a virtual camera module 10, a rendering module 20, and an image converting module 30, and each module 10, 20, 30 includes a data input / output interface, a calculation unit, a memory, a program. Storage and the like.

가상 카메라 모듈(10)은 가상 카메라를 이용해 게임 내에서 영상을 촬영하는 역할을 한다.The virtual camera module 10 serves to shoot an image in the game using the virtual camera.

가상 카메라 모듈(10)에 포함된 가상 카메라는 게임 내 특정 위치에서 시점을 변경하며 6방향 영상을 촬영하는 단일의 카메라이다.The virtual camera included in the virtual camera module 10 is a single camera that changes the viewpoint at a specific position in the game and captures a six-way image.

가상 카메라 모듈(10)은 게임 내 촬영 위한 가상 카메라를 생성하고 특정 위치에서 6방향으로 시점을 변경하며 영상을 촬영함으로써, 해당 위치에 대응하는 6방향 영상을 생성한다.The virtual camera module 10 generates a six-way image corresponding to the corresponding position by generating a virtual camera for in-game shooting, changing the viewpoint in six directions from a specific position, and photographing the image.

이때 가상 카메라 모듈(10)에 포함된 가상 카메라는 90도 시야각(field of view, FoV)을 가지며, 해당 가상 카메라에서 시점을 달리하여 촬영한 6방향 영상은 서로 겹치지 않으면서 게임 내 특정 위치에서 바라본 360도 전방향을 커버하는 영상이 된다.At this time, the virtual camera included in the virtual camera module 10 has a 90-degree field of view (FoV), and six-way images photographed by different viewpoints of the virtual camera are viewed from a specific position in the game without overlapping each other. It becomes the image covering 360 degrees omnidirectional.

렌더링 모듈(20)은 가상 카메라 모듈(10)에서 촬영한 6방향 영상을 렌더링하는 역할을 한다.The rendering module 20 renders a six-way image photographed by the virtual camera module 10.

렌더링 모듈(20)은 6방향의 면을 가지는 큐브(cube) 형태의 텍스쳐(texture)를 생성하고, 가상 카메라 모듈(10)에서 촬영한 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링(rendering)한다.The rendering module 20 generates a cube-shaped texture having six-direction faces and renders six-direction images photographed by the virtual camera module 10 to six-way cube textures, respectively. .

이때 렌더링 모듈(20)에서 생성하는 6방향 큐브 텍스쳐는 가상 카메라 모듈(10)에 포함된 가상 카메라의 해상도에 대응하는 크기를 갖는다.In this case, the six-way cube texture generated by the rendering module 20 has a size corresponding to the resolution of the virtual camera included in the virtual camera module 10.

도 2에 도시된 바는 6방향 큐브 텍스쳐를 2차원 평면에 전개한 모습을 나타내는데, 6방향 큐브 텍스쳐는 전방 텍스쳐(1), 후방 텍스쳐(2), 상방 텍스쳐(3), 하방 텍스쳐(4), 좌측 텍스쳐(5) 및 우측 텍스쳐(6)를 포함하며, 각 방향의 텍스쳐(1, 2, 3, 4, 5, 6)는 가상 카메라의 해상도에 대응하는 픽셀(pixel)을 구비한다.As shown in FIG. 2, the six-way cube texture is developed in a two-dimensional plane. The six-way cube texture includes a front texture (1), a rear texture (2), an upper texture (3), and a lower texture (4). And a left texture 5 and a right texture 6, and textures 1, 2, 3, 4, 5, and 6 in each direction have pixels corresponding to the resolution of the virtual camera.

도 3에 도시된 바는 가상 카메라에서 촬영한 게임 내 6방향 영상을 6방향 큐브 텍스쳐에 렌더링한 6방향 큐브 영상의 모습을 나타내는데, 전방 텍스쳐(1)에는 전방 영상(1-1)이 렌더링되고, 후방 텍스쳐(2)에는 후방 영상(2-1)이 렌더링되고, 상방 텍스쳐(3)에는 상방 영상(3-1)이 렌더링되고, 하방 텍스쳐(4)에는 하방 영상(4-1)이 렌더링되고, 좌측 텍스쳐(5)에는 좌측 영상(5-1)이 렌더링되고, 우측 텍스쳐(6)에는 우측 영상(6-1)이 렌더링된다.3 shows a six-way cube image obtained by rendering a six-way image in a game taken by a virtual camera on a six-way cube texture, wherein the front image 1-1 is rendered on the front texture 1. The rear image 2-1 is rendered on the rear texture 2, the upper image 3-1 is rendered on the upper texture 3, and the lower image 4-1 is rendered on the lower texture 4. The left image 5-1 is rendered on the left texture 5, and the right image 6-1 is rendered on the right texture 6.

영상 변환 모듈(30)은 렌더링 모듈(20)에 의해 6방향 큐브 텍스쳐에 렌더링된 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환하는 역할을 한다.The image conversion module 30 converts the six-way cube image rendered by the rendering module 20 to the six-way cube texture into a spherical panoramic image corresponding to the sphere.

영상 변환 모듈(30)이 변환하는 구형 파노라마 영상은, 렌더링 모듈(20)에서 렌더링한 6방향 큐브 영상을 구형체에 투영하고 해당 구형의 영상을 2차원 평면에 전개한 모습에 대응된다.The spherical panoramic image converted by the image conversion module 30 corresponds to a state in which the six-way cube image rendered by the rendering module 20 is projected onto a sphere, and the spherical image is developed on a two-dimensional plane.

도 4에 도시된 바는 구형 파노라마 영상에 포함된 픽셀을 나타내는데, 도 2에 도시된 6방향 큐브 텍스쳐의 각 픽셀은 도 4에 도시된 구형 파노라마 영상의 각 픽셀에 대응된다.4 shows pixels included in the spherical panoramic image, wherein each pixel of the six-way cube texture illustrated in FIG. 2 corresponds to each pixel of the spherical panoramic image shown in FIG. 4.

영상 변환 모듈(30)은 6방향 큐브 영상에 포함된 픽셀과 도시된 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 6방향 큐브 영상에 포함된 픽셀값을 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭한다.The image conversion module 30 reflects the pixel values included in the six-way cube image to the pixels included in the spherical panoramic image according to the correspondence between the pixels included in the six-way cube image and the pixels included in the illustrated rectangular panoramic image. To stitch.

이 경우 영상 변환 모듈(30)은 다음의 수학식을 이용해 좌표를 계산하여 6방향 큐브 영상에 포함된 픽셀과 구형 파노라마 영상에 포함된 픽셀의 대응관계를 판단할 수 있다.In this case, the image conversion module 30 may determine the correspondence between the pixels included in the six-way cube image and the pixels included in the spherical panoramic image by calculating coordinates using the following equation.

x = 2i/w - 1x = 2i / w-1

y = 2j/h - 1 또는 y = 1 - 2j/h (기준이 되는 픽셀 0의 위치에 따라)y = 2j / h-1 or y = 1-2j / h (depending on the position of reference pixel 0)

이때, i, j는 구형 파노라마 영상 좌표, w는 큐브 텍스쳐 영상 폭, h는 큐브 텍스쳐 영상 높이, x, y는 큐브 텍스쳐 영상 좌표를 각각 나타낸다.In this case, i and j denote spherical panoramic image coordinates, w denotes a cube texture image width, h denotes a cube texture image height, and x and y denote cube texture image coordinates, respectively.

도 5에 도시된 바는 영상 변환 모듈(30)이 도 3의 6방향 큐브 영상을 구형 파노라마 영상으로 변환한 모습을 나타내는데, 이러한 구형 파노라마 영상을 이용해 게임 내 상황을 전방향으로 확인할 수 있다.5 shows a state in which the image conversion module 30 converts the six-way cube image of FIG. 3 into a spherical panoramic image. The in-game situation may be checked in all directions using the spherical panoramic image.

본 발명에 따라 게임 내 360 VR 영상을 획득하는 과정에 대해서는 도 6을 참조하여 상세하게 설명하기로 한다.A process of acquiring an in-game 360 VR image according to the present invention will be described in detail with reference to FIG. 6.

도 6은 본 발명의 일 실시예에 따른 영상 획득 방법의 과정을 나타낸 도면이다.6 is a view showing a process of an image acquisition method according to an embodiment of the present invention.

도 6을 참조하면 게임 내 360 VR 영상 획득 장치는 게임 내 영상을 촬영하기 위한 가상 카메라를 생성한다(S1).Referring to FIG. 6, the in-game 360 VR image obtaining apparatus generates a virtual camera for capturing an in-game image (S1).

단계(S1)에서 생성되는 가상 카메라는 90도 시야각을 가지며, 시점을 변경하여 서로 다른 6방향을 촬영하는 경우 게임 내 전방향의 영상을 촬영할 수 있다.The virtual camera generated in step S1 has a 90-degree viewing angle, and when shooting six different directions by changing the viewpoint, images of all directions in the game may be captured.

또한 영상 획득 장치는 단계(S1)에서 생성한 가상 카메라에서 촬영한 영상을 렌더링하기 위한 6방향 큐브 텍스쳐를 생성한다(S2).In addition, the image capturing apparatus generates a six-way cube texture for rendering an image captured by the virtual camera generated in step S1 (S2).

단계(S2)에서 생성되는 6방향 큐브 텍스쳐는 단계(S1)에서 생성한 가상 카메라의 해상도에 대응하는 크기를 갖는다.The six-way cube texture generated in step S2 has a size corresponding to the resolution of the virtual camera generated in step S1.

그리고 영상 획득 장치는 단계(S1)에서 생성한 게임 내 가상 카메라를 이용해 시점을 변경하며 6방향 영상을 획득한다(S3).In operation S3, the image capturing apparatus acquires a 6-direction image by changing a viewpoint using the in-game virtual camera generated in step S1.

이후 영상 획득 장치는 단계(S3)에서 획득한 6방향 영상을 단계(S2)에서 생성한 6방향 큐브 텍스쳐에 각각 렌더링하여 6방향 큐브 영상을 생성한다(S4).Thereafter, the image capturing apparatus generates the six-way cube image by rendering the six-way image acquired in step S3 to the six-way cube texture generated in step S2, respectively (S4).

그리고 영상 획득 장치는 단계(S4)에서 렌더링한 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환한다(S5).In operation S5, the image capturing apparatus converts the six-way cube image rendered in step S4 into a spherical panoramic image corresponding to the sphere.

단계(S5)에서 영상 획득 장치는 단계(S4)에서 렌더링한 6방향 큐브 영상에 포함된 픽셀과, 구형 파노라마 영상에 포함된 픽셀의 대응관계를 판단하고, 이에 따라 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭함으로써 360 VR 영상을 획득할 수 있다.In operation S5, the image capturing apparatus determines a correspondence relation between the pixels included in the six-way cube image rendered in operation S4 and the pixels included in the spherical panoramic image, and accordingly, the pixels included in the six-way cube image. The 360 VR image may be obtained by stitching the pixel value of the reflected pixel to the pixel included in the spherical panoramic image.

본 발명의 실시예에 따른 게임 내 360 VR 영상 획득 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.In-game 360 VR image acquisition method according to an embodiment of the present invention can be implemented in a program form that can be read by a variety of computer means can be recorded on a computer-readable recording medium.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.On the other hand, the embodiments disclosed in the specification and drawings are merely presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.

10: 가상 카메라 모듈
20: 렌더링 모듈
30: 영상 변환 모듈
100: 영상 획득 장치10: virtual camera module
20: rendering module
30: video conversion module
100: image acquisition device

Claims (8)

가상 카메라를 이용해 게임 내에서 시점을 변경하여 6방향 영상을 획득하는 가상 카메라 모듈;
상기 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 렌더링 모듈; 및
6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하는 영상 변환 모듈;을 포함하며,
상기 영상 변환 모듈은
상기 6방향 큐브 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계를 수학식 x = 2i/w - 1과, 기준이 되는 픽셀 0의 위치에 따라 수학식 y = 2j/h - 1 또는 y = 1 - 2j/h을 통해 파악하고,
상기 대응관계에 따라 상기 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하며,
상기 i, j는 구형 파노라마 영상 좌표, 상기 w는 큐브 텍스쳐 영상 폭, 상기 h는 큐브 텍스쳐 영상 높이, 상기 x, y는 큐브 텍스쳐 영상 좌표인 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치.A virtual camera module for changing a viewpoint in a game using a virtual camera to obtain a six-way image;
A rendering module for respectively rendering the six-way image to a six-way cube texture; And
And an image conversion module for converting the six-way cube image into a spherical panoramic image.
The image conversion module
A correspondence relationship between the pixels included in the six-way cube image and the pixels included in the spherical panoramic image is expressed by Equation x = 2i / w-1 and Equation y = 2j / h-in accordance with the position of the reference pixel 0. 1 or y = 1-2j / h
Stitching by reflecting the pixel values of the pixels included in the six-way cube image to the pixels included in the spherical panoramic image according to the corresponding relationship,
Wherein i, j are spherical panoramic image coordinates, w is a cube texture image width, h is a cube texture image height, and x and y are cube texture image coordinates. Device. 제1항에 있어서,
상기 가상 카메라는,
90도 시야각을 갖는 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치.The method of claim 1,
The virtual camera,
In-game 360 VR image acquisition device using a virtual camera, characterized in that having a 90 degree viewing angle. 제1항에 있어서,
상기 6방향 큐브 텍스쳐는,
상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 장치.The method of claim 1,
The six-way cube texture,
In-game 360 VR image acquisition device using a virtual camera, characterized in that having a size corresponding to the resolution of the virtual camera. 삭제delete 영상 획득 장치가 게임 내 가상 카메라를 이용해 시점을 변경하여 6방향 영상을 획득하는 단계;
상기 영상 획득 장치가 상기 6방향 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 단계; 및
상기 영상 획득 장치가 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환하는 단계;를 포함하며,
상기 변환하는 단계는,
상기 6방향 큐브 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계를 수학식 x = 2i/w - 1과, 기준이 되는 픽셀 0의 위치에 따라 수학식 y = 2j/h - 1 또는 y = 1 - 2j/h을 통해 파악하고,
상기 대응관계에 따라 상기 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하며,
상기 i, j는 구형 파노라마 영상 좌표, 상기 w는 큐브 텍스쳐 영상 폭, 상기 h는 큐브 텍스쳐 영상 높이, 상기 x, y는 큐브 텍스쳐 영상 좌표인 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.Obtaining, by the image capturing apparatus, a 6-way image by changing a viewpoint using a virtual camera in a game;
Rendering, by the image capturing apparatus, the six-way image to a six-way cube texture, respectively; And
And converting, by the image capturing apparatus, a 6-way cube image into a spherical panoramic image corresponding to a spherical shape.
The converting step,
A correspondence relationship between the pixels included in the six-way cube image and the pixels included in the spherical panoramic image is expressed by Equation x = 2i / w-1 and Equation y = 2j / h-in accordance with the position of the reference pixel 0. 1 or y = 1-2j / h
Stitching by reflecting the pixel values of the pixels included in the six-way cube image to the pixels included in the spherical panoramic image according to the corresponding relationship,
Wherein i, j are spherical panoramic image coordinates, w is a cube texture image width, h is a cube texture image height, and x and y are cube texture image coordinates. Way. 제5항에 있어서,
상기 가상 카메라는,
90도 시야각을 갖는 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.The method of claim 5,
The virtual camera,
In-game 360 VR image acquisition method using a virtual camera, characterized in that having a 90 degree viewing angle. 제5항에 있어서,
상기 6방향 큐브 텍스쳐는,
상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 하는 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.The method of claim 5,
The six-way cube texture,
In-game 360 VR image acquisition method using a virtual camera, characterized in that having a size corresponding to the resolution of the virtual camera. 삭제delete
KR1020170157590A 2017-11-23 2017-11-23 Apparatus and method for acquiring 360 VR images in a game using a virtual camera KR102019879B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170157590A KR102019879B1 (en) 2017-11-23 2017-11-23 Apparatus and method for acquiring 360 VR images in a game using a virtual camera
PCT/KR2017/013468 WO2019103192A1 (en) 2017-11-23 2017-11-24 Device and method for acquiring 360 vr image in game using virtual camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157590A KR102019879B1 (en) 2017-11-23 2017-11-23 Apparatus and method for acquiring 360 VR images in a game using a virtual camera

Publications (2)

Publication Number Publication Date
KR20190059710A KR20190059710A (en) 2019-05-31
KR102019879B1 true KR102019879B1 (en) 2019-09-09

Family

ID=66630624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157590A KR102019879B1 (en) 2017-11-23 2017-11-23 Apparatus and method for acquiring 360 VR images in a game using a virtual camera

Country Status (2)

Country Link
KR (1) KR102019879B1 (en)
WO (1) WO2019103192A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393309B1 (en) * 2022-01-10 2022-04-29 정장수 VR production method for 3D experience education
CN114449169B (en) * 2022-01-27 2023-11-17 中影电影数字制作基地有限公司 Clipping method and system for showing panoramic video in CAVE space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030080A (en) 1998-07-14 2000-01-28 Basu Plus One:Kk Virtual reality system
US20080076556A1 (en) 2006-09-22 2008-03-27 Big Fish Games, Inc. Simulated 3D View of 2D Background Images and Game Objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172544A1 (en) * 2012-07-04 2015-06-18 Zhipin Deng Panorama based 3d video coding
KR101652753B1 (en) * 2015-09-11 2016-09-01 주식회사 마이다스아이티 Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same
KR20170086203A (en) 2016-01-18 2017-07-26 김주호 Method for providing sports broadcasting service based on virtual reality
KR101722177B1 (en) * 2016-07-15 2017-04-03 (주)인트라테크 Method and apparatus for hybrid displaying of VR(virtual reality) contents

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030080A (en) 1998-07-14 2000-01-28 Basu Plus One:Kk Virtual reality system
US20080076556A1 (en) 2006-09-22 2008-03-27 Big Fish Games, Inc. Simulated 3D View of 2D Background Images and Game Objects

Also Published As

Publication number Publication date
WO2019103192A1 (en) 2019-05-31
KR20190059710A (en) 2019-05-31

Similar Documents

Publication Publication Date Title
US10368047B2 (en) Six-degree of freedom video playback of a single monoscopic 360-degree video
CN109615703B (en) Augmented reality image display method, device and equipment
KR101893047B1 (en) Image processing method and image processing device
EP2328125B1 (en) Image splicing method and device
US8665341B2 (en) Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
KR20190034092A (en) Image processing apparatus, image processing method, image processing system, and storage medium
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
US20150177062A1 (en) Information processing apparatus, information processing method, and storage medium
CN109509146A (en) Image split-joint method and device, storage medium
KR102067823B1 (en) Method and apparatus for operating 2d/3d augument reality technology
CN110648274B (en) Method and device for generating fisheye image
KR102025735B1 (en) 360 VR image conversion system and method using multiple images
US10255664B2 (en) Image processing device and method
Huang et al. A 360-degree panoramic video system design
KR20200124271A (en) Imaging device, image processing device, and image processing method
EP3549334A1 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
Bergamasco et al. Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction
KR102019879B1 (en) Apparatus and method for acquiring 360 VR images in a game using a virtual camera
JP2008217593A (en) Subject area extraction device and subject area extraction program
KR102019880B1 (en) 360 VR image acquisition system and method using distributed virtual camera
WO2018079283A1 (en) Image-processing device, image-processing method, and program
CN102081796A (en) Image splicing method and device thereof
Popovic et al. Design and implementation of real-time multi-sensor vision systems
KR20220121533A (en) Method and device for restoring image obtained from array camera
Marton et al. A real-time coarse-to-fine multiview capture system for all-in-focus rendering on a light-field display

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant