WO2019103193A1 - 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법 - Google Patents

분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법 Download PDF

Info

Publication number
WO2019103193A1
WO2019103193A1 PCT/KR2017/013470 KR2017013470W WO2019103193A1 WO 2019103193 A1 WO2019103193 A1 WO 2019103193A1 KR 2017013470 W KR2017013470 W KR 2017013470W WO 2019103193 A1 WO2019103193 A1 WO 2019103193A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual camera
game
captured
images
Prior art date
Application number
PCT/KR2017/013470
Other languages
English (en)
French (fr)
Inventor
김현욱
양진욱
김용화
윤상필
박우출
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2019103193A1 publication Critical patent/WO2019103193A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing technique, and more particularly, to a 360 VR image acquisition system using a distributed virtual camera that captures images at different points in time using a plurality of virtual cameras in a game to generate 360 VR images, ≪ / RTI >
  • VR Virtual Reality
  • ICT Information and Communications Technologies
  • IT information technology
  • a 360 VR technology is developed which is capable of connecting images photographed at a plurality of viewpoints and converting them into panorama images of a multi-viewpoint, and viewing images by changing viewpoints according to the user's intention .
  • VR video technology As a part of VR video technology, a method of realizing game contents as VR images is being developed. Especially, it is required to create a VR content that can be relayed in real time.
  • a 360 VR image acquisition system using a distributed virtual camera is a system for capturing images at different viewpoints in a game using a virtual camera to generate a captured image, A plurality of image capturing devices for generating the time stamps for which the time stamps are tagged and transmitting the captured images for which the time stamps are tagged, and the captured images for which the time stamps are tagged from the plurality of image capturing devices, Directional cube image into a spherical panoramic image, and provides the spherical panoramic image to an observer apparatus.
  • the virtual camera has a viewing angle of 90 degrees with respect to a single viewpoint.
  • the image capture device captures an image for one or more viewpoints.
  • the six-directional cube texture has a size corresponding to a resolution of the virtual camera.
  • a 360 VR image acquisition system in a game using a distributed virtual camera comprising: The pixel values of the pixels included in the six-directional cube texture image are reflected on the pixels included in the spherical panoramic image and are stitched.
  • a method for acquiring a 360 VR image in a game using a distributed virtual camera wherein a plurality of image capture devices capture an image at different viewpoints in a game using a virtual camera, Generating a time stamp corresponding to the captured image and transmitting the captured captured image with the timestamp tagged, receiving the captured image with the time stamp tagged from the plurality of captured image capturing devices, Rendering a plurality of captured images corresponding to the same time stamp to a six-directional cube texture, and converting the six-directional cube image into a spherical panoramic image and providing the same as an observer device .
  • the virtual camera has a viewing angle of 90 degrees with respect to a single viewpoint.
  • the 360 VR image acquisition method using the distributed virtual camera of the present invention is characterized in that the image capture device captures an image of at least one viewpoint.
  • the 360-VR image acquisition method using the distributed virtual camera of the present invention is characterized in that the six-directional cube texture has a size corresponding to the resolution of the virtual camera.
  • the step of providing the 360 VR image to the observer apparatus may further include a step of calculating a correspondence relation between the pixels included in the 6-way cube texture image and the pixels included in the spherical panorama image Accordingly, the pixel values of the pixels included in the six-directional cube texture image are reflected on the pixels included in the spherical panoramic image and are stitched.
  • the contents in the game can be implemented as 360 VR images to change the viewpoint and check the situation in the game, Can be increased.
  • FIG. 1 is a block diagram illustrating a configuration of an image acquisition system according to an embodiment of the present invention.
  • FIG. 2 is a view illustrating pixels of a six-directional cube texture according to an exemplary embodiment of the present invention.
  • FIG 3 is a view illustrating a six-way cube image according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating pixels of a spherical panoramic image according to an embodiment of the present invention.
  • FIG. 5 is a view showing a spherical panoramic image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process of an image acquisition method according to an embodiment of the present invention.
  • the present invention relates to a technique for acquiring a game situation in a 360 VR image.
  • embodiments of the present invention will be described in detail with reference to the accompanying drawings.
  • FIG. 1 is a diagram illustrating a configuration of an image acquisition system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating pixels of a six-directional cube texture according to an exemplary embodiment of the present invention.
  • 4 is a view showing pixels of a spherical panoramic image according to an embodiment of the present invention.
  • FIG. 5 is a view showing a spherical panoramic image according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of an image acquisition system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating pixels of a six-directional cube texture according to an exemplary embodiment of the present invention.
  • 4 is a view showing pixels of a spherical panoramic image according to an embodiment of the present invention.
  • FIG. 5 is a view showing a spherical panoramic image according to an embodiment of the present invention.
  • the image acquisition system 100 of the present embodiment converts spherical panoramic images, which can be checked again based on images captured in the game.
  • the image acquisition system 100 includes an image capture device 10, an image conversion device 20 and an observer device 30.
  • the devices 10, 20 and 30 include a data input / output interface, Storage, and the like.
  • the image capturing device 10 captures an image in a game using a virtual camera.
  • the image capturing apparatus 10 includes a plurality of individual image capturing apparatuses 11, 12 and 13 for capturing images at different points in time in the game.
  • Each of the image capturing devices 11, 12, and 13 captures an image at a predetermined time using a virtual camera.
  • the virtual camera included in the image capturing devices 11, 12, field of view, FoV the virtual camera included in the image capturing devices 11, 12, field of view, FoV.
  • each of the image capturing devices 11, 12, and 13 captures images of one or more viewpoints.
  • the image capture device 11 captures the forward and backward images
  • the image capture device 12 captures the up and down images
  • the image capture device 13 captures the left and right images .
  • the images captured at different viewpoints in the respective image capturing devices 11, 12, and 13 include six directions covering 360 degrees forward viewed from a specific position in the game without overlapping each other.
  • the image capturing apparatus 10 generates a time stamp corresponding to each captured image when capturing an in-game image using a virtual camera.
  • the image capturing device 10 transmits the captured image with the tagged time stamp to the image conversion device 20.
  • the image converting apparatus 20 renders a plurality of captured images received from the image capturing apparatus 10 to a six-directional cube texture, converts the six-directional cube image into a spherical panoramic image, and provides the spherical panoramic image to the observer apparatus 30 .
  • the image converting apparatus 20 arranges them in chronological order according to a time stamp.
  • the image converting apparatus 20 generates a six-directional cube image by rendering a plurality of captured images corresponding to the same time stamp on a texture of a cube shape having a directional surface.
  • a plurality of captured images corresponding to the same time stamp are obtained by capturing the in-game situation at different viewpoints, and correspond to the six-directional faces of the cube, respectively.
  • the six-directional cube texture has a size corresponding to the resolution of the virtual camera included in the image capture device 10.
  • the six-directional cube texture includes a forward texture 1, a backward texture 2, an upward texture 3, a downward texture 4,
  • the left texture 5 and the right texture 6 and the textures 1, 2, 3, 4, 5 and 6 in each direction correspond to the resolution of the virtual camera of the image capture device 10 Pixel.
  • FIG. 3 illustrates a six-way cube image in which a six-directional image captured by a virtual camera is rendered on a six-directional cube texture.
  • a forward image 1-1 is rendered
  • the backward image 2-1 is rendered on the back texture 2 and the upside image 3-1 is rendered on the upward texture 3 and the downward image 4-1 is rendered on the downward texture 4
  • the left image 5-1 is rendered in the left texture 5 and the right image 6-1 is rendered in the right texture 6.
  • the rendered images 1-1, 2-1, 3-1, 4-1, 5-1, and 6-1 are collections of images captured by the plurality of image capturing apparatuses 10, (11, 12, 13) captures an in-game image at one or more different viewpoints.
  • the forward image 1-1 and the backward image 2-1 may be a captured image of the image capturing apparatus 11, and the upper image 3-1 and the downward image 4-1 may be the same.
  • the left image 5-1 and the right image 6-1 may be those obtained by rendering a captured image of the image capturing device 13.
  • the image converting apparatus 20 converts the rendered six-directional cube image into a spherical panorama image corresponding to the spherical shape and provides it to the observer apparatus 30.
  • the spherical panoramic image transformed by the image transforming device 20 corresponds to a shape in which a six-way cube image is projected on a spherical sphere and the spherical image is developed on a two-dimensional plane.
  • FIG. 4 shows the pixels included in the spherical panoramic image.
  • Each pixel of the six-directional cube texture shown in FIG. 2 corresponds to each pixel of the spherical panoramic image shown in FIG.
  • the image converting apparatus 20 reflects the pixel values included in the six-way cube image to the pixels included in the spherical panorama image according to the correspondence relationship between the pixels included in the six-directional cube texture and the pixels included in the illustrated spherical panorama image .
  • the image converting apparatus 20 can calculate coordinates using the following equation to determine the correspondence between the pixels included in the six-directional cube texture image and the pixels included in the spherical panorama image.
  • i and j are spherical panoramic image coordinates
  • w is a width of a cube texture image
  • h is a height of a cube texture image
  • x and y are coordinates of a cube texture image, respectively.
  • the image conversion apparatus 20 converts the six-directional cube image of FIG. 3 into a spherical panoramic image.
  • the spherical panoramic image can be used to confirm the in-game situation in all directions.
  • the observer apparatus 30 visually displays the spherical panorama image received from the image converting apparatus 20 so that the user can check the situation in the game in all directions.
  • FIG. 6 is a diagram illustrating a process of an image acquisition method according to an embodiment of the present invention.
  • a plurality of image capturing devices capture an image at different points in the game using a virtual camera to generate a captured image, and generate a time stamp corresponding to the captured image (S1).
  • step S1 the virtual camera capturing the in-game image has a viewing angle of 90 degrees with respect to a single viewpoint, and the plurality of image capturing devices capture a captured image for all directions in the game using a virtual camera that captures six different directions .
  • each image capturing device can capture an in-game image viewed from one or more viewpoints.
  • the plurality of image capturing devices transmit a plurality of captured images whose time stamps are tagged to the image converting device (S2).
  • the image conversion apparatus receives a captured image having a tagged time stamp transmitted from a plurality of image capturing apparatuses (S3).
  • the image conversion apparatus rearranges the plurality of captured images received in step S3 in chronological order according to the time stamp, and renders a plurality of captured images corresponding to the same time stamp on the six-directional cube texture, (S4).
  • the image converting apparatus converts the 6-way cube image rendered in step S4 into a spherical panorama image corresponding to the spherical shape (S5).
  • step S5 the image obtaining apparatus determines the corresponding relationship between the pixels included in the six-way cube image rendered in step S4 and the pixels included in the spherical panorama image, Is reflected on the pixels included in the spherical panoramic image and stitches the 360 VR image.
  • the image converting apparatus provides the spherical panorama image converted in step S5 to the observer apparatus so that the user can check the in-game viewpoint in the forward direction view (S6).
  • a 360 VR image acquisition method using a distributed virtual camera can be implemented in a form of a program readable by various computer means and recorded in a computer readable recording medium.

Abstract

본 발명은 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템 및 방법에 관한 것으로, 복수의 영상 캡쳐 장치가 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고 타임 스탬프를 생성하며 타임 스탬프가 태깅된 상기 캡쳐 영상을 전송하면 이를 수신한 영상 변환 장치가 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하고 6방향 큐브 영상을 구형 파노라마 영상으로 변환하여 옵저버 장치로 제공하며, 이를 통해 게임 내 콘텐츠를 360 VR 영상으로 구현하여 시점을 변경하며 게임 내 상황을 확인할 수 있고 게임 내 상황에 대한 몰입도를 높일 수 있다.

Description

분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템 및 방법
본 발명은 영상 처리 기술과 관련한 것으로, 더욱 상세하게는 게임 내에서 복수의 가상 카메라를 이용해 서로 다른 시점의 영상을 캡쳐하여 360 VR 영상을 생성하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템 및 방법에 관한 것이다.
VR(Virtual Reality)은 ICT(Information and Communications Technologies) 산업의 주요 이슈로 떠오르고 있으며, IT(Information Technology) 기업들은 VR 디바이스를 판매하여 이윤을 창출하고 있다.
그리고 VR 체험을 위한 콘텐츠를 구현하기 위해, 여러 시점으로 촬영한 영상을 이어붙여 다시점의 파노라마 영상으로 변환하고, 사용자의 의도에 따라 시점을 변경하여 영상을 확인할 수 있는 360 VR 기술이 개발되고 있다.
한편 VR 영상 기술의 일환으로 게임 콘텐츠를 VR 영상으로 구현하는 방안이 개발되고 있는데, 특히 실시간으로 중계되는 e스포츠 콘텐츠를 다시점으로 확인 가능한 VR 콘텐츠로 제작할 수 있는 방안이 요청된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 게임 내에서 복수의 가상 카메라를 이용해 서로 다른 시점의 영상을 캡쳐하여 게임 상황에 대한 몰입도를 높일 수 있는 360 VR 영상을 생성하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템은, 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고 상기 캡쳐 영상에 대응하는 타임 스탬프를 생성하며 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 전송하는 복수의 영상 캡쳐 장치, 및 상기 복수의 영상 캡쳐 장치로부터 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 수신하고, 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치로 제공하는 영상 변환 장치를 포함한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템에 있어서, 상기 가상 카메라는, 단일 시점에 대하여 90도의 시야각을 갖는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템에 있어서, 상기 영상 캡쳐 장치는, 하나 이상의 시점에 대한 영상을 캡쳐하는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템에 있어서, 상기 6방향 큐브 텍스쳐는, 상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템에 있어서, 상기 영상 변환 장치는, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법은, 복수의 영상 캡쳐 장치가 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고 상기 캡쳐 영상에 대응하는 타임 스탬프를 생성하며 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 전송하는 단계, 영상 변환 장치가 상기 복수의 영상 캡쳐 장치로부터 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 수신하고, 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 단계, 및 상기 영상 변환 장치가 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치로 제공하는 단계를 포함한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법에 있어서, 상기 가상 카메라는, 단일 시점에 대하여 90도 시야각을 갖는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법에 있어서, 상기 영상 캡쳐 장치는, 하나 이상의 시점에 대한 영상을 캡쳐하는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법에 있어서, 상기 6방향 큐브 텍스쳐는, 상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법에 있어서, 상기 옵저버 장치로 제공하는 단계는, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 한다.
본 발명의 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템 및 방법에 따르면, 게임 내 콘텐츠를 360 VR 영상으로 구현하여 시점을 변경하며 게임 내 상황을 확인할 수 있고, 이를 통해 게임 내 상황에 대한 몰입도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 6방향 큐브 영상을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 구형 파노라마 영상의 픽셀을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 구형 파노라마 영상을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 획득 방법의 과정을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 게임 내 상황을 360 VR 영상으로 획득하는 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 6방향 큐브 영상을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 구형 파노라마 영상의 픽셀을 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 구형 파노라마 영상을 나타낸 도면이다.
도 1 내지 도 5를 참조하면, 본 실시예의 영상 획득 시스템(100)은 게임 내에서 캡쳐한 영상을 기반으로 다시점으로 확인 가능한 구형(spherical) 파노라마 영상으로 변환하는 역할을 한다.
영상 획득 시스템(100)은 영상 캡쳐 장치(10), 영상 변환 장치(20) 및 옵저버 장치(30)를 포함하며, 각 장치(10, 20, 30)는 데이터 입출력 인터페이스, 연산 유닛, 메모리, 프로그램 저장소 등을 포함한다.
영상 캡쳐 장치(10)는 가상 카메라를 이용해 게임 내에서 영상을 캡쳐하는 역할을 한다.
영상 캡쳐 장치(10)는 게임 내에서 서로 다른 시점의 영상을 캡쳐하는 복수의 개별 영상 캡쳐 장치(11, 12, 13)를 포함한다.
각각의 영상 캡쳐 장치(11, 12, 13)는 가상 카메라를 이용해 정해진 시점의 영상을 캡쳐하는데, 이때 영상 캡쳐 장치(11, 12, 13)에 포함된 가상 카메라는 단일 시점에 대하여 90도의 시야각(field of view, FoV)을 갖는다.
이때 각각의 영상 캡쳐 장치(11, 12, 13)는 하나 이상의 시점에 대한 영상을 캡쳐한다.
예를 들어 영상 캡쳐 장치(11)는 전방 영상 및 후방 영상을 캡쳐하고, 영상 캡쳐 장치(12)는 상방 영상 및 하방 영상을 캡쳐하며, 영상 캡쳐 장치(13)는 좌측 영상 및 우측 영상을 캡쳐할 수 있다.
이렇게 각각의 영상 캡쳐 장치(11, 12, 13)에서 서로 다른 시점으로 캡쳐한 영상은 서로 겹치지 않으면서 게임 내 특정 위치에서 바라본 360도 전방향을 커버하는 6방향을 포함한다.
또한 영상 캡쳐 장치(10)는 가상 카메라를 이용해 게임 내 영상을 캡쳐할 때 각 캡쳐 영상에 대응하는 타임 스탬프를 생성한다.
그리고 영상 캡쳐 장치(10)는 타임 스탬프가 태깅(tagging)된 캡쳐 영상을 영상 변환 장치(20)로 전송한다.
영상 변환 장치(20)는 영상 캡쳐 장치(10)로부터 수신한 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 렌더링하고, 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치(30)로 제공하는 역할을 한다.
먼저 영상 변환 장치(20)는 영상 캡쳐 장치(10)로 복수의 캡쳐 영상을 수신하면 이를 타임 스탬프에 따라 시간순으로 정렬한다.
그리고 영상 변환 장치(20)는 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 방향의 면을 가지는 큐브(cube) 형태의 텍스쳐(texture)에 각각 렌더링하여 6방향 큐브 영상을 생성한다.
이 경우 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상은 서로 다른 시점으로 게임 내 상황을 캡쳐한 것으로서, 큐브의 6방향 면에 각각 대응된다.
이때 6방향 큐브 텍스쳐는 영상 캡쳐 장치(10)에 포함된 가상 카메라의 해상도에 대응하는 크기를 갖는다.
도 2에 도시된 바는 6방향 큐브 텍스쳐를 2차원 평면에 전개한 모습을 나타내는데, 6방향 큐브 텍스쳐는 전방 텍스쳐(1), 후방 텍스쳐(2), 상방 텍스쳐(3), 하방 텍스쳐(4), 좌측 텍스쳐(5) 및 우측 텍스쳐(6)를 포함하며, 각 방향의 텍스쳐(1, 2, 3, 4, 5, 6)는 영상 캡쳐 장치(10)가 구비한 가상 카메라의 해상도에 대응하는 픽셀(pixel)을 구비한다.
도 3에 도시된 바는 가상 카메라에서 촬영한 게임 내 6방향 영상을 6방향 큐브 텍스쳐에 렌더링한 6방향 큐브 영상의 모습을 나타내는데, 전방 텍스쳐(1)에는 전방 영상(1-1)이 렌더링되고, 후방 텍스쳐(2)에는 후방 영상(2-1)이 렌더링되고, 상방 텍스쳐(3)에는 상방 영상(3-1)이 렌더링되고, 하방 텍스쳐(4)에는 하방 영상(4-1)이 렌더링되고, 좌측 텍스쳐(5)에는 좌측 영상(5-1)이 렌더링되고, 우측 텍스쳐(6)에는 우측 영상(6-1)이 렌더링된다.
이때 렌더링된 영상(1-1, 2-1, 3-1, 4-1, 5-1, 6-1)은 복수의 영상 캡쳐 장치(10)에서 캡쳐한 영상의 모음으로서, 개별 영상 캡쳐 장치(11, 12, 13)는 서로 다른 하나 이상의 시점으로 게임 내 영상을 캡쳐한다.
예를 들어 전방 영상(1-1) 및 후방 영상(2-1)은 영상 캡쳐 장치(11)의 캡쳐 영상을 렌더링한 것일 수 있고, 상방 영상(3-1) 및 하방 영상(4-1)은 영상 캡쳐 장치(12)의 캡쳐 영상을 렌더링한 것일 수 있으며, 좌측 영상(5-1) 및 우측 영상(6-1)은 영상 캡쳐 장치(13)의 캡쳐 영상을 렌더링한 것일 수 있다.
이후 영상 변환 장치(20)는 6방향 큐브 텍스쳐에 렌더링된 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치(30)로 제공한다.
영상 변환 장치(20)가 변환하는 구형 파노라마 영상은, 6방향 큐브 영상을 구형체에 투영하고 해당 구형의 영상을 2차원 평면에 전개한 모습에 대응된다.
도 4에 도시된 바는 구형 파노라마 영상에 포함된 픽셀을 나타내는데, 도 2에 도시된 6방향 큐브 텍스쳐의 각 픽셀은 도 4에 도시된 구형 파노라마 영상의 각 픽셀에 대응된다.
영상 변환 장치(20)는 6방향 큐브 텍스쳐에 포함된 픽셀과 도시된 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 6방향 큐브 영상에 포함된 픽셀값을 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭한다.
이 경우 영상 변환 장치(20)는 다음의 수학식을 이용해 좌표를 계산하여 6방향 큐브 텍스쳐 영상에 포함된 픽셀과 구형 파노라마 영상에 포함된 픽셀의 대응관계를 판단할 수 있다.
x = 2i/w - 1
y = 2j/h - 1 또는 y = 1 - 2j/h (기준이 되는 픽셀 0의 위치에 따라)
이때, i, j는 구형 파노라마 영상 좌표, w는 큐브 텍스쳐 영상 폭, h는 큐브 텍스쳐 영상 높이, x, y는 큐브 텍스쳐 영상 좌표를 각각 나타낸다.
도 5에 도시된 바는 영상 변환 장치(20)가 도 3의 6방향 큐브 영상을 구형 파노라마 영상으로 변환한 모습을 나타내는데, 이러한 구형 파노라마 영상을 이용해 게임 내 상황을 전방향으로 확인할 수 있다.
옵저버 장치(30)는 영상 변환 장치(20)로부터 수신한 구형 파노라마 영상을 시각적으로 표시하여 사용자가 게임 내의 상황을 전방향으로 확인할 수 있도록 한다.
본 발명에 따라 게임 내 360 VR 영상을 획득하는 과정에 대해서는 도 6을 참조하여 상세하게 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 영상 획득 방법의 과정을 나타낸 도면이다.
도 6을 참조하면 복수의 영상 캡쳐 장치가 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고, 캡쳐 영상에 대응하는 타임 스탬프를 생성한다(S1).
단계(S1)에서 게임 내 영상을 캡쳐하는 가상 카메라는 단일 시점에 대하여 90도의 시야각을 가지며, 복수의 영상 캡쳐 장치는 서로 다른 6방향을 촬영하는 가상 카메라를 이용해 게임 내 전방향에 대한 캡쳐 영상을 확보할 수 있다.
이때 각 영상 캡쳐 장치는 하나 이상의 시점으로 바라본 게임 내 영상을 캡쳐할 수 있다.
그리고 복수의 영상 캡쳐 장치는 타임 스탬프가 태깅된 복수의 캡쳐 영상을 영상 변환 장치로 전송한다(S2).
영상 변환 장치는 복수의 영상 캡쳐 장치에서 전송한 타임 스탬프가 태깅된 캡쳐 영상 수신한다(S3).
그리고 영상 변환 장치는 단계(S3)에서 수신한 복수의 캡쳐 영상을 타임 스탬프에 따라 시간순으로 정렬하고, 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하여 6방향 큐브 영상을 생성한다(S4).
이후 영상 변환 장치는 단계(S4)에서 렌더링한 6방향 큐브 영상을 구형에 대응하는 구형(spherical) 파노라마 영상으로 변환한다(S5).
단계(S5)에서 영상 획득 장치는 단계(S4)에서 렌더링한 6방향 큐브 영상에 포함된 픽셀과, 구형 파노라마 영상에 포함된 픽셀의 대응관계를 판단하고, 이에 따라 6방향 큐브 영상에 포함된 픽셀의 픽셀값을 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭함으로써 360 VR 영상을 획득할 수 있다.
그리고 영상 변환 장치는 단계(S5)에서 변환한 구형 파노라마 영상을 옵저버 장치로 제공하여 사용자가 게임 내 상황에 대하여 전방향 시점으로 확인할 수 있도록 한다(S6).
본 발명의 실시예에 따른 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

Claims (10)

  1. 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고 상기 캡쳐 영상에 대응하는 타임 스탬프를 생성하며 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 전송하는 복수의 영상 캡쳐 장치; 및
    상기 복수의 영상 캡쳐 장치로부터 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 수신하고, 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치로 제공하는 영상 변환 장치;
    를 포함하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템.
  2. 제1항에 있어서,
    상기 가상 카메라는,
    단일 시점에 대하여 90도의 시야각을 갖는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템.
  3. 제1항에 있어서,
    상기 영상 캡쳐 장치는,
    하나 이상의 시점에 대한 영상을 캡쳐하는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템.
  4. 제1항에 있어서,
    상기 6방향 큐브 텍스쳐는,
    상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템.
  5. 제1항에 있어서,
    상기 영상 변환 장치는,
    상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 시스템.
  6. 복수의 영상 캡쳐 장치가 가상 카메라를 이용해 게임 내에서 서로 다른 시점의 영상을 캡쳐하여 캡쳐 영상을 생성하고 상기 캡쳐 영상에 대응하는 타임 스탬프를 생성하며 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 전송하는 단계;
    영상 변환 장치가 상기 복수의 영상 캡쳐 장치로부터 상기 타임 스탬프가 태깅된 상기 캡쳐 영상을 수신하고, 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 각각 렌더링하는 단계; 및
    상기 영상 변환 장치가 6방향 큐브 영상을 구형(spherical) 파노라마 영상으로 변환하여 옵저버 장치로 제공하는 단계;
    를 포함하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.
  7. 제6항에 있어서,
    상기 가상 카메라는,
    단일 시점에 대하여 90도 시야각을 갖는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.
  8. 제6항에 있어서,
    상기 영상 캡쳐 장치는,
    하나 이상의 시점에 대한 영상을 캡쳐하는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.
  9. 제6항에 있어서,
    상기 6방향 큐브 텍스쳐는,
    상기 가상 카메라의 해상도에 대응하는 크기를 갖는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.
  10. 제6항에 있어서,
    상기 옵저버 장치로 제공하는 단계는,
    상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀과 상기 구형 파노라마 영상에 포함된 픽셀의 대응관계에 따라, 상기 6방향 큐브 텍스쳐 영상에 포함된 픽셀의 픽셀값을 상기 구형 파노라마 영상에 포함된 픽셀에 반영하여 스티칭하는 것을 특징으로 하는 분산 가상 카메라를 이용한 게임 내 360 VR 영상 획득 방법.
PCT/KR2017/013470 2017-11-23 2017-11-24 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법 WO2019103193A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0157591 2017-11-23
KR1020170157591A KR102019880B1 (ko) 2017-11-23 2017-11-23 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2019103193A1 true WO2019103193A1 (ko) 2019-05-31

Family

ID=66631472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013470 WO2019103193A1 (ko) 2017-11-23 2017-11-24 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102019880B1 (ko)
WO (1) WO2019103193A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261242B1 (ko) * 2019-11-26 2021-06-07 윤경진 360도 3차원 영상 재생시스템
KR102505117B1 (ko) * 2022-08-11 2023-03-02 (주)진명아이앤씨 원격지 스트리밍에 최적화된 다면 영상 스트리밍 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080076556A1 (en) * 2006-09-22 2008-03-27 Big Fish Games, Inc. Simulated 3D View of 2D Background Images and Game Objects
KR101212231B1 (ko) * 2012-07-13 2012-12-13 송헌주 이동 자유도를 개선한 융합형 가상현실 구현 방법
KR20130119381A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
KR20150010752A (ko) * 2012-07-04 2015-01-28 인텔 코오퍼레이션 파노라마 기반 3d 비디오 코딩
KR101722177B1 (ko) * 2016-07-15 2017-04-03 (주)인트라테크 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086203A (ko) 2016-01-18 2017-07-26 김주호 스포츠 중계 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080076556A1 (en) * 2006-09-22 2008-03-27 Big Fish Games, Inc. Simulated 3D View of 2D Background Images and Game Objects
KR20130119381A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
KR20150010752A (ko) * 2012-07-04 2015-01-28 인텔 코오퍼레이션 파노라마 기반 3d 비디오 코딩
KR101212231B1 (ko) * 2012-07-13 2012-12-13 송헌주 이동 자유도를 개선한 융합형 가상현실 구현 방법
KR101722177B1 (ko) * 2016-07-15 2017-04-03 (주)인트라테크 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치

Also Published As

Publication number Publication date
KR102019880B1 (ko) 2019-09-09
KR20190059711A (ko) 2019-05-31

Similar Documents

Publication Publication Date Title
WO2016027930A1 (en) Portable device and method for controlling the same
WO2011155697A2 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR20190059712A (ko) 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2010076988A2 (en) Image data obtaining method and apparatus therefor
EP3590090A1 (en) Method and apparatus for processing omni-directional image
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2020218717A1 (ko) 어라운드 뷰 장치
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2016182167A1 (ko) 평면 도안 입체화 구현 장치
WO2018110978A1 (ko) 영상합성 시스템 및 영상합성방법
WO2019103192A1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
WO2020071849A1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
WO2017213335A1 (ko) 실시간 영상 합성 방법
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2020085571A1 (ko) 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
WO2018230971A1 (en) Method and apparatus for processing omni-directional image
WO2020085570A1 (ko) 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
CN103297708A (zh) 大幅面实时抠像实时显示系统
WO2021256640A1 (ko) 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
WO2014046325A1 (ko) 3차원 계측 시스템 및 그 방법
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
WO2023074999A1 (ko) 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
WO2023243785A1 (ko) 가상 공연 생성 방법 및 가상 공연 생성 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932925

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932925

Country of ref document: EP

Kind code of ref document: A1