KR20210064654A - System for playing three dimension image of 360 degrees - Google Patents
System for playing three dimension image of 360 degrees Download PDFInfo
- Publication number
- KR20210064654A KR20210064654A KR1020190153099A KR20190153099A KR20210064654A KR 20210064654 A KR20210064654 A KR 20210064654A KR 1020190153099 A KR1020190153099 A KR 1020190153099A KR 20190153099 A KR20190153099 A KR 20190153099A KR 20210064654 A KR20210064654 A KR 20210064654A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- spherical panoramic
- images
- degree
- user terminal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 360도 3차원 영상 재생시스템에 관한 것으로, 특히 6개의 구형 파노라마 영상 중에서 3개의 구형 파노라마 영상만을 재생하여 영상 트래픽을 줄일 수 있는 360도 3차원 영상 재생시스템에 관한 것이다.The present invention relates to a 360-degree three-dimensional image reproducing system, and more particularly, to a 360-degree three-dimensional image reproducing system capable of reducing video traffic by reproducing only three spherical panoramic images among six spherical panoramic images.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진시키기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래 기술이 아닌 사항을 포함할 수 있다.Matters described in the background section are prepared to improve understanding of the background of the invention, and may include matters that are not already known to those of ordinary skill in the art to which this technology belongs.
사람이 외부로부터 받아들이는 정보 중 80% 이상은 두 눈을 통해 얻게 되는 시각정보이다. 시각정보를 전달하는 매체는 글자, 사진, 동영상 등으로 발전하였으며, 이러한 발전을 통해 매체 안에 보다 많은 시각정보를 포함하여 송신할 수 있다.More than 80% of the information a person receives from the outside is visual information obtained through both eyes. The medium for delivering visual information has developed into text, photos, and moving pictures, and through this development, more visual information can be transmitted in the medium.
여기에, 3차원 영상기술이 정보전달매체에 적용되면서, 이를 통해 시청자들에게 공간감까지 전달하는 것이 가능해졌다. 여기에서 한 걸음 더 나아가 가상현실(Virtyal Reality, VR) 개념은 헤드 마운티드 디스플레이(Head Mount Display, HMD)와 같은 특수한 디스플레이 장치를 이용하여 시청자들에게 실제로 그 상황에 있는 것과 같은 현장감과 몰입감을 보다 극대화하여 전달해 줄 수 있는 장점이 있다. 이로 인하여, 가상현실 미디어는 차세대 시각정보 미디어의 하나가 될 것으로 예상되고 있다.Here, as 3D image technology is applied to information delivery media, it has become possible to deliver a sense of space to viewers. Going one step further, the concept of virtual reality (VR) uses a special display device such as a head mounted display (HMD) to give viewers a sense of presence and immersion as if they were actually in the situation. There are advantages to being delivered. For this reason, virtual reality media is expected to become one of the next-generation visual information media.
그 동안 여러 가지의 기술적 어려움 등으로 실험실 범주에 머물러 있던 가상현실은 렌즈광학기술, 영상처리기술 등이 발전하면서 보다 우리에게 가까이 다가왔다. 최근, 과거에 비해 보다 저렴하고 보다 진보된 기술이 내재된 HMD 기기나 스마트폰을 이용한 HMD 기기 등이 소개되면서 가상현실 관련기술은 실생활에서도 손쉽게 접근 가능한 매체가 되었다.In the meantime, virtual reality, which remained in the laboratory category due to various technical difficulties, came closer to us as lens optical technology and image processing technology developed. Recently, as HMD devices that are cheaper and more advanced than in the past or HMD devices using smartphones have been introduced, virtual reality-related technology has become a medium that can be easily accessed in real life.
초기 가상현실 미디어는 고정된 HMD를 통해 외부의 시각정보를 완전히 차단한 상태에서 정면시점의 가상현실 영상을 보여주는 방법을 사용하였다. 그 후, 시청자들의 움직임에 따라 그에 맞는 시점 영상을 보여줌으로써 보다 많은 현장감과 몰입감을 줄 수 있는 방향으로 기술적 발전이 이루어졌다. 예를 들어, 360도 수평방향으로 자유롭게 좌우회전을 하며 볼 수 있는 360도 파노라마 형태의 시청공간이 제공되었다. 또한, 시청자가 어느 한 고정된 위치에서 자유롭게 회전운동(상하회전, 좌우회전, 전후회전)을 하면서 그에 맞는 시점 이동된 영상을 감상할 수 있도록 구형의 시청공간이 제공되었다. Early virtual reality media used a method of showing a virtual reality image from a front view while completely blocking external visual information through a fixed HMD. After that, technological development was made in a direction that could give more sense of presence and immersion by showing video from a viewpoint that matches the movement of the viewers. For example, a 360-degree panoramic viewing space that can be freely rotated left and right in the 360-degree horizontal direction is provided. In addition, a spherical viewing space was provided so that the viewer could freely rotate (up/down, left/right, front/rear) at a fixed position and enjoy the image shifted from the viewpoint.
그러나, 시청자들은 보다 자유로운 움직임에 따른 시점 이동이 가능한 가상현실 영상을 감상하기를 원하였고, 이는 회전운동뿐만 아니라 병진운동(상하이동, 좌우이동, 전후이동)도 가능한 6자유도를 가상현실 미디어에서 지원해야 할 필요성이 부각되었다. 이러한 시장의 요구로 인하여 6자유도를 지원하기 위한 기술들이 접목된 가상현실 콘텐츠도 등장하게 되었다.However, viewers wanted to enjoy virtual reality images that could move their viewpoints according to more free movement, and this supports 6 degrees of freedom that allows not only rotational movement but also translational movement (up and down, left and right, forward and backward) in virtual reality media. The need to do so was highlighted. Due to this market demand, virtual reality contents with technologies to support 6 degrees of freedom have also appeared.
3차원 가상공간에서 자유롭게 렌더링이 가능한 컴퓨터 그래픽(Computer Graphic, CG) 기술을 기반으로 하는 게임 장르에서 처음으로 6자유도를 지원하는 기술이 가상현실 콘텐츠에 접목되었고, 이후 CG를 활용한 많은 6자유도 지원 가상현실 콘텐츠들이 등장하였다.For the first time in the game genre based on computer graphic (CG) technology that can be freely rendered in a three-dimensional virtual space, the technology supporting 6 degrees of freedom was grafted onto virtual reality content, and after that, many 6 degrees of freedom using CG were applied. Supported virtual reality contents appeared.
그러나, 현재 실사 영상을 기반으로 하는 6자유도 가상현실 콘텐츠를 제작하기 위해 많은 기술적 난관이 존재하고 있다.However, there are currently many technical difficulties to produce 6-DOF virtual reality content based on live-action images.
전술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명은 사용자 단말기가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.In order to solve the problems of the prior art described above, the present invention enables the user terminal to select one spherical panoramic image and reproduce only three spherical panoramic images, thereby reducing image traffic by 50 compared to reproducing six spherical panoramic images. It aims to provide a 360-degree 3D image playback system that can be reduced to %.
본 발명에 따르면, 사용자 단말기는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.According to the present invention, it is an object of the user terminal to provide a 360-degree three-dimensional image reproduction system capable of reproducing a desired spherical panoramic image by generating an angle change when the selected spherical panoramic image is not a desired image.
본 발명에 따르면, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상의 줌 인(zoom in) 또는 줌 아웃(zoom out)을 통해 구형 파노라마 영상에서 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.According to the present invention, fine parts can be reproduced in a spherical panoramic image or the overall appearance can be reproduced by zooming in or out of a selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image. An object of the present invention is to provide a 360-degree 3D image playback system that can be reproduced.
본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템은, 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성하고, 캡쳐영상에 대응되는 타임 스탬프를 생성하며, 타임 스탬프가 태깅된 캡쳐영상을 송신하는 복수의 영상 캡쳐부; 복수의 영상 캡쳐부로부터 타임 스탬프가 태깅된 캡쳐영상을 수신하고, 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장하는 영상 변환부; 및 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생하는 사용자 단말기를 포함한다.A 360-degree 3D image reproducing system according to an embodiment of the present invention generates a captured image by capturing images from different viewpoints using a virtual camera, generates a time stamp corresponding to the captured image, and the time stamp is a plurality of image capture units for transmitting the tagged captured images; Receives a captured image tagged with a time stamp from a plurality of image capture units, renders a plurality of captured images corresponding to the same time stamp to a 6-direction cube texture, respectively, and converts a 6-direction cube image into a spherical panoramic image and an image conversion unit for storing; and a user terminal that reproduces the selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image when a specific spherical panoramic image is selected from among the spherical panoramic images.
여기서, 사용자 단말기가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생한다.Here, when the user terminal generates an angle change signal after selecting a specific spherical panoramic image, the spherical panoramic image of the changed angle and the two spherical panoramic images closest to the spherical panoramic image of the changed angle are reproduced.
또한, 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접한다.In addition, two spherical panoramic images adjacent to the selected spherical panoramic image are adjacent to the top and bottom or left and right of the selected spherical panoramic image.
또한, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능하다.In addition, the selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image can be zoomed in or zoomed out.
또한, 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된다.In addition, the changed angle is changed in the vertical direction or the left and right direction of the selected spherical panoramic image.
또한, 변화된 각도는 90도, 180도, 270도 또는 360도 중 어느 하나이다.In addition, the changed angle is any one of 90 degrees, 180 degrees, 270 degrees, or 360 degrees.
본 발명에 따르면, 사용자 단말기가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있다.According to the present invention, since the user terminal can select one spherical panoramic image and reproduce only three spherical panoramic images, image traffic can be reduced by 50% compared to when six spherical panoramic images are reproduced.
본 발명에 따르면, 사용자 단말기는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있다.According to the present invention, when the selected spherical panoramic image is not the desired image, the user terminal may reproduce the desired spherical panoramic image by generating an angle change.
본 발명에 따르면, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상의 줌 인(zoom in) 또는 줌 아웃(zoom out)을 통해 구형 파노라마 영상에서 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있다.According to the present invention, fine parts can be reproduced in a spherical panoramic image or the overall appearance can be reproduced by zooming in or out of a selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image. can play
도 1은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 개략도이다.
도 3은 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이다.
도 4는 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기에서 상방으로 90도 각도변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이다.
도 6은 본 발명의 일 실시예에 따른 선택된 좌측으로 180도 각도 변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 7은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생방법의 흐름도이다.1 is a block diagram of a 360-degree 3D image reproducing system according to an embodiment of the present invention.
2 is a schematic diagram illustrating a pixel of a six-way cube texture according to an embodiment of the present invention.
3 is a screen of a user terminal on which an upper image and a lower image are displayed together with a selected specific spherical panoramic image according to an embodiment of the present invention.
4 is a screen of a user terminal on which a left image and a right image are displayed together with a selected specific spherical panoramic image according to an embodiment of the present invention.
5 is a screen of a user terminal on which an upper image and a lower image are displayed together with a spherical panoramic image when a 90 degree angle change signal is generated upwardly in the user terminal according to an embodiment of the present invention.
6 is a screen of a user terminal on which a left image and a right image are displayed together with a spherical panoramic image when a 180 degree angle change signal is generated to the left selected according to an embodiment of the present invention.
7 is a flowchart of a 360-degree 3D image reproduction method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. Only the embodiments are provided so that the disclosure of the present invention is complete, and to completely inform those of ordinary skill in the art to which the present invention belongs, the scope of the invention, and the present invention will be defined by the scope of the claims. only
도 1은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템의 블록도이다.1 is a block diagram of a 360-degree 3D image reproducing system according to an embodiment of the present invention.
도 1을 참조하면, 360도 3차원 영상 재생시스템(1000)은, 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)를 포함할 수 있다. 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)는 데이터 입출력 인터페이스, 연산장치, 메모리 및 프로그램 저장소 등을 포함할 수 있다.Referring to FIG. 1 , the 360 degree 3D
여기서, 360도 3차원 영상 재생 시스템(1000)은 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)가 네트워크(network)를 통해 서로 연결될 수 있다.Here, in the 360 degree 3D
여기서, 네트워크라 함은 인터넷(internet) 등과 같은 유무선 통신망 또는 이들의 결합을 의미하며, 본 발명의 일 실시예에서는 네트워크는 특별한 제한이 없으며 종래의 인터넷이나 이동 통신망을 모두 포함하는 것으로 해석된다. Here, the term "network" means a wired or wireless communication network such as the Internet or a combination thereof, and in an embodiment of the present invention, the network is not particularly limited and is interpreted to include all of the conventional Internet and mobile communication networks.
예를 들어, 360도 3차원 영상 재생시스템(1000)은 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)가 네트워크(network)를 통해 인터넷망 또는 이동통신망 등과 같은 종래의 다양한 네트워크 조합에 의해 결합될 수 있으며, 이에 대해서는 특별한 제한이 없음을 유의해야 한다.For example, the 360 degree three-dimensional
복수의 영상 캡쳐부(100a, 100b, 100c)는 가상 카메라를 이용하여 정해진 시점의 영상을 캡쳐한다. 가상 카메라는 단일 시점에 대해 90도의 시야각(Field of View, FoV)을 갖는다. 본 발명의 일 실시예에서는 복수의 영상 캡쳐부(100a, 100b, 100c)를 편의상 제1 영상 캡쳐부(100a), 제2 영상 캡쳐부(100b), 제3 영상 캡쳐부(100c)로 예를 들었다.The plurality of
이때, 복수의 영상 캡쳐부(100a, 100b, 100c)는 하나 이상의 시점에 대한 영상을 캡쳐한다. 예를 들어, 복수의 영상 캡쳐부(100a, 100b, 100c)는 전방 영상 및 후방 영상을 캡쳐하거나 상방 영상 및 하방 영상을 캡쳐하거나 좌측 영상 및 우측 영상을 캡쳐할 수 있다.In this case, the plurality of
이렇게 각각의 영상 캡쳐부(100a, 100b, 100c)에서 서로 다른 시점으로 캡쳐한 영상은 서로 겹치지 않으면서 특정 위치에서 바라다 본 360도 전 방향을 커버하는 6방향을 포함한다.The images captured from different viewpoints in each of the
또한, 영상 캡쳐부(100a, 100b, 100c)는 가상 카메라를 이용하여 영상을 캡쳐할 때 각 캡쳐 영상에 대응하는 타임 스탬프를 생성하고, 타임 스탬프가 태깅된(tagging) 캡쳐 영상을 영상 변환부(200)로 송신한다.In addition, the
영상 변환부(200)는 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 수신한 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 렌더링하고(rendering), 6방향 큐브 영상을 구형 (spherical) 파노라마 영상으로 변환하여 사용자 단말기(300)에 제공한다.The
또한, 영상 변환부(200)는 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 복수의 캡쳐 영상을 수신하면 이를 타임 스탬프에 따라 시간순으로 정렬한다.In addition, when the
또한, 영상 변환부(200)는 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 방향의 면을 갖는 큐브(cube) 형태의 텍스쳐(texture)에 각각 렌더링하여 6방향 큐브 영상을 생성한다. 이때, 동일한 타임 스탬프에 대응되는 복수의 캡쳐 영상은 서로 다른 시점으로 캡쳐한 것으로서, 큐브의 6방향 면에 각각 대응된다. 여기서, 6방향 큐브 텍스쳐는 복수의 영상 캡쳐부(200)에 포함된 가상 카메라의 해상도에 대응되는 크기를 갖는다.In addition, the
사용자 단말기(300)는 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생한다. 여기서, 사용자는 사용자 단말기(300)에 설치된 애플리케이션 프로그램(application program)을 통해 사용자 단말기(300)의 버튼 조작 또는 화면 터치 등을 통해 특정 파노라마 영상을 선택하는 것이 가능하다.When selecting a specific spherical panoramic image from among the spherical panoramic images, the
이와 같이, 사용자 단말기(300)가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있다.As such, since the
사용자는 360도 3차원 영상 재생 어플리케이션(application)을 사용자 단말기(300)에 다운로드하여 설치함으로써, 360도 3차원 영상 재생 시스템(1000)을 이용할 수 있다. 사용자 단말기(300)는 360도 3차원 영상 재생 어플리케이션 실행을 통해 360도 3차원 영상 재생 시스템(1000)에 접속하여 360도 3차원 영상 재생 서비스를 제공받을 수 있다.The user can use the 360-degree 3D
사용자 단말기(300)가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생한다. 여기서, 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접한다. 만약, 사용자 단말기(300)가 각도변화신호를 발생시키지 않는다면 선택된 특정 구형 파노라마 영상이 끝날 때까지 재생된다.When the
이와 같이, 사용자 단말기(300)는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있다.As such, when the selected spherical panoramic image is not the desired image, the
한편, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능하기 때문에 구형 파노라마 영상을 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있다.On the other hand, since the selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image can be zoomed in or zoomed out, the spherical panoramic image can be reproduced in minute parts or the overall appearance can be reproduced. can
또한, 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된다. 이때, 변화된 각도는 90도, 180도, 270도, 360도 중 어느 하나일 수 있다.In addition, the changed angle is changed in the vertical direction or the left and right direction of the selected spherical panoramic image. In this case, the changed angle may be any one of 90 degrees, 180 degrees, 270 degrees, and 360 degrees.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 개략도이다.2 is a schematic diagram illustrating a pixel of a six-way cube texture according to an embodiment of the present invention.
도 2를 참조하면, 6방향 큐브 텍스쳐를 2차원 평면에 전개한 모습을 나타낸다. 6방향 큐브 텍스쳐는 전방 텍스쳐(a), 후방 텍스쳐(b), 상방 텍스쳐(c), 하방 텍스쳐(d), 좌측 텍스쳐(e), 우측 텍스쳐(f)를 포함한다. 각 방향의 텍스쳐(a, b, c, d, e, f)는 복수의 영상 캡쳐부(100a, 100b, 100c)가 구비한 가상 카메라의 해상도에 대응되는 픽셀(pixel)을 구비한다.Referring to FIG. 2 , a state in which a 6-directional cube texture is developed on a two-dimensional plane is shown. The six-way cube texture includes a front texture (a), a back texture (b), an upper texture (c), a lower texture (d), a left texture (e), and a right texture (f). The textures a, b, c, d, e, and f in each direction have pixels corresponding to the resolutions of the virtual cameras provided in the plurality of
도 2에서 각 사각형은 실제로 바둑판 배열과 같은 복수의 사각형(픽셀)으로 이루어진 것이나 편의상 생략하였다.In FIG. 2, each square is actually made up of a plurality of squares (pixels) like a checkerboard arrangement, but has been omitted for convenience.
도 3은 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이고, 도 4는 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.3 is a screen of a user terminal on which an upper image and a lower image are displayed together with a selected specific spherical panoramic image according to an embodiment of the present invention, and FIG. 4 is a selected specific spherical panoramic image together with a selected specific spherical panoramic image according to an embodiment of the present invention. It is a screen of the user terminal on which the left image and the right image are displayed.
도 3 및 도 4를 참조하면, 사용자 단말기의 화면에는 3개의 화면이 디스플레이되었음을 알 수 있다.3 and 4 , it can be seen that three screens are displayed on the screen of the user terminal.
사용자 단말기가 전방 텍스쳐(a)를 선택할 때 상방 영상 및 하방 영상이 함께 디스플레이되도록 설정되어 있다면, 도 3에 도시된 바와 같이 전방 텍스쳐(a), 상방 텍스쳐(c), 하방 텍스쳐(d)가 사용자 단말기의 화면에 디스플레이된다.If the upper image and the lower image are set to be displayed together when the user terminal selects the front texture (a), the front texture (a), the upper texture (c), and the lower texture (d) are displayed by the user as shown in FIG. 3 . displayed on the screen of the terminal.
사용자 단말기가 전방 텍스쳐(a)를 선택할 때 좌측 영상 및 우측 영상이 함께 디스플레이되도록 설정되어 있다면, 도 4에 도시된 바와 같이 전방 텍스쳐(a), 좌측 텍스쳐(e), 우측 텍스쳐(f)가 사용자 단말기의 화면에 디스플레이된다.If the left image and the right image are set to be displayed together when the user terminal selects the front texture (a), the front texture (a), the left texture (e), and the right texture (f) are displayed by the user as shown in FIG. 4 . displayed on the screen of the terminal.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기에서 상방으로 90도 각도변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이고, 도 6은 본 발명의 일 실시예에 따른 선택된 좌측으로 180도 각도 변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.5 is a screen of a user terminal on which an upper image and a lower image are displayed together with a spherical panoramic image when a 90 degree angle change signal is generated upwardly in the user terminal according to an embodiment of the present invention, and FIG. 6 is the present invention. It is a screen of a user terminal on which a left image and a right image are displayed together with a spherical panoramic image when a 180 degree angle change signal is generated to the left selected according to an embodiment of the .
도 5 및 도 6을 참조하면, 사용자 단말기의 화면에는 3개의 화면이 디스플레이되었음을 알 수 있다.5 and 6 , it can be seen that three screens are displayed on the screen of the user terminal.
사용자 단말기가 전방 텍스쳐(a)에서 상방으로 90도 각도변화신호를 발생시켰을 때 상방 영상 및 하방 영상이 함께 디스플레이되도록 설정되어 있다면, 도 5에 도시된 바와 같이 상방 텍스쳐(c), 후방 텍스쳐(b), 전방 텍스쳐(a)가 사용자 단말기의 화면에 디스플레이된다.If the upper image and the lower image are set to be displayed together when the user terminal generates a 90 degree angle change signal upward in the front texture (a), as shown in FIG. 5, the upper texture (c) and the rear texture (b) ), the front texture (a) is displayed on the screen of the user terminal.
사용자 단말기가 전방 텍스쳐(a)에서 좌측으로 180도 각도 변화신호를 발생시켰을 때 좌측 영상 및 우측 영상이 함께 디스플레이되도록 설정되어 있다면, 도 6에 도시된 바와 같이 후방 텍스쳐(b), 좌측 텍스쳐(e), 우측 텍스쳐(f)가 사용자 단말기의 화면에 디스플레이된다.If the user terminal is set to display the left image and the right image together when the user terminal generates a 180 degree angle change signal from the front texture (a) to the left, as shown in FIG. 6 , the rear texture (b) and the left texture (e) ), the right texture (f) is displayed on the screen of the user terminal.
도 3 내지 도 6에서 살펴본 사용자 단말기의 화면에 디스플레이되는 영상의 배치위치는 특별한 제한이 없다. 즉, 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이될 때, 또는 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이될 때 사용자 단말기의 화면에 디스플레이되는 영상의 배치위치는 설정된 바에 따라 달라질 수 있다.The arrangement position of the image displayed on the screen of the user terminal as seen in FIGS. 3 to 6 is not particularly limited. That is, when the upper image and the lower image are displayed together with the specific spherical panoramic image, or when the left image and the right image are displayed together with the specific spherical panoramic image, the arrangement position of the image displayed on the screen of the user terminal may vary depending on the set bar. can
도 7은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생방법의 흐름도이다.7 is a flowchart of a 360-degree 3D image reproducing method according to an embodiment of the present invention.
도 1 및 도 7을 참조하면, 360도 3차원 영상 재생방법은 S100 내지 S800을 포함할 수 있다. S100 내지 S800과 관련한 상세한 설명은 전술한 도 1 내지 도 6과 관련한 설명을 참조하기로 한다.1 and 7 , the 360 degree 3D image reproducing method may include steps S100 to S800. For a detailed description related to S100 to S800, reference will be made to the description related to FIGS. 1 to 6 described above.
먼저, 복수의 영상 캡쳐부(100a, 100b, 100c)가 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성한다(S100).First, the plurality of
S100 이후, 복수의 영상 캡쳐부(100a, 100b, 100c)가 캡쳐영상에 대응되는 타임 스탬프를 생성한 후(S200), 타임 스탬프가 태깅된 캡쳐영상을 송신한다(S300).After S100, the plurality of
S300 이후, 영상 변환부(200)가 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 타임 스탬프가 태깅된 캡쳐영상을 수신한다(S400).After S300, the
S400 이후, 영상 변환부(200)가 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링한 후(S500), 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장한다(S600).After S400, the
S600 이후, 사용자 단말기(300)가 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때(S700), 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생한다(S800).After S600, when the
전술한 본 발명의 실시예들은 이해를 돕기 위하여 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 의해 정해져야 할 것이다.Although the above-described embodiments of the present invention have been described with reference to the embodiments shown in the drawings for better understanding, these are merely exemplary, and those of ordinary skill in the art may make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Accordingly, the true technical protection scope of the present invention should be defined by the appended claims.
100a : 제1 영상 캡쳐부 100b : 제2 영상 캡쳐부
100c : 제3 영상 캡쳐부 200 : 영상 변환부
300 : 사용자 단말기 1000 : 360도 3차원 영상 재생시스템100a: first
100c: third image capture unit 200: image conversion unit
300: user terminal 1000: 360 degree three-dimensional image playback system
Claims (6)
상기 복수의 영상 캡쳐부로부터 상기 타임 스탬프가 태깅된 상기 캡쳐영상을 수신하고, 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장하는 영상 변환부; 및
상기 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생하는 사용자 단말기
를 포함하는 것을 특징으로 하는 360도 3차원 영상 재생시스템.
a plurality of image capture units for generating a captured image by capturing images of different viewpoints using a virtual camera, generating a time stamp corresponding to the captured image, and transmitting the captured image tagged with the time stamp;
Receives the captured image tagged with the time stamp from the plurality of image capture units, renders a plurality of captured images corresponding to the same time stamp on a 6-direction cube texture, respectively, and converts the 6-direction cube image into a spherical panorama an image conversion unit for converting and storing an image; and
When a specific spherical panoramic image is selected from among the spherical panoramic images, the user terminal reproduces the selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image
360 degree three-dimensional image playback system comprising a.
상기 사용자 단말기가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생하는 것을 특징으로 하는 360도 3차원 영상 재생시스템.According to claim 1,
360 degree 3D, characterized in that when the user terminal selects a specific spherical panoramic image and generates an angle change signal, the spherical panoramic image of the changed angle and the two spherical panoramic images closest to the spherical panoramic image of the changed angle are reproduced video playback system.
상기 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 상기 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접한 것을 특징으로 하는 360도 3차원 영상 재생시스템.
3. The method of claim 1 or 2,
Two spherical panoramic images adjacent to the selected spherical panoramic image are 360-degree three-dimensional image reproducing system, characterized in that adjacent to the top and bottom or left and right of the selected spherical panoramic image.
상기 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능한 것을 특징으로 하는 360도 3차원 영상 재생시스템.
According to claim 1,
The selected spherical panoramic image and two spherical panoramic images adjacent to the selected spherical panoramic image can be zoomed in or zoomed out.
상기 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된 것을 특징으로 하는 360도 3차원 영상 재생시스템.
3. The method of claim 2,
The changed angle is a 360 degree three-dimensional image reproduction system, characterized in that the change in the vertical direction or the left and right direction of the selected spherical panoramic image.
상기 변화된 각도는 90도, 180도, 270도 또는 360도 중 어느 하나인 것을 특징으로 하는 360도 3차원 영상 재생시스템.6. The method of claim 5,
The changed angle is a 360 degree three-dimensional image reproduction system, characterized in that any one of 90 degrees, 180 degrees, 270 degrees or 360 degrees.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190153099A KR102261242B1 (en) | 2019-11-26 | 2019-11-26 | System for playing three dimension image of 360 degrees |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190153099A KR102261242B1 (en) | 2019-11-26 | 2019-11-26 | System for playing three dimension image of 360 degrees |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210064654A true KR20210064654A (en) | 2021-06-03 |
KR102261242B1 KR102261242B1 (en) | 2021-06-07 |
Family
ID=76374742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190153099A KR102261242B1 (en) | 2019-11-26 | 2019-11-26 | System for playing three dimension image of 360 degrees |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102261242B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230103253A (en) * | 2021-12-31 | 2023-07-07 | 주식회사 카이 | System operating method for transfering multiview video and system of thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150011705A (en) * | 2013-07-23 | 2015-02-02 | 엘지전자 주식회사 | Mobile terminal and panorama capturing method thereof |
KR20180005234A (en) * | 2015-05-12 | 2018-01-15 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Composite variable video streaming |
KR20190011224A (en) | 2017-07-24 | 2019-02-01 | 한국전자통신연구원 | METHOD AND APPARATUS FOR ACQUISITION AND REPRESENTATION OF 6DoF 360 VR VIDEO |
KR20190059711A (en) * | 2017-11-23 | 2019-05-31 | 전자부품연구원 | 360 VR image acquisition system and method using distributed virtual camera |
-
2019
- 2019-11-26 KR KR1020190153099A patent/KR102261242B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150011705A (en) * | 2013-07-23 | 2015-02-02 | 엘지전자 주식회사 | Mobile terminal and panorama capturing method thereof |
KR20180005234A (en) * | 2015-05-12 | 2018-01-15 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Composite variable video streaming |
KR20190011224A (en) | 2017-07-24 | 2019-02-01 | 한국전자통신연구원 | METHOD AND APPARATUS FOR ACQUISITION AND REPRESENTATION OF 6DoF 360 VR VIDEO |
KR20190059711A (en) * | 2017-11-23 | 2019-05-31 | 전자부품연구원 | 360 VR image acquisition system and method using distributed virtual camera |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230103253A (en) * | 2021-12-31 | 2023-07-07 | 주식회사 카이 | System operating method for transfering multiview video and system of thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102261242B1 (en) | 2021-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10880522B2 (en) | Hybrid media viewing application including a region of interest within a wide field of view | |
JP6756269B2 (en) | Communication terminals, image communication systems, communication methods, and programs | |
US11037365B2 (en) | Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data | |
JP7135141B2 (en) | Information processing system, information processing method, and information processing program | |
JP6309749B2 (en) | Image data reproducing apparatus and image data generating apparatus | |
JP2023129649A (en) | Communication management system, communication system, communication management method and program | |
JP2018129716A (en) | Image processing device, image processing system, image processing metho, and program | |
KR101037797B1 (en) | Multiviewer system Showing Videos on 3D Virtual Monitors in a 3D Virtual Graphic video wall realizing Virtual Video Wall supporting unlimited number inputs of either Analog or Digital, IP videos | |
JP2016025633A (en) | Information processing apparatus, management device, information processing method, and program | |
US11055917B2 (en) | Methods and systems for generating a customized view of a real-world scene | |
JP2019118026A (en) | Information processing device, information processing method, and program | |
KR101830786B1 (en) | Apparatus for generating script, apparatus for playing video, and method for controlling screen relating to video based on 360 degree | |
KR20200064998A (en) | Playback apparatus and method, and generating apparatus and method | |
KR100901111B1 (en) | Live-Image Providing System Using Contents of 3D Virtual Space | |
CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
JP2008510357A (en) | Image encoding method, encoding device, image decoding method, and decoding device | |
KR102261242B1 (en) | System for playing three dimension image of 360 degrees | |
US20240089603A1 (en) | Communication terminal, image communication system, and method of displaying image | |
WO2019004073A1 (en) | Image placement determination device, display control device, image placement determination method, display control method, and program | |
JP7017045B2 (en) | Communication terminal, display method, and program | |
Nielsen | High resolution full spherical videos | |
CN115039410B (en) | Information processing system, information processing method, and program | |
JP7319340B2 (en) | Distribution server, distribution method and program | |
Sun et al. | Combining 360◦ video and camera mapping for virtual reality: an innovative solution | |
JP6992338B2 (en) | Communication system, communication management method, program, system and communication method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |