KR102048381B1 - Method And System for Rendering for Binocular Disparity Image - Google Patents
Method And System for Rendering for Binocular Disparity Image Download PDFInfo
- Publication number
- KR102048381B1 KR102048381B1 KR1020180044021A KR20180044021A KR102048381B1 KR 102048381 B1 KR102048381 B1 KR 102048381B1 KR 1020180044021 A KR1020180044021 A KR 1020180044021A KR 20180044021 A KR20180044021 A KR 20180044021A KR 102048381 B1 KR102048381 B1 KR 102048381B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- right eye
- left eye
- distance
- spherical image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 개시한다.
본 실시예는 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있도록 하는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 제공한다.Disclosed are a method and system for rendering a binocular disparity image for each view for object synthesis in a three-dimensional stereoscopic image.
In the present embodiment, when generating a 360˚ stereoscopic image, the distance between the camera and the object having various visual differences is packaged separately according to viewpoints, so that when the player renders the image, Provided are a method and a system for rendering a binocular parallax image for each point of view for object synthesis in a three-dimensional stereoscopic image, which can solve heterogeneity between a stereoscopic image and an additionally inserted object by applying binocular disparity differently.
Description
본 실시예는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템에 관한 것이다.This embodiment relates to a method and system for rendering a binocular parallax image for each view for object synthesis in a three-dimensional stereoscopic image.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to this embodiment and do not constitute a prior art.
1990년대 중반 이후 평면적인 영상 정보에 깊이 정보를 더하여 실생활에서와 같은 느낄 수 있는 스테레오스코픽(Stereoscopic) 디스플레이 시스템이 주목을 받았다. 스테레오스코픽 기술은 3DTV(3 Dimension Television), 입체 영상(Stereoscopic Vision), 게임, 3차원 애니메이션, 입체 영상 영화 등 영상 산업 전반에 걸쳐 빠르게 발전하고 있다.Since the mid-1990s, stereoscopic display systems, which have added depth information to flat image information, can be felt as in real life. Stereoscopic technology is rapidly evolving throughout the video industry, including 3D Television, Stereoscopic Vision, Gaming, 3D Animation, and 3D Film.
스테레오스코픽 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라가 동일한 피사체를 촬영하여 각각 획득한 한 쌍의 좌영상과 우영상으로 이루어진다. 스테레오스코픽 영상은 피사체에 대한 입체감을 LCD(Liquid Crystal Display) 또는 PDP(Plasma Display Panel) 등과 같은 평면 디스플레이 장치에 구현된다.The stereoscopic image is composed of a pair of left and right images obtained by photographing the same subject by the left camera and the right camera, which are spaced apart by a certain distance. The stereoscopic image is implemented in a flat display device such as an LCD (Liquid Crystal Display) or a plasma display panel (PDP).
최근 들어 3차원 영상들이 다양한 영상 매체에서 많이 활용됨에 따라 3차원 영상에 다른 3차원 영상 또는 그래픽을 합성하기 위한 기술의 필요성이 증가하고 있는 추세이다.Recently, as 3D images are widely used in various image media, there is a growing need for a technology for synthesizing different 3D images or graphics into 3D images.
스테레오스코픽 영상 재생 시 가까운 거리일수록 물체에 대한 양안 시점이 다르게 출력된다. 이때, 3D 객체를 스테레오스코픽 영상 내에 배치하면 영상의 물체와 3D 객체 간 양안 시점이 다르게 되어 3D 객체가 2개로 보이는 현상이 발생한다.When the stereoscopic image is played, the closer the distance is, the different the binocular viewpoint of the object is output. At this time, when the 3D object is placed in the stereoscopic image, a phenomenon in which both eyes of the image and the 3D object are different from each other may cause two 3D objects to appear.
스테레오스코픽 영상은 좌안 영상과 구안 영상이 동일한 양안 시차를 가지지 않는다. 스테레오스코픽 영상은 매순간, 바라보는 영역에 따라 카메라와 물체 간 거리가 달라지며 이에 따른 양안 시차 또한 달라지게 되는 문제가 있다.In stereoscopic images, the left eye image and the old eye image do not have the same binocular disparity. The stereoscopic image has a problem that the distance between the camera and the object varies depending on the viewing area at every moment, and the binocular disparity is also changed accordingly.
본 실시예는 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있도록 하는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 제공하는 데 목적이 있다.In the present embodiment, when generating a 360˚ stereoscopic image, the distance between the camera and the object having various visual differences is packaged separately according to viewpoints, so that when the player renders the image, It is an object of the present invention to provide a method and system for rendering a perspective binocular disparity image for object synthesis in a three-dimensional stereoscopic image that can resolve heterogeneity between a stereoscopic image and an additionally inserted object by differently applying binocular disparity.
본 실시예의 일 측면에 의하면, 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 영상 촬영 장치; 상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및 상기 360° VR 컨텐츠를 언패키징하여 재생하는 영상 재생 장치를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템을 제공한다.According to an aspect of the present embodiment, the image capture device for generating a 360 ° left eye image and 360 ° right eye image by taking an image at 360 °; The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selects and extracts distance data corresponding to the representative object, generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writes a metadata about a location and a time at which the 3D object is to be inserted An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And an image reproducing apparatus for unpackaging and playing the 360 ° VR content.
본 실시예의 다른 측면에 의하면, 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 과정; 상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하는 과정; 상기 대표 객체에 대응하는 거리 데이터를 추출하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하는 과정; 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정; 및 상기 360° VR 컨텐츠를 언패키징하여 재생하는 과정을 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 방법을 제공한다.According to another aspect of the embodiment, the process of generating a 360 ° left eye image and 360 ° right eye image by taking an image at 360 °; Generating a left eye sphere image and a right eye spherical image by stitching the 360 ° left eye image and the 360 ° right eye image, respectively; Selecting a representative object in the left eye spherical image and the right eye spherical image; Extracting distance data corresponding to the representative object; Generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image; Generating authoring metadata about a location and a time at which the 3D object is to be inserted; Generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image; And unpackaging and playing the 360 ° VR content.
이상에서 설명한 바와 같이 본 실시예에 의하면, 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있는 효과가 있다.As described above, according to the present embodiment, when generating a 360 ° stereoscopic image, the distance between the camera and the object having various visual differences is separately packaged by metadata for each view, so that the user renders the image in the player. By applying binocular parallax of the object differently depending on the viewpoint, the heterogeneity between the stereoscopic image and the additionally inserted object can be solved.
본 실시예에 의하면, 플레이어에서 영상(배경) 및 객체를 재생할 때, 관찰자가 객체를 바라보는 시점에서 인지부조화가 생기지 않도록 하는 효과가 있다. 다시 말해, 플레이어에서 360˚ 스테레오스코픽 영상를 재생할 때, 메타데이터에 기 저장되어 있는 양안 시차에 따른 오프셋값을 추출하여 추가로 삽입된 객체에 반영하므로 양안 시차에 따른 인지부조화가 생기지 않도록 하는 효과가 있다. According to the present embodiment, when playing a video (background) and an object in a player, there is an effect that cognitive dissonance does not occur when the viewer looks at the object. In other words, when playing a 360˚ stereoscopic video in the player, the offset value according to binocular disparity pre-stored in metadata is extracted and reflected on the inserted object, thereby preventing cognitive dissonance due to binocular disparity. .
도 1은 본 실시예에 따른 양안 시차 렌더링 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 양안 시차 렌더링 시스템에 포함되는 각 구성요소의 동작을 나타낸 도면이다.
도 3은 본 실시예에 따른 영상 촬영 장치의 동작 방법을 설명하기 위한 순서도이다.
도 4a,4b는 본 실시예에 따른 영상 촬영 장치의 촬영 방법의 예시를 나타낸 도면이다.
도 5는 본 실시예에 따른 영상 저작 장치의 동작 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 영상 재생 장치의 동작 방법을 설명하기 위한 순서도이다.
도 7은 본 실시예에 따른 삼차원 스테레오스코픽 영상 내의 객체 합성 예시를 나타낸 도면이다.1 is a block diagram schematically illustrating a binocular parallax rendering system according to the present embodiment.
2 is a diagram illustrating the operation of each component included in the binocular parallax rendering system according to the present embodiment.
3 is a flowchart illustrating a method of operating an image capturing apparatus according to an exemplary embodiment.
4A and 4B are diagrams illustrating an example of a photographing method of an image photographing apparatus according to the present embodiment.
5 is a flowchart illustrating an operation method of an image authoring apparatus according to an exemplary embodiment.
6 is a flowchart for explaining a method of operating an image reproducing apparatus according to the present embodiment.
7 illustrates an example of object synthesis in a three-dimensional stereoscopic image according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 양안 시차 렌더링 시스템을 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically illustrating a binocular parallax rendering system according to the present embodiment.
본 실시예에 따른 양안 시차 렌더링 시스템은 영상 촬영 장치(110), 영상 저작 장치(120), 영상 재생 장치(130)를 포함한다. 양안 시차 렌더링 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The binocular parallax rendering system according to the present embodiment includes an
영상 촬영 장치(110)는 영상 및 하나 이상의 이미지를 촬영한다. 영상 촬영 장치(110)는 360°로 촬영 장소를 촬영한다. The
영상 촬영 장치(110)는 NPP(No Parallax Point)를 회전축과 일치시켜 영상 또는 이미지를 촬영한다. NPP는 무시차를 형상하는 영상 촬영 장치(110) 내 렌즈의 X, Y, Z축의 중심점을 의미한다. 영상 촬영 장치(110)는 NPP를 회전축에 일치시킴으로써, 시차 없는 하나 이상의 이미지 또는 영상을 촬영한다. 영상 촬영 장치(110)는 360°를 회전하며 영상 또는 이미지를 촬영한다.The
영상 촬영 장치(110)는 360°를 회전하며 촬영함에 있어, 배경이나 움직임이 없는 사물과 같이, 시간이 지나더라도 변화가 없는 부분은 이미지로 촬영을 하고, 움직임이 있는 사물이나 사람과 같이 시간이 지남에 따라 변화하는 객체는 영상으로 촬영한다. When the
영상 촬영 장치(110)는 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 촬영 장소의 분할된 각 구간 내에 존재하는 대표 객체를 선정하고, 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터로 저장한다.The
영상 촬영 장치(110)는 거리 데이터 수집부(112)를 포함한다.The
영상 촬영 장치(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the
거리 데이터 수집부(112)는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.The
거리 데이터 수집부(112)는 촬영 장소 내에 존재하는 객체들을 기준으로 표시된 부호, 마커 또는 포인터들에 대한 거리 정보를 수집하거나, 객체와 무관하게 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들에 대한 거리 정보를 수집하여 촬영 메타데이터로 저장한다.The distance
거리 데이터 수집부(112)는 영상 촬영 장치(110)에 센서(예컨대, 라이다)가 구비된 경우, 카메라를 이용하여 촬영 장소를 촬영할 때, 센서를 이용하여 촬영 장소 내에 존재하는 객체들의 거리를 수집하여 촬영 메타데이터로 저장한다.When the
거리 데이터 수집부(112)는 촬영 장소 내에 객체들이 미존재하더라도 합성할 객체의 위치를 확인하기 위해 부호, 마커 또는 포인터들의 기 설정된 미터 단위로 수집하여 촬영 메타데이터로 저장한다.The distance
영상 저작 장치(120)는 영상 촬영 장치(110)로부터 360° 좌안 영상 및 360° 우안 영상을 수신한다. 영상 저작 장치(120)는 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성한다.The
영상 저작 장치(120)는 영상 촬영 장치(110)로부터 촬영 메타데이터를 수신한다. 영상 저작 장치(120)는 촬영 메타데이터로부터 좌안 구형상 영상과 우안 구형상 영상에 대한 좌안 카메라, 우안 카메라와의 카메라 간 거리 정보, 카메라와 촬영장소까지의 거리 정보를 추출한다. The
영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상을 기반으로 추가로 삽입될 3D 객체(예컨대, 자막, CG: Computer Graphic)를 배치한다. 영상 저작 장치(120)는 추가로 삽입될 3D 객체(예컨대, 자막, CG)를 배치할 때 관찰자의 시점을 기준으로 객체를 바라볼 수 있는 후보 각도를 산출한다. 영상 저작 장치(120)는 후보 각도 별로 양안 시차를 보정할 수 있는 오프셋값을 생성하여 저작 메타데이터로서 같이 저장한다.The
영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체(예컨대, 자막, CG)를 패키징하여 영상 재생 장치(130)로 전송한다.The image authoring
영상 저작 장치(120)는 스테레오스코픽 3D기법으로 촬영된 360˚ VR 컨텐츠에 추가로 삽입한 3D 객체가 함께 출력될 때 양안 시차에 따라 상호작용할 수 있는 오프셋값을 생성하여 저작 메타데이터에 저장한다.The
360˚ VR 컨텐츠에서 추가로 삽입될 3D 객체는 스테레오스코픽 3D 영상의 전면에 위치하게 된다. 3D 객체는 영상의 양안 시차보다 항상 커야 한다. 하지만, 3D 객체가 영상보다 너무 큰 시차를 제공하면 어지러움이 발생할 수 있으며 이는 바라보는 영역의 영상을 맞춰서 시차를 제공해야 한다. 일반적인 스테레오스코픽 3D 영상에서는 전화면에 대하여 일관적인 시차값이 존재하나, 360˚ 스테레오스코픽 3D 영상에서는 바라보는 시점에 따라서 차등화된 시차값이 존재한다.Additional 3D objects to be inserted in the 360˚ VR content are located in front of the stereoscopic 3D image. The 3D object should always be larger than the binocular parallax of the image. However, if the 3D object provides a parallax that is too large than the image, dizziness may occur, which must be provided by matching the image of the viewing area. In general stereoscopic 3D image, there is a consistent parallax value with respect to the full screen, but in 360 ° stereoscopic 3D image, there is a differential parallax value depending on the viewing point.
영상 저작 장치(120)는 바라보는 영역마다 다른 거리감을 저작 메타데이터로 저장하고, 저작 메타데이터를 이용하여 효율적으로 양안 시차를 고려한 3D 객체를 합성 배치함으로서 시청자의 어지러움을 해소할 수 있다.The
영상 저작 장치(120)는 360° VR 컨텐츠 제작 시 360˚로 촬영된 스테레오스코픽 3D 영상 내에 객체의 양안 시차를 저작 메타데이터로 별도로 저장하여, 스테레오스코픽 3D 영상 내에 3D 객체를 배치했을 때 시차로 인해 발생하는 문제를 해소할 수 있다.The
영상 저작 장치(120)에서 일반적으로 실시간으로 영상 내의 추가로 객체를 합성할 때 시차가 발생하는 부분을 해결함으로써, 360˚ 스테레오스코픽 3D 영상 내의 실시간으로 3D 객체를 추가로 삽입하는 합성 기술을 제공한다. 영상 저작 장치(120)는 스테레오스코픽 3D 영상 합성을 다양한 분야에 적용하여 다양한 컨텐츠를 저작할 수 있다.The
일반적인 양안시차 보정 방법은 평면 영상에 대한 동일한 값을 반영하는 방식이나, 본 실시예에 따른 영상 저작 장치(120)는 360˚ VR 컨텐츠를 재생할 때 관찰자가 바라보는 각도에 따라 다르게 양안 시차에 대한 값을 적용한다. 일반적으로 360˚ VR 컨텐츠 내에서 일반적인 평면 영상과 같이 동일한 값을 적용하더라도 하나의 시야각(컨텐츠를 바라보는 각도)으로 양안 시차가 해결되지 않는다. 따라서, 본 실시예에 따른 영상 저작 장치(120)는 360˚ VR 영상 저작시 관찰차가 컨텐츠를 바라보는 각도 별로 오프셋값을 생성하여 저작 메타데이터와 함께 패키징한다.A general method for correcting binocular disparity reflects the same value for a planar image, but the
영상 저작 장치(120)는 영상 저작 툴(122)을 포함한다.The
영상 저작 툴(122)은 영상 촬영 장치(110)로부터 수신된 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 툴(122)은 대표 객체에 대응하는 거리 데이터를 추출한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. The
영상 저작 툴(122)은 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 영상 재생 장치(130)로 전송한다.The
영상 재생 장치(130)는 HMD(Head Mounted Display)인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The
영상 재생 장치(130)는 영상 저작 장치(120)로부터 360° VR 컨텐츠를 수신한다. 영상 재생 장치(130)는 360° VR 컨텐츠를 언패키징하여 재생한다. 영상 재생 장치(130)는 양안에 출력되는 3D 객체의 위치값을 조정하여 거리감을 제공한다.The
영상 재생 장치(130)는 영상 저작 장치(120)에서 별도로 패키징한 저작 메타데이터에 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 기반으로 좌안 구형상 영상, 우안 구형상 영상을 각각 재생시 추가로 삽입되는 3D 객체의 배치 위치를 조정할 수 있다.The
영상 재생 장치(130)는 VR 플레이어(132)를 포함한다. VR 플레이어(132)는 영상 재생부(134), 3D 렌더링부(136)를 포함한다.The
VR 플레이어(132)는 영상(배경)을 기반으로 객체 또는 컨텐츠(예컨대, 자막)를 배치할 때, 저작 메타데이터에 적용된 오프셋값을 적용한다.The
3D 렌더링부(136)는 스테레오스코픽 3D기법으로 제작된 360˚ 동영상과 3D 객체 동시 출력하는 과정에서 스테레오스코픽 3D기법으로 촬영된 360˚ VR 동영상에 3D 객체를 함께 출력한다.The
도 2는 본 실시예에 따른 양안 시차 렌더링 시스템에 포함되는 각 구성요소의 동작을 나타낸 도면이다.2 is a diagram illustrating the operation of each component included in the binocular parallax rendering system according to the present embodiment.
본 실시예에 따른 영상 촬영 장치(110)는 거리 데이터 수집부(112)를 포함한다.The
영상 촬영 장치(110)는 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 NPP를 고려하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.The
영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 360˚좌안 영상, 360˚우안 영상 각각을 관찰자(촬영자)의 시야각을 기준으로 기 설정된 구간으로 분할한다. 영상 촬영 장치(110)는 분할된 각 구간 내에 존재하는 대표 객체를 선정한다.When the
영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장한다.The distance
영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 기 설정된 미터 단위를 촬영 메타데이터에 저장한다.When the
영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 센싱한다. 영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 센싱된 대표 객체별 거리 정보를 촬영 메타데이터에 저장한다.When the
본 실시예에 따른 영상 저작 장치(120)는 영상 저작 툴(122)을 포함한다. 영상 저작이란 제작된 영상을 편집/개작하는 개념을 의미한다.The
영상 저작 툴(122)은 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭하여 좌안 구형상 영상과 우안 구형상 영상을 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 툴(122)은 대표 객체에 대응하는 거리 데이터를 추출한다.The
영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. 영상 저작 툴(122)은 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체를 패키징한 360° VR 컨텐츠를 생성한다.The
영상 저작 툴(122)은 영상 촬영 장치(110)로부터 수신된 촬영 메타데이터로부터 카메라와 대표 객체 각각까지의 거리 데이터를 추출한다. 영상 저작 툴(122)은 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자의 시야각을 기준으로 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The
영상 저작 툴(122)은 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체마다 추가로 삽입될 3D 객체에 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The
본 실시예에 따른 VR 플레이어(132)는 영상 재생부(134), 3D 렌더링부(136)를 포함한다.The
VR 플레이어(132)의 영상 재생부(134)는 360° VR 컨텐츠를 언패키징하여 재생한다. The
VR 플레이어(132) 내의 3D 렌더링부(136)는 360° VR 컨텐츠를 수신하여, 360° VR 컨텐츠 내 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 분리한다. VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 저작 메타데이터에 대응하는 영역에 3D 객체 영상을 오버레이되도록 제어한다.The
VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차가 보정되도록 처리한다.When the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, the
VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차를 보정되도록 거리 데이터를 기준으로 3D 객체 영상의 출력 위치를 조정되도록 렌더링한다.When the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, the
VR 플레이어(132) 내의 3D 렌더링부(136)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 좁혀지도록 조정한다.The
VR 플레이어(132) 내의 3D 렌더링부(136)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 멀어지도록 조정한다.The
VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성한다. VR 플레이어(132) 내의 3D 렌더링부(136)는 캔버스 레이어 상에 3D 객체가 출력되도록 한다.The
VR 플레이어(132) 내의 영상 재생부(134)는 좌안 구형상 영상, 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 한다.The
VR 플레이어(132) 내의 영상 재생부(134)는 거리 데이터에 따라 사운드 출력(데시벨)이 조절되도록 하며, 시야각에 따라 사운드 채널이 변경되도록 조정한다.The
도 3은 본 실시예에 따른 영상 촬영 장치의 동작 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of operating an image capturing apparatus according to an exemplary embodiment.
영상 촬영 장치(110)는 360˚로 영상을 촬영하여 360˚좌안 영상, 360˚우안 영상을 각각 생성한다(S310).The
영상 촬영 장치(110)는 360˚좌안 영상, 360˚우안 영상 각각을 촬영자의 시야각을 기준으로 기 설정된 구간(영역)으로 분할한다(S320). 단계 S320에서, 영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 360˚좌안 영상, 360˚우안 영상 각각을 관찰자(촬영자)의 시야각을 기준으로 기 설정된 구간으로 분할한다.The
영상 촬영 장치(110)는 분할된 각 구간(영역) 내에서 대표 객체를 선별한다. 영상 촬영 장치(110)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집(센싱 또는 거리 입력)하여 촬영 메타데이터로 저장한다(S330).The
단계 S330에서, 영상 촬영 장치(110)는 분할된 각 구간 내에 존재하는 대표 객체를 선정한다. 영상 촬영 장치(110)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장한다.In operation S330, the
영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 기 설정된 미터 단위를 촬영 메타데이터에 저장한다.When the
영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 센싱한다. 영상 촬영 장치(110)는 센싱된 대표 객체별 거리 정보를 촬영 메타데이터에 저장한다.When the
영상 촬영 장치(110)는 360˚좌안 영상, 360˚우안 영상 및 촬영 메타데이터를 영상 저작 장치(120) 내의 영상 저작 툴(122)로 전송한다(S340).The
도 3에서는 단계 S310 내지 단계 S340을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, steps S310 to S340 are described as being sequentially executed, but are not necessarily limited thereto. In other words, since the steps described in FIG. 3 may be applied by changing or executing one or more steps in parallel, FIG. 3 is not limited to the time series order.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 영상 촬영 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 촬영 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the image capturing apparatus according to the present embodiment described in FIG. 3 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing an operating method of an image capturing apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.
도 4a,4b는 본 실시예에 따른 영상 촬영 장치의 촬영 방법의 예시를 나타낸 도면이다.4A and 4B are diagrams illustrating an example of a photographing method of an image photographing apparatus according to the present embodiment.
도 4a에 도시된 바와 같이, 영상 촬영 장치(110)는 360˚ 카메라를 이용하여 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.As shown in FIG. 4A, the
영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상을 생성할 때, 카메라를 기준으로 촬영 장소의 바닥에 거리를 측정할 수 있는 위치들이 미리 표시된 부호(마커)을 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.When the
다시 말해, 영상 촬영 장치(110)는 촬영하는 카메라를 중심(기준)으로 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터들을 배경과 함께 촬영한다.In other words, the
영상 촬영 장치(110)는 촬영 장소 내에 존재하는 객체들을 기준으로 표시된 부호, 마커 또는 포인터들을 함께 촬영하거나, 객체와 무관하게 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들을 함께 촬영할 수 있다.The
영상 촬영 장치(110)가 센서(예컨대, 라이다)를 구비한 경우, 카메라를 이용하여 촬영 장소를 촬영할 때, 센서를 이용하여 촬영 장소 내에 존재하는 객체들의 거리를 측정하여 360° 좌안 영상 및 360° 우안 영상과 함께 저장할 수 있다.When the
영상 촬영 장치(110)는 촬영 장소 내에 객체들이 미존재하더라도 합성할 객체의 위치를 확인하기 위해 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들을 360° 좌안 영상 및 360° 우안 영상과 함께 저장할 수 있다.The
도 4a에 도시된 바와 같이, 영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상을 촬영할 때, 촬영 장소를 촬영자의 시점(시야)에 따라 복수 개의 구간(예컨대, 제1 구간 내지 제6 구간)으로 구분한다. 시점(시야)에 따라 구분된 구간마다 객체의 위치에 따라 거리를 확인하기 위한 부호, 마커 또는 포인터들이 표시된다. 구간별로 표시된 부호, 마커 또는 포인터들은 각 객체의 거리를 나타내기 위한 구간별 대표값, 평균값을 갖는다.As shown in FIG. 4A, when the
영상 촬영 장치(110)는 시점(시야)에 따라 구분된 ‘제1 구간’ 내에 존재하는 객체를 모두 확인하고, 기 설정된 임계값 이상의 크기를 객체들을 ‘제1 대표 객체’로 선별한다. 영상 촬영 장치(110)는 ‘제1 구간’ 내에 존재하는 ‘제1 대표 객체’들까지의 거리를 센싱하거나 ‘제1 대표 객체’들을 구간별 대표값(또는 평균값)을 갖는 부호 또는 마커, 포인터로 표시한다. 영상 촬영 장치(110)는 ‘제1 구간’을 촬영한 후 ‘제1 구간’ 내에 존재하는 ‘제1 대표 객체’들까지의 거리 정보를 함께 저장한다.The
영상 촬영 장치(110)는 시점(시야)에 따라 구분된 ‘제2 구간’ 내에 존재하는 객체를 모두 확인하고, 기 설정된 임계값 이상의 크기를 객체들을 ‘제2 대표 객체’로 선별한다. 영상 촬영 장치(110)는 ‘제2 구간’ 내에 존재하는 ‘제2 대표 객체’들까지의 거리를 센싱하거나 ‘제2 대표 객체’들을 구간별 대표값(또는 평균값)을 갖는 부호 또는 마커, 포인터로 표시한다. 영상 촬영 장치(110)는 ‘제2 구간’을 촬영한 후 ‘제2 구간’ 내에 존재하는 ‘제2 대표 객체’들까지의 거리 정보를 함께 저장한다.The
이후, 영상 촬영 장치(110)는 도 4a에 도시된 바와 같이, ‘제3 구간’ 내지 ‘제6 구간’까지 ‘제1,2 구간’ 과 동일한 방식으로 대표 객체를 인식하고, 대표 객체까지의 거리 정보를 추출하여 저장하는 동작을 반복한다.Thereafter, as shown in FIG. 4A, the
도 4b에 도시된 바와 같이, 영상 촬영 장치(110)는 카메라 중심으로 ‘객체 A’, ‘객체 B’, ‘객체 C’에 따른 거리를 확인하기 부호, 마커 또는 포인터 등을 함께 촬영하여 360˚ 영상을 생성한다.As shown in FIG. 4B, the
영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 A’에 표시된 부호, 마커 또는 포인터까지의 제1 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 A’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 A’까지의 거리 데이터를 이용한다.The
영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 B’에 표시된 부호, 마커 또는 포인터까지의 제2 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 B’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 B’까지의 거리 데이터를 이용한다.The
영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 C’에 표시된 부호, 마커 또는 포인터까지의 제3 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 C’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 C’까지의 거리 데이터를 이용한다.The
영상 촬영 장치(110)는 촬영 장소 내에 객체와 무관하게 구간 별로 기 설정된 거리를 인식할 수 있도록 표시된 부호, 마커 또는 포인터들을 함께 촬영한 후 기리 정보와 함께 저장할 수 있다.The
영상 촬영 장치(110)는 시간대별로 움직이는 객체(‘객체 A’, ‘객체 B’, ‘객체 C’)에 대한 거리 정보를 구분된 영역(제1 구간 내지 제6 구간)에 매핑 시켜서 저장한다.The
도 5는 본 실시예에 따른 영상 저작 장치의 동작 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating an operation method of an image authoring apparatus according to an exemplary embodiment.
영상 저작 장치(120)는 영상 촬영 장치(110)로부터 360° 좌안 영상 및 360° 우안 영상을 수신한다. 영상 저작 장치(120)는 영상 촬영 장치(110)로부터 수신된 360˚좌안 영상, 360˚우안 영상을 각각 스티칭하여 좌안 구형상 영상, 우안 구형상 영상을 생성한다(S510).The
영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자를 기준으로 거리 데이터를 매칭한다(S520).The
영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 장치(120)는 영상 촬영 장치(110)로부터 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 포함한 촬영 메타데이터를 수신한다. 영상 저작 장치(120)는 촬영 메타데이터로부터 대표 객체에 대응하는 거리 데이터를 추출한다.The
단계 S520에서, 영상 저작 장치(120)는 시간대별로 대표 객체가 움직이는 경우(제1 구간 → 제2 구간 이동), 시간대와 거리감의 싱크를 맞추는 작업을 수행한다.In operation S520, when the representative object moves for each time zone (moving the first section to the second section), the
예컨대, 특정 대표 객체가 1초의 시간대에 카메라 중심축으로부터 2m의 거리에 존재하다가 2초에 구간 4m의 거리로 이동하거나, 특정 대표 객체가 1초의 시간대에 제1 구간에 존재하다가 2초에 제2 구간으로 이동하는 경우, 영상 저작 장치(120)는 시간대별 거리 정보를 객체에 매핑시키는 작업을 수행한다. For example, a specific representative object exists at a distance of 2 m from the camera central axis in a time zone of 1 second and then moves to a distance of 4 m section in 2 seconds, or a specific representative object exists in a first section at a time zone of 1 second, and then a second at 2 seconds. When moving to the section, the
영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. 영상 저작 장치(120)는 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다(S530).The
영상 저작 장치(120)는 영상 촬영 장치(110)로부터 수신된 촬영 메타데이터로부터 카메라와 대표 객체 각각까지의 거리 데이터를 추출한다. 영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자의 시야각을 기준으로 거리 데이터를 매핑(Mapping)하여 저작 메타데이터에 저장한다.The
영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체마다 추가로 삽입될 3D 객체에 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The
영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상, 객체별 거리 데이터, 추가로 삽입할 3D 객체, 저작 메타데이터를 패키징하여 360° VR 컨텐츠를 생성한다(S540). 영상 저작 장치(120)는 360° VR 컨텐츠를 영상 재생 장치(130) 내의 VR 플레이어(132)로 전송한다(S550).The
도 5에서는 단계 S510 내지 단계 S550을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, steps S510 to S550 are sequentially executed, but the present disclosure is not limited thereto. In other words, since the steps described in FIG. 5 may be applied by changing the execution or performing one or more steps in parallel, FIG. 5 is not limited to the time series order.
전술한 바와 같이 도 5에 기재된 본 실시예에 따른 영상 저작 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 저작 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the video authoring apparatus according to the present embodiment described in FIG. 5 may be implemented in a program and recorded in a computer-readable recording medium. A computer-readable recording medium having recorded thereon a program for implementing an operating method of an image authoring apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.
도 6은 본 실시예에 따른 영상 재생 장치의 동작 방법을 설명하기 위한 순서도이다.6 is a flowchart for explaining a method of operating an image reproducing apparatus according to the present embodiment.
영상 재생 장치(130)는 360° VR 컨텐츠를 언패키징한다. 영상 재생 장치(130)는 360° VR 컨텐츠를 수신하여, 360° VR 컨텐츠 내 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 분리한다. The
영상 재생 장치(130)는 추가 삽입 객체가 양안 시차를 발생하도록 하기 위해 영상 재생 장치(130) 내의 좌안, 우안에 매칭되는 캔버스 레이어를 생성한다(S610).The
단계 S610에서, 영상 재생 장치(130)는 스테레오스코픽으로 생성된 360˚ 영상에 3D 객체를 삽입하여 재생하기 위한 별도의 레이어를 생성한다. 영상 재생 장치(130)는 스테레오스코픽으로 생성된 360˚ 영상을 재생하기 위한 2개의 디스플레이를 구비한다. 영상 재생 장치(130)는 좌안 영상을 좌측 디스플레이에 재생할 때, 별도의 3D 객체(예컨대, 자막, CG)를 삽입하기 위한 레이어를 생성하고, 우안 영상을 우측 디스플레이에 재생할 때, 별도의 3D 객체(예컨대, 자막, CG)를 삽입하기 위한 레이어를 생성한다.In operation S610, the
영상 재생 장치(130)는 360° VR 컨텐츠 내에 포함된 저작 메타데이터에서 우안 구형상 영상, 우안 구형상 영상 내의 객체에 대한 거리 데이터를 확인한다(S620). 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 추가 삽입 객체를 프레임별로 매핑한다(S630).The
영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성한다. 영상 재생 장치(130)는 캔버스 레이어 상에 3D 객체가 출력되도록 한다.The
영상 재생 장치(130)는 추가 삽입 객체가 출력되는 시점에 해당 프레임 내의 존재하는 객체의 거리 데이터를 기준으로 양안 시차가 발생하도록 좌안, 우안에 따라 추가 삽입 객체의 출력 위치가 조정되도록 렌더링한다(S640).The
단계 S640에서, 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차를 보정되도록 거리 데이터를 기준으로 3D 객체 영상의 출력 위치를 조정되도록 렌더링한다.In operation S640, when the 3D object image is overlaid on each of the left eye spherical image and the right eye spherical image, the
영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 저작 메타데이터에 대응하는 영역에 3D 객체 영상이 오버레이되도록 제어한다. 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차가 보정되도록 처리한다.The
영상 재생 장치(130)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 좁혀지도록 조정한다.When the distance between the representative object existing in the left eye spherical image and the right eye spherical image exceeds a preset threshold, the
영상 재생 장치(130)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 멀어지도록 조정한다.The
영상 재생 장치(130)는 사운드 출력시 시야에 따른 헤드트래킹(HeadTracking)을 지원하면서 각 객체별 거리 데이터에 따라서 볼륨이 조절되도록 제어한다(S650).The
영상 재생 장치(130)는 360˚ VR 컨텐츠에 존재하는 객체가 복수의 위치에 존재할 때, 구간에 따라 사운드를 저장하고 있다가 시점(시야)에 따라 해당 구간의 사운드가 출력되도록 한다.When the object present in the 360 ° VR content exists in a plurality of positions, the
영상 재생 장치(130)는 시차(시야)나 거리값을 확인할 수 있으므로, 사운드를 시차(시야)나 거리값에 따라 고정된 값이 출력되도록 한다. 예컨대, 영상 재생 장치(130)는 거리에 따른 사운드 출력(데시벨)이 조절되도록 하며, 시차(시야)에 따라서 사운드 채널이 변경되도록 한다.Since the
도 6에서는 단계 S610 내지 단계 S650을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 6, steps S610 to S650 are sequentially executed, but the present disclosure is not limited thereto. In other words, since the steps described in FIG. 6 may be applied by changing or executing one or more steps in parallel, FIG. 6 is not limited to the time series order.
전술한 바와 같이 도 6에 기재된 본 실시예에 따른 영상 재생 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 재생 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the image reproducing apparatus according to the present embodiment described in FIG. 6 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing an operating method of an image reproducing apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.
도 7은 본 실시예에 따른 삼차원 스테레오스코픽 영상 내의 객체 합성 예시를 나타낸 도면이다.7 illustrates an example of object synthesis in a three-dimensional stereoscopic image according to the present embodiment.
영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 3D 객체를 삽입하여 재생할 때, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리를 확인한다.When the 3D object is inserted into the 360 ° left eye image and the 360 ° right eye image, the
영상 재생 장치(130)는 도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 좁혀지도록 조정한다.As illustrated in FIG. 7, when the distance between the representative object existing in the 360 ° left eye image and the 360 ° right eye image exceeds a preset threshold, the
영상 재생 장치(130)는 도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 멀어지도록 조정한다.As illustrated in FIG. 7, when the distance between the representative object existing in the 360 ° left eye image and the 360 ° right eye image is less than or equal to a preset threshold, the
다시 말해, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 3D 객체를 삽입할 때, 3D 객체는 동일하나 좌안 또는 우안에 맞게 3D 객체의 위치를 이동시킨다. 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 멀면 좌안과 우안에 간의 거리를 좁힌다.In other words, when the 3D object is inserted into the 360 ° left eye image and the 360 ° right eye image, the
영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 객체의 거리가 가까우면 좌안과 우안에 간의 거리를 벌린다.The
도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체가 A 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 가까운 것으로 판단하여 별도의 캔버스 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 멀어지도록 간격을 조정하여 출력되도록 한다.As shown in FIG. 7, when a representative object previously existing in the 360 ° left eye image and the 360 ° right eye image exists at the A position, the
360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체가 B 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 보통인 것으로 판단하여 별도의 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 보다 가까워지도록 간격을 조정하여 출력되도록 한다.When the representative object previously existing in the 360 ° left eye image and the 360 ° right eye image exists in the B position, the
360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 객체가 C 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 먼 것으로 판단하여 별도의 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 좁아지도록 간격을 조정하여 출력되도록 한다.When an object previously existing in the 360 ° left eye image and the 360 ° right eye image exists at the C position, the
영상 재생 장치(130)는 기준은 카메라 특성에 따른 거리 정보를 최적값을 일종의 룩업 테이블 형태로 저장한다. 영상 재생 장치(130)는 기 저장된 룩업 테이블로부터 거리 데이터에 따른 오프셋값을 추출하여 반영한다.The
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs may make various modifications and changes without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment but to describe the present invention, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.
110: 영상 촬영 장치 112: 거리 데이터 수집부
120: 영상 저작 장치 122: 영상 저작 툴
130: 영상 재생 장치 132: VR 플레이어
134: 영상 재생부 136: 3D 렌더링부110: image recording device 112: distance data collector
120: video authoring apparatus 122: video authoring tool
130: video playback device 132: VR player
134: video playback unit 136: 3D rendering unit
Claims (14)
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 하는 영상 재생 장치
를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.An imaging apparatus for photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selects and extracts distance data corresponding to the representative object, generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writes a metadata about a location and a time at which the 3D object is to be inserted An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And
When the 360 ° VR content is unpackaged and played back, when the objects in the left eye spherical image and the right eye spherical image exist in a plurality of positions, the pre-stored sound is divided according to a predetermined section divided based on the viewer's viewing angle. Video playback device to output
A system for rendering a binocular parallax image comprising a.
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 상기 360˚좌안 영상, 상기 360˚우안 영상 각각을 관찰자의 시야각을 기준으로 기 설정된 구간으로 분할하고, 분할된 각 구간 내에 존재하는 상기 대표 객체를 선정하고, 상기 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 1,
The video photographing device,
When capturing an image at 360 °, the 360 ° left eye image and the 360 ° right eye image are divided into predetermined sections based on the viewer's viewing angle, and the representative object existing in each divided section is selected, and the representative A binocular parallax image rendering system, characterized in that for collecting the shooting time, angle of shooting, distance data from the camera for each object and stored in the shooting metadata.
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 촬영하는 카메라를 중심으로 상기 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 상기 360° 좌안 영상 및 상기 360° 우안 영상을 생성하고, 기 설정된 미터 단위를 상기 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video photographing device,
When the image is taken at 360 °, the 360 ° left eye image and the 360 ° right eye image are taken by photographing a sign, a marker, or a pointer indicating a distance from the camera to the representative object in a predetermined meter unit with a background. And generate a predetermined meter unit in the photographing metadata.
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심으로 상기 대표 객체까지의 센싱하고, 센싱된 대표 객체별 거리 정보를 상기 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video photographing device,
When capturing an image at 360 °, a binocular parallax image comprising sensing to the representative object centered on a camera photographing using the provided sensor and storing distance information for each representative object in the photographing metadata Rendering system.
상기 영상 저작 장치는,
상기 촬영 메타데이터로부터 상기 카메라와 상기 대표 객체 각각까지의 상기 거리 데이터를 추출하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각 내에 존재하는 상기 대표 객체마다 관측자의 시야각을 기준으로 상기 거리 데이터를 매핑(Mapping)하여 상기 저작 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video authoring apparatus,
Extracting the distance data from the photographing metadata to each of the camera and the representative object, and extracting the distance data based on the viewer's viewing angle for each representative object present in each of the left eye spherical image and the right eye spherical image. And mapping and storing the same in the authoring metadata.
상기 영상 저작 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체마다 추가로 삽입될 상기 3D 객체에 상기 거리 데이터를 매핑하여 상기 저작 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 3, wherein
The video authoring apparatus,
And mapping the distance data to the 3D object to be additionally inserted for each of the representative objects existing in the left eye spherical image and the right eye spherical image and storing the distance data in the authoring metadata.
상기 영상 재생 장치는,
상기 360° VR 컨텐츠를 수신하여, 상기 360° VR 컨텐츠 내 포함된 상기 좌안 구형상 영상, 상기 우안 구형상 영상, 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 분리하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 저작 메타데이터에 대응하는 영역에 상기 3D 객체 영상을 오버레이되도록 제어하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이될 때, 상기 거리 데이터를 기반으로 양안 시차를 보정되도록 처리하여 상기 360° VR 컨텐츠를 재생하여 출력하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 1,
The video reproducing apparatus,
Receiving the 360 ° VR content, separating the left eye spherical image, the right eye spherical image, the distance data, the authoring metadata, and the 3D object included in the 360 ° VR content, and the left eye spherical image And when the 3D object image is overlaid on each of the right eye spherical images corresponding to the author metadata, and when the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, respectively. A binocular parallax image rendering system, characterized in that for processing the binocular parallax correction based on the distance data to reproduce the 360 ° VR content to output.
상기 영상 재생 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이될 때, 상기 거리 데이터를 기반으로 양안 시차를 보정되도록 상기 거리 데이터를 기준으로 상기 3D 객체 영상의 출력 위치를 조정되도록 렌더링하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
When the 3D object image is overlaid on each of the left eye spherical image and the right eye spherical image, the output position of the 3D object image is adjusted to be adjusted based on the distance data so as to correct binocular disparity based on the distance data. Rendering system for binocular parallax image, characterized in that.
상기 영상 재생 장치는,
상기 거리 데이터를 기반으로 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 상기 좌안 구형상 영상, 상기 우안 구형상 영상에 각각 출력되는 상기 3D 객체 간의 거리차이가 좁혀지도록 조정하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
Based on the distance data, when the distance to the representative object existing in the left eye spherical image and the right eye spherical image exceeds a preset threshold, it is determined that the distance is farther, the farther distance from the left eye spherical image, And a distance difference between the 3D objects respectively output to the right eye spherical image to be narrowed.
상기 영상 재생 장치는,
상기 거리 데이터를 기반으로 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 상기 좌안 구형상 영상, 상기 우안 구형상 영상에 각각 출력되는 상기 3D 객체 간의 거리차이가 멀어지도록 조정하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
When the distance to the representative object existing in the left eye spherical image and the right eye spherical image is less than or equal to a preset threshold based on the distance data, it is determined that the distance is close, so that the closer the distance is, the left eye spherical image, the And a distance difference between the 3D objects respectively output on the right eye spherical image is adjusted to be farther away.
상기 영상 재생 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성하고, 상기 캔버스 레이어 상에 상기 3D 객체가 출력되도록 하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
In order to overlay the 3D object image on each of the left eye spherical image and the right eye spherical image, a canvas layer matching each of the left eye and the right eye is generated, and the 3D object is output on the canvas layer. Rendering system of binocular parallax image.
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 거리 데이터에 따라 사운드 출력이 조절되도록 하며, 관찰자의 시야각에 따라 사운드 채널이 변경되도록 조정하는 영상 재생 장치
를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.An imaging apparatus for photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selecting, extracting distance data corresponding to the representative object, generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writing meta An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And
When unpackaging and playing the 360 ° VR content, the sound output is adjusted according to the distance data, and the image reproducing apparatus is adjusted to change the sound channel according to the viewing angle of the viewer.
A system for rendering a binocular parallax image comprising a.
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하는 과정;
상기 대표 객체에 대응하는 거리 데이터를 추출하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하는 과정;
상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 하는 과정
을 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 방법.
Photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
Generating a left eye sphere image and a right eye sphere image by stitching the 360 ° left eye image and the 360 ° right eye image, respectively;
Selecting a representative object in the left eye spherical image and the right eye spherical image;
Extracting distance data corresponding to the representative object;
Generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image;
Generating authoring metadata about a location and a time at which the 3D object is to be inserted;
Generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image; And
When the 360 ° VR content is unpackaged and played back, when the objects in the left eye spherical image and the right eye spherical image exist in a plurality of positions, the pre-stored sound is divided according to a predetermined section divided based on the viewer's viewing angle. Process for output
The rendering method of the binocular parallax image comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180044021A KR102048381B1 (en) | 2018-04-16 | 2018-04-16 | Method And System for Rendering for Binocular Disparity Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180044021A KR102048381B1 (en) | 2018-04-16 | 2018-04-16 | Method And System for Rendering for Binocular Disparity Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190120619A KR20190120619A (en) | 2019-10-24 |
KR102048381B1 true KR102048381B1 (en) | 2019-11-25 |
Family
ID=68423261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180044021A KR102048381B1 (en) | 2018-04-16 | 2018-04-16 | Method And System for Rendering for Binocular Disparity Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102048381B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102455716B1 (en) * | 2021-10-07 | 2022-10-18 | 주식회사 벤타브이알 | Video stitching method and system for real-time 3D VR video relay |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101139389B1 (en) * | 2010-04-28 | 2012-04-27 | 주식회사 아이티엑스시큐리티 | Video Analysing Apparatus and Method Using Stereo Cameras |
KR102560029B1 (en) * | 2016-09-12 | 2023-07-26 | 삼성전자주식회사 | A method and apparatus for transmitting and receiving virtual reality content |
-
2018
- 2018-04-16 KR KR1020180044021A patent/KR102048381B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20190120619A (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8675048B2 (en) | Image processing apparatus, image processing method, recording method, and recording medium | |
CN106331732B (en) | Generate, show the method and device of panorama content | |
US8836760B2 (en) | Image reproducing apparatus, image capturing apparatus, and control method therefor | |
US8791989B2 (en) | Image processing apparatus, image processing method, recording method, and recording medium | |
JP4793451B2 (en) | Signal processing apparatus, image display apparatus, signal processing method, and computer program | |
US8768043B2 (en) | Image display apparatus, image display method, and program | |
CN106066701B (en) | A kind of AR and VR data processing equipment and method | |
EP2306729A1 (en) | Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream | |
US9210407B2 (en) | Image processing apparatus and method, and program | |
KR20100002049A (en) | Image processing method and apparatus | |
RU2012101829A (en) | INSERTING THREE-DIMENSIONAL OBJECTS IN A STEREOSCOPIC IMAGE TO A RELATIVE DEPTH | |
NO340415B1 (en) | Device and program for generating stereographic image display | |
KR101198557B1 (en) | 3D stereoscopic image and video that is responsive to viewing angle and position | |
CN103533340A (en) | Naked eye 3D (three-dimensional) playing method of mobile terminal and mobile terminal | |
WO2013108285A1 (en) | Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method | |
WO2012070636A1 (en) | Image processing device, image processing method, and image processing program | |
KR102048381B1 (en) | Method And System for Rendering for Binocular Disparity Image | |
JP4619412B2 (en) | Stereoscopic image recording / playback system | |
JP2003284095A (en) | Stereoscopic image processing method and apparatus therefor | |
CN113382222B (en) | Display method based on holographic sand table in user moving process | |
KR20110025083A (en) | Apparatus and method for displaying 3d image in 3d image system | |
US20130272677A1 (en) | Image file generation device, image file reproduction device, and image file generation method | |
JP2002024856A (en) | Display system of solid object and receiver thereof | |
JPH0715748A (en) | Picture recording and reproducing device | |
US12014439B2 (en) | Method for protecting copyright of light field content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |