KR20120062477A - Method and apparatus for generating multi-view depth map - Google Patents
Method and apparatus for generating multi-view depth map Download PDFInfo
- Publication number
- KR20120062477A KR20120062477A KR1020100123754A KR20100123754A KR20120062477A KR 20120062477 A KR20120062477 A KR 20120062477A KR 1020100123754 A KR1020100123754 A KR 1020100123754A KR 20100123754 A KR20100123754 A KR 20100123754A KR 20120062477 A KR20120062477 A KR 20120062477A
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- depth image
- pixel
- image
- viewpoint
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 다시점 깊이 영상 생성 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for generating a multiview depth image.
3차원 비디오를 이용한 3차원 텔레비전 시스템은 컴퓨터 시뮬레이션을 통해 현실 세계를 재구성한 콘텐츠와 3차원 입체 디스플레이를 통해 사용자에게 실감나는 영상을 제공할 수 있기 때문에 차세대 방송 시스템으로 각광받고 있다. 여기서 3차원 텔레비전 시스템이란 카메라 한 대를 이용해서 장면을 촬영하는 기존의 시스템에서 확장된 개념으로 다수의 카메라 혹은 센서를 이용해서 장면의 3차원 정보까지 획득할 수 있는 시스템을 말한다. 시청자는 3차원 비디오를 이용하여 한 장면을 여러 시점에서 시청할 수 있는데, 이를 통해 시청자는 입체 영화나 입체형 텔레비전 방송을 보거나, 실감나는 3차원 영상을 바탕으로 한 게임이나, 전시 또는 이벤트를 경험할 수 있다. 또한 3차원 비디오는 실감형 가상수술 교육 프로그램에 이용되어 효과적인 교육을 제공할 수 있다. Three-dimensional television system using three-dimensional video has been in the spotlight as the next generation broadcasting system because it can provide a realistic image to the user through the content reconstructed from the real world through computer simulation and three-dimensional stereoscopic display. Here, the 3D television system is an extended concept of a conventional system for photographing a scene using a single camera, and refers to a system that can acquire 3D information of a scene using a plurality of cameras or sensors. Viewers can watch a scene from multiple points of view using three-dimensional video, allowing viewers to watch stereoscopic movies, stereoscopic television broadcasts, or experience games, exhibits, or events based on realistic three-dimensional images. . In addition, 3D video can be used in an immersive virtual surgery education program to provide effective education.
이러한 3차원 비디오는 깊이 영상을 통해 입체감이 표현된다. 깊이 영상이란 영상 내에 존재하는 객체들의 3차원 거리 정보를 8비트로 표현한 영상을 말하며 깊이 영상의 화소값은 각 해당 화소의 깊이 정보를 나타낸다. 특히 3차원 비디오의 자유 시점 기능을 구현하기 위해서는 여러 시점의 영상을 이용하여 시점 사이에 존재하는 가상의 중간시점 영상을 합성하는 중간시점 영상 합성 기술이 필수적이다. 중간시점 영상을 합성하기 위해서는 깊이 영상이 필요한데, 깊이 영상의 정확도는 합성된 중간시점 영상의 화질을 좌우하기 때문에 정확한 깊이 영상을 생성하는 것이 매우 중요하다. 그러나 3차원 텔레비전 시스템은 다시점 영상의 각 시점마다 독립적으로 깊이 영상을 탐색하므로 시점 간 상관도 저하 문제가 발생할 수 있다. The three-dimensional video is expressed in three-dimensional through the depth image. The depth image refers to an image in which 3D distance information of objects existing in the image is represented by 8 bits, and the pixel value of the depth image represents depth information of each corresponding pixel. In particular, in order to implement a free view function of a 3D video, a mid-view image synthesizing technique for synthesizing virtual mid-view images existing between views using an image of several views is essential. In order to synthesize the mid-view image, a depth image is required. Since the accuracy of the depth image determines the quality of the synthesized mid-view image, it is very important to generate an accurate depth image. However, since the 3D television system independently searches for a depth image at each viewpoint of a multiview image, a correlation between viewpoints may be degraded.
최근 국제 표준화 그룹인 동영상 전문가 그룹(Moving Picture Experts Group, MPEG) 내의 3차원 비디오 부호화 그룹은 다시점 비디오 및 깊이 영상의 부호화의 중요성을 인지하여, 깊이 영상을 추정할 수 있는 깊이 영상 탐색 소프트웨어를 구현 및 배포하였다. 이 소프트웨어의 본래의 목적은 스테레오 영상에 대한 깊이 영상을 획득하는 것이었다. 하지만, 3차원 비디오 부호화 그룹에 맞는 3차원 비디오 포맷은 정지영상이 아닌 동영상이고, 또한 스테레오 영상이 아닌 다시점 영상이므로 이 소프트웨어를 그대로 적용해서 깊이 영상을 구하는 것은 적합하지 않다. 그 결과로 깊이 탐색 알고리즘은 시간적 그리고 시점 간 상관도 저하 문제를 발생시킬 수 있다. Recently, the 3D video coding group within the Moving Picture Experts Group (MPEG), an international standardization group, realizes the importance of encoding multiview video and depth video, and implements depth image search software that can estimate depth images. And distributed. The original purpose of the software was to acquire depth images for stereo images. However, since the 3D video format suitable for the 3D video coding group is not a still image but a multiview image rather than a stereo image, it is not suitable to obtain a depth image by applying the software as it is. As a result, depth search algorithms can cause temporal and point-of-view correlation degradation problems.
본 발명이 해결하려는 과제는 시점 간 상관도가 높은 깊이 영상을 생성하는 다시점 깊이 영상 생성 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide a multi-view depth image generation method and apparatus for generating a depth image having a high correlation between viewpoints.
본 발명의 한 실시예에 따른 3차원 영상 생성 장치에서 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법으로서, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계를 포함한다.A method of generating a multiview depth image using a plurality of color images in a 3D image generating apparatus according to an embodiment of the present invention, based on at least two color images for a first viewpoint among the plurality of color images Generating a first depth image corresponding to the first viewpoint, and generating a second depth image corresponding to the second viewpoint based on at least two color images for a second viewpoint among the plurality of color images And based on at least two color images, a first depth image, and a second depth image, for a third viewpoint, which is between the first viewpoint and the second viewpoint, among the plurality of color images. Generating a corresponding third depth image.
상기 제3 깊이 영상을 생성하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하는 단계, 그리고 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the third depth image may include obtaining corresponding pixels corresponding to pixels of the third depth image from the first depth image and the second depth image, and based on depth information of each of the corresponding pixels. The method may include generating the third depth image by determining a final depth value of the third depth image.
상기 대응 화소를 각각 구하는 단계는, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 상기 제3 시점으로 투영하여 각각 구하는 단계를 포함할 수 있다.The obtaining of the corresponding pixels may include obtaining the first depth image and the second depth image by projecting them to the third viewpoint.
상기 방법은 상기 대응 화소의 깊이 정보를 상기 최종 깊이값으로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계를 더 포함할 수 있다.The method may further include correcting the first depth image and the second depth image by changing depth information of the corresponding pixel to the final depth value.
상기 방법은 상기 보정한 제1 깊이 영상, 상기 보정한 제2 깊이 영상 그리고 상기 제3 깊이 영상을 3차원 영상 재생 장치로 전송하는 단계를 더 포함할 수 있다.The method may further include transmitting the corrected first depth image, the corrected second depth image, and the third depth image to a 3D image reproducing apparatus.
상기 제3 깊이 영상을 생성하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상 사이에서 대응되는 화소를 탐색하는 단계, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 탐색한 화소 중에서 정합 화소를 결정하는 단계, 그리고 상기 정합 화소의 위치 차이에 해당하는 최종 깊이값을 구하고, 상기 최종 깊이값을 포함하는 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the third depth image may include searching for a corresponding pixel between at least two color images for the third viewpoint, and among the searched pixels using the first depth image and the second depth image. Determining a matching pixel; and obtaining a final depth value corresponding to a position difference of the matching pixel, and generating the third depth image including the final depth value.
상기 대응되는 화소를 탐색하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상 중에서 어느 하나의 색상 영상을 기준 영상으로 선택하는 단계, 그리고 상기 제3 시점을 위한 다른 색상 영상에서 상기 기준 영상의 각 화소에 대응하는 화소를 탐색하는 단계를 포함할 수 있다.The searching of the corresponding pixel may include selecting one color image from among at least two color images for the third viewpoint as a reference image, and each of the reference image in another color image for the third viewpoint. Searching for a pixel corresponding to the pixel.
상기 정합 화소를 결정하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소를 각각 구하는 단계, 그리고 상기 제1 대응 화소 및 상기 제2 대응 화소를 포함하는 이웃 화소 각각의 깊이 정보와 상기 각 화소의 깊이 정보의 차이인 이웃 화소와의 깊이 차이에 기초하여 상기 각 화소에 대응하는 화소를 결정하는 단계를 포함하며, 상기 각 화소의 깊이 정보는 상기 각 화소와 상기 탐색한 화소의 변이 정보에 기초하여 계산한 정보일 수 있다.The determining of the matching pixel may include obtaining first corresponding pixels and second corresponding pixels corresponding to the respective pixels from the first depth image and the second depth image, and the first corresponding pixel and the second corresponding pixel. Determining a pixel corresponding to each pixel based on a depth difference between a depth pixel of each neighboring pixel including a corresponding pixel and a neighboring pixel that is a difference between depth information of each pixel, wherein the depth of each pixel is determined. The information may be information calculated based on variation information of each pixel and the searched pixel.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이와 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.The method may further include obtaining a difference between pixel values of each pixel and the searched pixel, and determining a pixel corresponding to each pixel may include determining a difference between the pixel value and a depth difference between the neighboring pixels. And determining the searched pixel when the sum is the minimum as a pixel corresponding to each pixel.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 그리고 상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이, 상기 시간적 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.The method may further include obtaining a difference between pixel values of each pixel and the searched pixel, and obtaining a temporal depth difference that is a difference between depth information of each pixel and depth information corresponding to each pixel in a previous image. The determining of the pixel corresponding to each pixel may include: searching for a pixel when the sum of the difference of the pixel value, the temporal depth difference, and the depth difference with the neighboring pixel becomes minimum; And determining the pixel to be.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계, 그리고 상기 각 화소의 깊이 정보와 인접 시점의 깊이 정보의 차이인 시점 간 깊이 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이, 상기 시간적 깊이 차이, 상기 시점 간 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.The method may include obtaining a difference between pixel values of each pixel and the searched pixel, obtaining a temporal depth difference that is a difference between depth information of each pixel and depth information corresponding to each pixel in a previous image, and And determining a depth difference between views, which is a difference between depth information of each pixel and depth information of an adjacent view, wherein determining a pixel corresponding to each pixel may include a difference in the pixel value, the temporal depth difference, The method may include determining the searched pixel as the pixel corresponding to each pixel when the sum of the depth difference between the viewpoints and the depth difference with the neighboring pixel becomes the minimum.
상기 제1 깊이 영상을 생성하는 단계는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the first depth image may include generating the first depth image based on depth determination information including shift information between at least two color images for the first viewpoint.
상기 깊이 결정 정보는 인접한 화소의 깊이 정보를 더 포함할 수 있다.The depth determination information may further include depth information of adjacent pixels.
본 발명의 다른 실시예에 따른 3차원 영상 재생 장치에서 다시점 깊이 영상을 생성하는 방법으로서, 3차원 영상 생성 장치로부터 복수의 색상 영상을 수신하는 단계, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계를 포함한다.A method of generating a multi-view depth image in a 3D image reproducing apparatus according to another embodiment of the present invention, the method comprising: receiving a plurality of color images from the 3D image generating apparatus, for a first view from among the plurality of color images Generating a first depth image corresponding to the first view based on at least two color images, and corresponding to the second view based on at least two color images for a second view among the plurality of color images Generating a second depth image, and at least two color images, a first depth image, and the second depth image for a third viewpoint between the first viewpoint and the second viewpoint among the plurality of color images; And generating a third depth image corresponding to the third viewpoint based on the image.
상기 제1 깊이 영상을 생성하는 단계는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the first depth image may include generating the first depth image based on depth determination information including shift information between at least two color images for the first viewpoint.
상기 깊이 결정 정보는 인접한 화소 각각의 깊이 정보를 더 포함할 수 있다.The depth determination information may further include depth information of each adjacent pixel.
상기 제3 깊이 영상을 생성하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 상기 제3 시점으로 투영하는 단계, 그리고 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the third depth image may include projecting the first depth image and the second depth image to the third viewpoint, and of the third depth image in the projected first depth image and the second depth image. Obtaining corresponding pixels corresponding to the pixels, and determining a final depth value of the third depth image based on depth information of each of the corresponding pixels to generate the third depth image.
상기 최종 깊이값을 상기 대응 화소의 깊이 정보로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계를 더 포함할 수 있다.The method may further include correcting the first depth image and the second depth image by changing the final depth value to depth information of the corresponding pixel.
상기 제3 깊이 영상을 생성하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상을 이용하여 구한 깊이 결정 정보에 기초하여 상기 제3 깊이 영상의 각 화소에 해당하는 깊이 정보를 구하고, 상기 깊이 정보를 상기 각 화소에 매핑하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.The generating of the third depth image may include generating an angle of the third depth image based on depth determination information obtained using at least two color images for the third viewpoint, the first depth image, and the second depth image. The method may include obtaining depth information corresponding to a pixel and generating the third depth image by mapping the depth information to each pixel.
상기 깊이 결정 정보는 상기 각 화소의 변이 정보와 상기 각 화소에 이웃한 화소 각각의 깊이 정보를 포함하며, 상기 이웃한 화소는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소 그리고 상기 각 화소의 인접 화소를 포함할 수 있다.The depth determination information includes variation information of each pixel and depth information of each pixel adjacent to each pixel, and the neighboring pixel corresponds to each pixel in the first depth image and the second depth image. The pixel may include a first corresponding pixel, a second corresponding pixel, and an adjacent pixel of each pixel.
본 발명의 또 다른 실시예에 따른 다시점 깊이 영상 생성 장치는 복수의 색상 영상을 저장하는 영상 저장부, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 제1 깊이 영상 생성부, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 제2 깊이 영상 생성부, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 제3 깊이 영상 생성부를 포함한다.An apparatus for generating a multiview depth image according to another embodiment of the present invention includes an image storage unit storing a plurality of color images, and the first view based on at least two color images for a first view from among the plurality of color images. A first depth image generator configured to generate a first depth image corresponding to the second depth image generator based on at least two color images for a second viewpoint among the plurality of color images; A second depth image generating unit and at least two color images for the third viewpoint between the first viewpoint and the second viewpoint among the plurality of color images, the first depth image, and the second depth image; And a third depth image generator configured to generate a third depth image corresponding to the third viewpoint.
상기 제1 깊이 영상 생성부는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하고, 상기 제2 깊이 영상 생성부는 상기 제2 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제2 깊이 영상을 생성할 수 있다.The first depth image generation unit generates the first depth image based on depth determination information including variation information between at least two color images for the first viewpoint and depth information of an adjacent pixel, and the second depth image. The image generator may generate the second depth image based on the depth determination information including the shift information between the at least two color images for the second viewpoint and the depth information of the adjacent pixel.
상기 제3 깊이 영상 생성부는 상기 제3 시점으로 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성할 수 있다.The third depth image generation unit obtains corresponding pixels corresponding to the pixels of the third depth image from the first depth image and the second depth image projected to the third viewpoint, and based on depth information of each of the corresponding pixels. The third depth image may be generated by determining a final depth value of the third depth image.
상기 다시점 깊이 영상 생성 장치는 상기 제1 깊이 영상 및 상기 제2 깊이 영상의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보에 기초하여 보정하는 시점 간 상관도 제어부를 더 포함할 수 있다.The apparatus for generating a multiview depth image may further include an inter-correlation control unit for correcting depth information of the first depth image and the second depth image based on the depth information of the third depth image.
상기 시점 간 상관도 제어부는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상에 대응하는 화소의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보와 동일하게 변경할 수 있다.The inter-view correlation controller may change depth information of a pixel corresponding to the third depth image in the first depth image and the second depth image to be the same as the depth information of the third depth image.
본 발명의 실시예에 따르면 깊이 정보를 탐색하는 과정에서 인접 시점의 정합 오차를 고려해서 정합 함수의 오차를 최소화하여 인접 시점 간 상관도를 높일 수 있으며, 상관도가 높은 다시점 깊이 영상을 생성하여 합성 영상의 화질을 높일 수 있다. 또한 시점 간 예측 기술을 사용하는 다시점 깊이 영상 부호화에서 본 발명의 실시예에 따른 시점 간 상관도가 높은 깊이 영상을 이용하면 효율이 높아질 수 있다.According to an exemplary embodiment of the present invention, in the process of searching for depth information, the correlation between adjacent viewpoints may be increased by minimizing the error of the matching function in consideration of the matching error of adjacent viewpoints, and generating a multiview depth image having high correlation. The image quality of the synthesized image can be improved. In addition, in multi-view depth image encoding using an inter-view prediction technique, efficiency may be increased by using a depth image having a high inter-view correlation according to an embodiment of the present invention.
도 1은 본 발명의 한 실시예에 따른 이용한 3차원 비디오 시스템을 개략적으로 나타내는 도면이다.
도 2a와 도 2b는 각각 본 발명의 한 실시예에 따른 깊이 영상을 생성하는 방법을 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 한 실시예에 따른 다시점 깊이 영상 생성 장치를 나타내는 블록도이다.1 is a view schematically showing a three-dimensional video system used according to an embodiment of the present invention.
2A and 2B are diagrams illustrating a method of generating a depth image according to an exemplary embodiment of the present invention, respectively.
3 is a flowchart illustrating a method of generating a multiview depth image according to an embodiment of the present invention.
4 is a flowchart illustrating a method of generating a multiview depth image according to an embodiment of the present invention.
5 is a block diagram illustrating an apparatus for generating a multiview depth image according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.
이제 도면을 참고하여 본 발명의 실시예에 따른 다시점 깊이 영상 생성 방법 및 장치에 대해 상세하게 설명한다.A method and apparatus for generating a multiview depth image according to an exemplary embodiment of the present invention will now be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 한 실시예에 따른 이용한 3차원 비디오 시스템을 개략적으로 나타내는 도면이다.1 is a view schematically showing a three-dimensional video system used according to an embodiment of the present invention.
도 1을 참고하면, 3차원 비디오 시스템은 3차원 비디오를 생성하는 3차원 영상 생성 장치(100)와 3차원 영상을 재생하는 3차원 영상 재생 장치(200)를 포함한다. 이때 3차원 영상 생성 장치(100)와 3차원 영상 재생 장치(200) 중 적어도 하나는 다시점 깊이 영상 생성 장치(300)를 포함한다.Referring to FIG. 1, a 3D video system includes a 3D
3차원 영상 생성 장치(100)는 스테레오(stereoscopic) 카메라 또는 다시점(multi-view) 카메라를 포함하는 색상 카메라와 센서를 이용하는 깊이 카메라(depth camera)를 통해 영상을 획득한다. 3차원 영상 생성 장치(100)는 획득한 색상 영상(video), 깊이 영상(depth) 그리고 각종 메타 데이터(meta data)를 3차원 영상 재생 장치(200)로 전달한다. 이때 3차원 영상 생성 장치(100)는 3차원 장면을 동일 시간대에서 여러 시점에 위치한 복수의 카메라를 이용하여 다시점 영상을 생성할 수 있다.The 3D
3차원 영상 재생 장치(200)는 3차원 영상 생성 장치(100)로부터 전달된 색상 영상과 깊이 영상을 이용하여 3차원 영상을 재생한다. 이때 3차원 영상 재생 장치(200)는 2차원 디스플레이 장치 또는 3차원 디스플레이 장치에 적합한 영상을 재생하며, 다시점 중에서 선택된 시점을 재생할 수 있다. 예를 들어, 시청자의 위치를 파악하여 시청자의 위치에 맞는 시점의 입체 영상을 재생하는 장치(head-tracked stereo display)는 전송된 시점 영상을 이용하여 시청자에게 여러 시점의 입체 영상을 제공한다. The 3D
다시점 깊이 영상 생성 장치(300)는 다시점 깊이 영상을 생성하는 장치로서, 3차원 영상 재생 장치(200)에서 다시점의 3차원 영상을 재생하기 위하여 필요한 다시점 깊이 영상을 생성한다. 3차원 영상 재생 장치(200)가 자유 시점의 3차원 영상을 재생하기 위해서는 3차원 영상 생성 장치(100)에서 카메라를 통해 획득한 시점보다 많은 수의 시점이 필요하다. 이를 위해 다시점 영상을 이용하여 시점 사이에 존재하는 가상의 중간 시점 영상을 생성하는 시점 합성(view synthesis) 기술이 이용되는데, 이때 중간 시점 영상을 합성하기 위해서 깊이 영상(depth map)이 필요하다. 깊이 영상이란 영상 내에 존재하는 객체들의 3차원 거리 정보를 포함하는 영상으로, 깊이 영상에 포함된 각 화소는 해당 화소의 깊이 정보를 포함한다. 다시점 깊이 영상 생성 장치(300)는 3차원 영상 생성 장치(100)와 3차원 영상 재생 장치(200) 중 적어도 하나에 형성될 수 있다. 즉, 중간 시점 영상을 위한 깊이 영상은 3차원 영상 생성 장치(100)에서 미리 생성되어 3차원 영상 재생 장치(200)로 전달될 수 있고, 3차원 영상 재생 장치(200)에서 전달된 다시점 영상을 이용하여 생성될 수 있다. The multi-view depth
다음에서 다시점 영상을 이용하여 다시점 깊이 영상을 생성하는 방법에 대해 살펴본다. Next, a method of generating a multiview depth image using a multiview image will be described.
도 2a와 도 2b는 각각 본 발명의 한 실시예에 따른 깊이 영상을 생성하는 방법을 나타내는 도면이다.2A and 2B are diagrams illustrating a method of generating a depth image according to an exemplary embodiment of the present invention, respectively.
다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상, 즉 다시점 영상을 이용하여 깊이 영상을 생성한다. 이때 다시점 깊이 영상 생성 장치(300)는 예를 들면, 왼쪽 영상과 오른쪽 영상을 이용하거나, 또는 왼쪽 영상, 가운데 영상 그리고 오른쪽 영상을 이용하여 깊이 영상을 생성할 수 있다. 이때 왼쪽 영상, 가운데 영상 그리고 오른쪽 영상을 이용하여 깊이 영상을 생성하는 방법은 왼쪽 영상과 오른쪽 영상을 이용하여 깊이 영상을 생성하는 방법을 왼쪽 및 가운데 영상에 이용하고 동시에 오른쪽 및 가운데 영상에 이용하면 되므로, 앞으로 두 색상 영상 즉, 왼쪽 영상과 오른쪽 영상을 이용하여 깊이 정보를 구하는 방법으로 설명한다.The multiview depth
먼저 도 2a를 참고하면, 다시점 깊이 영상 생성 장치(300)는 기준이 되는 영상, 예를 들면 왼쪽 영상의 모든 화소에 대응하는 화소를 찾기 위해 오른쪽 영상을 탐색한다. 다시점 깊이 영상 생성 장치(300)는 왼쪽 영상의 각 화소를 기준으로 오른쪽 영상의 화소를 탐색하면서 왼쪽 영상과 오른쪽 영상의 정합 위치를 찾는다. 이때 정합 위치 또는 정합 화소란 시점이 다른 영상에 있는 동일한 객체의 위치 또는 화소이다. 다시점 깊이 영상 생성 장치(300)는 왼쪽 영상의 화소(x,y)와 오른쪽 영상의 화소(x-d, y)가 정합 화소인지 결정하기 위해 정합 함수(matching function)를 사용한다. 정합 함수는 왼쪽 영상과 오른쪽 영상의 화소를 비교했을 때 오차값을 나타내는 것으로 오차값이 작을수록 정합 위치일 확률이 높다. 그리고 다시점 깊이 영상 생성 장치(300)는 정합 함수가 최소가 되는 변이(disparity, d)를 화소(x,y)의 깊이 정보로 결정한다. 이때 변이(d)는 각 색상 카메라에서 촬영한 색상 영상에서 대응하는 화소 사이의 거리를 나타내며, 변이가 클수록 가깝고 변이가 작을수록 먼 깊이 정보를 나타낸다.First, referring to FIG. 2A, the multi-view depth
정합 함수[E(x, y, d)]는 수학식 1 내지 수학식 6과 같이 표현될 수 있다.The matching function [E (x, y, d)] can be expressed as
수학식 1 내지 수학식 6에서 x 및 y는 화소의 2차원 상의 위치 좌표이며, d는 기준이 되는 왼쪽 영상의 화소와 오른쪽 영상에서 탐색한 화소의 변이 정보로서 깊이 정보에 해당한다. Edata(x,y,d) 함수는 Esim(x,y,d) 함수를 포함하며, 정합 함수의 정확도를 높이기 위해 추가적으로 Etemp(x,y,d) 함수 및 Eview(x,y,d) 함수를 더 포함할 수 있다. In
Esim(x,y,d) 함수는 왼쪽 영상과 오른쪽 영상의 화소값의 차이(intensity difference)를 구하는 함수이다. Esim(x,y,d) 함수는 도 2a와 같이 화소값의 차이를 비교하여 정합 위치를 찾을 수 있다.E sim (x, y, d) is a function that calculates the difference between the pixel values of the left and right images. The E sim (x, y, d) function can find a matching position by comparing the difference of pixel values as shown in FIG. 2A.
Etemp(x,y,d) 함수는 화소(x, y)가 포함된 현재 영상과 이전 영상의 깊이 정보의 차이를 구하는 함수로서 시간적 깊이 차이를 정합 함수에 반영한다. The E temp (x, y, d) function calculates the difference between depth information of the current image and the previous image including the pixels (x, y) and reflects the temporal depth difference to the matching function.
Eview(x,y,d) 함수는 화소(x, y)의 깊이 정보와 인접 시점의 깊이 정보(Di')의 차이를 구하는 함수로서 시점 간 깊이 차이를 정합 함수에 반영한다. The E view (x, y, d) function is a function for obtaining the difference between the depth information of the pixels (x, y) and the depth information (D i ' ) of the adjacent view and reflects the depth difference between the views to the matching function.
다음 도 2b를 참고하면, 정합 함수[E(x, y, d)]는 Esmooth(x,y,d) 함수를 더 포함하여 오차를 최소화한다. Esmooth(x,y,d) 함수는 화소(x,y)와 이웃한 화소, 예를 들면, 화소(x1,x1), 화소(x2,x2), 화소(x3,x3), 화소(x4,x4)의 깊이 정보[D(x1,x1), D(x2,x2), D(x3,x3), D(x4,x4)]의 차이를 구하는 함수로서 이웃 화소와의 깊이 차이를 정합 함수에 반영한다. 이때 Esmooth(x,y,d) 함수는 동일한 시점의 이웃 화소 외에도 인접 시점의 대응 화소의 깊이 정보를 추가로 이용할 수 있다.Next, referring to FIG. 2B, the matching function [E (x, y, d)] further includes an E smooth (x, y, d) function to minimize the error. The E smooth (x, y, d) function is a pixel adjacent to pixel (x, y), for example, pixel (x1, x1), pixel (x2, x2), pixel (x3, x3), pixel (x4). A function that calculates the difference between the depth information (D (x1, x1), D (x2, x2), D (x3, x3), and D (x4, x4)) of, x4). Reflect on. In this case, the E smooth (x, y, d) function may additionally use depth information of the corresponding pixel of the adjacent view in addition to the neighboring pixels of the same view.
다음에서 다시점 깊이 영상 생성 장치(300)가 정합 함수를 기초로 다시점 깊이 영상을 생성하는 방법에 대해 살펴본다.Next, a method of generating a multiview depth image by the multiview depth
도 3은 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method of generating a multiview depth image according to an embodiment of the present invention.
도 3을 참고하면, 다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상 중에서 왼쪽에 위치한 적어도 두 개의 색상 영상에 기초하여 왼쪽 시점에 해당하는 깊이 영상을 생성한다(S310). 이를 위해 다시점 깊이 영상 생성 장치(300)는 수학식 1의 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 구하고, 최소가 되는 깊이 정보(d)를 포함하는 깊이 영상을 생성한다. 특히 다시점 깊이 영상 생성 장치(300)는 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보[D(x1, x1), D(x2, x2), D(x3, x3), D(x4, x4)]를 포함하는 깊이 결정 정보에 기초하여 다시점 깊이 영상을 생성한다.Referring to FIG. 3, the multi-view depth
다시점 깊이 영상 생성 장치(300)는 단계(S310)와 동일한 방법으로 복수의 색상 영상 중에서 오른쪽에 위치한 적어도 두 개의 색상 영상에 기초하여 오른쪽 시점에 해당하는 깊이 영상을 생성한다(S320).The multi-view depth
다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상 중에서 가운데에 위치한 적어도 두 개의 색상 영상에 기초하여 깊이 영상의 깊이 정보, 즉 변이 정보를 계산한다(S330). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보(d)를 구한다.The multi-view depth
그리고 다시점 깊이 영상 생성 장치(300)는 단계(S330)에서 구한 깊이 정보(d)를 기초로 수학식 6의 Esmooth(x,y,d) 함수를 포함한 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 결정한다(S340). 이때 다시점 깊이 영상 생성 장치(300)는 이웃한 화소로 동일한 시점의 인접 화소와 함께 단계(S310, S320)에서 구한 깊이 영상의 화소를 추가적으로 이용한다. 즉, 다시점 깊이 영상 생성 장치(300)는 가운데 시점에 해당하는 깊이 영상을 생성할 때, 화소(x, y)에 이웃한 화소로서 다른 시점 즉, 왼쪽 및 오른쪽 시점의 대응 화소를 이용하여 오차를 최소화한다. 이때 다시점 깊이 영상 생성 장치(300)는 왼쪽 및 오른쪽 시점의 대응 화소는 왼쪽 시점에 해당하는 깊이 영상과 오른쪽 시점에 해당하는 깊이 영상을 가운데 시점으로 투영(warping)하여 대응하는 화소를 찾을 수 있다. 이렇게 연결된 대응 노드는 가운데 영상의 정합 함수의 오차 최소화 단계에서 추가적 노드의 역할을 한다.The multiview depth
이후 다시점 깊이 영상 생성 장치(300)는 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 최종 깊이값으로 결정하여 최종 깊이값을 포함하는 가운데 시점의 깊이 영상을 생성한다(S350).Thereafter, the multi-view depth
다음 다시점 깊이 영상 생성 장치(300)는 시점 사이의 상관도를 높이기 위해 가운데 시점의 각 화소에 대응하는 왼쪽 및 오른쪽 시점의 화소의 깊이 정보를 가운데 시점의 각 화소의 깊이 정보와 같은 값으로 변경한다(S360). 즉, 다시점 깊이 영상 생성 장치(300)는 시점 간의 대응 화소가 모두 동일한 깊이 정보를 갖도록 보정한다. 다시점 카메라의 간격이 일정한 경우, 여러 시점에 동일하게 존재하는 객체는 깊이 정보가 동일하지만, 깊이 영상 탐색 방법의 오차로 각 시점마다 다른 깊이 정보를 가질 수 있다. 그러나 이와 같이 시점 간에 대응하는 화소가 동일한 깊이 정보로 보정되면 시점 간 상관도가 높아질 수 있다.Next, the multiview depth
도 4는 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method of generating a multiview depth image according to an embodiment of the present invention.
도 4를 참고하여 다시점 깊이 영상 생성 장치(300)가 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법을 살펴보면, 다시점 깊이 영상 생성 장치(300)는 다시점 영상(10, 11, 12, 13, 14) 중 왼쪽에 위치한 영상(10, 11, 12)을 이용하여 깊이 정보를 계산한다(S410). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.Referring to FIG. 4, the multi-view depth
다시점 깊이 영상 생성 장치(300)는 가운데에 위치한 영상(11, 12, 13)을 이용하여 깊이 정보를 계산한다(S420). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.The multi-view depth
다시점 깊이 영상 생성 장치(300)는 오른쪽에 위치한 영상(12, 13, 14)을 이용하여 깊이 정보를 계산한다(S430). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.The multi-view depth
다시점 깊이 영상 생성 장치(300)는 영상(10, 11, 12)을 이용하여 계산한 깊이 정보에 기초하여 오차를 최소화한다(S440). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수와 수학식 6의 Esmooth(x,y,d) 함수를 동시에 고려하여 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보를 구한다. 이때 Esmooth(x,y,d) 함수는 화소(x, y)와 동일한 시점에서 인접한 4개의 화소가 이용될 수 있다. 이를 통해 왼쪽 시점에 해당하는 초기 깊이 영상(21)이 생성된다.The multi-view depth
마찬가지로 다시점 깊이 영상 생성 장치(300)는 영상(12, 13, 14)을 이용하여 계산한 깊이 정보에 기초하여 오차를 최소화한다(S450). 이를 통해 오른쪽 시점에 해당하는 초기 깊이 영상(23)이 생성된다.Likewise, the multiview depth
다시점 깊이 영상 생성 장치(300)는 가운데 시점에 해당하는 깊이 영상의 화소와 초기 깊이 영상(21, 23)의 대응 화소를 구하기 위해 초기 깊이 영상(21, 23)을 각각 가운데 시점으로 투영한다(S460, S470).The multi-view depth
다시점 깊이 영상 생성 장치(300)는 영상(11, 12, 13)을 이용하여 계산한 깊이 정보와 초기 깊이 영상(21, 23)의 깊이 정보에 기초하여 오차를 최소화한다(S480). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수와 수학식 6의 Esmooth(x,y,d) 함수를 동시에 고려하여 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보를 구한다. 특히 Esmooth(x,y,d) 함수는 화소(x, y)와 동일한 시점에서 인접한 4개의 화소 그리고 초기 깊이 영상(21, 23) 중 화소(x, y)에 각각 대응하는 화소가 이용될 수 있다. 이를 통해 가운데 시점에 해당하는 깊이 영상(32)이 생성된다. 그리고 다시점 깊이 영상 생성 장치(300)는 초기 깊이 영상(21, 23)에서 가운데 시점의 화소(x, y)에 대응하는 화소의 깊이 정보를 가운데 시점의 화소(x, y)와 동일한 값으로 변경하여 왼쪽 시점에 해당하는 깊이 영상(31)과 오른쪽 시점에 해당하는 깊이 영상(33)을 생성한다.The multi-view depth
도 5는 본 발명의 한 실시예에 따른 다시점 깊이 영상 생성 장치를 나타내는 블록도이다.5 is a block diagram illustrating an apparatus for generating a multiview depth image according to an embodiment of the present invention.
도 5를 참고하면, 다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상을 저장하는 영상 저장부(310), 왼쪽 시점에 해당하는 깊이 영상을 생성하는 왼쪽 깊이 영상 생성부(330), 오른쪽 시점에 해당하는 깊이 영상을 생성하는 오른쪽 깊이 영상 생성부(350), 가운데 시점에 해당하는 깊이 영상을 생성하는 가운데 깊이 영상 생성부(370), 그리고 시점 간 상관도 제어부(390)를 포함한다.Referring to FIG. 5, the
영상 저장부(310)는 복수의 색상 영상을 저장한다. 만약 다시점 깊이 영상 생성 장치(300)가 3차원 영상 생성 장치(100)에 형성되는 경우, 영상 저장부(310)는 다시점 카메라 등의 색상 카메라로부터 획득한 복수의 색상 영상을 저장하고, 다시점 깊이 영상 생성 장치(300)가 3차원 영상 재생 장치(200)에 형성되는 경우, 3차원 영상 생성 장치(100)로부터 수신한 복수의 색상 영상을 저장한다.The
왼쪽 깊이 영상 생성부(330)는 앞서 설명한 바와 같이 왼쪽에 위치한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 깊이 영상을 생성한다.As described above, the left
오른쪽 깊이 영상 생성부(350)는 앞서 설명한 바와 같이 오른쪽에 위치한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 깊이 영상을 생성한다.As described above, the right
가운데 깊이 영상 생성부(370) 역시 앞서 설명한 바와 같이 가운데 시점으로 투영된 왼쪽 및 오른쪽 깊이 영상에서 가운데 시점의 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 대응 화소 각각의 깊이 정보를 기초로 가운데 깊이 영상의 최종 깊이값을 결정하여 가운데 깊이 영상을 생성한다.As described above, the center
시점 간 상관도 제어부(390)는 왼쪽, 오른쪽 그리고 가운데 시점에 해당하는 깊이 영상 사이에서 대응 화소의 깊이 정보를 동일하게 변경하여 여러 시점에 동일하게 존재하는 객체의 깊이 정보를 동일하게 만든다.The
이와 같이 다시점 깊이 영상을 생성하면 깊이 정보를 탐색하는 과정에서 인접 시점의 정합 오차를 동시에 고려하여 정합 함수의 오차를 최소화함으로써 시점 간 상관도를 높여 생성한 다시점 깊이 영상을 이용한 합성 영상의 화질을 높일 수 있다.When multi-view depth images are generated, image quality of composite images using multi-view depth images generated by increasing the correlation between viewpoints by minimizing the error of the matching function while simultaneously considering the matching errors of adjacent viewpoints in the process of searching depth information. Can increase.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (25)
상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계,
상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고
상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.A method of generating a multiview depth image using a plurality of color images in a 3D image generating apparatus,
Generating a first depth image corresponding to the first view based on at least two color images for a first view among the plurality of color images;
Generating a second depth image corresponding to the second viewpoint based on at least two color images for a second viewpoint among the plurality of color images; and
Based on at least two color images, a first depth image, and a second depth image corresponding to the third viewpoint between the first viewpoint and the second viewpoint among the plurality of color images, the third viewpoint corresponds to the third viewpoint. Generating a third depth image
Multi-view depth image generation method comprising a.
상기 제3 깊이 영상을 생성하는 단계는
상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하는 단계, 그리고
상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.In claim 1,
The generating of the third depth image may include
Obtaining corresponding pixels corresponding to the pixels of the third depth image in the first depth image and the second depth image, and
Generating a third depth image by determining a final depth value of the third depth image based on depth information of each of the corresponding pixels;
Multi-view depth image generation method comprising a.
상기 대응 화소를 각각 구하는 단계는,
상기 제1 깊이 영상과 상기 제2 깊이 영상을 상기 제3 시점으로 투영하여 각각 구하는 단계를 포함하는 다시점 깊이 영상 생성 방법.In claim 2,
Obtaining the corresponding pixels, respectively,
And multiplying the first depth image and the second depth image to the third viewpoint to obtain each.
상기 대응 화소의 깊이 정보를 상기 최종 깊이값으로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계
를 더 포함하는 다시점 깊이 영상 생성 방법.In claim 2,
Correcting the first depth image and the second depth image by changing depth information of the corresponding pixel to the final depth value;
Multi-view depth image generation method further comprising.
상기 보정한 제1 깊이 영상, 상기 보정한 제2 깊이 영상 그리고 상기 제3 깊이 영상을 3차원 영상 재생 장치로 전송하는 단계
를 더 포함하는 다시점 깊이 영상 생성 방법.5. The method of claim 4,
Transmitting the corrected first depth image, the corrected second depth image, and the third depth image to a 3D image reproducing apparatus.
Multi-view depth image generation method further comprising.
상기 제3 깊이 영상을 생성하는 단계는
상기 제3 시점을 위한 적어도 두 개의 색상 영상 사이에서 대응되는 화소를 탐색하는 단계,
상기 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 탐색한 화소 중에서 정합 화소를 결정하는 단계, 그리고
상기 정합 화소의 위치 차이에 해당하는 최종 깊이값을 구하고, 상기 최종 깊이값을 포함하는 상기 제3 깊이 영상을 생성하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.In claim 1,
The generating of the third depth image may include
Searching for a corresponding pixel between at least two color images for the third viewpoint;
Determining a matching pixel among the searched pixels using the first depth image and the second depth image, and
Obtaining a final depth value corresponding to the position difference of the matching pixels and generating the third depth image including the final depth value;
Multi-view depth image generation method comprising a.
상기 대응되는 화소를 탐색하는 단계는
상기 제3 시점을 위한 적어도 두 개의 색상 영상 중에서 어느 하나의 색상 영상을 기준 영상으로 선택하는 단계, 그리고
상기 제3 시점을 위한 다른 색상 영상에서 상기 기준 영상의 각 화소에 대응하는 화소를 탐색하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.The method of claim 6,
Searching for the corresponding pixel
Selecting one color image from among at least two color images for the third viewpoint as a reference image, and
Searching for a pixel corresponding to each pixel of the reference image in another color image for the third viewpoint
Multi-view depth image generation method comprising a.
상기 정합 화소를 결정하는 단계는
상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소를 각각 구하는 단계, 그리고
상기 제1 대응 화소 및 상기 제2 대응 화소를 포함하는 이웃 화소 각각의 깊이 정보와 상기 각 화소의 깊이 정보의 차이인 이웃 화소와의 깊이 차이에 기초하여 상기 각 화소에 대응하는 화소를 결정하는 단계를 포함하며,
상기 각 화소의 깊이 정보는 상기 각 화소와 상기 탐색한 화소의 변이 정보에 기초하여 계산한 정보인 다시점 깊이 영상 생성 방법.In claim 7,
Determining the matching pixel
Obtaining a first corresponding pixel and a second corresponding pixel corresponding to each pixel in the first depth image and the second depth image, and
Determining a pixel corresponding to each pixel based on a depth difference between a depth pixel of each neighboring pixel including the first corresponding pixel and the second corresponding pixel and a neighboring pixel that is a difference between depth information of each pixel. Including;
And depth information of each pixel is information calculated based on variation information of each pixel and the searched pixel.
상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계를 더 포함하며,
상기 각 화소에 대응하는 화소를 결정하는 단계는
상기 화소값의 차이와 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.9. The method of claim 8,
Obtaining a difference between pixel values of each pixel and the searched pixel;
Determining a pixel corresponding to each pixel
Determining the searched pixel when the sum of the difference between the pixel value and the depth difference between the neighboring pixel is the minimum as a pixel corresponding to each pixel.
Multi-view depth image generation method comprising a.
상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 그리고
상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계
를 더 포함하며,
상기 각 화소에 대응하는 화소를 결정하는 단계는
상기 화소값의 차이, 상기 시간적 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.9. The method of claim 8,
Obtaining a difference between pixel values of each pixel and the searched pixel, and
Obtaining a temporal depth difference which is a difference between depth information of each pixel and depth information corresponding to each pixel in a previous image;
More,
Determining a pixel corresponding to each pixel
Determining the searched pixel as the pixel corresponding to each pixel when the sum of the pixel value, the temporal depth difference, and the depth difference with the neighboring pixel becomes minimum
Multi-view depth image generation method comprising a.
상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계,
상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계, 그리고
상기 각 화소의 깊이 정보와 인접 시점의 깊이 정보의 차이인 시점 간 깊이 차이를 구하는 단계
를 더 포함하며,
상기 각 화소에 대응하는 화소를 결정하는 단계는
상기 화소값의 차이, 상기 시간적 깊이 차이, 상기 시점 간 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.In paragraph 8
Obtaining a difference between pixel values of each pixel and the searched pixel;
Obtaining a temporal depth difference which is a difference between depth information of each pixel and depth information corresponding to each pixel in a previous image, and
Obtaining a depth difference between views, which is a difference between depth information of each pixel and depth information of an adjacent view;
More,
Determining a pixel corresponding to each pixel
Determining the searched pixel as the pixel corresponding to each pixel when the sum of the pixel value, the temporal depth difference, the depth difference between the viewpoints, and the depth difference with the neighboring pixel becomes minimum.
Multi-view depth image generation method comprising a.
상기 제1 깊이 영상을 생성하는 단계는
상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.In claim 1,
The generating of the first depth image may include
Generating the first depth image based on depth determination information including shift information between at least two color images for the first viewpoint.
상기 깊이 결정 정보는 인접한 화소의 깊이 정보를 더 포함하는 다시점 깊이 영상 생성 방법.The method of claim 12,
The depth determination information further includes depth information of adjacent pixels.
3차원 영상 생성 장치로부터 복수의 색상 영상을 수신하는 단계,
상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계,
상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고
상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.A method of generating a multiview depth image in a 3D image reproducing apparatus,
Receiving a plurality of color images from the 3D image generating apparatus;
Generating a first depth image corresponding to the first view based on at least two color images for a first view among the plurality of color images;
Generating a second depth image corresponding to the second viewpoint based on at least two color images for a second viewpoint among the plurality of color images; and
Based on at least two color images, a first depth image, and a second depth image corresponding to the third viewpoint between the first viewpoint and the second viewpoint among the plurality of color images, the third viewpoint corresponds to the third viewpoint. Generating a third depth image
Multi-view depth image generation method comprising a.
상기 제1 깊이 영상을 생성하는 단계는
상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.The method of claim 14,
The generating of the first depth image may include
Generating the first depth image based on depth determination information including shift information between at least two color images for the first viewpoint.
상기 깊이 결정 정보는 인접한 화소 각각의 깊이 정보를 더 포함하는 다시점 깊이 영상 생성 방법.16. The method of claim 15,
The depth determination information further includes depth information of each adjacent pixel.
상기 제3 깊이 영상을 생성하는 단계는
상기 제1 깊이 영상 및 상기 제2 깊이 영상을 상기 제3 시점으로 투영하는 단계, 그리고
투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계
를 포함하는 다시점 깊이 영상 생성 방법.The method of claim 14,
The generating of the third depth image may include
Projecting the first depth image and the second depth image to the third viewpoint; and
Corresponding pixels corresponding to the pixels of the third depth image are obtained from the projected first depth image and the second depth image, and the final depth value of the third depth image is determined based on depth information of each of the corresponding pixels. Generating the third depth image
Multi-view depth image generation method comprising a.
상기 최종 깊이값을 상기 대응 화소의 깊이 정보로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계
를 더 포함하는 다시점 깊이 영상 생성 방법.The method of claim 17,
Correcting the first depth image and the second depth image by changing the final depth value to depth information of the corresponding pixel;
Multi-view depth image generation method further comprising.
상기 제3 깊이 영상을 생성하는 단계는
상기 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상을 이용하여 구한 깊이 결정 정보에 기초하여 상기 제3 깊이 영상의 각 화소에 해당하는 깊이 정보를 구하고, 상기 깊이 정보를 상기 각 화소에 매핑하여 상기 제3 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.The method of claim 14,
The generating of the third depth image may include
Obtaining depth information corresponding to each pixel of the third depth image based on depth determination information obtained by using at least two color images, the first depth image, and the second depth image for the third viewpoint; Generating the third depth image by mapping depth information to the respective pixels.
상기 깊이 결정 정보는
상기 각 화소의 변이 정보와 상기 각 화소에 이웃한 화소 각각의 깊이 정보를 포함하며,
상기 이웃한 화소는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소 그리고 상기 각 화소의 인접 화소를 포함하는 다시점 깊이 영상 생성 방법.The method of claim 19,
The depth determination information is
The variation information of each pixel and depth information of each pixel adjacent to each pixel,
The neighboring pixel includes a first corresponding pixel and a second corresponding pixel corresponding to each pixel in the first depth image and the second depth image, and a neighboring pixel of each pixel.
상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 제1 깊이 영상 생성부,
상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 제2 깊이 영상 생성부, 그리고
상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 제3 깊이 영상 생성부
를 포함하는 다시점 깊이 영상 생성 장치.Image storage unit for storing a plurality of color images,
A first depth image generator configured to generate a first depth image corresponding to the first viewpoint based on at least two color images for a first viewpoint among the plurality of color images;
A second depth image generator configured to generate a second depth image corresponding to the second viewpoint based on at least two color images for a second viewpoint among the plurality of color images; and
Based on at least two color images, a first depth image, and a second depth image corresponding to the third viewpoint between the first viewpoint and the second viewpoint among the plurality of color images, the third viewpoint corresponds to the third viewpoint. Third depth image generator for generating a third depth image
Multi-view depth image generating device comprising a.
상기 제1 깊이 영상 생성부는
상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하고,
상기 제2 깊이 영상 생성부는
상기 제2 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제2 깊이 영상을 생성하는 다시점 깊이 영상 생성 장치.22. The method of claim 21,
The first depth image generator
Generating the first depth image based on the depth determination information including the shift information between at least two color images for the first viewpoint and the depth information of an adjacent pixel,
The second depth image generator
And generating the second depth image based on the depth determination information including the shift information between at least two color images for the second view and the depth information of adjacent pixels.
상기 제3 깊이 영상 생성부는
상기 제3 시점으로 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 다시점 깊이 영상 생성 장치.22. The method of claim 21,
The third depth image generator
The corresponding pixels corresponding to the pixels of the third depth image are respectively obtained from the first depth image and the second depth image projected to the third viewpoint, and the final depth of the third depth image is based on depth information of each of the corresponding pixels. A multi-view depth image generating apparatus generating the third depth image by determining a depth value.
상기 제1 깊이 영상 및 상기 제2 깊이 영상의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보에 기초하여 보정하는 시점 간 상관도 제어부
를 더 포함하는 다시점 깊이 영상 생성 장치.22. The method of claim 21,
A correlation controller between points of time in which depth information of the first depth image and the second depth image is corrected based on depth information of the third depth image;
Multi-view depth image generating device further comprising.
상기 시점 간 상관도 제어부는
상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상에 대응하는 화소의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보와 동일하게 변경하는 다시점 깊이 영상 생성 장치.25. The method of claim 24,
The correlation control unit between the time points
And a depth information of the pixel corresponding to the third depth image in the first depth image and the second depth image to be identical to the depth information of the third depth image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100123754A KR101233399B1 (en) | 2010-12-06 | 2010-12-06 | Method and apparatus for generating multi-view depth map |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100123754A KR101233399B1 (en) | 2010-12-06 | 2010-12-06 | Method and apparatus for generating multi-view depth map |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120062477A true KR20120062477A (en) | 2012-06-14 |
KR101233399B1 KR101233399B1 (en) | 2013-02-15 |
Family
ID=46683417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100123754A KR101233399B1 (en) | 2010-12-06 | 2010-12-06 | Method and apparatus for generating multi-view depth map |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101233399B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014137053A1 (en) * | 2013-03-05 | 2014-09-12 | 엘지전자 주식회사 | Image processing device and method therefor |
WO2016056735A1 (en) * | 2014-10-10 | 2016-04-14 | 삼성전자 주식회사 | Multiview image display device and control method therefor |
KR102515405B1 (en) * | 2021-11-09 | 2023-03-30 | 한국전자기술연구원 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100424401B1 (en) * | 2001-11-02 | 2004-03-24 | 전자부품연구원 | 3D Stereoscopic Multiview video system include Searching function |
KR101526948B1 (en) * | 2008-02-25 | 2015-06-11 | 삼성전자주식회사 | 3D Image Processing |
KR101497503B1 (en) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | Method and apparatus for generating depth map for conversion two dimensional image to three dimensional image |
-
2010
- 2010-12-06 KR KR1020100123754A patent/KR101233399B1/en not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014137053A1 (en) * | 2013-03-05 | 2014-09-12 | 엘지전자 주식회사 | Image processing device and method therefor |
WO2016056735A1 (en) * | 2014-10-10 | 2016-04-14 | 삼성전자 주식회사 | Multiview image display device and control method therefor |
CN106797462A (en) * | 2014-10-10 | 2017-05-31 | 三星电子株式会社 | Multi-view image display device and its control method |
US10805601B2 (en) | 2014-10-10 | 2020-10-13 | Samsung Electronics Co., Ltd. | Multiview image display device and control method therefor |
KR102515405B1 (en) * | 2021-11-09 | 2023-03-30 | 한국전자기술연구원 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
WO2023085492A1 (en) * | 2021-11-09 | 2023-05-19 | 한국전자기술연구원 | Method for supporting 3d space map for ar content using kinect devices, and electronic device supporting same |
Also Published As
Publication number | Publication date |
---|---|
KR101233399B1 (en) | 2013-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7143905B2 (en) | Image processing device and method | |
US8351685B2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
JP5763184B2 (en) | Calculation of parallax for 3D images | |
JP5561781B2 (en) | Method and system for converting 2D image data into stereoscopic image data | |
JP6911765B2 (en) | Image processing device and image processing method | |
KR102527566B1 (en) | Image processing device and image processing method | |
JP5303754B2 (en) | Multi-view video encoding method, multi-view video decoding method, multi-view video encoding device, multi-view video decoding device, and program | |
JP6734620B2 (en) | Video processing method and video processing apparatus | |
US10085039B2 (en) | Method and apparatus of virtual depth values in 3D video coding | |
KR20100008677A (en) | Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same | |
JP2010226500A (en) | Device and method for displaying stereoscopic image | |
US11317124B2 (en) | Apparatus and method for generating an image data stream | |
KR101233399B1 (en) | Method and apparatus for generating multi-view depth map | |
US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
JP4944046B2 (en) | Video encoding method, decoding method, encoding device, decoding device, program thereof, and computer-readable recording medium | |
JP2008022421A (en) | Multi-viewpoint image compression encoding method, apparatus and program | |
KR101868017B1 (en) | Method for stereo matching and apparatus thereof | |
KR20110060180A (en) | Method and apparatus for producing 3d models by interactively selecting interested objects | |
JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus | |
JP4815004B2 (en) | Multi-view image encoding device | |
JP5088973B2 (en) | Stereo imaging device and imaging method thereof | |
WO2017082077A1 (en) | Image processing device and image processing method | |
KR20170077331A (en) | Arbitrary View Image Generation Method and System | |
KR101192313B1 (en) | Method for Temporal Consistency Enhancement of Depth Map | |
JP6599634B2 (en) | Multi-view image encoding device, multi-view image decoding device, auxiliary information generation device, image restoration device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151217 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161219 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |