KR101378190B1 - Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same - Google Patents

Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same Download PDF

Info

Publication number
KR101378190B1
KR101378190B1 KR1020120111071A KR20120111071A KR101378190B1 KR 101378190 B1 KR101378190 B1 KR 101378190B1 KR 1020120111071 A KR1020120111071 A KR 1020120111071A KR 20120111071 A KR20120111071 A KR 20120111071A KR 101378190 B1 KR101378190 B1 KR 101378190B1
Authority
KR
South Korea
Prior art keywords
resolution depth
depth map
edge
distance
low resolution
Prior art date
Application number
KR1020120111071A
Other languages
Korean (ko)
Inventor
김만배
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020120111071A priority Critical patent/KR101378190B1/en
Application granted granted Critical
Publication of KR101378190B1 publication Critical patent/KR101378190B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Abstract

The present invention relates to a method for generating a depth map of high quality and high resolution from a low resolution depth map. The method includes the following steps of: generating an edge map by extracting an edge from the low resolution depth map; performing a distance conversion by a method for obtaining a distance from pixels except the edge to the closest edge in the edge map; performing a bilateral interpolation based on the distance conversion; and generating a high resolution depth map through a bilateral interpolation process based on the distance conversion. The method is able to generate the high resolution depth map by solving the problem of an existing bilateral interpolation method. [Reference numerals] (AA) Start; (BB) End; (S101) Low resolution depth map expansion; (S103) Edge map generation; (S105) Distance conversion; (S107) Bilateral interpolation; (S109) High resolution depth map generation

Description

거리변환 기반 양측 보간을 이용하여 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 {Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same}Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same}

본 발명은 깊이 맵(depth map)에 관한 것으로서, 더욱 상세하게는 저해상도 깊이맵으로부터 고품질(high quality) 고해상도(high-resolution) 깊이맵을 생성하는 방법에 관한 것이다.
FIELD OF THE INVENTION The present invention relates to depth maps and, more particularly, to a method for generating a high quality high-resolution depth map from a low resolution depth map.

최근, 다양한 3D 디스플레이와 3D TV 시장의 확대로 3D 데이터, 다시점 영상(multi-view image) 및 입체영상(stereoscopic image) 생성에 중요한 깊이맵 (depth map)에 대한 관심이 증대되고 있다. Recently, with the expansion of various 3D displays and 3D TV markets, interest in depth maps, which are important for generating 3D data, multi-view images, and stereoscopic images, has increased.

깊이맵은 다양한 입체영상, 다시점 영상, 3D 모델링 등에 활용이 가능하다. 깊이맵을 얻을 수 있는 방법은 일반적으로 세 가지이다. The depth map can be used for various stereoscopic images, multi-view images, and 3D modeling. There are generally three ways to get a depth map.

첫번째 방법은 3D 입체 카메라를 이용하는 방법이다. 상업용 3D 입체 카메라가 시장에 많이 보급되고 있는데, 두 대의 카메라로 구성된 스테레오 카메라를 이용하여 좌우영상을 획득한 후에, 스테레오 매칭(stereo matching) 기법으로 깊이맵을 얻을 수 있다.The first method is to use a 3D stereoscopic camera. Commercial 3D stereoscopic cameras are widely used in the market. After acquiring left and right images using a stereo camera composed of two cameras, a depth map can be obtained by stereo matching.

두번째 방법은 TOF(Time-of-flight) 기반 깊이카메라(depth camera)를 사용하여 직접 깊이맵을 얻을 수 있다. 현재 다수의 상업용 깊이카메라가 출시되어 있는 상태이다.The second method is to obtain a depth map directly using a time-of-flight (TOF) based depth camera. Many commercial depth cameras are currently on the market.

마지막으로 자동 또는 수동 2D-to-3D 변환으로부터 깊이맵을 얻을 수 있다.Finally, you can get a depth map from an automatic or manual 2D-to-3D transformation.

그런데, 깊이카메라로부터 얻어진 깊이맵은 해상도가 낮고, 품질이 저하되는 경우가 다수 발생하고 있다. 또한 FHD(Full High Definition) TV, UD(Ultra Definition) TV 등 디스플레이 기기의 해상도의 증가로 인하여, 기 제작된 저해상도(low-resolution) 깊이맵의 해상도를 높혀야할 필요성이 있다. 예를 들어 2K FHD급 깊이맵을 4K UDTV에 사용하려면, 해상도를 증가시키는 것이 필수적이다.
By the way, the depth map obtained from the depth camera has low resolution, and many cases of the quality fall. In addition, due to an increase in the resolution of display devices such as a full high definition (FHD) TV and an ultra definition (UD) TV, there is a need to increase the resolution of a low-resolution depth map. For example, to use 2K FHD depth maps for 4K UDTV, it is necessary to increase the resolution.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 기존의 양측 보간(bilateral interpolation) 방법에 거리 변환(distance transform) 방법을 혼합하여 저품질 저해상도 깊이맵으로부터 품질이 향상된 고해상도 깊이맵을 생성하는 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, a method for generating a high quality depth map with improved quality from a low quality low resolution depth map by mixing the distance transform method with the existing bilateral interpolation method The purpose is to provide.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명은 저 해상도 깊이 맵(low resolution depth map)에서 에지(edge)를 추출하여 에지 맵(edge map)을 생성하는 단계, 상기 에지 맵에서 에지를 제외한 픽셀에서 가장 가까운 에지까지의 거리를 구하는 방식으로 거리 변환(distance transform)을 수행하는 단계, 상기 거리 변환을 기반으로 양측 보간(bilateral interpolation)을 수행하는 단계 및 상기 거리 변환을 기반으로 한 양측 보간 과정을 통해 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다.In order to achieve the above object, the present invention extracts an edge from a low resolution depth map to generate an edge map, the edge map being closest to pixels except for edges. Performing a distance transform in a manner of obtaining a distance to an edge, performing a bilateral interpolation based on the distance transform, and a bilateral interpolation process based on the distance transform Generating a high resolution depth map.

전방향 매핑(forward mapping)을 이용하여 상기 저 해상도 깊이 맵을 확대하는 단계를 더 포함하고, 상기 확대된 저 해상도 깊이 맵에 대하여 상기 거리 변환을 기반으로 양측 보간을 수행할 수 있다.The method may further include enlarging the low resolution depth map using forward mapping, and bilateral interpolation may be performed on the enlarged low resolution depth map based on the distance transformation.

상기 거리 변환을 기반으로 양측 보간(bilateral interpolation)을 수행하는 단계는, f는 공간영역(spatial domain) 가중치이고, g는 범위영역(range domain) 가중치이고, τ는 거리변환값이고, K(τ)는 거리 변환의 공간 영역 가중치 조정 함수이고,

Figure 112012081075963-pat00001
라고 할 때, 공간영역 가중치 f는
Figure 112012081075963-pat00002
의 수식으로 정의되고, 범위영역 가중치 g는
Figure 112012081075963-pat00003
의 수식으로 정의되고, 가중치 wq는
Figure 112012081075963-pat00004
의 수식으로 정의될 때, 보간해야 할 고 해상도 깊이 맵 DH의 픽셀 p의 깊이값을
Figure 112012081075963-pat00005
라 하고, 저 해상도 깊이 맵 DL의 픽셀 q의 깊이값을
Figure 112012081075963-pat00006
라 하고, 필터 크기를 S라고 할 때,
Figure 112012081075963-pat00007
의 수식으로 나타낼 수 있다.
Performing bilateral interpolation based on the distance transformation, f is a spatial domain weight, g is a range domain weight, τ is a distance transform value, and K (τ). ) Is the spatial domain weighting function of the distance transform,
Figure 112012081075963-pat00001
In this case, the spatial domain weight f is
Figure 112012081075963-pat00002
Is defined by the formula
Figure 112012081075963-pat00003
And the weight w q is
Figure 112012081075963-pat00004
Defines the depth value of pixel p of the high resolution depth map D H to be interpolated when
Figure 112012081075963-pat00005
The depth value of pixel q of the low resolution depth map D L
Figure 112012081075963-pat00006
Let's say that filter size is S
Figure 112012081075963-pat00007
It can be represented by the formula of.

본 발명에 의하면 기존 양측 보간법의 문제점을 개선하여 고 해상도 깊이 맵을 생성할 수 있는 효과가 있다. According to the present invention, there is an effect of generating a high resolution depth map by improving a problem of the existing bilateral interpolation method.

본 발명의 고해상도 깊이맵 생성 방법은 향후 입체영상, 다시점 영상처리, 2D-to-3D 변환 및 홀로그램(hologram) 등의 3D 콘텐츠의 입체감 개선에 적용할 수 있을 것으로 기대된다.
The high resolution depth map generation method of the present invention is expected to be applicable to 3D improvement of 3D contents such as stereoscopic image, multi-view image processing, 2D-to-3D conversion and hologram.

도 1은 본 발명의 일 실시예에 따른 고 해상도 깊이 맵 생성 방법을 보여주는 흐름도이다.
도 2는 양측 보간에서 중심 픽셀이 에지 영역의 우측에 있는 경우의 그래프이다.
도 3은 깊이 맵의 거리 변환을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 양측 보간에서 중심 픽셀이 에지 영역의 우측에 있는 경우의 그래프이다.
도 5는 본 발명의 일 실시예에 따른 가중치 함수 wq를 도시한 그래프이다.1 is a flowchart illustrating a method of generating a high resolution depth map according to an embodiment of the present invention.
2 is a graph when the center pixel is to the right of the edge region in both interpolation.
3 is a diagram for explaining a distance transformation of a depth map.
4 is a graph when the center pixel is to the right of the edge region in both side interpolation according to an embodiment of the present invention.
5 is a graph illustrating a weight function w q according to an embodiment of the present invention.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Also, throughout this specification, when a component is referred to as "comprising ", it means that it can include other components, aside from other components, .

본 발명에서 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 일종의 알고리즘이며 소프트웨어 개념이다. 따라서, 그 제어부나 프로세서(processor)일 수 있다. 즉, 본 발명의 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 일종의 소프트웨어인 알고리즘이며, 이러한 소프트웨어는 컴퓨터의 제어부 또는 프로세서(processor)에서 실행될 수 있다.The method for generating a high resolution depth map from a low resolution depth map in the present invention is a kind of algorithm and software concept. Therefore, it may be a control unit or a processor. That is, the method for generating a high resolution depth map from the low resolution depth map of the present invention is an algorithm that is a kind of software, and such software may be executed in a controller or a processor of a computer.

도 1은 본 발명의 일 실시예에 따른 고 해상도 깊이 맵 생성 방법을 보여주는 흐름도이다.1 is a flowchart illustrating a method of generating a high resolution depth map according to an embodiment of the present invention.

전방향 매핑(forward mapping)을 이용하여 저 해상도 깊이 맵(low resolution depth map)을 확대한다(S101). 본 발명의 일 실시예에서 S101 단계는 전방향 매핑(forward mapping)을 이용하여 스케일링 벡터 Γ=(νx, νy)에 따라 저 해상도 깊이 맵을 확대할 수 있다.The low resolution depth map is enlarged using forward mapping (S101). In an embodiment of the present invention, step S101 may enlarge the low resolution depth map according to the scaling vector Γ = (ν x , ν y ) by using forward mapping.

다음, 저 해상도 깊이 맵(low resolution depth map)에서 에지(edge)를 추출하여 에지 맵(edge map)을 생성한다(S103).Next, an edge is extracted from a low resolution depth map to generate an edge map (S103).

다음, 에지 맵에서 에지를 제외한 픽셀에서 가장 가까운 에지까지의 거리를 구하는 방식으로 거리 변환(distance transform)을 수행한다(S105).Next, a distance transform is performed by obtaining a distance from the pixel except for the edge to the nearest edge in the edge map (S105).

다음, 확대된 저 해상도 깊이 맵에 대하여 거리 변환을 기반으로 양측 보간(bilateral interpolation)을 수행한다(S107).Next, bilateral interpolation is performed on the enlarged low resolution depth map based on the distance transformation (S107).

그리고, 거리 변환을 기반으로 한 양측 보간 과정을 통해 고 해상도 깊이 맵(high resolution depth map)을 생성한다(S109).
In operation S109, a high resolution depth map is generated through bilateral interpolation based on the distance transformation.

이제 먼저 기존의 양측 보간(Bilateral Interpolation)법을 설명하고, 기존의 양측 보간법의 문제점을 개선한 본 발명의 거리변환 기반 양측 보간법에 대해 설명하기로 한다. Now, the bilateral interpolation method will be described first, and then the distance transformation based bilateral interpolation method of the present invention will be described.

양측 보간은 다음과 같이 구할 수 있다.Bilateral interpolation can be obtained as

Figure 112012081075963-pat00008
Figure 112012081075963-pat00008

여기서 S는 필터 크기이다.Where S is the filter size.

수학식 1에서 보는 바와 같이, 보간해야 할 고 해상도 깊이 맵 DH의 픽셀 p의 깊이값

Figure 112012081075963-pat00009
은 저 해상도 깊이 맵 DL의 픽셀 q의 깊이값
Figure 112012081075963-pat00010
의 가중치(weight) 함수로 구해진다.As shown in Equation 1, the depth value of the pixel p of the high resolution depth map D H to be interpolated.
Figure 112012081075963-pat00009
Is the depth value of pixel q of the low resolution depth map D L
Figure 112012081075963-pat00010
It is obtained by the weight function of.

수학식 1에서 가중치 wq는 공간 영역(spatial domain) 가중치 f와, 범위 영역(range domain) 가중치 g의 곱으로 정의되는데, 다음 수학식 2와 같다.In Equation 1, the weight w q is defined as a product of a spatial domain weight f and a range domain weight g, as shown in Equation 2 below.

Figure 112012081075963-pat00011
Figure 112012081075963-pat00011

수학식 2에서 f는 다음 수학식 3과 같이 정의된다.In Equation 2, f is defined as in Equation 3 below.

Figure 112012081075963-pat00012
Figure 112012081075963-pat00012

여기서, ∥p-q∥는 두 픽셀 p=(px, py), q=(qx, qy)의 거리값으로서, 다음 수학식 4와 같이 계산된다. 그리고, 수학식 3에서 σa는 함수의 표준편차(standard deviation)로서 사용자가 정할 수 있다.Here, pq is a distance value of two pixels p = (p x , p y ), q = (q x , q y ), and is calculated as in Equation 4 below. In Equation 3, σ a can be determined by the user as a standard deviation of the function.

Figure 112012081075963-pat00013
Figure 112012081075963-pat00013

공간 영역 가중치 f는 픽셀간의 거리에 따라 가중치 값이 달라진다. 즉, f는 중심 픽셀 p와 인접 픽셀 q 간의 거리가 짧을수록 가중치가 커지며, 멀어질수록 작아진다.The spatial domain weight f varies in weight depending on the distance between pixels. That is, f has a larger weight as the distance between the center pixel p and the adjacent pixel q is shorter and becomes smaller as it is farther away.

범위 영역 가중치 g는 픽셀의 깊이값의 차이를 사용한다. 즉, g는 인접한 픽셀과 중심 픽셀의 픽셀 값의 차이가 작을수록 가중치가 커지며, 차이가 클수록 가중치는 작아진다. 따라서 g는 다음 수학식 5와 같이 정의된다.The range region weight g uses the difference in the depth values of the pixels. That is, g has a larger weight as the difference between the pixel values of the adjacent pixel and the center pixel is smaller, and the weight is smaller as the difference is larger. Therefore g is defined as in Equation 5 below.

Figure 112012081075963-pat00014
Figure 112012081075963-pat00014

여기서 σb는 함수의 표준편차(standard deviation)로서 사용자가 정할 수 있다.Where σ b is the standard deviation of the function.

이러한 양측 보간에서 공간 영역 가중치 f의 경우 에지(edge)의 유무에 상관없이 거리에 비례하여 가중치가 적용되는데, 이를 도면을 참조하며 설명하면 다음과 같다.In both interpolations, the spatial domain weight f is weighted in proportion to the distance regardless of the presence or absence of an edge, which will be described below with reference to the accompanying drawings.

도 2는 양측 보간에서 중심 픽셀이 에지 영역의 우측에 있는 경우의 그래프로서, (a)는 깊이 값이고, (b)는 범위 영역 가중치 g이고, (c)는 공간 영역 가중치 f이고, (d)는 가중치 wq를 도시한 그래프이다.2 is a graph in which the center pixel is on the right side of the edge region in both interpolation, (a) is a depth value, (b) is a range domain weight g, (c) is a spatial domain weight f, and (d Is a graph showing the weight w q .

도 2에서, (a)는 깊이 맵의 스캔라인(scanline)의 깊이값이다. 이론적으로, p가 에지영역의 우측에 있으면, p는 자신의 우측에 있는 깊이값들과 유사하므로, 가능하면 동일한 가중치 값을 가져야한다. (b)에서 g 값은 이러한 조건을 만족하지만, (c)의 f값은 이러한 조건을 만족하지 않는다. 따라서, (d)를 참조하면 가중치 wq의 그래프는 중심픽셀의 가중치가 최고이며, 거리에 따라서 에지영역의 좌측도 지수적으로 감소하여, 성능이 감소하게 된다.In FIG. 2, (a) is a depth value of a scanline of a depth map. Theoretically, if p is on the right side of the edge region, p should be similar to the depth values on its right side and should have the same weight value if possible. The g value in (b) satisfies this condition, but the f value in (c) does not satisfy this condition. Therefore, referring to (d), the graph of the weight w q has the highest weight of the center pixel, and the left side of the edge region also decreases exponentially with distance, resulting in decreased performance.

도 2에서는 보간할 중심 픽셀이 에지 영역의 우측에 있는 경우이지만, 보간할 중심 픽셀이 에지 영역의 좌측에 있는 경우도 동일한 결과를 나타낸다.
In FIG. 2, the center pixel to be interpolated is on the right side of the edge region, but the same result is shown when the center pixel to be interpolated is on the left side of the edge region.

깊이 맵의 에지는 객체의 경계에 해당되기 때문에 매우 중요한 요소이다. 에지를 경계로 어느 부분의 픽셀값을 참조하는가에 따라 최종 깊이값이 달라지기 때문이다. 이러한 기존 양측 보간의 문제점을 개선하기 위하여 에지의 위치를 활용하는 방법인 거리변환(distance transform)을 사용한다. The edge of the depth map is very important because it corresponds to the boundary of the object. This is because the final depth value depends on which part of the pixel value is referenced along the edge. In order to improve the problem of the existing bilateral interpolation, a distance transform is used.

본 발명의 일 실시예에 따른 거리변환을 설명하면 다음과 같다.Referring to the distance transformation according to an embodiment of the present invention.

거리 변환(distance transform)은 한 픽셀에서 가장 가까운 픽셀까지의 거리를 구하는 연산이다. The distance transform is an operation that calculates the distance from one pixel to the nearest pixel.

먼저, 저 해상도 깊이 맵에서 에지 연산자(edge operator)를 이용하여 에지 맵(edge map)을 생성한다. First, an edge map is generated using an edge operator in a low resolution depth map.

그리고, 에지가 아닌 픽셀들에 대하여 현 위치에서부터 여덟 방향(eight directions)으로 가장 가까운 에지를 찾은 다음, 그 거리(distance)를 구하면 그 값이 거리변환 값이 된다. Then, after finding the nearest edge in eight directions from the current position with respect to the pixels other than the edges, the distance is calculated as the distance conversion value.

도 3은 깊이 맵의 거리 변환을 설명하기 위한 도면이다. 3 is a diagram for explaining a distance transformation of a depth map.

도 3에서 검정 픽셀이 에지라고 할 때, 다른 픽셀들의 거리변환값을 보여주고 있다.In FIG. 3, when the black pixel is an edge, the distance conversion value of other pixels is shown.

도 3에서 에지는 0의 값을 갖고, 나머지 픽셀들은 1~5의 거리변환값을 나타내고 있다.
In FIG. 3, the edge has a value of 0, and the remaining pixels represent distance transformation values of 1 to 5. FIG.

이제 본 발명의 일 실시예에 따는 거리변환을 사용하는 양측 보간에 대해 설명하면 다음과 같다.Now, a bilateral interpolation using a distance transformation according to an embodiment of the present invention will be described.

다음 수학식 6은 거리변환을 가중치로 사용하는 양측 보간법을 나타낸다.Equation 6 below shows a bilateral interpolation method using a distance transform as a weight.

Figure 112012081075963-pat00015
Figure 112012081075963-pat00015

여기서,

Figure 112012081075963-pat00016
는 거리변환으로 양측 보간한 고 해상도 깊이 맵의 깊이값이다.here,
Figure 112012081075963-pat00016
Is the depth value of the high resolution depth map bilaterally interpolated by the distance transform.

수학식 6에서 가중치 wq는 다음 수학식 7에 의해 정의된다.The weight w q in Equation 6 is defined by Equation 7 below.

Figure 112012081075963-pat00017
Figure 112012081075963-pat00017

여기서 τ는 거리변환값이고, K(τ)는 τ의 함수이다.Where τ is the distance transformation value and K (τ) is a function of τ.

기존의 양측 보간은 픽셀이 에지 여부에 상관없이 거리에 비례하여 동일한 공간영역 가중치 값을 적용하는 것이 비해, 본 발명에서는 에지에 적응적인 공간영역 가중치를 다음 수학식 8과 같이 정의한다. In the conventional bilateral interpolation, the spatial domain weight value that is adaptive to the edge is defined as shown in Equation 8, in contrast to applying the same spatial domain weight value in proportion to the distance regardless of whether the pixel is an edge.

Figure 112012081075963-pat00018
Figure 112012081075963-pat00018

여기서, f는 공간영역 가중치이고, g는 범위영역 가중치이고, K(τ)는 거리변환의 공간영역 가중치 조정 함수이다.Here, f is a spatial domain weight, g is a range domain weight, and K (τ) is a spatial domain weight adjustment function of the distance transform.

본 발명에서 K(τ)는 다음 수학식 9와 같이 정의된다.In the present invention, K (τ) is defined as in the following equation (9).

Figure 112012081075963-pat00019
Figure 112012081075963-pat00019

본 발명에서 범위영역 가중치 g는 다음 수학식 10과 같이 정의된다.In the present invention, the range domain weight g is defined as in Equation 10 below.

Figure 112012081075963-pat00020
Figure 112012081075963-pat00020

도 4는 본 발명의 일 실시예에 따른 양측 보간에서 중심 픽셀이 에지 영역의 우측에 있는 경우의 그래프로서, (a)는 깊이 값이고, (b)는 범위 영역 가중치 g이고, (c)는 공간 영역 가중치 조정 함수 K(τ)이고, (d)는 공간 영역 가중치 f를 도시한 그래프이다.4 is a graph in which the center pixel is on the right side of the edge region in both side interpolation according to an embodiment of the present invention, where (a) is a depth value, (b) is a range region weight g, and (c) is The spatial domain weight adjustment function K (τ), and (d) is a graph showing the spatial domain weight f.

도 4를 도 2와 비교해 보면, 가장 큰 차이는 도 4(d)의 공간 영역 가중치 f이다. 도 4 (d)를 도 2 (c)와 비교해 보면, 본 발명에서는 중심 픽셀의 우측에서 유사한 값의 가중치를 얻을 수 있음을 알 수 있다.Comparing FIG. 4 with FIG. 2, the largest difference is the spatial domain weight f in FIG. 4 (d). Comparing FIG. 4 (d) with FIG. 2 (c), it can be seen that in the present invention, similar weights can be obtained from the right side of the center pixel.

도 5는 본 발명의 일 실시예에 따른 가중치 함수 wq를 도시한 그래프이다.5 is a graph illustrating a weight function w q according to an embodiment of the present invention.

도 5를 참조하면, 중심 픽셀과 유사한 깊이값을 갖는 픽셀들은 유사한 가중치 값을 갖는 것을 확인할 수 있다.
Referring to FIG. 5, it can be seen that pixels having a depth value similar to that of the center pixel have similar weight values.

한편, 본 발명의 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.On the other hand, the method for generating a high resolution depth map from a low resolution depth map according to an embodiment of the present invention can be implemented as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , Optical data storage devices, and the like, as well as carrier waves (for example, transmission over the Internet).

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
In addition, the computer readable recording medium may be distributed and executed in a computer system connected to a computer communication network, and may be stored and executed as a code readable in a distributed manner.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

Claims (4)

저 해상도 깊이 맵(low resolution depth map)에서 에지(edge)를 추출하여 에지 맵(edge map)을 생성하는 단계;
상기 에지 맵에서 에지를 제외한 모든 픽셀에서 각 픽셀로부터 가장 가까운 에지까지의 거리를 각각 구하는 방식으로 거리 변환(distance transform)을 수행하는 단계;
상기 거리 변환을 기반으로 양측 보간(bilateral interpolation)을 수행하는 단계; 및
상기 거리 변환을 기반으로 한 양측 보간 과정을 통해 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함하는 고 해상도 깊이 맵 생성 방법.
Extracting an edge from a low resolution depth map to generate an edge map;
Performing distance transform in a manner of obtaining a distance from each pixel to the nearest edge in all pixels except edges in the edge map;
Performing bilateral interpolation based on the distance transformation; And
And generating a high resolution depth map through a bilateral interpolation process based on the distance transformation.
제1항에 있어서,
전방향 매핑(forward mapping)을 이용하여 상기 저 해상도 깊이 맵을 확대하는 단계를 더 포함하고,
상기 확대된 저 해상도 깊이 맵에 대하여 상기 거리 변환을 기반으로 양측 보간을 수행하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
The method of claim 1,
Enlarging the low resolution depth map using forward mapping,
And performing bilateral interpolation on the enlarged low resolution depth map based on the distance transformation.
삭제delete 제1항 또는 제2항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A computer-readable recording medium having recorded thereon a program capable of executing the method of claim 1 or 2.
KR1020120111071A 2012-10-08 2012-10-08 Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same KR101378190B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120111071A KR101378190B1 (en) 2012-10-08 2012-10-08 Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120111071A KR101378190B1 (en) 2012-10-08 2012-10-08 Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same

Publications (1)

Publication Number Publication Date
KR101378190B1 true KR101378190B1 (en) 2014-03-24

Family

ID=50649555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120111071A KR101378190B1 (en) 2012-10-08 2012-10-08 Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same

Country Status (1)

Country Link
KR (1) KR101378190B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510702A (en) 1999-09-17 2003-03-18 トムソン マルチメディア How to build a 3D scene by analyzing a series of images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510702A (en) 1999-09-17 2003-03-18 トムソン マルチメディア How to build a 3D scene by analyzing a series of images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion

Similar Documents

Publication Publication Date Title
US9412151B2 (en) Image processing apparatus and image processing method
US9361725B2 (en) Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium
JP6094863B2 (en) Image processing apparatus, image processing method, program, integrated circuit
JP5156837B2 (en) System and method for depth map extraction using region-based filtering
EP2074586B1 (en) Image enhancement
US9117295B2 (en) Refinement of depth maps by fusion of multiple estimates
JP6147275B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP5665135B2 (en) Image display device, image generation device, image display method, image generation method, and program
KR101584115B1 (en) Device for generating visual attention map and method thereof
TW201029443A (en) Method and device for generating a depth map
EP2974336B1 (en) Creating details in an image with adaptive frequency lifting
US20140294299A1 (en) Image processing apparatus and method
Mao et al. Expansion hole filling in depth-image-based rendering using graph-based interpolation
WO2015188666A1 (en) Three-dimensional video filtering method and device
JP5352869B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP2014522596A (en) Method and device for retargeting 3D content
KR101828814B1 (en) Depth image conversion apparatus and method thereof
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
KR101262164B1 (en) Method for generating high resolution depth image from low resolution depth image, and medium recording the same
KR101378190B1 (en) Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same
JP5820716B2 (en) Image processing apparatus, image processing method, computer program, recording medium, and stereoscopic image display apparatus
KR101619327B1 (en) Joint-adaptive bilateral depth map upsampling
Wang et al. A novel approach for depth image based rendering, based on non-linear transformation of depth values
KR20160114983A (en) Apparatus and method for transforming image
US20130021332A1 (en) Image processing method, image processing device and display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 7