KR101262164B1 - Method for generating high resolution depth image from low resolution depth image, and medium recording the same - Google Patents

Method for generating high resolution depth image from low resolution depth image, and medium recording the same Download PDF

Info

Publication number
KR101262164B1
KR101262164B1 KR1020110100501A KR20110100501A KR101262164B1 KR 101262164 B1 KR101262164 B1 KR 101262164B1 KR 1020110100501 A KR1020110100501 A KR 1020110100501A KR 20110100501 A KR20110100501 A KR 20110100501A KR 101262164 B1 KR101262164 B1 KR 101262164B1
Authority
KR
South Korea
Prior art keywords
interpolation
depth map
resolution depth
generating
frequency component
Prior art date
Application number
KR1020110100501A
Other languages
Korean (ko)
Other versions
KR20130036430A (en
Inventor
김만배
장성은
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020110100501A priority Critical patent/KR101262164B1/en
Publication of KR20130036430A publication Critical patent/KR20130036430A/en
Application granted granted Critical
Publication of KR101262164B1 publication Critical patent/KR101262164B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Abstract

본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다. 본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다. The present invention provides a method for generating a high resolution depth map in a high resolution depth map generating device including a depth sensor for sensing a depth of an image and an image processing device for processing a signal output from the depth sensor. The image processing apparatus may include extracting a high frequency component from a low resolution depth map generated by the depth sensor, performing interpolation using the high frequency component, and performing the interpolation process. Generating a high resolution depth map. According to the present invention, by extracting a high frequency component from a low resolution depth map and generating a high resolution depth map using the high frequency component, the sharpness of not only the boundary edge but also the depth inside the object can be improved.

Description

저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 {Method for generating high resolution depth image from low resolution depth image, and medium recording the same}Method for generating high resolution depth image from low resolution depth image, and medium recording the same}

본 발명은 컴퓨터 비전이나 영상 처리 분야에서 활용되는 깊이 센서(depth sensor)에 관한 것으로서, 더욱 상세하게는 깊이 센서에서 감지된 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법에 관한 것이다.
The present invention relates to a depth sensor utilized in the field of computer vision or image processing, and more particularly, to a method of generating a high resolution depth map from a low resolution depth map sensed by a depth sensor.

최근들어 깊이 센서(depth sensor)가 컴퓨터 비전이나 영상처리 분야에서 다양하게 활용되고 있다. Recently, depth sensors have been widely used in computer vision and image processing.

일반적으로 깊이 센서는 센서와 피사체 간의 거리에 대해서 [0, 255]의 값을 가지는 깊이 맵(depth map)으로 저장한다. 영상 깊이를 얻는 다른 방법인, 스테레오 카메라에서 얻은 좌우영상으로부터 깊이를 얻는 것은 정확도가 떨어지는 단점이 있으므로, 깊이 센서를 활용하는 방법이 향후 증가할 것으로 예상된다.In general, the depth sensor stores a depth map having a value of [0, 255] with respect to the distance between the sensor and the subject. Since gaining depth from left and right images obtained from a stereo camera, which is another method of obtaining image depth, has a disadvantage of inaccuracy, a method of utilizing a depth sensor is expected to increase in the future.

이러한 깊이 센서를 활용한 영상처리는 가격이 고가이고, 해상도가 매우 낮다는 문제점이 있다. 이러한 저 해상도(low resolution) 깊이 맵은, 디지털 카메라 등에서 촬영된 RGB 영상의 해상도와 비교하면 현저히 낮은 해상도이기 때문에, 고 해상도(high resolution) 깊이 맵으로 변환하는 것이 필수적이라고 할 수 있다.Image processing using such a depth sensor has a problem that the price is high, the resolution is very low. Since such a low resolution depth map is significantly lower in resolution than the resolution of an RGB image photographed by a digital camera or the like, it can be said that it is essential to convert it into a high resolution depth map.

이러한 필요에 따라, 종래 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환할 수 있는 다양한 기법들이 제안되었다. 예를 들어 양선형 보간(bilinear interpolation), 고등차수 보간(bicubic interpolation) 등이 대표적인 보간법이다. 최근에는 객체 경계를 보다 선명하게 보간하기 위한 양측 보간법(bilateral interpolation)이 많은 관심을 받고 있다.According to this need, various techniques for converting a low resolution depth map into a high resolution depth map have been proposed. For example, bilinear interpolation and bibic interpolation are typical interpolation methods. In recent years, bilateral interpolation (interlateral interpolation) for interpolating the object boundary more sharply has received a lot of attention.

양측 보간법은 양선형 보간과 고등차수 보간법이 영상의 에지(edge)를 열화시키는 단점을 극복하기 위하여, 에지의 선명도를 유지할 수 있는 보간법이다. 그러나, 양측 보간법을 포함하는 기존의 에지를 보존하는 다양한 보간법들은, 객체의 경계 에지(boundary edge)의 선명도 유지에만 국한되고, 객체의 내부의 선명도는 떨어진다는 문제점이 있다.
Bilateral interpolation is an interpolation method that can maintain the sharpness of edges in order to overcome the disadvantage that the bilinear interpolation and the higher order interpolation degrade the edges of an image. However, various interpolation methods that preserve existing edges, including bilateral interpolation, are limited to maintaining the sharpness of the boundary edge of the object, and the internal sharpness of the object is inferior.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하는 과정에 있어서, 경계 에지뿐만 아니라, 객체 내부에서도 깊이의 선명도가 개선되는 고 해상도 깊이 맵 생성 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, and in the process of converting a low resolution depth map into a high resolution depth map, a high resolution depth map is generated in which not only the boundary edge but also the depth sharpness is improved inside the object. The purpose is to provide a method.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다.In order to achieve the above object, the present invention provides a high resolution depth map generating apparatus including a depth sensor for sensing a depth of an image, and an image processing device for processing a signal output from the depth sensor. The method of generating a resolution depth map, wherein the image processing apparatus extracts a high frequency component from a low resolution depth map generated by the depth sensor, and performs interpolation using the high frequency component. And generating a high resolution depth map through the interpolation process.

상기 고주파 성분을 추출하는 단계는, 상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,

Figure 112011077066462-pat00001
의 수학식을 이용하여 상기 고주파 성분을 구할 수 있다.In the extracting of the high frequency component, the high frequency component is ΔD, D is a depth map, and G is a Gaussian filer, which is a kind of a low pass filter.
Figure 112011077066462-pat00001
The high frequency component can be obtained by using the following equation.

상기 보간을 실시하는 단계는, 양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것일 수 있다.The step of performing interpolation may be to perform interpolation using bilinear interpolation.

또는, 상기 보간을 실시하는 단계는, 고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것일 수 있다.Alternatively, the step of performing interpolation may be to perform interpolation using high order interpolation.

또는, 상기 보간을 실시하는 단계는, 양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것일 수 있다.Alternatively, the interpolation may be performed by using bilateral interpolation.

상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은, 상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계, 깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계, 해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계, 상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계 및 상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함할 수 있다.
The method for generating a high resolution depth map using the bilateral interpolation may include extracting a high frequency component from the low resolution depth map when the low resolution depth map is input, and extracting a depth map obtained by adding the high frequency component to a depth image value. Zooming in the process of unsampling, bilinear interpolation of interpolation pixels generated when the resolution is increased, reinterpolating the interpolated pixels by bilateral interpolation, and high resolution depth map after the reinterpolation This may include the step of generating.

본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다.
According to the present invention, by extracting a high frequency component from a low resolution depth map and generating a high resolution depth map using the high frequency component, the sharpness of not only the boundary edge but also the depth inside the object can be improved.

도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 4는 양선형 보간법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.1 is a block diagram of a depth sensor and an image processing apparatus according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a method of generating a high resolution depth map from a low resolution depth map according to an embodiment of the present invention.
3 is a flowchart illustrating a method of generating a high resolution depth map in bilateral interpolation according to an embodiment of the present invention.
4 is a diagram for explaining a bilinear interpolation method.
5 is a diagram for describing a bilinear interpolation method using a high frequency component according to an embodiment of the present invention.
6 is a diagram for explaining a higher-order interpolation method according to an embodiment of the present invention.
7 is a diagram for describing a bilateral interpolation method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, throughout the specification, when a part is said to "include" a certain component, it means that it may further include other components, without excluding the other components unless otherwise stated. .

도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.1 is a block diagram of a depth sensor and an image processing apparatus according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명은 영상의 깊이를 감지하여 저 해상도 깊이 맵으로 저장하는 깊이 센서(100)와, 깊이 센서(100)의 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하여 영상 처리하는 영상 처리 장치(200)를 포함한다.Referring to FIG. 1, the present invention detects a depth of an image and stores the depth sensor 100 as a low resolution depth map, and converts a low resolution depth map of the depth sensor 100 into a high resolution depth map to process an image. And an image processing apparatus 200.

본 발명에서 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 주체는 영상 처리 장치(200)라고 할 수 있으며, 또는 영상 처리 장치(200)를 전반적으로 제어하는 제어부나 프로세서(processor)일 수 있다. 즉, 본 발명의 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 일종의 소프트웨어인 알고리즘으로 구성되며, 소프트웨어는 영상 처리 장치(200), 영상 처리 장치(200)의 제어부 또는 프로세서(processor)에서 실행된다.
In the present invention, the subject generating the high resolution depth map from the low resolution depth map may be referred to as the image processing apparatus 200, or may be a controller or a processor controlling the overall image processing apparatus 200. That is, the method for generating a high resolution depth map from the low resolution depth map of the present invention is composed of an algorithm which is a kind of software, and the software is performed by the controller or processor of the image processing apparatus 200, the image processing apparatus 200. Is executed.

도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다. 2 is a flowchart illustrating a method of generating a high resolution depth map from a low resolution depth map according to an embodiment of the present invention.

도 2를 참조하면, 깊이 센서(100)를 통해 저장된 저 해상도 깊이 맵에서 고주파 성분을 추출한다(S201).Referring to FIG. 2, a high frequency component is extracted from a low resolution depth map stored through the depth sensor 100 (S201).

그리고, 추출된 고주파 성분을 이용하여 보간(interpolation)을 실시한다(S203).Then, interpolation is performed using the extracted high frequency component (S203).

보간을 통해 고 해상도 깊이 맵을 생성한다(S205).A high resolution depth map is generated through interpolation (S205).

S201 단계에서 알 수 있는 바와 같이, 본 발명의 고 해상도 깊이 맵 생성 방법은, 우선 저 해상도 깊이 맵으로터 고주파 성분을 추출하게 된다.As can be seen in step S201, the high resolution depth map generation method of the present invention first extracts a high frequency component from the low resolution depth map.

저 해상도 깊이 맵에서 깊이 값의 변화가 많은 고주파(high frequency) 성분을 갖는 픽셀을 얻기 위한 방법으로 에지 추출 방법 등이 있는데, 본 발명의 실시예에서는 다음과 같은 방법을 이용하기로 한다. An edge extraction method may be used to obtain a pixel having a high frequency component having a large change in depth value in a low resolution depth map. An embodiment of the present invention uses the following method.

고주파 성분 ΔD는 다음 [수학식 1]과 같이 구해진다.The high frequency component ΔD is obtained as shown in Equation 1 below.

Figure 112011077066462-pat00002
Figure 112011077066462-pat00002

여기서, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다. Here, D denotes a depth map, and G denotes a Gaussian filer, which is a type of low pass filter.

가우시안 필터를 깊이 영상 D에 적용한 값과 원 깊이 영상 D의 차이값이 ΔD이다.

Figure 112011077066462-pat00003
는 저주파 성분을 갖고 있으며, 따라서 D와의 차인 ΔD는 고주파 성분을 갖게 된다. ΔD는 D 값이 증가하면, 음수에서 양수로 변화하고, 반대로 감소하면, 양수에서 음수로 변화하게 된다. 이러한 현상은 에지 등의 깊이 값이 변화하는 픽셀에서 잘 발생되는 경향이 있다.
The difference between the Gaussian filter applied to the depth image D and the original depth image D is ΔD.
Figure 112011077066462-pat00003
Has a low frequency component, and thus D, which is a difference from D, has a high frequency component. ΔD changes from negative to positive when the value of D increases, and vice versa when decreasing. This phenomenon tends to occur well in pixels whose depth values, such as edges, change.

본 발명에서는 고 해상도 필터 맵을 생성하기 위한 보간법으로서 세 종류의 보간법을 제안하도록 한다. 첫번째는 양선형 보간법(Bilinear Interpolation)이고, 두번째는 고등차수 보간법(Bicubic Interpolation)이고, 세번째는 양측 보간법(Bilateral Interpolation)이다. 이제 차례대로 각 보간법을 이용한 고 해상도 깊이 맵 생성 방법에 대해 설명하기로 한다.In the present invention, three types of interpolation methods are proposed as interpolation methods for generating a high resolution filter map. The first is Bilinear Interpolation, the second is Bicuic Interpolation, and the third is Bilateral Interpolation. We will now discuss how to create a high resolution depth map using each interpolation method.

먼저 양선형 보간법을 이용한 고 해상도 깊이 맵 생성 방법을 설명하면 다음과 같다.First, a high resolution depth map generation method using bilinear interpolation will be described.

도 4는 양선형 보간법을 설명하기 위한 도면이다.4 is a diagram for explaining a bilinear interpolation method.

도 4를 참조하면, 도 4 (a)는 저 해상도 깊이 맵이고, 도 4 (b)는 고 해상도 깊이 맵이다. Referring to FIG. 4, FIG. 4 (a) is a low resolution depth map and FIG. 4 (b) is a high resolution depth map.

저 해상도 깊이 맵의 해상도가 w×h이고, 고 해상도 깊이 맵의 해상도가 W×H이면, 신축값(scale factor)(Sx, Sy)는 [수학식 2]와 같이 계산된다.If the resolution of the low resolution depth map is w × h and the resolution of the high resolution depth map is W × H, the scale factors Sx and Sy are calculated as shown in [Equation 2].

Figure 112011077066462-pat00004
Figure 112011077066462-pat00004

이 과정에서 고 해상도 깊이 맵의 픽셀들의 개수는 저 해상도의 픽셀 개수보다 많기 때문에, 고 해상도에서는 홀(hole), 즉 비어있는 픽셀(missing pixel)들이 발생하게 된다. 보간(Interpolation)은 이런 홀인 보간 픽셀(interpolated pixel)을 적절한 값으로 채우는 방법이다. In this process, since the number of pixels of the high resolution depth map is larger than the number of pixels of the low resolution, holes, that is, empty pixels, are generated at the high resolution. Interpolation is a way to fill these holes, interpolated pixels, with appropriate values.

도 4에서 보간 픽셀 Dm은 D로 매핑된다.In FIG. 4, the interpolation pixel Dm is mapped to D. In FIG.

도 4에서 도시된 바와 같이, 양선형 보간은 4개의 픽셀 D1, D2, D3, D4를 이용하여 보간 픽셀 D를 채우는 방법으로서, 역 매핑(backward mapping)을 사용한다. 역 매핑은 고 해상도의 픽셀 값을 저 해상도 픽셀들로부터 계산하는 방식이다.As shown in FIG. 4, bilinear interpolation uses backward mapping as a method of filling interpolation pixel D using four pixels D 1 , D 2 , D 3 , and D 4 . Inverse mapping is a method of calculating a high resolution pixel value from low resolution pixels.

[수학식 2]를 이용하여, 고 해상도의 보간 픽셀 Dm이 저 해상도에서 D에 위치할 때, D의 인접한 4개의 픽셀의 거리를 가중치로 사용하여 Dm을 보간한다.Using Equation 2, when the high resolution interpolation pixel Dm is located at D at low resolution, Dm is interpolated using the distance of four adjacent pixels of D as a weight.

lx는 D와 D1 사이의 수평 거리이고, ly는 세로 길이이고, 0≤lx,ly≤1일 때, lx와 ly를 구한 후에, 다음 [수학식 3]과 같이 양선형 보간을 이용하여 D 값을 구한다.l x is the horizontal distance between D and D1, l y is the vertical length, and when 0≤l x , l y ≤ 1, after l x and l y are obtained, Find the D value using interpolation.

Figure 112011077066462-pat00005
Figure 112011077066462-pat00005

도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.5 is a diagram for describing a bilinear interpolation method using a high frequency component according to an embodiment of the present invention.

본 발명에서 [수학식 1]의 ΔD를 이용하는 고 해상도 깊이 맵 생성 방법은 다음과 같다. In the present invention, a method of generating a high resolution depth map using ΔD of Equation 1 is as follows.

[수학식 3]과 달리, ΔD를 양선형 보간에 활용하여 고 해상도 깊이 맵을 생성한다. Unlike Equation 3, ΔD is used for bilinear interpolation to generate a high resolution depth map.

저 해상도 깊이 맵 DL에 ΔD를 더한 D'L을 고 해상도 깊이 맵 DH로 확대하였을 때 발생하는 보간 픽셀 Dm은, 인접한 4개의 ΔD를 결합한 D1+ΔD1, D2+ΔD2, D3+ΔD3, D4+ΔD4를 참조하여 [수학식 4]에서 보간된다. Plus ΔD to the low-resolution depth map D L D 'L the high resolution interpolation to occur when the depth hayeoteul extended to map D H pixels D m is, D 1 + ΔD 1, D 2 + ΔD 2 adjacent combines four ΔD, It is interpolated in [Equation 4] with reference to D 3 + ΔD 3 , D 4 + ΔD 4 .

Figure 112011077066462-pat00006
Figure 112011077066462-pat00006

여기서, DX1는 수평방향의 (D1+ΔD1)과 (D2+ΔD2)의 보간 값이다. DX2도 (D3+ΔD3)과 (D4+ΔD4)의 보간 값이다. Dm는 DX1, DX2 를 수직방향으로 보간한 최종값이다. 본 발명에서는 ΔD로 인해 고주파 성분을 갖는 픽셀에서도 고 해상도 깊이 맵의 성능이 개선된다.
Here, D X1 is an interpolation value between (D 1 + ΔD 1 ) and (D 2 + ΔD 2 ) in the horizontal direction. D X2 is also an interpolation value between (D 3 + ΔD 3 ) and (D 4 + ΔD 4 ). D m is a final value obtained by interpolating D X1 and D X2 in the vertical direction. In the present invention, ΔD improves the performance of the high resolution depth map even in pixels having a high frequency component.

도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.6 is a diagram for explaining a higher-order interpolation method according to an embodiment of the present invention.

도 6을 참조하면, 고등차수 보간법은 16개의 픽셀을 참조하여 보간하는 방식이다. 도 6에서 고 해상도 깊이 맵의 보간 픽셀 Dm은 고 해상도 깊이 맵의 주변 16개의 픽셀로부터 구해진다.Referring to FIG. 6, the higher-order interpolation method is a method of interpolating with reference to 16 pixels. In FIG. 6 the interpolation pixel D m of the high resolution depth map is obtained from the surrounding 16 pixels of the high resolution depth map.

Dm은 다음 [수학식 5]에 의해 계산된다. Dm is calculated by the following [Equation 5].

Figure 112011077066462-pat00007
Figure 112011077066462-pat00007

여기서 s는 저 해상도 깊이 맵 D와 주변 픽셀과의 거리이다.
Where s is the distance between the low resolution depth map D and the surrounding pixels.

도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이고, 도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.3 is a flowchart illustrating a method of generating a high resolution depth map in bilateral interpolation according to an embodiment of the present invention, and FIG. 7 is a diagram for describing bilateral interpolation according to an embodiment of the present invention.

도 3 및 도 7을 참조하면, [수학식 1]의 고주파 성분 ΔD를 양측 보간법에 적용하여 깊이맵에 존재하는 고주파 성분의 선명도를 개선하는 방법이 도시되어 있다. 3 and 7 illustrate a method of improving the sharpness of the high frequency components present in the depth map by applying the high frequency component ΔD of Equation 1 to both side interpolation methods.

먼저 저 해상도 깊이 맵 DL이 입력된다. 그리고, [수학식 1]을 이용하여 ΔD를 구한다(S301).First, the low resolution depth map D L is input. Then, ΔD is calculated using Equation 1 (S301).

깊이 영상 D값에 ΔD를 더한 깊이 맵 D'L을 영상확대(unsampling) 단계에서 확대한다(S303). The depth map D ' L obtained by adding ΔD to the depth image D value is enlarged in an image unsampling step (S303).

다음, 해상도가 증가되면 발생하는 보간 픽셀들을 D'L을 사용하여 양선형 보간한다(S305). 도 7에서 양측 보간에서 D는 D'으로 매핑된다. 이처럼 양선형 보간으로 고 해상도 깊이 맵의 보간 픽셀들이 채워진다.Next, interpolation pixels generated when the resolution is increased are bilinearly interpolated using D ′ L (S305). In FIG. 7, in both interpolation, D is mapped to D '. This bilinear interpolation fills the interpolation pixels of the high resolution depth map.

다음, 보간 픽셀을 양측 보간으로 재 보간한다(S307).Next, the interpolation pixel is reinterpolated to bilateral interpolation (S307).

재 보간 단계 후에 고 해상도 깊이 맵이 생성된다(S309).After the re-interpolation step, a high resolution depth map is generated (S309).

본 발명에서 양측 보간 단계를 상세히 설명하면 다음과 같다.Referring to the two sides interpolation step in detail in the present invention.

도 7에서 D'은 선형 보간 단계에서 보간된 픽셀이다. 이렇게 선형 보간으로 보간된 픽셀들은 양측보간으로 재 보간한다. 여기서 재 보간되는 픽셀들은 저 해상도 깊이 맵의 픽셀들만을 사용한다. In FIG. 7, D 'is an interpolated pixel in the linear interpolation step. Pixels interpolated with linear interpolation are reinterpolated with bilateral interpolation. Pixels that are re-interpolated here use only pixels of the low resolution depth map.

Figure 112011077066462-pat00008
Figure 112011077066462-pat00008

여기서, Di는 저해상도 깊이맵 DL의 깊이 값이고, D'H는 고 해상도 깊이 맵의 보간 픽셀이고, W는 가우시안 필터의 크기이다.D i is a depth value of the low resolution depth map D L , D ′ H is an interpolation pixel of the high resolution depth map, and W is a size of a Gaussian filter.

가중치 Wi는 다음 [수학식 7]과 같이 계산된다.The weight W i is calculated as shown in Equation 7 below.

Figure 112011077066462-pat00009
Figure 112011077066462-pat00009

[수학식 7]에서의 wi는 가중치로서, 좌표값 함수 f와 깊이 값 함수 g의 곱으로 구성된다. W i in Equation 7 is a weight and is composed of a product of a coordinate value function f and a depth value function g.

Figure 112011077066462-pat00010
는 다음 [수학식 8]에서 계산된다. 이때 f는 가우시안 분포 함수를 사용한다.
Figure 112011077066462-pat00010
Is calculated from Equation 8 below. F uses Gaussian distribution function.

Figure 112011077066462-pat00011
Figure 112011077066462-pat00011

여기서, σ2 a는 사용자가 지정하는 편차(variance)이다.
Here, σ 2 a is a variation specified by the user.

Figure 112011077066462-pat00012
Figure 112011077066462-pat00012

여기서, I=(Ix, Iy)는 D의 좌표, I=(ix, iy)는 W의 범위 내에 있는 픽셀들의 좌표값이다.Here, I = (I x , I y ) is the coordinate of D, and I = (i x , i y ) is the coordinate value of the pixels within the range of W.

본 발명에서 f는 픽셀 간의 거리가 작을수록 가중치가 커지며, 픽셀 간의 거리가 멀수록 가중치가 작아진다.
In the present invention, f has a smaller weight as the distance between pixels becomes smaller, and as the distance between pixels becomes larger, the weight becomes smaller.

g(D-Di)는 D와 인접 픽셀 간의 깊이 값의 차이로 깊이 영상 D와 ΔD가 더해진 값을 사용하며 다음 [수학식 10]과 같이 표현된다. 이때, g는 가우시안 분포 함수를 사용한다.g (D-Di) is a difference between a depth value between D and an adjacent pixel and uses a value obtained by adding a depth image D and ΔD, and is expressed as in Equation 10 below. In this case, g uses a Gaussian distribution function.

Figure 112011077066462-pat00013
Figure 112011077066462-pat00013

여기서, σ2 a는 사용자가 지정하는 편차(variance)이다.
Here, σ 2 a is a variation specified by the user.

한편, 본 발명의 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.On the other hand, the method for generating a high resolution depth map from a low resolution depth map according to an embodiment of the present invention can be implemented as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , Optical data storage devices, and the like, as well as carrier waves (for example, transmission over the Internet).

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
In addition, the computer readable recording medium may be distributed and executed in a computer system connected to a computer communication network, and may be stored and executed as a code readable in a distributed manner.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the invention has been described using some preferred embodiments, these embodiments are illustrative and not restrictive. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the invention and the scope of the rights set forth in the appended claims.

100 깊이 센서 200 영상 처리 장치100 depth sensor 200 image processing unit

Claims (7)

영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서,
상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계;
상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계; 및
상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함하고,
상기 고주파 성분을 추출하는 단계는,
상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,
Figure 112012098381499-pat00014

의 수학식을 이용하여 상기 고주파 성분을 구하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
A high resolution depth map generating method in a high resolution depth map generating device including a depth sensor for detecting a depth of an image and an image processing device for processing a signal output from the depth sensor,
The image processing apparatus extracting a high frequency component from a low resolution depth map generated by the depth sensor;
Performing interpolation using the high frequency component; And
Generating a high resolution depth map through the interpolation process,
Extracting the high frequency component,
When the high frequency component is ΔD, D is a depth map, and G is a Gaussian filer, which is a kind of low pass filter.
Figure 112012098381499-pat00014

The high-resolution depth map generation method of claim 1, wherein the high frequency component is obtained by using the following equation.
삭제delete 제1항에 있어서,
상기 보간을 실시하는 단계는,
양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
The method of claim 1,
Performing the interpolation,
A method of generating a high resolution depth map, characterized in that interpolation is performed using bilinear interpolation.
제1항에 있어서,
상기 보간을 실시하는 단계는,
고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
The method of claim 1,
Performing the interpolation,
A method of generating a high resolution depth map, characterized in that interpolation is performed by using high-order interpolation.
제1항에 있어서,
상기 보간을 실시하는 단계는,
양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
The method of claim 1,
Performing the interpolation,
A method of generating a high resolution depth map, characterized in that interpolation is performed using bilateral interpolation.
제5항에 있어서,
상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은,
상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계;
깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계;
해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계;
상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계; 및
상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
The method of claim 5,
The method for generating a high resolution depth map using the bilateral interpolation method,
Extracting a high frequency component from the low resolution depth map when the low resolution depth map is input;
Enlarging a depth map obtained by adding a high frequency component to a depth image value during an image unsampling process;
Bilinear interpolation of interpolation pixels generated when the resolution is increased by bidirectional interpolation;
Re-interpolating the interpolated pixels by bilateral interpolation; And
Generating a high resolution depth map after the re-interpolation.
제1항, 제3항 내지 제6항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A non-transitory computer-readable recording medium having recorded thereon a program capable of executing the method of claim 1.
KR1020110100501A 2011-10-04 2011-10-04 Method for generating high resolution depth image from low resolution depth image, and medium recording the same KR101262164B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110100501A KR101262164B1 (en) 2011-10-04 2011-10-04 Method for generating high resolution depth image from low resolution depth image, and medium recording the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110100501A KR101262164B1 (en) 2011-10-04 2011-10-04 Method for generating high resolution depth image from low resolution depth image, and medium recording the same

Publications (2)

Publication Number Publication Date
KR20130036430A KR20130036430A (en) 2013-04-12
KR101262164B1 true KR101262164B1 (en) 2013-05-14

Family

ID=48437735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110100501A KR101262164B1 (en) 2011-10-04 2011-10-04 Method for generating high resolution depth image from low resolution depth image, and medium recording the same

Country Status (1)

Country Link
KR (1) KR101262164B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700071B (en) * 2013-12-16 2016-08-31 华中科技大学 A kind of depth map up-sampling edge enhancing method
KR102148207B1 (en) * 2014-11-12 2020-08-26 엘지디스플레이 주식회사 Apparatus for compensating degradation and display device including the same
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
KR102452653B1 (en) * 2018-02-20 2022-10-11 삼성전자주식회사 Electronic apparatus, method for processing image and computer-readable recording medium
CN111986124A (en) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 Filling method and device for missing pixels of depth image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170456A (en) * 2010-02-16 2011-09-01 Fujifilm Corp Image processing method, apparatus, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170456A (en) * 2010-02-16 2011-09-01 Fujifilm Corp Image processing method, apparatus, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:대한전기학회

Also Published As

Publication number Publication date
KR20130036430A (en) 2013-04-12

Similar Documents

Publication Publication Date Title
JP6016061B2 (en) Image generation apparatus, image display apparatus, image generation method, and image generation program
JP6507846B2 (en) Image noise removing method and image noise removing apparatus
KR102144994B1 (en) Method for decreasing noise of image and image processing apparatus using thereof
US9524539B2 (en) Method for edge-directed adaptive image interpolation and VLSI implementation device for the same
CN108694705B (en) Multi-frame image registration and fusion denoising method
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
KR101262164B1 (en) Method for generating high resolution depth image from low resolution depth image, and medium recording the same
CN111402170B (en) Image enhancement method, device, terminal and computer readable storage medium
CN107133914B (en) Apparatus for generating three-dimensional color image and method for generating three-dimensional color image
US20120183202A1 (en) Methods and Systems for 2D to 3D Conversion from a Portrait Image
EP3032494A1 (en) Using depth for recovering missing information in an image
EP2466901B1 (en) Depth data upsampling
Liang et al. Improved non-local iterative back-projection method for image super-resolution
KR101828814B1 (en) Depth image conversion apparatus and method thereof
CN109325909B (en) Image amplification method and image amplification device
US8743419B2 (en) Image processing apparatus and method converting low-resolution image to high-resolution using signal value patterns
JP5820716B2 (en) Image processing apparatus, image processing method, computer program, recording medium, and stereoscopic image display apparatus
CN112767293B (en) Method for acquiring parallax image, electronic device and storage medium
CN114445277A (en) Depth image pixel enhancement method and device and computer readable storage medium
KR101585963B1 (en) Filtering Method based on Image Sensor Noise-Model and Image System using the same
CN112150532A (en) Image processing method and device, electronic equipment and computer readable medium
CN115176459A (en) Virtual viewpoint synthesis method, electronic device, and computer-readable medium
KR101378190B1 (en) Method for generating high resolution depth image from low resolution depth image using bilateral interpolation distance transform based, and medium recording the same
KR102293883B1 (en) Simultaneous image compression and thumbnail generation
CN113269696B (en) Method for denoising image, electronic device, and medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee