KR20120018915A

KR20120018915A - Apparatus and method for generating depth image that have same viewpoint and same resolution with color image

Info

Publication number: KR20120018915A
Application number: KR1020100081898A
Authority: KR
Inventors: 최욱; 김용선; 임화섭; 이기창; 이승규; 강병민; 김도균; 김창용
Original assignee: 삼성전자주식회사
Priority date: 2010-08-24
Filing date: 2010-08-24
Publication date: 2012-03-06
Also published as: KR101681095B1

Abstract

PURPOSE: A depth image creation method and apparatus thereof are provided to create a virtual view point image by using a depth image which includes the same a view point as a color image. CONSTITUTION: A view point changing unit(210) changes three-dimensional points of a depth image into the coordinate system of a color image. An up-sampling unit(220) samples the depth image into a first depth image which includes the same resolution as the color image. A boundary compensation unit(230) compensates the boundary of an object. A final depth value determination unit(240) determines the final depth value of a pixel based on the first depth image and a second depth image. The second depth image is created by inversely changing a depth value of the depth image.

Description

FIELD OF METHOD AND APPARATUS FOR DEVELOPING IMAGE WITH THE SAME VIEW AND RESOLUTION AS COLOR IMAGES {APPARATUS AND METHOD FOR GENERATING DEPTH IMAGE THAT HAVE SAME VIEWPOINT AND SAME RESOLUTION WITH COLOR IMAGE}

기술분야는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상을 생성하는 장치 및 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to an apparatus and method for generating a depth image having the same view and resolution as a color image.

깊이 카메라는 3차원 정보 이외에도 신(scene)에서 빛이 반사되어 들어온 광도(intensity) 정보를 함께 제공한다. 이때, 광도 정보는 적외선(Infrared, IR) 대역에 관한 것이어서, 다양한 대역의 컬러 정보를 포함하지 않는다. 따라서, 깊이 카메라에서 획득된 깊이 영상으로부터 스테레오 영상 또는 가상시점 영상을 생성하기 위해서는 적어도 한 장의 컬러 영상이 필요하다. In addition to the three-dimensional information, the depth camera provides intensity information from which light is reflected from the scene. In this case, the luminance information relates to an infrared (IR) band and does not include color information of various bands. Therefore, at least one color image is required to generate a stereo image or a virtual view image from the depth image acquired by the depth camera.

스테레오 영상 및 가상시점 영상을 생성하는 과정에서 중요한 것은 기준시점에서 획득된 깊이 영상과 컬러 영상간의 시점 변화를 최소화 하는 것이다. 시점 변화가 작은 경우에 기준시점에서 획득된 컬러 영상 및 깊이 영상에 공통된 부분이 존재하기 때문이다.In the process of generating the stereo image and the virtual view image, it is important to minimize the viewpoint change between the depth image and the color image acquired at the reference view point. This is because a common part exists in the color image and the depth image acquired at the reference point when the viewpoint change is small.

일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환하는 시점 변환부, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부를 포함한다.According to an aspect, a depth image generating apparatus having the same view and resolution as a color image may include a depth image and a color image of the same scene photographed at different viewpoints, and the same scene captured in the depth image. A viewpoint converting unit for converting 3D points into a coordinate system of the color image, meshing the depth image, and transforming the meshed depth image into a coordinate system of the color image, thereby performing the same view as that of the color image. An upsampling unit for upsampling to a first depth image having a resolution, a boundary region compensator for compensating a boundary area of an object by converting a depth value of the first depth image into a disparity, and the depth value is a disparity And a final depth value determiner configured to determine a final depth value of the pixel based on the second depth image obtained by inverting the converted image and the first depth image.

상기 시점 변환부는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.The viewpoint conversion unit may project 3D points transformed into a coordinate system of the color image to the color image to obtain coordinates of a corresponding pixel.

상기 업샘플링부는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 에지 생성부를 포함할 수 있다.The upsampling unit generates edges connecting edges between the three-dimensional points positioned in the horizontal or vertical direction to each other in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points positioned in the diagonal direction. It may include wealth.

상기 업샘플링부는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 좌표 계산부, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 정렬부 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 처리부를 포함할 수 있다.The upsampling unit converts the first triangles generated by connecting the three-dimensional points of the depth image with edges, converts the first triangles into a coordinate system of the color image while maintaining the phase, and generates second triangles, and coordinates of the centers of the second triangles. A coordinate calculation unit for calculating a; an alignment unit for arranging the second triangles in order of decreasing depth value; and projecting the aligned second triangles to the color image from a triangle having a small depth value, If there is no 3D point already assigned to the pixels, the processing unit may include a processing unit for processing a point where a straight line projected from the triangle inner pixels meets the aligned second triangle as the 3D point of the triangle inner pixels.

상기 경계 영역 보상부는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 디스패리티 변환부 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 디스패리티 최적화부를 포함할 수 있다.The boundary region compensator converts the depth value of the first depth image into a disparity satisfying a predetermined relational expression to generate a disparity image, and a predetermined width centered on an arbitrary pixel in the disparity image. And a disparity optimizer configured to optimize the arbitrary pixel disparity using a window having a and height.

상기 디스패리티 최적화부는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 데이터 패널티부 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 유사 가중치 적용부를 포함할 수 있다.The disparity optimizer may be configured to apply a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and to apply a large penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. If the disparity of two pixels adjacent to each other in the penalty unit and the disparity image is different from each other, a similar weight applying unit may be applied to increase the weight as the color values of the two pixels are similar.

상기 디스패리티 최적화부는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다.The disparity optimizer may perform optimization using a graph cut algorithm or a belief propagation algorithm.

상기 최종 깊이 값 결정부는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 역변환부 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 선택적 가중치 적용부를 포함할 수 있다.The final depth value determiner is an inverse transform unit that inversely converts an image in which the depth value is converted into a disparity into the second depth image, and a window centering on an arbitrary pixel based on the first depth image and the second depth image. And a weighting unit that applies a weight more as the depth value, the color value, and the position value of the two pixels in the window are similar to each other.

일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법은 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환하는 단계, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 단계, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 단계 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 단계를 포함한다.According to an aspect, a depth image generating method having the same view and resolution as a color image may include a depth image and a color image of the same scene photographed at different points of view. Converting a 3D point of view into a coordinate system of the color image, meshing the depth image, and transforming the meshed depth image into a coordinate system of the color image, thereby obtaining the same resolution as that of the color image Upsampling to a first depth image of the image, converting a depth value of the first depth image into a disparity, compensating a boundary region of an object, and inversely converting an image from which the depth value is converted to a disparity And determining a final depth value of the pixel based on the second depth image and the first depth image.

상기 시점을 변환하는 단계는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는 단계를 포함할 수 있다.The converting the viewpoint may include obtaining a coordinate of a corresponding pixel by projecting a three-dimensional point transformed into the coordinate system of the color image onto the color image.

상기 업샘플링 하는 단계는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 단계를 포함할 수 있다.The upsampling may include connecting the three-dimensional points positioned in the horizontal or vertical direction with edges in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points positioned in the diagonal direction. It may include a step.

상기 업샘플링 하는 단계는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 단계, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 단계 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 단계를 포함할 수 있다.The upsampling may include converting first triangles generated by connecting edges between three-dimensional points of the depth image to a coordinate system of the color image while maintaining phases, generating second triangles, and generating the second triangles. Calculating a center coordinate, arranging the second triangles in the order of the smallest depth value, and projecting the aligned second triangles from the triangle having the smallest depth value to the color image, and then performing a pixel inside the projected triangle. If there is no 3D point already assigned to the field, the method may include treating the point where the straight line projected from the triangle inner pixels meet the aligned second triangle as the three dimensional point of the triangle inner pixels.

상기 경계 영역을 보상하는 단계는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 단계 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 단계를 포함할 수 있다.Compensating the boundary region may include generating a disparity image by converting a depth value of the first depth image into a disparity satisfying a predetermined relational expression and a predetermined width centering on an arbitrary pixel in the disparity image. Optimizing the arbitrary pixel disparity using a window having a and height.

상기 디스패리티를 최적화하는 단계는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 단계 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.The disparity optimization may include applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and increasing the penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. If the disparity of the two pixels adjacent to each other in the disparity image is different, the step of applying the weight may be increased as the color values of the two pixels are similar.

상기 최종 깊이 값을 결정하는 단계는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 단계 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.The determining of the final depth value may include converting an image having the depth value converted into a disparity into the second depth image and focusing on an arbitrary pixel based on the first depth image and the second depth image. The method may include using one window, and applying weights as the depth, color, and position values of the two pixels in the window are similar.

시점이 유사하지만 차이가 있는, 깊이 영상 촬영장치와 컬러 영상 촬영장치에서 획득된 깊이 영상에 기초하여 동시에 획득된 컬러 영상과 해상도 및 시점이 동일한 깊이 영상을 생성할 수 있다.A depth image having the same resolution and a viewpoint as the color image acquired at the same time may be generated based on the depth image acquired by the depth image capturing apparatus and the color image capturing apparatus having similar viewpoints but differences.

또한, 깊이 영상 촬영장치에서 관찰된 3차원 점들을 에지로 연결하여 메쉬화하고, 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 변환하고, 역투영 함으로써, 깊이 영상을 컬러 영상 촬영장치의 좌표계로 변환하는 과정에서 발생하는 가리움 현상을 보상할 수 있다.In addition, the 3D points observed in the depth imager are connected to the edge to mesh and convert the meshed depth image to the coordinate system of the color image, and back projection, thereby converting the depth image to the coordinate system of the color imager. It can compensate for the covering phenomenon occurring during the process.

또한, 업샘플링된 깊이 영상을 디스패리티(disparity) 영상으로 변환 및 최적화함으로써, 깊이 영상에 촬영된 물체의 경계부분의 오차를 개선할 수 있다.In addition, by converting and optimizing the upsampled depth image into a disparity image, an error of a boundary portion of an object photographed in the depth image may be improved.

또한, 업샘플링된 깊이 영상, 디스패리티 영상, 윈도우 내의 주변 픽셀간의 컬러 값, 주변 픽셀간의 위치 차이에 기초하여 깊이 값을 결정함으로써, 깊이 영상에서 물체의 경계를 정확히 구별하고, 컬러 값이 유사한 영역을 좀 더 정확하게 구별하게 할 수 있다.In addition, the depth value is determined based on the upsampled depth image, the disparity image, the color value between the neighboring pixels in the window, and the position difference between the neighboring pixels, thereby accurately distinguishing the boundary of the object in the depth image, and a region having similar color values. Can be distinguished more accurately.

또한, 컬러 영상과 시점이 동일한 깊이 영상을 이용하여 물체의 경계에서 오차가 적은 스테레오 영상 또는 가상시점 영상을 생성할 수 있다.Also, a stereo image or a virtual viewpoint image having less error at the boundary of an object may be generated using a depth image having the same viewpoint as the color image.

또한, 3D 게임 또는 증강 현실에 적용할 수 있는 컬러 값과 깊이 값이 동시에 구비된 3차원 모델을 생성할 수 있다.In addition, it is possible to generate a three-dimensional model provided with a color value and a depth value that can be applied to a 3D game or augmented reality at the same time.

도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 시점 변환부의 구체적 일 예를 나타낸 도면이다.
도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부의 구체적 일 예를 나타낸 도면이다.
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부의 구체적 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부의 구체적 일 예를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.FIG. 1 is a diagram illustrating positions and acquired images of a color image capturing apparatus and a depth image capturing apparatus minimizing a change in viewpoint.
2 is a block diagram of a depth image generating apparatus having the same view point and resolution as a color image according to an embodiment of the present invention.
3 is a diagram illustrating a specific example of a viewpoint converting unit according to an embodiment of the present invention.
4A to 4D are diagrams showing specific examples of the upsampling unit according to an embodiment of the present invention.
5A to 5C are diagrams illustrating specific examples of the boundary area compensation unit according to an exemplary embodiment of the present invention.
6 is a view showing a specific example of the final depth value determiner according to an embodiment of the present invention.
7 illustrates a stereo image based on a depth image having the same resolution as a color image according to an embodiment of the present invention.
8 is a flowchart of a method of generating a depth image having the same view point and resolution as a color image according to an embodiment of the present invention.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.FIG. 1 is a diagram illustrating positions and acquired images of a color image capturing apparatus and a depth image capturing apparatus minimizing a change in viewpoint.

영상 촬영장치는 카메라를 포함한다. 깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 측정할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. The image capturing apparatus includes a camera. The depth camera may measure an intensity image and a depth image according to the intensity of light rays received by emitting light. The luminance image is measured through the intensity of the light reflected and refracted from the object, thereby enabling identification of the object, and the depth image can indicate how far the object is from the depth camera, ie perspective.

도 1을 참조하면, (A)는 컬러 카메라(110) 및 깊이 카메라(120)의 위치, (B)는 512 x384 크기의 컬러 영상, (C)는 176x144 크기의 깊이 영상을 나타낸다. (A)는 가상시점 영상 생성시, 깊이 영상과 컬러 영상 간의 시점 변화를 최소화 하기 위해 물리적으로 가장 근거리에 위치시킨 구조이다. (B)와 (C)를 비교해 보면, 컬러 영상과 깊이 영상의 시점 및 해상도가 서로 다를 뿐만 아니라 깊이 영상의 화각(field of view)은 컬러 영상의 화각보다 더 넓다. 또한, 컬러 카메라와 깊이 카메라 간의 약간의 시점 차이로 인하여, 컬러 영상에서는 관찰되지만, 깊이 영상에서는 관찰되지 않는 부분이 존재하고, 깊이 영상에서는 관찰되지만 컬러 영상에서는 관찰되지 않는 부분이 존재한다.
Referring to FIG. 1, (A) shows positions of the color camera 110 and depth camera 120, (B) shows a color image of 512x384 size, and (C) shows a depth image of 176x144 size. (A) is a structure that is physically located at the shortest distance to minimize the change of viewpoint between the depth image and the color image when generating the virtual viewpoint image. When comparing (B) and (C), not only the viewpoint and resolution of the color image and the depth image are different, but also the field of view of the depth image is wider than that of the color image. In addition, due to a slight viewpoint difference between the color camera and the depth camera, there is a part that is observed in the color image but not observed in the depth image, and there is a part that is observed in the depth image but not observed in the color image.

도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.2 is a block diagram of a depth image generating apparatus having the same view point and resolution as a color image according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 시점 변환부(210), 업샘플링부(220), 경계영역 보상부(230) 및 최종 깊이 값 결정부(240)를 포함한다. Referring to FIG. 2, a depth image generating apparatus having the same viewpoint and resolution as a color image according to an embodiment of the present invention may include a viewpoint transform unit 210, an upsampling unit 220, a boundary region compensator 230, and a final image. The depth value determiner 240 is included.

시점 변환부(210)는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환한다. 시점 변환부(210)는 깊이 카메라의 시점에서 표현된 3차원 점 X'을 컬러 카메라의 시점에서 표현된 동일한 점 X로 회전(Rotation) 파라미터 R과 이동(Translation) 파라미터 T를 이용한다. 또한, 시점 변환부(210)는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다. 시점 변환부(210)는 컬러 카메라의 시점에서 표현된 3차원 점 X가 컬러 영상의 픽셀 위치 x에 투영되기 위한 변환 F(X)를 이용한다. 컬러 카메라에 방사 왜곡(radial distortion)이 없는 경우에 F(X)는 초점거리, 영상 중심 좌표 등으로 이루어진 행렬 K로 표현될 수 있고, 다음과 같은 관계가 성립한다. X = RX'+ T, x = KX/Z 여기서, Z는 X = (X,Y,Z)의 Z축 방향 좌표 값 Z를 의미하고, x는 동차(homogeneous) 좌표계에서의 픽셀 좌표를 의미한다. 보다 자세한 사항은 도 3에서 설명한다. In the depth image and the color image photographing the same scene from different viewpoints, the viewpoint converting unit 210 views the 3D points of the same scene captured in the depth image in the coordinate system of the color image. To convert. The viewpoint transforming unit 210 uses a rotation parameter R and a translation parameter T to the same point X represented at the viewpoint of the color camera from the three-dimensional point X ' expressed at the viewpoint of the depth camera. In addition, the viewpoint transforming unit 210 may obtain the coordinates of the corresponding pixel by projecting the three-dimensional points transformed into the coordinate system of the color image on the color image. The viewpoint converting unit 210 uses a transformation F (X) for projecting the three-dimensional point X expressed at the viewpoint of the color camera to the pixel position x of the color image. When there is no radial distortion in a color camera, F (X) can be expressed as a matrix K consisting of focal length, image center coordinates, and the like. X = RX ' + T , x = K X / Z where Z is the Z-axis coordinate value Z of X = (X, Y, Z), and x is the pixel coordinate in homogeneous coordinate system do. More details will be described with reference to FIG. 3.

업샘플링부(220)는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 시점 변환부(210)에 의해 깊이 카메라에서 관찰된 3차원 점들은 컬러 카메라의 좌표계에서 표현될 수 있다. 일반적으로, 깊이 카메라의 해상도는 컬러 카메라의 해상도보다 낮다. 따라서, 컬러 영상의 많은 픽셀들에 대응하는 깊이 카메라에서 관찰된 3차원 점들이 존재하지 않게 된다. 또한, 깊이 영상에서는 서로 가리지 않았던 두 3차원 점들이 컬러 영상에서는 가까운 점이 먼 점을 가리는 현상, 즉 가리움(occlusion) 현상이 발생한다. 업샘플링부(220)는 다음의 과정을 통해 컬러 영상의 해상도에 대응하도록 3차원 점들을 할당하고, 가리움 현상이 발생하는 경우, 가까운 점이 컬러 영상의 픽셀에 할당되도록 한다.The upsampling unit 220 meshes the depth image, transforms the meshed depth image into a coordinate system of the color image, and upsamples the depth image to the first depth image having the same resolution as the color image. The three-dimensional points observed by the depth camera by the viewpoint converter 210 may be expressed in the coordinate system of the color camera. In general, the resolution of the depth camera is lower than that of the color camera. Therefore, there are no three-dimensional points observed in the depth camera corresponding to many pixels of the color image. In addition, a two-dimensional point, which is not hidden from each other in the depth image, a close point occludes a far point in the color image, that is, an occlusion phenomenon occurs. The upsampling unit 220 allocates three-dimensional points to correspond to the resolution of the color image through the following process, and when the obstruction occurs, a close point is allocated to the pixels of the color image.

업샘플링부(220)는 에지 생성부(221), 좌표 계산부(223), 정렬부(225), 처리부(227)를 포함할 수 있다. The upsampling unit 220 may include an edge generator 221, a coordinate calculator 223, an alignment unit 225, and a processor 227.

에지 생성부(221)는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 에지 생성부(221)는 깊이 영상의 각 픽셀들의 3차원 점들을 꼭지점(vertex)으로 놓고, 꼭지점과 꼭지점 사이를 에지(edge)로 이어서 깊이 영상을 메쉬(mesh)화 한다. 깊이 영상을 메쉬화하는 과정은 도 4b에서 좀더 상세하게 설명한다. The edge generator 221 connects the edges between the three-dimensional points located in the horizontal or vertical direction to each other in the depth image, and connects the edges in the direction in which the difference in depth is small between the three-dimensional points located in the diagonal direction. Can be. The edge generator 221 sets three-dimensional points of the pixels of the depth image as vertices, and meshes the depth image after the vertices and the vertices as edges. The process of meshing the depth image is described in more detail with reference to FIG. 4B.

좌표 계산부(223)는 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 에지 생성부(221)에 의해 깊이 영상의 메쉬화가 종료된 후, 좌표 계산부(223)는 메쉬화를 통해 생성된 제1 삼각형들을 위상을 유지하면서 컬러 영상의 좌표계로 변환된 제2 삼각형들을 생성할 수 있다. 또한, 좌표 계산부(223)는 컬러 영상의 좌표계로 변환된 제2 삼각형들의 중심의 3차원 좌표를 계산할 수 있다. The coordinate calculation unit 223 generates first triangles by connecting the first triangles generated by connecting the three-dimensional points of the depth image with edges, and converts the first triangles to the coordinate system of the color image while maintaining the phase, and generates the second triangles, and the center of the second triangles. You can calculate the coordinates. After the meshing of the depth image is finished by the edge generator 221, the coordinate calculator 223 generates the second triangles converted into the coordinate system of the color image while maintaining the phase of the first triangles generated through the meshing. can do. Also, the coordinate calculator 223 may calculate three-dimensional coordinates of the centers of the second triangles converted into the coordinate system of the color image.

정렬부(225)는 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 정렬부(225)는 좌표 계산부(223)에서 계산된 제2 삼각형들의 중심의 3차원 좌표에 대하여 Z값, 즉 깊이 값이 증가하는 방향으로 제2 삼각형들의 순서를 정렬할 수 있다. The alignment unit 225 may align the second triangles in the order of decreasing depth values. The alignment unit 225 may align the order of the second triangles in a direction in which the Z value, that is, the depth value, is increased with respect to the three-dimensional coordinates of the centers of the second triangles calculated by the coordinate calculator 223.

처리부(227)는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다. 처리부(227)는 컬러 카메라로부터 가장 가까운 제2 삼각형에서 먼 제2 삼각형의 순서로 컬러 영상에 투영할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 시점 변환부(210)에서 변환되어 할당된 3차원 점이 있는지 여부를 판단할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 할당된 3차원 점이 없으면, 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영할 수 있다. 처리부(227)는 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 계산할 수 있다. 처리부(227)는 계산된 제2 삼각형과 만나는 점을 해당 픽셀의 3차원 점으로 할당할 수 있다. 보다 자세한 과정은 도 4c에서 설명한다. The processor 227 projects the aligned second triangles from the triangle having a small depth value to the color image, and if there are no three-dimensional points already assigned to the pixels inside the projected triangle, the processing unit 227 reverses the aligned second triangles from the pixels inside the triangle. The point where the projected straight line meets the aligned second triangle may be treated as a three-dimensional point of pixels in the triangle. The processor 227 may project the color image in the order of the second triangle far from the second triangle closest to the color camera. The processor 227 may determine whether there are three-dimensional points that are converted and allocated by the viewpoint transform unit 210 with respect to pixels existing in the second triangle projected onto the color image. The processor 227 may back-project from the pixels to the aligned second triangle if there are no three-dimensional points allocated to pixels existing inside the second triangle projected on the color image. The processor 227 may calculate a point at which the straight line back-projected from the pixels into the aligned second triangle meets the aligned second triangle. The processor 227 may allocate a point meeting the calculated second triangle as a 3D point of the pixel. A detailed process is described in FIG. 4C.

경계영역 보상부(230)는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 업샘플링부(220)에서 업샘플링 된 제1 깊이 영상은 컬러 영상의 모든 픽셀에 대응하여 3차원 점이 존재하며, 시점 및 화각이 일치한다. 그러나 물체의 경계 부분에서 오차가 발생할 수 있다. 경계영역 보상부(230)는 다음의 과정을 통해 물체 경계 부분의 오차를 보상할 수 있다. 먼저, 경계영역 보상부(230)는 컬러 영상의 한 픽셀을 중심으로, 부정확성을 고려한 너비 W, 높이 H인 윈도우를 사용하며, 상기 픽셀의 깊이 값은 상기 윈도우 내에 존재한다고 가정한다. The boundary region compensator 230 compensates for the boundary region of the object by converting the depth value of the first depth image into disparity. The first depth image upsampled by the upsampling unit 220 has three-dimensional points corresponding to all the pixels of the color image, and the viewpoint and the angle of view correspond to each other. However, errors may occur at the boundary of the object. The boundary region compensator 230 may compensate for an error of the object boundary portion through the following process. First, it is assumed that the boundary area compensator 230 uses a window having a width W and a height H in consideration of inaccuracy around a pixel of a color image, and a depth value of the pixel exists in the window.

경계영역 보상부(230)는 디스패리티 변환부(231) 및 디스패리티 최적화부(233)를 포함할 수 있다. The boundary region compensator 230 may include a disparity converter 231 and a disparity optimizer 233.

디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 깊이 값은 실수 값을 가지면 연속적으로 변하기 때문에, 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 상당한 계산량이 요구된다. 하지만, 깊이 값을 정수 값으로 표현되는 디스패리티(disparity)로 변환하여 최적의 깊이 값을 찾는 것은 계산량이 상대적으로 적다. 따라서, 디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 d=f*b/Z를 이용하여 디스패리티로 변환할 수 있다. 여기서 d는 디스패리티, f는 초점 거리, b는 양안 시차, Z는 해당 픽셀의 깊이 값을 의미한다. 상기 식을 만족시키는 d는 실수 값을 갖게 되는데, 가장 가까운 정수로 반올림하면 정수로 표현되는 디스패리티를 계산할 수 있다. 결과적으로 디스패리티 변환부(231)는 디스패리티 영상을 생성할 수 있다. The disparity converter 231 may generate a disparity image by converting a depth value of the first depth image into a disparity satisfying a predetermined relational expression. Since the depth value changes continuously with a real value, a considerable amount of computation is required to determine the optimal depth value by determining the similarity with the surrounding pixels. However, it is relatively small to find the optimal depth value by converting the depth value into a disparity expressed as an integer value. Accordingly, the disparity converter 231 may convert the depth value of the first depth image into disparity using d = f * b / Z. Where d is the disparity, f is the focal length, b is binocular parallax, and Z is the depth value of the corresponding pixel. D satisfying the above expression has a real value, and by rounding to the nearest integer, the disparity represented by the integer can be calculated. As a result, the disparity converter 231 may generate a disparity image.

디스패리티 최적화부(233)는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비(W)와 높이(H)를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 상기 임의의 픽셀은 상기 윈도우 내 픽셀들의 디스패리티 값 중 하나의 값을 갖는다. 여기서, 디스패리티 최적화부(233)는 데이터 패널티부(도시되지 않음) 및 유사 가중치 적용부(도시되지 않음)를 포함할 수 있다. The disparity optimizer 233 may optimize the arbitrary pixel disparity using a window having a predetermined width W and a height H around the arbitrary pixel in the disparity image. The arbitrary pixel has one of the disparity values of the pixels in the window. Here, the disparity optimizer 233 may include a data penalty unit (not shown) and a similar weight applying unit (not shown).

데이터 패널티부(도시되지 않음)는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)는 다음의 [수학식 1]을 이용한다. The data penalty unit (not shown) applies a penalty smaller if there is a disparity corresponding to the arbitrary pixel disparity in the window, and applies a penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. It can be applied greatly. The data penalty portion (not shown) uses Equation 1 below.

[수학식 1][Equation 1]

여기서, di는 픽셀 i의 디스패리티를 의미하고, 픽셀 i를 중심으로 한 윈도우 내에 디스패리티 값이 존재하는 경우, 픽셀 i의 디스패리티를 di로 결정하면 패널티는 0이되고, 윈도우 내에 디스패리티 값이 존재하지 않는 경우에 패널티는 1이 된다. 경계영역의 보상은 윈도우의 크기가 작을수록 더욱 정확하게 이루어질 수 있다. Here, di denotes the disparity of the pixel i. When the disparity value exists in the window centering on the pixel i, if the disparity of the pixel i is determined as di, the penalty is 0, and the disparity value in the window is determined. If this does not exist, the penalty is one. Compensation of the boundary area can be made more accurate as the window size is smaller.

유사 가중치 적용부(도시되지 않음)는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)에서 사용되는 윈도우 내에 여러 디스패리티가 존재할 수 있으므로, 패널티 만으로는 각각의 픽셀들의 디스패리티를 유일하게 결정할 수 없다. 유사 가중치 적용부(도시되지 않음)는 컬러가 유사한 이웃한 픽셀들은 동일한 물체에 속하고, 동일한 디스패리티를 갖는다는 가정을 반영한다. 유사 가중치 적용부(도시되지 않음)는 다음의 [수학식 2]를 반영하여 가중치를 적용할 수 있다.When the disparity of two neighboring pixels in the disparity image is different from each other, the similar weight applying unit (not shown) may apply a weight to the same as the color values of the two pixels are similar. Since there may be several disparities in a window used in the data penalty unit (not shown), the penalty alone cannot determine the disparity of each pixel. The similar weighting unit (not shown) reflects the assumption that neighboring pixels of similar color belong to the same object and have the same disparity. The similar weight applying unit (not shown) may apply the weight by reflecting the following [Equation 2].

[수학식 2][Equation 2]

여기서, i 와 j는 서로 이웃한 두 픽셀, di와 dj는 두 픽셀들 각각의 디스패리티, λ와 σ는 임의의 양의 상수, c_i와 c_j는 두 픽셀들 각각의 컬러 값을 의미한다. 즉, 유사 가중치 적용부(도시되지 않음)는 이웃한 두 픽셀의 디스패리티가 동일하면, 가중치(V(di, dj))는 0이지만, 이웃한 두 픽셀의 디스패리티가 서로 다르고, 컬러 값이 유사할수록 큰 가중치를 적용한다. Where i and j are two neighboring pixels, di and dj are the disparity of each of the two pixels, λ and σ are any positive constants, and c _i and c _j are the color values of each of the two pixels. . That is, if the disparity of two neighboring pixels is the same, the similarity weighting unit (not shown) has a weight (V (di, dj)) of 0, but the disparity of the two neighboring pixels is different from each other, and the color value is different. The more similar, the greater weight is applied.

디스패리티 최적화부(233)는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다. 디스패리티 최적화부(233)는 디스패리티 영상의 모든 픽셀 및 이웃한 픽셀에 대해서 [수학식 1] 및 [수학식 2]를 적용한 전역 목적함수 E를 최소화하여 최적화를 수행할 수 있다. 이때, 디스패리티 최적화부(233)는 전역 목적함수 E의 최소값을 계산하기 위해 그래프 컷 알고리즘 또는 빌리프 전파 알고리즘을 사용할 수 있다. 전역 목적함수 E는 다음의 [수학식 3]으로 표현될 수 있다.The disparity optimizer 233 may perform optimization using a graph cut algorithm or a belief propagation algorithm. The disparity optimizer 233 may perform optimization by minimizing the global objective function E to which [Equation 1] and [Equation 2] is applied to all pixels and neighboring pixels of the disparity image. In this case, the disparity optimizer 233 may use a graph cut algorithm or a billif propagation algorithm to calculate the minimum value of the global objective function E. The global objective function E can be expressed by Equation 3 below.

[수학식 3]&Quot; (3) "

여기서, N은 디스패리티 영상 내에서 서로 이웃한 두 픽셀들의 집합을 의미한다. Here, N denotes a set of two neighboring pixels in the disparity image.

최종 깊이 값 결정부(240)는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 경계 영역 보상부(230)에서 경계 영역이 보상된 디스패리티 영상은 컬러 값이 차이가 나는 경계에서는 정확하게 경계 영역이 보상된다. 반면, 컬러 값이 유사하여 경계가 모호한 영역에서는 디스패리티 영상에서 경계가 부정확해질 수 있다. 최종 깊이 값 결정부(240)는 컬러 값이 유사한 경우의 경계를 정확하게 보상할 수 있다. The final depth value determiner 240 determines a final depth value of the pixel based on the second depth image and the first depth image in which the depth value is converted into the disparity. In the disparity image in which the boundary region is compensated by the boundary region compensator 230, the boundary region is exactly compensated at the boundary where the color values differ. On the other hand, in an area where the boundary is ambiguous because the color values are similar, the boundary may be inaccurate in the disparity image. The final depth value determiner 240 may accurately compensate the boundary when the color values are similar.

최종 깊이 값 결정부(240)는 역 변환부(241) 및 선택적 가중치 적용부(243)를 포함할 수 있다.The final depth value determiner 240 may include an inverse transformer 241 and an optional weight applier 243.

역 변환부(241)는 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 역 변환부(241)는 최적화 된 디스패리티 영상을 Z = f*b/d 관계식에 기초하여 제2 깊이 영상으로 역변환 할 수 있다. 제2 깊이 영상은 물체 대부분의 경계가 분명하지만, 컬러가 유사한 부분에서는 경계가 오히려 불분명할 수 있다. 제1 깊이 영상은 컬러 영상과 동일한 해상도의 업샘플링 된 깊이 영상으로 물체의 세부적인 부분이 잘 표현되어 있지만, 경계가 불분명하다. The inverse converter 241 may inversely convert an image having a depth value converted into a disparity into the second depth image. The inverse transform unit 241 may inversely convert the optimized disparity image into the second depth image based on Z = f * b / d relational expression. In the second depth image, the boundary of most of the objects is clear, but the boundary may be rather unclear at the portion where the color is similar. The first depth image is an upsampled depth image having the same resolution as the color image, and the detail of the object is well represented, but the boundary is unclear.

선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 반영하여 최종 깊이 값을 결정할 수 있다. 선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다. 선택적 가중치 적용부(243)는 두 픽셀의 깊이 값, 컬러 값 및 위치 값에 의해 가중치를 선택적으로 적용한다는 의미에서 선택적 삼자 필터(Selective Trilateral Filter)라고 칭할 수 있다. 선택적 가중치 적용부(243)는 다음의 [수학식 4]를 이용하여 최종 깊이 값을 결정할 수 있다. The selective weight applier 243 may determine the final depth value by reflecting the advantages of the first depth image and the second depth image. The selective weighting unit 243 uses a window centered on an arbitrary pixel based on the first depth image and the second depth image, and as the depth, color, and position values of the two pixels are similar in the window, The weight can be largely applied. The selective weight applying unit 243 may be referred to as a selective trilateral filter in the sense that the weight is selectively applied by the depth value, the color value, and the position value of two pixels. The selective weight applier 243 may determine the final depth value using Equation 4 below.

[수학식 4]&Quot; (4) "

여기서, t는 반복 횟수, Z_i는 픽셀 i의 깊이 값, F는 필터링 윈도우, w_ij는 픽셀 i와 j사이의 선택적 가중치 함수를 의미한다. 즉, Z_i는 주변 픽셀 j의 깊이 값으로부터 일정한 크기의 필터링 윈도우를 통하여 적용된 선택적 가중치에 의하여 결정될 수 있다. 선택적 가중치 함수(w_ij)는 [수학식 5]와 같이 정의될 수 있다.Where t is the number of repetitions, Z _i is the depth value of pixel i, F is the filtering window, and w _ij is the selective weight function between pixels i and j. That is, Z _i may be determined by a selective weight applied through a filtering window having a constant size from the depth value of the peripheral pixel j. The selective weight function w _ij may be defined as shown in [Equation 5].

[수학식 5][Equation 5]

여기서, τ_d, β_Z, β_c, β_r은 임의의 양의 상수, Z_i'은 픽셀 i의 역변환된 디스패리티 영상, 즉 제2 깊이 영상, c_i와 c_j는 픽셀 i와 j의 컬러 값, x_i와 x_j는 픽셀 i와 픽셀 j의 영상 위치를 나타낸다. 또한, 가중치들의 합

은 1이 되도록 정규화(normalization) 된다. 선택적 가중치 함수(w_ij)에서 디스패리티 차이가 큰 픽셀들의 경우에, 가중치를 0으로 하여 필터링에 고려되지 않는다. 또한, 시간 t에서의 깊이 값 Z_i ^(t) 과 제2 깊이 영상의 깊이 값 Z_i'중에서 어떤 값이 실제의 깊이 값과 유사한지 정확하지 않으므로, 이웃 픽셀의 깊이 값과의 차이 중에서 더 작은 경우

, 즉 가중치를 더 크게 만들어 주는 값을 사용하여 가중치를 적용한다. 즉, 선택적 가중치 함수(w_ij)는 필터링 윈도우 내에서 주변 픽셀의 깊이 값, 컬러 값 및 픽셀 위치 값이 유사할수록 큰 값을 갖는다. t는 보통 5 정도의 값을 사용할 수 있고, Z_i ⁽⁰⁾는 제1 깊이 영상의 깊이 값으로 초기화 될 수 있다.
Where τ _d , β _Z , β _c , β _r are any positive constants, Z _i ′ is an inversely transformed disparity image of pixel i, ie a second depth image, c _i and c _j are pixels i and j of The color values, x _i and x _j , represent image positions of pixels i and j. Also, the sum of the weights

Is normalized to be 1. In the case of pixels having a large disparity difference in the selective weight function w _ij , the weight is set to 0 and is not considered for filtering. In addition, since it is not accurate which of the depth value Z _i ^(t) and the depth value Z _i 'of the second depth image at time t is similar to the actual depth value, Occation

Apply the weight using a value that makes the weight larger. That is, the selective weight function w _ij has a larger value as the depth value, color value, and pixel position value of neighboring pixels in the filtering window are similar. Normally, t may use a value of about 5, and Z _i ⁽⁰⁾ may be initialized to a depth value of the first depth image.

도 3은 본 발명의 일실시예에 따른 시점 변환부(210)의 구체적 일 예를 나타낸 도면이다.3 is a diagram illustrating a specific example of the viewpoint converting unit 210 according to an embodiment of the present invention.

깊이 카메라(310)에서 촬영된 깊이 영상의 픽셀(x_i')은 깊이 영상의 좌표계에 의한 3차원 점(X _i ')이 투영된 것이다. 깊이 영상의 좌표계에 의한 3차원 점(X _i ')은 X _i = RX _i ' + T _i 의 관계식에 의하여 컬러 영상의 좌표계에 의한 3차원 점(X _i )으로 변환될 수 있다. 여기서 R은 회전 파라미터, T는 이동 파라미터를 나타낸다. 또한, 컬러 영상의 좌표계에 의한 3차원 점(X _i )은 x_i = KX _i /Z_i의 관계식에 의하여 컬러 영상에 투영된 픽셀 좌표(x_i)로 변환될 수 있다. 즉, 시점 변환부(210)는 상기 관계식을 통하여 동일한 객체의 3차원 점에 대하여 깊이 영상의 좌표계로부터 컬러 영상의 좌표계로 변환될 수 있고, 컬러 영상의 좌표계로 변환된 3차원 점을 컬러 영상에 투영하여 해당 픽셀의 좌표를 획득할 수 있다.
The pixel x _i 'of the depth image captured by the depth camera 310 is a projection of a three-dimensional point X _i ' by the coordinate system of the depth image. The three-dimensional point ( X _i ') by the coordinate system of the depth image is X _i = RX _i ' + T _i It can be converted into a three-dimensional point ( X _i ) by the coordinate system of the color image by the relation of. Where R is a rotation parameter and T is a moving parameter. In addition, the three-dimensional point X _i by the coordinate system of the color image may be converted into pixel coordinates x _i projected on the color image by a relational expression of x _i = K X _i / Z _i . That is, the viewpoint converting unit 210 may convert the three-dimensional point of the same image from the depth image coordinate system to the coordinate system of the color image with respect to the three-dimensional point of the same object, and convert the three-dimensional point converted into the coordinate system of the color image to the color image. By projecting, the coordinates of the pixel may be obtained.

도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부(220)의 구체적 일 예를 나타낸 도면이다.4A to 4D are diagrams showing specific examples of the upsampling unit 220 according to an embodiment of the present invention.

도 4a는 깊이 영상(410)에 촬영된 3차원 점을 컬러 영상(420)의 좌표계로 변환하여 컬러 영상(420)으로 투영하는 경우에 발생하는 가리움(occlusion)현상을 나타낸다. 깊이 영상(410)은 컬러 영상(420)에 비해 해상도가 낮기 때문에 컬러 영상(420)의 픽셀에 대응하는 정보를 모두 가지고 있지 않다. 또한, 깊이 영상(410)에서는 서로 가리지 않았던 두 3차원 점들(X_i', X_j')이 컬러 영상(420)에서는 가까운 점(X_j)이 먼 점(X_i)을 가리는 현상, 즉 가리움 현상이 발생할 수 있다. FIG. 4A illustrates an occlusion that occurs when a 3D point photographed in the depth image 410 is converted into a coordinate system of the color image 420 and projected onto the color image 420. Since the depth image 410 has a lower resolution than the color image 420, the depth image 410 does not have all the information corresponding to the pixels of the color image 420. In addition, in the depth image 410, two three-dimensional points X _i ′ and X _j ′, which are not hidden from each other, in the color image 420, a near point X _j covers a distant point X _i . Symptoms may occur.

도 4b는 깊이 영상에서 메쉬 생성 방법을 나타낸다. 에지 생성부(221)는 컬러 영상의 모든 픽셀들에 대응하는 3차원 점들을 생성하기 위한 첫 단계로 깊이 영상을 메쉬화한다. 에지 생성부(221)는 깊이 영상(430)의 각 픽셀들의 3차원 점들(440)을 꼭지점으로 놓고, 꼭지점과 꼭지점 사이를 에지로 연결한다. 에지 생성부(221)는 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 3차원 점들 사이를 에지로 연결한다(440에서 빨간색). 에지 생성부(221)는 대각선 방향으로 위치한 점들 사이에서 두 가지 가능한 경우 중에 깊이 값의 차이가 적은 경우에 대해서 에지를 연결한다(440에서 파란색). 도 4b를 참조하면, 대각선 방향으로 위치한 점들 사이는 Z₁과 Z₃, Z₂와 Z₄ 두 가지 경우가 있다. 두 경우 중에서 |Z₁- Z₃|>|Z₂- Z₄|인 경우에, Z₂와 Z₄ 값이 차이가 작으므로 Z₂와 Z₄ 간에 에지가 연결된다. 에지 생성부(221)는 깊이 값의 차이가 작은 경우를 에지로 연결하여 삼각형을 형성함에 따라 유사한 깊이 값을 가지는 영역끼리 메쉬화할 수 있다.4B illustrates a mesh generation method in a depth image. The edge generator 221 meshes the depth image as a first step for generating three-dimensional points corresponding to all pixels of the color image. The edge generator 221 sets three-dimensional points 440 of the pixels of the depth image 430 as vertices and connects the vertices with the edges. The edge generator 221 connects three-dimensional points positioned in the horizontal or vertical direction to each other in the depth image as edges (red at 440). The edge generator 221 connects the edges (blue at 440) for the case where the difference in the depth value is small among the two possible cases between the points located in the diagonal direction. Referring to FIG. 4B, there are two cases between Z ₁ and Z ₃ , Z ₂ and Z ₄ between the diagonally located points. In both cases, _{_{| Z 1 - Z 3 |>}} | Z 2 - Z 4 | if a, Z ₂ and Z ₄ value of the edge between the Z ₂ and Z ₄ are coupled to their compact difference. The edge generator 221 may mesh the regions having similar depth values by forming triangles by connecting edges having small differences in depth values to the edges.

도 4c는 에지를 연결하여 생성된 삼각형을 컬러 영상(450)의 좌표계로 변환하여 컬러 영상(450)에 투영 및 역투영하고, 컬러 영상(450)에 대응하는 픽셀에 3차원 점이 할당되는 경우를 나타낸다. 좌표 계산부(223)는 에지를 연결하여 생성된 제1 삼각형을 컬러 영상의 좌표계로 위상(topology)을 유지하면서 변환하여 제2 삼각형을 생성한다. 정렬부(225)는 제2 삼각형의 중심 좌표에 따라 작은 값을 가지는 것부터 순서대로 정렬한다. 처리부(227)는 중심 좌표가 작은 값을 가지는 제2 삼각형부터 컬러 영상(450)에 투영한다. 처리부(227)는 투영된 제2 삼각형 내부의 픽셀(460)에 이미 할당된 3차원 점이 없으면, 상기 픽셀(460)로부터 역투영된 직선이 제2 삼각형과 만나는 점을 계산하여, 상기 만나는 점(470)을 해당 픽셀의 3차원 점으로 할당한다. 처리부(227)를 통하여 컬러 영상의 모든 픽셀에 3차원 점이 할당될 수 있다. 4C illustrates a case in which a triangle generated by connecting edges is converted into a coordinate system of the color image 450 to be projected and reverse projected on the color image 450, and a three-dimensional point is assigned to a pixel corresponding to the color image 450. Indicates. The coordinate calculator 223 generates a second triangle by converting the first triangle generated by connecting the edges while maintaining the topology in the coordinate system of the color image. The alignment unit 225 sorts in order from the one having the smallest value according to the center coordinate of the second triangle. The processor 227 projects from the second triangle having a small center coordinate to the color image 450. The processor 227 calculates a point where the straight line projected from the pixel 460 meets the second triangle when there is no three-dimensional point that is already assigned to the pixel 460 inside the projected second triangle. 470 is assigned to the three-dimensional point of the pixel. The 3D point may be allocated to all pixels of the color image through the processor 227.

도 4d는 컬러 영상과 업샘플링부(220)를 통하여 컬러 영상과 동일한 해상도 및 시점을 가지는 깊이 영상을 나타낸다. (A)는 기준 시점에서 촬영된 컬러 영상을 나타내고, (B)는 기준 시점에서 촬영된 깊이 영상을 시점 변환 및 업샘플링하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 나타낸다. (B)를 보면 컬러 영상의 모든 픽셀에 대하여 3차원 점이 존재하며, 시점 및 화각이 거의 일치함을 알 수 있다. 하지만, 어깨나 머리카락의 경계 부분에서는 불분명한 값을 가져 오차가 발생함을 알 수 있다.
4D illustrates a depth image having the same resolution and viewpoint as the color image through the color image and the upsampling unit 220. (A) shows a color image photographed at the reference viewpoint, and (B) shows a depth image having the same resolution as the color image by transforming and upsampling the depth image photographed at the reference viewpoint. Referring to (B), it can be seen that three-dimensional points exist for all pixels of the color image, and the viewpoint and the angle of view are almost identical. However, it can be seen that an error occurs due to an unclear value at the boundary of the shoulder or hair.

도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부(230)의 구체적 일 예를 나타낸 도면이다.5A to 5C are diagrams illustrating specific examples of the boundary area compensation unit 230 according to an embodiment of the present invention.

도 5a는 업샘플링 된 제1 깊이 영상과 제1 깊이 영상을 디스패리티로 변환한 디스패리티 영상을 나타낸다. (A)는 제1 깊이 영상을 나타내고, (B)는 디스패리티 영상을 나타낸다. 경계 영역 보상부(230)는 제1 깊이 영상을 디스패리티 영상으로 변환하고, 디스패리티 영상을 최적화함으로써 물체의 경계 영역을 보상할 수 있다. 깊이 값은 실수 값을 가지며 연속적으로 변하기 때문에 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 많은 계산량을 요구한다. 따라서, 경계 영역 보상부(230)는 깊이 값을 정수 값으로 표현되는 디스패리티로 변환하여 계산량을 줄일 수 있다. 5A illustrates a disparity image obtained by converting an upsampled first depth image and a first depth image into disparity. (A) shows a first depth image, and (B) shows a disparity image. The boundary region compensator 230 may compensate for the boundary region of the object by converting the first depth image into a disparity image and optimizing the disparity image. Since the depth value has a real value and changes continuously, finding the optimal depth value by determining the similarity with surrounding pixels requires a large amount of computation. Accordingly, the boundary area compensator 230 may reduce the amount of calculation by converting the depth value into a disparity represented by an integer value.

도 5b는 컬러 영상과 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 나타낸다. (A)는 컬러 영상을 나타낸다. 컬러 영상에서 머리카락 경계 영역(510)을 살펴보면, x를 중심으로 한 윈도우(520)에서 컬러 값이 차이가 나타나고, 윈도우(530)에서는 컬러 값이 상이함에도 깊이 값이 모호한 것을 알 수 있다. 경계 영역 보상부(230)는 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 사용하여 임의의 한 픽셀의 깊이 값은 윈도우 내에 존재한다는 가정하에, 윈도우 내에서 정확한 깊이 값을 찾는 것을 목적으로 한다. 5B illustrates a window having a width W and a height H around a color image and any one pixel. (A) shows a color image. Looking at the hair boundary region 510 in the color image, it can be seen that the color value is different in the window 520 centered on x, and the depth value is ambiguous even though the color value is different in the window 530. The boundary area compensator 230 uses a window having a width W and a height H around any one pixel, and assumes that a depth value of any one pixel exists in the window, and thus the correct depth in the window. It aims to find a value.

도 5c는 최적화 전의 디스패리티 영상과 최적화 후의 디스패리티 영상을 나타낸다. (A)는 컬러 영상, (B)는 최적화 전 디스패리티 영상, (C)는 최적화 후 디스패리티 영상을 나타낸다. 최적화 전의 디스패리티 영상에서의 윈도우(550)에서 x픽셀 주변의 경계는 모호한 값을 가진다. 최적화 후의 디스패리티 영상에서의 윈도우(560)에서는 머리카락 주변의 경계가 컬러 영상의 경계(540)에 맞게 보상되었다. 그러나 컬러 값이 유사하여 컬러 영상의 경계가 모호한 부분(570)에서는 최적화 후의 디스패리티 영상의 경계가 불분명해짐을 알 수 있다.
5C shows a disparity image before optimization and a disparity image after optimization. (A) shows a color image, (B) shows a disparity image before optimization, and (C) shows a disparity image after optimization. The boundary around x pixels in the window 550 in the disparity image before optimization has an ambiguous value. In the window 560 in the disparity image after the optimization, the boundary around the hair is compensated for the boundary 540 of the color image. However, it can be seen that the boundary of the disparity image after the optimization becomes unclear at the portion 570 in which the color value is similar and the boundary of the color image is ambiguous.

도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부(240)의 구체적 일 예를 나타낸 도면이다.6 is a view showing a specific example of the final depth value determiner 240 according to an embodiment of the present invention.

도 6을 참조하면, (A)는 컬러 영상, (B)는 업샘플링된 제1 깊이 영상, (C)는 디스패리티 영상이 역변환된 제2 깊이 영상, (D)는 최종 깊이 값 결정부(240)에 의해 최종 깊이 값이 결정된 깊이 영상을 나타낸다. 최종 깊이 값 결정부(240)는 필터링 윈도우를 설정하고, 필터링 윈도우 내부의 픽셀들 간에 깊이 값, 컬러 값, 픽셀 위치 값이 유사함에도 디스패리티 값이 상이한 경우, 가중치를 적용하여 최종 깊이 값을 결정한다. 특히, 제1 깊이 영상은 물체의 세부적인 부분이 잘 묘사되어 있고, 제2 깊이 영상은 물체의 경계가 분명하다. 최종 깊이 값 결정부(240)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 취합하여 최종 깊이 값을 결정할 수 있다. (D)는 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
Referring to FIG. 6, (A) is a color image, (B) is an upsampled first depth image, (C) is a second depth image in which a disparity image is inversely transformed, and (D) is a final depth value determining unit ( A depth image having a final depth value determined by 240 is represented. The final depth value determiner 240 sets a filtering window and determines the final depth value by applying a weight when the disparity value is different even though the depth value, the color value, and the pixel position value are similar among the pixels in the filtering window. do. In particular, the first depth image depicts the details of the object well, and the second depth image has a clear boundary of the object. The final depth value determiner 240 may determine the final depth value by combining the advantages of the first depth image and the second depth image. (D) not only shows the depth boundary coinciding with the color boundary, but it can be seen that the color value has a separate depth value even in a similar area.

도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.7 illustrates a stereo image based on a depth image having the same resolution as a color image according to an embodiment of the present invention.

(A)는 컬러 카메라에서 촬영된 컬러 영상으로 스테레오 영상에서 왼쪽 영상을 나타낸다. (B)는 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지도록 생성된 영상이다. (B)는 스테레오 영상에서 오른쪽 영상을 나타낸다. 컬러 카메라의 오른쪽에 깊이 카메라를 위치시키고, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치를 이용한다. 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 카메라에서 촬영된 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 생성할 수 있다. (B)는 (A) 및 동일한 해상도의 깊이 영상에 의해 생성될 수 있다. (B)는 왼쪽 영상의 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
(A) is a color image photographed by a color camera and represents a left image in a stereo image. (B) is an image generated to have the same resolution as the color image based on the depth image. (B) shows a right image in a stereo image. A depth camera is positioned on the right side of the color camera, and a depth image generating apparatus having the same view point and resolution as the color image according to an embodiment of the present invention is used. The depth image generating apparatus having the same view point and resolution as the color image according to an embodiment of the present invention may generate a depth image having the same resolution as the color image based on the depth image photographed by the depth camera. (B) may be generated by (A) and the depth image of the same resolution. (B) not only shows a depth boundary that matches the color boundary of the left image, but also shows that the color value has a separate depth value even in a similar area.

도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.8 is a flowchart of a method of generating a depth image having the same view point and resolution as a color image according to an embodiment of the present invention.

810단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.In operation 810, the depth image generating apparatus having the same view and resolution as the color image may include a three-dimensional image of the same scene captured in the depth image in the depth image and the color image of the same scene. Points are transformed into a coordinate system of the color image. Also, the depth image generating apparatus having the same view point and resolution as the color image may project coordinates of the pixel by projecting a three-dimensional point transformed into a coordinate system of the color image onto the color image.

820단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다.In operation 820, the depth image generating apparatus having the same view point and resolution as the color image meshes the depth image, and converts the meshed depth image into a coordinate system of the color image, thereby performing the same resolution as that of the color image. Upsample to a first depth image. In addition, the depth image generating apparatus having the same viewpoint and resolution as the color image may connect edges between the three-dimensional points located in the horizontal or vertical direction to each other in the depth image, and the three-dimensional points disposed in the diagonal direction may have a depth value. The edges can be connected in the direction of little difference. Also, the depth image generating apparatus having the same view and resolution as the color image may convert the first triangles generated by connecting the three-dimensional points of the depth image with edges, and convert the first triangles to the coordinate system of the color image while maintaining the phase. And the center coordinates of the second triangles. Also, the depth image generating apparatus having the same view point and resolution as the color image may arrange the second triangles in the order of decreasing depth values. Also, the depth image generating apparatus having the same viewpoint and resolution as the color image may project the aligned second triangles from the triangle having a small depth value to the color image, and then three-dimensionally allocated to the pixels inside the projected triangle. If there is no point, a point where a straight line projected from the triangle inner pixels meets the aligned second triangle may be treated as a three-dimensional point of the triangle inner pixels.

830단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다.In operation 830, the depth image generating apparatus having the same view point and resolution as the color image converts the depth value of the first depth image into disparity to compensate for the boundary region of the object. Also, the depth image generating apparatus having the same view and resolution as the color image may generate a disparity image by converting the depth value of the first depth image into a disparity satisfying a predetermined relational expression. In addition, the depth image generating apparatus having the same view and resolution as the color image may optimize the arbitrary pixel disparity by using a window having a predetermined width and height centered on the arbitrary pixel in the disparity image. In addition, the depth image generating apparatus having the same view and resolution as the color image may apply a penalty if the disparity corresponding to the arbitrary pixel disparity exists in the window, and correspond to the disparity of the arbitrary pixel in the window. Without disparity, penalties can be largely applied. In addition, when the disparity of two neighboring pixels in the disparity image is different from each other in the disparity image, the depth image generating apparatus having the same viewpoint and resolution as the color image may apply a greater weight as the color values of the two pixels are similar.

840단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다.In operation 840, the depth image generating apparatus having the same view point and resolution as the color image determines the final depth value of the pixel based on the second depth image obtained by inverting the image whose depth value is converted into disparity and the first depth image. Also, the depth image generating apparatus having the same view point and resolution as the color image may inversely convert the image having the depth value converted into disparity into the second depth image. In addition, the depth image generating apparatus having the same view and resolution as the color image uses a window centered on an arbitrary pixel based on the first depth image and the second depth image, and has a depth value of two pixels within the window. The more similar the color value and the position value, the greater the weight can be applied.

상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The above-described methods may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

Claims

A viewpoint converting unit for converting 3D points of the same scene captured in the depth image into a coordinate system of the color image in a depth image and a color image of the same scene photographed at different viewpoints;
An upsampling unit which meshes the depth image, transforms the meshed depth image into a coordinate system of the color image, and upsamples the first depth image to a first depth image having the same resolution as the color image;
A boundary region compensator configured to compensate for a boundary region of an object by converting a depth value of the first depth image into disparity; And
A final depth value determiner configured to determine a final depth value of a pixel based on a second depth image obtained by inversely converting an image in which the depth value is converted into a disparity, and the first depth image
Depth image generating device having the same view and resolution as the color image including a.

The method of claim 1,
The viewpoint converting unit
Projecting three-dimensional points transformed into a coordinate system of the color image onto the color image to obtain coordinates of the corresponding pixel;
A depth image generating device having the same view point and resolution as a color image.

The method of claim 1,
The upsampling unit
An edge generator that connects the three-dimensional points located in the horizontal or vertical direction in the depth image with an edge, and the edge generation unit for connecting the edges in the direction of the difference in depth value between the three-dimensional points located in the diagonal direction
Depth image generating device having the same view and resolution as the color image including a.

The method of claim 1,
The upsampling unit
Coordinates for generating the first triangles generated by connecting edges between three-dimensional points of the depth image to the coordinate system of the color image while maintaining a phase and generating second triangles, and calculating center coordinates of the second triangles. A calculator;
An alignment unit to align the second triangles in order of decreasing depth value; And
After projecting the aligned second triangles to the color image from a triangle having a small depth value, if there is no three-dimensional point already assigned to the pixels inside the projected triangle, a straight line back-projected from the pixels inside the triangle is displayed. A processing unit for processing the point meeting the aligned second triangle as the three-dimensional point of the pixels inside the triangle
Depth image generating device having the same view and resolution as the color image including a.

The method of claim 1,
The boundary area compensator
A disparity converter configured to convert a depth value of the first depth image into a disparity satisfying a predetermined relational expression and generate a disparity image; And
A disparity optimizer configured to optimize the arbitrary pixel disparity by using a window having a predetermined width and height centered on an arbitrary pixel in the disparity image
Depth image generating device having the same view and resolution as the color image including a.

The method of claim 5,
The disparity optimizer
A data penalty unit for applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and a large penalty for applying a disparity corresponding to the disparity of the arbitrary pixel in the window; And
If the disparity of two pixels adjacent to each other in the disparity image is different, the similar weight application unit that applies a weight as the color values of the two pixels are similar
Depth image generating device having the same view and resolution as the color image including a.

The method of claim 5,
The disparity optimizer
A depth image generating device having the same view and resolution as a color image, characterized in that optimization is performed using a graph cut algorithm or a belief propagation algorithm.

The method of claim 1,
The final depth value determiner
An inverse converter configured to inversely convert an image having the depth value converted into a disparity into the second depth image; And
Optionally, using a window centered on an arbitrary pixel based on the first depth image and the second depth image, and applying weight more as the depth value, color value, and position value of two pixels in the window are similar. Weighting unit
Depth image generating device having the same view and resolution as the color image including a.

Converting a viewpoint from three-dimensional points of the same scene captured in the depth image to a coordinate system of the color image in a depth image and a color image photographing the same scene at different viewpoints;
Meshing the depth image, transforming the meshed depth image into a coordinate system of the color image, and upsampling the first depth image to a first depth image having the same resolution as the color image;
Compensating a boundary area of an object by converting a depth value of the first depth image into disparity; And
Determining a final depth value of a pixel based on a second depth image obtained by inversely converting an image in which the depth value is converted into disparity and the first depth image;
Depth image generation method having the same view and resolution as the color image including a.

10. The method of claim 9,
Converting the view point
Projecting a three-dimensional point transformed into a coordinate system of the color image onto the color image to obtain coordinates of a corresponding pixel;
Depth image generating device having the same view and resolution as the color image including a.

10. The method of claim 9,
The upsampling step
Connecting edges between the three-dimensional points located in the horizontal or vertical direction to each other in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points located in the diagonal direction;
Depth image generation method having the same view and resolution as the color image including a.

10. The method of claim 9,
The upsampling step
Computing the first triangles generated by connecting the three-dimensional points of the depth image by the edge to the coordinate system of the color image while maintaining the phase, generating the second triangles, and calculating the center coordinates of the second triangles ;
Arranging the second triangles in order of decreasing depth value; And
After projecting the aligned second triangles to the color image from a triangle having a small depth value, if there is no three-dimensional point already assigned to the pixels inside the projected triangle, a straight line back-projected from the pixels inside the triangle is displayed. Processing a point that meets an aligned second triangle into a three-dimensional point of the pixels inside the triangle
Depth image generation method having the same view and resolution as the color image including a.

10. The method of claim 9,
Compensating the boundary area
Generating a disparity image by converting a depth value of the first depth image into a disparity satisfying a predetermined relational expression; And
Optimizing the arbitrary pixel disparity using a window having a predetermined width and height centered on an arbitrary pixel in the disparity image
Depth image generation method having the same view and resolution as the color image including a.

The method of claim 13,
Optimizing the disparity
Applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and applying a large penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window; And
If the disparity of two neighboring pixels in the disparity image is different from each other, applying weights as the color values of the two pixels are similar to each other;
Depth image generation method having the same view and resolution as the color image including a.

10. The method of claim 9,
Determining the final depth value is
Inversely converting the image in which the depth value is converted into disparity into the second depth image; And
Using a window centered on an arbitrary pixel based on the first depth image and the second depth image, and applying weights as the depth values, color values, and position values of the two pixels are similar in the window;
Depth image generation method having the same view and resolution as the color image including a.