KR20120018915A - Apparatus and method for generating depth image that have same viewpoint and same resolution with color image - Google Patents
Apparatus and method for generating depth image that have same viewpoint and same resolution with color image Download PDFInfo
- Publication number
- KR20120018915A KR20120018915A KR1020100081898A KR20100081898A KR20120018915A KR 20120018915 A KR20120018915 A KR 20120018915A KR 1020100081898 A KR1020100081898 A KR 1020100081898A KR 20100081898 A KR20100081898 A KR 20100081898A KR 20120018915 A KR20120018915 A KR 20120018915A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth
- disparity
- depth image
- color image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
Description
기술분야는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상을 생성하는 장치 및 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to an apparatus and method for generating a depth image having the same view and resolution as a color image.
깊이 카메라는 3차원 정보 이외에도 신(scene)에서 빛이 반사되어 들어온 광도(intensity) 정보를 함께 제공한다. 이때, 광도 정보는 적외선(Infrared, IR) 대역에 관한 것이어서, 다양한 대역의 컬러 정보를 포함하지 않는다. 따라서, 깊이 카메라에서 획득된 깊이 영상으로부터 스테레오 영상 또는 가상시점 영상을 생성하기 위해서는 적어도 한 장의 컬러 영상이 필요하다. In addition to the three-dimensional information, the depth camera provides intensity information from which light is reflected from the scene. In this case, the luminance information relates to an infrared (IR) band and does not include color information of various bands. Therefore, at least one color image is required to generate a stereo image or a virtual view image from the depth image acquired by the depth camera.
스테레오 영상 및 가상시점 영상을 생성하는 과정에서 중요한 것은 기준시점에서 획득된 깊이 영상과 컬러 영상간의 시점 변화를 최소화 하는 것이다. 시점 변화가 작은 경우에 기준시점에서 획득된 컬러 영상 및 깊이 영상에 공통된 부분이 존재하기 때문이다.In the process of generating the stereo image and the virtual view image, it is important to minimize the viewpoint change between the depth image and the color image acquired at the reference view point. This is because a common part exists in the color image and the depth image acquired at the reference point when the viewpoint change is small.
일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환하는 시점 변환부, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부를 포함한다.According to an aspect, a depth image generating apparatus having the same view and resolution as a color image may include a depth image and a color image of the same scene photographed at different viewpoints, and the same scene captured in the depth image. A viewpoint converting unit for converting 3D points into a coordinate system of the color image, meshing the depth image, and transforming the meshed depth image into a coordinate system of the color image, thereby performing the same view as that of the color image. An upsampling unit for upsampling to a first depth image having a resolution, a boundary region compensator for compensating a boundary area of an object by converting a depth value of the first depth image into a disparity, and the depth value is a disparity And a final depth value determiner configured to determine a final depth value of the pixel based on the second depth image obtained by inverting the converted image and the first depth image.
상기 시점 변환부는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.The viewpoint conversion unit may project 3D points transformed into a coordinate system of the color image to the color image to obtain coordinates of a corresponding pixel.
상기 업샘플링부는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 에지 생성부를 포함할 수 있다.The upsampling unit generates edges connecting edges between the three-dimensional points positioned in the horizontal or vertical direction to each other in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points positioned in the diagonal direction. It may include wealth.
상기 업샘플링부는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 좌표 계산부, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 정렬부 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 처리부를 포함할 수 있다.The upsampling unit converts the first triangles generated by connecting the three-dimensional points of the depth image with edges, converts the first triangles into a coordinate system of the color image while maintaining the phase, and generates second triangles, and coordinates of the centers of the second triangles. A coordinate calculation unit for calculating a; an alignment unit for arranging the second triangles in order of decreasing depth value; and projecting the aligned second triangles to the color image from a triangle having a small depth value, If there is no 3D point already assigned to the pixels, the processing unit may include a processing unit for processing a point where a straight line projected from the triangle inner pixels meets the aligned second triangle as the 3D point of the triangle inner pixels.
상기 경계 영역 보상부는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 디스패리티 변환부 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 디스패리티 최적화부를 포함할 수 있다.The boundary region compensator converts the depth value of the first depth image into a disparity satisfying a predetermined relational expression to generate a disparity image, and a predetermined width centered on an arbitrary pixel in the disparity image. And a disparity optimizer configured to optimize the arbitrary pixel disparity using a window having a and height.
상기 디스패리티 최적화부는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 데이터 패널티부 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 유사 가중치 적용부를 포함할 수 있다.The disparity optimizer may be configured to apply a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and to apply a large penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. If the disparity of two pixels adjacent to each other in the penalty unit and the disparity image is different from each other, a similar weight applying unit may be applied to increase the weight as the color values of the two pixels are similar.
상기 디스패리티 최적화부는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다.The disparity optimizer may perform optimization using a graph cut algorithm or a belief propagation algorithm.
상기 최종 깊이 값 결정부는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 역변환부 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 선택적 가중치 적용부를 포함할 수 있다.The final depth value determiner is an inverse transform unit that inversely converts an image in which the depth value is converted into a disparity into the second depth image, and a window centering on an arbitrary pixel based on the first depth image and the second depth image. And a weighting unit that applies a weight more as the depth value, the color value, and the position value of the two pixels in the window are similar to each other.
일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법은 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환하는 단계, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 단계, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 단계 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 단계를 포함한다.According to an aspect, a depth image generating method having the same view and resolution as a color image may include a depth image and a color image of the same scene photographed at different points of view. Converting a 3D point of view into a coordinate system of the color image, meshing the depth image, and transforming the meshed depth image into a coordinate system of the color image, thereby obtaining the same resolution as that of the color image Upsampling to a first depth image of the image, converting a depth value of the first depth image into a disparity, compensating a boundary region of an object, and inversely converting an image from which the depth value is converted to a disparity And determining a final depth value of the pixel based on the second depth image and the first depth image.
상기 시점을 변환하는 단계는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는 단계를 포함할 수 있다.The converting the viewpoint may include obtaining a coordinate of a corresponding pixel by projecting a three-dimensional point transformed into the coordinate system of the color image onto the color image.
상기 업샘플링 하는 단계는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 단계를 포함할 수 있다.The upsampling may include connecting the three-dimensional points positioned in the horizontal or vertical direction with edges in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points positioned in the diagonal direction. It may include a step.
상기 업샘플링 하는 단계는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 단계, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 단계 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 단계를 포함할 수 있다.The upsampling may include converting first triangles generated by connecting edges between three-dimensional points of the depth image to a coordinate system of the color image while maintaining phases, generating second triangles, and generating the second triangles. Calculating a center coordinate, arranging the second triangles in the order of the smallest depth value, and projecting the aligned second triangles from the triangle having the smallest depth value to the color image, and then performing a pixel inside the projected triangle. If there is no 3D point already assigned to the field, the method may include treating the point where the straight line projected from the triangle inner pixels meet the aligned second triangle as the three dimensional point of the triangle inner pixels.
상기 경계 영역을 보상하는 단계는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 단계 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 단계를 포함할 수 있다.Compensating the boundary region may include generating a disparity image by converting a depth value of the first depth image into a disparity satisfying a predetermined relational expression and a predetermined width centering on an arbitrary pixel in the disparity image. Optimizing the arbitrary pixel disparity using a window having a and height.
상기 디스패리티를 최적화하는 단계는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 단계 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.The disparity optimization may include applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and increasing the penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. If the disparity of the two pixels adjacent to each other in the disparity image is different, the step of applying the weight may be increased as the color values of the two pixels are similar.
상기 최종 깊이 값을 결정하는 단계는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 단계 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.The determining of the final depth value may include converting an image having the depth value converted into a disparity into the second depth image and focusing on an arbitrary pixel based on the first depth image and the second depth image. The method may include using one window, and applying weights as the depth, color, and position values of the two pixels in the window are similar.
시점이 유사하지만 차이가 있는, 깊이 영상 촬영장치와 컬러 영상 촬영장치에서 획득된 깊이 영상에 기초하여 동시에 획득된 컬러 영상과 해상도 및 시점이 동일한 깊이 영상을 생성할 수 있다.A depth image having the same resolution and a viewpoint as the color image acquired at the same time may be generated based on the depth image acquired by the depth image capturing apparatus and the color image capturing apparatus having similar viewpoints but differences.
또한, 깊이 영상 촬영장치에서 관찰된 3차원 점들을 에지로 연결하여 메쉬화하고, 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 변환하고, 역투영 함으로써, 깊이 영상을 컬러 영상 촬영장치의 좌표계로 변환하는 과정에서 발생하는 가리움 현상을 보상할 수 있다.In addition, the 3D points observed in the depth imager are connected to the edge to mesh and convert the meshed depth image to the coordinate system of the color image, and back projection, thereby converting the depth image to the coordinate system of the color imager. It can compensate for the covering phenomenon occurring during the process.
또한, 업샘플링된 깊이 영상을 디스패리티(disparity) 영상으로 변환 및 최적화함으로써, 깊이 영상에 촬영된 물체의 경계부분의 오차를 개선할 수 있다.In addition, by converting and optimizing the upsampled depth image into a disparity image, an error of a boundary portion of an object photographed in the depth image may be improved.
또한, 업샘플링된 깊이 영상, 디스패리티 영상, 윈도우 내의 주변 픽셀간의 컬러 값, 주변 픽셀간의 위치 차이에 기초하여 깊이 값을 결정함으로써, 깊이 영상에서 물체의 경계를 정확히 구별하고, 컬러 값이 유사한 영역을 좀 더 정확하게 구별하게 할 수 있다.In addition, the depth value is determined based on the upsampled depth image, the disparity image, the color value between the neighboring pixels in the window, and the position difference between the neighboring pixels, thereby accurately distinguishing the boundary of the object in the depth image, and a region having similar color values. Can be distinguished more accurately.
또한, 컬러 영상과 시점이 동일한 깊이 영상을 이용하여 물체의 경계에서 오차가 적은 스테레오 영상 또는 가상시점 영상을 생성할 수 있다.Also, a stereo image or a virtual viewpoint image having less error at the boundary of an object may be generated using a depth image having the same viewpoint as the color image.
또한, 3D 게임 또는 증강 현실에 적용할 수 있는 컬러 값과 깊이 값이 동시에 구비된 3차원 모델을 생성할 수 있다.In addition, it is possible to generate a three-dimensional model provided with a color value and a depth value that can be applied to a 3D game or augmented reality at the same time.
도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 시점 변환부의 구체적 일 예를 나타낸 도면이다.
도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부의 구체적 일 예를 나타낸 도면이다.
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부의 구체적 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부의 구체적 일 예를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.FIG. 1 is a diagram illustrating positions and acquired images of a color image capturing apparatus and a depth image capturing apparatus minimizing a change in viewpoint.
2 is a block diagram of a depth image generating apparatus having the same view point and resolution as a color image according to an embodiment of the present invention.
3 is a diagram illustrating a specific example of a viewpoint converting unit according to an embodiment of the present invention.
4A to 4D are diagrams showing specific examples of the upsampling unit according to an embodiment of the present invention.
5A to 5C are diagrams illustrating specific examples of the boundary area compensation unit according to an exemplary embodiment of the present invention.
6 is a view showing a specific example of the final depth value determiner according to an embodiment of the present invention.
7 illustrates a stereo image based on a depth image having the same resolution as a color image according to an embodiment of the present invention.
8 is a flowchart of a method of generating a depth image having the same view point and resolution as a color image according to an embodiment of the present invention.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.FIG. 1 is a diagram illustrating positions and acquired images of a color image capturing apparatus and a depth image capturing apparatus minimizing a change in viewpoint.
영상 촬영장치는 카메라를 포함한다. 깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 측정할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. The image capturing apparatus includes a camera. The depth camera may measure an intensity image and a depth image according to the intensity of light rays received by emitting light. The luminance image is measured through the intensity of the light reflected and refracted from the object, thereby enabling identification of the object, and the depth image can indicate how far the object is from the depth camera, ie perspective.
도 1을 참조하면, (A)는 컬러 카메라(110) 및 깊이 카메라(120)의 위치, (B)는 512 x384 크기의 컬러 영상, (C)는 176x144 크기의 깊이 영상을 나타낸다. (A)는 가상시점 영상 생성시, 깊이 영상과 컬러 영상 간의 시점 변화를 최소화 하기 위해 물리적으로 가장 근거리에 위치시킨 구조이다. (B)와 (C)를 비교해 보면, 컬러 영상과 깊이 영상의 시점 및 해상도가 서로 다를 뿐만 아니라 깊이 영상의 화각(field of view)은 컬러 영상의 화각보다 더 넓다. 또한, 컬러 카메라와 깊이 카메라 간의 약간의 시점 차이로 인하여, 컬러 영상에서는 관찰되지만, 깊이 영상에서는 관찰되지 않는 부분이 존재하고, 깊이 영상에서는 관찰되지만 컬러 영상에서는 관찰되지 않는 부분이 존재한다.
Referring to FIG. 1, (A) shows positions of the
도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.2 is a block diagram of a depth image generating apparatus having the same view point and resolution as a color image according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 시점 변환부(210), 업샘플링부(220), 경계영역 보상부(230) 및 최종 깊이 값 결정부(240)를 포함한다. Referring to FIG. 2, a depth image generating apparatus having the same viewpoint and resolution as a color image according to an embodiment of the present invention may include a
시점 변환부(210)는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환한다. 시점 변환부(210)는 깊이 카메라의 시점에서 표현된 3차원 점 X'을 컬러 카메라의 시점에서 표현된 동일한 점 X로 회전(Rotation) 파라미터 R과 이동(Translation) 파라미터 T를 이용한다. 또한, 시점 변환부(210)는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다. 시점 변환부(210)는 컬러 카메라의 시점에서 표현된 3차원 점 X가 컬러 영상의 픽셀 위치 x에 투영되기 위한 변환 F(X)를 이용한다. 컬러 카메라에 방사 왜곡(radial distortion)이 없는 경우에 F(X)는 초점거리, 영상 중심 좌표 등으로 이루어진 행렬 K로 표현될 수 있고, 다음과 같은 관계가 성립한다. X = RX'+ T, x = KX/Z 여기서, Z는 X = (X,Y,Z)의 Z축 방향 좌표 값 Z를 의미하고, x는 동차(homogeneous) 좌표계에서의 픽셀 좌표를 의미한다. 보다 자세한 사항은 도 3에서 설명한다. In the depth image and the color image photographing the same scene from different viewpoints, the
업샘플링부(220)는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 시점 변환부(210)에 의해 깊이 카메라에서 관찰된 3차원 점들은 컬러 카메라의 좌표계에서 표현될 수 있다. 일반적으로, 깊이 카메라의 해상도는 컬러 카메라의 해상도보다 낮다. 따라서, 컬러 영상의 많은 픽셀들에 대응하는 깊이 카메라에서 관찰된 3차원 점들이 존재하지 않게 된다. 또한, 깊이 영상에서는 서로 가리지 않았던 두 3차원 점들이 컬러 영상에서는 가까운 점이 먼 점을 가리는 현상, 즉 가리움(occlusion) 현상이 발생한다. 업샘플링부(220)는 다음의 과정을 통해 컬러 영상의 해상도에 대응하도록 3차원 점들을 할당하고, 가리움 현상이 발생하는 경우, 가까운 점이 컬러 영상의 픽셀에 할당되도록 한다.The
업샘플링부(220)는 에지 생성부(221), 좌표 계산부(223), 정렬부(225), 처리부(227)를 포함할 수 있다. The
에지 생성부(221)는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 에지 생성부(221)는 깊이 영상의 각 픽셀들의 3차원 점들을 꼭지점(vertex)으로 놓고, 꼭지점과 꼭지점 사이를 에지(edge)로 이어서 깊이 영상을 메쉬(mesh)화 한다. 깊이 영상을 메쉬화하는 과정은 도 4b에서 좀더 상세하게 설명한다. The
좌표 계산부(223)는 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 에지 생성부(221)에 의해 깊이 영상의 메쉬화가 종료된 후, 좌표 계산부(223)는 메쉬화를 통해 생성된 제1 삼각형들을 위상을 유지하면서 컬러 영상의 좌표계로 변환된 제2 삼각형들을 생성할 수 있다. 또한, 좌표 계산부(223)는 컬러 영상의 좌표계로 변환된 제2 삼각형들의 중심의 3차원 좌표를 계산할 수 있다. The coordinate
정렬부(225)는 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 정렬부(225)는 좌표 계산부(223)에서 계산된 제2 삼각형들의 중심의 3차원 좌표에 대하여 Z값, 즉 깊이 값이 증가하는 방향으로 제2 삼각형들의 순서를 정렬할 수 있다. The
처리부(227)는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다. 처리부(227)는 컬러 카메라로부터 가장 가까운 제2 삼각형에서 먼 제2 삼각형의 순서로 컬러 영상에 투영할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 시점 변환부(210)에서 변환되어 할당된 3차원 점이 있는지 여부를 판단할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 할당된 3차원 점이 없으면, 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영할 수 있다. 처리부(227)는 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 계산할 수 있다. 처리부(227)는 계산된 제2 삼각형과 만나는 점을 해당 픽셀의 3차원 점으로 할당할 수 있다. 보다 자세한 과정은 도 4c에서 설명한다. The
경계영역 보상부(230)는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 업샘플링부(220)에서 업샘플링 된 제1 깊이 영상은 컬러 영상의 모든 픽셀에 대응하여 3차원 점이 존재하며, 시점 및 화각이 일치한다. 그러나 물체의 경계 부분에서 오차가 발생할 수 있다. 경계영역 보상부(230)는 다음의 과정을 통해 물체 경계 부분의 오차를 보상할 수 있다. 먼저, 경계영역 보상부(230)는 컬러 영상의 한 픽셀을 중심으로, 부정확성을 고려한 너비 W, 높이 H인 윈도우를 사용하며, 상기 픽셀의 깊이 값은 상기 윈도우 내에 존재한다고 가정한다. The boundary region compensator 230 compensates for the boundary region of the object by converting the depth value of the first depth image into disparity. The first depth image upsampled by the
경계영역 보상부(230)는 디스패리티 변환부(231) 및 디스패리티 최적화부(233)를 포함할 수 있다. The boundary region compensator 230 may include a
디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 깊이 값은 실수 값을 가지면 연속적으로 변하기 때문에, 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 상당한 계산량이 요구된다. 하지만, 깊이 값을 정수 값으로 표현되는 디스패리티(disparity)로 변환하여 최적의 깊이 값을 찾는 것은 계산량이 상대적으로 적다. 따라서, 디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 d=f*b/Z를 이용하여 디스패리티로 변환할 수 있다. 여기서 d는 디스패리티, f는 초점 거리, b는 양안 시차, Z는 해당 픽셀의 깊이 값을 의미한다. 상기 식을 만족시키는 d는 실수 값을 갖게 되는데, 가장 가까운 정수로 반올림하면 정수로 표현되는 디스패리티를 계산할 수 있다. 결과적으로 디스패리티 변환부(231)는 디스패리티 영상을 생성할 수 있다. The
디스패리티 최적화부(233)는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비(W)와 높이(H)를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 상기 임의의 픽셀은 상기 윈도우 내 픽셀들의 디스패리티 값 중 하나의 값을 갖는다. 여기서, 디스패리티 최적화부(233)는 데이터 패널티부(도시되지 않음) 및 유사 가중치 적용부(도시되지 않음)를 포함할 수 있다. The
데이터 패널티부(도시되지 않음)는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)는 다음의 [수학식 1]을 이용한다. The data penalty unit (not shown) applies a penalty smaller if there is a disparity corresponding to the arbitrary pixel disparity in the window, and applies a penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window. It can be applied greatly. The data penalty portion (not shown) uses Equation 1 below.
[수학식 1][Equation 1]
여기서, di는 픽셀 i의 디스패리티를 의미하고, 픽셀 i를 중심으로 한 윈도우 내에 디스패리티 값이 존재하는 경우, 픽셀 i의 디스패리티를 di로 결정하면 패널티는 0이되고, 윈도우 내에 디스패리티 값이 존재하지 않는 경우에 패널티는 1이 된다. 경계영역의 보상은 윈도우의 크기가 작을수록 더욱 정확하게 이루어질 수 있다. Here, di denotes the disparity of the pixel i. When the disparity value exists in the window centering on the pixel i, if the disparity of the pixel i is determined as di, the penalty is 0, and the disparity value in the window is determined. If this does not exist, the penalty is one. Compensation of the boundary area can be made more accurate as the window size is smaller.
유사 가중치 적용부(도시되지 않음)는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)에서 사용되는 윈도우 내에 여러 디스패리티가 존재할 수 있으므로, 패널티 만으로는 각각의 픽셀들의 디스패리티를 유일하게 결정할 수 없다. 유사 가중치 적용부(도시되지 않음)는 컬러가 유사한 이웃한 픽셀들은 동일한 물체에 속하고, 동일한 디스패리티를 갖는다는 가정을 반영한다. 유사 가중치 적용부(도시되지 않음)는 다음의 [수학식 2]를 반영하여 가중치를 적용할 수 있다.When the disparity of two neighboring pixels in the disparity image is different from each other, the similar weight applying unit (not shown) may apply a weight to the same as the color values of the two pixels are similar. Since there may be several disparities in a window used in the data penalty unit (not shown), the penalty alone cannot determine the disparity of each pixel. The similar weighting unit (not shown) reflects the assumption that neighboring pixels of similar color belong to the same object and have the same disparity. The similar weight applying unit (not shown) may apply the weight by reflecting the following [Equation 2].
[수학식 2][Equation 2]
여기서, i 와 j는 서로 이웃한 두 픽셀, di와 dj는 두 픽셀들 각각의 디스패리티, λ와 σ는 임의의 양의 상수, ci와 cj는 두 픽셀들 각각의 컬러 값을 의미한다. 즉, 유사 가중치 적용부(도시되지 않음)는 이웃한 두 픽셀의 디스패리티가 동일하면, 가중치(V(di, dj))는 0이지만, 이웃한 두 픽셀의 디스패리티가 서로 다르고, 컬러 값이 유사할수록 큰 가중치를 적용한다. Where i and j are two neighboring pixels, di and dj are the disparity of each of the two pixels, λ and σ are any positive constants, and c i and c j are the color values of each of the two pixels. . That is, if the disparity of two neighboring pixels is the same, the similarity weighting unit (not shown) has a weight (V (di, dj)) of 0, but the disparity of the two neighboring pixels is different from each other, and the color value is different. The more similar, the greater weight is applied.
디스패리티 최적화부(233)는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다. 디스패리티 최적화부(233)는 디스패리티 영상의 모든 픽셀 및 이웃한 픽셀에 대해서 [수학식 1] 및 [수학식 2]를 적용한 전역 목적함수 E를 최소화하여 최적화를 수행할 수 있다. 이때, 디스패리티 최적화부(233)는 전역 목적함수 E의 최소값을 계산하기 위해 그래프 컷 알고리즘 또는 빌리프 전파 알고리즘을 사용할 수 있다. 전역 목적함수 E는 다음의 [수학식 3]으로 표현될 수 있다.The
[수학식 3]&Quot; (3) "
여기서, N은 디스패리티 영상 내에서 서로 이웃한 두 픽셀들의 집합을 의미한다. Here, N denotes a set of two neighboring pixels in the disparity image.
최종 깊이 값 결정부(240)는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 경계 영역 보상부(230)에서 경계 영역이 보상된 디스패리티 영상은 컬러 값이 차이가 나는 경계에서는 정확하게 경계 영역이 보상된다. 반면, 컬러 값이 유사하여 경계가 모호한 영역에서는 디스패리티 영상에서 경계가 부정확해질 수 있다. 최종 깊이 값 결정부(240)는 컬러 값이 유사한 경우의 경계를 정확하게 보상할 수 있다. The final
최종 깊이 값 결정부(240)는 역 변환부(241) 및 선택적 가중치 적용부(243)를 포함할 수 있다.The final
역 변환부(241)는 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 역 변환부(241)는 최적화 된 디스패리티 영상을 Z = f*b/d 관계식에 기초하여 제2 깊이 영상으로 역변환 할 수 있다. 제2 깊이 영상은 물체 대부분의 경계가 분명하지만, 컬러가 유사한 부분에서는 경계가 오히려 불분명할 수 있다. 제1 깊이 영상은 컬러 영상과 동일한 해상도의 업샘플링 된 깊이 영상으로 물체의 세부적인 부분이 잘 표현되어 있지만, 경계가 불분명하다. The
선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 반영하여 최종 깊이 값을 결정할 수 있다. 선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다. 선택적 가중치 적용부(243)는 두 픽셀의 깊이 값, 컬러 값 및 위치 값에 의해 가중치를 선택적으로 적용한다는 의미에서 선택적 삼자 필터(Selective Trilateral Filter)라고 칭할 수 있다. 선택적 가중치 적용부(243)는 다음의 [수학식 4]를 이용하여 최종 깊이 값을 결정할 수 있다. The
[수학식 4]&Quot; (4) "
여기서, t는 반복 횟수, Zi는 픽셀 i의 깊이 값, F는 필터링 윈도우, wij는 픽셀 i와 j사이의 선택적 가중치 함수를 의미한다. 즉, Zi는 주변 픽셀 j의 깊이 값으로부터 일정한 크기의 필터링 윈도우를 통하여 적용된 선택적 가중치에 의하여 결정될 수 있다. 선택적 가중치 함수(wij)는 [수학식 5]와 같이 정의될 수 있다.Where t is the number of repetitions, Z i is the depth value of pixel i, F is the filtering window, and w ij is the selective weight function between pixels i and j. That is, Z i may be determined by a selective weight applied through a filtering window having a constant size from the depth value of the peripheral pixel j. The selective weight function w ij may be defined as shown in [Equation 5].
[수학식 5][Equation 5]
여기서, τd, βZ, βc, βr은 임의의 양의 상수, Zi'은 픽셀 i의 역변환된 디스패리티 영상, 즉 제2 깊이 영상, ci와 cj는 픽셀 i와 j의 컬러 값, xi와 xj는 픽셀 i와 픽셀 j의 영상 위치를 나타낸다. 또한, 가중치들의 합 은 1이 되도록 정규화(normalization) 된다. 선택적 가중치 함수(wij)에서 디스패리티 차이가 큰 픽셀들의 경우에, 가중치를 0으로 하여 필터링에 고려되지 않는다. 또한, 시간 t에서의 깊이 값 Zi (t) 과 제2 깊이 영상의 깊이 값 Zi'중에서 어떤 값이 실제의 깊이 값과 유사한지 정확하지 않으므로, 이웃 픽셀의 깊이 값과의 차이 중에서 더 작은 경우 , 즉 가중치를 더 크게 만들어 주는 값을 사용하여 가중치를 적용한다. 즉, 선택적 가중치 함수(wij)는 필터링 윈도우 내에서 주변 픽셀의 깊이 값, 컬러 값 및 픽셀 위치 값이 유사할수록 큰 값을 갖는다. t는 보통 5 정도의 값을 사용할 수 있고, Zi (0)는 제1 깊이 영상의 깊이 값으로 초기화 될 수 있다.
Where τ d , β Z , β c , β r are any positive constants, Z i ′ is an inversely transformed disparity image of pixel i, ie a second depth image, c i and c j are pixels i and j of The color values, x i and x j , represent image positions of pixels i and j. Also, the sum of the weights Is normalized to be 1. In the case of pixels having a large disparity difference in the selective weight function w ij , the weight is set to 0 and is not considered for filtering. In addition, since it is not accurate which of the depth value Z i (t) and the depth value Z i 'of the second depth image at time t is similar to the actual depth value, Occation Apply the weight using a value that makes the weight larger. That is, the selective weight function w ij has a larger value as the depth value, color value, and pixel position value of neighboring pixels in the filtering window are similar. Normally, t may use a value of about 5, and Z i (0) may be initialized to a depth value of the first depth image.
도 3은 본 발명의 일실시예에 따른 시점 변환부(210)의 구체적 일 예를 나타낸 도면이다.3 is a diagram illustrating a specific example of the
깊이 카메라(310)에서 촬영된 깊이 영상의 픽셀(xi')은 깊이 영상의 좌표계에 의한 3차원 점(X i ')이 투영된 것이다. 깊이 영상의 좌표계에 의한 3차원 점(X i ')은 X i = RX i ' + T i 의 관계식에 의하여 컬러 영상의 좌표계에 의한 3차원 점(X i )으로 변환될 수 있다. 여기서 R은 회전 파라미터, T는 이동 파라미터를 나타낸다. 또한, 컬러 영상의 좌표계에 의한 3차원 점(X i )은 xi = KX i /Zi의 관계식에 의하여 컬러 영상에 투영된 픽셀 좌표(xi)로 변환될 수 있다. 즉, 시점 변환부(210)는 상기 관계식을 통하여 동일한 객체의 3차원 점에 대하여 깊이 영상의 좌표계로부터 컬러 영상의 좌표계로 변환될 수 있고, 컬러 영상의 좌표계로 변환된 3차원 점을 컬러 영상에 투영하여 해당 픽셀의 좌표를 획득할 수 있다.
The pixel x i 'of the depth image captured by the
도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부(220)의 구체적 일 예를 나타낸 도면이다.4A to 4D are diagrams showing specific examples of the
도 4a는 깊이 영상(410)에 촬영된 3차원 점을 컬러 영상(420)의 좌표계로 변환하여 컬러 영상(420)으로 투영하는 경우에 발생하는 가리움(occlusion)현상을 나타낸다. 깊이 영상(410)은 컬러 영상(420)에 비해 해상도가 낮기 때문에 컬러 영상(420)의 픽셀에 대응하는 정보를 모두 가지고 있지 않다. 또한, 깊이 영상(410)에서는 서로 가리지 않았던 두 3차원 점들(Xi', Xj')이 컬러 영상(420)에서는 가까운 점(Xj)이 먼 점(Xi)을 가리는 현상, 즉 가리움 현상이 발생할 수 있다. FIG. 4A illustrates an occlusion that occurs when a 3D point photographed in the
도 4b는 깊이 영상에서 메쉬 생성 방법을 나타낸다. 에지 생성부(221)는 컬러 영상의 모든 픽셀들에 대응하는 3차원 점들을 생성하기 위한 첫 단계로 깊이 영상을 메쉬화한다. 에지 생성부(221)는 깊이 영상(430)의 각 픽셀들의 3차원 점들(440)을 꼭지점으로 놓고, 꼭지점과 꼭지점 사이를 에지로 연결한다. 에지 생성부(221)는 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 3차원 점들 사이를 에지로 연결한다(440에서 빨간색). 에지 생성부(221)는 대각선 방향으로 위치한 점들 사이에서 두 가지 가능한 경우 중에 깊이 값의 차이가 적은 경우에 대해서 에지를 연결한다(440에서 파란색). 도 4b를 참조하면, 대각선 방향으로 위치한 점들 사이는 Z1과 Z3, Z2와 Z4 두 가지 경우가 있다. 두 경우 중에서 |Z1- Z3|>|Z2- Z4|인 경우에, Z2와 Z4 값이 차이가 작으므로 Z2와 Z4 간에 에지가 연결된다. 에지 생성부(221)는 깊이 값의 차이가 작은 경우를 에지로 연결하여 삼각형을 형성함에 따라 유사한 깊이 값을 가지는 영역끼리 메쉬화할 수 있다.4B illustrates a mesh generation method in a depth image. The
도 4c는 에지를 연결하여 생성된 삼각형을 컬러 영상(450)의 좌표계로 변환하여 컬러 영상(450)에 투영 및 역투영하고, 컬러 영상(450)에 대응하는 픽셀에 3차원 점이 할당되는 경우를 나타낸다. 좌표 계산부(223)는 에지를 연결하여 생성된 제1 삼각형을 컬러 영상의 좌표계로 위상(topology)을 유지하면서 변환하여 제2 삼각형을 생성한다. 정렬부(225)는 제2 삼각형의 중심 좌표에 따라 작은 값을 가지는 것부터 순서대로 정렬한다. 처리부(227)는 중심 좌표가 작은 값을 가지는 제2 삼각형부터 컬러 영상(450)에 투영한다. 처리부(227)는 투영된 제2 삼각형 내부의 픽셀(460)에 이미 할당된 3차원 점이 없으면, 상기 픽셀(460)로부터 역투영된 직선이 제2 삼각형과 만나는 점을 계산하여, 상기 만나는 점(470)을 해당 픽셀의 3차원 점으로 할당한다. 처리부(227)를 통하여 컬러 영상의 모든 픽셀에 3차원 점이 할당될 수 있다. 4C illustrates a case in which a triangle generated by connecting edges is converted into a coordinate system of the
도 4d는 컬러 영상과 업샘플링부(220)를 통하여 컬러 영상과 동일한 해상도 및 시점을 가지는 깊이 영상을 나타낸다. (A)는 기준 시점에서 촬영된 컬러 영상을 나타내고, (B)는 기준 시점에서 촬영된 깊이 영상을 시점 변환 및 업샘플링하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 나타낸다. (B)를 보면 컬러 영상의 모든 픽셀에 대하여 3차원 점이 존재하며, 시점 및 화각이 거의 일치함을 알 수 있다. 하지만, 어깨나 머리카락의 경계 부분에서는 불분명한 값을 가져 오차가 발생함을 알 수 있다.
4D illustrates a depth image having the same resolution and viewpoint as the color image through the color image and the
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부(230)의 구체적 일 예를 나타낸 도면이다.5A to 5C are diagrams illustrating specific examples of the boundary
도 5a는 업샘플링 된 제1 깊이 영상과 제1 깊이 영상을 디스패리티로 변환한 디스패리티 영상을 나타낸다. (A)는 제1 깊이 영상을 나타내고, (B)는 디스패리티 영상을 나타낸다. 경계 영역 보상부(230)는 제1 깊이 영상을 디스패리티 영상으로 변환하고, 디스패리티 영상을 최적화함으로써 물체의 경계 영역을 보상할 수 있다. 깊이 값은 실수 값을 가지며 연속적으로 변하기 때문에 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 많은 계산량을 요구한다. 따라서, 경계 영역 보상부(230)는 깊이 값을 정수 값으로 표현되는 디스패리티로 변환하여 계산량을 줄일 수 있다. 5A illustrates a disparity image obtained by converting an upsampled first depth image and a first depth image into disparity. (A) shows a first depth image, and (B) shows a disparity image. The boundary region compensator 230 may compensate for the boundary region of the object by converting the first depth image into a disparity image and optimizing the disparity image. Since the depth value has a real value and changes continuously, finding the optimal depth value by determining the similarity with surrounding pixels requires a large amount of computation. Accordingly, the
도 5b는 컬러 영상과 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 나타낸다. (A)는 컬러 영상을 나타낸다. 컬러 영상에서 머리카락 경계 영역(510)을 살펴보면, x를 중심으로 한 윈도우(520)에서 컬러 값이 차이가 나타나고, 윈도우(530)에서는 컬러 값이 상이함에도 깊이 값이 모호한 것을 알 수 있다. 경계 영역 보상부(230)는 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 사용하여 임의의 한 픽셀의 깊이 값은 윈도우 내에 존재한다는 가정하에, 윈도우 내에서 정확한 깊이 값을 찾는 것을 목적으로 한다. 5B illustrates a window having a width W and a height H around a color image and any one pixel. (A) shows a color image. Looking at the
도 5c는 최적화 전의 디스패리티 영상과 최적화 후의 디스패리티 영상을 나타낸다. (A)는 컬러 영상, (B)는 최적화 전 디스패리티 영상, (C)는 최적화 후 디스패리티 영상을 나타낸다. 최적화 전의 디스패리티 영상에서의 윈도우(550)에서 x픽셀 주변의 경계는 모호한 값을 가진다. 최적화 후의 디스패리티 영상에서의 윈도우(560)에서는 머리카락 주변의 경계가 컬러 영상의 경계(540)에 맞게 보상되었다. 그러나 컬러 값이 유사하여 컬러 영상의 경계가 모호한 부분(570)에서는 최적화 후의 디스패리티 영상의 경계가 불분명해짐을 알 수 있다.
5C shows a disparity image before optimization and a disparity image after optimization. (A) shows a color image, (B) shows a disparity image before optimization, and (C) shows a disparity image after optimization. The boundary around x pixels in the window 550 in the disparity image before optimization has an ambiguous value. In the window 560 in the disparity image after the optimization, the boundary around the hair is compensated for the boundary 540 of the color image. However, it can be seen that the boundary of the disparity image after the optimization becomes unclear at the portion 570 in which the color value is similar and the boundary of the color image is ambiguous.
도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부(240)의 구체적 일 예를 나타낸 도면이다.6 is a view showing a specific example of the final
도 6을 참조하면, (A)는 컬러 영상, (B)는 업샘플링된 제1 깊이 영상, (C)는 디스패리티 영상이 역변환된 제2 깊이 영상, (D)는 최종 깊이 값 결정부(240)에 의해 최종 깊이 값이 결정된 깊이 영상을 나타낸다. 최종 깊이 값 결정부(240)는 필터링 윈도우를 설정하고, 필터링 윈도우 내부의 픽셀들 간에 깊이 값, 컬러 값, 픽셀 위치 값이 유사함에도 디스패리티 값이 상이한 경우, 가중치를 적용하여 최종 깊이 값을 결정한다. 특히, 제1 깊이 영상은 물체의 세부적인 부분이 잘 묘사되어 있고, 제2 깊이 영상은 물체의 경계가 분명하다. 최종 깊이 값 결정부(240)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 취합하여 최종 깊이 값을 결정할 수 있다. (D)는 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
Referring to FIG. 6, (A) is a color image, (B) is an upsampled first depth image, (C) is a second depth image in which a disparity image is inversely transformed, and (D) is a final depth value determining unit ( A depth image having a final depth value determined by 240 is represented. The final
도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.7 illustrates a stereo image based on a depth image having the same resolution as a color image according to an embodiment of the present invention.
(A)는 컬러 카메라에서 촬영된 컬러 영상으로 스테레오 영상에서 왼쪽 영상을 나타낸다. (B)는 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지도록 생성된 영상이다. (B)는 스테레오 영상에서 오른쪽 영상을 나타낸다. 컬러 카메라의 오른쪽에 깊이 카메라를 위치시키고, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치를 이용한다. 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 카메라에서 촬영된 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 생성할 수 있다. (B)는 (A) 및 동일한 해상도의 깊이 영상에 의해 생성될 수 있다. (B)는 왼쪽 영상의 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
(A) is a color image photographed by a color camera and represents a left image in a stereo image. (B) is an image generated to have the same resolution as the color image based on the depth image. (B) shows a right image in a stereo image. A depth camera is positioned on the right side of the color camera, and a depth image generating apparatus having the same view point and resolution as the color image according to an embodiment of the present invention is used. The depth image generating apparatus having the same view point and resolution as the color image according to an embodiment of the present invention may generate a depth image having the same resolution as the color image based on the depth image photographed by the depth camera. (B) may be generated by (A) and the depth image of the same resolution. (B) not only shows a depth boundary that matches the color boundary of the left image, but also shows that the color value has a separate depth value even in a similar area.
도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.8 is a flowchart of a method of generating a depth image having the same view point and resolution as a color image according to an embodiment of the present invention.
810단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.In
820단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다.In
830단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다.In
840단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다.In
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The above-described methods may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
Claims (15)
상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부;
상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부; 및
상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.A viewpoint converting unit for converting 3D points of the same scene captured in the depth image into a coordinate system of the color image in a depth image and a color image of the same scene photographed at different viewpoints;
An upsampling unit which meshes the depth image, transforms the meshed depth image into a coordinate system of the color image, and upsamples the first depth image to a first depth image having the same resolution as the color image;
A boundary region compensator configured to compensate for a boundary region of an object by converting a depth value of the first depth image into disparity; And
A final depth value determiner configured to determine a final depth value of a pixel based on a second depth image obtained by inversely converting an image in which the depth value is converted into a disparity, and the first depth image
Depth image generating device having the same view and resolution as the color image including a.
상기 시점 변환부는
상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는
컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 1,
The viewpoint converting unit
Projecting three-dimensional points transformed into a coordinate system of the color image onto the color image to obtain coordinates of the corresponding pixel;
A depth image generating device having the same view point and resolution as a color image.
상기 업샘플링부는
상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 에지 생성부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 1,
The upsampling unit
An edge generator that connects the three-dimensional points located in the horizontal or vertical direction in the depth image with an edge, and the edge generation unit for connecting the edges in the direction of the difference in depth value between the three-dimensional points located in the diagonal direction
Depth image generating device having the same view and resolution as the color image including a.
상기 업샘플링부는
상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 좌표 계산부;
상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 정렬부; 및
상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 처리부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 1,
The upsampling unit
Coordinates for generating the first triangles generated by connecting edges between three-dimensional points of the depth image to the coordinate system of the color image while maintaining a phase and generating second triangles, and calculating center coordinates of the second triangles. A calculator;
An alignment unit to align the second triangles in order of decreasing depth value; And
After projecting the aligned second triangles to the color image from a triangle having a small depth value, if there is no three-dimensional point already assigned to the pixels inside the projected triangle, a straight line back-projected from the pixels inside the triangle is displayed. A processing unit for processing the point meeting the aligned second triangle as the three-dimensional point of the pixels inside the triangle
Depth image generating device having the same view and resolution as the color image including a.
상기 경계 영역 보상부는
상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 디스패리티 변환부; 및
상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 디스패리티 최적화부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 1,
The boundary area compensator
A disparity converter configured to convert a depth value of the first depth image into a disparity satisfying a predetermined relational expression and generate a disparity image; And
A disparity optimizer configured to optimize the arbitrary pixel disparity by using a window having a predetermined width and height centered on an arbitrary pixel in the disparity image
Depth image generating device having the same view and resolution as the color image including a.
상기 디스패리티 최적화부는
상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 데이터 패널티부; 및
상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 유사 가중치 적용부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 5,
The disparity optimizer
A data penalty unit for applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and a large penalty for applying a disparity corresponding to the disparity of the arbitrary pixel in the window; And
If the disparity of two pixels adjacent to each other in the disparity image is different, the similar weight application unit that applies a weight as the color values of the two pixels are similar
Depth image generating device having the same view and resolution as the color image including a.
상기 디스패리티 최적화부는
그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 5,
The disparity optimizer
A depth image generating device having the same view and resolution as a color image, characterized in that optimization is performed using a graph cut algorithm or a belief propagation algorithm.
상기 최종 깊이 값 결정부는
상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 역변환부; 및
상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 선택적 가중치 적용부
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.The method of claim 1,
The final depth value determiner
An inverse converter configured to inversely convert an image having the depth value converted into a disparity into the second depth image; And
Optionally, using a window centered on an arbitrary pixel based on the first depth image and the second depth image, and applying weight more as the depth value, color value, and position value of two pixels in the window are similar. Weighting unit
Depth image generating device having the same view and resolution as the color image including a.
상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 단계;
상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 단계; 및
상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.Converting a viewpoint from three-dimensional points of the same scene captured in the depth image to a coordinate system of the color image in a depth image and a color image photographing the same scene at different viewpoints;
Meshing the depth image, transforming the meshed depth image into a coordinate system of the color image, and upsampling the first depth image to a first depth image having the same resolution as the color image;
Compensating a boundary area of an object by converting a depth value of the first depth image into disparity; And
Determining a final depth value of a pixel based on a second depth image obtained by inversely converting an image in which the depth value is converted into disparity and the first depth image;
Depth image generation method having the same view and resolution as the color image including a.
상기 시점을 변환하는 단계는
상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.10. The method of claim 9,
Converting the view point
Projecting a three-dimensional point transformed into a coordinate system of the color image onto the color image to obtain coordinates of a corresponding pixel;
Depth image generating device having the same view and resolution as the color image including a.
상기 업샘플링 하는 단계는
상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.10. The method of claim 9,
The upsampling step
Connecting edges between the three-dimensional points located in the horizontal or vertical direction to each other in the depth image, and connecting the edges in the direction in which the difference in depth value is small between the three-dimensional points located in the diagonal direction;
Depth image generation method having the same view and resolution as the color image including a.
상기 업샘플링 하는 단계는
상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 단계;
상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 단계; 및
상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.10. The method of claim 9,
The upsampling step
Computing the first triangles generated by connecting the three-dimensional points of the depth image by the edge to the coordinate system of the color image while maintaining the phase, generating the second triangles, and calculating the center coordinates of the second triangles ;
Arranging the second triangles in order of decreasing depth value; And
After projecting the aligned second triangles to the color image from a triangle having a small depth value, if there is no three-dimensional point already assigned to the pixels inside the projected triangle, a straight line back-projected from the pixels inside the triangle is displayed. Processing a point that meets an aligned second triangle into a three-dimensional point of the pixels inside the triangle
Depth image generation method having the same view and resolution as the color image including a.
상기 경계 영역을 보상하는 단계는
상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 단계; 및
상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.10. The method of claim 9,
Compensating the boundary area
Generating a disparity image by converting a depth value of the first depth image into a disparity satisfying a predetermined relational expression; And
Optimizing the arbitrary pixel disparity using a window having a predetermined width and height centered on an arbitrary pixel in the disparity image
Depth image generation method having the same view and resolution as the color image including a.
상기 디스패리티를 최적화하는 단계는
상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 단계; 및
상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.The method of claim 13,
Optimizing the disparity
Applying a small penalty if there is a disparity corresponding to the arbitrary pixel disparity in the window, and applying a large penalty if there is no disparity corresponding to the disparity of the arbitrary pixel in the window; And
If the disparity of two neighboring pixels in the disparity image is different from each other, applying weights as the color values of the two pixels are similar to each other;
Depth image generation method having the same view and resolution as the color image including a.
상기 최종 깊이 값을 결정하는 단계는
상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 단계; 및
상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 단계
를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.10. The method of claim 9,
Determining the final depth value is
Inversely converting the image in which the depth value is converted into disparity into the second depth image; And
Using a window centered on an arbitrary pixel based on the first depth image and the second depth image, and applying weights as the depth values, color values, and position values of the two pixels are similar in the window;
Depth image generation method having the same view and resolution as the color image including a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100081898A KR101681095B1 (en) | 2010-08-24 | 2010-08-24 | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100081898A KR101681095B1 (en) | 2010-08-24 | 2010-08-24 | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120018915A true KR20120018915A (en) | 2012-03-06 |
KR101681095B1 KR101681095B1 (en) | 2016-12-02 |
Family
ID=46127997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100081898A KR101681095B1 (en) | 2010-08-24 | 2010-08-24 | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101681095B1 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168998A1 (en) * | 2012-05-10 | 2013-11-14 | Samsung Electronics Co., Ltd. | Apparatus and method for processing 3d information |
WO2014028276A1 (en) * | 2012-08-14 | 2014-02-20 | Microsoft Corporation | Wide angle depth detection |
WO2015005753A1 (en) * | 2013-07-12 | 2015-01-15 | 삼성전자 주식회사 | Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector |
KR101524808B1 (en) * | 2013-10-15 | 2015-06-03 | 고려대학교 산학협력단 | Touch delivery system and method for skin diagnosis |
WO2015147507A1 (en) * | 2014-03-28 | 2015-10-01 | 경희대학교산학협력단 | Method and apparatus for encoding video using depth information |
KR20150114355A (en) * | 2014-03-28 | 2015-10-12 | 경희대학교 산학협력단 | Method and apparatus for encoding of video using depth image |
US9509981B2 (en) | 2010-02-23 | 2016-11-29 | Microsoft Technology Licensing, Llc | Projectors and depth cameras for deviceless augmented reality and interaction |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
KR20180088801A (en) * | 2015-12-01 | 2018-08-07 | 소니 주식회사 | Image processing apparatus and image processing method |
KR20200109014A (en) * | 2019-03-12 | 2020-09-22 | 한국과학기술원 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
CN116778095A (en) * | 2023-08-22 | 2023-09-19 | 苏州海赛人工智能有限公司 | Three-dimensional reconstruction method based on artificial intelligence |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070121440A (en) * | 2006-06-22 | 2007-12-27 | 삼성전자주식회사 | Method and apparatus for noise reduction |
JP2009163718A (en) * | 2007-12-10 | 2009-07-23 | Fujifilm Corp | Distance image reproducing apparatus and method, and program |
KR20090087638A (en) * | 2008-02-13 | 2009-08-18 | 삼성전자주식회사 | Apparatus and method for matching color image and depth image |
-
2010
- 2010-08-24 KR KR1020100081898A patent/KR101681095B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070121440A (en) * | 2006-06-22 | 2007-12-27 | 삼성전자주식회사 | Method and apparatus for noise reduction |
JP2009163718A (en) * | 2007-12-10 | 2009-07-23 | Fujifilm Corp | Distance image reproducing apparatus and method, and program |
KR20090087638A (en) * | 2008-02-13 | 2009-08-18 | 삼성전자주식회사 | Apparatus and method for matching color image and depth image |
Non-Patent Citations (1)
Title |
---|
3D object-based depth estimation from steroscopic image sequences, Proc. Workshop on Stereoscopic and 3D Imaging’95(1995)* * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509981B2 (en) | 2010-02-23 | 2016-11-29 | Microsoft Technology Licensing, Llc | Projectors and depth cameras for deviceless augmented reality and interaction |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
WO2013168998A1 (en) * | 2012-05-10 | 2013-11-14 | Samsung Electronics Co., Ltd. | Apparatus and method for processing 3d information |
US9323977B2 (en) | 2012-05-10 | 2016-04-26 | Samsung Electronics Co., Ltd. | Apparatus and method for processing 3D information |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
WO2014028276A1 (en) * | 2012-08-14 | 2014-02-20 | Microsoft Corporation | Wide angle depth detection |
WO2015005753A1 (en) * | 2013-07-12 | 2015-01-15 | 삼성전자 주식회사 | Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector |
US10154271B2 (en) | 2013-07-12 | 2018-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector |
KR101524808B1 (en) * | 2013-10-15 | 2015-06-03 | 고려대학교 산학협력단 | Touch delivery system and method for skin diagnosis |
WO2015147507A1 (en) * | 2014-03-28 | 2015-10-01 | 경희대학교산학협력단 | Method and apparatus for encoding video using depth information |
US9769481B2 (en) | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
US10021391B2 (en) | 2014-03-28 | 2018-07-10 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
KR20150114355A (en) * | 2014-03-28 | 2015-10-12 | 경희대학교 산학협력단 | Method and apparatus for encoding of video using depth image |
KR20180088801A (en) * | 2015-12-01 | 2018-08-07 | 소니 주식회사 | Image processing apparatus and image processing method |
KR20200109014A (en) * | 2019-03-12 | 2020-09-22 | 한국과학기술원 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
CN116778095A (en) * | 2023-08-22 | 2023-09-19 | 苏州海赛人工智能有限公司 | Three-dimensional reconstruction method based on artificial intelligence |
CN116778095B (en) * | 2023-08-22 | 2023-10-27 | 苏州海赛人工智能有限公司 | Three-dimensional reconstruction method based on artificial intelligence |
Also Published As
Publication number | Publication date |
---|---|
KR101681095B1 (en) | 2016-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101681095B1 (en) | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image | |
US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
CN110383343B (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
US8447099B2 (en) | Forming 3D models using two images | |
JP5442111B2 (en) | A method for high-speed 3D construction from images | |
US20120177284A1 (en) | Forming 3d models using multiple images | |
CN112308963B (en) | Non-inductive three-dimensional face reconstruction method and acquisition reconstruction system | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
CN106780590A (en) | The acquisition methods and system of a kind of depth map | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
EP2064675A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
CN104661010A (en) | Method and device for establishing three-dimensional model | |
US8670606B2 (en) | System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency | |
KR102407137B1 (en) | Method and apparatus for image processing | |
US20140300941A1 (en) | Method and apparatus for generating hologram based on multi-view image | |
US10270957B2 (en) | Method and apparatus for generating an adapted slice image from a focal stack | |
WO2020075252A1 (en) | Information processing device, program, and information processing method | |
US20230043464A1 (en) | Device and method for depth estimation using color images | |
CN117456114B (en) | Multi-view-based three-dimensional image reconstruction method and system | |
Kallwies et al. | Triple-SGM: stereo processing using semi-global matching with cost fusion | |
Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
JP5373931B2 (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, and virtual viewpoint image generation program | |
CN111899293B (en) | Virtual and real shielding processing method in AR application | |
Lhuillier | Toward flexible 3d modeling using a catadioptric camera | |
JP2016114445A (en) | Three-dimensional position calculation device, program for the same, and cg composition apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |