KR101223206B1 - Method and system for generating 3-dimensional video content - Google Patents

Method and system for generating 3-dimensional video content Download PDF

Info

Publication number
KR101223206B1
KR101223206B1 KR1020100115186A KR20100115186A KR101223206B1 KR 101223206 B1 KR101223206 B1 KR 101223206B1 KR 1020100115186 A KR1020100115186 A KR 1020100115186A KR 20100115186 A KR20100115186 A KR 20100115186A KR 101223206 B1 KR101223206 B1 KR 101223206B1
Authority
KR
South Korea
Prior art keywords
depth
image
color
camera
displacement information
Prior art date
Application number
KR1020100115186A
Other languages
Korean (ko)
Other versions
KR20120053856A (en
Inventor
강윤석
호요성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100115186A priority Critical patent/KR101223206B1/en
Publication of KR20120053856A publication Critical patent/KR20120053856A/en
Application granted granted Critical
Publication of KR101223206B1 publication Critical patent/KR101223206B1/en

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

깊이 카메라와 복수의 색상 카메라를 포함하는 3차원 영상 생성 시스템에서 3차원 영상을 생성하는 방법으로서, 깊이 카메라 및 색상 카메라의 파라미터를 구하는 단계, 깊이 카메라로부터 일정 거리 떨어진 위치별로 깊이 카메라 및 색상 카메라에서 촬영한 깊이 영상과 색상 영상을 획득하는 단계, 깊이 영상 및 상기 색상 영상을 이용하여 깊이값 및 변위 정보를 획득하는 단계, 깊이값에 상기 변위 정보가 대응된 함수를 구하는 단계를 포함한다. 3차원 영상 생성 시스템은 깊이 영상을 획득하는 깊이 카메라, 색상 영상을 획득하는 복수의 색상 카메라, 깊이 영상에 포함된 깊이 정보에 색상 영상에 기초하여 구한 변위 정보를 대응시켜 깊이-변위 함수를 구하는 함수 결정부, 함수를 참조하여 깊이 카메라에서 촬영한 깊이 영상의 깊이 정보를 대응하는 변위 정보로 보정하는 깊이 정보 보정부, 보정한 깊이 정보를 복수의 색상 카메라 중 어느 하나에서 획득한 색상 영상으로 투영하는 워핑부, 그리고 워핑된 색상 영상과 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 스테레오 정합부를 포함한다.A method of generating a 3D image in a 3D image generating system including a depth camera and a plurality of color cameras, the method comprising: obtaining parameters of a depth camera and a color camera; Obtaining a photographed depth image and a color image, acquiring depth value and displacement information using the depth image and the color image, and obtaining a function corresponding to the displacement information. The 3D image generating system obtains a depth-displacement function by matching a depth camera that acquires a depth image, a plurality of color cameras that acquire a color image, and displacement information obtained based on the color image to depth information included in the depth image. A depth information corrector for correcting the depth information of the depth image photographed by the depth camera with corresponding displacement information with reference to a function; and projecting the corrected depth information to a color image obtained by any one of a plurality of color cameras. And a warping unit and a stereo matching unit performing stereo matching to find a matching position of the color image photographed by the warped color image and the other of the color camera.

Description

3차원 영상 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING 3-DIMENSIONAL VIDEO CONTENT}3D image generation method and system {METHOD AND SYSTEM FOR GENERATING 3-DIMENSIONAL VIDEO CONTENT}

본 발명은 3차원 영상 생성 방법 및 시스템에 관한 것이다.The present invention relates to a 3D image generating method and system.

3차원 영상은 입체감과 몰입감을 줄 수 있도록 색상 영상과 함께 깊이 정보를 포함하여 생성된다. 특히 복수의 색상 카메라와 적어도 하나의 깊이 카메라를 이용하여 3차원의 다시점(multi-view) 영상을 생성할 수 있다. 그러나 깊이 카메라에서 얻어지는 깊이 영상은 일반적으로 잡음과 왜곡 등이 심하게 나타나고 해상도가 낮은 문제가 있다. 따라서 깊이 카메라의 깊이 영상을 이용하여 3차원 워핑(warping)을 수행하는 경우, 잡음 및 왜곡으로 품질에 영향을 미칠 수 있는 한계가 있다. 또한 색상 영상과 깊이 영상을 그대로 사용하는 경우, 색상 영상과 깊이 영상의 상관도도 낮기 때문에 깊이 영상과 색상 영상의 상관도를 높여 고품질의 3차원 영상을 생성할 수 있는 방법이 요구된다. The 3D image is generated by including depth information together with the color image to give a three-dimensional and immersive feeling. In particular, a three-dimensional multi-view image may be generated using a plurality of color cameras and at least one depth camera. However, the depth image obtained from the depth camera generally has a problem of high noise and distortion and low resolution. Therefore, when performing 3D warping using the depth image of the depth camera, there is a limit that may affect the quality due to noise and distortion. In addition, when the color image and the depth image are used as it is, the correlation between the color image and the depth image is also low, so a method of generating a high quality 3D image by increasing the correlation between the depth image and the color image is required.

본 발명이 해결하려는 과제는 깊이 카메라로부터 획득한 깊이 영상을 보정하고 깊이 영상과 색상 카메라로부터 획득한 색상 영상의 상관도를 높여 3차원 영상을 생성하기 위한 방법 및 시스템을 제공하는 것이다.An object of the present invention is to provide a method and system for generating a 3D image by correcting a depth image obtained from a depth camera and increasing a correlation between a depth image and a color image obtained from a color camera.

본 발명의 한 실시예에 따른 깊이 카메라와 복수의 색상 카메라를 포함하는 3차원 영상 생성 시스템에서 3차원 영상을 생성하는 방법으로서, 상기 깊이 카메라 및 상기 색상 카메라의 파라미터를 구하는 단계, 상기 깊이 카메라로부터 일정 거리 떨어진 복수의 위치별로 상기 깊이 카메라 및 상기 색상 카메라에서 촬영한 깊이 영상과 색상 영상을 획득하는 단계, 상기 깊이 영상 및 상기 색상 영상을 이용하여 깊이값 및 변위 정보를 획득하는 단계, 그리고 상기 깊이값에 상기 변위 정보가 대응된 함수를 구하는 단계를 포함한다.A method for generating a 3D image in a 3D image generating system including a depth camera and a plurality of color cameras, the method comprising: obtaining parameters of the depth camera and the color camera, from the depth camera Acquiring a depth image and a color image photographed by the depth camera and the color camera at a plurality of positions away from each other; acquiring depth value and displacement information by using the depth image and the color image, and the depth Obtaining a function corresponding to the displacement information to a value.

상기 방법은 상기 깊이 카메라의 렌즈 왜곡을 보정하는 단계를 더 포함하고, 상기 파라미터를 구하는 단계는 상기 렌즈 왜곡이 보정된 깊이 카메라와 상기 색상 카메라의 파라미터를 구할 수 있다.The method may further include correcting lens distortion of the depth camera, and obtaining the parameter may obtain parameters of the depth camera and the color camera of which the lens distortion is corrected.

상기 깊이 카메라의 렌즈 왜곡을 보정하는 단계는 상기 렌즈 왜곡 보정을 위해 상기 깊이 카메라에서 촬영한 깊이 영상을 분석하여 왜곡이 발생한 적어도 3개의 직선 성분을 이용하여 보정할 수 있다.Correcting the lens distortion of the depth camera may be corrected using at least three linear components in which distortion occurs by analyzing the depth image photographed by the depth camera to correct the lens distortion.

상기 파라미터는 상기 깊이 카메라 및 상기 색상 카메라의 내부 파라미터와 외부 파라미터를 포함할 수 있다.The parameter may include internal and external parameters of the depth camera and the color camera.

상기 색상 카메라와 상기 깊이 카메라는 광축에 수직인 평면 위에 위치할 수 있다.The color camera and the depth camera may be located on a plane perpendicular to the optical axis.

상기 변위 정보와 깊이 정보를 획득하는 단계는 상기 깊이 카메라의 광축을 따라 일정 간격 떨어진 복수의 위치별로 상기 변위 정보와 상기 깊이값을 획득할 수 있다.In the obtaining of the displacement information and the depth information, the displacement information and the depth value may be obtained for each of a plurality of positions spaced apart from each other along the optical axis of the depth camera.

상기 방법은 상기 깊이 카메라로부터 획득한 깊이 영상의 깊이값을 상기 함수에서 대응하는 변위 정보로 치환하여 보정된 깊이 영상을 획득하는 단계, 상기 보정된 깊이 영상에 포함된 각 픽셀의 깊이 정보를 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 색상 영상으로 이동하는 워핑을 수행하는 단계, 그리고 상기 워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 단계를 더 포함할 수 있다.The method may include obtaining a corrected depth image by replacing a depth value of a depth image obtained from the depth camera with corresponding displacement information in the function, and extracting depth information of each pixel included in the corrected depth image. Performing warping to move to a color image photographed by one of the color cameras of the camera, and performing stereo matching to find a matching position between the warped color image and the color image photographed by any one of the plurality of color cameras It may further comprise the step.

상기 스테레오 정합을 수행하는 단계는 상기 워핑된 색상 영상에 포함된 각 픽셀의 깊이 정보를 해당하는 픽셀에서의 변위값으로 이용하여 정합 위치를 찾을 수 있다.In the performing the stereo matching, the matching position may be found by using depth information of each pixel included in the warped color image as a displacement value in the corresponding pixel.

본 발명의 다른 실시예에 따른 깊이 카메라와 복수의 색상 카메라를 포함하는 3차원 영상 생성 시스템에서 3차원 영상을 생성하는 방법으로서, 상기 깊이 카메라의 광축을 따라 일정 거리 떨어진 복수의 위치별로 깊이값 및 변위 정보를 구하여 상기 깊이값에 상기 변위 정보가 대응된 함수를 구하는 단계, 상기 깊이 카메라와 상기 복수의 색상 카메라를 이용하여 깊이 영상과 색상 영상을 촬영하는 단계, 상기 촬영한 깊이 영상의 깊이값을 상기 함수에서 대응하는 변위 정보로 치환하여 상기 깊이 영상을 보정하는 단계, 상기 보정한 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 색상 영상으로 이동하는 워핑을 수행하는 단계, 그리고 상기 워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 단계를 포함한다.A method of generating a 3D image in a 3D image generating system including a depth camera and a plurality of color cameras according to another embodiment of the present invention, the depth value for each of a plurality of positions separated by a predetermined distance along the optical axis of the depth camera and Obtaining a function in which displacement information corresponds to the depth value by obtaining displacement information; photographing a depth image and a color image using the depth camera and the plurality of color cameras; and determining a depth value of the captured depth image. Correcting the depth image by substituting the corresponding displacement information in the function, performing warping to move the corrected depth image to a color image photographed by one of the plurality of color cameras, and the warped Matching a color image photographed with one of a color image and another one of the plurality of color cameras And performing stereo matching to find the position.

상기 깊이값은 상기 깊이 카메라로부터 구하고, 상기 변위 정보는 상기 복수의 색상 카메라로부터 구할 수 있다.The depth value may be obtained from the depth camera, and the displacement information may be obtained from the plurality of color cameras.

상기 색상 카메라와 상기 깊이 카메라는 광축에 수직인 평면 위에 위치할 수 있다.The color camera and the depth camera may be located on a plane perpendicular to the optical axis.

상기 방법은 상기 보정된 깊이 영상을 잡음을 제거하는 단계를 더 포함하며, 상기 워핑을 수행하는 단계는 상기 잡음이 제거된 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 색상 영상으로 이동하는 워핑을 수행할 수 있다.The method may further include removing noise from the corrected depth image, and performing the warping may include moving the noise-depleted depth image to a color image photographed by any one of the plurality of color cameras. Warping can be performed.

상기 방법은 상기 색상 카메라의 기하학적인 에러를 보정하기 위하여 상기 촬영한 색상 영상을 정렬하는 단계를 더 포함하며, 상기 스테레오 정합을 수행하는 단계는 상기 정렬된 색상 영상을 이용하여 상기 스테레오 정합을 수행할 수 있다.The method may further include arranging the photographed color images to correct geometrical errors of the color camera, and the performing of the stereo matching may include performing the stereo matching using the aligned color images. Can be.

상기 방법은 상기 스테레오 정합을 수행하여 획득한 정보를 이용하여 중간 시점 영상을 생성하는 단계를 더 포함할 수 있다.The method may further include generating an intermediate view image using the information obtained by performing the stereo matching.

본 발명의 한 실시예에 따른 3차원 영상 생성 시스템으로서, 깊이 영상을 획득하는 깊이 카메라, 색상 영상을 획득하는 복수의 색상 카메라, 상기 깊이 영상에 포함된 깊이값에 상기 색상 영상에 기초하여 구한 변위 정보를 대응시켜 깊이-변위 함수를 구하는 함수 결정부, 상기 함수를 참조하여 상기 깊이 카메라에서 촬영한 깊이 영상의 깊이값을 대응하는 변위 정보로 보정하는 깊이 정보 보정부, 상기 깊이 정보 보정부에서 보정된 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 획득한 색상 영상으로 투영하는 워핑부, 그리고 상기 워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 스테레오 정합부를 포함한다.A three-dimensional image generation system according to an embodiment of the present invention, a depth camera for acquiring a depth image, a plurality of color cameras for acquiring a color image, and a displacement obtained based on the color image in a depth value included in the depth image. A function determining unit for obtaining a depth-displacement function by matching the information, a depth information correcting unit correcting a depth value of a depth image photographed by the depth camera with corresponding displacement information, and correcting the depth information correcting unit by referring to the function; A warping unit for projecting the extracted depth image to the color image obtained by any one of the plurality of color cameras, and a stereo position for finding a matching position between the warped color image and the color image photographed by any one of the plurality of color cameras And a stereo matcher to perform the match.

상기 함수 결정부는 상기 깊이 카메라의 광축을 따라 일정 간격 떨어진 복수의 위치별로 상기 깊이값과 상기 변위 정보를 획득하여 상기 깊이값과 변위 정보를 대응시킬 수 있다.The function determiner may acquire the depth value and the displacement information for each of a plurality of positions spaced apart from each other along the optical axis of the depth camera and correspond to the depth value and the displacement information.

상기 스테레오 정합부는 상기 워핑된 색상 영상에 포함된 각 픽셀의 깊이 정보를 해당 픽셀의 변위값으로 예측하여, 상기 변위값의 범위에서 상기 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾을 수 있다.The stereo matching unit predicts depth information of each pixel included in the warped color image as a displacement value of the corresponding pixel to find a matching position of the color image photographed by any one of the color cameras within the range of the displacement value. Can be.

상기 3차원 영상 생성 시스템은 상기 깊이 카메라의 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부, 그리고 상기 깊이 카메라 및 상기 복수의 색상 카메라의 파라미터를 구하는 파라미터 계산부를 더 포함할 수 있다.The 3D image generating system may further include a lens distortion correcting unit correcting lens distortion of the depth camera, and a parameter calculating unit obtaining parameters of the depth camera and the plurality of color cameras.

상기 3차원 영상 생성 시스템은 상기 색상 카메라의 기하학적인 오차를 보정하기 위하여 상기 촬영한 색상 영상을 정렬하는 영상 정렬부를 더 포함할 수 있다.The 3D image generating system may further include an image aligning unit to align the photographed color image to correct geometrical errors of the color camera.

상기 3차원 영상 생성 시스템은 상기 깊이 정보 보정부에서 출력되는 영상의 잡음을 제거하는 잡음 제거부를 더 포함할 수 있다.The 3D image generating system may further include a noise removing unit for removing noise of an image output from the depth information correcting unit.

상기 3차원 영상 생성 시스템은 상기 스테레오 정합부에서 출력되는 정보를 이용하여 중간 시점 영상을 생성하는 중간 시점 영상 생성부를 더 포함할 수 있다.The 3D image generating system may further include an intermediate view image generating unit generating an intermediate view image by using the information output from the stereo matching unit.

본 발명의 실시예에 따르면 왜곡 및 잡음이 적고, 색상 영상의 변위 정보와 일치하는 깊이 카메라 영상을 획득하여 높은 품질의 3차원 영상을 생성할 수 있다.According to an exemplary embodiment of the present invention, a high-quality three-dimensional image may be generated by acquiring a depth camera image having less distortion and noise and matching displacement information of a color image.

도 1은 본 발명의 한 실시예에 따른 3차원 영상 생성 시스템을 개략적으로 나타내는 도면이다.
도 2a와 도 2b는 각각 본 발명의 한 실시예에 따른 색상 영상 및 깊이 영상의 예시를 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 깊이-변위 대응 함수의 예시를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 깊이-변위 대응 함수를 구하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 한 실시예에 따른 3차원 영상 생성 방법을 나타내는 흐름도이다.1 is a view schematically showing a 3D image generating system according to an embodiment of the present invention.
2A and 2B are diagrams illustrating examples of a color image and a depth image, respectively, according to an embodiment of the present invention.
3 is a diagram illustrating an example of a depth-displacement correspondence function according to an embodiment of the present invention.
4 is a flowchart illustrating a method of obtaining a depth-displacement corresponding function according to an embodiment of the present invention.
5 is a flowchart illustrating a 3D image generating method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이제 도면을 참고하여 본 발명의 실시예에 따른 3차원 영상 생성 방법 및 시스템에 대해 상세하게 설명한다.Now, a method and system for generating a 3D image according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 한 실시예에 따른 3차원 영상 생성 시스템을 개략적으로 나타내는 도면이고, 도 2a와 도 2b는 본 발명의 한 실시예에 따른 각각 색상 영상 및 깊이 영상의 예시를 나타내는 도면이며, 도 3은 본 발명의 한 실시예에 따른 깊이-변위 대응 함수의 예시를 나타내는 도면이다.1 is a view schematically showing a three-dimensional image generating system according to an embodiment of the present invention, Figures 2a and 2b is a view showing an example of a color image and a depth image, respectively, according to an embodiment of the present invention, 3 is a diagram illustrating an example of a depth-displacement correspondence function according to an embodiment of the present invention.

도 1을 참고하면, 3차원 영상 생성 시스템은 깊이 영상을 획득하는 적어도 하나의 깊이 카메라(100), 색상 영상을 획득하는 복수의 색상 카메라(200), 보정부(300) 그리고 3차원 영상 생성부(400)를 포함한다. Referring to FIG. 1, the 3D image generating system includes at least one depth camera 100 for acquiring a depth image, a plurality of color cameras 200 for acquiring a color image, a compensator 300, and a 3D image generator. 400.

깊이 카메라(100)는 깊이 영상을 촬영하는 장치이다. 이때 깊이 카메라(100)는 TOF(Time-Of-Flight) 깊이 카메라일 수 있다.The depth camera 100 is a device for photographing a depth image. In this case, the depth camera 100 may be a time-of-flight (TOF) depth camera.

색상 카메라(200)는 색상 영상을 촬영하는 장치이며, 복수의 색상 카메라(200)를 이용하여 양안식(stereo) 혹은 다시점(multi-view) 영상이 획득된다. 3차원 영상은 깊이 카메라(100)에서 획득한 깊이 영상을 색상 카메라(200)에서 획득한 색상 영상으로 워핑(warping)하여 생성된다. 이때 깊이 카메라(100)와 색상 카메라(200)는 광축(optical axis)이 서로 평행하면서, 광축에 수직인 평면 위에 위치한다. The color camera 200 is a device for photographing a color image, and a binocular or multi-view image is obtained using the plurality of color cameras 200. The 3D image is generated by warping the depth image acquired by the depth camera 100 to the color image obtained by the color camera 200. At this time, the depth camera 100 and the color camera 200 are positioned on a plane perpendicular to the optical axis while the optical axis is parallel to each other.

보정부(300)는 카메라로부터 발생할 수 있는 왜곡이나 오차를 실제 촬영 전에 보정하기 위한 장치로서, 렌즈 왜곡 보정부(310), 카메라 파라미터 계산부(320) 그리고 영상 정렬부(330)를 포함한다.The correction unit 300 is a device for correcting the distortion or error that may occur from the camera before actual shooting, and includes a lens distortion correction unit 310, a camera parameter calculator 320, and an image aligner 330.

렌즈 왜곡 보정부(lens distortion correction unit)(310)는 촬영한 직선 성분이 원형으로 왜곡되는 현상을 보정한다. 렌즈 왜곡 보정부(310)는 촬영한 정지 영상에서 원형으로 왜곡이 발생한 적어도 3개의 직선 성분을 찾은 후, 왜곡의 중심과 왜곡 변수를 찾아 보정한다.The lens distortion correction unit 310 corrects a phenomenon in which the photographed linear component is distorted circularly. The lens distortion correction unit 310 finds and corrects at least three linear components in which a distortion occurs in a circle in the captured still image, and then finds and corrects a center of distortion and a distortion parameter.

카메라 파라미터 계산부(camera calibration unit)(320)는 카메라의 기하학적인 구조에 따라 가지는 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터를 계산한다. 카메라 파라미터 계산부(320)는 다양한 위치와 각도에서 촬영된 기준 장면, 예를 들면 격자 무늬 패턴을 촬영하고, 촬영한 격자 무늬 패턴의 격자 위치를 기초로 초점거리 등 내부 특성을 나타내는 내부 파라미터와 카메라 방향 및 위치 등의 외부 특성을 나타내는 외부 파라미터를 구한다. 이와 같이 구한 카메라 파라미터는 3차원 워핑시 이용될 수 있다.The camera calibration unit 320 calculates an intrinsic parameter and an extrinsic parameter according to the geometry of the camera. The camera parameter calculator 320 photographs a reference scene photographed at various positions and angles, for example, a plaid pattern, and displays an internal parameter such as a focal length and a camera based on a grid position of the photographed plaid pattern. Obtain external parameters representing external characteristics such as direction and position. The camera parameter obtained as described above may be used during 3D warping.

영상 정렬부(image rectification unit)(330)는 색상 카메라(200)의 기하학적인 특성으로 발생한 오차를 보정하기 위한 장치로서, 촬영한 색상 영상을 정렬하여 보정한다. 복수의 색상 카메라(200)에서 촬영한 색상 영상은 복수의 색상 카메라(200)의 외부 또는 내부 특성이 일치하지 않아 색상 영상 사이의 오차가 발생할 수 있다. 따라서 영상 정렬부(330)는 이러한 오차를 줄여 색상 영상 사이의 상관도를 높임으로써 색상 영상이 일직선 위에 존재하고 동일한 내부 특성을 가지는 복수의 색상 카메라에서 촬영된 특성을 가지도록 보정한다. 이와 같이 정렬된 색상 영상은 이후 스테레오 정합에 이용될 수 있다.The image rectification unit 330 is an apparatus for correcting an error caused by the geometrical characteristics of the color camera 200. The image rectification unit 330 aligns and corrects the photographed color image. Color images photographed by the plurality of color cameras 200 do not coincide with external or internal characteristics of the plurality of color cameras 200, and thus an error between color images may occur. Therefore, the image aligning unit 330 improves the correlation between the color images by reducing such an error so as to correct the color image to be captured by a plurality of color cameras having the same internal characteristics as those on the straight line. The color image thus aligned may be used for stereo matching.

3차원 영상 생성부(400)는 깊이 영상과 색상 영상을 이용하여 3차원 영상을 생성한다. 3차원 영상 생성부(400)는 깊이-변위 대응 함수를 구하는 함수 결정부(410), 깊이 정보 보정부(420), 잡음 제거부(430), 워핑부(440), 그리고 스테레오 정합부(450)를 포함한다.The 3D image generating unit 400 generates a 3D image using the depth image and the color image. The 3D image generator 400 may include a function determiner 410, a depth information corrector 420, a noise remover 430, a warping unit 440, and a stereo matching unit 450, which obtain a depth-displacement correspondence function. ).

깊이-변위 대응 함수를 구하는 함수 결정부(410)는 깊이 카메라(100)의 깊이 영상으로부터 구해지는 깊이값과 복수의 색상 카메라(200)의 색상 영상 사이의 변위(disparity) 정보가 대응된 함수를 구한다. 변위는 각 색상 카메라에서 촬영한 색상 영상에서 대응하는 점 사이의 거리를 나타내며, 변위가 클수록 가깝고 변위가 적을수록 먼 깊이 정보를 나타낸다. 도 2a와 도 2b를 참고하면, 깊이 카메라(100)와 색상 카메라(200)는 광축 방향으로 일정 간격 떨어진 위치에서 깊이 및 색상 영상을 각각 촬영하고, 함수 결정부(410)는 각 위치의 깊이값 및 변위 정보를 이용하여 함수를 구한다. 이를 위해서 먼저, 깊이 카메라(100)와 색상 카메라(200)는 격자무늬의 패턴을 장면의 가장 뒤쪽으로부터 카메라의 앞쪽까지 일정한 간격으로 이동하며, 해당 위치에서 정지 영상을 획득한다. 이후 함수 결정부(410)는 광축 방향으로 일정 간격으로 이동하는 격자 무늬의 패턴에 해당하는 깊이 및 색상 영상을 획득하여 깊이값(depth index)과 변위 정보를 구하고, 깊이값에 변위 정보를 대응시켜 함수를 구한다. 이때, 함수 결정부(410)는 색상 카메라(200)의 색상 영상으로부터는 패턴의 각 위치에 대한 변위 정보를 얻을 수 있고, 깊이 카메라(100)의 깊이 영상으로부터는 0부터 255 사이의 깊이값을 얻을 수 있다. 도 3을 참고하면, 깊이-변위 대응 함수는 가로축에 깊이 카메라(100)의 깊이 영상의 깊이값을 나타내고, 세로축에 색상 카메라(200)의 색상 영상으로부터 구한 변위 정보를 나타낸다. 따라서 이 깊이-변위 대응 함수는 깊이 영상과 색상 영상의 상관도를 높이는 기능을 한다. 영상 정렬된 다시점 색상 카메라(200)의 파라미터와 왜곡 보정 후 획득한 깊이 카메라(100)의 파라미터를 비교해 보면, 카메라 광축에서 카메라를 바라보았을 때, 카메라가 앞으로 튀어나온 정도가 일치하지 않음을 알 수 있다. 이것은 깊이 카메라(100)와 색상 카메라(200)가 각각 장면의 깊이 정보를 측정할 때, 그 위치 차이에 의해서 비록 같은 물체라 할지라도 서로 다른 깊이 정보를 획득할 수 있다. 따라서 3차원 영상 생성 시스템은 깊이-변위 대응 함수를 이용하여 이 차이를 최소화할 수 있다. The function determination unit 410 for obtaining a depth-displacement correspondence function may calculate a function corresponding to disparity information between a depth value obtained from a depth image of the depth camera 100 and color images of the plurality of color cameras 200. Obtain The displacement represents the distance between the corresponding points in the color image photographed by each color camera, and the larger the displacement, the farther the distance is. 2A and 2B, the depth camera 100 and the color camera 200 respectively photograph depth and color images at positions spaced apart from each other in the optical axis direction, and the function determiner 410 determines the depth value of each position. And the displacement information is used. To this end, the depth camera 100 and the color camera 200 first move the grid pattern from the rear of the scene to the front of the camera at regular intervals, and acquire a still image at the corresponding position. After that, the function determiner 410 obtains depth and color information corresponding to a grid pattern moving at a predetermined interval in the optical axis direction, obtains a depth index and displacement information, and maps the displacement information to a depth value. Find the function. In this case, the function determiner 410 may obtain displacement information about each position of the pattern from the color image of the color camera 200, and may determine a depth value between 0 and 255 from the depth image of the depth camera 100. You can get it. Referring to FIG. 3, the depth-displacement correspondence function represents the depth value of the depth image of the depth camera 100 on the horizontal axis, and the displacement information obtained from the color image of the color camera 200 on the vertical axis. Therefore, this depth-displacement correspondence function increases the correlation between the depth image and the color image. Comparing the parameters of the image-aligned multi-view color camera 200 and the parameters of the depth camera 100 obtained after the distortion correction, it is seen that when the camera is viewed from the camera optical axis, the degree that the camera protrudes forward does not match. Can be. This is because when the depth camera 100 and the color camera 200 respectively measure depth information of a scene, different depth information may be obtained even if the same object is obtained by the position difference. Therefore, the 3D image generating system can minimize this difference by using the depth-displacement correspondence function.

다시 도 1을 참고하면, 깊이 정보 보정부(420)는 깊이 카메라로부터 획득한 깊이 영상의 깊이값을 깊이-변위 대응 함수에서 대응하는 변위 정보로 치환하여 깊이 영상을 보정한다. Referring back to FIG. 1, the depth information corrector 420 corrects the depth image by replacing the depth value of the depth image obtained from the depth camera with corresponding displacement information in the depth-displacement correspondence function.

잡음 제거부(430)는 깊이 영상에 포함된 잡음을 제거한다. 이상적인 깊이 영상은 경계에서 객체와 배경의 깊이값이 구분되어야 한다. 하지만 깊이 카메라(100)를 통해 획득된 깊이 영상은 객체 경계부에서 객체와 배경, 혹은 객체와 다른 객체의 깊이값 사이에 중간값을 가지는 화소들을 포함될 수 있다. 이러한 중간값은 3차원 워핑에서 잘못된 위치의 화소로 투영시키는 오차를 일으킬 수 있다. 따라서 객체 경계부의 중간값을 깨끗하게 정리하면서 주변의 평탄한 영역에 대한 필터링을 수행할 수 있는 방법으로 필터를 사용하여 잡음을 제거한다. 필터는 충격 필터(shock filter)를 사용할 수 있는데, 충격 필터는 점진적으로 변화하는 깊이의 불연속 구간을 계단 함수의 형태로 변화시킨다. 또한 충격 필터는 평탄한 영역에 존재하던 잡음도 깨끗하게 정리할 수 있다.The noise removing unit 430 removes noise included in the depth image. The ideal depth image should distinguish between the object and the background depth at the boundary. However, the depth image acquired through the depth camera 100 may include pixels having an intermediate value between the object and the background or the depth value of the object and another object at the object boundary. This intermediate value may cause an error in projecting to the pixel at the wrong position in the three-dimensional warping. Therefore, the filter is used to remove noise as a way to filter the surrounding flat areas while keeping the median of the object boundary clean. The filter may use a shock filter, which transforms a discrete section of gradually varying depth in the form of a step function. The impact filter also cleans up the noise that was in the flat area.

워핑부(440)는 깊이 영상을 어느 하나의 색상 영상으로 이동하여 투영한다. 3차원 워핑이란 깊이 영상에 포함된 깊이 정보와 카메라 파라미터를 기초로 3차원 좌표를 산출하여 해당 좌표에 영상을 투영하는 작업을 의미한다.The warping unit 440 moves and projects the depth image into one color image. 3D warping refers to a task of calculating a 3D coordinate based on depth information included in a depth image and a camera parameter to project an image onto the coordinate.

스테레오 정합부(450)는 워핑된 색상 영상과 다른 색상 영상의 정합을 위해 색상 영상 사이의 대응점을 찾는다. 스테레오 정합에 이용되는 알고리즘은 다양할 수 있다. 좌우 색상 영상 사이의 스테레오 정합을 예로 들면, 정합의 기본 영상을 좌측 영상이라고 하면, 기본 영상의 어느 픽셀과 일치하는 대응점을 우측 영상에서 찾기 위해 우측 영상에서 탐색 범위만큼 이동하면서 대응점을 탐색하고, 이에 따르는 변위값을 구하여 정합 위치일 가능성이 가장 높은 위치를 대응점으로 결정한다. 이때 변위 정보를 깊이 정보로 가지는 깊이 영상을 3차원 워핑한 경우, 워핑된 색상 영상에 포함된 각 픽셀의 깊이 정보는 변위 정보이므로, 스테레오 정합부(450)는 이 변위 정보를 정합 위치를 찾는데 이용할 수 있다.The stereo matching unit 450 finds a corresponding point between the warped color image and the color image to match another color image. The algorithm used for stereo matching may vary. Taking stereo matching between left and right color images as an example, if the base image of the matching is a left image, the corresponding point is searched while moving by the search range in the right image to find a corresponding point in the right image that matches a pixel of the base image. The corresponding displacement value is determined by determining the position most likely to be the registration position. In this case, when the depth image having the displacement information as the depth information is three-dimensional warped, since the depth information of each pixel included in the warped color image is displacement information, the stereo matching unit 450 uses the displacement information to find a matching position. Can be.

도 4는 본 발명의 한 실시예에 따른 깊이-변위 대응 함수를 구하는 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method of obtaining a depth-displacement corresponding function according to an embodiment of the present invention.

3차원 영상 생성 시스템은 카메라의 왜곡이나 오차를 보정하기 위하여 깊이 카메라의 렌즈 왜곡을 보정한다(S410). 3차원 영상 생성 시스템은 깊이 카메라(100)의 깊이 영상을 분석하여 왜곡이 발생한 적어도 3개의 직선 성분을 이용하여 보정된다.The 3D image generating system corrects lens distortion of the depth camera in order to correct distortion or an error of the camera (S410). The 3D image generating system analyzes the depth image of the depth camera 100 and is corrected using at least three linear components in which distortion occurs.

3차원 영상 생성 시스템은 깊이 카메라(100) 및 색상 카메라(200)의 파라미터를 구한다(S420). 3차원 영상 생성 시스템은 다양한 위치와 각도에서 촬영된 격자 무늬 패턴을 촬영하고, 촬영한 격자 무늬 패턴의 격자 위치를 기초로 내부 파라미터와 외부 파라미터를 구한다.The 3D image generating system obtains parameters of the depth camera 100 and the color camera 200 (S420). The 3D image generating system photographs a plaid pattern photographed at various positions and angles, and obtains an internal parameter and an external parameter based on the grid position of the photographed plaid pattern.

3차원 영상 생성 시스템은 광축 방향으로 일정 간격 떨어진 위치별로 촬영된 깊이 영상과 색상 영상을 획득하여(S430), 깊이값 및 변위 정보를 계산 한다(S440). 3차원 영상 생성 시스템은 격자 무늬 패턴을 장면의 가장 뒤쪽부터 카메라의 앞쪽까지 일정한 간격으로 이동하며 정지 영상을 획득한다. 이때, 색상 카메라(200)의 색상 영상으로부터는 패턴의 각 위치에 대한 변위 정보를 얻을 수 있고, 깊이 카메라(100)의 깊이 영상으로부터는 0부터 255 사이의 깊이값을 얻을 수 있다.The 3D image generating system acquires the depth image and the color image photographed at positions spaced apart by a predetermined distance in the optical axis direction (S430), and calculates the depth value and the displacement information (S440). The 3D image generating system acquires still images by moving the plaid pattern from the rear of the scene to the front of the camera at regular intervals. In this case, displacement information for each position of the pattern may be obtained from the color image of the color camera 200, and a depth value between 0 and 255 may be obtained from the depth image of the depth camera 100.

3차원 영상 생성 시스템은 깊이값에 변위 정보가 대응된 깊이-변위 대응 함수를 구한다(S450). 이와 같이 구한 깊이-변위 대응 함수는 깊이값을 변위 정보로 보정하기 위한 정보로 이용되며, 이는 실제 영상을 촬영하기 전에 미리 결정하여 놓을 수 있다.The 3D image generating system obtains a depth-displacement correspondence function in which displacement information corresponds to a depth value (S450). The depth-displacement correspondence function thus obtained is used as information for correcting the depth value by the displacement information, which may be determined in advance before the actual image is taken.

도 5는 본 발명의 한 실시예에 따른 3차원 영상 생성 방법을 나타내는 흐름도이다.5 is a flowchart illustrating a 3D image generating method according to an embodiment of the present invention.

3차원 영상 생성 시스템은 깊이 카메라(100)로부터 획득한 깊이값에 색상 카메라(200)로부터 획득한 변위 정보가 대응된 깊이-변위 대응 함수를 구한다(S510).The 3D image generating system obtains a depth-displacement correspondence function in which displacement information obtained from the color camera 200 corresponds to a depth value obtained from the depth camera 100 (S510).

3차원 영상 생성 시스템은 깊이 카메라(100)와 색상 카메라(200)를 이용하여 깊이 영상과 색상 영상을 각각 촬영한다(S520). 이때 3차원 영상 생성 시스템은 깊이 카메라(100)와 색상 카메라(200)의 렌즈 왜곡을 보정하고, 각 카메라의 파라미터를 구한 뒤에 촬영할 수 있다. 그리고 깊이 카메라(100)와 색상 카메라(200)는 광축에 수직인 평면 위에 설치된다.The 3D image generating system photographs the depth image and the color image by using the depth camera 100 and the color camera 200 (S520). In this case, the 3D image generating system may correct lens distortion of the depth camera 100 and the color camera 200, and obtain a parameter of each camera before photographing the same. The depth camera 100 and the color camera 200 are installed on a plane perpendicular to the optical axis.

3차원 영상 생성 시스템은 깊이-변위 대응 함수에 기초하여 촬영한 깊이 영상의 깊이값을 대응하는 변위 정보로 치환하여 보정된 깊이 영상을 생성한다(S530).The 3D image generating system generates a corrected depth image by replacing the depth value of the captured depth image with corresponding displacement information based on the depth-displacement corresponding function (S530).

3차원 영상 생성 시스템은 보정된 깊이 영상의 잡음을 제거한다(S540). 잡음 제거는 충격 필터가 이용될 수 있다.The 3D image generating system removes noise of the corrected depth image (S540). Noise canceling may be used with a shock filter.

다음 3차원 영상 생성 시스템은 보정된 깊이 영상을 어느 하나의 색상 영상으로 이동하는 3차원 워핑을 수행한다(S540). 이때 3차원 영상 생성 시스템은 깊이 영상에 포함된 깊이 정보와 카메라 파라미터를 기초로 3차원 좌표를 산출하여 해당 좌표에 영상을 투영한다.Next, the 3D image generating system performs 3D warping to move the corrected depth image to one color image (S540). At this time, the 3D image generating system calculates 3D coordinates based on depth information and camera parameters included in the depth image and projects the image on the coordinates.

3차원 영상 생성 시스템은 워핑된 색상 영상에 포함된 각 픽셀의 깊이 정보를 해당하는 다른 색상 영상에서 정합 위치를 찾는 스테레오 정합을 수행한다 (S550). 이때 3차원 영상 생성 시스템은 각 픽셀에 포함된 깊이 정보를 픽셀에서의 변위값으로 예측하여 탐색한다. 그리고 3차원 영상 생성 시스템은 색상 카메라(200)의 기하학적인 에러를 보정하기 위해 영상 정렬된 색상 영상을 정합에 이용할 수 있다.The 3D image generating system performs stereo matching to find a matching position in another color image corresponding to depth information of each pixel included in the warped color image (S550). At this time, the 3D image generating system searches for the depth information included in each pixel by predicting the displacement value in the pixel. In addition, the 3D image generating system may use the image-aligned color image to match the geometric error of the color camera 200.

3차원 영상 생성 시스템은 스테레오 정합을 수행하여 획득한 정보를 이용하여 중간 시점 영상을 생성한다(S560). 스테레오 정합으로 획득한 정보는 스테레오 정합된 색상 영상과 색상 영상에 각각 대응하는 변위 지도(disparity map)를 포함한다. 3차원 영상 생성 시스템은 이러한 색상 영상과 변위 지도를 이용하여 색상 영상의 중간 시점에 해당하는 중간 시점 영상을 조밀하게 생성하여 3차원 입체 영상을 생성할 수 있다.The 3D image generating system generates an intermediate view image using the information obtained by performing stereo matching (S560). The information obtained by stereo matching includes a stereo matched color image and a disparity map corresponding to the color image, respectively. The 3D image generating system may generate a 3D stereoscopic image by densely generating an intermediate view image corresponding to an intermediate view of the color image using the color image and the displacement map.

이와 같이 3차원 영상 생성 장치 및 방법을 이용하여 3차원 영상을 생성하면, 렌즈 왜곡이 없고, 경계부의 잡음이 제거되며, 색상 영상의 변위 정보와 일치하는 깊이 영상을 얻을 수 있다. 따라서 3차원 영상 제작이나 물체 모델링 등에 깊이 영상을 효율적으로 이용할 수 있다.As described above, when the 3D image is generated using the 3D image generating apparatus and method, there is no lens distortion, the noise of the boundary part is removed, and a depth image matching the displacement information of the color image can be obtained. Therefore, the depth image can be efficiently used for 3D image production or object modeling.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (21)

깊이 카메라와 복수의 색상 카메라를 포함하는 3차원 영상 생성 시스템에서 3차원 영상을 생성하는 방법으로서,
상기 깊이 카메라 및 상기 색상 카메라의 파라미터를 구하는 단계,
상기 깊이 카메라와 상기 복수의 색상 카메라로부터 일정 거리 떨어진 복수의 위치별로 상기 깊이 카메라 및 상기 색상 카메라에서 촬영한 함수용 깊이 영상과 함수용 색상 영상을 획득하는 단계,
상기 함수용 깊이 영상을 이용하여 깊이값을 획득하는 단계,
상기 함수용 색상 영상을 이용하여 변위 정보를 획득하는 단계,
상기 깊이값에 상기 변위 정보가 대응된 함수를 구하는 단계,
상기 깊이 카메라로부터 획득한 촬영용 깊이 영상의 깊이값을 상기 함수에서 대응하는 변위 정보로 치환하여 치환된 깊이 영상을 획득하는 단계,
상기 치환된 깊이 영상에 포함된 각 픽셀의 변위 정보를 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 촬영용 색상 영상으로 이동하는 워핑을 수행하는 단계, 그리고
워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 촬영용 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 단계를 포함하고,
상기 스테레오 정합을 수행하는 단계는 상기 각 픽셀의 변위 정보를 해당 픽셀에서의 초기 변위값으로 예측하여 탐색하는 3차원 영상 생성 방법.A method of generating a 3D image in a 3D image generating system including a depth camera and a plurality of color cameras,
Obtaining parameters of the depth camera and the color camera,
Acquiring a function depth image and a function color image photographed by the depth camera and the color camera at a plurality of positions separated by a predetermined distance from the depth camera and the plurality of color cameras;
Obtaining a depth value using the depth image for the function;
Obtaining displacement information using the function color image;
Obtaining a function to which the displacement information corresponds to the depth value;
Obtaining a substituted depth image by substituting a depth value of the photographing depth image obtained from the depth camera with corresponding displacement information in the function;
Performing warping to shift displacement information of each pixel included in the substituted depth image to a color image for photographing photographed by any one of the plurality of color cameras, and
Performing stereo matching to find a matching position of a warped color image and a photographing color image photographed by another one of the plurality of color cameras;
The performing stereo matching may include searching for the displacement information of each pixel by predicting the displacement information as an initial displacement value of the corresponding pixel. 제1항에서,
상기 깊이 카메라의 렌즈 왜곡을 보정하는 단계를 더 포함하고,
상기 파라미터를 구하는 단계는
상기 렌즈 왜곡이 보정된 깊이 카메라와 상기 색상 카메라의 파라미터를 구하는 3차원 영상 생성 방법.In claim 1,
Correcting lens distortion of the depth camera,
Obtaining the parameter
3D image generation method for obtaining the parameters of the depth camera and the color camera, the lens distortion is corrected. 제2항에서,
상기 깊이 카메라의 렌즈 왜곡을 보정하는 단계는
상기 렌즈 왜곡 보정을 위해 상기 깊이 카메라에서 촬영한 깊이 영상을 분석하여 왜곡이 발생한 적어도 3개의 직선 성분을 이용하여 보정하는 3차원 영상 생성 방법.In claim 2,
Correcting the lens distortion of the depth camera
3D image generation method for correcting the lens distortion by analyzing the depth image taken by the depth camera using at least three linear components in which distortion occurs. 제1항에서,
상기 파라미터는 상기 깊이 카메라 및 상기 색상 카메라의 내부 파라미터와 외부 파라미터를 포함하는 3차원 영상 생성 방법.In claim 1,
The parameter may include an internal parameter and an external parameter of the depth camera and the color camera. 제1항에서,
상기 색상 카메라와 상기 깊이 카메라는 광축에 수직인 평면 위에 위치하는 3차원 영상 생성 방법.In claim 1,
And the color camera and the depth camera are positioned on a plane perpendicular to the optical axis. 제5항에서,
상기 깊이값을 획득하는 단계는
상기 깊이 카메라의 광축을 따라 일정 간격 떨어진 상기 복수의 위치별로 상기 깊이값을 획득하고,
상기 변위 정보를 획득하는 단계는
상기 색상 카메라의 광축을 따라 일정 간격 떨어진 상기 복수의 위치별로 상기 변위 정보를 획득하는 3차원 영상 생성 방법.The method of claim 5,
Acquiring the depth value
Obtaining the depth value for each of the plurality of positions spaced apart from each other along the optical axis of the depth camera,
Acquiring the displacement information
And obtaining the displacement information for each of the plurality of positions spaced apart from each other along the optical axis of the color camera. 삭제delete 삭제delete 깊이 카메라와 복수의 색상 카메라를 포함하는 3차원 영상 생성 시스템에서 3차원 영상을 생성하는 방법으로서,
상기 깊이 카메라와 상기 복수의 색상 카메라의 광축을 따라 일정 거리 떨어진 복수의 위치별로 획득한 깊이값과 색상 영상에서의 변위 정보를 기초로, 상기 깊이값에 상기 변위 정보가 대응된 함수를 구하는 단계,
상기 깊이 카메라와 상기 복수의 색상 카메라를 이용하여 깊이 영상과 색상 영상을 촬영하는 단계,
상기 촬영한 깊이 영상의 깊이값을 상기 함수에서 대응하는 변위 정보로 치환하여 치환된 깊이 영상을 생성하는 단계,
상기 치환된 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 색상 영상으로 이동하는 워핑을 수행하는 단계, 그리고
워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 단계를 포함하고,
상기 스테레오 정합을 수행하는 단계는 상기 워핑된 색상 영상에 포함된 각 픽셀의 변위 정보를 해당 픽셀에서의 초기 변위값으로 예측하여 탐색하는 3차원 영상 생성 방법.A method of generating a 3D image in a 3D image generating system including a depth camera and a plurality of color cameras,
Obtaining a function in which the displacement information corresponds to the depth value, based on the depth value obtained for each of the plurality of positions spaced apart from the depth axis along the optical axis of the depth camera and the plurality of color cameras and the displacement information in the color image;
Photographing a depth image and a color image using the depth camera and the plurality of color cameras,
Generating a substituted depth image by replacing the depth value of the photographed depth image with corresponding displacement information in the function;
Performing warping to move the substituted depth image to a color image photographed by any one of the plurality of color cameras, and
Performing stereo matching to find a matching position of a warped color image and a color image photographed by another one of the plurality of color cameras;
The stereo matching may include: searching for and predicting displacement information of each pixel included in the warped color image as an initial displacement value of the corresponding pixel. 제9항에서,
상기 깊이값은 상기 깊이 카메라로부터 구하고, 상기 변위 정보는 상기 복수의 색상 카메라로부터 구하는 3차원 영상 생성 방법.The method of claim 9,
The depth value is obtained from the depth camera, and the displacement information is obtained from the plurality of color cameras. 제9항에서,
상기 색상 카메라와 상기 깊이 카메라는 광축에 수직인 평면 위에 위치하는 3차원 영상 생성 방법.The method of claim 9,
And the color camera and the depth camera are positioned on a plane perpendicular to the optical axis. 제9항에서,
상기 치환된 깊이 영상의 잡음을 제거하는 단계를 더 포함하며,
상기 워핑을 수행하는 단계는
상기 잡음이 제거된 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 촬영한 색상 영상으로 이동하는 워핑을 수행하는 3차원 영상 생성 방법.The method of claim 9,
Removing the noise of the substituted depth image;
Performing the warping is
3. The method of claim 3, wherein warping is performed to move the noise-free depth image to a color image photographed by one of the plurality of color cameras. 제9항에서,
상기 색상 카메라의 기하학적인 에러를 보정하기 위하여 상기 촬영한 색상 영상을 정렬하는 단계를 더 포함하며,
상기 스테레오 정합을 수행하는 단계는
상기 정렬된 색상 영상을 이용하여 상기 스테레오 정합을 수행하는 3차원 영상 생성 방법.The method of claim 9,
And arranging the photographed color images to correct geometrical errors of the color camera.
Performing the stereo matching is
3D image generating method of performing the stereo matching using the aligned color image. 제9항에서,
상기 스테레오 정합을 수행하여 획득한 정보를 이용하여 중간 시점 영상을 생성하는 단계를 더 포함하는 3차원 영상 생성 방법.The method of claim 9,
And generating an intermediate view image using the information obtained by performing the stereo matching. 3차원 영상 생성 시스템으로서,
깊이 영상을 획득하는 깊이 카메라,
색상 영상을 획득하는 복수의 색상 카메라,
상기 깊이 영상에 포함된 깊이값과 상기 색상 영상에 기초하여 구한 변위 정보를 대응시켜 깊이-변위 함수를 구하는 함수 결정부,
상기 함수를 참조하여 상기 깊이 카메라에서 촬영한 깊이 영상의 깊이값을 대응하는 변위 정보로 치환하는 깊이 정보 보정부,
상기 깊이 정보 보정부에서 치환된 깊이 영상을 상기 복수의 색상 카메라 중 어느 하나에서 획득한 색상 영상으로 워핑하는 워핑부, 그리고
상기 워핑부에서 워핑된 색상 영상과 상기 복수의 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 스테레오 정합을 수행하는 스테레오 정합부를 포함하고,
상기 스테레오 정합부는 상기 워핑된 색상 영상에 포함된 각 픽셀의 변위 정보를 해당 픽셀의 초기 변위값으로 예측하여, 상기 변위값의 범위에서 상기 색상 카메라 중 다른 어느 하나에서 촬영한 색상 영상의 정합 위치를 찾는 3차원 영상 생성 시스템.3D image generating system,
Depth camera to acquire depth images,
A plurality of color cameras for acquiring color images,
A function determination unit for obtaining a depth-displacement function by matching a depth value included in the depth image with displacement information obtained based on the color image;
A depth information correcting unit replacing the depth value of the depth image photographed by the depth camera with corresponding displacement information by referring to the function;
A warping unit for warping the depth image substituted by the depth information correcting unit to a color image obtained by any one of the plurality of color cameras, and
A stereo matching unit performing stereo matching to find a matching position of a color image warped by the warping unit and a color image photographed by any one of the plurality of color cameras;
The stereo matching unit predicts the displacement information of each pixel included in the warped color image as the initial displacement value of the corresponding pixel, and determines the matching position of the color image photographed by any one of the color cameras within the range of the displacement value. Finding 3D image generation system. 제15항에서,
상기 함수 결정부는
상기 깊이 카메라의 광축을 따라 일정 간격 떨어진 복수의 위치별로 상기 깊이값과 상기 변위 정보를 획득하여 상기 깊이값과 상기 변위 정보를 대응시키는 3차원 영상 생성 시스템.16. The method of claim 15,
The function determination unit
And obtaining the depth value and the displacement information for each of a plurality of positions spaced apart from each other along the optical axis of the depth camera to correspond to the depth value and the displacement information. 삭제delete 제15항에서,
상기 깊이 카메라의 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부, 그리고
상기 깊이 카메라 및 상기 복수의 색상 카메라의 파라미터를 구하는 파라미터 계산부
를 더 포함하는 3차원 영상 생성 시스템.16. The method of claim 15,
A lens distortion correction unit for correcting lens distortion of the depth camera, and
A parameter calculator for calculating parameters of the depth camera and the plurality of color cameras
Three-dimensional image generation system further comprising. 제15항에서,
상기 색상 카메라의 기하학적인 오차를 보정하기 위하여 상기 촬영한 색상 영상을 정렬하는 영상 정렬부를 더 포함하는 3차원 영상 생성 시스템.16. The method of claim 15,
And an image aligning unit to align the photographed color images to correct geometrical errors of the color camera. 제15항에서,
상기 깊이 정보 보정부에서 출력되는 영상의 잡음을 제거하는 잡음 제거부를 더 포함하는 3차원 영상 생성 시스템.16. The method of claim 15,
And a noise removing unit for removing noise of the image output from the depth information correcting unit. 제15항에서,
상기 스테레오 정합부에서 출력되는 정보를 이용하여 중간 시점 영상을 생성하는 중간 시점 영상 생성부를 더 포함하는 3차원 영상 생성 시스템.16. The method of claim 15,
And a mid-view image generating unit generating a mid-view image by using the information output from the stereo matching unit.
KR1020100115186A 2010-11-18 2010-11-18 Method and system for generating 3-dimensional video content KR101223206B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100115186A KR101223206B1 (en) 2010-11-18 2010-11-18 Method and system for generating 3-dimensional video content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100115186A KR101223206B1 (en) 2010-11-18 2010-11-18 Method and system for generating 3-dimensional video content

Publications (2)

Publication Number Publication Date
KR20120053856A KR20120053856A (en) 2012-05-29
KR101223206B1 true KR101223206B1 (en) 2013-01-17

Family

ID=46269929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100115186A KR101223206B1 (en) 2010-11-18 2010-11-18 Method and system for generating 3-dimensional video content

Country Status (1)

Country Link
KR (1) KR101223206B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118804A (en) 2018-04-11 2019-10-21 주식회사 씨오티커넥티드 Three-dimensional image generation apparatus
KR20200023647A (en) * 2017-12-18 2020-03-05 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 Target Positioning System and Positioning Method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402185B1 (en) * 2012-06-01 2014-06-19 광운대학교 산학협력단 A feature based pre-processing method to compensate color mismatching for multi-view video
KR101893788B1 (en) 2012-08-27 2018-08-31 삼성전자주식회사 Apparatus and method of image matching in multi-view camera
KR101378910B1 (en) * 2012-08-28 2014-03-31 광운대학교 산학협력단 An Intermediate View Image Generation Method for an Virtual Arbitrary View-Point Hologram Service
KR101917277B1 (en) * 2012-08-30 2018-11-13 엘지이노텍 주식회사 Camera module structure and electronic device having the same
KR101439966B1 (en) * 2014-03-06 2014-09-12 (주) 골프존 Image processing method for image reconstitution using depth information and image processing device using the same
WO2016195123A1 (en) * 2015-05-29 2016-12-08 (주)에프엑스기어 Apparatus and method for processing wide viewing angle image
KR102267442B1 (en) * 2019-10-07 2021-06-22 계명대학교 산학협력단 Correction method of camera distortion caused by multi-view capturing and generating method for block 3d model using thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
호요성, 이은경, 강윤석. 다시점 깊이 카메라를 이용한 3차원 입체영상의 정보 획득 방법. 2010.6., 방송공학회지: 제15권 제2호(제88면 내지 제100면) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023647A (en) * 2017-12-18 2020-03-05 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 Target Positioning System and Positioning Method
KR102510679B1 (en) * 2017-12-18 2023-03-16 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 Target positioning system and positioning method
KR20190118804A (en) 2018-04-11 2019-10-21 주식회사 씨오티커넥티드 Three-dimensional image generation apparatus

Also Published As

Publication number Publication date
KR20120053856A (en) 2012-05-29

Similar Documents

Publication Publication Date Title
KR101223206B1 (en) Method and system for generating 3-dimensional video content
KR102096806B1 (en) 3D sensor system and 3D data acquisition method
KR100776649B1 (en) A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
KR101377325B1 (en) Stereoscopic image, multi-view image and depth image acquisition appratus and its control method
CN106875435B (en) Method and system for obtaining depth image
CN112150528A (en) Depth image acquisition method, terminal and computer readable storage medium
CN102436660A (en) Automatic correction method and device of 3D camera image
RU2012119214A (en) STEREOSCOPIC CAMERA DEVICE, CORRECTION METHOD AND PROGRAM
CN107545586B (en) Depth obtaining method and system based on light field polar line plane image local part
KR101739394B1 (en) Apparatus for estimating distance to object using stereo camera with heterogeneous angle of view and method thereof
CN106851103B (en) Atomatic focusing method and device based on dual camera system
US11060853B2 (en) Three-dimensional sensor system and three-dimensional data acquisition method
US9746317B2 (en) Image processing method and device
WO2007007924A1 (en) Method for calibrating distortion of multi-view image
KR20080083999A (en) Method and system for calculating depth information of object in image
TWI571099B (en) Device and method for depth estimation
CN105335959A (en) Quick focusing method and device for imaging apparatus
US9538161B2 (en) System and method for stereoscopic photography
JP6395429B2 (en) Image processing apparatus, control method thereof, and storage medium
US9674503B2 (en) Stereo matching apparatus using image property
KR101165810B1 (en) A method and an apparatus extracting a depth image information using a stereo camera
JP2015184121A (en) distance calculation device
KR20110133677A (en) Method and apparatus for processing 3d image
KR20150003936A (en) System and method for producing stereoscopic using external camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee