WO2013077508A1 - Device and method for depth map generation and device and method using same for 3d image conversion - Google Patents

Device and method for depth map generation and device and method using same for 3d image conversion Download PDF

Info

Publication number
WO2013077508A1
WO2013077508A1 PCT/KR2012/003347 KR2012003347W WO2013077508A1 WO 2013077508 A1 WO2013077508 A1 WO 2013077508A1 KR 2012003347 W KR2012003347 W KR 2012003347W WO 2013077508 A1 WO2013077508 A1 WO 2013077508A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
image
value
input image
initial
Prior art date
Application number
PCT/KR2012/003347
Other languages
French (fr)
Korean (ko)
Inventor
우대식
김종대
박재범
전병기
정원석
Original Assignee
에스케이플래닛 주식회사
시모스 미디어텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2011-0123374 priority Critical
Priority to KR1020110123374A priority patent/KR101660808B1/en
Application filed by 에스케이플래닛 주식회사, 시모스 미디어텍(주) filed Critical 에스케이플래닛 주식회사
Publication of WO2013077508A1 publication Critical patent/WO2013077508A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

The present invention relates to a device and method for depth map generation and to a device and method using same for 3D image conversion. The depth map generation device includes: a feature information extraction part extracting at least one piece of feature information with respect to an input image; a depth map initialization part generating a depth map with respect to the input image on the basis of the feature information; an FFT conversion part performing an FFT with respect to the conversion of the input image into a frequency image; and a depth map determination part evaluating a correlation value by using a representative value of the frequency image and the mean value of the initial depth map to determine a final depth map on the basis of the correlation value. According to the present invention, the error of the depth map for expressing a 3D image generated when an image is automatically converted may be corrected.

Description

깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법Depth map generation device and method and stereoscopic image conversion device and method using same
본 발명은 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하며, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a depth map, and to an apparatus and method for converting a stereoscopic image using the same, more particularly, extracting at least one characteristic information of an input image, and based on the characteristic information, After generating an initial depth map, performing a Four Fourier Transform (FFT) on the input image and converting it into a frequency image, obtaining a correlation value using the representative value of the frequency image and the average value of the initial depth map, A depth map generating apparatus and method for determining a final depth map based on the correlation value, and a stereoscopic image converting apparatus and method using the same.
최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.Recently, as interest in 3D images is amplified, research on 3D images is being actively conducted.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.In general, it is known that humans feel the most three-dimensional effect by the parallax between both eyes. Thus, 3D imaging can be implemented using these characteristics of humans. For example, by distinguishing a particular subject into a left eye image seen through the viewer's left eye and a right eye image seen through the viewer's right eye, the viewer simultaneously displays the left eye image and the right eye image so that the viewer views the 3D image as a 3D image. I can make it visible. As a result, the 3D image may be implemented by manufacturing a binocular image divided into a left eye image and a right eye image and displaying the same.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.In order to convert a monocular 2D image without depth information into a 3D image, it is necessary to add depth information to the 2D image to render.
일반적으로 입체변환은 수동방식과 자동방식으로 구분된다. 수동방식은 글자 그대로 모든 영상물에 대해 사람의 주관적인 판단에 따라서 영상을 보면서 깊이맵을 만드는 것이다. 이 과정은 영상물을 보면서 영상물의 세세한 부분까지도 깊이맵을 예상할 수 있는 사람의 주관적인 판단에 근거한다. 따라서 각각의 영상물에 대해 사람이 직접 깊이맵을 제작하게 되어, 실제로 깊이맵의 오류는 매우 작다. 그러나, 매 영상물마다 직접 사람이 개입하여 영상물의 깊이맵을 작성하기 때문에 많은 시간과 노력이 필요하다. In general, stereoscopic conversion is divided into manual and automatic methods. The manual method literally creates a depth map while watching the image according to the subjective judgment of a person about all the images. This process is based on the subjective judgment of the person who can predict the depth map while watching the video. Therefore, a person directly produces a depth map for each image, and the error of the depth map is very small. However, a lot of time and effort is required because a person directly intervenes in each video to create a depth map of the video.
자동 입체 변환은 영상의 특징을 분석하여 적절한 깊이맵을 추출하고 이를 이용하여 좌, 우의 입체 영상을 생성하는 것을 의미한다. 이 과정에서 영상물 자체는 깊이 맵에 대한 정보가 없기 때문에 영상의 외곽(Edge) 특성, 색상, 밝기 특성, 소실점 특성과 같은 통상적인 영상 특징 등을 활용하여 깊이맵을 생성하게 된다. 그러나 이런 특징들은 영상물 자체가 가지는 영상의 입체 특성과 일치하지 않는 경우가 많기 때문에 입체의 효과가 크지 않다.Automatic stereoscopic transformation means analyzing the characteristics of an image to extract an appropriate depth map and using it to generate left and right stereoscopic images. In this process, since the image itself does not have information about the depth map, the depth map is generated by using general image characteristics such as edge characteristics, color, brightness characteristics, and vanishing point characteristics of the image. However, these features often do not match the stereoscopic characteristics of the image itself, so the effect of stereoscopic is not large.
그리고, 하나의 영상물 안에는 다양한 형태의 영상내용이 포함되는데 각각의 영상물의 내용에 대해서 영상처리를 통해 깊이 맵을 추출하는 것은 사실상 불가능하고, 영상 처리를 통해 얻은 깊이 맵 역시 많은 오류를 포함하고 있다. In addition, a single image includes various types of image contents. It is virtually impossible to extract a depth map through image processing of each image, and the depth map obtained through image processing also includes many errors.
이러한 영상 처리를 통해 얻은 깊이 맵의 오류는 크게 2가지 형태로 나누어 볼 수 있다.The error of the depth map obtained through such image processing can be divided into two types.
하나는 영상물의 부분 영역에서의 깊이 맵의 오류 또는 역전 현상 및 이들의 조합이며, 또 하나는 영상물 전체적인 깊이 맵의 오류 또는 역전 현상이다. 물론 이런 깊이 맵의 오류는 영상처리와 같은 기술적인 방법으로 구분하는 것조차 쉽지는 않다. One is an error or inversion of the depth map in the partial region of the image and a combination thereof, and another is an error or inversion of the depth map in the entire image. Of course, the error of the depth map is not easy to distinguish by technical methods such as image processing.
따라서, 영상물만을 가지고 자동으로 객관적인 관점에서 깊이 맵의 오류를 검출할 수 있는 기술이 필요하다. Therefore, there is a need for a technique capable of automatically detecting an error of a depth map from an objective point of view only with an image.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a depth map generating apparatus capable of correcting an error of a depth map for stereoscopic representation generated during an automatic stereoscopic conversion process of an image; A method and an apparatus and method for converting a stereoscopic image using the same are provided.
본 발명의 다른 목적은 자동 입체 영상 변환 시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide an apparatus and method for generating a depth map that can objectively detect and correct an error of a depth map of an image generated through image processing during automatic stereoscopic image conversion, and an apparatus and method for stereoscopic image conversion using the same. have.
본 발명의 또 다른 목적은 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide a depth map generating apparatus and method for correcting errors in a depth map and minimizing errors in image conversion by converting a 2D image into a 3D image using the corrected depth map. And a stereoscopic image conversion apparatus and method using the same.
본 발명의 일 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함하는 깊이 맵 생성 장치가 제공된다. According to an aspect of the present invention, a feature information extractor for extracting at least one feature information of an input image, a depth map initializer for generating an initial depth map for the input image based on the feature information, the input image An FFT transform unit converts a frequency image by performing a fast fourier transform (FFT), and obtains a correlation value by using a representative value of the frequency image and an average value of the initial depth map, and finally obtains a correlation value based on the correlation value. There is provided a depth map generator including a depth map determiner for determining a depth map.
*상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다. The feature information extracting unit extracts feature information including at least one of edge information, color information, luminance information, motion information, and histogram information.
상기 깊이 맵 초기화부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. The depth map initialization unit divides a plurality of pixels constituting the input image into at least one block, and then sets an initial depth value for the at least one block to set an initial depth map ( Create a depth map.
상기 깊이 맵 결정부는 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구한 후, 상기 대표값과 상기 평균값을 이용하여 상관관계 값을 구한다. The depth map determiner obtains a representative value by summing pixel values corresponding to a high frequency region in the frequency image, and obtains an average value of depth values corresponding to a block region corresponding to the region obtained from the initial depth map. A correlation value is obtained using the representative value and the average value.
상기 깊이 맵 결정부는 하기의 수학식을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다. The depth map determiner calculates a correlation value (CRV) using the following equation.
[수학식][Equation]
CRV = Σ (FFT(n) * Depth(n))CRV = Σ (FFT (n) * Depth (n))
여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값이고, n은 각 블록(block)의 인덱스를 의미함.Here, the FFT (n) is a representative value representing the block sharpness of the frequency image, the Depth (n) is the average value of the initial depth map corresponding to the block area matching the block area of the FFT (n), n Is the index of each block.
또한, 상기 깊이 맵 결정부는 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다. The depth map determiner may determine the initial depth map as the final depth map when the correlation value is greater than or equal to a predetermined threshold value, and invert the depth values of the initial depth map when the correlation value is not greater than the threshold value. Determine the map as the final depth map.
본 발명의 다른 측면에 따르면, 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 설정부, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 입체 영상 생성부를 포함하는 입체 영상 변환 장치가 제공된다. According to another aspect of the present invention, an image analysis unit for extracting at least one feature information by analyzing a two-dimensional input image, generates an initial depth map for the input image based on the feature information, After converting to a frequency image by performing an FFT, a correlation value is obtained by using a representative value of the frequency image and an average value of the initial depth map, and a depth map setting for determining a final depth map based on the correlation value. A stereoscopic image converting apparatus including a stereoscopic image generator for converting the input image into a three-dimensional stereoscopic image using the final depth map is provided.
상기 깊이 맵 설정부는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함한다. The depth map setting unit may include a depth map initializer configured to generate an initial depth map of the input image based on the characteristic information, an FFT converter configured to perform an FFT on the input image, and convert the image into a frequency image; And a depth map determiner that obtains a correlation value by using a representative value and an average value of the initial depth map, and determines a final depth map based on the correlation value.
본 발명의 또 다른 측면에 따르면, 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법에 있어서, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 제공된다. According to another aspect of the present invention, in the method for generating a depth map by the depth map generating apparatus, extracting at least one characteristic information for the input image, the initial depth for the input image based on the characteristic information Generating a map, performing an FFT on the input image, converting the image into a frequency image, obtaining a correlation value using a representative value of the frequency image and an average value of the initial depth map, and calculating the correlation value. A depth map generation method is provided that includes determining a final depth map as a basis.
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계는, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 구해진 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 단계를 포함한다.The obtaining of the correlation value by using the representative value of the frequency image and the average value of the initial depth map may include obtaining a representative value by adding pixel values corresponding to a high frequency region in the frequency image, and representing the representative value in the initial depth map. Obtaining an average value of depth values corresponding to a block area coinciding with the obtained area, and obtaining a correlation value using the obtained representative value and the average value.
상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계는, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 한다. The determining of the final depth map based on the correlation value may include determining the initial depth map as the final depth map when the correlation value is greater than or equal to a predetermined threshold value, and determining the final depth map as the final depth map. And inverting the depth values to determine the inverted depth map as the final depth map.
본 발명의 또 다른 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to another aspect of the invention, the step of extracting at least one characteristic information for the input image, generating an initial depth map for the input image based on the characteristic information, performing an FFT on the input image Converting the frequency image into a frequency image, obtaining a correlation value using an average value of the representative value of the frequency image and the initial depth map, and determining a final depth map based on the correlation value. A recording medium is provided which is produced by a program and can be read by an electronic device.
본 발명의 또 다른 측면에 따르면, 입체 영상 변환 장치가 자동으로 입체 영상을 변환하는 방법에 있어서, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 제공된다. According to another aspect of the present invention, in a method for automatically converting a stereoscopic image by a stereoscopic image converting apparatus, analyzing the input two-dimensional input image to extract at least one characteristic information, based on the characteristic information Generating an initial depth map with respect to the input image, determining a final depth map by checking the validity of the initial depth map, and converting the input image into a three-dimensional stereoscopic image using the final depth map. There is provided a stereoscopic image conversion method comprising the step.
상기 최종 깊이 맵을 결정하는 단계는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 단계를 포함한다.The determining of the final depth map may include generating an initial depth map of the input image based on the characteristic information, performing an FFT on the input image, and converting the input image into a frequency image. Obtaining a representative value by summing pixel values corresponding to an area, obtaining an average value of depth values corresponding to a block area corresponding to the area where the representative value is obtained from the initial depth map, and representing the representative value of the frequency image and the initial value Obtaining a correlation value using an average value of the depth map; when the correlation value is equal to or greater than a predetermined threshold, determining the initial depth map as a final depth map; and when the correlation value is not greater than or equal to the threshold, a depth value of the initial depth map. Inverting them to determine the inverted depth map as the final depth map.
본 발명의 또 다른 측면에 따르면, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to another aspect of the invention, the step of extracting at least one characteristic information by analyzing the input two-dimensional input image, generating an initial depth map for the input image based on the characteristic information, the initial depth Determining a final depth map by checking whether a map is valid, and converting the input image into a three-dimensional stereoscopic image using the final depth map. A readable recording medium is provided.
따라서 본 발명에 따르면, 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있다. Therefore, according to the present invention, it is possible to correct an error of a depth map for the stereoscopic representation that occurs during the automatic stereoscopic conversion of the image.
또한, 자동 입체 영상 변환시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있다.In addition, an error in a depth map of an image generated through image processing during automatic stereoscopic image conversion may be objectively detected and corrected.
또한, 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있다. In addition, the error of the depth map may be corrected, and the error of the image conversion may be minimized by converting the 2D image into the 3D image using the corrected depth map.
도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도.1 is a block diagram showing the configuration of a stereoscopic image conversion apparatus according to the present invention.
도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도.Figure 2 is a block diagram schematically showing the configuration of the depth map generating apparatus according to the present invention.
도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도.3 is an exemplary view for explaining the difference between the initial depth map and the final depth map when the input image is converted into a three-dimensional stereoscopic image according to the present invention.
도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도.4 is an exemplary diagram for explaining an image of an FFT high frequency component according to the present invention;
도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도. 5 is an exemplary view of a block representing the 8x8 block in the frequency domain through the FFT according to the present invention.
도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면. 6 is a diagram illustrating a method for converting a two-dimensional input image into a three-dimensional stereoscopic image by the stereoscopic image conversion apparatus according to the present invention.
도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도.7 is a flowchart illustrating a method of generating a depth map by a depth map generating apparatus according to the present invention;
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same or corresponding components will be given the same reference numerals and redundant description thereof will be omitted.
이하에서는 아래의 2가지 전제조건을 만족하는 영상물에 대해서 입체를 표현하는 깊이 맵을 생성하고 보정하고자 한다.Hereinafter, a depth map representing a stereoscopic image is generated and corrected for an image object satisfying the following two prerequisites.
전제조건1은 "통상적으로 밝은 색상이나 밝기가 강한 것은 거리가 가까운 경우가 많다"이다. 예를 들면, 많이 보는 사진중에 산이 멀리 있을수록 가까이 있는 산과 비교하면 색상이 무채색으로 변환되어 보인다. 또는 밝고 강한 색상의 물체가 멀어지면 멀어질수록 색상의 채도가 약해진다. 이와 같은 특징은 사람의 시각특성도 있지만 이를 촬상하는 카메라의 특징이기도 하다. Precondition 1 is "usually a bright color or a strong brightness is often near." For example, the more distant the mountain in the picture you see, the more the color looks achromatic compared to the nearby mountain. Or, the farther and brighter the object, the less saturated the color becomes. Such a feature is not only a visual characteristic of a person but also a feature of a camera photographing it.
전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다. 예를 들면, 똑같은 물체가 가까이 있을 때와 멀리 있을 때 물체의 선명도가 다르며 이것은 시각적으로 또는 촬영하는 카메라의 해상도의 한계 때문에 발생한다.Precondition 2 is "usually, the distance between the clear parts of the image is often close." For example, when the same object is near and far, the sharpness of the object is different, which occurs because of the limitations of the resolution of the camera being visually or photographed.
본 발명은 상기와 같은 2가지 특성을 활용하여 입체의 변환 및 이를 보정하고자 한다. 전제조건1은 입체를 변환하기 위한 조건이며, 전제조건2는 이를 보정하기 위한 수단이 된다. 즉 영상물의 색상, 밝기정보를 가지고 깊이 맵을 추출하고 이러한 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 깊이 맵의 오류를 검출하고 이를 보정한다.The present invention intends to transform the stereoscopic and correct it by utilizing the two characteristics as described above. Precondition 1 is a condition for converting three-dimensional, and precondition 2 is a means for correcting this. That is, the depth map is extracted from the color and brightness information of the image, and the error of the depth map is detected and corrected through objective verification of whether the depth map is partially or totally valid.
도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도이다. 1 is a block diagram showing the configuration of a stereoscopic image conversion apparatus according to the present invention.
도 1을 참조하면, 입체 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 설정부(120), 입체 영상 생성부(130)를 포함한다. Referring to FIG. 1, the 3D image converting apparatus 100 includes an image analyzer 110, a depth map setting unit 120, and a 3D image generating unit 130.
상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.The image analyzer 110 extracts at least one characteristic information by analyzing a two-dimensional input image. The characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
상기 깊이 맵 설정부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다.The depth map setting unit 120 generates an initial depth map of the input image based on the characteristic information extracted by the image analyzer 110, and performs a fast fourier transform (FFT) on the input image. After converting to a frequency image, a correlation value is obtained using the representative value of the frequency image and the average value of the initial depth map, and a final depth map is determined based on the correlation value.
상기 깊이 맵 설정부(120)에 대한 상세한 설명은 도 2를 참조하여 설명하기로 한다. A detailed description of the depth map setting unit 120 will be described with reference to FIG. 2.
상기 입체 영상 생성부(130)는 상기 깊이 맵 설정부(120)에서 결정된 최종 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 입체 영상 생성부(130)는 상기 최종 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.The stereoscopic image generator 130 converts the two-dimensional input image into a three-dimensional stereoscopic image using the final depth map determined by the depth map setting unit 120. For example, the stereoscopic image generation unit 130 may generate parallax information using the final depth map, and generate a 3D stereoscopic image using the parallax information. The 3D stereoscopic image generated in this way looks more stereoscopic as the depth values for each pixel in each frame vary.
여기에서는 입체 영상 생성부(130)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 입체 영상 생성부(130)가 최종 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다. Herein, the stereoscopic image generator 130 converts the 2D image into a 3D stereoscopic image using parallax information. However, the stereoscopic image generator 130 converts the input image using the final depth map. The method of converting to a stereoscopic image follows various conventional methods.
상기와 같이 구성된 입체 영상 변환 장치(100)는 입력 영상의 특성 정보를 바탕으로 입력 영상에 대한 깊이 값을 설정함으로써, 2D의 입력 영상을 3D 영상(Stereoscopic Video)으로 변환할 수 있다.The stereoscopic image converting apparatus 100 configured as described above may convert a 2D input image into a 3D image by setting a depth value for the input image based on the characteristic information of the input image.
도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도, 도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도, 도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도이다.2 is a block diagram schematically illustrating a configuration of a depth map generating apparatus according to the present invention, and FIG. 3 illustrates a difference between an initial depth map and a final depth map when converting an input image into a 3D stereoscopic image. 4 is an exemplary diagram for explaining an image of an FFT high frequency component according to the present invention, and FIG. 5 is an exemplary diagram of a block in which a 8x8 block according to the present invention is expressed in a frequency domain through an FFT.
도 1에서는 깊이 맵 설정부로 하여 설명하였으나, 도 2에서는 깊이 맵 생성 장치(200)로 하여 설명하기로 한다. In FIG. 1, the depth map setting unit is described, but in FIG. 2, the depth map generator 200 will be described.
도 2를 참조하면, 깊이 맵 생성 장치(200)는 특성 정보 추출부(210), 깊이 맵 초기화부(220), FFT(Fast Fourier Transform) 변환부(230), 깊이 맵 결정부(240)를 포함한다. Referring to FIG. 2, the depth map generator 200 may include a feature information extractor 210, a depth map initializer 220, a fast fourier transform (FFT) transformer 230, and a depth map determiner 240. Include.
상기 특성 정보 추출부(210)는 입력 영상에 대해 적어도 하나의 특성 정보를 추출한다. 여기서, 상기 입력 영상은 단안(monocular) 영상이 될 수 있다.The characteristic information extractor 210 extracts at least one characteristic information with respect to the input image. The input image may be a monocular image.
상기 특성 정보 추출부(210)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.The feature information extracted by the feature information extractor 210 may be edge information, color information, luminance information, motion information, or histogram information.
상기 특성 정보 추출부(210)는 깊이 맵 생성을 위해 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특성 정보를 추출한다. The feature information extractor 210 extracts feature information in an image through various analysis methods in units of pixels or blocks in order to collect information that is a basis for generating a depth map.
상기 깊이 맵 초기화부(220)는 상기 특성 정보 추출부(210)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다.The depth map initializer 220 generates an initial depth map of the input image based on the feature information extracted by the feature information extractor 210.
즉, 상기 깊이 맵 초기화부(220)는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. That is, the depth map initialization unit 220 divides a plurality of pixels constituting the input image into at least one block, and then initializes an initial depth value of the at least one block. Set to create an initial depth map.
상기 깊이 맵 초기화부(220)는 상기 추출된 특성정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 맵(depth map)을 생성한다. 즉, 깊이 맵 초기화부(220)는 2차원 영상에 대한 깊이 맵(depth map)으로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 맵은 2차원 영상에 대한 프레임당 각 픽셀의 깊이 값(depth value)들을 저장한 데이터 구조이다. The depth map initializer 220 generates a depth map for each frame of the 2D image based on the extracted characteristic information. That is, the depth map initializer 220 extracts depth values for each pixel of each frame from a depth map of the 2D image. Here, the depth map is a data structure storing depth values of each pixel per frame for the 2D image.
상기 깊이 맵 초기화부(220)에서 생성된 초기 깊이 맵을 이용하여 입력 영상을 3차원의 입체 영상으로 변환한 예시를 도 3을 참조하여 설명하기로 한다. An example of converting an input image into a 3D stereoscopic image using the initial depth map generated by the depth map initialization unit 220 will be described with reference to FIG. 3.
관측자를 기준으로 거미가 관측자에 가장 가까이 위치하고, 다음에는 꽃이 위치하고, 배경이 관측자로부터 가장 멀리 위치한 영상을 예로 들어 설명하면, 이 영상은 거미, 꽃, 배경이 위치에 따라 3단계로 분리가 가능하다. 물론 더 세밀하게 표현이 가능하지만 설명을 위한 예로서 3단계로 구분하기로 한다. Based on the observer, the spider is placed closest to the observer, the next flower is located, and the background is farthest from the observer. For example, the spider, flower, and background can be separated in three stages according to the position. Do. Although it can be expressed in more detail, it will be divided into three steps as an example for explanation.
이것은 주관적인 사람의 시각특성으로 이와 같이 분석이 가능하지만, 만약 이를 자동으로 영상처리를 통해서 분석하고자 한다면 전제조건1을 이용하여 가장 앞에 있을 것으로 판단되는 거미가 무채색이며 어둡기 때문에 가장 멀리 있는 것으로 깊이 맵이 표현이 될 것이다. This is a subjective human visual characteristic. This analysis is possible, but if it is to be analyzed automatically through image processing, the spider that is considered to be the most front using the precondition 1 is achromatic and dark and is the farthest. Will be an expression.
도 3a는 전제조건1에 따른 깊이 맵으로 변환된 입체 영상을 나타낸 도면이다. FIG. 3A illustrates a stereoscopic image converted into a depth map according to Precondition 1. FIG.
또한, 깊이 맵 초기화부(220)에서 생성된 깊이 맵을 사진의 인화필름같이 역전시킨 필름 영상물 같이 바꾸어준다면 정상적인 깊이 맵의 형성이 가능하다.In addition, if the depth map generated by the depth map initialization unit 220 is changed like a film image inverted like a print film of a photograph, a normal depth map may be formed.
즉, 깊이 맵을 사진의 인화필름같이 역전시키면 도 3a의 초기 깊이 맵은 도 3b와 같은 깊이 맵으로 변환이 가능하고, 도 3b는 도 3a보다 오류가 적은 입체표현이 가능하다.That is, if the depth map is reversed like a print film of a photograph, the initial depth map of FIG. 3A can be converted into a depth map as shown in FIG. 3B, and FIG. 3B can be a three-dimensional expression with less error than that of FIG.
도 3b의 영상은 거미가 앞쪽에 있으므로 거미가 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현된다. 결과적으로 도 3b의 깊이 맵을 선택하면 오류를 개선시키면서 입체의 정상적인 표현이 가능하다. In the image of FIG. 3B, the spider is bright because the spider is in front, and then the flower area, and the background is dark because there is little change. As a result, when the depth map of FIG. 3B is selected, the stereoscopic representation is possible while improving the error.
따라서, 상기 깊이 맵 생성 장치(200)는 영상을 도 3a의 깊이 맵으로 선택하여 변환할지 또는 도 3b의 깊이 맵으로 선택하여 변환할지를 결정하여야 한다. Therefore, the depth map generating apparatus 200 should determine whether to select and convert an image to the depth map of FIG. 3A or to convert to a depth map of FIG. 3B.
상기 깊이 맵 생성 장치(200)는 도 3a의 깊이 맵으로 선택하여 변환할지 또는 도 3b의 깊이 맵으로 선택하여 변환할지를 결정하기 위하여 상기 입력 영상을 FFT(Fast Fourier Transform) 변환을 수행하여 주파수 영상을 생성하고, 그 주파수 영상을 이용하여 최종 깊이 맵을 결정하게 된다. The depth map generating apparatus 200 performs a fast fourier transform (FFT) on the input image to determine whether to select and convert to the depth map of FIG. 3A or to convert to the depth map of FIG. 3B. The final depth map is generated using the frequency image.
따라서, 상기 깊이 맵 생성 장치(200)는 FFT 변환부(230), 깊이 맵 결정부(240)를 포함한다. Therefore, the depth map generating apparatus 200 includes an FFT converter 230 and a depth map determiner 240.
상기 FFT 변환부(230)는 상기 입력 영상에 대해 FFT를 수행하여 상기 입력 영상을 주파수 영역의 주파수 영상으로 변환한다. 즉, 상기 FFT 변환부(230)는 공간상의 입력 영상을 주파수 영상으로 변환한다.The FFT converter 230 performs an FFT on the input image to convert the input image into a frequency image in a frequency domain. That is, the FFT converter 230 converts a spatial input image into a frequency image.
상기 FFT 변환부(230)가 FFT를 수행하여 입력 영상을 주파수 영상으로 변환한 영상에 대해 도 4를 참조하기로 한다. 도 4를 참조하면, 밝은 부분일수록 선명하거나 강한 외곽을 가지고 있다. 즉, 주파수 영역에서 고주파 영역, 즉 선명도나 강한 외각을 표현하는 부분을 밝은 색으로 표현하면 영상에서 거미의 외곽이 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현이 된다.The FFT converter 230 performs an FFT with reference to FIG. 4 for an image obtained by converting an input image into a frequency image. Referring to FIG. 4, the brighter portion has a clearer or stronger outline. In other words, if the high frequency area in the frequency domain, that is, the area expressing sharpness or strong exterior, is expressed in bright colors, the outline of the spider is bright in the image, and then the flower area and the background are dark because there is little change. do.
도 4와 같은 영상표현은 FFT의 특성으로, 도 5의 (a)는 입력 영상에서 8x8 pixel의 임의 영역을 표현한 것이고 도 5의 (b)는 (a)를 FFT를 통해서 주파수 영역으로 표현한 것이다. The image representation as shown in FIG. 4 is a characteristic of the FFT. FIG. 5 (a) represents an arbitrary region of 8x8 pixels in the input image, and FIG. 5 (b) shows (a) as the frequency region through the FFT.
도 5의 (b)에서 A 영역은 저주파 대역을 말하고, B 영역은 고주파 대역을 말한다. 즉, B 영역은 고주파 성분으로, 영상이 선명하거나 강한 외곽을 가지고 있으면 B 영역의 값이 커지고, 단순할수록 A영역 윗부분의 값이 커지고 B 영역의 값은 상대적으로 작아지게 된다.In FIG. 5B, region A refers to a low frequency band and region B refers to a high frequency band. That is, the B region is a high frequency component. If the image has a clear or strong outline, the value of the B region is increased, and the simpler the value of the upper portion of the A region is, the smaller the value of the B region is.
이와 같이 주파수 영상에서 고주파 영역에 속하는 픽셀 값들의 총합, 즉 영상의 일부 영역에 속하는 8x8 블록(Block)에서 선명함을 표현하고 영상의 각 pixel간의 편차가 큰 것을 표현하는 B 영역의 총합을 화면의 8x8 pixel에 해당하는 대표값으로 정의한다. 이와 같이하여 각 블록 단위의 크기 값을 밝기 값으로 하여 영상으로 표현하면 도 4와 같은 FFT 고주파 성분을 활용한 영상표현이 된다.As such, the sum of pixel values belonging to the high frequency region in the frequency image, that is, the sum of the B region representing the sharpness in the 8x8 block belonging to the partial region of the image and the large deviation between each pixel of the image is expressed as 8x8. It is defined as a representative value corresponding to pixel. In this way, when the size value of each block unit is expressed as an image, the image is expressed using the FFT high frequency component as shown in FIG. 4.
상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)에서 생성된 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다. The depth map determiner 240 obtains a correlation value by using a representative value of the frequency image generated by the FFT converter 230 and an average value of the initial depth map, and based on the correlation value, a final depth map. Determine.
즉, 상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)를 통해서 형성된 주파수 영상에서 임의의 8x8 block단위로 블록 선명도를 표현하는 대표값(FFT(n))을 구한다. 여기서, 상기 대표값은 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 구한다. 그런 다음 상기 깊이 맵 결정부(240)는 상기 FFT(n)의 블록 영역과 일치하는 초기 깊이 맵의 8x8 block의 평균값(Depth(n))을 구한 후 상기 대표값과 상기 평균값을 이용하여 상관 관계값(CRV(Co-Relation Value))을 구한다. That is, the depth map determiner 240 obtains a representative value FFT (n) representing a block sharpness in arbitrary 8 × 8 block units in the frequency image formed by the FFT converter 230. Here, the representative value is obtained by summing pixel values corresponding to a high frequency region in the frequency image. Then, the depth map determiner 240 obtains an average value Depth (n) of the 8x8 block of the initial depth map that matches the block area of the FFT (n), and then correlates the representative value with the average value. Obtain the value (Co-Relation Value).
상기 깊이 맵 결정부(240)는 수학식 1을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다. The depth map determiner 240 obtains a correlation value (CRV (Co-Relation Value)) using Equation 1.
[수학식 1][Equation 1]
CRV = Σ (FFT(n) * Depth(n))CRV = Σ (FFT (n) * Depth (n))
여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값, n은 각 블록(block)의 인덱스를 의미한다. 상기 FFT(n)는 FFT 변환된 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들의 합을 말하고, 상기 초기 깊이 맵의 평균값은 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 의미한다. Here, the FFT (n) is a representative value representing the block sharpness of the frequency image, Depth (n) is the average value of the initial depth map corresponding to the block area that matches the block area of the FFT (n), n is It means the index of each block. The FFT (n) refers to a sum of pixel values corresponding to a high frequency region in an FFT-converted frequency image, and an average value of the initial depth map corresponds to a block region corresponding to a region obtained by obtaining the representative value in the initial depth map. The mean value of the depth values.
상기 수학식 1을 통해 상관관계 값이 구해지면, 깊이 맵 결정부(240)는 상기 상관관계 값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다. When the correlation value is obtained through Equation 1, the depth map determiner 240 determines the initial depth map as the final depth map when the correlation value is greater than or equal to a predetermined threshold value, and when the correlation value is not greater than or equal to the threshold value. The depth values of the initial depth map are inverted to determine the inverted depth map as the final depth map.
결과적으로 상기 깊이 맵 결정부(240)는 도 4와 같은 주파수 영역의 영상으로 변환된 주파수 영상을 활용하여, 영상을 자동으로 입체 변환하기 위한 깊이 맵으로 도 3a보다는 도 3b의 깊이 맵이 더 타당하다는 결론을 도출하게 된다.As a result, the depth map determiner 240 is a depth map for automatically converting an image to a stereoscopic image by using a frequency image converted into an image of the frequency domain as shown in FIG. 4. It is concluded that
또한, 상기 깊이 맵 결정부(240)는 전제조건1의 색상이 강하고 밝은 색상일수록 앞에 있다고 판단한 조건과 선명한 부분이 앞에 있다라는 조건이 일치한다면, 즉 상관관계 값이 미리 정해진 임계치 이상인 경우, 전제조건1로서 생성된 도 3a의 깊이 맵이 타당하다고 판단한다. In addition, the depth map determiner 240 is a precondition if the condition that the color of the precondition 1 is stronger and brighter than the condition determined to be in front and the condition that the sharp part is in front match, that is, the correlation value is greater than or equal to a predetermined threshold. It is determined that the depth map of FIG. 3A generated as 1 is valid.
만약, 상기 상관관계 값이 미리 정해진 임계치 이상이 아닌 경우, 상기 깊이 맵 결정부(240)는 도 3b와 같이 역전 현상이 반영된 깊이 맵이 더 타당한 깊이 맵이라고 판단한다. If the correlation value is not greater than or equal to a predetermined threshold value, the depth map determiner 240 determines that the depth map reflecting the inversion phenomenon is a more suitable depth map as shown in FIG. 3B.
상기와 같이 구성된 깊이 맵 생성 장치(200)는 영상물의 색상, 밝기정보 등의 특성정보를 이용하여 초기 깊이 맵을 추출하고, 이러한 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해서 깊이 맵의 오류를 검출하여 최종 깊이 맵을 생성한다. The depth map generation apparatus 200 configured as described above extracts an initial depth map using characteristic information such as color and brightness information of an image, and performs an objective verification on whether the initial depth map is partially or entirely valid. Detects the error and generates the final depth map.
도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면이다. 6 is a diagram illustrating a method of converting a two-dimensional input image into a three-dimensional stereoscopic image by the stereoscopic image conversion apparatus according to the present invention.
도 6을 참조하면, 입체 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S602). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.Referring to FIG. 6, the stereoscopic image conversion apparatus analyzes a two-dimensional input image to extract at least one characteristic information (S602). Here, the characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
상기 S602의 수행 후, 상기 입체 영상 변환 장치는 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S604).After performing the step S602, the 3D image conversion apparatus generates an initial depth map of the input image based on the characteristic information (S604).
그런 다음 상기 입체 영상 변환 장치는 상기 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 최종 깊이 맵을 결정한다(S606). Then, the stereoscopic image conversion apparatus determines the final depth map through objective verification of whether the initial depth map is partially or entirely valid (S606).
즉, 상기 입체 영상 변환 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다. 그런 다음 상기 입체 영상 변환 장치는 상기 주파수 영상에서 고주파 영역에 속하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값 구한다. 그런 다음 상기 입체 영상 변환 장치는 상기 구해진 대표값과 상기 평균값을 이용한 수학식 1을 이용하여 상관관계 값을 구한다. That is, the stereoscopic image converting apparatus performs an FFT on the input image and converts the image into a frequency image. Then, the stereoscopic image conversion apparatus obtains a representative value by summing pixel values belonging to a high frequency region in the frequency image, and obtains an average value of depth values corresponding to a block region that matches the region where the representative value is obtained in the initial depth map. Then, the 3D image conversion apparatus obtains a correlation value using Equation 1 using the obtained representative value and the average value.
그런 후, 상기 입체 영상 변환 장치는 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다. Thereafter, the stereoscopic image conversion apparatus determines a final depth map based on the correlation value.
상기 S606의 수행 후 상기 입체 영상 변환 장치는 상기 결정된 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환한다(S608).After performing S606, the stereoscopic image conversion apparatus converts the input image into a 3D stereoscopic image using the determined final depth map (S608).
도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도이다.7 is a flowchart illustrating a method of generating a depth map by a depth map generating apparatus according to the present invention.
도 7을 참조하면, 깊이 맵 생성 장치는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S702). 즉, 상기 깊이 맵 생성 장치는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등의 특성정보를 추출한다. 그런 다음 상기 깊이 맵 생성 장치는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. Referring to FIG. 7, the depth map generating apparatus extracts at least one characteristic information of an input image, and generates an initial depth map of the input image based on the extracted characteristic information (S702). That is, the depth map generator extracts characteristic information such as edge information, color information, luminance information, motion information, histogram information, and the like. Then, the depth map generating apparatus divides a plurality of pixels constituting the input image into at least one block, and then sets an initial depth value for the at least one block to initialize the depth map. Create a depth map.
상기 S702의 수행 후, 상기 깊이 맵 생성 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다(S704).After performing the operation S702, the depth map generating apparatus performs an FFT on the input image and converts the frequency image into a frequency image (S704).
상기 S704의 수행 후, 상기 깊이 맵 생성 장치는 상기 변환된 주파수 영상이 전제 조건을 만족하는 영상인지의 여부를 판단한다(S706). 여기서, 상기 전제조건은 전제조건2로서, 전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다. After performing S704, the depth map generator determines whether the converted frequency image is an image that satisfies a precondition (S706). In this case, the precondition is a precondition 2, and the precondition 2 is " usually, a clear portion in the image is often close in distance. &Quot;
상기 S706의 판단결과 상기 전제조건을 만족하는 영상인 경우, 상기 깊이 맵 생성 장치는 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구한다(S708). 상기 상관 관계값을 구하는 방법에 대한 상세한 설명은 도 2를 참조하기로 한다. If the determination result of the step S706 is an image satisfying the precondition, the depth map generator obtains a correlation value using the representative value of the frequency image and the average value of the initial depth map (S708). A detailed description of the method for obtaining the correlation value will be given with reference to FIG. 2.
상기 S708의 수행 후, 상기 깊이 맵 생성 장치는 상기 구해진 상관 관계값이 미리 정해진 임계치 이상인지의 여부를 판단한다(S710).After performing S708, the depth map generator determines whether the obtained correlation value is greater than or equal to a predetermined threshold value (S710).
상기 S710의 판단결과 임계치 이상인 경우, 상기 깊이 맵 생성장치는 상기 초기 깊이 맵을 최종 깊이 맵으로 결정한다(S712).When the determination result of S710 is greater than or equal to a threshold, the depth map generator determines the initial depth map as a final depth map (S712).
만약, 상기 S710의 판단결과 상기 상관 관계값이 임계치 이상이 아니면, 상기 깊이 맵 생성 장치는 상기 초기 깊이 맵의 깊이 값들을 반전시키고(S714), 상기 반전된 깊이 값들로 구성된 깊이 맵을 최종 깊이 맵으로 결정한다(S716).If the correlation value is not greater than or equal to a threshold as a result of the determination in S710, the depth map generator inverts depth values of the initial depth map (S714), and converts a depth map including the inverted depth values into a final depth map. Determine (S716).
본 발명에 있어서 깊이 맵 생성 장치나 입체 영상 변환 장치에 포함되어 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응해야 하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다. In the present invention, a computer program (also known as a program, software, software application, script, or code) included in a depth map generating device or a stereoscopic image conversion device and executing a method according to the present invention is a compiled or interpreted language or a priori. Or written in any form of programming language, including procedural languages, and may be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in a file system. A program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document). The computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs. The processor and memory can be supplemented by or integrated with special purpose logic circuitry.
본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시된 구조 및 그 구조적인 등가물을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. Implementations of the functional operations and subject matter described herein may be implemented in digital electronic circuitry, in computer software, firmware, or hardware including the structures and structural equivalents disclosed herein, or in a combination of one or more of these. Can be. Implementations of the subject matter described in this specification are one or more modules relating to computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of one or more computer program products, ie data processing apparatuses. It can be implemented as.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It can be implemented in a computing system that includes a front end component such as a client computer having an interface or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although the specification includes numerous specific implementation details, these should not be construed as limiting to any invention or the scope of the claims, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It must be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination Or a combination of subcombinations.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. Moreover, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
본 발명은 자동 입체 영상 변환 시 영상처리를 통해 영상의 전체적인 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 적용될 수 있다.The present invention can objectively detect and correct errors in the overall depth map of an image through image processing during automatic stereoscopic image conversion, and convert the 2D image into a 3D image by using the corrected depth map. The present invention can be applied to a depth map generating apparatus and method and a stereoscopic image converting apparatus and method using the same.

Claims (15)

  1. 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부;A feature information extractor configured to extract at least one feature information of the input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부;A depth map initialization unit generating an initial depth map of the input image based on the characteristic information;
    상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환하는 FFT 변환부; 및An FFT transform unit performing a fast fourier transform (FFT) on the input image to convert the image into a frequency image; And
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 결정부;A depth map determination unit obtaining a correlation value by using a representative value of the frequency image and an average value of the initial depth map, and determining a final depth map based on the correlation value;
    를 포함하는 깊이 맵 생성 장치.Depth map generation device comprising a.
  2. 제1항에 있어서, The method of claim 1,
    상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출하는 것을 특징으로 하는 깊이 맵 생성 장치.The feature information extractor extracts feature information including at least one of edge information, color information, luminance information, motion information, and histogram information. Map generator.
  3. 제1항에 있어서, The method of claim 1,
    상기 깊이 맵 초기화부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이(initial depth) 값을 설정하여 초기 깊이 맵(depth map)을 생성하는 것을 특징으로 하는 깊이 맵 생성 장치.The depth map initializer divides a plurality of pixels constituting the input image into at least one block, and then sets an initial depth value for the at least one block. Depth map generation device characterized in that for generating a depth map).
  4. 제1항에 있어서, The method of claim 1,
    상기 깊이 맵 결정부는 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구한 후, 상기 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 것을 특징으로 하는 깊이 맵 생성 장치.The depth map determiner obtains a representative value by summing pixel values corresponding to a high frequency region in the frequency image, and obtains an average value of depth values corresponding to a block region corresponding to the region obtained from the initial depth map. And a correlation value is calculated using the representative value and the average value.
  5. 제4항에 있어서The method of claim 4
    상기 깊이 맵 결정부는 하기의 수학식을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구하는 것을 특징으로 하는 깊이 맵 생성 장치.The depth map determination unit obtains a correlation value (CRV (Co-Relation Value)) using the following equation.
    [수학식][Equation]
    CRV = Σ (FFT(n) * Depth(n))CRV = Σ (FFT (n) * Depth (n))
    여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값, n은 각 블록(block)의 인덱스를 의미함.Here, the FFT (n) is a representative value representing the block sharpness of the frequency image, the Depth (n) is the average value of the initial depth map corresponding to the block area that matches the block area of the FFT (n), n is each The index of a block.
  6. 제1항에 있어서, The method of claim 1,
    상기 깊이 맵 결정부는 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 하는 깊이 맵 생성 장치.The depth map determiner determines the initial depth map as a final depth map when the correlation value is greater than or equal to a predetermined threshold value, and inverts the depth values of the initial depth map when the correlation value is not greater than the threshold value to determine the inverted depth map. Depth map generation device characterized in that for determining the final depth map.
  7. 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부;An image analyzer extracting at least one characteristic information by analyzing a two-dimensional input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 설정부; 및After generating an initial depth map of the input image based on the characteristic information, performing an FFT on the input image, converting the image into a frequency image, and using a representative value of the frequency image and an average value of the initial depth map. A depth map setting unit obtaining a correlation value and determining a final depth map based on the correlation value; And
    상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 입체 영상 생성부; A stereoscopic image generator for converting the input image into a three-dimensional stereoscopic image using the final depth map;
    를 포함하는 입체 영상 변환 장치.Stereoscopic image conversion device comprising a.
  8. 제7항에 있어서, The method of claim 7, wherein
    상기 깊이 맵 설정부는, The depth map setting unit,
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부;A depth map initialization unit generating an initial depth map of the input image based on the characteristic information;
    상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부; 및An FFT converter which performs an FFT on the input image and converts the frequency image into a frequency image; And
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함하는 것을 특징으로 하는 입체 영상 변환 장치.And a depth map determiner which obtains a correlation value by using the representative value of the frequency image and the average value of the initial depth map, and determines a final depth map based on the correlation value.
  9. 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법에 있어서, In the depth map generating apparatus generates a depth map,
    입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계;Extracting at least one characteristic information with respect to the input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;Generating an initial depth map of the input image based on the characteristic information;
    상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;Performing an FFT on the input image and converting the same to a frequency image;
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계; 및Obtaining a correlation value using an average value of the representative value of the frequency image and the initial depth map; And
    상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계;Determining a final depth map based on the correlation value;
    를 포함하는 깊이 맵 생성 방법.Depth map generation method comprising a.
  10. 제9항에 있어서, The method of claim 9,
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계는, Obtaining a correlation value by using the representative value of the frequency image and the average value of the initial depth map,
    상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계;Obtaining a representative value by summing pixel values corresponding to a high frequency region in the frequency image;
    상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계; 및Obtaining an average value of depth values corresponding to a block area corresponding to the area from which the representative value is obtained in the initial depth map; And
    상기 구해진 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 생성 방법.And obtaining a correlation value using the obtained representative value and the average value.
  11. 제9항에 있어서, The method of claim 9,
    상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계는, Determining a final depth map based on the correlation value,
    상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 하는 깊이 맵 생성 방법.If the correlation value is greater than or equal to a predetermined threshold value, the initial depth map is determined as the final depth map. If the correlation value is not greater than the threshold value, the depth values of the initial depth map are inverted to determine the inverted depth map as the final depth map. Depth map generation method characterized in that.
  12. 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계;Extracting at least one characteristic information with respect to the input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;Generating an initial depth map of the input image based on the characteristic information;
    상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;Performing an FFT on the input image and converting the same to a frequency image;
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계;Obtaining a correlation value using an average value of the representative value of the frequency image and the initial depth map;
    상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.And determining a final depth map based on the correlation value. The recording medium may be recorded by a program and read by an electronic device.
  13. 입체 영상 변환 장치가 자동으로 입체 영상을 변환하는 방법에 있어서, In the stereoscopic image conversion apparatus automatically converts a stereoscopic image,
    입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;Extracting at least one characteristic information by analyzing the input two-dimensional input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계; 및Generating an initial depth map of the input image based on the characteristic information, and determining a final depth map by checking whether the initial depth map is valid; And
    상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계;Converting the input image into a three-dimensional stereoscopic image using the final depth map;
    를 포함하는 입체 영상 변환 방법.Stereoscopic image conversion method comprising a.
  14. 제13항에 있어서, The method of claim 13,
    상기 최종 깊이 맵을 결정하는 단계는, Determining the final depth map,
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;Generating an initial depth map of the input image based on the characteristic information;
    상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;Performing an FFT on the input image and converting the same to a frequency image;
    상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계;Obtaining a representative value by summing pixel values corresponding to a high frequency region in the frequency image;
    상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계; Obtaining an average value of depth values corresponding to a block area corresponding to the area from which the representative value is obtained in the initial depth map;
    상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계; 및Obtaining a correlation value using an average value of the representative value of the frequency image and the initial depth map; And
    상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 단계를 포함하는 것을 특징으로 하는 입체 영상 변환 방법.If the correlation value is greater than or equal to a predetermined threshold value, the initial depth map is determined as the final depth map. If the correlation value is not greater than the threshold value, the depth values of the initial depth map are inverted to determine the inverted depth map as the final depth map. Stereoscopic image conversion method comprising the step of performing.
  15. 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;Extracting at least one characteristic information by analyzing the input two-dimensional input image;
    상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계; 및Generating an initial depth map of the input image based on the characteristic information, and determining a final depth map by checking whether the initial depth map is valid; And
    상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.And converting the input image into a three-dimensional stereoscopic image using the final depth map, wherein the stereoscopic image conversion method is recorded by a program and can be read by an electronic device.
PCT/KR2012/003347 2011-11-24 2012-04-30 Device and method for depth map generation and device and method using same for 3d image conversion WO2013077508A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2011-0123374 2011-11-24
KR1020110123374A KR101660808B1 (en) 2011-11-24 2011-11-24 Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that

Publications (1)

Publication Number Publication Date
WO2013077508A1 true WO2013077508A1 (en) 2013-05-30

Family

ID=48469924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003347 WO2013077508A1 (en) 2011-11-24 2012-04-30 Device and method for depth map generation and device and method using same for 3d image conversion

Country Status (2)

Country Link
KR (1) KR101660808B1 (en)
WO (1) WO2013077508A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160095515A (en) * 2015-02-03 2016-08-11 연세대학교 산학협력단 3 dimensional optical measurement of defect distribution

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076338B (en) 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 Image visual processing method, device and equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100019804A (en) * 2008-08-11 2010-02-19 한국전자통신연구원 Stereo vision system and control method thereof
KR20100062360A (en) * 2008-12-02 2010-06-10 삼성전자주식회사 Device and method for depth estimation
KR20100064196A (en) * 2008-12-04 2010-06-14 삼성전자주식회사 Method and appratus for estimating depth, and method and apparatus for converting 2d video to 3d video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873638B1 (en) * 2007-01-16 2008-12-12 삼성전자주식회사 Image processing method and apparatus
KR20100008677A (en) 2008-07-16 2010-01-26 광주과학기술원 Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100019804A (en) * 2008-08-11 2010-02-19 한국전자통신연구원 Stereo vision system and control method thereof
KR20100062360A (en) * 2008-12-02 2010-06-10 삼성전자주식회사 Device and method for depth estimation
KR20100064196A (en) * 2008-12-04 2010-06-14 삼성전자주식회사 Method and appratus for estimating depth, and method and apparatus for converting 2d video to 3d video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160095515A (en) * 2015-02-03 2016-08-11 연세대학교 산학협력단 3 dimensional optical measurement of defect distribution
KR101700109B1 (en) * 2015-02-03 2017-02-13 연세대학교 산학협력단 3 dimensional optical measurement of defect distribution

Also Published As

Publication number Publication date
KR20130057586A (en) 2013-06-03
KR101660808B1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
WO2016068560A1 (en) Translucent mark, method for synthesis and detection of translucent mark, transparent mark, and method for synthesis and detection of transparent mark
WO2012064010A1 (en) Image conversion apparatus and display apparatus and methods using the same
WO2013039347A9 (en) Image processing apparatus and image processing method thereof
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2013081435A1 (en) 3d image display device and method
US20110293170A1 (en) Image processing apparatus and mathod
WO2017204596A1 (en) Facial contour correcting method and device
WO2016094081A1 (en) Method, apparatus and medium for synchronisation of colour and depth videos
WO2014069822A1 (en) Apparatus and method for face recognition
US20080158340A1 (en) Video chat apparatus and method
KR20090120492A (en) System and method for combining text with three-dimensional content
WO2013118955A1 (en) Apparatus and method for depth map correction, and apparatus and method for stereoscopic image conversion using same
US20130069934A1 (en) System and Method of Rendering Stereoscopic Images
WO2016163755A1 (en) Quality measurement-based face recognition method and apparatus
WO2013120308A1 (en) Three dimensions display method and system
WO2014035103A1 (en) Apparatus and method for monitoring object from captured image
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
KR20160086802A (en) Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that
WO2013077508A1 (en) Device and method for depth map generation and device and method using same for 3d image conversion
WO2018225932A1 (en) Systems and methods for stereo content detection
JP6516646B2 (en) Identification apparatus for identifying individual objects from images taken by a plurality of cameras, identification method and program
WO2012074294A2 (en) Image processing device using an energy value, and image processing method and display method thereof
Gurbuz et al. Color calibration for multi-camera imaging systems
WO2019098421A1 (en) Object reconstruction device using motion information and object reconstruction method using same
WO2015093682A1 (en) Method for determining degree of content immersion of individual audience member

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12852318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12852318

Country of ref document: EP

Kind code of ref document: A1