KR101720161B1

KR101720161B1 - Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that

Info

Publication number: KR101720161B1
Application number: KR1020160087455A
Authority: KR
Inventors: 우대식; 김종대; 박재범; 전병기; 정원석
Original assignee: 에스케이플래닛 주식회사; 시모스 미디어텍(주)
Priority date: 2016-07-11
Filing date: 2016-07-11
Publication date: 2017-03-27
Also published as: KR20160086802A

Abstract

본 발명은 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 결정부를 포함한다. 하는 깊이 맵 생성 장치가 제공된다
본 발명에 따르면, 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있다. The present invention relates to a depth map generating apparatus and method, and a stereoscopic image converting apparatus and method using the apparatus and method. More particularly, the present invention relates to a depth information generating apparatus and method, A depth map initialization unit for generating an initial depth map, an FFT transform unit for performing an FFT on the input image to convert the input image into a frequency image, a correlation value using a representative value of the frequency image and an average value of the initial depth map, And a depth map determining unit for determining a final depth map based on the correlation value. A depth map generating device is provided
According to the present invention, it is possible to correct an error of a depth map for a stereoscopic expression generated in an automatic stereoscopic conversion process of a video object.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a depth map generating apparatus and method, and a stereoscopic image converting apparatus and method using the apparatus and method.

본 발명은 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하며, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것이다.More particularly, the present invention relates to a depth map generating apparatus and method, and a stereoscopic image converting apparatus and method using the depth map generating apparatus and method. More particularly, the present invention relates to a depth map generating apparatus and method, And generating an initial depth map; performing an FFT (Fast Fourier Transform) on the input image to convert the input image into a frequency image; obtaining a correlation value using a representative value of the frequency image and an average value of the initial depth map; A depth map generating apparatus and method for determining a final depth map based on the correlation value, and a stereoscopic image converting apparatus and method using the same.

최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.Recently, interest in stereoscopic images has been amplified, and research on 3D images has been actively conducted.

일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.Generally, it is known that humans feel the most stereoscopic effect due to the parallax between the eyes. Therefore, the 3D image can be implemented using these characteristics of the human being. For example, a specific subject is distinguished from a left eye image viewed through the left eye of the viewer and a right eye image viewed through the right eye of the viewer, and the left eye image and the right eye image are displayed at the same time, Can be seen. As a result, the 3D image can be realized by producing a binocular image divided into a left eye image and a right eye image, and displaying the binocular image.

깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.In order to convert a monocular 2D image without depth information into a 3D image, it is necessary to render the 2D image by adding depth information.

일반적으로 입체변환은 수동방식과 자동방식으로 구분된다. 수동방식은 글자 그대로 모든 영상물에 대해 사람의 주관적인 판단에 따라서 영상을 보면서 깊이맵을 만드는 것이다. 이 과정은 영상물을 보면서 영상물의 세세한 부분까지도 깊이맵을 예상할 수 있는 사람의 주관적인 판단에 근거한다. 따라서 각각의 영상물에 대해 사람이 직접 깊이맵을 제작하게 되어, 실제로 깊이맵의 오류는 매우 작다. 그러나, 매 영상물마다 직접 사람이 개입하여 영상물의 깊이맵을 작성하기 때문에 많은 시간과 노력이 필요하다. In general, stereo conversion is divided into a manual mode and an automatic mode. The manual method is to create a depth map by watching the video according to the subjective judgment of the person about all the video literally. This process is based on the subjective judgment of a person who is able to predict the depth map even to the detail of the video while watching the video. Therefore, a person manually creates a depth map for each video object, and the error of the depth map is actually very small. However, much time and effort are required because each person directly intervenes to create a depth map of the video.

자동 입체 변환은 영상의 특징을 분석하여 적절한 깊이맵을 추출하고 이를 이용하여 좌, 우의 입체 영상을 생성하는 것을 의미한다. 이 과정에서 영상물 자체는 깊이 맵에 대한 정보가 없기 때문에 영상의 외곽(Edge) 특성, 색상, 밝기 특성, 소실점 특성과 같은 통상적인 영상 특징 등을 활용하여 깊이맵을 생성하게 된다. 그러나 이런 특징들은 영상물 자체가 가지는 영상의 입체 특성과 일치하지 않는 경우가 많기 때문에 입체의 효과가 크지 않다.Auto-stereoscopic conversion means extracting an appropriate depth map by analyzing the characteristics of an image and generating left and right stereoscopic images using the extracted depth map. In this process, since the video object itself does not have information on the depth map, the depth map is generated by using conventional image features such as edge characteristics, color, brightness characteristics, and vanishing point characteristics of the image. However, these features do not coincide with the stereoscopic characteristics of the image of the video itself, so the stereoscopic effect is not significant.

그리고, 하나의 영상물 안에는 다양한 형태의 영상내용이 포함되는데 각각의 영상물의 내용에 대해서 영상처리를 통해 깊이 맵을 추출하는 것은 사실상 불가능하고, 영상 처리를 통해 얻은 깊이 맵 역시 많은 오류를 포함하고 있다. In addition, it is impossible to extract the depth map through the image processing for each video content, and the depth map obtained through the image processing also contains many errors.

이러한 영상 처리를 통해 얻은 깊이 맵의 오류는 크게 2가지 형태로 나누어 볼 수 있다.The error of the depth map obtained through this image processing can be roughly divided into two types.

하나는 영상물의 부분 영역에서의 깊이 맵의 오류 또는 역전 현상 및 이들의 조합이며, 또 하나는 영상물 전체적인 깊이 맵의 오류 또는 역전 현상이다. 물론 이런 깊이 맵의 오류는 영상처리와 같은 기술적인 방법으로 구분하는 것조차 쉽지는 않다. One is the error or inversion phenomenon of the depth map in the partial region of the video and its combination, and the other is the error or reversal phenomenon of the depth map of the video object. Of course, such depth map errors are not easy to distinguish by technical means such as image processing.

따라서, 영상물만을 가지고 자동으로 객관적인 관점에서 깊이 맵의 오류를 검출할 수 있는 기술이 필요하다. Therefore, there is a need for a technique that can automatically detect errors in the depth map from an objective point of view only with video objects.

국내공개특허 제2010-0008677호(2010.01.26), 발명의 명칭: 깊이 맵 추정 자치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법Korean Patent Application No. 2010-0008677 (2010.01.26), Title of the invention: depth map autonomic method and method, intermediate image generation method using the same, and encoding method of multi-view video

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.It is an object of the present invention to provide a depth map generating apparatus capable of correcting an error of a depth map for a stereoscopic representation generated in an automatic stereoscopic conversion process of a video object, And a stereoscopic image converting apparatus and method using the same.

본 발명의 다른 목적은 자동 입체 영상 변환 시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다. It is another object of the present invention to provide a depth map generating apparatus and method capable of objectively detecting and correcting an error of a depth map of an image generated through image processing in an automatic stereoscopic image conversion, and a stereoscopic image converting apparatus and method using the same have.

본 발명의 또 다른 목적은 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다. It is still another object of the present invention to provide a depth map generating apparatus and method capable of correcting an error of a depth map, converting a two-dimensional image into a three-dimensional image using the corrected depth map, And a stereoscopic image converting apparatus and method using the same.

본 발명의 일 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함하는 깊이 맵 생성 장치가 제공된다. According to an aspect of the present invention, there is provided an image processing apparatus including a characteristic information extracting unit for extracting at least one characteristic information for an input image, a depth map initializing unit for generating an initial depth map for the input image based on the characteristic information, (FFT) unit for performing FFT (Fast Fourier Transform) on the frequency image to convert the frequency image into a frequency image, a correlation value is obtained using a representative value of the frequency image and an average value of the initial depth map, There is provided a depth map generating apparatus including a depth map determining section for determining a depth map.

상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다. The characteristic information extracting unit extracts characteristic information including at least one of edge information, color information, luminance information, motion information, and histogram information.

상기 깊이 맵 초기화부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. The depth map initialization unit divides a plurality of pixels constituting the input image into at least one block, sets an initial depth for the at least one block, depth map.

상기 깊이 맵 결정부는 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구한 후, 상기 대표값과 상기 평균값을 이용하여 상관관계 값을 구한다. Wherein the depth map determining unit obtains a representative value by summing pixel values corresponding to a high frequency region in the frequency image and obtains an average value of depth values corresponding to a block region coinciding with the representative value obtained from the initial depth map, A correlation value is obtained using the representative value and the average value.

상기 깊이 맵 결정부는 하기의 수학식을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다. The depth map determining unit obtains a correlation value (CRV (Co-Relation Value)) using the following equation.

[수학식][Mathematical Expression]

CRV = Σ (FFT(n) * Depth(n))CRV =? (FFT (n) * Depth (n))

여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값이고, n은 각 블록(block)의 인덱스를 의미함.Here, the FFT (n) is a representative value representing the block sharpness of the frequency image, the Depth (n) is an average value of the initial depth map corresponding to the block region coinciding with the block region of the FFT (n) Is the index of each block.

또한, 상기 깊이 맵 결정부는 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다. The depth map determining unit may determine the initial depth map as a final depth map when the correlation value is equal to or greater than a predetermined threshold and inverts the depth values of the initial depth map when the correlation value is not greater than the threshold, The map is determined as the final depth map.

본 발명의 다른 측면에 따르면, 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 설정부, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 입체 영상 생성부를 포함하는 입체 영상 변환 장치가 제공된다. According to another aspect of the present invention, there is provided an image processing apparatus including an image analysis unit for analyzing a two-dimensional input image to extract at least one characteristic information, an initial depth map for the input image based on the characteristic information, A depth map setting unit for obtaining a correlation value using a representative value of the frequency image and an average value of the initial depth map and determining a final depth map based on the correlation value, And a stereoscopic image generation unit for converting the input image into a three-dimensional stereoscopic image using the final depth map.

상기 깊이 맵 설정부는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함한다. The depth map setting unit includes a depth map initialization unit for generating an initial depth map for the input image based on the characteristic information, an FFT transform unit for performing FFT on the input image to convert the input image into a frequency image, And a depth map determining unit for determining a final depth map based on the correlation value by using a representative value and an average value of the initial depth map.

본 발명의 또 다른 측면에 따르면, 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법에 있어서, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 제공된다. According to another aspect of the present invention, there is provided a depth map generating apparatus for generating a depth map, comprising: extracting at least one characteristic information for an input image; Calculating a correlation value using a representative value of the frequency image and an average value of the initial depth map, calculating a correlation value using the average value of the initial depth map, And determining a final depth map based on the depth map.

상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계는, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 구해진 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 단계를 포함한다.Wherein the step of obtaining a correlation value using a representative value of the frequency image and an average value of the initial depth map comprises: obtaining a representative value by summing pixel values corresponding to a high frequency region in the frequency image; Obtaining a mean value of depth values corresponding to a block region coinciding with a region obtained by calculating a correlation value using the obtained representative value and the average value;

상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계는, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 한다. Wherein the determining of the final depth map based on the correlation value comprises determining the initial depth map as a final depth map if the correlation value is greater than or equal to a predetermined threshold, The depth values are reversed and the inverted depth map is determined as the final depth map.

본 발명의 또 다른 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to another aspect of the present invention, there is provided an image processing method including the steps of: extracting at least one characteristic information for an input image; generating an initial depth map for the input image based on the characteristic information; Determining a final depth map based on the correlation value; and generating a depth map based on the correlation value, wherein the depth map includes at least one of: A creation method is recorded by a program, and a recording medium readable by an electronic apparatus is provided.

본 발명의 또 다른 측면에 따르면, 입체 영상 변환 장치가 자동으로 입체 영상을 변환하는 방법에 있어서, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 제공된다. According to another aspect of the present invention, there is provided a method of automatically converting a stereoscopic image by a stereoscopic image conversion apparatus, comprising: extracting at least one characteristic information by analyzing an input two- Generating an initial depth map for the input image, determining whether the initial depth map is valid and determining a final depth map, and converting the input image into a three-dimensional image using the final depth map A stereoscopic image conversion method is provided.

상기 최종 깊이 맵을 결정하는 단계는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 단계를 포함한다.The step of determining the final depth map may include generating an initial depth map for the input image based on the characteristic information, transforming the input image into a frequency image by performing an FFT on the input image, Obtaining a representative value by summing pixel values corresponding to a region of the frequency image, obtaining an average value of depth values corresponding to a block region coinciding with the region in which the representative value is obtained in the initial depth map, Determining an initial depth map as a final depth map if the correlation value is equal to or greater than a predetermined threshold value and determining a depth value of the initial depth map as a final depth map if the correlation value is not greater than the threshold value, And determining the inverted depth map as a final depth map.

본 발명의 또 다른 측면에 따르면, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to another aspect of the present invention, there is provided an image processing method including extracting at least one characteristic information by analyzing an input two-dimensional input image, generating an initial depth map for the input image based on the characteristic information, Determining a final depth map by inspecting the validity of the map, and converting the input image into a three-dimensional image using the final depth map, the method comprising: A readable recording medium is provided.

본 발명의 또 다른 측면에 따르면, 주파수 영상의 대표값과 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 깊이 맵 결정부를 포함하는 깊이 맵 생성장치가 제공된다.According to another aspect of the present invention, a correlation value is obtained using a representative value of a frequency image and an average value of an initial depth map, and when the correlation value is equal to or greater than a predetermined threshold value, the initial depth map is determined as a final depth map And a depth map determiner for inverting depth values of the initial depth map and determining the inverted depth map as a final depth map when the depth map is not equal to or greater than the threshold value.

따라서 본 발명에 따르면, 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있다. Therefore, according to the present invention, it is possible to correct an error of a depth map for a stereoscopic expression generated in an automatic stereoscopic conversion process of a video object.

또한, 자동 입체 영상 변환시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있다.In addition, it is possible to objectively detect and correct an error of a depth map of an image generated through an image processing in an automatic stereoscopic image conversion.

또한, 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있다. In addition, the error of the depth map can be corrected, and a two-dimensional image can be converted into a three-dimensional image using the corrected depth map, thereby minimizing errors in image conversion.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도.
도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도.
도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도.
도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도.
도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면.
도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도.1 is a block diagram showing a configuration of a stereoscopic image conversion apparatus according to the present invention.
2 is a block diagram schematically showing the configuration of a depth map generating apparatus according to the present invention.
3 is an exemplary view for explaining a difference between an initial depth map and a final depth map when an input image according to the present invention is converted into a three-dimensional image.
4 is a diagram illustrating an image of an FFT high-frequency component according to the present invention.
5 is an exemplary block diagram of an 8x8 block according to the present invention expressed in a frequency domain through an FFT;
6 is a diagram illustrating a method of converting a two-dimensional input image into a three-dimensional image by a three-dimensional image conversion apparatus according to the present invention.
FIG. 7 is a flowchart illustrating a method of generating a depth map by a depth map generating apparatus according to the present invention. FIG.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description with reference to the accompanying drawings, the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted.

이하에서는 아래의 2가지 전제조건을 만족하는 영상물에 대해서 입체를 표현하는 깊이 맵을 생성하고 보정하고자 한다.Hereinafter, a depth map expressing a three-dimensional object is created and corrected for a video object satisfying the following two precondition conditions.

전제조건1은 "통상적으로 밝은 색상이나 밝기가 강한 것은 거리가 가까운 경우가 많다"이다. 예를 들면, 많이 보는 사진중에 산이 멀리 있을수록 가까이 있는 산과 비교하면 색상이 무채색으로 변환되어 보인다. 또는 밝고 강한 색상의 물체가 멀어지면 멀어질수록 색상의 채도가 약해진다. 이와 같은 특징은 사람의 시각특성도 있지만 이를 촬상하는 카메라의 특징이기도 하다. Prerequisite 1 is "usually a bright color or a strong brightness is often close to the distance". For example, the farther a mountain is, the more likely it is that the color is converted to an achromatic color compared to a nearby mountain. Or, the farther away a bright, strong-colored object is, the less saturated the color will be. This characteristic is also a feature of a camera that captures a person's visual characteristics.

전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다. 예를 들면, 똑같은 물체가 가까이 있을 때와 멀리 있을 때 물체의 선명도가 다르며 이것은 시각적으로 또는 촬영하는 카메라의 해상도의 한계 때문에 발생한다.The precondition 2 is that "usually, a clear part in an image is close in distance ". For example, when the same object is close and when it is far away, the sharpness of the object is different. This occurs visually or because of the limitations of the camera's resolution.

본 발명은 상기와 같은 2가지 특성을 활용하여 입체의 변환 및 이를 보정하고자 한다. 전제조건1은 입체를 변환하기 위한 조건이며, 전제조건2는 이를 보정하기 위한 수단이 된다. 즉 영상물의 색상, 밝기정보를 가지고 깊이 맵을 추출하고 이러한 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 깊이 맵의 오류를 검출하고 이를 보정한다.The present invention utilizes the above-mentioned two characteristics to transform a three-dimensional object and correct it. The precondition 1 is a condition for converting a solid, and the precondition 2 is a means for correcting the condition. In other words, the depth map is extracted with the color and brightness information of the video object, and the depth map is error-detected and corrected by objectively verifying whether the depth map is partially or totally valid.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도이다. 1 is a block diagram showing a configuration of a stereoscopic image conversion apparatus according to the present invention.

도 1을 참조하면, 입체 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 설정부(120), 입체 영상 생성부(130)를 포함한다. Referring to FIG. 1, a stereoscopic image conversion apparatus 100 includes an image analysis unit 110, a depth map setting unit 120, and a stereoscopic image generation unit 130.

상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.The image analyzer 110 analyzes the two-dimensional input image and extracts at least one characteristic information. The characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.

상기 깊이 맵 설정부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다.The depth map setting unit 120 generates an initial depth map for the input image based on the feature information extracted by the image analysis unit 110 and performs Fast Fourier Transform (FFT) on the input image Frequency image, a correlation value is obtained using a representative value of the frequency image and an average value of the initial depth map, and a final depth map is determined based on the correlation value.

상기 깊이 맵 설정부(120)에 대한 상세한 설명은 도 2를 참조하여 설명하기로 한다. The depth map setting unit 120 will be described in detail with reference to FIG.

상기 입체 영상 생성부(130)는 상기 깊이 맵 설정부(120)에서 결정된 최종 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 입체 영상 생성부(130)는 상기 최종 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.The stereoscopic image generator 130 converts the two-dimensional input image into a three-dimensional stereoscopic image using the final depth map determined by the depth map setting unit 120. For example, the stereoscopic image generating unit 130 may generate parallax information using the final depth map, and may generate a three-dimensional stereoscopic image using the parallax information. The three-dimensional stereoscopic images generated in this way appear more stereoscopic as the depth values for each pixel in each frame vary.

여기에서는 입체 영상 생성부(130)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 입체 영상 생성부(130)가 최종 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다. Here, the stereoscopic image generation unit 130 converts the two-dimensional image into the three-dimensional image using the parallax information. However, the stereoscopic image generation unit 130 may generate the input image using the final depth map The method of converting into a stereoscopic image follows various conventional methods.

상기와 같이 구성된 입체 영상 변환 장치(100)는 입력 영상의 특성 정보를 바탕으로 입력 영상에 대한 깊이 값을 설정함으로써, 2D의 입력 영상을 3D 영상(Stereoscopic Video)으로 변환할 수 있다.The stereoscopic image conversion apparatus 100 configured as described above can convert a 2D input image into a stereoscopic video by setting a depth value of the input image based on characteristic information of the input image.

도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도, 도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도, 도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도이다.FIG. 2 is a block diagram schematically showing a configuration of a depth map generating apparatus according to the present invention. FIG. 3 is a diagram illustrating a difference between an initial depth map and a final depth map when converting an input image according to the present invention into a three- FIG. 4 is a diagram illustrating an image of an FFT high-frequency component according to the present invention, and FIG. 5 is an exemplary view of a block representing an 8 × 8 block according to the present invention in a frequency domain through an FFT.

*도 1에서는 깊이 맵 설정부로 하여 설명하였으나, 도 2에서는 깊이 맵 생성 장치(200)로 하여 설명하기로 한다. Although FIG. 1 illustrates the depth map setting unit, the depth map generating unit 200 will be described with reference to FIG.

도 2를 참조하면, 깊이 맵 생성 장치(200)는 특성 정보 추출부(210), 깊이 맵 초기화부(220), FFT(Fast Fourier Transform) 변환부(230), 깊이 맵 결정부(240)를 포함한다. 2, the depth map generating apparatus 200 includes a feature information extracting unit 210, a depth map initializing unit 220, a fast Fourier transform (FFT) converting unit 230, and a depth map determining unit 240 .

상기 특성 정보 추출부(210)는 입력 영상에 대해 적어도 하나의 특성 정보를 추출한다. 여기서, 상기 입력 영상은 단안(monocular) 영상이 될 수 있다.The characteristic information extracting unit 210 extracts at least one characteristic information for the input image. Here, the input image may be a monocular image.

상기 특성 정보 추출부(210)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.The characteristic information extracted by the characteristic information extracting unit 210 may be edge information, color information, luminance information, motion information, or histogram information.

상기 특성 정보 추출부(210)는 깊이 맵 생성을 위해 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특성 정보를 추출한다. The characteristic information extracting unit 210 extracts characteristic information in an image through various analysis methods on a pixel or block basis to collect basic information for depth map generation.

상기 깊이 맵 초기화부(220)는 상기 특성 정보 추출부(210)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다.The depth map initialization unit 220 generates an initial depth map for the input image based on the characteristic information extracted by the characteristic information extraction unit 210.

즉, 상기 깊이 맵 초기화부(220)는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. That is, the depth map initialization unit 220 divides a plurality of pixels constituting the input image into at least one block, and then stores an initial depth value for the at least one block And creates an initial depth map.

상기 깊이 맵 초기화부(220)는 상기 추출된 특성정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 맵(depth map)을 생성한다. 즉, 깊이 맵 초기화부(220)는 2차원 영상에 대한 깊이 맵(depth map)으로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 맵은 2차원 영상에 대한 프레임당 각 픽셀의 깊이 값(depth value)들을 저장한 데이터 구조이다. The depth map initialization unit 220 generates a depth map for each frame of the two-dimensional image based on the extracted characteristic information. That is, the depth map initialization unit 220 extracts depth values for each pixel from each depth map of the two-dimensional image. Here, the depth map is a data structure storing depth values of each pixel per frame for a two-dimensional image.

상기 깊이 맵 초기화부(220)에서 생성된 초기 깊이 맵을 이용하여 입력 영상을 3차원의 입체 영상으로 변환한 예시를 도 3을 참조하여 설명하기로 한다. An example in which an input image is converted into a three-dimensional image using an initial depth map generated by the depth map initialization unit 220 will be described with reference to FIG.

도 3a의 영상을 살펴보면, 거미가 앞쪽에 있고 다음에는 꽃, 그리고 녹색의 배경이 있다. 따라서, 도 3a의 영상을 입체로 표현한다면 거미, 꽃, 배경과 같이 적절하게 3단계로 분리가 가능하여야 한다. 물론 더 세밀하게 표현이 가능하지만 설명을 위한 예로서 3단계로 구분하기로 한다. 이것은 주관적인 사람의 시각특성으로 이와 같이 분석이 가능하지만, 만약 이를 자동으로 영상처리를 통해서 분석하고자 한다면 전제조건1을 이용하여 가장 앞에 있을 것으로 판단되는 거미가 무채색이며 어둡기 때문에 가장 멀리 있는 것으로 깊이 맵이 표현이 될 것이다. Looking at the image of Figure 3a, the spider is at the front, followed by the flowers and the green background. Therefore, if the image of FIG. 3A is expressed in three-dimensional form, it should be able to be separated into three stages as appropriate, such as spider, flower, and background. Of course, it is possible to express more precisely, but as an example for explanation, it is divided into three stages. This can be done with subjective visual characteristics, but if you want to automatically analyze it through image processing, you can use the precondition 1 to determine the most distant spider is achromatic and dark, It will be an expression.

상기 전제 조건1에 따른 깊이 맵으로 도 3a의 영상을 입체 영상으로 변환한다면 도 3b와 같이 표현되어, 입체로 표현된 영상물은 정상적인 표현이 불가능하게 된다. If the image of FIG. 3A is converted into a stereoscopic image by the depth map according to the precondition 1, the stereoscopic image can not be expressed normally as shown in FIG. 3b.

그러나, 상기 깊이 맵 초기화부(220)에서 생성된 깊이 맵을 사진의 인화필름같이 역전시킨 필름 영상물 같이 바꾸어준다면 정상적인 깊이 맵의 형성이 가능하다.However, if the depth map generated in the depth map initialization unit 220 is changed to a film image reversed like a print film of a photograph, a normal depth map can be formed.

즉, 도 3b와 같이 생성된 초기 깊이 맵을 도 3c와 같은 깊이 맵으로 변환이 가능하다면 보다 오류가 적은 입체표현이 가능하다.That is, if the initial depth map generated as shown in FIG. 3B can be converted into a depth map as shown in FIG. 3C, a less error-free stereoscopic display is possible.

도 3c의 영상은 거미가 앞쪽에 있으므로 거미가 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현된다. 결과적으로 도 3c의 깊이 맵을 선택하면 오류를 개선시키면서 입체의 정상적인 표현이 가능하다. In the image of FIG. 3c, the spider is on the front side, so the spider is brightly expressed, then the flower region, and the background is darkened because there is almost no change in the background. As a result, if the depth map of FIG. 3C is selected, it is possible to normalize three-dimensional objects while improving errors.

따라서, 상기 깊이 맵 생성 장치(200)는 도 3a의 영상을 도 3b의 깊이 맵으로 선택하여 변환할지 또는 도 3c의 깊이 맵으로 선택하여 변환할지를 결정하여야 한다. Therefore, the depth map generation apparatus 200 should determine whether to convert the image of FIG. 3A into a depth map of FIG. 3B or to select a depth map of FIG. 3C and convert the image.

상기 깊이 맵 생성 장치(200)는 도 3b의 깊이 맵으로 선택하여 변환할지 또는 도 3c의 깊이 맵으로 선택하여 변환할지를 결정하기 위하여 상기 입력 영상을 FFT(Fast Fourier Transform) 변환을 수행하여 주파수 영상을 생성하고, 그 주파수 영상을 이용하여 최종 깊이 맵을 결정하게 된다. The depth map generator 200 performs an FFT (Fast Fourier Transform) transformation on the input image to determine whether to select the depth map of FIG. 3B or to convert the depth map of FIG. 3C into the depth map of FIG. And the final depth map is determined using the frequency image.

따라서, 상기 깊이 맵 생성 장치(200)는 FFT 변환부(230), 깊이 맵 결정부(240)를 포함한다. Accordingly, the depth map generator 200 includes an FFT transformer 230 and a depth map determiner 240.

상기 FFT 변환부(230)는 상기 입력 영상에 대해 FFT를 수행하여 상기 입력 영상을 주파수 영역의 주파수 영상으로 변환한다. 즉, 상기 FFT 변환부(230)는 공간상의 입력 영상을 주파수 영상으로 변환한다.The FFT transformer 230 performs an FFT on the input image to convert the input image into a frequency-domain frequency image. That is, the FFT transformer 230 transforms the input image in the space into the frequency image.

상기 FFT 변환부(230)가 FFT를 수행하여 입력 영상을 주파수 영상으로 변환한 영상에 대해 도 4를 참조하기로 한다. 도 4를 참조하면, 밝은 부분일수록 선명하거나 강한 외곽을 가지고 있다. 즉, 주파수 영역에서 고주파 영역, 즉 선명도나 강한 외각을 표현하는 부분을 밝은 색으로 표현하면 도 3a의 영상에서 거미의 외곽이 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현이 된다.Referring to FIG. 4, an image obtained by performing the FFT on the FFT transform unit 230 and transforming the input image into a frequency image will be referred to. Referring to FIG. 4, the bright part has a clear or strong outer edge. That is, if the high frequency region in the frequency domain, that is, the portion expressing the sharpness or the strong outer angle is expressed in bright color, the outer portion of the spider is brightly expressed in the image of FIG. 3A, It becomes dark.

도 4와 같은 영상표현은 FFT의 특성으로, 도 5의 (a)는 입력 영상에서 8x8 pixel의 임의 영역을 표현한 것이고 도 5의 (b)는 (a)를 FFT를 통해서 주파수 영역으로 표현한 것이다. FIG. 5A shows an arbitrary area of 8x8 pixels in the input image, and FIG. 5B shows the frequency domain of FIG. 5A through the FFT.

도 5의 (b)에서 A 영역은 저주파 대역을 말하고, B 영역은 고주파 대역을 말한다. 즉, B 영역은 고주파 성분으로, 영상이 선명하거나 강한 외곽을 가지고 있으면 B 영역의 값이 커지고, 단순할수록 A영역 윗부분의 값이 커지고 B 영역의 값은 상대적으로 작아지게 된다.In Fig. 5 (b), the A region refers to a low frequency band and the B region refers to a high frequency band. That is, the B region is a high frequency component. If the image has a clear or strong outer edge, the value of the B region becomes larger. The simpler the value of the A region becomes, the smaller the value of the B region becomes.

이와 같이 주파수 영상에서 고주파 영역에 속하는 픽셀 값들의 총합, 즉 영상의 일부 영역에 속하는 8x8 블록(Block)에서 선명함을 표현하고 영상의 각 pixel간의 편차가 큰 것을 표현하는 B 영역의 총합을 화면의 8x8 pixel에 해당하는 대표값으로 정의한다. 이와 같이하여 각 블록 단위의 크기 값을 밝기 값으로 하여 영상으로 표현하면 도 4와 같은 FFT 고주파 성분을 활용한 영상표현이 된다.In this manner, the total sum of the pixel values belonging to the high frequency region in the frequency image, i.e., the sum of the B regions expressing the sharpness in the 8x8 block belonging to the partial region of the image and representing the large deviation between the pixels of the image, pixel is defined as a representative value corresponding to pixel. In this manner, if the magnitude value of each block unit is expressed as a brightness value, the image is expressed using an FFT high frequency component as shown in FIG.

상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)에서 생성된 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다. The depth map determining unit 240 obtains a correlation value using a representative value of the frequency image generated by the FFT transforming unit 230 and an average value of the initial depth map, .

즉, 상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)를 통해서 형성된 주파수 영상에서 임의의 8x8 block단위로 블록 선명도를 표현하는 대표값(FFT(n))을 구한다. 여기서, 상기 대표값은 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 구한다. 그런 다음 상기 깊이 맵 결정부(240)는 상기 FFT(n)의 블록 영역과 일치하는 초기 깊이 맵의 8x8 block의 평균값(Depth(n))을 구한 후 상기 대표값과 상기 평균값을 이용하여 상관 관계값(CRV(Co-Relation Value))을 구한다. That is, the depth map determining unit 240 obtains a representative value (FFT (n)) expressing the block sharpness in units of 8x8 blocks in the frequency image formed through the FFT transforming unit 230. Here, the representative value is obtained by summing pixel values corresponding to a high frequency region in the frequency image. Then, the depth map determining unit 240 obtains an average value Depth (n) of the 8x8 block of the initial depth map coinciding with the block region of the FFT (n) Value (CRV (Co-Relation Value)).

상기 깊이 맵 결정부(240)는 수학식 1을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다. The depth map determination unit 240 obtains a correlation value (CRV (Co-Relation Value)) using Equation (1).

여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값, n은 각 블록(block)의 인덱스를 의미한다. 상기 FFT(n)는 FFT 변환된 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들의 합을 말하고, 상기 초기 깊이 맵의 평균값은 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 의미한다. Herein, the FFT (n) is a representative value representing the block sharpness of the frequency image, the Depth (n) is an average value of the initial depth map corresponding to the block region coinciding with the block region of the FFT (n) Means the index of each block. Wherein the FFT (n) refers to a sum of pixel values corresponding to a high frequency region in an FFT-transformed frequency image, and the average value of the initial depth map corresponds to a block region coinciding with a region in which the representative value is obtained in the initial depth map Means the average value of the depth values.

상기 수학식 1을 통해 상관관계 값이 구해지면, 깊이 맵 결정부(240)는 상기 상관관계 값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다. When the correlation value is obtained through Equation 1, the depth map determining unit 240 determines the initial depth map as the final depth map when the correlation value is equal to or greater than the predetermined threshold, The depth values of the initial depth map are reversed and the inverted depth map is determined as the final depth map.

결과적으로 상기 깊이 맵 결정부(240)는 도 4와 같은 주파수 영역의 영상으로 변환된 주파수 영상을 활용하여, 도 3a의 영상을 자동으로 입체 변환하기 위한 깊이 맵으로 도 3b보다는 도 3c의 깊이 맵이 더 타당하다는 결론을 도출하게 된다.As a result, the depth map determining unit 240 uses the frequency image converted into the image of the frequency domain as shown in FIG. 4 as a depth map for automatically transforming the image of FIG. 3A into the depth map of FIG. 3C This is a more valid conclusion.

또한, 상기 깊이 맵 결정부(240)는 전제조건1의 색상이 강하고 밝은 색상일수록 앞에 있다고 판단한 조건과 선명한 부분이 앞에 있다라는 조건이 일치한다면, 즉 상관관계 값이 미리 정해진 임계치 이상인 경우, 전제조건1로서 생성된 도 3b의 깊이 맵이 타당하다고 판단한다. The depth map determination unit 240 determines whether the condition that the color of the precondition 1 is strong and the bright color is in front and the condition that the clear portion is in front are matched, that is, the correlation value is equal to or greater than a predetermined threshold, The depth map of Fig. 3B generated as " 1 "

만약, 상기 상관관계 값이 미리 정해진 임계치 이상이 아닌 경우, 상기 깊이 맵 결정부(240)는 도 3c와 같이 역전 현상이 반영된 깊이 맵이 더 타당한 깊이 맵이라고 판단한다. If the correlation value is not equal to or greater than the predetermined threshold value, the depth map determining unit 240 determines that the depth map reflecting the reversal phenomenon is more valid as shown in FIG. 3C.

상기와 같이 구성된 깊이 맵 생성 장치(200)는 영상물의 색상, 밝기정보 등의 특성정보를 이용하여 초기 깊이 맵을 추출하고, 이러한 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해서 깊이 맵의 오류를 검출하여 최종 깊이 맵을 생성한다. The depth map generator 200 configured as described above extracts an initial depth map using characteristic information such as color and brightness information of a video object and performs objective verification of whether the initial depth map is partially or wholly valid, An error is detected and a final depth map is generated.

도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면이다. 6 is a diagram illustrating a method for converting a two-dimensional input image into a three-dimensional image by a three-dimensional image conversion apparatus according to the present invention.

도 6을 참조하면, 입체 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S602). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.Referring to FIG. 6, the stereoscopic image conversion apparatus analyzes a two-dimensional input image to extract at least one characteristic information (S602). Here, the characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.

상기 S602의 수행 후, 상기 입체 영상 변환 장치는 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S604).After performing step S602, the stereoscopic image converting apparatus generates an initial depth map for the input image based on the characteristic information (S604).

그런 다음 상기 입체 영상 변환 장치는 상기 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 최종 깊이 맵을 결정한다(S606). Then, the stereoscopic image converting apparatus determines the final depth map by objectively verifying whether the initial depth map is partially or wholly valid (S606).

즉, 상기 입체 영상 변환 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다. 그런 다음 상기 입체 영상 변환 장치는 상기 주파수 영상에서 고주파 영역에 속하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값 구한다. 그런 다음 상기 입체 영상 변환 장치는 상기 구해진 대표값과 상기 평균값을 이용한 수학식 1을 이용하여 상관관계 값을 구한다. That is, the stereoscopic image conversion apparatus performs FFT on the input image to convert the input image into a frequency image. Then, the stereoscopic image conversion apparatus obtains a representative value by summing pixel values belonging to a high frequency region in the frequency image, and obtains an average value of depth values corresponding to a block region coinciding with the representative value in the initial depth map. Then, the stereoscopic image conversion apparatus obtains a correlation value using Equation (1) using the obtained representative value and the average value.

그런 후, 상기 입체 영상 변환 장치는 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다. Then, the stereoscopic image converting apparatus determines a final depth map based on the correlation value.

상기 S606의 수행 후 상기 입체 영상 변환 장치는 상기 결정된 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환한다(S608).After the execution of S606, the stereoscopic image conversion apparatus converts the input image into a three-dimensional image using the determined final depth map (S608).

도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도이다.FIG. 7 is a flowchart illustrating a method of generating a depth map by a depth map generating apparatus according to the present invention.

도 7을 참조하면, 깊이 맵 생성 장치는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S702). 즉, 상기 깊이 맵 생성 장치는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등의 특성정보를 추출한다. 그런 다음 상기 깊이 맵 생성 장치는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다. Referring to FIG. 7, the depth map generation apparatus extracts at least one characteristic information about an input image, and generates an initial depth map for the input image based on the extracted characteristic information (S702). That is, the depth map generation apparatus extracts characteristic information such as edge information, color information, luminance information, motion information, and histogram information. Then, the depth map generating apparatus divides a plurality of pixels constituting the input image into at least one block, sets an initial depth for the at least one block, Creates a depth map.

상기 S702의 수행 후, 상기 깊이 맵 생성 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다(S704).After performing step S702, the depth map generator converts the input image into a frequency image by performing an FFT on the input image (step S704).

상기 S704의 수행 후, 상기 깊이 맵 생성 장치는 상기 변환된 주파수 영상이 전제 조건을 만족하는 영상인지의 여부를 판단한다(S706). 여기서, 상기 전제조건은 전제조건2로서, 전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다. After step S704, the depth map generator determines whether the transformed frequency image satisfies the precondition (S706). Here, the precondition is the precondition 2, and the precondition 2 is "the clear part in the image is usually close in distance ".

상기 S706의 판단결과 상기 전제조건을 만족하는 영상인 경우, 상기 깊이 맵 생성 장치는 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구한다(S708). 상기 상관 관계값을 구하는 방법에 대한 상세한 설명은 도 2를 참조하기로 한다. If it is determined in step S706 that the image satisfies the prerequisite condition, the depth map generator obtains a correlation value using a representative value of the frequency image and an average value of the initial depth map (S708). A detailed description of the method for obtaining the correlation value will be given with reference to FIG.

상기 S708의 수행 후, 상기 깊이 맵 생성 장치는 상기 구해진 상관 관계값이 미리 정해진 임계치 이상인지의 여부를 판단한다(S710).After step S708, the depth map generator determines whether the correlation value is greater than or equal to a predetermined threshold (S710).

상기 S710의 판단결과 임계치 이상인 경우, 상기 깊이 맵 생성장치는 상기 초기 깊이 맵을 최종 깊이 맵으로 결정한다(S712).If it is determined in step S710 that the depth map is greater than or equal to the threshold, the depth map generation apparatus determines the initial depth map as the final depth map (step S712).

만약, 상기 S710의 판단결과 상기 상관 관계값이 임계치 이상이 아니면, 상기 깊이 맵 생성 장치는 상기 초기 깊이 맵의 깊이 값들을 반전시키고(S714), 상기 반전된 깊이 값들로 구성된 깊이 맵을 최종 깊이 맵으로 결정한다(S716).If it is determined in step S710 that the correlation value is not equal to or greater than the threshold value, the depth map generator inverts depth values of the initial depth map (step S714) (S716).

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

본 발명은 자동 입체 영상 변환 시 영상처리를 통해 영상의 전체적인 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 적용될 수 있다.The present invention can objectively detect and correct an error of an overall depth map of an image through an image processing in an automatic stereoscopic image conversion, convert a two-dimensional image into a three-dimensional image using the corrected depth map, The present invention can be applied to a depth map generating apparatus and method capable of minimizing errors in conversion, and a stereoscopic image converting apparatus and method using the same.

100 : 입체 영상 변환 장치 210 : 영상 분석부
220 : 깊이 맵 설정부 230 : 입체 영상 생성부
200 : 깊이 맵 생성 장치 210 : 특성정보 추출부
220 : 깊이 맵 초기화부 230 : FFT 변환부
240 : 깊이 맵 결정부100: stereoscopic image conversion apparatus 210: image analysis unit
220: depth map setting unit 230: stereoscopic image generating unit
200: depth map generator 210: characteristic information extractor
220: depth map initialization unit 230: FFT transform unit
240: Depth map determining unit

Claims

A characteristic information extracting unit for extracting at least one characteristic information for an input image;
A depth map initialization unit for generating an initial depth map for the input image based on the characteristic information;
An FFT transformer for transforming the input image into a frequency image by performing FFT (Fast Fourier Transform);
Obtaining a correlation value using a representative value of pixel values corresponding to a high frequency region in the frequency image and an average value of an initial depth map corresponding to a block region coinciding with the representative value obtained in the initial depth map, And a depth map determining unit that determines the initial depth map as a final depth map when the correlation value is equal to or greater than a predetermined threshold value
Depth map generator.

The method according to claim 1,
Wherein the characteristic information extraction unit extracts characteristic information including at least one of edge information, color information, luminance information, motion information, and histogram information, Map generator.

The method according to claim 1,
The depth map initialization unit divides a plurality of pixels constituting the input image into at least one block, sets an initial depth for the at least one block, depth map of the depth map.

delete

The method of claim 1, wherein
Wherein the depth map determination unit obtains a correlation value (CRV (Co-Relation Value)) using the following equation.
[Mathematical Expression]
CRV =? (FFT (n) * Depth (n))
Here, the FFT (n) is a representative value representing the block sharpness of the frequency image, the Depth (n) is an average value of an initial depth map corresponding to a block region coinciding with a block region of FFT (n) Indicates the index of the block.

The method according to claim 1,
Wherein the depth map determining unit determines the initial depth map as a final depth map when the correlation value is equal to or greater than a predetermined threshold and inverts the depth values of the initial depth map when the correlation value is not equal to or greater than the threshold, And the final depth map is determined as the final depth map.