KR101820456B1

KR101820456B1 - Method And Apparatus for Generating Depth MAP

Info

Publication number: KR101820456B1
Application number: KR1020110062518A
Authority: KR
Inventors: 우대식; 김종대; 박재범; 전병기; 정원석
Original assignee: 에스케이플래닛 주식회사
Priority date: 2011-06-27
Filing date: 2011-06-27
Publication date: 2018-01-22
Also published as: KR20130001635A

Abstract

본 발명의 일 실시예는 깊이 맵 생성 방법 및 장치에 관한 것이다.
본 발명의 일 실시예는 입력된 2D 영상 데이터를 분석하여 분류하는 전처리부; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환부를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치를 제공한다.
본 발명의 일 실시예에 의하면, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과가 있다.One embodiment of the present invention relates to a depth map generation method and apparatus.
An exemplary embodiment of the present invention provides an image processing apparatus including a preprocessor for analyzing and classifying input 2D image data; And a conversion unit for selecting a transformation algorithm corresponding to the classified image and generating a depth map according to a combination of the transformation algorithms.
According to an embodiment of the present invention, various types of images are analyzed to generate a depth map for representing a more realistic three-dimensional image in the process of converting 2D image data into 3D image data, It is possible to provide the depth map information in which the image is classified and the optimal conversion algorithm for each classified image is combined.

Description

METHOD AND APPARATUS FOR GENERATING DEPTH MAP

본 발명의 일 실시예는 깊이 맵 생성 방법 및 장치에 관한 것이다. 더욱 상세하게는, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 적용한 3D 영상 데이터를 제공하고자 하는 깊이 맵 생성 방법 및 장치에 관한 것이다.One embodiment of the present invention relates to a depth map generation method and apparatus. More particularly, in the process of converting 2D image data into 3D image data, various types of images are analyzed to generate a depth map for expressing a more realistic three-dimensional image, and the images are classified according to analysis results and preset conditions And a depth map generation method and apparatus for providing 3D image data to which depth map information combining an optimal conversion algorithm for each classified image is applied.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the embodiment of the present invention and do not constitute the prior art.

디지털 기술이 고도로 발전하고, 방송과 통신의 융합으로 방송 매체가 다양해짐에 따라 디지털 기술의 특성을 이용한 방송 관련 부가 서비스들이 새롭게 선보이고 있다. 현재 TV와 같은 영상 서비스의 발전 방향은 고화질과 대화면으로 가고 있으나, 아직까지 2D 영상 컨텐츠만을 제공하기 때문에 현재의 영상 컨텐츠를 통해서 시청자는 입체감을 느낄 수 없다.With the development of digital technology and the diversification of broadcasting media by the convergence of broadcasting and communication, additional services related to broadcasting using the characteristics of digital technology are newly introduced. Currently, the development direction of video services such as TV is going to be high-definition and large-screen, but since 2D image contents are still provided, viewers can not feel stereoscopic effect through current image contents.

이에 따라 점진적으로 입체 영상의 필요성이 대두되고 있는 실정이나 아직까지 입체 영상의 컨텐츠가 많이 부족한 실정이다. 입체 영상 처리기술은 차세대 정보통신 서비스 분야의 핵심 기술로서, 정보산업 사회로의 발달과 더불어 기술개발 경쟁이 치열한 최첨단 기술이다. 이러한 입체 영상 처리기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소이며, 오늘날에는 이러한 정보통신 분야뿐만 아니라 방송, 의료, 교육, 군사, 게임 및 가상현실 등 그 응용분야가 매우 다양화되고 있다. As a result, the necessity of stereoscopic image is increasing gradually, but the contents of the stereoscopic image have not been enough yet. Stereoscopic image processing technology is a core technology in the next generation information and communication service field, and it is a cutting-edge technology in which competition for technology development is intense along with development in the information industry society. Such stereoscopic image processing technology is an essential element for providing high quality image service in multimedia applications. Today, the application fields such as broadcasting, medical treatment, education, military, game and virtual reality are diversified as well as the information communication field have.

따라서, 2D 영상 컨텐츠를 입체 영상 컨텐츠로 제공하는 기술이 필요한 실정이다. 하지만, 현재의 기술로는 정밀한 입체감을 표현하기 어려운 문제가 있다. 물론, 수동방식으로 정밀한 입체 영상 변환 효과를 제공할 수 있지만, 이러한, 수동방식으로 작업하는 경우, 사람이 시각적인 인지능력을 이용하여 매우 긴 시간에 걸쳐 작업을 수행해야 하는 문제가 있다.Therefore, there is a need for a technique for providing 2D image contents as stereoscopic image contents. However, there is a problem that it is difficult to express accurate stereoscopic feeling with the present technology. Of course, it is possible to provide a precise stereoscopic image conversion effect by a manual method, but there is a problem that a person must perform a work over a very long time by using a visual cognitive ability when working in a manual manner.

전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 영상의 특징에 따른 변환 알고리즘의 조합을 이용하여 생성된 깊이 맵 정보를 적용하는 깊이 맵 생성 방법 및 장치를 제공하는 데 주된 목적이 있다.According to an embodiment of the present invention, there is provided a depth map generation method for generating depth map information using depth map information generated using a combination of transformation algorithms according to characteristics of an image in a process of converting 2D image data to 3D image data, Methods, and apparatuses.

전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 입력된 2D 영상 데이터를 분석하여 분류하는 전처리부; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환부를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치를 제공한다.According to an aspect of the present invention, there is provided an image processing apparatus comprising: a preprocessor for analyzing and classifying input 2D image data; And a conversion unit for selecting a transformation algorithm corresponding to the classified image and generating a depth map according to a combination of the transformation algorithms.

또한, 본 발명의 다른 목적에 의하면, 입력된 2D 영상 데이터를 분석하여 분류하는 전처리 단계; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환 단계를 포함하는 것을 특징으로 하는 깊이 맵 생성 방법을 제공한다.According to another aspect of the present invention, there is provided an image processing apparatus including: a preprocessing step of analyzing and classifying input 2D image data; And a conversion step of selecting a conversion algorithm corresponding to the classified image and generating a depth map according to a combination of the conversion algorithms.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과가 있다.As described above, according to the embodiment of the present invention, various types of images are analyzed to generate a depth map for expressing a more realistic 3D image in the process of converting 2D image data into 3D image data, It is possible to classify an image according to predetermined conditions and to provide depth map information combining optimal conversion algorithms for each classified image.

또한, 본 발명의 일 실시예에 의하면, 종래의 단일방식의 영상처리 알고리즘을 통해서 깊이 맵을 생성할 때 발생하는 부적절한 오류를 최소화 시키기 위해 영상의 분석 결과와 기 설정된 조건에 따른 적절한 최적의 깊이 맵을 생성할 수 있는 효과가 있다. 또한, 본 발명의 일 실시예에 의하면, 영상의 형태에 따라 영상을 분류하고 각 분류된 영상의 특징에 맞는 최적의 알고리즘의 선정 및 그들의 조합 등을 통해서 최종적으로 생성되는 깊이 맵의 효율성을 높일 수 있는 효과가 있다. 또한, 본 발명의 일 실시예에 의하면, 인간의 인지능력의 효과를 내기 위해서 시각적 특성을 반영하는 영상으로 분류하는 과정을 제공하고, 이러한 분류에 최적의 효과를 내는 영상처리 알고리즘을 적용함으로써 최적의 입체감을 표현할 수 있는 효과가 있다.According to an embodiment of the present invention, in order to minimize an inappropriate error occurring when a depth map is generated through a conventional single-method image processing algorithm, an analysis result of an image and an appropriate optimal depth map Can be generated. According to an embodiment of the present invention, an image can be classified according to the type of an image, and the efficiency of a finally generated depth map can be increased through selection of an optimal algorithm corresponding to the feature of each classified image, There is an effect. In addition, according to an embodiment of the present invention, a process of classifying an image reflecting visual characteristics to provide an effect of a human cognitive ability is provided, and an optimal image processing algorithm is applied There is an effect that the three-dimensional feeling can be expressed.

도 1은 본 발명의 일 실시예에 따른 깊이 맵 생성 장치를 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명의 일 실시예에 따른 영상 분류를 위한 제 1 조건을 나타낸 표,
도 3은 본 발명의 일 실시예에 따른 변환 알고리즘 조합을 위한 제 2 조건을 나타낸 표,
도 4는 본 발명의 일 실시예에 따른 변환 알고리즘 신뢰도 결정을 위한 제 3 조건을 나타낸 표,
도 5는 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 깊이 맵을 생성하기 위한 예시도이다.1 is a block diagram schematically showing an apparatus for generating depth maps according to an embodiment of the present invention.
FIG. 2 is a table showing a first condition for image classification according to an embodiment of the present invention;
3 is a table showing a second condition for a transformation algorithm combination according to an embodiment of the present invention,
4 is a table showing a third condition for determining the conversion algorithm reliability according to an embodiment of the present invention,
FIG. 5 is a flowchart illustrating a depth map generation method according to an embodiment of the present invention. FIG.
6 is an exemplary diagram for generating a depth map according to an embodiment of the present invention.

이하, 본 발명에 따른 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명이 기재된 제 1 조건은 2D 영상을 분류하기 위한 조건을 포함한 정보로서, MTD(Modified Time Difference) 조건, 장면(Scence) 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 또한, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보를 말하며, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한 정보를 말한다.The first condition described in the present invention is information including a condition for classifying a 2D image, and includes at least one of a Modified Time Difference (MTD) condition, a Scene detection condition, and an image characteristic providing condition. The second condition has the combination information according to the combination of the image feature information, and the plurality of algorithms and the predetermined depth map ratio are matched for each combination information. The third condition corresponds to the algorithm included in the second condition Information including probability information.

도 1은 본 발명의 일 실시예에 따른 깊이 맵 생성 장치를 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically showing an apparatus for generating a depth map according to an embodiment of the present invention.

본 발명에 기재된 깊이 맵 생성 장치(100)는 2D 영상 데이터를 자동으로 3D 영상 데이터로 변환하는 장치를 말한다.이때, 깊이 맵 생성 장치(100)가 2D 영상 데이터를 3D 영상 데이터로 변환하는 일반적인 과정에 대해 설명하자면, 2D 영상 데이터에서 객체 또는 배경 등을 구분하여 분리하고, 각각의 객체들에 대해서 적절한 깊이 맵을 할당하여 거리감을 준다. 또한, 최종적으로 렌더링 작업을 통해서 좌측 시야용 영상과 우측 시야용 영상에 해당하는 3D 영상 데이터를 생성한다. 이러한 작업은 사용자에 의해 수작업을 통해서 진행될 수도 있지만, 본 발명과 같이 변환 알고리즘을 통해 진행될 수 있다.The depth map generating apparatus 100 according to the present invention is an apparatus for automatically converting 2D image data into 3D image data. In this case, the depth map generating apparatus 100 performs a general process of converting 2D image data into 3D image data , The object or the background is separated and separated from the 2D image data, and an appropriate depth map is assigned to each object to give a sense of distance. Finally, 3D image data corresponding to the left view field image and the right view field image are generated through the rendering operation. Such an operation may be performed manually by a user, but may proceed through a conversion algorithm as in the present invention.

한편, 3D 영상 데이터에 대해 설명하자면, 3D 영상 데이터(입체 영상 데이터)의 표현은 기본적으로 인간의 눈과 같이 왼쪽, 오른쪽에서 촬영한 두 개의 영상을 필요로 한다. 즉, 왼쪽, 오른쪽에서 각각 독립적으로 촬영한 두 개의 영상을 인간의 눈에 각각 독립적으로 왼쪽에서 촬영한 영상은 왼쪽 눈에, 오른쪽에서 촬영한 영상은 오른쪽 눈에 보여줌으로써 입체감을 느끼게 된다. 따라서 입체 영상을 촬영하기 위한 방송 카메라는 두 개의 카메라가 붙어있는 형태이거나 두 개의 렌즈부를 구비하고 있다. 이와 같이 입체 영상은 왼쪽 영상과 오른쪽 영상을 필요로 하기 때문에 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 좌, 우에 해당하는 두 개의 영상을 만들어야 한다. To describe the 3D image data, the representation of the 3D image data (stereoscopic image data) basically requires two images taken from the left and the right like the human eyes. That is, two images independently photographed on the left and right sides are independently displayed on the left side of the human eye, and the left side images are shown on the left side, and the images on the right side are shown on the right side. Therefore, a broadcast camera for photographing a stereoscopic image is equipped with two cameras or two lens units. Since the stereoscopic image requires the left image and the right image, two images corresponding to the left and right should be created in the process of converting 2D image data into 3D image data.

깊이 맵 생성 장치(100)가 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정은 수작업 또는 프로그램에 의한 자동화 작업으로 가능하다. 물론 자동화 작업은 변환 알고리즘을 이용한 방법으로 수작업과 같은 작업이나 인간의 인지능력에 따른 현실적인 작업과정은 어렵지만 영상에 따라 적절한 변환 알고리즘을 통해서 상당히 개선된 결과를 얻을 수 있다. 예를 들어서, 일반적으로 2D 영상에서 3D 영상 생성에 필요한 깊이 맵을 생성하는 과정으로 수동방식의 경우는 사람이 직접 객체를 분리하고 각 개체별로 깊이 맵(값)을 할당하는 방식을 사용한다. 하지만, 자동 방식의 경우는 모션 분석, 주파수 분석, 히스토그램 분석과 같은 통상적인 영상 처리 방식을 사용하게 되는데 이것은 사람의 인지능력과 같이 판단하는 것이 불가능하기 때문에 오류를 발생할 수 있다. 즉, 여러 배경에 있는 객체(사람이나 자동차)를 분리해내는 것은 사람이 수동으로 작업하는 경우 즉각적으로 가능하지만, 프로그램을 통한 자동방식은 객체인 사람이나 자동차를 배경과 분리해 내는 것은 일반적으로는 어렵다. 하지만, 본 발명과 같이 적절한 조건이 주어진다면 이러한 오류를 최소화하며 영상 처리가 가능하다. 즉, 사람이나 자동차의 움직임이 존재한다면 모션 정보를 통해서 움직임이 없는 배경과 분리가 가능하고 또는 거리에 따른 블러(Blur) 현상을 이용하여 통상적으로 선명한 객체가 가까이 있다는 전제하에 가깝고 먼 객체의 구별이 가능하다. 또는 배경의 구조적인 특징들을 이용하여 정밀한 특징들을 표현하는 것은 어렵지만 전체적인 배경에 해당하는 깊이 맵의 생성도 가능하다. 즉, 영상이란 매우 다양한 형태이지만 앞서 설명한 바와 같이 영상의 특징적인 조건들을 분석한다면, 그에 맞는 최적의 변환 알고리즘을 적용시키는 것이 가능하다.The process of converting the 2D image data into the 3D image data by the depth map generating apparatus 100 can be performed manually or by an automated operation by a program. Of course, automation work is a method using transformation algorithm. However, it is difficult to perform a real work process such as a manual work or a human cognitive ability, but it can obtain a remarkably improved result through an appropriate transformation algorithm according to the image. For example, in general, a process of generating a depth map necessary for generating a 3D image in a 2D image is performed. In the case of a manual method, a method in which a person directly separates objects and assigns depth maps (values) to each object is used. However, the automatic method uses a conventional image processing method such as motion analysis, frequency analysis, and histogram analysis, which may cause errors because it is impossible to determine the human's cognitive ability. In other words, separating objects (people or cars) from multiple backgrounds is instantaneously possible when a person is working manually, but the automatic way through the program is usually to separate objects or people from the background it's difficult. However, given appropriate conditions as in the present invention, such errors can be minimized and image processing is possible. In other words, if there is motion of a person or a car, it is possible to separate from a motionless background through motion information, or to use a blur phenomenon depending on a distance to distinguish objects near and far from each other, It is possible. It is difficult to express precise features by using structural features of the background, but it is also possible to generate a depth map corresponding to the entire background. That is, although the image has a wide variety of forms, if the characteristic conditions of the image are analyzed as described above, it is possible to apply the optimum conversion algorithm to the image.

이러한, 깊이 맵 생성 장치(100)는 2D 영상 데이터를 3D 영상 데이터로 변환하기 위해 전처리부(110), 변환부(120) 및 후처리부(130)를 포함한다. 물론, 본 발명의 일 실시예에서는 깊이 맵 생성 장치(100)가 전처리부(110), 변환부(120) 및 후처리부(130)만을 포함하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 깊이 맵 생성 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.The depth map generation apparatus 100 includes a preprocessing unit 110, a conversion unit 120, and a post-processing unit 130 for converting 2D image data into 3D image data. Of course, in the embodiment of the present invention, the depth map generating apparatus 100 includes only the preprocessing unit 110, the converting unit 120, and the post-processing unit 130. However, It is to be understood that those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the essential characteristics of the present invention, Various modifications and changes may be made to the components.

전처리부(110)의 일반적인 동작에 대해 설명하자면, 전처리부(110)는 영상을 분류하기 위한 동작을 수행하는데, 2D 영상 데이터가 연속적인 프레임의 집합으로 이루어져 있으므로 가능한 유사한 특성을 가지는 프레임 별로 2D 영상 데이터를 그룹화 하여 동일한 변환 알고리즘을 적용할 수 있도록 하는 영상 분류 과정을 수행한다.The preprocessing unit 110 performs an operation for classifying an image. Since the 2D image data is a set of consecutive frames, the preprocessing unit 110 may classify 2D images The image classification process is performed to group the data and apply the same conversion algorithm.

전처리부(110)가 수행하는 주요 동작에 대해 설명하자면, 전처리부(110)는 입력된 2D 영상 데이터를 분석하여 분류한다. 이때, 전처리부(110)는 2D 영상 데이터를 분류하기 위해 기 설정된 제 1 조건을 이용한다. 여기서, 제 1 조건에 대해 개략적으로 설명하자면, 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다.The main operation performed by the preprocessing unit 110 will be described. The preprocessing unit 110 analyzes and classifies input 2D image data. At this time, the preprocessing unit 110 uses a predetermined first condition to classify 2D image data. Here, to roughly describe the first condition, the first condition includes at least one of MTD condition, scene detection condition, and image characteristic condition.

제 1 조건에 포함된 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건에 대해 설명하자면, MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이고, 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이고, 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다. 예를 들어서, 유사 장면 그룹으로 그룹핑된 영상은 현재 프레임(f(n)), 다음 프레임(f(n+1)) 및 그 다음 프레임(f(n+2)) 등등을 포함하게 되는 것이다.To describe MTD condition, scene detection condition and image characteristic providing condition included in the first condition, MTD condition is a condition for selecting a frame corresponding to MTD among 2D image data, and scene detection condition is MTD detection A scene change point and a frame within a scene change point are grouped into a similar scene group with respect to the remaining image data not classified as an image, and the image characteristic providing condition is a condition for analyzing similar scene groups for each group Is a condition for giving image feature information. For example, an image grouped into a similar scene group includes the current frame f (n), the next frame f (n + 1) and the next frame f (n + 2), and so on.

또한, 전처리부(110)가 MTD 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 MTD 검출 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평(Horizontal)으로 이동하는 객체(Object) 또는 카메라의 수평 패닝(Panning)이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 전처리부(110)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석(Motion Vector Analysis), 수평 카메라 패닝(Horizontal Camera Panning), 수평 객체 움직임(Horizontal Moving) 중 적어도 하나 이상의 기술을 이용한다. To perform MTD detection, the preprocessing unit 110 analyzes the 2D image data and horizontally extracts the 2D image data from the 2D image data. A moving object or a frame f (m) where horizontal panning of a camera occurs is classified into an MTD and grouped into an MTD detected image. At this time, the preprocessing unit 110 performs at least one of Motion Vector Analysis, Horizontal Camera Panning, and Horizontal Moving to analyze the 2D image data when performing the MTD condition Technology.

또한, 전처리부(110)가 장면 검출 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 장면 검출 조건을 수행하기 위해, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다. 이때, 전처리부(110)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점(Scene Detection Point)으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 전처리부(110)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.To perform the scene detection condition, the preprocessing unit 110 extracts the rest of the 2D image data, which is not classified as the MTD detection image, in the preprocessing unit 110, For data, group the frames within the scene change point and the scene change point into similar scene groups. At this time, the preprocessing unit 110 sets the current frame f (n) among the remaining image data not classified as MTD among the 2D image data as a scene detection point, and then, based on the current frame, , A frame up to a point in time at which any one of the edge information and the motion information is mismatched by a predetermined threshold or more is recognized as a scene change point. At this time, the preprocessing unit 110 compares the current frame with the next frame to determine a portion to be changed when the current frame is switched to the next frame, and when the determined changed portion is not correlated with the current frame and the next frame, As a similar scene group.

또한, 전처리부(110)가 영상 특징 부여 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상(Static), 동적 영상(Dynamic), 가까운 영상(Close up), 먼 영상(Non Close up), 자연적 영상(Natural) 및 인공적 영상(Artificial) 중 적어도 하나 이상의 정보를 포함한다. 이때, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석(Blur Analysis), 특징점 검출(Saliency Detection), 포커스 분석(Focus Analysis) 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석(Spectrum Analysis), 엣지 변화 정보(Edge), 컬라 히스토그램(Color Histogram) 정보, 알파 블렌딩(Alpha Blending) 알고리즘, 수평 엣지 강조(Horizontal Edge Emphasis) 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.In addition, the preprocessing unit 110 analyzes the similar scene group by each group to perform the image feature giving condition, and outputs the image feature information . Here, the image feature information may include at least one of a static image, a dynamic image, a close up image, a non-close up image, a natural image, and an artificial image. . At this time, the preprocessing unit 110 uses at least one of the motion vector, the global motion vector, the local motion vector, the edge change information, and the histogram information so as to perform the image feature giving condition, And confirms dynamics and classifies it into either static image or dynamic image based on the confirmation result. The preprocessing unit 110 may use at least one of spectral analysis, blur analysis, saliency detection, and focus analysis to perform image characteristic giving conditions, The group is categorized into either the near image or the far image. The preprocessing unit 110 may perform spectral analysis, edge change information, color histogram information, alpha blending algorithm, horizontal edge emphasis (Horizontal Edge Emphasis), the similar scene group is classified into either a natural image or an artificial image.

변환부(120)의 일반적인 동작에 대해 설명하자면, 전처리부(110)에 의핸 분류된 영상에 해당하는 최적의 변환 알고리즘을 선택하고, 이를 2D 영상 데이터에 적용한다. 한편, 이러한 변환부(120)는 2D 영상 데이터를 3D 영상 데이터이로 변환하는 과정에서 영상객체추출 (Object Extraction / Segmentation), 영상거리인식 (Depth Map Computation), 영상생성 (Rendering / Occlusion)을 수행한다.To describe the general operation of the conversion unit 120, an optimal conversion algorithm corresponding to the classified image forwarded to the preprocessing unit 110 is selected and applied to the 2D image data. The transforming unit 120 transforms 2D image data into 3D image data by performing object extraction / segmentation, depth distance computation, and rendering / occlusion .

한편, 본 발명의 일 실시예에 따른 변환부(120)의 주요 동작 과정에 대해 설명하자면, 변환부(120)는 전처리부(110)의 의해 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성한다. 이때 변환부(120)는 전처리부(110)를 통해 영상 특징 부여 조건을 수행한 분류된 영상에 대한 변환 알고리즘을 선택하기 위해 제 2 조건을 이용한다. 여기서, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 또한, 제 2 조건에 포함된 복수의 알고리즘은 알파 블렌딩(Alpha Blending) 알고리즘, 컨텍스트 뎁스(Context Depth) 알고리즘, 수직 뎁스(Vertical Depth) 알고리즘, 객체 뎁스(Object Depth) 알고리즘 및 포커스 뎁스(Focus Depth) 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함된 깊이 맵 비율은 메인 뎁스(Main Depth), 서브 1 뎁스(Sub 1 Depth), 서브 2 뎁스(Sub 2 Depth) 및 옵셔널 뎁스(Optional Depth) 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.The transformation unit 120 selects a transformation algorithm corresponding to the image classified by the preprocessing unit 110. The transformation unit 120 transforms the transformed image into a transformed image, , And generates a depth map (Depth MAP) according to a combination of conversion algorithms. In this case, the transforming unit 120 uses the second condition to select a transform algorithm for the classified image that has undergone the image feature giving condition through the preprocessing unit 110. Here, the second condition has the combination information according to the combination of the image feature information, and the plurality of algorithms and the predetermined depth map ratios are matched for each combination information. The plurality of algorithms included in the second condition may include an Alpha Blending algorithm, a Context Depth algorithm, a Vertical Depth algorithm, an Object Depth algorithm, and a Focus Depth algorithm. And at least one of the algorithms. In addition, the depth map ratio included in the second condition may be at least one of a Main Depth, a Sub 1 Depth, a Sub 2 Depth, and an Optional Depth. Depth map ratio.

변환부(120)가 깊이 맵을 생성하는 과정에 대해 구체적으로 설명하자면, 변환부(120)는 전처리부(110)에 의해 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성한다. 한편, 변환부(120)는 변환 알고리즘에 대한 신뢰도가 미반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 변환부(120)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 이때, 변환부(120)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다.The transformation unit 120 selects a transformation algorithm corresponding to the image classified by the preprocessing unit 110 and transforms the transformed image into a transformation matrix And generates a Depth Map according to the combination. Meanwhile, the transforming unit 120 may generate a depth map in a state in which the reliability of the transform algorithm is not yet fully reflected. In other words, the transforming unit 120 transforms the depth map, Combination information conforming to the second condition is extracted according to the image feature information, and the unreliability depth map ratio is calculated based on the conversion algorithm matched to the combination information and the depth map ratio. At this time, the transforming unit 120 calculates an unreliability depth map using Equation (1).

(A,B,C: 각 알고리즘, α: 기 설정된 메인 뎁스 비율, β: 기 설정된 서브 1 뎁스 비율, γ: 기 설정된 서브 2 뎁스 비율) (A, B, C: each algorithm, α: predetermined main depth ratio, β: predetermined sub 1-depth ratio, γ: predetermined sub 2-depth ratio)

한편, 변환부(120)는 변환 알고리즘에 대한 신뢰도가 반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 변환부(120)는 변환 알고리즘 신뢰도(Fidelith)를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 여기서, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한다. 변환부(120)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다.Meanwhile, the transforming unit 120 may generate a depth map in a state in which the reliability of the transform algorithm is reflected. In detail, the transforming unit 120 transforms the depth map into a predetermined third Conditions. Here, the third condition includes probability information according to the algorithm included in the second condition. The conversion unit 120 calculates the reliability-reflecting depth map using Equation (2).

(A,B,C: 각 알고리즘, α`: 기 설정된 메인 뎁스 비율×A의 확률 정보, β`: 기 설정된 서브 1 뎁스 비율×B의 확률 정보, γ`: 기 설정된 서브 2 뎁스 비율×C의 확률 정보) (A, B, and C: each algorithm, α ': probability information of a preset main depth ratio × A, β': probability information of a predetermined sub 1-depth ratio × B, γ`: predetermined sub- Probability information)

한편, 본 발명의 일 실시예에 따른 변환부(120)는 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성한다. 즉, 변환부(120)가 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성하는 과정에 대해 보다 구체적으로 설명하자면, 변환부(120)는 깊이 맵을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)된 3D 영상 데이터를 생성한다. 또한, 변환부(120)는 전처리부(110)의 의해 그룹핑된 MTD 검출 영상을 이용하여 3D 영상 데이터인 좌측 시야용 이미지 또는 우측 시야용 이미지를 생성한다.Meanwhile, the converting unit 120 according to an embodiment of the present invention generates 3D image data in which a depth map is applied to 2D data. More specifically, the transforming unit 120 transforms the left-view image and the right-view image, which are obtained by applying the depth map, And generates rendered 3D image data. In addition, the conversion unit 120 generates the left side view image or the right side view image, which is 3D image data, using the MTD detected image grouped by the preprocessing unit 110. [

후처리부(130)의 일반적인 동작에 대해 설명하자면, 3D 영상 데이터 대해서 완성도를 높이기 위해 3D 영상 데이터를 안정화한다. 즉, 후처리부(130)가 수행하는 동작에 대해 보다 구체적으로 설명하자면, 후처리부(130)는 3D 영상 데이터에 대한 뎁스 필터 보상 안정(Depth Filter Compensation Stabilizer)을 수행하여 3D 영상 데이터에 반영된 깊이 맵 정보가 기 설정된 임계치를 초과하지 않는 경우, 3D 영상 데이터가 안정화된 것으로 확인한다.Describing the general operation of the post-processing unit 130, 3D image data is stabilized in order to improve the completeness of the 3D image data. More specifically, the post-processing unit 130 performs a depth filter compensation stabilization on the 3D image data to generate a depth map reflecting 3D image data, If the information does not exceed the preset threshold value, it is confirmed that the 3D image data is stabilized.

도 2는 본 발명의 일 실시예에 따른 영상 분류를 위한 제 1 조건을 나타낸 표이다.2 is a table showing a first condition for image classification according to an embodiment of the present invention.

도 2에 도시된 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 즉, 도 2에 도시된 제 1 조건은 영상의 특징이나 조건에 맞게 가장 최적의 변환 알고리즘을 선정하기 위해서는 2D 영상 데이터를 분류하기 위한 조건을 나타낸다. 즉, 2D 영상 데이터를 분류하기 위한 기준으로는 도 2에 도시된 바와 같이 크게 세 가지로 분류한다. The first condition shown in Fig. 2 includes at least one of MTD condition, scene detection condition, and image characteristic condition. That is, the first condition shown in FIG. 2 represents a condition for classifying the 2D image data in order to select the most optimal conversion algorithm according to the characteristic or condition of the image. That is, as a criterion for classifying the 2D image data, there are roughly classified into three types as shown in FIG.

먼저, 도 2의 1번 항목인 MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이다. 즉, MTD 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 MTD 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평으로 이동하는 객체 또는 카메라의 수평 패닝이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 깊이 맵 생성 장치(100)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석, 수평 카메라 패닝, 수평 객체 움직임 중 적어도 하나 이상의 기술을 이용한다. 또한, 깊이 맵 생성 장치(100)는 장면 검출 조건을 수행하기 위해, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다.First, the MTD condition of item 1 in FIG. 2 is a condition for selecting a frame corresponding to the MTD among the 2D image data. To describe the MTD condition, the depth map generating apparatus 100 analyzes the 2D image data to perform the MTD condition, and generates an object moving horizontally in the 2D image data or a frame f (m)) are classified into MTDs and grouped into MTD detected images. At this time, the depth map generating apparatus 100 uses at least one of a motion vector analysis, a horizontal camera panning, and a horizontal object motion to analyze the 2D image data when performing the MTD condition. In order to perform the scene detection condition, the depth map generation apparatus 100 groups the scene change points and the frames within the scene change point into similar scene groups with respect to the remaining image data that is not classified as the MTD detected image among the 2D image data.

도 2의 2번 항목은 장면 검출 조건은 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이다. 즉, 장면 검출 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 깊이 맵 생성 장치(100)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.2, the scene detection condition is a condition for grouping the scene change point and the frame within the scene change point into a similar scene group for the remaining image data that is not classified as the MTD detected image among the 2D image data. To describe the scene detection condition, the depth map generation apparatus 100 sets the current frame f (n) among the remaining image data of the 2D image data not classified as the MTD as a scene detection point, As a scene change point, a frame up to a point in time at which any one of the histogram information, the edge information, and the motion information is mismatched by a predetermined threshold value or more. At this time, the depth map generating apparatus 100 compares the current frame with the next frame to determine a portion to be changed when the current frame is switched to the next frame, and if the determined changed portion is not correlated with the current frame and the next frame , It is judged to be an independent similar scene group.

도 2의 3번 항목은 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다. 즉, 영상 특징 부여 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상, 동적 영상, 가까운 영상, 먼 영상, 자연적 영상 및 인공적 영상 중 적어도 하나 이상의 정보를 포함한다. 이때, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석, 특징점 검출, 포커스 분석 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 엣지 변화 정보, 컬라 히스토그램 정보, 알파 블렌딩 알고리즘, 수평 엣지 강조 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.In the item 3 of FIG. 2, the image characteristic providing condition is a condition for providing similar image characteristic information by analyzing the similar scene group by each group in order to perform the image characteristic providing condition. In other words, to describe the image characteristic providing condition, the depth map generating apparatus 100 analyzes the similar scene group by each group to perform the image characteristic providing condition, and gives the image characteristic information. Here, the image feature information includes at least one of a static image, a dynamic image, a near image, a far image, a natural image, and an artificial image. At this time, the depth map generating apparatus 100 uses at least one of the motion vector, the global motion vector, the local motion vector, the edge change information, and the histogram information to perform the image feature giving condition, The motion or dynamics are confirmed and classified into either static image or dynamic image based on the confirmation result. The depth map generating apparatus 100 may use at least one of spectral analysis, blur analysis, feature point detection, and focus analysis to perform the image feature giving condition so that the similar scene group is one of a near image and a far image Classify. In addition, the depth map generating apparatus 100 may use at least one of spectral analysis, edge change information, color histogram information, alpha blending algorithm, and horizontal edge enhancement to perform similar image feature setting conditions, It is classified into either image or artificial image.

도 3은 본 발명의 일 실시예에 따른 변환 알고리즘 조합을 위한 제 2 조건을 나타낸 표이다.3 is a table showing a second condition for a transformation algorithm combination according to an embodiment of the present invention.

제 1 조건을 토대로 입력된 2D 영상 데이터의 분류가 완료 되면 이를 기반으로 가장 타당성이 있다고 판단되는 최적의 알고리즘을 선택할 수 있다. 이때, 깊이 맵 생성 장치(100)는 도 3에 도시된 제 2 조건을 이용할 수 있다. 즉, 제 1 조건을 토대로 분류된 영상 각각에 대해 적절한 알고리즘을 순서대로 나열하면 도 3에 도시된 제 2 조건과 같다.When classification of input 2D image data based on the first condition is completed, it is possible to select an optimal algorithm that is most feasible based on the classification. At this time, the depth map generating apparatus 100 may use the second condition shown in FIG. That is, if the appropriate algorithms are sequentially listed for each of the images classified on the basis of the first condition, it is the same as the second condition shown in FIG.

제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 제 2 조건에 포함되는 복수의 알고리즘은 알파 블렌딩 알고리즘, 컨텍스트 뎁스 알고리즘, 수직 뎁스 알고리즘, 객체 뎁스 알고리즘 및 포커스 뎁스 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함되는 깊이 맵 비율은 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스 및 옵셔널 뎁스 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.The second condition has the combination information according to the combination of the image feature information, and is information in which a plurality of algorithms and a predetermined depth map ratio are matched for each combination information. The plurality of algorithms included in the second condition include at least one of an alpha blending algorithm, a context depth algorithm, a vertical depth algorithm, an object depth algorithm, and a focus depth algorithm. The depth map ratio included in the second condition includes a depth map ratio for at least one of the main depth, the sub-depth, the sub-depth, and the optional depth.

분류된 영상에 해당하는 영상 특징 정보를 확인하면, 도 3의 제 2 조건과 같이 특정 알고리즘의 조합이 정해지고, 그에 해당하는 깊이 맵 비중이 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스, 옵셔널 뎁스로 나누어진다. 또한, 도 3의 제 2 조건과 같이 깊이 맵의 비율은 60 %, 25 %, 10 % 및 5 %의 초기 비율(초기 대표값)을 가질 수 있다. 이러한, 초기 비율은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 초기 비율을 다양하게 수정 및 변형하여 적용 가능할 것이다. 또한, 이러한 초기 비율을 반영한 깊이 맵은 영상 처리의 진행 단계에서 자동화된 방안으로 영상의 특성에 따라 [수학식 1]과 같이 결정될 수 있으며, 신뢰도를 포함하여 결정되는 경우 영상 특성에 따라 [수학식 2]와 같이 결정될 수 있다. 즉, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 깊이 맵 생성 장치(100)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다.If the image feature information corresponding to the classified image is checked, a combination of specific algorithms is determined as shown in the second condition of FIG. 3, and the corresponding depth map weight is divided into main depth, sub depth 1, sub depth 2, Respectively. In addition, the ratio of the depth map may have an initial ratio (initial representative value) of 60%, 25%, 10%, and 5% as in the second condition of FIG. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed and will become apparent to persons skilled in the art upon a reading of this disclosure. It will be possible to apply it by modification. The depth map reflecting the initial ratio can be determined as shown in Equation (1) according to the characteristics of the image in an automated manner in the progress of the image processing. If the depth map is determined including the reliability, 2]. That is, the depth map generating apparatus 100 extracts the combination information corresponding to the second condition according to the image feature information included in the classified image subjected to the image feature providing condition, And calculates the unreliability depth map ratio based on the ratio. The depth map generating apparatus 100 calculates an unreliability depth map using Equation (1).

도 3의 제 2 조건에 대한 예를 들자면, 분류된 영상의 영상 특징 정보를 확인한 결과, 영상 특징 정보가 '정적 영상', '가까운 영상' 및 '자연적 영상'으로 분류된 영상의 경우, 깊이 맵의 메인 뎁스는 '객체 뎁스(Object Depth)'가 되며 백그라운드인 각각의 서브 뎁스 1, 2는 '알파 블렌딩 뎁스', '포커스 뎁스'의 순서로 각각 60 %, 25 %, 10 % 정도의 비율로 결정된다. 따라서 결과적으로 각 뎁스의 비율에 따라서 합산한 값으로 깊이 맵이 설정된다.As an example of the second condition of FIG. 3, when the image feature information of the classified image is checked, if the image feature information is classified as 'static image', 'close image' and 'natural image' The main depth of the subdivision is the object depth and each of the subdivisions 1 and 2 in the background is 60%, 25% and 10% in order of alpha blending depth and focus depth, respectively . As a result, the depth map is set to a value summed according to the ratio of each depth.

도 4는 본 발명의 일 실시예에 따른 변환 알고리즘 신뢰도 결정을 위한 제 3 조건을 나타낸 표이다.4 is a table showing a third condition for determining the conversion algorithm reliability according to an embodiment of the present invention.

제 1 조건과 제 2 조건에 따라 선택된 변환 알고리즘의 조합이 결정되고, 이들의 적절한 비율로 합산된 결과의 깊이 맵을 얻을 수 있지만, 추가적으로 각 알고리즘의 신뢰성을 반영할 필요가 있다. 이러한, 알고리즘 신뢰도를 반영하는 이유로는 제 1 조건을 통해 분류된 영상의 불확실성 때문이다. 즉, 영상 처리란 오류가 포함될 수 있고 영상 자체의 분류가 사람의 눈으로 확인하더라도 애매한 경우가 있기 때문에, 자동으로 영상의 분류를 판단하는 경우에도 불확실성 가지게 된다. 따라서 이러한 불확실성을 보완하기 위해 분류되는 결과에 대해서도 확률 정보를 반영하는 것이다.The combination of the conversion algorithms selected according to the first condition and the second condition is determined and a depth map of the result summed at an appropriate ratio of them can be obtained but it is also necessary to reflect the reliability of each algorithm. The reason for reflecting the algorithm reliability is due to the uncertainty of the image classified through the first condition. That is, the image processing may include an error, and even if the classification of the image itself is confirmed by the human eye, the image may be ambiguous. Therefore, even when the classification of the image is automatically determined, the image has uncertainty. Therefore, to compensate for this uncertainty, the probability information is also reflected in the results classified.

예를 들어서, 가까운 영상과 먼 영상의 구별이 온(ON) 또는 오프(OFF)와 같이 결정되기 어려운 경우, 영상처리를 통한 확률로 표현이 되는데, 해당 영상에 대해서 스펙트럼 분석을 수행하고, 이를 다시 SVM(Support Vector Machine)을 통해서 해당 영상이 어느 쪽으로 분류될지를 결정하게 된다. 이때, 이러한 과정에서 학습을 통해서 정해진 비율을 반영하고, 이에 따라 해당 영상을 어느 쪽으로 분류할 지의 수치적인 요소가 나오고 이것이 결과적으로 분류될 상대적인 확률에 해당하게 된다. For example, when the distinction between a near image and a distant image is difficult to be determined, such as ON or OFF, a probability is expressed through image processing. The image is subjected to spectrum analysis, SVM (Support Vector Machine) to determine which image is to be classified. At this time, in this process, the numerical factors of reflecting the determined ratio through the learning, and thus the classification of the corresponding image, are obtained, and this corresponds to the relative probability of classification as a result.

따라서, 도 4의 제 3 조건과 같이 해당 알고리즘마다 각각의 신뢰도를 설정한다. 이때, 해당 확률은 정해진 것이 아니고 각 영상 분류과정마다 결과로 주어지는 값이 반영된다. 한편, 확률이 50 %를 넘는 경우, 해당 알고리즘 분류를 위한 선택 기준이 될 수 있다. 이때, 분류를 위한 기준이 확률이 50 %를 넘는 경우라 하더라고 절대적으로 완전하다고 볼 수 없기 때문에 제 3 조건과 같은 부가적인 수단을 반영하는 것이다.Therefore, the reliability of each algorithm is set as in the third condition of FIG. At this time, the probability is not fixed but the value given as a result is reflected in each image classification process. On the other hand, if the probability exceeds 50%, it can be a selection criterion for the algorithm classification. At this time, the criterion for classification reflects additional measures such as the third condition, even if the probability exceeds 50%, since it can not be considered to be absolutely perfect.

즉, 깊이 맵 생성 장치(100)는 이러한 신뢰도를 반영한 깊이 맵을 생성하기 위해 [수학식 2]를 이용할 수 있다. 여기서, 깊이 맵 생성 장치(100)는 변환 알고리즘 신뢰도를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 깊이 맵 생성 장치(100)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다. 따라서 결과적으로 깊이 맵 생성 장치(100) 제 2 조건에 따라 선택된 알고리즘을 조합하고 각각의 깊이 맵 비율을 반영하는 과정에서 제 3 조건에 확률 정보를 반영하며 이러한 확률 정보에 근거하여 보다 신뢰성있는 깊이 맵을 산출할 수 있을 것이다.In other words, the depth map generating apparatus 100 can use (Equation 2) to generate a depth map reflecting such reliability. Here, the depth map generating apparatus 100 uses a predetermined third condition to determine the conversion algorithm reliability. The depth map generating apparatus 100 calculates a reliability-reflecting depth map using Equation (2). As a result, in the process of combining the selected algorithms according to the second condition of the depth map generating apparatus 100 and reflecting the depth map ratios, the probability information is reflected in the third condition, and a more reliable depth map Can be calculated.

도 5는 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a depth map generation method according to an embodiment of the present invention.

깊이 맵 생성 장치(100)가 수행하는 주요 동작에 대해 설명하자면, 깊이 맵 생성 장치(100)는 입력된 2D 영상 데이터(S510)를 분석하여 분류하기 위해 기 설정된 제 1 조건을 수행한다(S520). 여기서, 제 1 조건에 대해 개략적으로 설명하자면, 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 즉, 제 1 조건에 포함된 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건에 대해 설명하자면, MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이고, 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이고, 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다.To describe the main operation performed by the depth map generating apparatus 100, the depth map generating apparatus 100 performs a predetermined first condition for analyzing and classifying the inputted 2D image data S510 (S520) . Here, to roughly describe the first condition, the first condition includes at least one of MTD condition, scene detection condition, and image characteristic condition. To describe the MTD condition, the scene detection condition, and the image characteristic providing condition included in the first condition, the MTD condition is a condition for selecting a frame corresponding to the MTD of the 2D image data, and the scene detection condition is a condition A scene change point and a frame within a scene change point are grouped into a similar scene group with respect to the remaining image data not classified as an MTD detected image, and the image feature giving condition is a condition for grouping similar scene groups into groups And to provide image feature information.

단계 S520에서 깊이 맵 생성 장치(100)가 MTD 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 MTD 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평으로 이동하는 객체 또는 카메라의 수평 패닝이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 깊이 맵 생성 장치(100)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석, 수평 카메라 패닝, 수평 객체 움직임 중 적어도 하나 이상의 기술을 이용한다. In step S520, the depth map generating apparatus 100 analyzes the 2D image data to perform the MTD condition. The depth map generating apparatus 100 generates horizontal And the frame f (m) in which the horizontal panning of the camera occurs are classified into MTDs, and grouped into MTD detected images. At this time, the depth map generating apparatus 100 uses at least one of a motion vector analysis, a horizontal camera panning, and a horizontal object motion to analyze the 2D image data when performing the MTD condition.

또한, 깊이 맵 생성 장치(100)는 장면 검출 조건을 수행한다(S530). 깊이 맵 생성 장치(100)가 S530을 수행하는 과정에 대해 설명하자면, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다. 또한, 깊이 맵 생성 장치(100)가 장면 검출 조건을 수행하는 과정에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 깊이 맵 생성 장치(100)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.In addition, the depth map generating apparatus 100 performs a scene detection condition (S530). To describe the process of S530, the depth map generating apparatus 100 groups the scene change points and the frames within the scene change point into similar scene groups with respect to the remaining image data that is not classified as the MTD detected image among the 2D image data. To describe more specifically the process of the depth map generating apparatus 100 performing the scene detection condition, the depth map generating apparatus 100 generates a depth map of the current frame f (n)) as a scene change point, and recognizes a frame up to a point in time at which any one of histogram information, edge information, and motion information mismatches with a predetermined threshold value or more on the basis of the current frame as a scene change point. At this time, the depth map generating apparatus 100 compares the current frame with the next frame to determine a portion to be changed when the current frame is switched to the next frame, and if the determined changed portion is not correlated with the current frame and the next frame , It is judged to be an independent similar scene group.

깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한다(S540). 단계 S540에서 깊이 맵 생성 장치(100)가 영상 특징 부여 조건을 수행하는 과정에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상, 동적 영상, 가까운 영상, 먼 영상, 자연적 영상 및 인공적 영상 중 적어도 하나 이상의 정보를 포함한다. 이때, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석, 특징점 검출, 포커스 분석 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 엣지 변화 정보, 컬라 히스토그램 정보, 알파 블렌딩 알고리즘, 수평 엣지 강조 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.The depth map generating apparatus 100 performs an image feature giving condition (S540). In step S540, the depth map generating apparatus 100 analyzes the similar scene group for each group to perform the image feature giving condition. And gives characteristic information. Here, the image feature information includes at least one of a static image, a dynamic image, a near image, a far image, a natural image, and an artificial image. At this time, the depth map generating apparatus 100 uses at least one of the motion vector, the global motion vector, the local motion vector, the edge change information, and the histogram information to perform the image feature giving condition, The motion or dynamics are confirmed and classified into either static image or dynamic image based on the confirmation result. The depth map generating apparatus 100 may use at least one of spectral analysis, blur analysis, feature point detection, and focus analysis to perform the image feature giving condition so that the similar scene group is one of a near image and a far image Classify. In addition, the depth map generating apparatus 100 may use at least one of spectral analysis, edge change information, color histogram information, alpha blending algorithm, and horizontal edge enhancement to perform similar image feature setting conditions, It is classified into either image or artificial image.

즉, 깊이 맵 생성 장치(100)는 단계 S510 내지 단계 S540을 통해 영상을 분류하기 위한 동작을 수행하는데, 2D 영상 데이터가 연속적인 프레임의 집합으로 이루어져 있으므로 가능한 유사한 특성을 가지는 프레임 별로 2D 영상 데이터를 그룹화 하여 동일한 변환 알고리즘을 적용할 수 있도록 하는 영상 분류 과정을 수행하는 것이다.That is, the depth map generating apparatus 100 performs an operation for classifying images through steps S510 to S540. Since the 2D image data is a set of consecutive frames, the depth map generating apparatus 100 generates 2D image data for each frame having similar characteristics Grouping and applying the same transformation algorithm to the image.

깊이 맵 생성 장치(100)는 영상 특징 부여 조건이 수행된 분류된 영상에 해당하는 변환 알고리즘을 선택한다(S550). 단계 S550을 수행할 때 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 대한 변환 알고리즘을 선택하기 위해 제 2 조건을 이용한다. 여기서, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 또한, 제 2 조건에 포함된 복수의 알고리즘은 알파 블렌딩 알고리즘, 컨텍스트 뎁스 알고리즘, 수직 뎁스 알고리즘, 객체 뎁스 알고리즘 및 포커스 뎁스 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함된 깊이 맵 비율은 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스 및 옵셔널 뎁스 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.The depth map generation apparatus 100 selects a transformation algorithm corresponding to the classified image in which the image feature-giving condition is performed (S550). When performing step S550, the depth map generating apparatus 100 uses a second condition to select a transform algorithm for the classified image that has performed the image feature giving condition. Here, the second condition has the combination information according to the combination of the image feature information, and the plurality of algorithms and the predetermined depth map ratios are matched for each combination information. In addition, the plurality of algorithms included in the second condition include at least one of an alpha blending algorithm, a context depth algorithm, a vertical depth algorithm, an object depth algorithm, and a focus depth algorithm. In addition, the depth map ratio included in the second condition includes a depth map ratio for at least one of the main depth, the sub-depth, the sub-depth, and the optional depth.

깊이 맵 생성 장치(100)는 변환 알고리즘의 조합에 따른 깊이 맵을 생성한다(S560). 단계 S560에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 변환 알고리즘에 대한 신뢰도가 미반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 이때, 깊이 맵 생성 장치(100)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다. 한편, 깊이 맵 생성 장치(100)는 변환 알고리즘에 대한 신뢰도가 반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 깊이 맵 생성 장치(100)는 변환 알고리즘 신뢰도깊이 맵 생성 장치(100)를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 여기서, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한다. 깊이 맵 생성 장치(100)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다.The depth map generating apparatus 100 generates a depth map according to a combination of conversion algorithms (S560). More specifically, in step S560, the depth map generating apparatus 100 may generate a depth map in a state in which the reliability of the conversion algorithm is not reflected. The combination information matching the second condition is extracted according to the image feature information included in the classified image subjected to the feature giving condition and the ratio of unrecognized depth map is calculated based on the conversion algorithm matched to the combination information and the depth map ratio do. At this time, the depth map generating apparatus 100 calculates an unreliability depth map using Equation (1). The depth map generating apparatus 100 may generate the depth map in a state in which the reliability of the conversion algorithm is reflected. In detail, the depth map generating apparatus 100 generates the depth map using the conversion algorithm reliability depth map generating apparatus 100, Lt; RTI ID = 0.0 > a < / RTI > predetermined third condition. Here, the third condition includes probability information according to the algorithm included in the second condition. The depth map generating apparatus 100 calculates a reliability-reflecting depth map using Equation (2).

깊이 맵 생성 장치(100)는 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성한다(S570). 단계 S570에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 깊이 맵을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링된 3D 영상 데이터를 생성한다. 또한, 깊이 맵 생성 장치(100)는 그룹핑된 MTD 검출 영상을 이용하여 3D 영상 데이터인 좌측 시야용 이미지 또는 우측 시야용 이미지를 생성한다. 깊이 맵 생성 장치(100) 3D 영상 데이터 대해서 완성도를 높이기 위해 3D 영상 데이터를 안정화를 수행한다(S580). 단계 S580에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 3D 영상 데이터에 대한 뎁스 필터 보상 안정을 수행하여 3D 영상 데이터에 반영된 깊이 맵 정보가 기 설정된 임계치를 초과하지 않는 경우, 3D 영상 데이터가 안정화된 것으로 확인한다.The depth map generating apparatus 100 generates 3D image data in which the depth map is applied to the 2D data (S570). More specifically, in step S570, the depth map generating apparatus 100 generates 3D image data in which a left-view image and a right-view image, to which a depth map is applied, are rendered. In addition, the depth map generating apparatus 100 generates a left-view image or a right-view image, which is 3D image data, using the grouped MTD detection image. In order to improve the degree of completeness of the 3D image data, the depth map generating apparatus 100 performs stabilization of 3D image data (S580). More specifically, in step S580, the depth map generation apparatus 100 performs depth filter compensation stability on the 3D image data, and when the depth map information reflected on the 3D image data does not exceed the predetermined threshold value, Verify that the data is stable.

도 5에서는 단계 S510 내지 단계 S580을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S510 내지 단계 S580 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.5, it is described that steps S510 to S580 are sequentially performed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and it is to be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications and adaptations may be made to those skilled in the art without departing from the essential characteristics of one embodiment of the present invention by changing the order described in Figure 5 or by executing one or more of steps S510 through S580 in parallel 5, it is not limited to the time-series order.

전술한 바와 같이 도 5에 기재된 본 발명의 일 실시예에 따른 깊이 맵 생성 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.As described above, the depth map generation method according to an embodiment of the present invention illustrated in FIG. 5 can be implemented by a program and recorded in a computer-readable recording medium. A program for implementing the depth map generation method according to an embodiment of the present invention is recorded, and a computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also implemented in the form of a carrier wave (e.g., transmission over the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. In addition, functional programs, code, and code segments for implementing an embodiment of the present invention may be easily inferred by programmers skilled in the art to which an embodiment of the present invention belongs.

도 6은 본 발명의 일 실시예에 따른 깊이 맵을 생성하기 위한 예시도이다.6 is an exemplary diagram for generating a depth map according to an embodiment of the present invention.

도 6에 도시된 (A) 영상은 제 1 조건에 의해 '정적 영상'이면서 '가까운 영상이고, '자연적 영상'으로 분류된 경우, 도 6의 (B)에 도시된 바와 같이, 깊이 맵 생성 장치(100)는 제 2 조건에 따라 특징점 검출에 따른 '새'를 객체로 추출하게 되며, 도 6의 (C)에 도시된 바와 같이, '배경'과 '객체'에 원본 영상에서 얻은 영상 특징 정보를 이용하여 '알파 블렌딩 방식'을 적용하여 최종적인 결과를 얻을 수 있다. 한편, '포커스 뎁스'를 추가적으로 적용할 수도 있다.6A, if the image is classified as a 'static image' and a 'near image' according to the first condition and is classified as a 'natural image', as shown in FIG. 6B, The controller 100 extracts 'bird' according to the feature point detection as an object according to the second condition. As shown in (C) of FIG. 6, the image feature information And 'Alpha blending method' to get the final result. On the other hand, 'focus depth' can be applied additionally.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

이상에서 설명한 바와 같이 본 발명은 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 영상의 특징에 따른 변환 알고리즘의 조합을 이용하여 생성된 깊이 맵 정보를 적용하는 분야에 적용되어, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과를 발생하는 유용한 발명이다.As described above, the present invention is applied to a field for applying depth map information generated using a combination of transformation algorithms according to image characteristics in the process of converting 2D image data to 3D image data, In order to generate a depth map to represent a more realistic three-dimensional image in the process of converting into image data, various types of images are analyzed, and the images are classified according to the analysis results and predetermined conditions. It is a useful invention that produces an effect that can provide depth map information combining algorithms.

100: 깊이 맵 생성 장치 110: 전처리부
120: 분석부 130: 후처리부100: depth map generating apparatus 110: preprocessing unit
120: analyzing unit 130: post-processing unit

Claims

A preprocessor for classifying the input 2D image data using a first condition including at least one of a modified time difference (MTD) condition, a scene detection condition, and an image characteristic providing condition; And
A transformation unit for selecting a transformation algorithm corresponding to the classified image and generating a depth map according to a combination of the transformation algorithms,
Lt; / RTI >
The pre-
Grouping the remaining image data not classified as the MTD detected image into the similar scene group through the MTD condition among the 2D image data, analyzing the similar scene group for each group, and analyzing the static image, dynamic image, At least one image feature information among a close-up image, a non-close-up image, a natural image, and an artificial image is given,
The conversion unit
Wherein the transformation algorithm for the classified image that has performed the image feature-providing condition using a plurality of algorithms for each combination of image feature information, Wherein the depth map generation unit selects the depth map.

delete

[Claim 4 is abandoned upon payment of the registration fee.]

The method according to claim 1,
The MTD condition is,
And a condition for selecting a frame corresponding to the MTD among the 2D image data.

[Claim 5 is abandoned upon payment of registration fee.]

The method according to claim 1,
The pre-
In order to perform the MTD condition, the 2D image data is analyzed and an object moving horizontally in the 2D image data or a frame f (m) in which horizontal panning of the camera occurs MTD, and grouped into an MTD detected image.

[Claim 6 is abandoned due to the registration fee.]

6. The method of claim 5,
The pre-
Wherein at least one of a motion vector analysis method, a horizontal camera panning method, and a horizontal object moving method is used to analyze the 2D image data.

[7] has been abandoned due to the registration fee.

6. The method of claim 5,
Wherein,
And generates the left side view image or the right side view image, which is 3D image data, using the MTD detected image.

[8] has been abandoned due to the registration fee.

6. The method of claim 5,
The pre-
And grouping the scene change points and the frames within the scene change point into similar scene groups for the remaining image data not classified as the MTD detected image in the 2D image data to perform the scene detection condition. .

[Claim 9 is abandoned upon payment of registration fee.]

9. The method of claim 8,
The pre-
The method includes setting a current frame (f (n)) out of the remaining image data not classified as the MTD among the 2D image data as a scene detection point, and then generating histogram information, edge information, Information of the depth map is recognized as the scene change point.

[Claim 10 is abandoned upon payment of the registration fee.]

10. The method of claim 9,
The pre-
Comparing the current frame with a next frame to determine a portion that is changed when the current frame is switched to the next frame, and if the determined fluctuation portion is not correlated with the current frame and the next frame, The depth map generation unit determines that the similar scene group is a similar scene group.

delete

[13] has been abandoned due to the registration fee.

The method according to claim 1,
The pre-
In order to perform the image feature giving condition, at least one or more pieces of information of a motion vector, a global motion vector, a local motion vector, edge change information, and histogram information are used to check movement or dynamics of an object in the similar scene group, And the dynamic image is classified into one of the static image and the dynamic image based on the result of the determination.

[14] has been abandoned due to the registration fee.

The method according to claim 1,
The pre-
In order to perform the image characteristic providing condition, at least one of information of spectral analysis, blur analysis, saliency detection, and focus analysis is used, And the distant images are classified into one of the distant images.

[Claim 15 is abandoned upon payment of registration fee]

The method according to claim 1,
The pre-
In order to perform the image characteristic giving condition, at least one of spectral analysis, edge change information, color histogram information, alpha blending algorithm, and horizontal edge emphasis Wherein the similar scene group is classified into one of the natural image and the artificial image using one or more pieces of information.

delete

[Claim 18 is abandoned upon payment of registration fee.]

The method according to claim 1,
The plurality of algorithms comprising:
And an algorithm of at least one of an alpha blending algorithm, a context depth algorithm, a vertical depth algorithm, an object depth algorithm, and a focus depth algorithm. Depth map generating device.

[Claim 19 is abandoned upon payment of the registration fee.]

The method according to claim 1,
The depth map ratio,
And a depth map ratio for at least one of a main depth, a sub 1 depth, a sub 2 depth, and an optional depth. Generating device.

[Claim 20 is abandoned upon payment of the registration fee.]

20. The method of claim 19,
Wherein,
Extracting the combination information conforming to the second condition according to the image feature information included in the classified image subjected to the image feature giving condition, and extracting the combination information from the conversion algorithm matched with the combination information and the depth map ratio And calculates a reliability unrecovered depth map ratio based on the depth map.

[Claim 21 is abandoned upon payment of the registration fee.]

21. The method of claim 20,
Wherein,
Depth (f) =? A +? B +? C
(A, B, C: each algorithm, α: predetermined main depth ratio, β: predetermined sub 1-depth ratio, γ: predetermined sub 2-depth ratio)
And calculates an unreliability depth map using the following equation.

[Claim 22 is abandoned upon payment of the registration fee.]

19. The method of claim 18,
Wherein,
And using a predetermined third condition to determine a conversion algorithm reliability (Fidelith).

[Claim 23 is abandoned due to the registration fee.]

23. The method of claim 22,
The third condition is that,
And probability information according to an algorithm included in the second condition.

[Claim 24 is abandoned upon payment of the registration fee.]

24. The method of claim 23,
Wherein,
Depth (f`) = α`A + β`B + γ`C
(A, B, and C: each algorithm, α ': probability information of a preset main depth ratio × A, β': probability information of a predetermined sub 1-depth ratio × B, γ`: predetermined sub- Probability information)
The depth-of-view calculating unit calculates the depth-of-view of the depth map by using the following equation.

[Claim 25 is abandoned upon payment of registration fee]

The method according to claim 1,
Wherein,
And generates 3D image data in which the depth map is applied to the 2D image data.

[Claim 26 is abandoned upon payment of registration fee.]

26. The method of claim 25,
Wherein,
And generates the 3D image data in which the left and right field-of-view images to which the depth map is applied is rendered.

[Claim 27 is abandoned upon payment of registration fee.]

26. The method of claim 25,
And a post-processing unit for stabilizing the 3D image data.

[Claim 28 is abandoned upon payment of registration fee.]

28. The method of claim 27,
The post-
A depth filter compensation stabilizer for the 3D image data is performed to confirm that the 3D image data is stabilized when the depth map information reflected in the 3D image data does not exceed a preset threshold value Of the depth map.

A preprocessing step of classifying the input 2D image data using a first condition including at least one of a modified time difference (MTD) condition, a scene detection condition, and an image characteristic providing condition; And
A transformation step of selecting a transformation algorithm corresponding to the classified image and generating a depth map according to a combination of the transformation algorithms;
Lt; / RTI >
The pre-
Grouping the remaining image data not classified as the MTD detected image into the similar scene group through the MTD condition among the 2D image data, analyzing the similar scene group for each group, and analyzing the static image, dynamic image, At least one image feature information among a close-up image, a non-close-up image, a natural image, and an artificial image is given,
The converting step
Wherein the transformation algorithm for the classified image that has performed the image feature-providing condition using a plurality of algorithms for each combination of image feature information, Wherein the depth map generating step comprises:

delete

[31] has been abandoned due to the registration fee.

30. The method of claim 29,
The pre-
In order to perform the MTD condition, the 2D image data is analyzed and an object moving horizontally in the 2D image data or a frame f (m) in which horizontal panning of the camera occurs MTD, and MTD detection image.

[32] is abandoned upon payment of the registration fee.

32. The method of claim 31,
The pre-
Wherein a scene change point and a frame within a scene change point are grouped into a similar scene group with respect to the rest of the image data not classified as the MTD detected image of the 2D image data to perform the scene detection condition .

delete

[Claim 35 is abandoned upon payment of registration fee.]

30. The method of claim 29,
Wherein,
Extracting the combination information conforming to the second condition according to the image feature information included in the classified image subjected to the image feature giving condition, and extracting the combination information from the conversion algorithm matched with the combination information and the depth map ratio And calculating a reliability map of the depth map on the basis of the depth maps.

[Claim 36 is abandoned upon payment of registration fee.]

30. The method of claim 29,
Wherein,
And a third condition including probability information according to an algorithm included in the second condition to determine a conversion algorithm reliability (Fidelith).