KR101660808B1

KR101660808B1 - 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법

Info

Publication number: KR101660808B1
Application number: KR1020110123374A
Authority: KR
Inventors: 우대식; 김종대; 박재범; 전병기; 정원석
Original assignee: 에스케이플래닛 주식회사; 시모스 미디어텍(주)
Priority date: 2011-11-24
Filing date: 2011-11-24
Publication date: 2016-09-29
Also published as: KR20130057586A; WO2013077508A1

Abstract

본 발명은 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 결정부를 포함한다. 하는 깊이 맵 생성 장치가 제공된다
본 발명에 따르면, 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있다.

Description

깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법{Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that}

본 발명은 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하며, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것이다.

최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.

일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.

깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.

일반적으로 입체변환은 수동방식과 자동방식으로 구분된다. 수동방식은 글자 그대로 모든 영상물에 대해 사람의 주관적인 판단에 따라서 영상을 보면서 깊이맵을 만드는 것이다. 이 과정은 영상물을 보면서 영상물의 세세한 부분까지도 깊이맵을 예상할 수 있는 사람의 주관적인 판단에 근거한다. 따라서 각각의 영상물에 대해 사람이 직접 깊이맵을 제작하게 되어, 실제로 깊이맵의 오류는 매우 작다. 그러나, 매 영상물마다 직접 사람이 개입하여 영상물의 깊이맵을 작성하기 때문에 많은 시간과 노력이 필요하다.

자동 입체 변환은 영상의 특징을 분석하여 적절한 깊이맵을 추출하고 이를 이용하여 좌, 우의 입체 영상을 생성하는 것을 의미한다. 이 과정에서 영상물 자체는 깊이 맵에 대한 정보가 없기 때문에 영상의 외곽(Edge) 특성, 색상, 밝기 특성, 소실점 특성과 같은 통상적인 영상 특징 등을 활용하여 깊이맵을 생성하게 된다. 그러나 이런 특징들은 영상물 자체가 가지는 영상의 입체 특성과 일치하지 않는 경우가 많기 때문에 입체의 효과가 크지 않다.

그리고, 하나의 영상물 안에는 다양한 형태의 영상내용이 포함되는데 각각의 영상물의 내용에 대해서 영상처리를 통해 깊이 맵을 추출하는 것은 사실상 불가능하고, 영상 처리를 통해 얻은 깊이 맵 역시 많은 오류를 포함하고 있다.

이러한 영상 처리를 통해 얻은 깊이 맵의 오류는 크게 2가지 형태로 나누어 볼 수 있다.

하나는 영상물의 부분 영역에서의 깊이 맵의 오류 또는 역전 현상 및 이들의 조합이며, 또 하나는 영상물 전체적인 깊이 맵의 오류 또는 역전 현상이다. 물론 이런 깊이 맵의 오류는 영상처리와 같은 기술적인 방법으로 구분하는 것조차 쉽지는 않다.

따라서, 영상물만을 가지고 자동으로 객관적인 관점에서 깊이 맵의 오류를 검출할 수 있는 기술이 필요하다.

국내공개특허 제2010-0008677호(2010.01.26), 발명의 명칭: 깊이 맵 추정 자치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 자동 입체 영상 변환 시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 일 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함하는 깊이 맵 생성 장치가 제공된다.

상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다.

상기 깊이 맵 초기화부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다.

상기 깊이 맵 결정부는 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구한 후, 상기 대표값과 상기 평균값을 이용하여 상관관계 값을 구한다.

상기 깊이 맵 결정부는 하기의 수학식을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다.

[수학식]

CRV = Σ (FFT(n) * Depth(n))

여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값이고, n은 각 블록(block)의 인덱스를 의미함.

또한, 상기 깊이 맵 결정부는 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다.

본 발명의 다른 측면에 따르면, 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 설정부, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 입체 영상 생성부를 포함하는 입체 영상 변환 장치가 제공된다.

상기 깊이 맵 설정부는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함한다.

본 발명의 또 다른 측면에 따르면, 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법에 있어서, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 제공된다.

상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계는, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 구해진 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 단계를 포함한다.

상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계는, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 한다.

본 발명의 또 다른 측면에 따르면, 입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계값을 구하는 단계, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 입체 영상 변환 장치가 자동으로 입체 영상을 변환하는 방법에 있어서, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 제공된다.

상기 최종 깊이 맵을 결정하는 단계는, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계, 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계, 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 단계를 포함한다.

본 발명의 또 다른 측면에 따르면, 입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 초기 깊이 맵의 타당 여부를 검사하여 최종 깊이 맵을 결정하는 단계, 상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

따라서 본 발명에 따르면, 영상물의 자동 입체 변환 과정에서 발생하는 입체 표현을 위한 깊이 맵(Depth Map)의 오류를 보정할 수 있다.

또한, 자동 입체 영상 변환시 영상처리를 통해 발생하는 영상의 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있다.

또한, 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있다.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도.
도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도.
도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도.
도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도.
도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면.
도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하에서는 아래의 2가지 전제조건을 만족하는 영상물에 대해서 입체를 표현하는 깊이 맵을 생성하고 보정하고자 한다.

전제조건1은 "통상적으로 밝은 색상이나 밝기가 강한 것은 거리가 가까운 경우가 많다"이다. 예를 들면, 많이 보는 사진중에 산이 멀리 있을수록 가까이 있는 산과 비교하면 색상이 무채색으로 변환되어 보인다. 또는 밝고 강한 색상의 물체가 멀어지면 멀어질수록 색상의 채도가 약해진다. 이와 같은 특징은 사람의 시각특성도 있지만 이를 촬상하는 카메라의 특징이기도 하다.

전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다. 예를 들면, 똑같은 물체가 가까이 있을 때와 멀리 있을 때 물체의 선명도가 다르며 이것은 시각적으로 또는 촬영하는 카메라의 해상도의 한계 때문에 발생한다.

본 발명은 상기와 같은 2가지 특성을 활용하여 입체의 변환 및 이를 보정하고자 한다. 전제조건1은 입체를 변환하기 위한 조건이며, 전제조건2는 이를 보정하기 위한 수단이 된다. 즉 영상물의 색상, 밝기정보를 가지고 깊이 맵을 추출하고 이러한 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 깊이 맵의 오류를 검출하고 이를 보정한다.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도이다.

도 1을 참조하면, 입체 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 설정부(120), 입체 영상 생성부(130)를 포함한다.

상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.

상기 깊이 맵 설정부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다.

상기 깊이 맵 설정부(120)에 대한 상세한 설명은 도 2를 참조하여 설명하기로 한다.

상기 입체 영상 생성부(130)는 상기 깊이 맵 설정부(120)에서 결정된 최종 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 입체 영상 생성부(130)는 상기 최종 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.

여기에서는 입체 영상 생성부(130)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 입체 영상 생성부(130)가 최종 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다.

상기와 같이 구성된 입체 영상 변환 장치(100)는 입력 영상의 특성 정보를 바탕으로 입력 영상에 대한 깊이 값을 설정함으로써, 2D의 입력 영상을 3D 영상(Stereoscopic Video)으로 변환할 수 있다.

도 2는 본 발명에 따른 깊이 맵 생성 장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 본 발명에 따른 입력 영상을 3차원의 입체 영상으로 변환할 경우 초기 깊이 맵과 최종 깊이 맵의 차이를 설명하기 위한 예시도, 도 4는 본 발명에 따른 FFT 고주파 성분의 영상을 설명하기 위한 예시도, 도 5는 본 발명에 따른 8x8 블록을 FFT를 통해 주파수 영역으로 표현한 블록의 예시도이다.

도 1에서는 깊이 맵 설정부로 하여 설명하였으나, 도 2에서는 깊이 맵 생성 장치(200)로 하여 설명하기로 한다.

도 2를 참조하면, 깊이 맵 생성 장치(200)는 특성 정보 추출부(210), 깊이 맵 초기화부(220), FFT(Fast Fourier Transform) 변환부(230), 깊이 맵 결정부(240)를 포함한다.

상기 특성 정보 추출부(210)는 입력 영상에 대해 적어도 하나의 특성 정보를 추출한다. 여기서, 상기 입력 영상은 단안(monocular) 영상이 될 수 있다.

상기 특성 정보 추출부(210)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.

상기 특성 정보 추출부(210)는 깊이 맵 생성을 위해 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특성 정보를 추출한다.

상기 깊이 맵 초기화부(220)는 상기 특성 정보 추출부(210)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다.

즉, 상기 깊이 맵 초기화부(220)는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다.

상기 깊이 맵 초기화부(220)는 상기 추출된 특성정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 맵(depth map)을 생성한다. 즉, 깊이 맵 초기화부(220)는 2차원 영상에 대한 깊이 맵(depth map)으로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 맵은 2차원 영상에 대한 프레임당 각 픽셀의 깊이 값(depth value)들을 저장한 데이터 구조이다.

상기 깊이 맵 초기화부(220)에서 생성된 초기 깊이 맵을 이용하여 입력 영상을 3차원의 입체 영상으로 변환한 예시를 도 3을 참조하여 설명하기로 한다.

도 3a의 영상을 살펴보면, 거미가 앞쪽에 있고 다음에는 꽃, 그리고 녹색의 배경이 있다. 따라서, 도 3a의 영상을 입체로 표현한다면 거미, 꽃, 배경과 같이 적절하게 3단계로 분리가 가능하여야 한다. 물론 더 세밀하게 표현이 가능하지만 설명을 위한 예로서 3단계로 구분하기로 한다. 이것은 주관적인 사람의 시각특성으로 이와 같이 분석이 가능하지만, 만약 이를 자동으로 영상처리를 통해서 분석하고자 한다면 전제조건1을 이용하여 가장 앞에 있을 것으로 판단되는 거미가 무채색이며 어둡기 때문에 가장 멀리 있는 것으로 깊이 맵이 표현이 될 것이다.

상기 전제 조건1에 따른 깊이 맵으로 도 3a의 영상을 입체 영상으로 변환한다면 도 3b와 같이 표현되어, 입체로 표현된 영상물은 정상적인 표현이 불가능하게 된다.

그러나, 상기 깊이 맵 초기화부(220)에서 생성된 깊이 맵을 사진의 인화필름같이 역전시킨 필름 영상물 같이 바꾸어준다면 정상적인 깊이 맵의 형성이 가능하다.

즉, 도 3b와 같이 생성된 초기 깊이 맵을 도 3c와 같은 깊이 맵으로 변환이 가능하다면 보다 오류가 적은 입체표현이 가능하다.

도 3c의 영상은 거미가 앞쪽에 있으므로 거미가 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현된다. 결과적으로 도 3c의 깊이 맵을 선택하면 오류를 개선시키면서 입체의 정상적인 표현이 가능하다.

따라서, 상기 깊이 맵 생성 장치(200)는 도 3a의 영상을 도 3b의 깊이 맵으로 선택하여 변환할지 또는 도 3c의 깊이 맵으로 선택하여 변환할지를 결정하여야 한다.

상기 깊이 맵 생성 장치(200)는 도 3b의 깊이 맵으로 선택하여 변환할지 또는 도 3c의 깊이 맵으로 선택하여 변환할지를 결정하기 위하여 상기 입력 영상을 FFT(Fast Fourier Transform) 변환을 수행하여 주파수 영상을 생성하고, 그 주파수 영상을 이용하여 최종 깊이 맵을 결정하게 된다.

따라서, 상기 깊이 맵 생성 장치(200)는 FFT 변환부(230), 깊이 맵 결정부(240)를 포함한다.

상기 FFT 변환부(230)는 상기 입력 영상에 대해 FFT를 수행하여 상기 입력 영상을 주파수 영역의 주파수 영상으로 변환한다. 즉, 상기 FFT 변환부(230)는 공간상의 입력 영상을 주파수 영상으로 변환한다.

상기 FFT 변환부(230)가 FFT를 수행하여 입력 영상을 주파수 영상으로 변환한 영상에 대해 도 4를 참조하기로 한다. 도 4를 참조하면, 밝은 부분일수록 선명하거나 강한 외곽을 가지고 있다. 즉, 주파수 영역에서 고주파 영역, 즉 선명도나 강한 외각을 표현하는 부분을 밝은 색으로 표현하면 도 3a의 영상에서 거미의 외곽이 밝게 표현되고 그 다음이 꽃 영역, 그리고 배경은 변화도가 거의 없기 때문에 어둡게 표현이 된다.

도 4와 같은 영상표현은 FFT의 특성으로, 도 5의 (a)는 입력 영상에서 8x8 pixel의 임의 영역을 표현한 것이고 도 5의 (b)는 (a)를 FFT를 통해서 주파수 영역으로 표현한 것이다.

도 5의 (b)에서 A 영역은 저주파 대역을 말하고, B 영역은 고주파 대역을 말한다. 즉, B 영역은 고주파 성분으로, 영상이 선명하거나 강한 외곽을 가지고 있으면 B 영역의 값이 커지고, 단순할수록 A영역 윗부분의 값이 커지고 B 영역의 값은 상대적으로 작아지게 된다.

이와 같이 주파수 영상에서 고주파 영역에 속하는 픽셀 값들의 총합, 즉 영상의 일부 영역에 속하는 8x8 블록(Block)에서 선명함을 표현하고 영상의 각 pixel간의 편차가 큰 것을 표현하는 B 영역의 총합을 화면의 8x8 pixel에 해당하는 대표값으로 정의한다. 이와 같이하여 각 블록 단위의 크기 값을 밝기 값으로 하여 영상으로 표현하면 도 4와 같은 FFT 고주파 성분을 활용한 영상표현이 된다.

상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)에서 생성된 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다.

즉, 상기 깊이 맵 결정부(240)는 상기 FFT 변환부(230)를 통해서 형성된 주파수 영상에서 임의의 8x8 block단위로 블록 선명도를 표현하는 대표값(FFT(n))을 구한다. 여기서, 상기 대표값은 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 구한다. 그런 다음 상기 깊이 맵 결정부(240)는 상기 FFT(n)의 블록 영역과 일치하는 초기 깊이 맵의 8x8 block의 평균값(Depth(n))을 구한 후 상기 대표값과 상기 평균값을 이용하여 상관 관계값(CRV(Co-Relation Value))을 구한다.

상기 깊이 맵 결정부(240)는 수학식 1을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구한다.

여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값이고, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값, n은 각 블록(block)의 인덱스를 의미한다. 상기 FFT(n)는 FFT 변환된 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들의 합을 말하고, 상기 초기 깊이 맵의 평균값은 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 의미한다.

상기 수학식 1을 통해 상관관계 값이 구해지면, 깊이 맵 결정부(240)는 상기 상관관계 값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정한다.

결과적으로 상기 깊이 맵 결정부(240)는 도 4와 같은 주파수 영역의 영상으로 변환된 주파수 영상을 활용하여, 도 3a의 영상을 자동으로 입체 변환하기 위한 깊이 맵으로 도 3b보다는 도 3c의 깊이 맵이 더 타당하다는 결론을 도출하게 된다.

또한, 상기 깊이 맵 결정부(240)는 전제조건1의 색상이 강하고 밝은 색상일수록 앞에 있다고 판단한 조건과 선명한 부분이 앞에 있다라는 조건이 일치한다면, 즉 상관관계 값이 미리 정해진 임계치 이상인 경우, 전제조건1로서 생성된 도 3b의 깊이 맵이 타당하다고 판단한다.

만약, 상기 상관관계 값이 미리 정해진 임계치 이상이 아닌 경우, 상기 깊이 맵 결정부(240)는 도 3c와 같이 역전 현상이 반영된 깊이 맵이 더 타당한 깊이 맵이라고 판단한다.

상기와 같이 구성된 깊이 맵 생성 장치(200)는 영상물의 색상, 밝기정보 등의 특성정보를 이용하여 초기 깊이 맵을 추출하고, 이러한 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해서 깊이 맵의 오류를 검출하여 최종 깊이 맵을 생성한다.

도 6은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 도면이다.

도 6을 참조하면, 입체 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S602). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.

상기 S602의 수행 후, 상기 입체 영상 변환 장치는 상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S604).

그런 다음 상기 입체 영상 변환 장치는 상기 초기 깊이 맵이 부분적 또는 전체적으로 타당한지에 대한 객관적인 검증을 통해 최종 깊이 맵을 결정한다(S606).

즉, 상기 입체 영상 변환 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다. 그런 다음 상기 입체 영상 변환 장치는 상기 주파수 영상에서 고주파 영역에 속하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값 구한다. 그런 다음 상기 입체 영상 변환 장치는 상기 구해진 대표값과 상기 평균값을 이용한 수학식 1을 이용하여 상관관계 값을 구한다.

그런 후, 상기 입체 영상 변환 장치는 상기 상관 관계값을 근거로 최종 깊이 맵을 결정한다.

상기 S606의 수행 후 상기 입체 영상 변환 장치는 상기 결정된 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환한다(S608).

도 7은 본 발명에 따른 깊이 맵 생성 장치가 깊이 맵을 생성하는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 깊이 맵 생성 장치는 입력 영상에 대해 적어도 하나의 특성 정보를 추출하고, 상기 추출된 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성한다(S702). 즉, 상기 깊이 맵 생성 장치는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등의 특성정보를 추출한다. 그런 다음 상기 깊이 맵 생성 장치는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성한다.

상기 S702의 수행 후, 상기 깊이 맵 생성 장치는 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한다(S704).

상기 S704의 수행 후, 상기 깊이 맵 생성 장치는 상기 변환된 주파수 영상이 전제 조건을 만족하는 영상인지의 여부를 판단한다(S706). 여기서, 상기 전제조건은 전제조건2로서, 전제조건2는 "통상적으로 영상내에서 선명한 부분이 거리가 가까운 경우가 많다"이다.

상기 S706의 판단결과 상기 전제조건을 만족하는 영상인 경우, 상기 깊이 맵 생성 장치는 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관관계 값을 구한다(S708). 상기 상관 관계값을 구하는 방법에 대한 상세한 설명은 도 2를 참조하기로 한다.

상기 S708의 수행 후, 상기 깊이 맵 생성 장치는 상기 구해진 상관 관계값이 미리 정해진 임계치 이상인지의 여부를 판단한다(S710).

상기 S710의 판단결과 임계치 이상인 경우, 상기 깊이 맵 생성장치는 상기 초기 깊이 맵을 최종 깊이 맵으로 결정한다(S712).

만약, 상기 S710의 판단결과 상기 상관 관계값이 임계치 이상이 아니면, 상기 깊이 맵 생성 장치는 상기 초기 깊이 맵의 깊이 값들을 반전시키고(S714), 상기 반전된 깊이 값들로 구성된 깊이 맵을 최종 깊이 맵으로 결정한다(S716).

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 자동 입체 영상 변환 시 영상처리를 통해 영상의 전체적인 깊이 맵의 오류를 객관적으로 검출 및 보정할 수 있고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 적용될 수 있다.

100 : 입체 영상 변환 장치 210 : 영상 분석부
220 : 깊이 맵 설정부 230 : 입체 영상 생성부
200 : 깊이 맵 생성 장치 210 : 특성정보 추출부
220 : 깊이 맵 초기화부 230 : FFT 변환부
240 : 깊이 맵 결정부

Claims

입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 특성정보 추출부;
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부;
상기 입력 영상에 대해 FFT(Fast Fourier Transform)를 수행하여 주파수 영상으로 변환하는 FFT 변환부; 및
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 결정부;
를 포함하는 깊이 맵 생성 장치.
제1항에 있어서,
상기 특성정보 추출부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출하는 것을 특징으로 하는 깊이 맵 생성 장치.
제1항에 있어서,
상기 깊이 맵 초기화부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값(initial depth)을 설정하여 초기 깊이 맵(depth map)을 생성하는 것을 특징으로 하는 깊이 맵 생성 장치.
제1항에 있어서,
상기 깊이 맵 결정부는 상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하고, 상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구한 후, 상기 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 것을 특징으로 하는 깊이 맵 생성 장치.
제4항에 있어서
상기 깊이 맵 결정부는 하기의 수학식을 이용하여 상관관계 값(CRV(Co-Relation Value))을 구하는 것을 특징으로 하는 깊이 맵 생성 장치.
[수학식]
CRV = Σ (FFT(n) * Depth(n))
여기서, 상기 FFT(n)은 상기 주파수 영상의 블록 선명도를 표현하는 대표값, 상기 Depth(n)은 FFT(n)의 블록 영역과 일치하는 블록 영역에 해당하는 초기 깊이 맵의 평균값, n은 각 블록(block)의 인덱스를 의미함.
제1항에 있어서,
상기 깊이 맵 결정부는 상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 하는 깊이 맵 생성 장치.
2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부;
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이 맵 설정부; 및
상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 입체 영상 생성부;
를 포함하는 입체 영상 변환 장치.
제7항에 있어서,
상기 깊이 맵 설정부는,
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 깊이 맵 초기화부;
상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 FFT 변환부; 및
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 깊이맵 결정부를 포함하는 것을 특징으로 하는 입체 영상 변환 장치.
깊이 맵 생성 장치가 깊이 맵을 생성하는 방법에 있어서,
입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;
상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계; 및
상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계;
를 포함하는 깊이 맵 생성 방법.
제9항에 있어서,
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계는,
상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계;
상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계; 및
상기 구해진 대표값과 상기 평균값을 이용하여 상관관계 값을 구하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 생성 방법.
제9항에 있어서,
상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계는,
상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 것을 특징으로 하는 깊이 맵 생성 방법.
입력 영상에 대해 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;
상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계;
상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계를 포함하는 깊이 맵 생성 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.
입체 영상 변환 장치가 자동으로 입체 영상을 변환하는 방법에 있어서,
입력된 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하고, 상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환한 후, 상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하고, 상기 상관 관계값을 근거로 최종 깊이 맵을 결정하는 단계; 및
상기 최종 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환하는 단계;
를 포함하는 입체 영상 변환 방법.
제13항에 있어서,
상기 최종 깊이 맵을 결정하는 단계는,
상기 특성 정보를 기초로 상기 입력 영상에 대한 초기 깊이 맵을 생성하는 단계;
상기 입력 영상에 대해 FFT를 수행하여 주파수 영상으로 변환하는 단계;
상기 주파수 영상에서 고주파 영역에 해당하는 픽셀 값들을 합하여 대표값을 구하는 단계;
상기 초기 깊이 맵에서 상기 대표값을 구한 영역과 일치하는 블록 영역에 해당하는 깊이 값들의 평균값을 구하는 단계;
상기 주파수 영상의 대표값과 상기 초기 깊이 맵의 평균값을 이용하여 상관 관계값을 구하는 단계; 및
상기 상관 관계값이 미리 정해진 임계치 이상인 경우, 상기 초기 깊이 맵을 최종 깊이 맵으로 결정하고, 상기 임계치 이상이 아닌 경우 상기 초기 깊이 맵의 깊이 값들을 반전시켜 그 반전된 깊이 맵을 최종 깊이 맵으로 결정하는 단계를 포함하는 것을 특징으로 하는 입체 영상 변환 방법.
삭제