KR101332638B1

KR101332638B1 - 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법

Info

Publication number: KR101332638B1
Application number: KR1020120013708A
Authority: KR
Inventors: 우대식; 박재범; 전병기; 김종대; 정원석
Original assignee: 시모스 미디어텍(주); 에스케이플래닛 주식회사
Priority date: 2012-02-10
Filing date: 2012-02-10
Publication date: 2013-11-25
Also published as: KR20130092157A; WO2013118955A1

Abstract

본 발명은 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 22차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 필터링부;, 상기 필터링된 영상에서 화소의 특성 변화도가 가장 큰 경계면을 선택하고, 상기 선택된 경계면을 기준으로 보정 정도에 따라 보정영역, 인근영역, 외곽영역으로 구분하는 영역 설정부, 상기 보정영역에 대해서 상기 필터링된 영상과 기 생성된 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 상기 인근영역 및 외곽영역의 깊이값 보정을 통해 보정된 깊이맵을 생성하는 깊이값 보정부를 포함한다.
본 발명에 따르면, 원영상과 일치하지 않는 깊이맵의 경계특성을 원영상을 고려하여 최대한 일치하도록 보정하여 불일치로 인한 어지러움을 완화시킬 수 있다.

Description

깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING DEPTH MAP AND APPARATUS AND METHOD FOR GENERATING 3D CONVERSION IMAGE USING THE SAME}

본 발명은 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것으로서, 보다 상세하게는 2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하여, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 필터링된 영상과 깊이맵의 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값 보정을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 관한 것이다.

최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.

일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.

깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.

일반적으로 입체변환은 수동방식과 자동방식으로 구분된다. 수동방식은 글자 그대로 모든 영상물에 대해 사람의 주관적인 판단에 따라서 영상을 보면서 깊이맵을 만드는 것이다. 이 과정은 영상물을 보면서 영상물의 세세한 부분까지도 깊이맵을 예상할 수 있는 사람의 주관적인 판단에 근거한다. 따라서 각각의 영상물에 대해 사람이 직접 깊이맵을 제작하게 되어, 실제로 깊이맵의 오류는 매우 작다. 그러나, 매 영상물마다 직접 사람이 개입하여 영상물의 깊이맵을 작성하기 때문에 많은 시간과 노력이 필요하다.

자동 입체 변환은 영상의 특징을 분석하여 적절한 깊이맵을 추출하고 이를 이용하여 좌, 우의 입체 영상을 생성하는 것을 의미한다. 이 과정에서 영상물 자체는 깊이 맵에 대한 정보가 없기 때문에 영상의 외곽(Edge) 특성, 색상, 밝기 특성, 소실점 특성과 같은 통상적인 영상 특징 등을 활용하여 깊이맵을 생성하게 된다. 그러나, 이런 특징들은 영상물 자체가 가지는 영상의 입체 특성과 일치하지 않는 경우가 많기 때문에 경우에 따라서는 입체표현을 위한 깊이맵에 많은 오류가 존재하며 특히 경계면의 특성에 오류가 많이 포함되어있다. 즉, 실제 영상물내 객체의 경계면과 입체표현을 위해서 만들어진 깊이맵의 경계면이 일치하지 않아서 경계면의 불완전한 입체표현으로 시각적으로 어지러움증을 발생시키거나 보기에 불편한 입체감을 느끼게 된다.

국내공개특허 제2010-0008677호(2010.01.26), 발명의 명칭: 깊이 맵 추정 장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 원영상과 일치하지 않는 깊이맵의 경계특성을 원영상을 고려하여 최대한 일치하도록 보정하여 불일치로 인한 어지러움을 완화시킬 수 있는 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 영상변환의 관점에서 영상 처리를 통해 영상물과 최대한 일치하는 경계특성을 가지도록 깊이 맵의 오류를 보정할 수 있는 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법을 제공하는데 있다.

본 발명의 일 측면에 따르면, 2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 필터링부, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하는 영역 설정부, 상기 보정영역에 대해서 상기 필터링된 영상과 기 생성된 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 깊이값 보정부를 포함하는 깊이 맵 보정 장치가 제공된다.

상기 필터링부는 상기 입력 영상의 노이즈 성분을 제거하는 노이즈 필터 또는 상기 입력 영상의 경계면에 대한 화소값의 편차를 일정 값 이상으로 크게 만드는 샤프(sharp) 특성 개선 필터일 수 있다.

상기 영역 설정부는 상기 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역을 보정영역으로 설정하는 보정영역 설정부, 상기 보정영역의 일정 거리내 인접영역을 인근영역으로 설정하는 인근영역 설정부, 상기 보정영역과 인근영역을 제외한 영역을 외곽영역으로 설정하는 외곽영역 설정부를 포함한다.

상기 깊이값 보정부는 하기의 수학식을 이용하여 보정영역에 해당하는 깊이 맵의 깊이값을 보정한다.

[수학식]

보정영역 New Depth(i) = Σ (SI(n) * Depth(n))

여기서, i는 보정영역의 좌, 우측까지의 pixel index, n은 interpolation 구간으로 보정영역보다 작게 설정함, 상기 SI(n) 는 입력영상(원영상)의 화소값, Depth(n)은 깊이맵의 화소값, New Depth(i)는 화소 위치 i에서의 보정된 깊이값을 의미함.

또한, 상기 깊이값 보정부는 상기 외곽영역에 대해 가우시안 필티링 또는 저역통과 필터링을 통해 상기 외곽영역에 대한 깊이값들을 보정한다.

또한, 상기 깊이값 보정부는 하기의 수학식을 이용하여 인근영역에 대한 깊이 맵의 깊이값을 보정한다.

[수학식]

인근영역 New Depth(i) = A + delta*i

여기서, i는 보정영역의 한쪽면에서 외곽영역의 한쪽면까지의 화소 index로 인근영역의 화소 위치, A는 보정영역에서 인근영역에 접한 화소값, delta는 ((B-A) / (k-j)), B는 외곽영역에서 인접영역에 접한 화소값, j는 A값을 가지는 화소의 위치 index, k는 B의 화소값을 가지는 화소의 위치 index임.

본 발명의 다른 측면에 따르면, 2차원의 입력영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부, 상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 생성된 깊이맵을 보정하는 깊이맵 보정부, 상기 보정된 깊이맵을 이용하여 상기 입력 영상을 3차원의 입체영상으로 변환하는 입체 영상 생성부를 포함하는 입체 영상 변환 장치가 제공된다.

상기 영상 분석부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출한다.

상기 깊이 맵 생성부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 깊이 값을 설정하여 깊이 맵(depth map)을 생성한다.

상기 깊이 맵 보정부는 상기 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택한 후, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 필터링된 영상과 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성한다.

본 발명의 또 다른 측면에 따르면, 깊이 맵 보정 장치가 깊이 맵을 보정하는 방법에 있어서, (a)2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 단계, (b)상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하는 단계, (c )상기 보정영역에 대해서 필터링된 영상과 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 단계를 포함하는 깊이 맵 보정 방법이 제공된다.

상기 (c) 단계는, 상기 보정영역에 대해 상기 필터링된 영상과 상기 깊이 맵의 보간을 수행하여 상기 보정영역에 대한 깊이 맵을 보정하는 단계, 상기 외곽영역에 대해 가우시안 필티링 또는 저역통과 필터링을 통해 상기 외곽영역에 대한 깊이값들을 보정하는 단계, 상기 보정영역에서 인근영역에 접한 화소값, 상기 보정영역과 외곽영역을 연결하기 위한 화소의 변화도에 해당하는 기울기 값을 이용하여 상기 인근영역에 대한 깊이값들을 보정하는 단계를 포함한다.

본 발명의 또 다른 측면에 따르면, 입체 영상 변환 장치가 2차원의 입력영상을 3차원의 입체영상으로 변환하는 방법에 있어서, 2차원의 입력영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 생성된 깊이맵을 보정하는 단계, 상기 보정된 깊이맵을 이용하여 상기 입력 영상을 3차원의 입체영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 제공된다.

상기 깊이맵을 보정하는 단계는, 상기 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택한 후, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 필터링된 영상과 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 것을 말한다.

따라서 본 발명에 따르면, 원영상과 일치하지 않는 깊이맵의 경계특성을 원영상을 고려하여 최대한 일치하도록 보정하여 불일치로 인한 어지러움을 완화시킬 수 있다.

또한, 영상변환의 관점에서 영상 처리를 통해 영상물과 최대한 일치하는 경계특성을 가지도록 깊이 맵의 오류를 보정할 수 있다.

또한, 깊이 맵의 오류를 보정하고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있다.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도.
도 2는 본 발명에 따른 깊이 맵 보정 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 흐름도.
도 4는 본 발명에 따른 보정 전후의 깊이 맵을 설명하기 위한 예시도.
도 5는 본 발명에 따른 깊이 맵 보정 장치가 깊이 맵을 보정하는 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 깊이 맵의 보정 과정을 설명하기 위한 도면.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 깊이 맵을 보정하기 위해서는 원영상(즉, 입력 영상임)과 깊이맵 사이에 다음과 같은 3가지의 조건이 전제되어야 한다.

① 전체적으로 깊이맵은 원영상의 깊이값을 적절하게 반영하고 있어야 하고, 단지 경계면과 같은 영역에서 부분적인 오류를 포함하고 있다.

② 원영상의 밝기나 색상 경계특성이 깊이맵의 경계 특성과 일치한다.

③ 원영상은 최대한 노이즈와 같은 외부의 영향이 최소화된 영상이어야 한다.

상기와 같은 전제조건을 근거로 깊이맵을 보정하는 방법에 대해 도면을 참조하여 설명하기로 한다.

도 1은 본 발명에 따른 입체 영상 변환 장치의 구성을 나타낸 블럭도이다.

도 1을 참조하면, 입체 영상 변환 장치(100)는 영상 분석부(110), 깊이 맵 생성부(120), 깊이 맵 보정부(130), 입체 영상 생성부(140)를 포함한다.

상기 영상 분석부(110)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.

상기 영상 분석부(110)는 깊이 맵 생성의 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특성 정보를 추출한다.

상기 깊이 맵 생성부(120)는 상기 영상 분석부(110)에서 추출된 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성한다. 즉, 상기 깊이 맵 생성부(120)는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 깊이 값을 설정하여 깊이 맵(depth map)을 생성한다.

또한, 상기 깊이 맵 생성부(220)는 상기 추출된 특성정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 맵(depth map)을 생성한다. 즉, 깊이 맵 생성부(220)는 2차원 영상에 대한 깊이 맵(depth map)으로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 맵은 2차원 영상에 대한 프레임당 각 픽셀의 깊이 값(depth value)들을 저장한 데이터 구조이다.

상기 깊이 맵 보정부(130)는 상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 깊이 맵 생성부(120)에서 생성된 깊이맵을 보정한다. 즉, 상기 깊이 맵 보정부(130)는 상기 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택한다. 그런 다음 상기 깊이 맵 보정부(130)는 상기 선택된 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 필터링된 영상과 깊이맵의 보간을 수행하여 깊이값을 보정한 후, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성한다.

상기 깊이 맵 보정부(130)에 대한 상세한 설명은 도 2를 참조하여 설명하기로 한다.

상기 입체 영상 생성부(140)는 상기 깊이 맵 보정부(130)에서 보정된 깊이 맵을 이용하여 상기 2차원의 입력 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 상기 입체 영상 생성부(140)는 상기 보정된 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 상기 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.

여기에서는 입체 영상 생성부(140)가 시차 정보를 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 상기 입체 영상 생성부(140)가 보정된 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다.

상기와 같이 구성된 입체 영상 변환 장치(100)는 입력 영상의 특성 정보를 바탕으로 입력 영상에 대한 깊이 값을 설정함으로써, 2D의 입력 영상을 3D 영상(Stereoscopic Video)으로 변환할 수 있다.

도 2는 본 발명에 따른 깊이 맵 보정 장치의 구성을 개략적으로 나타낸 블럭도이다.

도 1에서는 깊이 맵 보정부로 하여 설명하였으나, 도 2에서는 깊이 맵 보정 장치(200)로 하여 설명하기로 한다.

도 2를 참조하면, 깊이 맵 보정 장치(200)는 필터링부(210), 영역 설정부(220), 깊이값 보정부(230)를 포함한다.

상기 필터링부(210)는 2차원의 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행한다. 즉, 영상의 경계면은 노이즈 등과 같은 외부의 영향을 많이 받기 때문에, 상기 필터링부(210)는 영상처리를 하기 전에 노이즈 등에 의한 영향을 최소화하기 위해서 노이즈 필터링, 경계면의 특성을 강화시키기 위한 Sharp 특성 개선 필터링을 수행한다. 여기서, 상기 노이즈(noise) 필터링은 노이즈 성분을 감쇠하고, 필요로 하는 신호 성분을 통과시키기 위한 필터, 예를 들면 저역 필터(lowpass filter)를 이용하여 노이즈의 영향을 최소화하는 것을 말한다. 상기 Sharp 특성 개선 필터링은 시각적으로 영상의 경계면 구별이 좀더 명확하고 선명해지도록 하기 위해 경계면에 대한 화소값의 편차를 크게 만드는 것을 말한다. 따라서, 상기 Sharp 특성 개선 필터링은 화소값의 편차를 크게 만들기 위해 주어진 차단 주파수보다 높은 주파수 대역은 통과시키고 이보다 낮은 주파수 대역은 감쇄시키는 고주파 대역 통과필터(High Pass Filter)등을 통한 필터링을 의미할 수 있다.

따라서, 상기 필터링부(210)는 상기 입력 영상의 노이즈 성분을 제거하는 노이즈 필터, 상기 입력 영상의 경계면에 대한 화소값의 편차를 일정 값 이상으로 크게 만드는 샤프(sharp) 특성 개선 필터 등을 포함할 수 있다.

상기 영역 설정부(220)는 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분한다.

즉, 상기 영역 설정부(220)는 상기 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역을 보정영역으로 설정하고, 상기 보정영역의 일정 거리내에 있는 인접영역을 인근영역으로 설정하며, 상기 보정영역과 인근영역을 제외한 영역을 외곽영역으로 설정한다.

상기 보정영역은 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역으로 선택되며, 각 경계면을 기준으로 깊이 맵 보정을 수행하기 위한 영역이다. 상기 인근영역은 상기 보정 영역의 인접영역으로, 상기 보정영역의 깊이값 보정 후 좌/우 영역에 대한 깊이 값의 설정을 위한 영역을 말한다. 상기 외곽영역은 상기 보정영역과 인근영역을 제외한 영역으로, 각 경계면 외곽영역으로 전체적인 깊이 값 보정을 위한 영역을 말한다.

상기 깊이 값 보정부(230)는 상기 보정영역에 대해서, 상기 필터링된 영상과 기 생성된 깊이맵간의 보간(Interpolation)을 수행하여 상기 보정영역의 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성한다.

즉, 상기 깊이 값 보정부(230)는 수학식 1을 이용하여 보정 영역에 해당하는 깊이 맵의 깊이값(보정영역 New Depth(i))을 보정한다.

여기서, i는 보정영역의 좌/우측까지의 pixel index, n은 interpolation 구간으로 보정영역보다 통상적으로는 약간 작게 설정한다. 상기 SI(n) 는 입력영상(필터링된 영상)의 화소값, Depth(n)은 깊이맵의 화소값, New Depth(i)는 화소 위치 i에서의 보정된 깊이값을 의미한다.

다시 말하면, 상기 깊이 값 보정부(230)는 상기 필터링된 영상의 경계특성이 깊이 맵의 경계특성과 일치한다는 전제조건에 따라, 상기 보정 영역에 대해서 필터링된 영상과 깊이맵의 보간을 수학식 1에 따라 수행한다. 상기 interpolation은 원영상의 경계특성이 깊이맵에 반영되어 좀더 경계특성이 확연히 구별되는 깊이맵으로 보정된다.

상기 수학식 1을 통해 보정 영역의 깊이 값이 정해지면, 상기 깊이 값 보정부(230)는 상기 외곽영역에 대한 깊이값들을 보정한다.

상기 외곽영역의 보정은 경계면에 해당하는 보정영역과는 다르게 깊이 맵의 변화도가 매우 작은 안정된 영역으로, 이미 입체를 표현하기 위한 객체의 영역에 포함되어있기 때문에, 통상적으로는 보정을 하지 않거나 또는 깊이맵의 안정성을 위해서 가우시안 필티링 또는 이와 유사한 효과를 내는 저역통과 필터링을 수행한다. 상기 외곽영역을 위한 필터링은 전체적인 깊이맵의 안정성을 위해서 부가적으로 수행한다.

상기와 같이 외곽영역에 대한 깊이값들이 보정되면, 상기 깊이 값 보정부(230)는 상기 인근영역에 대한 깊이 값 보정을 수행한다. 즉, 상기 인근영역은 보정영역과 외곽영역의 중간영역으로 각 영역이 서로 다르게 보정이 이루어졌기 때문에 이 영역에 대한 연결을 위한 완충영역이다.

따라서, 상기 깊이 값 보정부(230)는 수학식 2를 이용하여 인근영역에 대한 깊이값 보정을 수행한다.

여기서, i는 보정영역의 한쪽면에서 외곽영역의 한쪽면까지의 화소 index로 인근영역의 화소 위치를 말하고, A는 보정영역에서 인근영역에 접한 화소값을 말한다.

상기 delta는 수학식 3과 같이 정의된다.

여기서, A는 보정영역에서 인근영역에 접한 화소값, B는 외곽영역에서 인근영역에 접한 화소값, j는 A값을 가지는 화소의 위치 index, k는 B의 화소값을 가지는 화소의 위치 index이다.

결과적으로 delta란 보정영역과 외곽영역을 연결하기 위한 화소의 변화도에 해당하는 기울기 값이다. 따라서 수학식 2에 따른 인근영역의 깊이 값은 보정영역의 마지막 화소값에서 외곽영역의 시작위치에 해당하는 화소값을 선형적으로 연결하여 깊이맵의 연속성을 보장하기 위한 것이다.

상기와 같은 방법을 이용하여 상기 깊이 값 보정부(230)는 각 영역에 해당하는 깊이값들이 보정된 깊이맵을 생성하게 된다.

도 3은 본 발명에 따른 입체 영상 변환 장치가 2차원의 입력 영상을 3차원의 입체 영상으로 변환하는 방법을 나타낸 흐름도, 도 4는 본 발명에 따른 보정 전후의 깊이 맵을 설명하기 위한 예시도이다.

도 3을 참조하면, 입체 영상 변환 장치는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다(S302). 여기서, 상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.

상기 S302의 수행 후, 상기 입체 영상 변환 장치는 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성한다(S304).

그런 다음 상기 입체 영상 변환 장치는 상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 생성된 깊이맵을 보정한다(S306). 상기 입체 영상 변환 장치가 깊이맵을 보정하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다.

상기 S304에서 생성된 깊이맵과 상기 S306에서 보정된 깊이맵을 비교하기 위해 도 4를 참조하기로 한다.

도 4의 (a)는 입체변환을 위한 원영상(입력영상임)의 예이다. (a)와 같은 원 영상(400)을 이용하여 깊이맵을 생성하면 도 4의 (b)와 같은 깊이 맵(410)이 생성된다. 즉, 상기 원영상(400)의 경계 특성을 기초로 깊이맵을 생성하면, 도 4의 (b)와 같은 깊이 맵(410)이 생성된다.

상기 생성된 깊이 맵(410)을 원영상(400)과 비교하여 보면, 전체적인 깊이맵(410)의 특성은 원영상(400)의 깊이 값을 적절하게 표현하고 있지만, 객체간의 경계면을 살펴보면 깊이 맵(410)이 매우 거칠게 표현되어 있다. 예를 들면, A사람과 B사람의 경계면에 대해 원영상(400)과 깊이맵(410)을 비교해 보면, 깊이맵(410)에서는 A사람과 B사람의 경계가 명확하지 않고, 시각적으로 자연스럽게 일치하지 않는 부분적인 오류가 존재한다. 즉, 깊이 맵(410)은 많은 굴곡을 가지는 형태로 표현이 되어, 원 영상(400)에 비해 해상도가 매우 낮은 특성을 가지고 있다.

(b)와 같이 원영상(400)에 비해서 경계면에 부분적인 오류가 존재하고 해상도가 낮은 특성을 가지는 깊이맵(410)에 대해서, 원영상(400)을 이용하여 자연스러운 입체감을 표현하기 위해 경계면을 보정함과 동시에 원 영상(400)의 해상도와 같은 수준의 깊이맵으로 보정하면 도 4의 (c)와 같이 경계면이 보정된 깊이 맵(420)이 생성된다.

즉, 상기 원영상(400)을 필터링하고, 그 필터링된 영상 내에서 화소값의 편차가 최대인 A사람과 B사람간의 경계면을 설정하고, 경계면을 기준으로 위치변화에 따라 화소값의 편차가 일정 값 이상인 영역을 보정영역으로 설정한 후, 상기 보정영역에 해당하는 깊이값을 수학식 1을 이용하여 보정하고, 인근영역 및 외곽영역의 깊이값을 보정하면, 도 4의 (c )와 같은 보정된 깊이맵(420)이 생성된다. 상기 인근영역 및 외곽영역의 깊이값을 보정하는 방법에 대한 상세한 설명은 도 2를 참조하기로 한다.

상기 보정된 깊이맵(420)을 살펴보면, A사람과 B사람간의 경계가 명확하여 A사람과 B사람을 명확하게 구분할 수 있고, 원 영상(400)과 비슷한 해상도를 가지고 있다는 것을 알 수 있다.

다시 도 3을 참조하면, 상기 S306의 수행 후, 상기 입체 영상 변환 장치는 상기 보정된 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 변환한다(S308).

상기와 같이 원영상과 일치하지 않는 깊이맵의 경계 특성을 원영상을 고려하여 최대한 일치하도록 보정하고, 그 보정된 깊이맵을 이용하여 2차원의 영상을 3차원의 입체 영상으로 변환하면, 불일치로 인한 어지러움을 완화시킬 수 있다.

도 5는 본 발명에 따른 깊이 맵 보정 장치가 깊이 맵을 보정하는 방법을 나타낸 흐름도, 도 6은 본 발명에 따른 깊이 맵의 보정 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 깊이 맵 보정 장치는 2차원의 입력 영상(이하에서는 원영상이라 칭하기로 함)에 대해 노이즈 필터링 및 sharp 특성 개선 필터링을 수행한다(S502). 즉, 영상의 경계면은 노이즈와 같은 외부의 영향을 많이 받기 때문에, 원영상은 최대한 노이즈가 없을수록 보정 효과를 높일 수 있다. 따라서, 깊이 맵 보정 장치는 영상처리를 하기 전에 노이즈와 같은 영향을 최소화하기 위해 노이즈 필터링을 수행하고, 경계면의 특성을 강화시키기 위해 Sharp 특성 개선 필터링을 수행한다. 상기 Sharp 특성 개선 필터링에 대해 도 4의 (a)를 참조하면, 영상내의 사람과 산과의 구별 경계면, 산과 하늘 사이의 구별 경계면 등이 각 객체의 구별 경계선이면서 입체의 경계면이기 때문에 이런 경계면을 시각적으로 좀더 구별되도록 경계면 사이 화소값의 편차를 크게 만드는 것이 Sharp 특성 개선 필터링일 수 있다.

상기 S502의 수행 후, 상기 깊이 맵 보정 장치는 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고(S504), 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분한다(S506).

상기 보정영역은 상기 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역으로 선택되며, 각 경계면을 기준으로 깊이 맵 보정을 수행하기 위한 영역이다. 상기 인근영역은 상기 보정 영역의 인접영역으로, 상기 보정영역의 깊이값 보정 후 좌/우 영역에 대한 깊이 값의 설정을 위한 영역을 말한다. 상기 외곽영역은 상기 보정영역과 인근영역을 제외한 영역으로, 각 경계면 외곽영역으로 전체적인 깊이 값 보정을 위한 영역을 말한다.

상기와 같이 구분된 각각의 영역은 먼저 보정영역의 보정범위가 설정되고, 보정범위를 벗어난 좀더 안정된 깊이값을 가지는 인근영역을 설정한 후, 그 외의 영역을 외곽 영역으로 정의한다.

상기 S506의 수행 후, 상기 깊이 맵 보정 장치는 상기 보정영역에 대해서 상기 필터링된 영상과 기 생성된 깊이맵간의 보간(Interpolation)을 수행하여 상기 보정영역의 깊이값을 보정한다(S508).

즉, 상기 깊이 맵 보정 장치는 수학식 1을 이용하여 보정 영역에 해당하는 깊이 맵의 깊이 값을 보정한다.

다시 말하면, 상기 깊이 맵 보정 장치는 필터링된 영상의 경계특성이 깊이 맵의 경계특성과 일치한다는 전제조건에 따라, 상기 보정 영역에 대해서 필터링된 영상과 깊이맵의 보간을 수학식 1에 따라 수행한다. 상기 보간(interpolation)은 원영상의 경계특성이 깊이맵에 반영되어 좀더 경계특성이 확연히 구별되는 깊이맵으로 보정된다.

상기 S508에 의해 보정 영역에 해당하는 깊이 맵의 깊이값들이 보정되면, 상기 깊이 맵 보정 장치는 상기 외곽영역에 대한 깊이값들을 보정한다(S510).

상기 외곽영역의 보정은 경계면에 해당하는 보정영역과는 다르게 깊이 맵의 변화도가 매우 작은 안정된 영역으로 이미 입체를 표현하기 위한 객체의 영역에 포함되어있기 때문에 통상적으로는 보정을 하지 않거나 또는 깊이맵의 안정성을 위해서 가우시안 필티링 또는 이와 유사한 효과를 내는 저역통과 필터링을 수행한다. 상기 외곽영역을 위한 필터링은 전체적인 깊이맵의 안정성을 위해서 부가적으로 수행한다.

상기 S510이 수행되면, 상기 깊이 맵 보정 장치는 인근영역에 대한 깊이값 보정을 수행한다(S512). 즉, 상기 인근영역의 깊이값 보정은 상기 보정영역과 외곽영역의 중간영역으로 각 영역이 서로 다르게 보정이 이루어졌기 때문에 이 영역에 대한 연결을 위한 완충영역이다. 따라서, 상기 깊이 맵 보정 장치는 수학식 2를 이용하여 인근영역에 대한 깊이값 보정을 수행한다.

상기 S512가 수행되면, 상기 깊이맵 보정 장치는 각 영역에 해당하는 깊이값들이 보정된 깊이맵을 생성하게 된다(S514).

상기 깊이 맵 보정 장치가 원 영상을 이용하여 깊이 맵을 보정하는 방법에 대해 도 6을 참조하여 설명하기로 한다.

상기 깊이 맵 보정 장치가 깊이 맵을 보정하기 위한 영상은 x, y 공간의 2차원의 영상이지만, 설명의 편의를 위해 수평방향의 축을 기점으로 1차원적으로 표현하여 설명하기로 한다.

도 6을 참조하면, (1)은 원영상의 위치 변화에 따른 화소의 특성(또는 크기, 값 등임)을 나타낸 것으로, (1)과 같은 원 영상에 대해 노이즈 및 샤프 특성 필터링을 수행하면 (2)와 같은 화소의 특성을 갖는 영상으로 변환된다. 즉, 원영상에 노이즈 및 샤프 특성 필터링을 수행하면, (2)와 같이 영상의 노이즈 성분이 제거되고 경계면의 구별이 명확하게 된다.

(2)에서 화소값의 편차가 최대인 위치들을 경계면으로 선택하면, 상승부분과 하강부분의 V1과 V2가 선정된다. 상기 선정된 V1, V2의 경계면을 기준으로 보정영역(a), 인근영역(b), 외곽영역(c)으로 구분한다. 각각의 영역은 먼저 보정영역(a)의 보정범위가 설정되고 보정범위를 벗어난 좀더 안정된 깊이값을 가지는 인근영역(b)를 설정한다. 그리고 그 외의 영역을 외곽영역(c)으로 설정한다.

상기 보정영역(a)은 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역이 선택되고, 인근영역(b)은 보정 영역(a)의 인접영역으로 보정영역(a)과 일정 거리에 있는 영역이 선택되고, 외곽 영역(c)은 보정영역(a)과 인근영역(b)을 제외한 영역이 선택된다.

상기 깊이 맵 보정 장치는 필터링된 영상의 경계 특성이 깊이 맵의 경계 특성과 일치한다는 전제조건에 따라, 보정영역(a)에 대해서 필터링된 영상(2)와 깊이 맵(3)의 보간을 수행한다. 여기서, 상기 깊이 맵(3)은 상기 원영상(1)으로부터 추출된 특성 정보를 이용하여 생성된 깊이 맵이다.

그런 다음 상기 깊이 맵 보정 장치는 인근영역과 외곽영역에 대해서도 보정을 수행하여 (4)와 같이 보정된 깊이 맵을 얻게 된다.

상기 보정영역, 인근영역, 외곽영역에 대한 깊이값을 보정하는 방법에 대한 상세한 설명은 도 2를 참조하기로 한다.

상기와 같은 과정을 통해 보정된 깊이맵(4)을 기 생성된 깊이맵(3)과 비교하면, 보정된 깊이맵(4)에서 보정영역(a)의 깊이 값이 기 생성된 깊이맵(3)의 해당 영역의 깊이 값보다 원영상(1)과 일치됨을 알 수 있다.

또한, 보정후의 경계값을 살펴보면 경계면은 원영상에 최대한 가깝게 이동하는 형태로 보정이 이루어지며 깊이맵의 변동성을 최대한 억제된 형태로 표현이 된다. 물론 깊이맵 원래의 부분적인 변동 부분이 보정 영역내에서 완전히 제거될 수는 없지만 사람의 시각적인 특성은 경계의 일치 여부에 더욱 민감하기 때문에 실제 입체감은 많은 개선을 이룰 수 있다.

본 발명에 따른 입체 영상 변환 장치 또는 깊이 맵 보정 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등의 형태로도 구현 가능하고, 본 발명에 따른 입체 영상 변환 방법 또는 깊이 맵 보정 방법은 이들 장치에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행 가능할 수 있다.

본 발명의 또 다른 측면에 따르면, 2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 단계, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하는 단계, 상기 보정영역에 대해서 필터링된 영상과 깊이맵의 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 단계를 포함하는 깊이 맵 보정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 2차원의 입력영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 입력 영상을 필터링하고, 그 필터링된 입력영상을 이용하여 상기 생성된 깊이맵을 보정하는 단계, 상기 보정된 깊이맵을 이용하여 상기 입력 영상을 3차원의 입체영상으로 변환하는 단계를 포함하는 입체 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

깊이 맵 보정 방법 및 입체 영상 변환 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 자동 입체 영상 변환 시 영상처리를 통해 영상의 전체적인 깊이 맵의 오류를 보정할 수 있고, 그 보정된 깊이 맵을 이용하여 2차원의 영상을 3차원의 영상으로 변환하여 영상 변환의 오류를 최소화할 수 있는 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법에 적용될 수 있다.

100 : 입체 영상 변환 장치 110 : 영상 분석부
120 : 깊이 맵 생성부 130 : 깊이 맵 보정부
140 : 입체 영상 생성부 200 : 깊이 맵 보정 장치
210 : 필터링부 220 : 영역 설정부
230 : 깊이값 보정부

Claims

2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 필터링부;
상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 선택된 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하는 영역 설정부; 및
상기 보정영역에 대해서 상기 필터링된 영상과 기 생성된 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 깊이값 보정부;
를 포함하는 깊이 맵 보정 장치.
제1항에 있어서,
상기 필터링부는 상기 입력 영상의 노이즈 성분을 제거하는 노이즈 필터 또는 상기 입력 영상의 경계면에 대한 화소값의 편차를 일정 값 이상으로 크게 만드는 샤프(sharp) 특성 개선 필터인 것을 특징으로 하는 깊이 맵 보정 장치.
제1항에 있어서,
상기 영역 설정부는
상기 필터링된 영상의 경계면을 기준으로 위치 변화에 따라 화소값의 편차가 일정 값 이상인 영역을 보정영역으로 설정하는 보정영역 설정부;
상기 보정영역의 일정 거리내에 있는 인접영역을 인근영역으로 설정하는 인근영역 설정부; 및
상기 보정영역과 인근영역을 제외한 영역을 외곽영역으로 설정하는 외곽영역 설정부를 포함하는 것을 특징으로 하는 깊이맵 보정장치.
제1항에 있어서,
상기 깊이값 보정부는 하기의 수학식을 이용하여 보정영역에 해당하는 깊이 맵의 깊이값을 보정하는 것을 특징으로 하는 깊이맵 보정 장치.
[수학식]
보정영역 New Depth(i) = Σ (SI(n) * Depth(n))
여기서, i는 보정영역의 좌, 우측까지의 pixel index, n은 interpolation 구간으로 보정영역보다 작게 설정함, 상기 SI(n) 는 입력영상(원영상)의 화소값, Depth(n)은 깊이맵의 화소값, New Depth(i)는 화소 위치 i에서의 보정된 깊이값을 의미함.
제1항에 있어서,
상기 깊이값 보정부는 상기 외곽영역에 대해 가우시안 필티링 또는 저역통과 필터링을 통해 상기 외곽영역에 대한 깊이값들을 보정하는 것을 특징으로 하는 깊이맵 보정 장치.
제1항에 있어서,
상기 깊이값 보정부는 하기의 수학식을 이용하여 인근영역에 대한 깊이 값을 보정하는 것을 특징으로 하는 깊이 맵 보정 장치.
[수학식]
인근영역 New Depth(i) = A + delta*i
여기서, i는 보정영역의 한쪽면에서 외곽영역의 한쪽면까지의 화소 index로 인근영역의 화소 위치, A는 보정영역에서 인근영역에 접한 화소값, delta는 ((B-A) / (k-j)), B는 외곽영역에서 인접영역에 접한 화소값, j는 A값을 가지는 화소의 위치 index, k는 B의 화소값을 가지는 화소의 위치 index임.
2차원의 입력영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부;
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 깊이 맵 생성부;
상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 생성된 깊이맵을 보정하는 깊이맵 보정부; 및
상기 보정된 깊이맵을 이용하여 상기 입력 영상을 3차원의 입체영상으로 변환하는 입체 영상 생성부;
를 포함하고,
상기 깊이 맵 보정부는 상기 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택한 후, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 상기 필터링된 영상과 상기 생성된 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 것을 특징으로 하는 입체 영상 변환 장치.
제7항에 있어서,
상기 영상 분석부는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 특성정보를 추출하는 것을 특징으로 하는 입체 영상 변환 장치.
제7항에 있어서,
상기 깊이 맵 생성부는 상기 입력 영상을 구성하는 복수의 화소(pixel)들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 깊이 값을 설정하여 깊이 맵(depth map)을 생성하는 것을 특징으로 하는 입체 영상 변환 장치.
삭제
깊이 맵 보정 장치가 깊이 맵을 보정하는 방법에 있어서,
(a)2차원의 입력 영상에 대해 노이즈 필터링 또는 샤프(sharp) 특성 개선 필터링을 수행하는 단계;
(b)상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택하고, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하는 단계; 및
(c )상기 보정영역에 대해서 상기 필터링된 영상과 기 생성된 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 단계;
를 포함하는 깊이 맵 보정 방법.
제11항에 있어서,
상기 (c) 단계는,
상기 보정영역에 대해 상기 필터링된 영상과 상기 깊이 맵을 이용한 보간을 수행하여 상기 보정영역에 대한 깊이 맵을 보정하는 단계;
상기 외곽영역에 대해 가우시안 필티링 또는 저역통과 필터링을 통해 상기 외곽영역에 대한 깊이값들을 보정하는 단계; 및
상기 보정영역에서 인근영역에 접한 화소값, 상기 보정영역과 외곽영역을 연결하기 위한 화소의 변화도에 해당하는 기울기 값을 이용하여 상기 인근영역에 대한 깊이값들을 보정하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 보정 방법.
입체 영상 변환 장치가 2차원의 입력영상을 3차원의 입체영상으로 변환하는 방법에 있어서,
2차원의 입력영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계;
상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계;
상기 입력 영상을 필터링하고, 그 필터링된 영상을 이용하여 상기 생성된 깊이맵을 보정하는 단계; 및
상기 보정된 깊이맵을 이용하여 상기 입력 영상을 3차원의 입체영상으로 변환하는 단계;
를 포함하고,
상기 깊이맵을 보정하는 단계는,
상기 입력 영상에 대해 노이즈 필터링 또는 sharp 특성 개선 필터링을 수행하고, 상기 필터링된 영상 내에서 화소값의 편차가 최대인 위치들을 각각 경계면으로 선택한 후, 상기 경계면을 기준으로 보정영역, 인근영역, 외곽영역으로 구분하고, 상기 보정영역에 대해서 필터링된 영상과 깊이맵을 이용한 보간을 수행하여 깊이값을 보정하고, 필터링을 통해 상기 외곽영역의 깊이값을 보정하며, 상기 보정영역과 상기 외곽영역을 이용해 상기 인근영역의 깊이값을 보정하여 보정된 깊이맵을 생성하는 것을 특징으로 하는 입체 영상 변환 방법.
삭제