KR100742752B1

KR100742752B1 - 평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법

Info

Publication number: KR100742752B1
Application number: KR1020040026950A
Authority: KR
Inventors: 금동교; 임송택; 배경훈
Original assignee: 주식회사 후후
Priority date: 2004-04-20
Filing date: 2004-04-20
Publication date: 2007-07-26
Also published as: KR20050102157A

Abstract

본 발명은 평활화된 변이 추정 기법을 이용한 스테레오 영상의 복원 방법을 개시한다. 본 발명의 변이 추정 기법을 이용한 스테레오 영상 복원 방법은 (a) 스테레오 영상을 입력받아 특징값을 추출하고, 특징값들을 0 과 1 사이의 값으로 정규화하는 단계; (b) 정규화된 특징값들에 따라서 적응적으로 정합창의 크기를 결정하는 단계; (c) 정합창에 변이 평활화를 수행하는 단계; (d) 평활화된 변이값을 원래의 화소값과 비교하여 최종 변이값을 결정하는 단계; 및 (e) 최종 결정된 변이값에 따라서 예측 영상을 복원하는 단계를 포함한다.

Description

평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법{Method for reconstructing stereo images using regularized adaptive disparity estimation scheme}

도 1은 평활화된 적용된 적응적 변이추정 기법을 이용한 스테레오 영상복원 방법을 설명하는 흐름도이다.

도 2 는 렌즈의 축이 서로 병렬로 놓인 카메라 구조에서 대응점을 찾기 위한 에피폴라 기하학(epipolar geometry)을 나타낸 도면이다.

도 3 은 평활화 기법의 간단한 적용예를 도시한 도면이다.

도 4 는 입력 스테레오 영상으로서 "Man"의 좌영상(a) 및 우영상(b)과 "Claude"의 좌영상(c) 및 우영상(d)을 도시한 도면이다.

도 5 는 복원 영상의 임계값에 따른 PSNR의 성능을 비교한 도면이다.

도 6 은 "Man" 영상 및 "Claude" 영상의 화소기반((a),(d)), 적응기반((b),(e)), 및 본 발명((c),(f))의 변이 지도를 각각 도시한 도면이다.

도 7 은 "Man" 영상 및 "Claude" 영상의 화소기반((a),(d)), 적응기반((b),(e)), 및 본 발명((c),(f))의 오차영상을 각각 도시한 도면이다.

도 8 은 "Man" 영상 및 "Claude" 영상의 화소기반((a),(d)), 적응기반((b),(e)), 및 본 발명((c),(f))의 복원 영상을 각각 도시한 도면이다.

본 발명은 스테레오 영상 복원 방법에 관한 것으로서, 구체적으로 변이 추정 기법을 이용한 스테레오 영상의 복원 방법에 관한 것이다.

우리가 자연환경에서 실물을 입체적으로 볼 수 있는 것은 두 눈의 양안시차(binocular disparity)에 의한 것으로, 이는 두 눈이 서로 다른 시점의 영상을 동시에 인식하고 인간의 뇌가 두 영상의 차이를 이용하여 입체영상을 효과적으로 합성하고 인식하기 때문이다. 이러한 인간 시각 시스템(human visual system)의 양안시차 원리를 이용한 것이 스테레오스코픽 3D 디스플레이 시스템이다.

이러한, 스테레오스코픽 디스플레이 시스템은 기존의 단안 카메라와 달리 2개의 카메라에 의한 서로 다른 두 개의 스테레오 영상의 획득이 요구되고, 따라서 신호 전송시 대역폭의 증가되어야 한다. 스테레오 영상 전송과 관련해서 가장 중요한 문제점은 두 영상이 각각 독립적으로 부호화 된다면, 단안 영상을 전송하는 것과 비교해 볼 때 스테레오 영상 전송에 필요한 대역폭은 두 배로 증가하게 된다는 것이다. 더욱이, 기존의 양안에 의한 스테레오 영상은 특정한 위치에서 극히 제한된 시야에서만 입체감이 나타나기 때문에, 보다 자연스러운 "Look-around" 효과를 제공하거나 또는 여러 관찰자가 동시에 시청할 수 있게 하기 위해서는 넓은 시역을 갖는 다시점(multiview) 스테레오 영상이 요구된다. 그러나, 이러한 시점 수의 증가는 결국 엄청난 전송 대역폭의 증가를 가져오게 된다.

따라서, 이러한 전송 대역폭의 증가를 보다 효과적으로 해결할 수 있는 접근방식으로 스테레오 영상 압축방식 중 하나인 변이추정(disparity estimation) 방식이 활발히 연구되고 있다. 변이 추정 방식에서, 물체의 한점을 좌, 우 두개의 입력평면에 투사함으로써 생긴 스테레오 영상쌍의 오른쪽과 왼쪽 영상에 있어서 일치하는 점들의 위치에 따른 차이를 변이(disparity)라고 정의한다. 또한, 기준영상에서 예측영상을 고려하여 각 블럭 혹은 화소 크기의 변이를 추정하는 과정을 변이추정이라고 하고, 이를 이용하여 스테레오 영상신호를 단안 영상을 전송하는데 필요한 수준으로 신호 대역폭을 압축하여 전송한 다음 수신측에서 이를 이용하여 스테레오 영상쌍을 복원한다.

일반적으로, 변이추정 기법은 스테레오 영상에서 불필요한 잉여정보를 제거하는데 사용된다. 기존에 제시된 변이추정 방식 중에서 화소기반(pixel-based) 추정방식은 세밀한 추정이 가능하지만 정합과정에서 오정합(mismatching)이 나타날 확률이 높고, 블럭기반(block-based)의 추정방식에서는 블럭화 현상(blocking effect)이 발생하는 경우가 있다. 또한, 특징기반(feature-based)의 추정방식은 영상의 특징에 따른 효율적인 정합이 가능하지만 특징값이 없는 유사영역 부분에서 잘못된 변이할당이 발생하는 단점이 있다.

최근, 이러한 기존의 변이추정 방식의 단점을 보완할 수 있는 새로운 접근방식으로 스테레오 영상의 특징값에 따라 적응적으로 정합창(matching window)의 크기를 선택하여 추정하는 적응적(adaptive) 변이추정 방식이 제시된 바 있다. 이러 한 적응적 변이추정 방식은 기존 방식에 비해 복원된 영상의 PSNR(peak signal-to-noise ratio)성능이 크게 개선되는 것으로 분석되고 있지만, 정합창의 크기가 입력 영상의 특징값에 따라 적응적으로 변하기 때문에 정합창이 겹치는 부분이 발생할 수가 있고, 정합창이 할당되지 못하는 부분이 생기는 문제점이 있다.

본 발명의 목적은 이러한 기존의 적응적 변이추정 기법의 문제점을 해결할 수 있도록 기존의 적응적 변이추정 방식에 평활화(regularization) 기법을 적용하여 보다 효율적인 스테레오 영상 복원방법을 제공하는 것이다.

상술한 기술적 과제를 이루기 위한 본 발명의 평활화 기법을 적용한 적응적 변이추정 방법은 스테레오 영상의 주어진 탐색범위 안에서 상호 대응되는 특징값을 추출하고, 추출된 특징값의 크기에 따라 설정된 임의의 임계값과 그 크기를 비교하여 해당되는 정합창을 선택해 정합을 수행한 후, 평활영역에서의 인접 변이벡터들 사이에는 유사성이 크다는 점을 이용하여 인근 평균방법(neighborhood averaging)으로 변이들을 평활화하게 된다. 이때, 물체와 배경사이의 경계값을 보존하고 과평활화(over regularization)에 의한 영상의 손상을 막기 위해 임계값을 설정하여 평활화한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 평활화된 적용된 적응적 변이추정 기법을 이용한 스테레오 영상복원 방법을 설명하는 흐름도이다. 도 1 을 참조하면, 본 발명은 먼저, 스테레오 영상 을 입력받아(S100), 특징값을 추출하고 특징값들을 0 과 1 사이의 값으로 정규화한다(S105).

그 후, 정규화된 특징값들에 따라서 적응적으로 정합창의 크기를 결정한다. 구체적으로, 먼저, 소정의 순서의 복수의 임계값과 상기 복수의 임계값 각각에 대응되는 복수의 정합창의 크기 중, 임계값 및 이에 대응되는 정합창을 설정한다(S110). 본 발명의 바람직한 실시예에서는, 임계값을 5 단계(0.15, 0.3, 0.45, 0.6, 0.75)로 설정하였고, 이에 대응하는 정합창의 크기 역시 5단계(16×16, 8×8, 4×4, 2×2, 1×1)로 각각 설정하였고, 최초에 임계값은 가장 큰 값인 0.75로 정합창은 1×1 크기로 각각 설정하였다.

임계값이 설정되면, 특징값과 임계값을 비교하고(S112), 특징값이 설정된 임계값보다 큰 경우에, 설정된 정합창의 크기를 최종 정합창의 크기로 결정한다(S120).

그러나, 특징값이 설정된 임계값보다 작은 경우에, 임계값을 다음 순서의 임계값(0.6)으로 재설정하고, 정합창을 상기 재설정된 임계값에 대응되는 2×2 로 재설정하여, 제 S112 단계부터 재수행한다(S114).

상술한 제 S112 단계 내지 제 S120 단계를 수행하여 정합창의 크기가 결정되면, 정합창에 변이 평활화를 수행한다(S130). 변이 평활화는 평활화가 수행될 화소에 인접한 화소의 평균값을 상기 평활화가 수행될 화소의 화소값으로 설정하는 방식으로 수행되는 것이 바람직하다.

그 후, 평활화된 변이값을 원래의 화소값과 비교하여 최종 변이값을 결정하 게 되는데, 구체적으로 원래의 화소값과 평활화된 화소값간의 차를 계산하여 소정의 임계값과 비교한다(S140).

비교결과, 차가 임계값보다 큰 경우에는 상기 원래의 화소값을 최종 변이값으로 결정하고(S142), 상기 차가 상기 임계값보다 작은 경우에는 상기 평활화된 화소값을 최종 변이값으로 결정한다(S144).

그 후, 최종 결정된 변이값에 따라서 예측 영상을 복원한다(S150).

상술한 바와 같이, 본 발명은 스테레오 입력영상으로부터 특징값을 추출하고 설정된 임계값과 비교하여 특징값의 크기를 결정한 후, 그 특징값의 크기에 따라 적응적으로 정합창의 크기를 선택하여 변이를 추정한 다음 평활화 과정을 거쳐 예측된 영상을 복원하게 된다. 기존의 적응적 변이추정 방식에서는 정합창의 크기가 입력 영상의 특징값에 따라 적응적으로 변하기 때문에 정합창이 겹치거나 정합창이 할당되지 못하는 영역이 발생할 수 있으므로, 본 발명은 기존의 적응적 변이추정 방식에 임계값을 설정하여 경계값을 보존하는 평활화 기법을 적용하여 보다 효율적인 스테레오 영상 복원기법을 제시하였다.

즉, 추정된 인접 변이벡터들 사이의 유사성을 이용하여 인근 변이벡터들을 평활화함으로써 기존의 적응적 정합창에서 발생했던 잘못된 변이벡터의 보정 뿐만 아니라 경계부분에서는 최적의 경계 보존값을 찾아 복원함으로써 보다 효율적인 예측영상의 복원이 가능하다.

적응적 변이추정 기법에서는 좌, 우 스테레오 영상 중 한쪽 영상을 화소 단위로 나눈 뒤 다른 한쪽 영상에서 비용 함수(cost function)를 최소로 만드는 대응 점을 찾아 그 이동량을 변이값으로 결정하고 이를 특징기반의 변이추정 방식에 적용하여 특징값을 추출한다.

본 발명은 입력된 영상으로부터 변이정보를 추출하기 위한 비용함수로 MSE(mean square error)를 사용하였다. 다음의 수학식 1과 같이 주어지는 MSE 함수는 다른 비용함수들에 비해 계산량은 많으나 제곱 연산으로 정확한 변이추정이 가능하다. 수학식 1에서, N_x , N_y 는 블럭 또는 화소 크기를, I_L(i,j) 는 좌측(기준) 영상의 좌표를, I_R(i+d,j) 는 I_L(i,j)에 대응되는 우측(예측) 영상의 좌표를 각각 나타낸다.

수학식 1에서 좌영상을 기준으로 우영상의 탐색범위 내에서 좌표값을 변화시키면서 화소값의 차이를 구한 MSE값들 중에서 최소값을 갖는 화소가 정합된 화소로 결정되고 좌, 우 영상의 좌표값 차이로 수학식 2와 같은 최적의 변이벡터를 얻게 된다.

여기서,

와

는 예측영상과 기준영상을,

는 탐색범위 내의 변이 값을,

는 예측영상인

의 i 번째 크기의 블럭을 각각 나타낸다. 수학식 2에서 얻어지는 변이벡터는 블럭을 대표하는 값으로 변이지도(disparity map)를 나타내는데 사용된다.

도 2 는 렌즈의 축이 서로 병렬로 놓인 카메라 구조에서 대응점을 찾기 위한 에피폴라 기하학(epipolar geometry)을 나타낸 도면이다. 도 2 에서 공간상의 임의의 점 P는 좌, 우 카메라 렌즈의 중심, O_L , O_R 을 통해 좌, 우 영상 평면인, P _L , P_R 로 투영된다. 이 때, 점 P 와 두 카메라 렌즈의 중심인 O_L , O_R이 이루는 평면을 에피폴라 평면(epipolar plane)이라 하고 이 평면과 각 투영 영상이 이루는 교선을 에피폴라 선(epipolar line)이라고 한다.

그리고, 도 2에서, C_L , C_R은 좌, 우 평면의 중심을 각각 나타낸다. 여기서, 주어진 좌, 우 두 영상에서, P_L , P_R이 3차원 공간상에 존재하는 같은 점임을 밝히는 과정을 대응점 문제(correspondence problem)라고 하고 이때, P_L 과 P_R의 차이를 변이(disparity)라고 한다. 도 2 의 평행식 구조의 스테레오 영상에서는 에피폴라 선이 두 영상에 대해 평행함으로 변이벡터가 항상 수평 값만 갖게 되기 때문에에 해당하는 대응점을 찾기 위해서는 에피폴라 선상에서 1차원적으로 탐색하게 된다. 따라서, 이러한 에피폴라 제약조건(epipolar constraint)을 통해 한 영상의 에피폴라 선 위의 어느 점이든 다른 영상의 에피폴라 선 위의 한 점에 대응시킬 수 있다.

본 발명에서는 전송된 좌영상과 변이벡터를 이용하여 우영상을 복원하기 위한 효과적인 방법으로 적응적 정합 알고리즘을 사용하였다. 즉, 적응적 정합과정에서는 먼저, 스테레오 입력 영상의 특징값으로 에지정보를 미분연산자인 캐니 마스크(Canny mask)를 사용하여 추출하게 된다. 추출된 특징값들은 0부터 1 사이 값으로 정규화되고 특징값의 크기를 결정하기 위해 각 단계별로 임계값이 설정된다. 일단, 임계단계 및 각 단계별 임계값이 설정되면 각 임계 단계에 대응하는 같은 수의 정합창(matching window)이 설정된다.

다음의 수학식 3 은 비용함수로 MSE(mean square error)를 이용하여 추출된 특징값과 임계값의 비교를 통해 5가지의 정합창의 크기를 선택하는 수식을 나타낸 것이다.

즉, 본 발명에서는 각 영상의 특징에 따른 효율적인 정합을 위하여 임계값을 5단계(0.15, 0.3, 0.45, 0.6, 0.75)로 설정하였고, 이에 대응하는 정합창의 크기 역시 5단계(16×16, 8×8, 4×4, 2×2, 1×1)로 설정하였다. 이상과 같이 임계값과 정합창이 설정되면 임의의 입력 스테레오 영상으로부터 추출된 특징값에 따라 정합창의 크기가 적응적으로 선택된다.

즉, 정합창 선택 알고리즘의 초기조건에서 수학식 3 과 같이 임계값은 임계 값 중 가장 큰 값인 5단계(0.75)로 설정하여 특징값들과 비교된다. 따라서, 수학식 3과 같은 과정을 통해 임계값이 1단계에서 5단계까지 증가와 감소를 반복하면서 정합창이 적응적으로 설정되게 된다. 이와 같이 적응적 정합 알고리즘을 사용한 변이추정 방식은 물체의 경계 주위는 세밀하게 정합을 수행하고 유사한 변이가 존재하는 배경 같은 부분은 큰 정합창을 사용하여 변이가 중복되거나 잘못 할당되는 경우를 줄일 수 있어, 복원영상의 성능이 우수하지만 정합창의 크기가 적응적으로 변하기 때문에 정합창이 겹치는 부분이 발생할 수 있다.

또한, 정합창의 크기가 일정하지 않기 때문에 정합창이 할당되지 못하는 부분이 생길 수 있다. 따라서, 본 발명은 이러한 단점을 해결하기 위한 방법으로 변이분포를 고르게 해 줄 뿐만 아니라, 변이벡터의 정보량을 크게 감소시키고 효율적인 우영상의 복원이 가능한 평활화 기법이 적용된 새로운 적응적 변이추정 방법을 이용한다.

일반적으로, 실제 대상을 촬영한 카메라로 영상을 입력받아 전송하고 수신하는 과정에서 영상신호에는 잡음 등 불필요한 신호가 섞이게 되는데, 이들 잡음의 영향을 최소화시키기 위해 사용되는 대표적인 영상처리 기법중 하나가 영상 평활화(image regularization) 방법이다. 본 발명에서는 이러한 기존의 영상 평활화 기법을 변형하여 적응적 변이추정방식에 적용함으로써 정합창이 겹치거나 정합창이 할당되는 못하는 문제를 해결하였다.

영상 평활화는 크게 공간영역 및 주파수영역 방법으로 나눌 수 있는데 인근 평균 방법(neighborhood averaging), 중위수 선택 방법(median filter) 등은 공간 영역 방법에 속하고, 고주파 차단(lowpass filter) 방법 등은 주파수영역 방법에 속한다.

본 발명에서는 인근 평균 방법에 기반한 평활화 기법을 적응적 변이추정 알고리즘에 적용하였다. 인근 평균 방법은 N × N 크기의 영상이 주어졌을 때 모든 화소 (x,y)를 중심으로 한 인접한 부분의 화소 i × j 들을 평균하여 화소 (x,y)의 명암도로 대체하는 방법이다. 이렇게 평활화된 화소를 g(x,y)라고 표현하면 다음의 수학식 4와 같이 간단히 나타낼 수 있다.

수학식 4 에서 M은 인접부분 화소(i × j)의 개수를, S는 이 인접영역 화소의 집합을 각각 의미한다. 영상 내에 임의의 한 화소 f(x,y) 주위의 인접영역 화소집합을 3×3 행렬로 설정하면, 다음의 수학식 5와 같이 계산함으로써 임의의 화소 f(x,y)의 평활화된 명암도를 구할 수 있다. 여기서, k, l 은 주어진 화소집합 행렬의 크기를 나타내기 위한 변수이다.

도 3 은 평활화 기법의 간단한 예를 도시한 것으로 화소 f(x,y)에 대한 평활화된 명암도 g(x,y)는 수학식 5 에 의해 구해지고 결과적으로 f(x,y)지점의 명암도 는 36 으로 부터 27 로 바뀌게 된다. 즉, 주변의 명암도에 비하여 뚜렷하게 달라지게 되면 에러에 의해 변형된 값으로 판정되고 주변의 값으로 평활화되게 된다.

일반적으로, 평활화를 수행하기 위한 영상의 인접영역 화소집합은 3x3, 5x5, 9x9, 15x15, 31x31등 임의의 크기로 선택할 수 있는데, 화소집합이 커질수록 주변의 여러 화소값들을 평활화에 사용하므로 평활화 효과는 증대하는 반면에 물체와 배경사이의 경계부분의 변이정보도 평활화되므로 영상의 선명도는 흐려져 물체의 에지정보가 사라지게 된다. 따라서, 물체 경계부분에서의 선명한 명암도 변화를 유지하기 위해서 본 발명은 수학식 4 를 다음의 수학식 6과 같이 변형하여 사용하였다.

즉, 평균치 값이 원래의 화소값 f(x,y)와 비교하여 어떤 임계값(T)보다 작으면 평균치로 f(x,y)를 대체하고, 임계값보다 크면 원래의 화소값 f(x,y)를 그대로 유지하게 함으로써 과평활화 문제를 해결하였다. 따라서 본 발명에서는 임계값을 설정하여 경계값을 보존하는 평활화 기법을 적용한 적응적 정합 알고리즘을 이용하여 스테레오영상에서 추출된 특징값의 크기를 설정된 임계값과 비교하고, 그 값의 크기에 따라 적응적으로 적절한 정합창 크기를 설정한 후 정합과정에서 변이의 고 른 분포를 위해 평활화 과정을 거쳐 우영상을 복원하게 된다.

즉, 적응적 변이추정을 통해 배경과 같이 특징값이 작은 영역에서는 큰 단위의 정합창이 선택되어 정합이 이루어지고 물체의 윤곽선 같이 특징값이 큰 부분에서는 화소단위의 미세 정합이 이루어지게 되고 이를 통해 작은 블럭 단위의 미세 정합에서 자주 발생되는 오정합을 감소시킬 뿐만 아니라, 큰 블럭단위로 정합할 때 발생하는 블럭화 현상도 감소시킬 수 있다.

또한, 변형된 평활화 기법의 사용으로 기존의 적응적 정합창에서 발생했던 중복된 변이부분과 정합창이 할당되지 못한 부분에 대한 보정뿐만 아니라 경계부분에서는 최적의 경계보존값을 찾아 복원함으로써 효율적인 예측영상의 복원이 가능하다.

이하에서는, 도 4 내지 도 8 을 참조하여 본 발명에 따른 평활화된 적응적 변이 추정 방법의 성능 평가 실험 결과를 설명한다.

본 발명에서는 실험 영상으로 CCETT 영상인 ‘Man'과 ’Claude' 스테레오 영상을 도 4 와 같이 256×256 크기의 ‘raw’ 파일로 변환하여 사용하였으며 컴퓨터 시뮬레이션은 'Microsoft Visual Studio 6.0' 환경에서 수행하였다. 그리고, 스테레오 영상 복원방법으로 본 발명의 평활화 기법이 적용된 적응적 정합 방법을 포함하여 기존의 화소기반 방식 및 적응적 정합방식을 사용하여 실험을 수행하였으며 그 결과를 비교 분석하였다. 성능 비교를 위하여 탐색범위를 30으로 설정하여 시뮬레이션을 수행하였으며 실험결과는 PSNR과 오차영상의 관점에서 비교 분석하였다.

평활화 기법이 적용된 적응적 변이추정 방식에서는 경계값을 보존하여 효과적으로 스테레오 영상을 복원하기 위한 최적의 임계값 설정이 중요하다. 도 5 는 ‘Man'과 ’Claude' 영상에 대한 최적의 임계값을 찾기 위해 각각의 임계값에 따른 복원영상의 PSNR값을 나타낸 것이다. 도 5 에 도시된 바와 같이 ‘Man' 영상이 상대적으로 복잡하게 구성되어 있는 'Claude' 영상보다 전체적인 PSNR값이 높게 분포됨을 볼 수 있다.

또한, PSNR값이 가장 높게 나타나는 최적의 임계값은 ‘Man' 영상은 25(41.13dB), ’Claude' 영상은 15(35.28dB)로 각각 나타나 ‘Claude' 영상이 'Man' 영상에 비해 낮게 주어짐을 알 수 있다. 따라서 주어진 스테레오 영상의 복잡도에 따라 최적의 임계값이 설정됨을 알 수 있다.

또한, ‘Man'과 'Claude' 영상 모두에서 임계값이 0 인 경우와 50 이상인 경우는 과평활화로 인해서 기존의 적응적 변이추정보다 복원된 영상의 PSNR값이 떨어지는 것으로 나타났다. 따라서, 본 발명에서 제안한 평활화기법은 스테레오 영상에 따라 최적의 임계값을 설정해 주는 것이 매우 효과적임을 알 수 있다.

도 6 은 각 정합방식에 의해 얻은 ‘Man'과 'Claude' 영상의 변이벡터 결과를 변이지도(disparity map)로 나타낸 것이다. 도 6 에서 보면 최적의 임계값(25)을 설정하여 평활화한 도 6(c)의 변이벡터가 기존의 화소 기반(도 6(a))이나 적응적 정합방식(도 6(b))에 의한 변이벡터 보다 물체의 윤곽이 비교적 정확히 나타나고 안정적으로 변이가 분포된 것을 볼 수 있다.

또한, 도 6(b)를 도 6(c)와 비교해 보면 좌, 우측 배경과 같이 특징값이 작 은 평활영역에서 비교적 큰 단위의 정합창으로 정합이 수행됨과 동시에 평활화가 효과적으로 이루어진 것을 볼 수 있다. 즉, 추정된 인접 변이벡터들 사이의 유사성을 이용하여 인접 변이벡터들을 평활화함으로써 기존의 적응적 정합창에서 발생했던 잘못된 변이벡터의 보정 뿐만 아니라 경계부분에서는 최적의 경계 보존값을 찾아 복원함으로써 보다 효율적인 예측영상의 복원이 가능하였다.

한편, 'Claude' 영상의 경우는 영상 뿐만아니라 배경부분도 비교적 복잡하게 구성되어 있기 때문에 임계값이 'Man' 영상의 임계값보다는 낮은 15 에서 최적으로 설정되었고, 전체적으로 영상의 특징값들이 큼으로 결과적으로 작은 단위의 정합창으로 정합이 수행되어 평활화가 적게 처리되는 것을 볼 수 있다. 즉, 'Claude' 영상과 비교하여 비교적 단순한 영상인 'Man' 영상에서는 평활영역을 가진 배경 부분의 특징값이 작아 큰 정합창이 선택되기 때문에 본 발명이 보다 더 효과적으로 적용되어 기존 정합방법 보다 고른 변이분포를 갖게 되고, 또한, 배경영역의 효과적인 평활화를 통해 보다 높은 영상압축 효과도 얻을 수 있음을 알 수 있다.

도 7 은 탐색범위 30 에서 각 기법으로 합성된 복원된 영상과 원 영상간의 오차영상(residual image)을 나타낸 것이다. 도 7 에서 보면 제안된 기법이 'Man' 및 'Claude' 영상 모두에서 기존의 화소기반, 적응적 정합방식에 비해 오차가 크게 감소함을 볼 수 있다. 즉, 본 발명의 평활화된 적응적 변이추정 기법이 'Man' 및 'Claude' 영상 모두에서 가장 원 영상과 차이가 적음을 알 수 있다.

도 8 은 각 정합방식에 의해 수행된 ‘Man'과 ’Claude'의 복원영상을 나타낸 것이다. 복원영상에서도 본 발명의 방식에 의해 복원된 영상인 도 8(c),(f)가 전체적으로 기존의 방식보다 영상 복원의 결과가 우수함을 볼 수 있다. 특히, 도 8(c)의 복원된 영상의 결과가 우수함을 육안으로 확인할 수 있으며 도 8(a), (b)에 비해 얼굴 좌측의 윤곽도 잘 복원되었음을 알 수 있다.

표 1은 원 영상을 기준으로 본 발명과 기존 방식으로 각각 복원된 영상의 PSNR을 구한 결과를 나타낸 것이다. 표 1에서 보면, 본 발명이 기존방식 보다 PSNR 성능이 우수함을 알 수 있다. 즉, 화소기반에 비해서는 PSNR이 ‘Man'과 'Claude'에 대해 각각 10.89dB, 6.13dB 개선되었으며, 적응기반에 비해서는 1.41dB, 0.81dB 각각 개선되었다.

본 발명의 평활화된 적응적 변이추정 방식을 이용하면, 높은 화질의 스테레오 영상의 복원과 이를 이용한 다시점(multiview)의 중간영상합성(IVR: intermediate views reconstruction)이 가능하여 보다 자연스러운 3D 디스플레이 시스템의 구현이 가능하다.

Claims

삭제
(a) 스테레오 영상을 입력받아 특징값을 추출하고, 상기 특징값들을 0 과 1 사이의 값으로 정규화하는 단계;

(b) 상기 정규화된 특징값들에 따라서 적응적으로 정합창의 크기를 결정하는 단계;

(c) 상기 정합창에 변이 평활화를 수행하는 단계;

(d) 상기 평활화된 변이값을 원래의 화소값과 비교하여 최종 변이값을 결정하는 단계; 및

(e) 상기 최종 결정된 변이값에 따라서 예측 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법.
제 2 항에 있어서, 상기 (b) 단계는

(b1) 소정의 순서의 복수의 임계값과 상기 복수의 임계값 각각에 대응되는 복수의 정합창의 크기 중, 임계값 및 이에 대응되는 정합창을 설정하는 단계;

(b2) 상기 특징값과 상기 임계값을 비교하는 단계;

(b3) 상기 특징값이 상기 설정된 임계값보다 큰 경우에, 설정된 정합창의 크기를 최종 정합창의 크기로 결정하는 단계; 및

(b4) 상기 특징값이 상기 설정된 임계값보다 작은 경우에, 상기 임계값을 다음 순서의 임계값으로 재설정하고, 정합창을 상기 재설정된 임계값에 대응되도록 재설정하여 상기 (b2) 단계부터 재수행하는 단계를 포함하는 것을 특징으로 하는 방법.
제 2 항에 있어서, 상기 (c) 단계는

평활화가 수행될 화소에 인접한 화소의 평균값을 상기 평활화가 수행될 화소의 화소값으로 설정하는 것을 특징으로 하는 방법.
제 2 항에 있어서, 상기 (d) 단계는

상기 원래의 화소값과 평활화된 화소값간의 차를 계산하여 소정의 임계값과 비교하는 단계; 및

상기 차가 상기 임계값보다 큰 경우에는 상기 원래의 화소값을 최종 변이값으로 결정하고, 상기 차가 상기 임계값보다 작은 경우에는 상기 평활화된 화소값을 최종 변이값으로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제 2 항 내지 제 5 항 중 어느 한 항의 평활화된 적응적 편이 추정 방식을 이용한 스테레오 영상 복원 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.