KR20060132280A - 중간 시점 영상 합성용 적응형 변이 추정 방법 - Google Patents

Abstract

하드웨어로 실시간 구현이 가능한 중간 시점 영상 합성용 적응형 변이 추정 방법이 개시되어 있다. 본 발명은 제1정합창으로 소정 단위내의 화소에 대한 대략적 변이 추정을 수행하여 각 화소들의 변이 벡터를 추정하는 과정, 추정된 기준 화소의 변이 벡터와 그 주변의 일정 범위내에서 선택된 화소들의 변이 벡터들을 비교하여 해당 화소가 속한 영역의 특징을 판별하는 과정, 판별된 영역의 특징에 따라 상기 제1정합창보다 적은 제2정합창을 통한 미세 변이 추정을 수행하는 과정을 포함한다.

Description

중간 시점 영상 합성용 적응형 변이 추정 방법{Method for estimating disparity adaptively for intermediate view reconstruction}

도 1은 종래의 화소 기반의 변이 추정 기법을 설명하는 개념도이다

도 2는 본 발명에 따른 적응형 변이 추정 방법을 구현하는 하드웨어 블록도이다.

도 3은 본 발명에 따른 적응형 변이 추정 방법의 개념도이다.

도 4는 본 발명에 따른 중간 시점 영상 합성용 적응형 변이 추정 방법을 보이는 흐름도이다.

도 5는 도 4에서 영역을 결정하기 위한 기준화소와 영역 결정 화소의 구성예를 도시한 것이다.

도 6은 도 4의 대략적 변이 추정 과정에서 빈 공간의 발생을 설명하는 개념도이다.

도 7은 도 4의 경계에서 정합창의 크기와 변이 추정과의 관계를 도시한 것이다.

본 발명은 3D 영상 시스템에 관한 것이며, 특히 하드웨어로 실시간 구현이 가능한 중간 시점 영상 합성용 적응형 변이 추정 방법에 관한 것이다.

근래들어 영상 기술은 흑백, 컬러 TV, 디지털 HDTV에 이르기까지 보다 사실적이고 현실감 있는 영상 정보를 표현하는 방향으로 발전해 왔고, 최근에는 다시점 3D TV에 관한 연구가 이루어지고 있다. 다시점 3D TV는 관찰자의 위치에 따른 입체 영상을 볼 수 있어 보다 자연스런 입체감을 제공한다는 장점이 있으나, 모든 시점의 영상을 갖는 것은 현실적으로 불가능하며, 전송 측면에서도 큰비용이 요구된다는 단점이 있다. 따라서 존재하지 않는 시점에 대한 영상을 전송된 영상을 이용해 만들어내는 중간 시점 영상 합성 기술이 필요하다.

이러한 중간 시점 영상 합성에 있어서 가장 핵심이 되는 것은 두 영상의 유사점을 찾아 그 변이를 벡터로 표현하는 변이 추정(Disparity Estimation)이다. 변이 추정 방법으로는 영상의 특징 점들을 찾아 정합(matching) 시키는 특징 기반 변이 추정 기법(feature based disparity estimation scheme)과 비용 함수(cost function)의 최단 경로를 찾아 매칭시키는 다이내믹 프로그래밍 변이 추정 기법(dynamic programming disparity estimation scheme), 그리고 정합창(Window)의 상관성을 측정하여 매칭시키는 영역 기반 변이 추정 기법(area based disparity estimation scheme)이 있다.

이 중 하드웨어 구현이 용이한 영역 기반 변이 추정 기법은 영상을 구성하는 최소 단위인 화소 기반 변이 추정 기법(pixel based disparity estimation scheme)과 일정 영역을 같은 변이값으로 정하는 블록 기반 기법(block based disparity estimation scheme)으로 분류된다. 화소 기반 변이 추정 기법의 과정은 다음과 같다.

먼저 좌, 우 영상의 상이한 정도를 나타내는 SAD(Sum of Absolute Difference)를 수학식1을 이용하여 계산한다.

수학식1에서 I_R(i, j)과 I_L(i, j)는 (i, j) 위치에서 우영상과 좌영상 화소들의 밝기 값을 나타내는 것이고, bx와 by는 정합창의 폭과 높이를 나타내며, r은 우영상과 좌영상 간의 거리를 의미하고, 비교하고자 하는 범위를 탐색 영역(search range)라고 한다. (i, j) 위치에서 r 값을 탐색(search range)내에서 이동시켜가면서 각 위치에서 SAD 값을 구한다. 프레임 내의 모든 화소에 대해 수학식 1을 수행하여, 모든 화소에 대한 변이 벡터를 구한다.

수학식1을 이용할 때 발생할 수 있는 잘못된 변이 추정을 줄이기 위해, 수학식2와 같이 계산된 SAD값에다가 수평, 수직방향으로의 평탄 요소를 더하여 변이 추정을 위한 최종 비용함수 C(x,y,r)을 구한다.

수학식 2에서 α, β 는 수평, 수직 방향의 가중치이고, d(x, y)는 (x, y)에서의 변이 벡터를 나타낸다.

최종적으로 수학식3과 같이 수학식2를 이용해 계산된 비용 함수값들을 비교하여 가장 적은 하나를 선택하고, 그 값의 좌표를 추적하여 변이 벡터를 구하게 된다.

도 1참조하여 화소 변이 추정 기법을 설명한다.

도 1에서 우영상은 기준 영상이고 좌영상은 비교 영상이다. 우영상의 (x,y) 위치에서의 화소에 대해, 너비 bx, 높이 by를 갖는 정합창을 설정하고, 좌영상에서는 (x+r,y)에서 같은 크기(너비 bx, 높이 by)의 정합창에 대해 수학식 2를 이용하여 비용함수 C(x,y,r)값을 탐색 영역(search range) 내의 모든 위치에서 계산하고, 이를 통해 얻어진 비용함수 값 중에서 수학식3을 통해 가장 작은 값을 선택하여 변이를 구한다. 도 1에서 정합창은 좌영상의 R^th 정합창과 매칭될 경우, 변이 벡터 d(x, y)는 R이 된다.

이와 같이 화소 기반 변이 추정 기법은 블록 기반 변이 추정 기법에 비해 정확한 변이 추정이 가능하지만 정확성에 있어서 다음과 같은 한계가 있다. 즉, 큰 정합창을 사용할 경우 경계 영역에서 부정확한 변이 추정을 할 확률이 높은 반면에, 작은 정합창을 사용할 경우 물체의 표면이나 배경과 같은 특징이 없는 곳에서 부정확한 변이 추정을 할 확률이 높다. 이러한 문제점을 해결하기 위해서 가변 정합창을 사용한 변이 추정 기법들이 제안되었다. 하지만 기존의 가변 정합창을 사용한 방식들도 각각의 화소마다 최적의 정합창을 찾기 위해 모양이나 크기가 다른 여러 가지 정합창에 대해, 수학식 2를 이용하여 각각 변이 추정을 한 뒤에 그 중에서 최적의 값을 선택하는 방식이다. 따라서 사용하고자 하는 정합창의 종류가 많을수록 보다 정확해질 수는 있지만 정합창의 종류만큼 계산량이 많아지므로 실시간 변이 추정이 불가능한 문제점이 있다.

본 발명이 이루고자하는 기술적 과제는 큰 정합창을 사용하여 대략적 변이 추정을 수행하여 변이 벡터를 구하고, 그 변이 벡터를 통해 각 화소가 속한 영역의 특징으로 판별함으로써 중간 시점 영상의 품질을 개선하는 중간 시점 영상 합성용 적응형 변이 추정 방법을 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 중간 시점 영상 합성을 위한 변이 추정 방법에 있어서,

제1정합창으로 소정 단위내의 화소에 대한 대략적 변이 추정을 수행하여 각 화소들의 변이 벡터를 추정하는 과정;

상기 과정에서 추정된 기준 화소의 변이 벡터와 그 주변의 일정 범위내에서 선택된 화소들의 변이 벡터들을 비교하여 해당 화소가 속한 영역의 특징을 판별하는 과정;

상기 과정에서 판별된 영역의 특징에 따라 상기 제1정합창보다 적은 제2정합 창을 통한 미세 변이 추정을 수행하는 과정을 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 2는 본 발명에 따른 적응형 변이 추정 방법을 구현하는 하드웨어 블록도이다.

도 2를 참조하면, 제1이미지 버퍼(210) 및 제2이미지 버퍼(220)는 각각 오른쪽 이미지 및 왼쪽 이미지를 저장한다.

제1디스패리티추정부(240)는 제1이미지 버퍼(210) 및 제2이미지 버퍼(220)에 저장된 오른쪽 이미지 및 왼쪽 이미지에 대해 큰 정합창(Large Window)을 이용하여 대략적인 변이 추정을 수행한다.

제2디스패리티추정부(230)는 제1이미지 버퍼(210) 및 제2이미지 버퍼(220)에 저장된 오른쪽 이미지 및 왼쪽 이미지에 대해 작은 정합창(Small Window)을 이용하여 미세 변이 추정을 수행하며, 특히 영역 결정시 경계 영역일 경우에만 디스패리티를 추정다.

제1버퍼(250) 및 제2버퍼(260)는 각각 제1디스패리티추정부(240) 및 제2디스패리티추정부(230)에서 추정된 변이 벡터를 저장한다

영역 결정부(270)는 제1디스패리티추정부(240)에서 추정된 추정된 기준 화소의 변이 벡터와 그 주변의 일정 범위내에서 선택된 화소들의 변이 벡터들을 비교하여 입력 영상의 영역((경계 영역, 평탄 영역, 불완전 평탄 영역)을 결정한다.

짝수변환부(280)는 불완전 평탄 영역일 경우 제2버퍼에 저장된 변이 벡터를 를 짝수화한다.

제어부(200)는 각 블록을 제어한다.

선택부(290)는 영역 결정부(270)에서 결정된 영역 정보에 따라 각 영역(경계 영역, 평탄 영역, 불완전 평탄 영역)에 대한 디스패리티값을 추정한다.

도 3은 본 발명에 따른 적응형 변이 추정 방법의 개념도이다.

도 3을 참조하면, 평탄 영역에서는 큰 정합창을 사용하더라도 정확한 변이 추정을 할 수 있지만, 경계 영역의 경우 작은 크기의 정합창을 사용해야지만 정확한 변이 추정이 가능하고, 큰 정합창을 그대로 사용할 경우에는 잘못된 변이 추정을 할 가능성이 있음을 보여준다. 따라서 영역에 특징의 결정 및 그에 따른 적합한 크기의 정합창을 사용하는 것이 중요하다.

도 4는 본 발명에 따른 중간 시점 영상 합성용 적응형 변이 추정 방법을 보이는 흐름도이다.

먼저, 큰 정합창을 이용하여 대략적 변이 추정을 수행한다(410 과정). 즉, 해당 화소의 영역의 결정을 위해 변이 벡터를 사용하는데, 대략적 변이 추정 과정을 통해 변이 벡터를 얻는다. 대략적 변이 추정은 화소 기반 변이 추정 기법이나 기타 기존의 여러 가지 변이 추정 방법을 사용할 수 있다.

이때, 대략적 변이 추정을 통해 변이 벡터를 얻으면 버퍼에 저장한다(420 과정).

이어서, 버퍼에 저장된 변이 벡터를 이용해서 기준 화소가 속한 영역을 결정 한다(430 과정). 즉, 각각의 기준 화소(영역을 결정하고자 하는 화소)의 변이 벡터와 영역 결정 화소(기준 화소의 주변 화소)의 변이 벡터를 비교함으로써 기준 화소가 어떤 영역에 속하는 지를 판별할 수 있다. 도 5는 기준 화소의 변이와 비교하기 위한 영역 결정 화소들의 구성의 한 예이다. 기준 화소 변이 벡터(d0)와 일정 범위 내의 8개의 방향에 존재하는 영역 결정 화소의 변이 벡터(di, 도 5에서 d1~d24)를 비교함으로써 영역을 결정할 수 있다. 영역 결정 화소는 필요에 따라 적절히 선택되어 영역 결정에 활용될 수 있다. 따라서 화소 기반 변이 추정 방식을 이용하여 변이 벡터를 얻은 후 효율적인 미세 변이 추정을 하기 위해 영역을 완전 평탄 영역과 불완전 평탄 영역 그리고 경계 영역으로 분류하여 정의한다.

완전 평탄 영역의 경우 물체의 표면이나 배경 화면에 위치한 영역을 말한다. 즉 이 영역에 위치한 변이 벡터들은 모두 동일하다. 도 6의 (a)와 수학식 4는 완전 평탄 영역에서 기준 화소의 변이 벡터와 영역 결정 화소들의 변이 벡터들과의 관계를 보여 준다. 수학식 4에서 i는 기준 화소를 중심으로 적절히 선택된 영역 결정 화소들을 가리킨다. 수학식 4와 같이 기준 화소의 변이 벡터(d0)와 영역 결정 화소의 변이 벡터(di)의 차가 n₁ 이하이고, 일정 영역에서의 이들의 합이 m₁이하이면 완전 평탄 영역으로 간주한다. 여기서 n1과 m1은 실험적으로 결정한다.

불완전 평탄 영역은 동일한 초점 거리에 위치하여 비슷한 물체의 반복현상이 있는 영역으로 동일한 초점 거리에 위치하였기 때문에 그 영역에서의 변이 벡터들은 모두 동일하다. 하지만 실제로는 대략적 변이 추정된 변이 값들은 오차를 보인다. 따라서 기준 화소의 변이 벡터와 영역 결정 화소들의 변이 벡터들이 도 5의 (b)와 관련하여 수학식 5를 만족시킨다면 기준 화소가 속한 영역은 불완전 평탄 영역으로 결정 된다. 수학식 5에서 n2와 m2의 값은 실험적으로 결정하되, n1<n2, m1<m2가 되도록 설정한다.

또한 경계 영역의 경우 물체들의 경계에 위치한 영역으로 초점거리가 다른 물체들이 위치한 영역으로 해당 물체들을 대표하는 변이 벡터들이 존재한다. 따라서 기준 화소의 변이 벡터와 영역 결정 화소들의 변이 벡터들이 도 5의 (c)와 관련하여 수학식 6을 만족시킨다면 기준 화소가 속한 영역은 경계 영역으로 결정된다.

이어서, 해당 화소에 대한 영역이 결정되면 그 영역에 따라 작은 정합창의 사용과 조율 과정을 통하여 평탄영역에 위치한 화소의 변이 벡터들은 연속성을 유지시키고(440 과정), 경계영역에 위치한 화소의 변이 값들은 불연속성을 유지시킴으로써 작은 정합창을 이용해 미세 변이 추정을 한다(460 과정).

완전 평탄 영역은 큰 정합창에 의해 추정된 변이 벡터들에 대해 신뢰할 수 있는 영역이므로 그 변이 벡터를 그대로 사용한다

불완전 평탄 영역도 완전 평탄 영역과 마찬가지로 동일한 초점 거리에 위치한 영역이므로 실제 그 영역에서의 변이 벡터들은 모두 동일해야 한다. 하지만 대략적 변이 추정된 벡터들은 불완전 평탄 영역에서 약간의 변이 차이가 발생하게 되고, 중간 시점 영상 합성과정에서 도 6과 같이 빈 공간(Hole)의 문제를 발생 시켜 왜곡된 영상을 합성할 수 있다. 도 6을 보면, I_L(x, y), I_R(x, y), I_M(x, y)은 동일한 선상(Epipolar line)에 위치한 좌, 우, 중간 시점영상을 나타낸다. 화소 t₁에서의 변이 벡터가 2로 짝수이므로, 중간 영상에서 해당 화소의 좌표는 변이 벡터의 절반 값인 1이 되어 문제가 발생하지 않는다. 그러나 화소 t₂에서와 같이 변이 벡터가 홀수일 경우, 중간 영상에서는 0.5가 되어 중간 영상의 해당 위치에 빈 공간이 발생하게 된다. 이를 방지하기 위해 본 발명에서는 수학식7과 같이, 변이 벡터가 짝수이면 원래의 변이 벡터값을 그대로 사용하고, 홀수일 경우 적절한 변환(수학식7의 f())을 하여 빈 공간을 없앴다.

수학식 7에서 (mod) 연산은 d0를 2로 나누었을 때의 몫이 0인지 아닌지를 판별하기 위한 식으로 0이면 d0가 짝수임을 의미하고, 1이면 홀수임을 의미한다(예: 3(mod)2 = 1, 4(mod)2 = 0). d0^f는 미세 변이 추정된 기준 화소의 변이 벡터이고 함 수 f()는 중간 영상에서 빈 공간이 발생하지 않도록 적절히 변화시키기 위한 함수이다. 따라서 불완전 평탄 영역은 변이의 크기가 거의 비슷한 영역이므로, 홀수의 변이 벡터를 갖는 화소는 짝수 변이 벡터를 갖는 인접 화소의 변이 벡터 값 중 가장 비슷한 값을 선택하는 방식 등의 적절한 함수 f()를 결정한다(450 과정).

경계 영역에서 정합창안에 기준 화소가 속한 영역보다 다른 영역들이 더 많이 속해 있으면 다른 영역들의 변이 벡터를 갖기 쉽기 때문에 최대한 기준 화소가 속한 영역만을 포함하는 적합한 정합창을 사용하여야 정확한 변이 추정이 가능하다.

도 7은 경계 영역에서 정합창의 크기와 변이 추정과의 관계를 설명하고 있다. 영역 2(Region 2)에 위치한 기준 화소(Reference Pixel)를 중심으로 하는 큰 정합창을 사용할 경우, 정합창 안에 영역 2(Region 2)에 속한 화소들의 개수가 영역 1(Region 1)에 속한 화소들의 개수보다 적어서 영역 1(Region 1)의 변이 벡터를 추정하기 쉽다. 하지만 상대적으로 작은 정합창을 사용할 경우, 정합창안에 영역 2(Region 2)에 속한 화소들의 개수가 영역 1(Region 1)에 속한 화소들의 개수가 많아서 영역 2(Region 2)의 변이 벡터를 추정하기 쉽다. 도 7에서 보듯이 경계 영역에서는 작은 정합창이 큰 정합창 보다 더욱더 정확한 변이 추정을 할 수 있는 반면에, 큰 정합창을 사용할 경우에 비해 어떤 영역에도 속하지 않는 변이 벡터를 추정 하기도 쉽다. 따라서 경계 영역에서는 수학식 8 및 수학식 9와 같이 작은 정합창을 사용하고, 기준 화소와 영역 결정 화소들의 대략적 변이 벡터들만을 탐색구간으로 설정하여 변이 추정을 하여 두 가지의 장점을 모두 취한다.

수학식 9에서 by', bx' 는 대략적 변이 추정에 사용되었던 정합창의 크기 by, bx 보다 작은 크기의 높이 및 너비이고, d ₁ (x, y), ....., d _n (x, y)는 기준 화소와 영역 결정 화소들의 대략적 변이 벡터들이다.

이상과 같이 도면과 명세서에서 최적 실시예가 개시되었으며, 여기서 사용된 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며, 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능할 것이며, 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 의하면, 두 번의 변이 추정(대략적 변이 추정과 미세 변이 추정)을 수행함으로써 계산량이 감소하여 실시간 구현이 가능하며, 또한 영역의 특징에 따라 작은 정합창 사용등의 적절한 미세 변이 추정 과정을 통해 평탄 영역에 위치한 화소의 변이 벡터들은 연속성을 유지시키고 경계 영역에 위치한 화소의 변이 벡터들은 불연속성을 유지함으로써 정확한 변이 추정을 하여 함성된 중간 시점 영상의 품질을 개선할 수 있다.

Claims (5)

1. 중간 시점 영상 합성을 위한 변이 추정 방법에 있어서,

   제1정합창으로 소정 단위내의 화소에 대한 대략적 변이 추정을 수행하여 각 화소들의 변이 벡터를 추정하는 과정;

   상기 과정에서 추정된 기준 화소의 변이 벡터와 그 주변의 일정 범위내에서 선택된 화소들의 변이 벡터들을 비교하여 해당 화소가 속한 영역의 특징을 판별하는 과정;

   상기 과정에서 판별된 영역의 특징에 따라 상기 제1정합창보다 적은 제2정합창을 통한 미세 변이 추정을 수행하는 과정을 포함하는 변이 추정 방법.
2. 제1항에 있어서, 상기 기준 화소의 변이 벡터와 주변 화소의 변이 벡터의 차 및 일정 영역에 대한 차의 합을 특정값과 비교하여 영역을 분류하는 과정을 더 포함하는 것을 특징으로 하는 변이 추정 방법.
3. 제1항에 있어서, 상기 영역 특징 판별 과정은 상기 대략적으로 추정된 변이 벡터들을 조사하여 각각의 화소가 완전 평탄 영역과 불완전 평탄 영역, 경계 영역 중 어떤 영역에 속해 있는지 판별하는 것을 특징으로 하는 변이 추정 방법.
4. 제3항에 있어서, 상기 완전 평탄 영역은 기준 화소와 일정 영역 내에서 선택 된 인접 화소들과의 차이가 n1 이하이고, 차의 합이 m1 이하인 영역으로 정의하고,

   상기 불완전 평탄 영역은 기준 화소와 일정 영역 내에서 선택된 인접 화소들과의 차이가 n2(>n1)이하고, 차의 합이 m2(>m1) 이하인 영역으로 정의하고,

   상기 경계 영역은 기준 화소와 일정 영역 내에서 선택된 인접 화소들과의 차의 합이 m2보다 큰 영역으로 정의하며, 여기서, n1, n2, m1, m2 값은 실험적으로 설정하는 것임을 특징으로 하는 변이 추정 방법.
5. 제1항에 있어서, 상기 미세 변이 추정 과정은 상기 완전 평탄 영역의 경우 대략적으로 추정된 변이값을 그대로 사용하고, 상기 불완전 평탄 영역의 경우 기준 화소의 변이 벡터가 짝수이면 그대로 취하고 홀수일 경우 값을 조정하고, 상기 경계 영역에서의 변이 결정을 위해 상기 제2정합창을 사용하여 물체의 표면에 위치한 화소의 변이 벡터들은 연속성을 유지시키고, 경계영역에 위치한 화소의 변이 벡터들은 불연속성을 유지하는 변이 추정 방법

Images