KR20130070341A - 영상의 스테레오 정합 방법 및 장치 - Google Patents

Abstract

본 발명은 신뢰도에 기반한 계층적 구조를 이용하여 스테레오 정합 비용 집적 과정을 용이하게 하는 것을 특징으로 하는 영상의 스테레오 정합 방법 및 장치에 대한 것이다.
본 발명은, 영상의 스테레오 정합 장치에 있어서, 정합될 대상 영상을 입력받는 영상 입력부; 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부; 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력부를 포함하는 영상의 스테레오 정합 장치 및 이를 위한 스테레오 정합 방법을 제공한다.

Description

영상의 스테레오 정합 방법 및 장치{Method and Device for Stereo Matching of Images}

본 발명은 영상의 스테레오 정합 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은 신뢰도에 기반한 계층적 구조를 이용하여 스테레오 정합 비용 집적 과정을 용이하게 하는 것을 특징으로 하는 영상의 스테레오 정합 방법 및 장치에 대한 것이다.

스테레오 정합(stereo matching)은 두 장 또는 그 이상의 영상에서 서로의 대응점을 검출하는 기술로서, 컴퓨터 비전 분야에서 꾸준히 연구되고 있다. 스테레오 정합 기술을 이용하면 대응점들의 변위 벡터를 요소로 하는 변위 영상을 획득할 수 있고, 획득된 변위 영상은 로봇 비전, 영상 기반 렌더링 또는 차세대 방송 등 다양한 분야에서 활용될 수 있다.

스테레오 정합의 원리는 간단한 것처럼 보이나, 영상들의 모호성으로 인해 스테레오 정합은 실질적으로는 쉽지 않다. 영상의 모호성은 동일한 영역 및 주기적인 텍스쳐로부터 발생하고 스테레오 정합에서 중요한 문제점이다. 이러한 문제점을 해결하기 위하여 다양한 스테레오 정합 알고리즘이 제안되어 왔다. 그 한 방법으로서 a)최초 비용계산(initial cost computation), b)비용 집적(cost aggregation), c)변위 최적화(disparity optimization), 및 d)변위 정제(disparity refinement)의 단계들을 포함하는 알고리즘이 제안된 바 있다. 최초 비용 계산 단계는 상이한 픽셀들에 대해 다른 변위 추정을 할당하기 위한 정합 비용을 계산한다. 비용 집적은 지원하는 영역에 대한 초기 비용들을 공간적으로 집적한다. 변위 최적화는 사전 정의된 에너지 함수를 국부적으로 또는 전역적으로 최소화한다. 변위 정제는 출력된 변위 영상을 정제한다.

일반적으로 스테레오 정합 알고리즘은 국부 알고리즘(local algorithm)과 전역 알고리즘(global algorithm)으로 구분된다. 국부 알고리즘은 상기 c)단계에서 국부적인 최적화 방법, 예컨대 WTA(winner-takes-all) 기법을 사용한다. 이에 대해 전역 알고리즘(global algorithm)은 그래프-컷(graph-cut), 신뢰 확산(belief propagation), 및 동적 프로그래밍(dynamic programming)과 같은 전역 최적화 방법을 사용한다.

국부 또는 전역 알고리즘 모두에 있어서, 관심을 끌고 있는 핵심적인 부분은 상기 b)단계인 비용 집적이다. 다양한 비용 집적 알고리즘은 각각 서로 다른 서포트의 형태나 크기, 새로운 정합 비용을 계산하는 방법을 사용하며, 모호한 영역의 정합 비용을 개선하는 것을 목표로 한다. 가장 쉽고 오래된 집적 방법은 정형화된 정사각형의 서포트 윈도우 안의 모든 정합 비용을 평균하여 현재 위치의 비용으로 사용하는 방법이다. 그러나 이 집적 방법은 초기 정합 비용을 그대로 사용하는 방법보다 훨씬 나은 결과를 보여주지만, 변위의 경계에 대한 고려가 없기 때문에 경계 부근에서 변위 값들의 정확도가 감소하는 단점이 있다.

이를 해결하기 위해서 다양한 서포트 윈도우 기반의 알고리즘들이 개발된 바 있다. 일례로서, Shiftable-윈도우 기술은 서로 다른 중심점을 갖는 여러 개의 윈도우를 정의하고 이를 통해 비용을 집적한 뒤, 최종 비용이 최소가 되는 윈도우를 선택하여 계산하는 방법이다. 그러나 이 기술은 윈도우의 수가 늘어나기 때문에 연산량이 증가한다는 문제점이 있다. 색상 분할 기술을 이용하여 서포트 윈도우의 크기와 모양을 정의하는 방법은 깊이 영상의 불연속 위치는 대응되는 색상 영상의 불일치 위치와 유사한 경향을 갖는다는 특징을 바탕으로 한다. 하지만 색상 분할 기술 또한 많은 시간이 소요되고, 정의되지 않는 문제(ill-posed problem)라는 문제점이 존재한다. 최근에는 임의의 크기와 형태를 갖는 서포트 윈도우를 이용하여 색상 차이와 거리에 따라 적응적으로 가중치를 계산하는 방법이 제안되어 많은 관심을 받고 있으나, 가중치 계산을 위해 연산량이 증가한다는 단점이 있다.

상기한 방법들은 초기 정합 비용을 개선하여 전역적인 최적화 방법을 사용하지 않고 스테레오 정합의 성능을 개선시키지만, 여러 개의 서포트를 동시에 계산해야 하거나 서포트 내의 가중치를 개별적으로 계산해야 하기 때문에 계산적 복잡도가 크게 상승하게 된다는 공통적인 문제점이 있다. 최근 정확도를 유지하면서 속도를 개선하기 위해서 그래픽 프로세싱 유닛(GPU)을 이용한 가속화가 이뤄지고 있지만, 이는 하드웨어적인 접근 방법으로 근본적인 해결 방법이라 할 수 없다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여, 신뢰도에 기반한 계층적 구조를 이용하여 정합 비용 집적 과정의 복잡도를 줄이는 영상 스테레오 정합 방법 및 장치를 제공함을 목적으로 한다.

이를 위해 본 발명은, 영상의 스테레오 정합 장치에 있어서, 정합될 대상 영상을 입력받는 영상 입력부; 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부; 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력부를 포함하는 영상의 스테레오 정합 장치를 제공한다.

일 실시예에 있어서, 상기 신뢰도는 특정 화소에 대한 신뢰도의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출될 수 있다.

바람직하게는, 상기 신뢰도 기반 비용집적부는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 방식으로 구성될 수 있다.

또한, 상기 신뢰도는 신뢰도 영상으로 표현되고, 상기 신뢰도 영상은 가우시안 평탄화 필터로 정제될 수 있다.

또한, 본 발명은, (a) 정합될 대상 영상을 입력받는 영상 입력 단계; (b) 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정 단계; (c) 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적 단계; 및 (d) 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력 단계를 포함하는 영상의 스테레오 정합 방법을 제공한다.

바람직하게는, 상기 (c) 단계는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 한다.

본 발명은 다양한 정합 비용 집적 기술에 적용이 가능하고, 신뢰도 계산이나 피라미드 형태의 변형을 통해 추가적인 개선이 가능하여 다양한 분야에 응용이 가능하다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치의 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법의 순서도이다.
도 3은 영상의 계층 구조를 도시하는 것으로서, Type Ⅰ은 서포트 윈도우의 크기를 확장시키는 형태를 나타내며, Type Ⅱ는 영상 평면을 축소시키는 형태를 나타낸다.
도 4는 텍스쳐의 타입을 설명하기 위한 도면으로, tsukuba 영상을 도시하였다.
도 5는 텍스쳐의 타입에 따른 정합 비용을 도시한 도면이다.
도 6은 좌측부터 순서대로 original tsukuba 영상과, 이에 대응되는 변위 영상 및 신뢰도 영상을 나타낸다.
도 7은 본 발명의 바람직한 실시예에 따른 영상 정합 방법에 있어서 계층적 비용 집적 과정의 유사 소스 코드를 나타낸다.
도 8은 본 발명의 바람직한 실시예에 따른 스테레오 정합에 있어서, 서포트 윈도우 크기에 따라 계산된 픽셀 수(a)와 오차율(b)을 도시한 도면이다.
도 9는 비계층적 비용 집적과 본 발명에 따른 계층적 비용 집적에 따른 오차율과 계산 시간을 도시한 도면이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치의 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법의 순서도이다.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 스테레오 정합 장치(1)는 영상 입력부(10), 계층 구조 설정부(20), 신뢰도 기반 비용집적부(30), 및 변위 출력부(40)를 포함한다.

영상 입력부(10)는 스테레오 정합될 대상 영상을 입력받는다. 스테레오 정합 대상 영상은 좌측 영상과 우측 영상을 포함할 수 있다.

계층 구조 설정부(20)는 입력된 영상에 대해 비용 집적을 수행하는 서포트 윈도우의 크기를 계층적으로 설정하고, 계층의 레벨수를 설정한다.

신뢰도 기반 비용집적부(30)는, 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고 신뢰도에 기반하여 계층적인 서포트 윈도우에 대한 비용을 집적한다.

변위 출력부(40)는 상기 신뢰도 기반 비용집적부(30)에서 집적된 비용에 기반하여 스테레오 정합 결과를 산출하여 출력한다. 스테레오 정합 결과는 WTA와 같은 국부 알고리즘 또는 신뢰확산과 같은 전역 알고리즘을 통해 얻을 수 있으며, 변위 영상(disparity image)이나 변위 벽터(disparity vector)와 같은 결과로 제시될 수 있다.

도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 스테레오 정합 방법은, 영상을 입력받는 단계(S100), 영상에 대한 계층구조를 설정하는 단계(S110), 신뢰도에 기반하여 비용을 집적하는 단계(S120), 및 영상에 대한 스테레오 정합 결과를 출력하는 단계(S130)를 포함한다.

계층 구조 설정부(20)에서의 설정되는 계층 구조를 설명하면 다음과 같다.

영상의 계층 구조를 고려함에 있어서 서포트 윈도우(support window)의 크기를 확장시키는 형태(Pyramid of support window)와 영상 평면을 축소시키는 형태(Pyramid of image plane)를 고려할 수 있다.

도 3은 영상의 계층 구조를 도시하는 것으로서, Type Ⅰ은 서포트 윈도우의 크기를 확장시키는 형태를 나타내며, Type Ⅱ는 영상 평면을 축소시키는 형태를 나타낸다.

도 3에서 Type Ⅱ는 텍스쳐 정보를 잃게 되나 전체 변위 영역은 감소되어 각 계층별 변위가 모호해진다. 이에 대해 Type Ⅰ은 텍스쳐 정보를 유지하지만 계산이 더욱 복잡하다. 스테레오 정합에 있어서는 텍스쳐 정보가 매우 중요하므로 Type Ⅰ과 같은 계층 구조가 스테레오 정합을 위해서는 적절하다. 본 발명에서는 Type Ⅰ과 같이 서포트 윈도우의 크기를 증가시키는 형태의 계층 구조를 이용하면서, 신뢰도를 기반으로 하여 계산 복잡성을 감소시키는 것을 일 특징으로 한다.

다음으로 신뢰도 기반 비용집적부(30)에서 신뢰도를 측정하고 이에 기반하여 계층적으로 비용을 집적하는 과정을 설명하면 다음과 같다.

먼저, 신뢰도(confidence)에 대해 설명한다. 스테레오 정합에 있어서 신뢰도는 각 화소가 정확한 변위 값을 가질 확률을 의미한다. 신뢰도는 스테레오 정합의 정확도를 증가시키기 위하여 널리 사용되고 있으나, 각 화소가 정확한 변위 값을 갖는지 여부를 확실히 구별하는 것은 불가능하다. 이에 따라 신뢰도는 스테레오 영상의 정합 비용 및 변위 쌍과 같은 주어진 정보를 이용하여 산출될 수 있다.

스테레오 정합을 위한 영상 이미지는 다양한 텍스쳐(texture)를 포함하고, 그 텍스쳐들의 형상과 밀도는 예측불가하다. 일반적으로 높은 고주파 텍스쳐(high frequency texture)는 정확한 스테레오 정합에 도움이 되지만, 텍스쳐가 주기적으로 반복되는 경우에는 무의미하다.

도 4는 텍스쳐의 타입을 설명하기 위한 도면으로, tsukuba 영상을 도시하였다. 도 5는 텍스쳐의 타입에 따른 정합 비용을 도시한 도면이다.

도 4을 참조하면, 영상의 텍스쳐를 구분함에 있어 주기적인(periodic) 부분(P), 텍스쳐된(textured) 부분(T)과 균질적인(homogeneous) 부분(H)으로 표시하였다. 균질적인 부분(H)과 주기적인 부분(P)은 부정확한 스테레오 정합을 야기하는 것으로 알려져 있다.

도 5에서의 정합 비용은 변위에 따라 adative support weight에 의해 계산되었다. 텍스쳐된 부분은 전반적으로 정확한 최저값을 가지는 것으로 나타나지만, 다른 것들은 불명확하다. 균질적인 부분은 전반적으로 가장 낮은 매칭값을 보이나 뚜렷한 최저값은 존재하지 않는다. 주기적인 부분은 국부적인 최저값이 존재하지만, 어느 최저값이 정확한 것인지 불명확하다.

본 발명에 있어서는 전체 픽셀에서 신뢰할만한 매칭 비용을 가진 픽셀을 구분하기 위하여 신뢰도를 사용하고, 서포트 윈도우의 크기를 변화시키면서 수행하는 비용 집적을 하지 않는다. 이에 따라 연산 시간이 감소된다.

신뢰도를 측정하는 일례로서 수학식 1이 사용될 수 있다.

수학식 1에서, Confidence(i)는 화소 i에 대한 신뢰도이고, 1^stC(i)는 화소 i의 가장 작은 정합 비용이고, 2^ndLC(i)는 정합 비용의 두 번째로 작은 국부 최소값이다. 국부 최소 값을 비교 대상으로 택한 이유는 최소값 근처에서 발생할 수 있는 유사 값들의 영향을 배제하기 위함이다. λ는 스케일 인자를, 255는 정규화 인자를 의미한다.

도 6은 좌측부터 순서대로 original tsukuba 영상과, 이에 대응되는 변위 영상 및 신뢰도 영상을 나타낸다.

신뢰도 영상의 밝기는 대응되는 변위값의 신뢰성을 나타낸다. 측정된 신뢰도에 따르면 균질적인 부분은 물론 주기적인 부분까지 구별될 수 있다.

다음으로 신뢰도 기반 비용집적부(30)에서 계층적 비용을 집적하는 과정을 설명한다. 본 발명에서는 신뢰도 영상과 계층적 서포트 윈도우를 이용하여 비용 집적의 계산 복잡도를 감소시킬 수 있다.

도 7은 본 발명의 바람직한 실시예에 따른 영상 정합 방법에 있어서 계층적 비용 집적 과정의 유사 소스 코드를 나타낸다.

먼저, 사용할 피라미드 레벨의 개수와 최대 서포트 윈도우의 크기를 결정한다. 사용할 피라미드 레벨의 개수와 최대 서포트 윈도우의 크기는 계층구조 설정부(20)에서 설정될 수 있다.

다음으로 정합 비용을 초기화한다. 여기에서 정합 비용은 어떠한 방법을 통해 계산되어도 무방하다.

서포트 윈도우로 정합 비용을 집적하고, 모든 화소에 대한 신뢰도(Confidence(i))를 측정한다. 신뢰도 값이 특정 문턱 값(Th)보다 크면 해당 화소의 플래그 값(Flg(i))을 "TRUE"로 바꾼다. 여기서 플래그 값은 해당 화소에 대한 추가적인 집적 과정의 필요 유무를 의미한다. 다음 레벨에서는 플래그 값이 "FALSE"인 화소들만을 대상으로 다음 레벨의 서포트 윈도우로 정합 비용 집적 과정을 수행한다. 이상의 과정은 초기에 설정한 최대 서포트 윈도우의 크기에 도달할 때까지 반복한다. 상기 과정에 있어서, 화소에 대한 신뢰도는 신뢰도 영상(confidence image)으로 나타내고, 상기 신뢰도 영상은 특정 화소의 주변 신뢰도 값을 고려하여 가우시안 평탄화 필터(Gausian smooth filter)로 정제될 수 있다. 예컨대, 상기 과정에 있어서 최소 크기의 서포트 윈도우의 레벨을 제 1 레벨이라 하고, 최대 크기의 서포트 윈도우의 레벨을 제 n 레벨(n은 2 이상의 자연수)이라 하면, 제 2 레벨에서는 제 1 레벨에서 플래그 값이 "FALSE"인 화소에 대해서만 정합 비용 집적 과정이 수행된다.

이러한 계층적 비용 집적 과정을 이용하면, 서포트 윈도우의 크기가 증가하여도 실제 계산이 필요한 화소의 수는 감소한다 이는 많은 계산이 요구되는 큰 사이즈의 서포트 윈도우에서 불필요한 연산을 하지 않아도 된다는 것을 의미한다. 또한 추가적인 집적 과정을 통해 변위 영상의 오차율은 함께 감소한다.

도 8은 본 발명의 바람직한 실시예에 따른 스테레오 정합에 있어서, 서포트 윈도우 크기에 따라 계산된 픽셀 수(a)와 오차율(b)을 도시한 도면이다.

도 8에 따르면, 서포트 윈도우의 크기가 증가함에 따라 실제 계산이 수행되는 픽셀의 수는 감소하는 것과, 오차율도 감소하는 것을 알 수 있다.

도 9는 비계층적 비용 집적과 본 발명에 따른 계층적 비용 집적에 따른 오차율과 계산 시간을 도시하였다.

본 발명에서 제안된 영상의 스테레오 매칭 결과를 평가하기 위하여, 도 9에 따른 결과는 Middlebury stereo benchmark(http://vision.midddlebury.edu/stereo)를 사용하였다. 도 9를 참조하면, 본 발명에 따른 계층적 비용집적 방법을 채용한 결과는 비계층적인 것에 비해 계산 시간이 짧게 걸리고, 정확도가 향상된 것을 알 수 있다.

이상에서 설명한 본 발명에 따르면, 본 발명은 신뢰도 기반의 계층적 구조를 이용한 비용 집적을 수행하는 방식으로 영상의 스테레오 정합을 수행하는 것을 특징으로 한다. 본 발명은 비용 집적 과정에서의 계산 복잡성을 감소시키고, 변위 영상의 정확성을 향상시킬 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 영상 입력부
20 : 계층 구조 설정부
30 : 신뢰도 기반 비용집적부
40 : 변위 출력부

Claims (7)

1. 영상의 스테레오 정합 장치에 있어서,
   정합될 대상 영상을 입력받는 영상 입력부;
   상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정부;
   상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적부; 및
   상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력부
   를 포함하는 영상의 스테레오 정합 장치.
2. 제 1 항에 있어서,
   상기 신뢰도는, 특정 화소에 대한 신뢰도의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출되는 것을 특징으로 하는 영상의 스테레오 정합 장치.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 신뢰도 기반 비용집적부는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 하는 영상의 스테레오 정합 장치.
4. 제 3 항에 있어서,
   상기 신뢰도는 신뢰도 영상으로 표현되고, 상기 신뢰도 영상은 가우시안 평탄화 필터로 정제되는 것을 특징으로 하는 영상의 스테레오 정합 장치.
5. (a) 정합될 대상 영상을 입력받는 영상 입력 단계;
   (b) 상기 영상에 대한 서포트 윈도우의 크기와 레벨의 수를 계층적으로 설정하는 계층 구조 설정 단계;
   (c) 상기 서포트 윈도우에 포함된 픽셀에 대한 신뢰도를 산출하고, 상기 계층적인 서포트 윈도우들에 대하여 순차적으로 정합 비용을 집적하는 신뢰도 기반 비용집적 단계; 및
   (d) 상기 신뢰도 기반 비용집적부에서 집적된 비용에 따라 상기 스테레오 정합 결과를 산출하여 출력하는 변위 출력 단계
   를 포함하는 영상의 스테레오 정합 방법.
6. 제 5 항에 있어서,
   상기 신뢰도는, 특정 화소에 대한 신뢰도의 최소값과 상기 특정 화소에 대한 정합 비용의 두번째 최소값을 이용하여 산출되는 것을 특징으로 하는 영상의 스테레오 정합 방법.
7. 제 5 항 또는 제 6 항에 있어서,
   상기 (c) 단계는, 상기 계층 구조 설정부에서 설정된 상기 서포트 윈도우의 최소 크기부터 최대 크기까지 상기 정합 비용을 집적하되, 이전 서포트 윈도우에서 해당 화소의 신뢰도 값이 소정 문턱 값 이상인 화소에 대해서는 다음 서포트 윈도우에서 비용 집적 과정을 수행하지 않는 것을 특징으로 하는 영상의 스테레오 정합 방법.

Images