KR20060063480A

KR20060063480A - 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법

Info

Publication number: KR20060063480A
Application number: KR1020040102664A
Authority: KR
Inventors: 김재철; 추창우; 구본기; 최병태; 김현빈
Original assignee: 한국전자통신연구원
Priority date: 2004-12-07
Filing date: 2004-12-07
Publication date: 2006-06-12
Also published as: US7570804B2; KR100603603B1; US20060120594A1

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 변위 결정시 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하는 GGCP 방식을 이용하고, 최적화 방식으로 GGCP의 장점을 결합한 동적 프로그래밍을 선택함으로써, GCP의 문제를 해결할 수 있는 스테레오 변위 결정 장치 및 그 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 스테레오 변위 결정 장치에 있어서, LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석한 뒤, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하기 위한 전처리수단; 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하기 위한 국부적 정합수단; 상기 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하기 위한 국부적 정합 후처리수단; 및 각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하기 위한 전역적 최적화수단을 포함한다.

4. 발명의 중요한 용도

본 발명은 스테레오 영상 정합 시스템 등에 이용됨.

스테레오 정합, 동적 프로그래밍, GCP, GGCP, 국부적 정합, 전역적 최적화

Description

변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법{Apparatus and method of two-path dynamic programming with disparity candidates for stereo matching}

도 1 은 본 발명에 따른 스테레오 변위 결정 장치의 일실시예 구성도,

도 2 는 본 발명에 따른 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 방법에 대한 일실시예 흐름도,

도 3 은 본 발명에 이용되는 방향 필터를 나타낸 설명도,

도 4 는 본 발명에 이용되는 세 개의 이동형 필터를 나타낸 설명도,

도 5 는 본 발명에 따른 스테레오 변위 결정 방법 중 국부적 정합 과정을 설명하는 유사 코드 예시도,

도 6 은 본 발명에 따른 스테레오 변위 결정 방법 중 가로 방향 최적화 과정을 설명하는 유사 코드 예시도이다.

* 도면의 주요 부분에 대한 부호 설명

10 : 전처리부 20 : 국부적 정합부

30 : 국부적 정합 후처리부 31 : 가시성 검사부

32 : 잡음 제거부 40 : 전역적 최적화부

41 : 가로방향 최적화부 42 : 세로방향 최적화부

본 발명은 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 두 장 이상의 정지 영상으로 입력받아 국부적 필터링을 통해 각 화소의 변위 후보를 계산하고, 이를 이중 경로(two-path) 프로그래밍에 적용하여 정확한 스테레오 정합 결과를 얻을 수 있는 스테레오 변위 결정 장치 및 그 방법에 관한 것이다.

이하에서는 본 발명의 도입배경과 본 발명에 관련된 선행기술들의 문제점 및 그 해결방안을 간략하게 살펴보기로 한다.

스테레오 정합은 두 장 이상의 영상을 입력으로 받아 입력 영상의 각 화소들 사이의 대응 관계를 찾는 문제이다. 이때, 계산된 대응 관계는 변위 지도라 불리는 영상에 의해 표현된다.

스테레오 정합의 목적은 물체 내부의 연속성을 유지하면서도 물체간의 경계선이 명확히 구별되는 변위 지도를 얻는 것이다. 이러한 스테레오 정합은 영상기반 렌더링, 영상기반 모델링, 자동항법 등의 다양한 응용분야에 적용될 수 있는 기반 기술로서, 컴퓨터 비젼 분야에서 활발하게 연구가 이루어져 왔다. 이러한 활발한 연구에 힘입어, 최근 들어 스테레오 정합 성능은 비약적인 향상을 이루었다.

그러나, 여전히 스테레오 정합에서 해결하기 어려운 문제가 존재한다. 대표적인 문제는 영상내에 텍스쳐 변화가 적은 영역이 존재하는 경우와 물체간의 경계선이 존재하는 경우이다.

이러한 문제를 해결하기 위한 접근 방법으로, 정합의 신뢰도가 높은 영역의 정합 결과를 이용하여 정합이 어려운 영역의 정합 모호성을 제거하려는 시도가 있어 왔다. 이러한 접근 방법을 '신뢰도 확산 방식의 정합(reliability-based progressive matching scheme)'이라고 부른다. 이러한 신뢰도 확산 방식의 정합에서 가장 기본이 되는 것은 정합의 신뢰도가 높은 화소들을 결정하는 것이다. 이하에서는 정합의 신뢰도가 높은 화소를 'GCP(Ground Control Point)'라 명명한다.

그러나, GCP를 이용하는 경우, 일반적으로 다음과 같은 문제가 발생할 수 있다.

첫째, "조기 결정(Early Decision)" 문제이다. 일반적으로, 신뢰도 확산 방식의 정합에서는 정합 결과의 back-tracking이 일어나지 않는다. 즉, 한 번 결정 된 정합 결과는 고정된 채로 이후의 정합 과정에 영향을 미치게 된다. 따라서, 신뢰도 확산의 시작점이 되는 GCP의 정합 결과가 부정확할 경우, 최종 정합 결과의 정확도는 현저히 저하될 수 있다.

둘째, "불충분한 정보" 문제이다. GCP의 정확도 향상을 위해 GCP 결정에 강한 제약 조건들을 가할 경우, 얻어지는 GCP의 개수가 적어지고, 이것은 이후의 정합 과정에 적용할 수 있는 정보가 불충분함을 의미한다.

따라서, 본 발명에서는 기본적으로 기존 GCP의 문제를 해결하고자 'GGCP(Generalized GCP)' 개념을 제안한다.

기존의 GCP 방식은 정합의 신뢰도가 높은 화소를 검출하고 검출된 화소에 대해서만 변위를 결정한다. 반면, GGCP 방식은 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정한다. 따라서, GGCP 방식에서는 정합의 신뢰도가 높은 화소의 경우에는 GCP 방식과 마찬가지로 하나의 변위만이 해당 화소가 가질 수 있는 변위로서 주어질 것이고, 그렇지 않은 화소에 대해서는 둘 이상의 변위가 해당 화소의 후보 변위로 주어질 것이다. 이것은 신뢰도가 높은 화소에 대해서만 변위를 결정하던 기존의 GCP 개념을 일반화한 것이다.

이러한 GGCP의 특징은 다음과 같은 장점을 갖는다.

우선, "Early Decision" 문제를 완화시킬 수 있다. 기존의 GCP와는 달리, GGCP는 모든 화소에 대해 각 화소가 가질 수 있는 하나 이상의 변위의 후보를 주는 것이기 때문에, 오정합(false matching)의 확률이 매우 낮다. 또한, 모든 화소에 대해 후보 변위(disparity candidate)를 부여함으로써 변위 탐색 공간을 현저히 축소시켜 계산의 효율성을 가져다 준다. GGCP 방식에서 각 화소의 후보 변위를 결정하고 결정된 후보 변위에 정합 비용을 부여하는 것은, 텍스쳐 분포 분석에 근거한 국부적 필터링(local filtering) 알고리즘을 적용하여 수행된다. 필터링 알고리즘의 자세한 설명은 후술하기로 한다.

GCP 또는 GGCP는 전역적 최적화(global optimization), 신뢰도 확산(progressive scheme), 국부적 갱신(local update) 등의 다양한 정합 방식과 결합 되어 적용될 수 있다. 따라서, 본 발명에서는 계산한 GGCP를 전역적 최적화 방식의 정합 기법에 적용한다. 이러한 전역적 최적화는 크게 동적 프로그래밍 기반의 1차원 주사선(scanline) 최적화와, 영상 전체에 대해 최적화를 수행하는 2차원 최적화로 분류된다.

여기서, 동적 프로그래밍은 계산이 효율적이나, 주사선 간의 일치성을 부가하는데 어려움이 있다. 반면, 2차원 최적화는 영상 전체에 대해 최적화를 수행한다는 장점이 있으나, NP-hard 문제로서 계산량이 많고 최적해(global minimum)를 보장하지 못한다. 그러나, 최근 2차원 MRF(Markov Random Field) 문제의 해를 기존의 2차원 최적화 알고리즘들보다 빠르고 정확하게 근사할 수 있는 "Graph-cuts" 알고리즘과 "Belief propagation" 알고리즘이 스테레오 정합에 적용됨으로써 정합 성능에 비약적인 향상이 이루어졌다.

현재 최고의 정합 결과를 제공하는 대부분의 알고리즘들(the state of the art)이 "Graph-cuts"이나 "Belief-propagation"을 적용하고 있지만, 본 발명에서는 최적화 방식으로 동적 프로그래밍을 선택한다. 그 이유는 다음과 같다.

본 발명에서는 최적화 이전에 이미 정교한 국부적 필터링 방식을 적용하여 GGCP를 계산함으로써, 모든 화소에 대해 각 화소들의 후보 변위 및 후보 변위에 대한 신뢰성있는 정합 비용(matching cost)을 가지고 있다. 이것은 최적화 과정에서의 변위 검색 공간을 현저히 줄여 줄 뿐 아니라, 최적화를 위한 신뢰성있는 초기값(initial points)을 제공한다. GGCP가 제공하는 이러한 장점을 살림으로써, 본 발명에서는 계산량이 적은 동적 프로그래밍을 적용하여, 빠르면서도 "Graph-cuts"이 나 "Belief propagation"에 상당하는 정확한 정합 결과를 얻을 수 있다.

이와 더불어, 본 발명에서는 동적 프로그래밍의 전형적 문제인 주사선간의 불일치 문제를 가로, 세로 양 방향으로 수행되는 이중 경로(two-path) 동적 프로그래밍을 제안함으로써 해결한다.

결국, 본 발명은 GGCP의 장점을 결합한 동적 프로그래밍 기법을 제안함으로써, 2차원 최적화 기법에 비해 효율적이면서도 그에 상당하는 정합 결과를 제공할 수 있다.

거듭, 본 발명의 특징을 살펴보면 다음과 같다.

첫 번째로, 본 발명은 국부적 정합에 의해 얻은 결과인 GGCP를 전역적 최적화에 적용하는 구조를 취하고 있다.

국부적 정합과 전역적 정합을 결합하는 이러한 방식은 기존의 스테레오 정합 분야에서 시도가 되어 왔다. 특히, 국부적 정합을 통해 얻은 GGCP와 동적 프로그래밍을 결합하는 본 발명의 알고리즘은 기존의 기법들 중 "Bobick"에 의해 제안된 알고리즘과 다소 유사하다. 그러나, 본 발명은 "Bobick"이 사용하였던 GCP의 개념을 일반화시킨 GGCP를 제안하였고, 동적 프로그래밍 과정에서 GCP만으로 주사선 간의 일치성을 보장하려던 "Bobick"의 알고리즘과는 달리, 가로/세로 양방향으로 수행되는 이중 경로(two-path) 동적 프로그래밍을 제안하여 성능의 향상을 도모한다.

두 번째로, 본 발명은 GGCP의 계산을 위해 방향 필터링(orientation filtering)을 하여 국부적 정합(local aggregation)을 수행하였다.

방향 필터링이 인간의 시각기에서 이루어진다는 다양한 증거들과 함께 방향 필터링은 모션 분석(optical flow), 텍스쳐 분석(texture analysis), 곡선 그룹핑(grouping of curves), 에지 검출(edge detection)과 같은 컴퓨터 비젼 및 영상 처리의 다양한 분야에 고전적으로 사용되어 왔다. 스테레오 정합에서는 1980년대에 "Kass"와 "Jones et.al." 등이 방향 필터를 국부적 정합 방식으로 적용하였다.

국부적 스테레오 정합에서 일반적으로 사용하는 윈도우 방식과 비교하여 방향 필터는 다음과 같은 장점을 갖는다.

첫째, 다양한 방향을 지니는 깊이 불연속선 부근의 정합이 정확하다.

둘째, 기울어진 평면(slanted plane)의 정합에 유리하다. 국부적 정합의 기본 가정은 '필터내의 화소는 모두 동일한 변위를 갖는다(fronto-parallel plane assumption)'라는 것이다. 그러나, 기울어진 면에 윈도우를 적용할 경우, 이러한 가정은 성립할 수 없다. 하지만, 방향 필터를 적용할 경우, 적어도 하나의 방향에서는 가정을 만족하는 경우가 발생한다. 해당하는 방향의 정합 비용은 다른 방향에 비해 현저히 작을 것이므로, 기울어진 면에 대해서 보다 정확한 정합이 가능하다.

한편, 본 발명은 깊이 불연속선에서의 정합 정확도를 더욱 향상시키기 위해, 방향 필터의 형태를 기존의 것과 다르게 하였다. "Kass"나 "Jones et.al."는 가우시안 필터링으로 노이즈를 제거한 후 방향성이 존재하는 DOG(Difference of Gassian) 필터를 적용하였으나, 본 발명에서는 가우시안 필터링후 방향성이 존재하는 막대기 형태의 필터(rod-shaped filter)를 사용한다. 막대기 형태의 필터는 DOG 필터에 비해 필터링 방향으로 필터의 계수(coefficients)가 집중되어 있기 때문에 방향 구별성(orientation resolution)이 뛰어나고, 따라서 물체의 경계선을 보다 정확하게 정합할 수 있다. 막대기 형태 필터에 대한 구체적인 설명은 후술하기로 한다.

세 번째로, 본 발명은 동적 프로그래밍 과정에서 발생하는 주사선 간의 불일치 문제를 해결하기 위해 가로/세로 양방향으로 이루어지는 이중 경로(two-path) 동적 프로그래밍을 제안한다.

기존에도 주사선간의 불일치 문제를 해결하려는 다양한 시도가 있어 왔다. 대표적인 예로써, "Birchfield"는 동적 프로그래밍으로 계산한 변위 지도에 heuristics에 근거한 후처리를 수행함으로써 문제를 해결하려 하였고, "Cox"는 이웃한 주사선 간의 불연속을 최소화함으로써 주사선간의 일치성을 국부적으로 고려하는 방식을 제안하였다. 이들 기법은 주사선간의 불일치를 어느 정도 해결하기는 하였으나, 충분히 만족할 만한 결과를 제공하지는 못하였다.

이에 반하여, 본 발명에서 제안하는 기법은 순서 제약(Ordering constraint)을 적용하는 기존의 동적 프로그래밍 방식이 아니라, 최근 제안된 주사선 최적화(Scanline Optimization) 방식을 택해 전역적 최적화를 수행한다. 주사선 최적화 기법은 순서 제약을 고려하지 않기 때문에, 순서 제약을 가하기 어려운 세로 방향의 최적화를 가로 방향과 동일하게 수행할 수 있게 한다. 이렇게 가로/세로 양 방향으로 동적 프로그래밍을 수행하는 아이디어는 "Todd" 등이 양안 헬름홀츠 스테레오(Binocular Helmholtz Stereopsis)에 적용하였던 기법에서 영향을 받았다. 그러나, 제안하는 기법에서는 이중 경로(two-path) 동적 프로그래밍 기법을 스테레오 문제에 적합한 형태로 응용하여 적용한다. 특히, GGCP에 의해 제공되는 정보를 결 합한 two-path 동적 프로그래밍을 수행함으로써, 주사선간의 불일치 문제에 대해 만족할 만한 결과를 얻을 수 있다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 변위 결정시 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하는 GGCP 방식을 이용하고, 최적화 방식으로 GGCP의 장점을 결합한 동적 프로그래밍을 선택함으로써, GCP의 문제를 해결할 수 있는 스테레오 변위 결정 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 가로/세로 양방향으로 수행되는 이중 경로(two-path) 동적 프로그램밍을 선택함으로써, 동적 프로그래밍의 전형적 문제인 주사선간의 불일치 문제를 해결할 수 있는 스테레오 변위 결정 장치 및 그 방법을 제공하는데 다른 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 스테레오 변위 결정 장치에 있어서, LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석한 뒤, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하기 위한 전처리수단; 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하기 위한 국부적 정합수단; 상기 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하기 위한 국부적 정합 후처리수단; 및 각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하기 위한 전역적 최적화수단을 포함하여 이루어진 것을 특징으로 한다.

한편, 본 발명은 스테레오 영상 정합 장치에서의 스테레오 변위 결정 방법에 있어서, 스테레오 영상 입력시, LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석하여, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하는 전처리단계; 상기 전처리단계에서 구분된 균질(homogeneous)한 영역과 그렇지 않은 영역에 대해 정합 방법 및 적용 필터를 달리하여, 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하는 국부적 정합단계; 상기 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하는 국부적 정합 후처리단계; 및 각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하는 전역적 최적화단계를 포함하여 이루어진 것을 특징으로 한다.

본 발명은 GGCP 개념과 결합된 이중 경로(two-path) 동적프로그래밍 기법을 제안함으로써, 기존의 동적 프로그래밍 기법에서 발생하는 주사선간의 정합 불일치 문제를 해결한다. 또한, 현재 최고의 성능을 보이고 있는 스테레오 정합 기법들과 유사한 정합 정확도를 제공하면서도 이들에 비해 계산 속도가 빠른 동적 프로그래밍을 적용함으로써 훨씬 빠른 수행 속도를 제공한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 스테레오 변위 결정 장치의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 후보 변위 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치는, LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석한 뒤, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하기 위한 전처리부(10)와, 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하기 위한 국부적 정합부(20)와, 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하기 위한 국부적 정합 후처리부(30)와, 각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하기 위한 전역적 최적화부(40)를 포함한다.

특히, 국부적 정합부(20)는 균질(homogeneous)한 영역에서는 방향 필터와 큰 사이즈의 윈도우를 동시에 적용하고, 그렇지 않는 영역에서는 방향 필터만을 적용하여, 각각의 필터로 정합(aggregation)을 수행하여 얻은 결과별로 WTA(Winner Take All)을 적용함으로써 각 화소에 대한 후보 변위들을 얻는다.

여기서, 계산이 효율적이나 주사선 간의 일치성을 부가하는데 어려움이 있는 동적 프로그래밍이 사용되는 이유는, 전역적 최적화부(40) 이전에, 국부적 필터링 방식을 적용하여 GGCP(Generalized Ground Control Point)를 계산함으로써, 모든 화소에 대해 각 화소들의 후보 변위 및 후보 변위에 대한 신뢰성있는 정합 비용(matching cost)을 가지고 있기 때문이다. 아울러, 전역적 최적화부(40)에서는 가로/세로 양 방향으로 수행되는 이중 경로(two-path) 동적 프로그래밍을 이용함으로써, 동적 프로그래밍의 전형적 문제인 주사선간의 불일치 문제를 해결할 수 있다.

본 발명에 따른 후보 변위 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치에서의 스테레오 변위 결정 방법을 도 2를 참조하여 설명하면 다음과 같다.

편의상 입력 영상은 서로 주사선 일치(rectification)가 되어 있다고 가정한다. 이때, 첫 번째 입력 영상의 화소 I ₁ (x,y)와 이로부터 변위가 d 만큼 떨어진 두 번째 입력 영상의 화소 I ₂ (x-d,y) 사이의 유사성을 측정하는 척도로서 AD(absolute differences), SD(squared differences), NC(normalized correlation) 등이 많이 사용된다. 이 중 본 발명에서는 AD를 사용하여 초기 정합 비용을 계산한다. 따라서,

가 변위 공간 영상(Disparity Space Image, DSI)의 점 (x,y,d)의 초기 정합 비용으로 부여된다.

본 발명에서는 도 3에 도시된 바와 같이 막대기 형태의 방향 필터(rod-shaped oriented filters)를 사용한다. 도 3의 필터는 수평 방향에 대해 θ 만큼 기울어졌으며, 필터의 폭은 3픽셀, 길이는 2l+1 픽셀이다. 도 3의 필터는 하기의 [수학식 1]과 같이 표현된다.

방향 필터가 물체의 경계선에 걸쳐 적용되는 문제를 최소화하기 위해, 본 발명에서는 필터의 중심을 서로 다른 세 군데 위치로 옮겨가면서 필터링을 수행하고, 그 중 가장 좋은 결과(best cost)를 취한다. 이러한 방식을 보통 이동형 필터링(shiftable filtering)이라 부른다. 도 4는 이동형 방향 필터링(shiftable oriented filtering)에 사용된 세 가지 필터를 나타내고 있다. 이러한 이동형 필터링은 각각의 필터 중심에 대해 필터링을 반복하는 대신에 한 차례의 필터링후 각 필터의 중심 위치들간의 최소값을 찾음으로써 계산할 수 있다. 따라서, 약간의 계 산량 추가만으로 이동형 필터링의 구현이 가능하다.

입력된 2장의 스테레오 영상(201)은 전처리부(10)에 의해 전처리 과정(202)을 거친다. 이때, 전처리 과정(202)의 목적은, 기준 영상 I₁의 밝기값의 변동을 분석하여, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 나누는 것이다.

그럼, 전처리 과정(202)을 보다 상세하게 살펴보기로 한다.

먼저, 작은 크기(예를 들어, 3×3 또는 5×5)의 LOG(Laplacian of Gaussian)필터를 기준 영상 I₁에 적용하여 각 화소의 밝기값 변동을 계산한다. 그리고, LOG 필터링된 영상에 도 4와 같은 이동형 방향 필터를 적용하여 이웃 화소의 밝기값 변동 정보를 함께 정합(aggregation)한다.

여기서, 국부적 정합 과정(203)에서 사용되는 이동형 방향 필터를 여기서 사용하는 이유는, 실제 정합에 적용될 필터에서의 밝기값 변동 정보를 전처리 과정(202)에서 정확하게 반영하기 위함이다. 끝으로, 각 방향의 필터에서 제공되는 필터링값 모두가 문턱값 이하이면 해당 화소를 homogeneous한 영역에 속하는 것으로, 그렇지 않으면 homogeneous하지 않은 영역에 속하는 것으로 결정한다.

이후, 전처리를 거친 입력 영상은 국부적 정합부(20)로 전달되어, 국부적 정합부(20)에서 모든 화소에 대해 각 화소가 가질 수 있는 변위의 후보를 결정한다(203).

국부적 정합 과정(203)의 목적은, GGCP 개념을 구현하는 것이다. 다시 말해, 모든 화소에 대해 각 화소가 가질 수 있는 변위의 후보를 결정하는 것이다. 이러한 국부적 정합에서는 전처리 과정에서 구분한 두 가지 영역에 대해 약간 다른 정합 방법이 적용되는데, 차이는 크게 두 가지이다.

첫째, 입력 영상으로부터 초기 정합 비용 C ₀ (x,y,d)를 계산하는 방법이 다르다. 균질(Homogeneous)한 영역의 경우, 입력 영상을 그대로 이용하여 초기 정합 비용을 계산한다. 반면, 균질(homogeneous)하지 않은 영역의 경우는 입력 영상에 가우시안(Gaussian) 필터링을 수행하여 영상 잡음을 줄인 뒤 초기 정합 비용을 계산한다. 이것은 homogeneous하지 않은 영역이 homogeoneous한 영역에 비해 정합 과정에서 영상 잡음의 영향을 많이 받기 때문이다.

둘째, 초기 정합 비용의 정합(aggregation)에 사용되는 필터의 종류가 다르다. 균질(homogeneous)하지 않은 영역의 경우, 이동형 방향 필터가 적용된다. 그러나, 균질(homogeneous)한 영역의 경우에는 이동형 방향 필터와 더불어 큰 사이즈의 이동형 윈도우(shiftable windows)가 함께 적용된다. 큰 사이즈의 윈도우를 사용하는 것은 밝기값 정보의 부족으로 인한 정합 모호성을 제거하기 위한 것이다.

구체적인 국부적 정합 과정(203)은 다음과 같다.

먼저, 초기 정합 비용을 하기의 [수학식 2]와 같이 계산한다.

상기 [수학식 2]에서, g는 가우시안 필터를,

은 가우시안 필터와 입력 영상간의 컨벌루션(convolution) 연산 기호를 나타낸다. 이렇게 초기 정합 비용이 계산되면 필터(각 방향의 이동형 방향 필터, 단 homogeneous 영역에서는 이동형 윈도우도 포함됨)를 이용하여 국부적 정합(local aggregation)이 수행되고, aggregation 결과에 대해 각 화소마다 가장 적은 정합 비용을 제공하는 변위를 구한다. 이때, 각각의 필터에서 제공되는 최소 정합 비용의 변위들은 해당 화소의 후보 변위가 되며, 구한 변위의 정합 비용이 후보 변위의 정합 비용이 된다. 만약, 서로 다른 필터에서 제공하는 후보 변위가 서로 같을 경우, 해당하는 후보 변위의 정합 비용은 각 필터에서 제공하는 정합 비용 중 최소인 것으로 결정한다. 도 5는 국부적 정합 과정을 나타내는 유사 코드를 담고 있다.

한편, 국부적 정합 후처리부(30)에서는 국부적 정합 결과의 신뢰도를 높이기 위해 두 가지 종류의 후처리를 수행한다(204,205). 그 중 하나는 가시성 검사부(31)에서, 나머지 하나는 잡음 제거부(32)에서 수행된다.

먼저, 가시성 검사부(31)에서는 국부적 정합 결과의 신뢰도를 높이기 위해 가시성 검사를 수행한다(204). 이때, 가시성 검사는 유일성 가정(uniqueness assumption)에 근거하여 정합 결과의 양방향 일치를 확인함으로써 이루어진다. 이를 통해 본 발명에서는 가리워짐 현상(half-occlusion)에 의해 발생되는 정합 결과의 모호성을 제거할 수 있다.

가시성 검사 과정(204)은 다음과 같다.

먼저, 기준 영상의 화소 I ₁ (x,y)에 대해 가장 적은 정합 비용을 제공하는 변위 d _min1 을 계산한다. 그리고, 반대편 영상의 화소 I ₂ (x-d _min1 ,y) 에 대해 가장 적은 정합 비용을 제공하는 변위 d _min2 를 계산한다. 계산 결과, d _min1 ≠d _min2 일 경우 화소 I ₁ (x,y)은 유일성 가정을 만족하지 못하는 것이므로, I ₁ (x,y)에 대한 국부적 정합 결과는 무효화(invalidation)시킨다. 정합 결과의 무효화는 I ₁ (x,y)의 후보 변위들에서의 정합 비용을 임의의 값으로 모두 동일하게 하여 국부적 aggregation 결과의 차이를 제거함으로써 이루어진다.

본 발명에서는 후보 변위들에 부여하는 임의의 정합 비용을 0으로 하였다. 단, 후보 변위 이외에서의 정합 비용은 초기값(infinite)으로 그대로 유지한다. 후보 변위와 그렇지 않은 변위는 구별하지만, 후보 변위들 간의 차이는 무시하는 이러한 무효화 방법은 실험적 경험(heuristics)에 근거한 것인데, 그 내용은 다음과 같다.

가리워짐이 발생한 화소의 경우에도 참값 변위는 제공된 후보 변위들 중에 존재한다. 그러나, 해당 화소의 후보 변위들의 정합 비용은 대부분 신뢰할 수 없다. 다시 말해, 참값 변위에서의 정합 비용이 다른 후보 변위에서의 정합 비용에 비해 현저히 커서, 국부적 정합 비용을 고려한 전역적 최적화를 수행할 경우 부정확한 결과를 제공하는 경우가 빈번하게 발생한다. 따라서, 잡음 제거부(32)에서는 밝기값 정보의 과도한 부족이나 람버션(Lambertian) 가정을 위배하는 반짝임 (specularity) 현상 등으로 국부적 정합의 결과를 신뢰할 수 없는 화소들을 검출하여 이들 화소의 국부적 정합 결과를 무효화한다(205). 이때, 정합 결과의 무효화는 가시성 검사 과정(204)에서 사용한 무효화 방법과 유사하게 이루어진다. 다만, 한 가지 차이가 존재하는데, 그 차이는 가시성 검사 과정(204)에서의 무효화는 후보 변위와 그렇지 않은 변위를 구별하여 수행되지만, 잡음 제거 과정(205)에서의 무효화는 그러한 구별없이 모든 변위의 정합 결과를 무효화한다는 점이다. 후보 변위 정보를 무시하는 이러한 무효화 방법은 국부적 정합 후처리 과정(204,205)에서 검출되는 화소들의 참값 변위가 반드시 제공된 후보 변위들 중에 존재하는 것이 아닐 뿐만 아니라, 이러한 현상이 매우 빈번하게 발생한다는 실험적 경험에 근거한다.

구체적인 국부적 정합 후처리 과정(204,205)에서의 무효화 방법은 다음과 같다.

첫째, homogeneous 영역에 속하는 화소에 대해 큰 사이즈의 이동형 윈도우를 적용하여 얻은 정합 비용 중 최소 정합 비용과 두 번째 작은 정합 비용 사이의 차이가 문턱치 이하이면 정합에 필요한 밝기값(intensity) 정보가 매우 부족함을 의미한다. 따라서, 해당 화소의 정합 비용을 모든 변위에 대해 임의의 값으로 모두 동일하게 줌으로써 국부적 정합 결과를 무효화한다. 본 발명에서는 임의의 정합 비용을 0으로 부여하였다.

둘째, 화소 I ₁ (x,y)의 최소 정합 비용이 일정 크기 이상인 경우, 해당 화소는 specularity 등으로 인한 오정합(false match)의 확률이 높다. 이러한 화소들 역시 모든 변위에 대해 정합 비용을 동일하게 줌으로써 국부적 정합 결과를 무효화 한다. 부여한 정합 비용은 마찬가지로 0이다.

국부적 정합 후처리 과정(204,205)에서 국부적 정합 결과가 무효화된 화소들의 정합은 전역적 최적화 과정(206)에서 이웃 화소들과의 연속성(smoothness)을 고려하여 이루어진다.

따라서, 전역적 최적화부(40)는 국부적 정합부(20)와 국부적 정합 후처리부(30)에 의해 제공되는 후보 변위 정보를 이중 경로(two-path) 동적 프로그래밍과 결합함으로써 최종 변위를 결정한다(206).

먼저, 가로 방향 최적화부(41)에서는 각각의 주사선 y=y₁에 대해, 하기 [수학식 3]의 에너지 함수를 최소화하는 변위의 경로 d를 계산한다.

상기 [수학식 3]에서 C(x,y ₁ ,d(x,y ₁ ))는 국부적 정합에서 계산된 정합 비용으로 변위의 경로 d가 입력 영상과 얼마나 일치하는지를 나타낸다. 그리고, ρ는 변위의 경로 d가 연속성 가정을 얼마나 만족하는가를 측정하는 함수로서, 보통 인접한 화소 사이의 변위 차이에 비례하는 함수값을 갖는다. 최근의 최적화 기법에서는 변위의 불연속을 다룰 수 있는 Potts 모델이 많이 사용된다. Potts 모델에서 는 하기의 [수학식 4]와 같은 형태를 갖는다.

본 발명에서 역시 Potts 모델을 적용하여 최적화를 수행한다. 그러나, 전처리 과정(202)에서 homogeneous한 영역으로 결정된 영역 중에서 국부적 정합 결과가 무효화되지 않은 영역에 대해서는 Potts 모델에 변위 변동률 제약(disparity gradient constraint)이 함께 고려된 변형 Potts 모델(reformed Potts model)을 적용한다. 변형 Potts 모델은 하기의 [수학식 5]와 같다.

상기 [수학식 3]에서, λ는 연속성 항에 가하는 비중(weight)을 나타낸다. 이는 상수로 취급되는 경우도 있으나, 최근에는 입력 영상의 밝기값 변동에 따라 화소마다 λ의 값을 다르게 주는 경우가 많다. 보통 인접한 화소간의 밝기값의 차이에 반비례하여 값을 주는데, 이것은 깊이의 불연속이 영상의 에지(edge)와 일치 (alignment)하도록 제약하기 위함이다. 본 발명에서는 가로 방향 최적화에 하기의 [수학식 6]과 같은 형태의 λ를 사용한다.

상기 [수학식 6]에서 c는 상수 파라미터이다.

은 기준 영상의 화소 I ₁ (x,y)의 가로 방향 밝기 변동률(intensity gradient)로서 3×3 크기의 가로 방향 소벨(Sobel) 연산자를 이용하여 계산한다. 그리고, t ₁ , t ₂ 는 밝기 변동률에 대한 문턱 값이다.

일반적인 1차원 주사선 최적화는 각 주사선 y=y ₁ 에 대응하는 변위 공간 상의 각 점 (x,y ₁ ,d)에 대해, 각 점에 이르는 변위의 경로 중 최소 비용 C _h (x,y ₁ ,d)을 제공하는 경로를 계산해 나가면서 수행된다. 그리고, 주사선의 끝점 x _e 에 대해

에 해당하는 변위 공간상의 점 (x _e ,y ₁ ,d _min (x _e ))에 이르는 변위의 경로를 최종 변위로 결정한다. 그러나, 본 발명에서 제안하는 기법에서는 가로 방향 최적화에서 변위의 경로를 직접 결정하지 않고, 가로 방향 최적화로부터 얻은 비용인 C _h (x,y ₁ ,d)을 세로 방향 최적화에 적용한다. 그리고, 세로 방향 최적화에서 최종 변위를 결정함으로써 정합을 완료한다. 이때, 비용 계산의 대칭성을 유지하기 위해, C _h (x,y ₁ ,d)는 왼쪽에서 오른쪽으로 최적화를 수행하여 얻은 비용 C _h1 (x,y ₁ ,d)과 반대 방향으로 최적화를 수행하여 얻은 비용 C _h2 (x,y ₁ ,d)을 합산하여 얻는다. 가로 방향 주사선 최적화의 구체적인 방법은 도 6의 유사 코드에 기술되어 있으며, 여기서는 우선 유사 코드에 쓰인 새로운 표기법을 정의한다. 먼저

으로 정의한다. 그리고, E _min (x ₁ )=C _h (x ₁ ,y ₁ ,d _min (x ₁ ))으로 정의한다. 간략한 표기를 위해 고정 파라미터인 y ₁ 은 표기법 정의에서 생략하였으며, 도 6의 유사 코드에서도 생략한다. 그리고, 가로 방향 주사선 최적화의 개념을 명확히 전달하기 위해, 도 6의 유사 코드에서는 후보 변위 개념을 생략하고 모든 변위에 대해 정합을 고려하였다.

한편, 세로 방향 최적화부(42)는 각 세로 방향 주사선 x=x ₁ 에 대해, 하기 [수학식 7]의 에너지 함수를 최소화하는 변위의 경로 d를 계산한다.

상기 [수학식 7]에서 C _h 는 가로 방향 최적화로부터 얻은 결과이고, C는 국부 적 정합에서 얻은 정합 비용이다. 세로 방향 최적화에서 ρ와 λ는 가로 방향 최적화에서 사용된 것과 약간 다른 형태를 갖는다. 우선, ρ는 영상의 모든 영역에 대해 Potts 모델만을 사용한다(변형 Potts 모델을 사용하지 않는다). 왜냐하면, 세로 방향 최적화에서는 Potts 모델만을 적용하는 것이 변형 Potts 모델을 함께 적용하는 경우보다 실험에서 약간 더 정확한 정합 결과를 제공하기 때문이다. 그리고, λ는 하기의 [수학식 8]과 같은 형태를 갖는다.

상기 [수학식 8]에서, c는 상수 파라미터이고, t ₁ , t ₂ 는 밝기 변동률에 대한 문턱 값이다. 그리고,

은 기준 영상의 화소 I ₁ (x ₁ ,y)의 세로 방향 밝기 변동률(intensity gradient)로서 3×3 크기의 세로 방향 Sobel 연산자를 이용하여 계산한다.

세로 방향 최적화에서는 가로 방향 최적화 결과, 국부적 정합 결과, 세로 방향의 변위연속성을 모두 함께 고려하여 주사선 최적화를 수행한다. 이를 통해 본 발명에서는 주사선간의 일치성이 부여된 변위 지도를 얻는다.

마지막으로, 세로 방향 최적화로부터 얻은 변위 지도에 대해 간단한 부화소 교정(sub-pixel refinement)을 수행한다. 부화소 교정은 국부적 정합 결과를 이용하는데, 국부적 정합에서 얻은 후보 변위의 개수가 둘이고, 그 둘 사이의 차이가 한 픽셀일 경우, 하기의 [수학식 9]와 같은 경험 식(heuristic equation)을 적용하여 교정을 수행한다.

상기 [수학식 9]에서, d ₀ 는 후보 변위 중에서 주사선 최적화에서 선택된 변위를, d ₁ 은 선택되지 못한 나머지 하나의 변위를 나타낸다. 그리고, d _sub 는 부화소 교정이 된 변위값이다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 첫째 기존의 GCP 개념을 일반화한 GGCP 개념을 제안함으로써 기존 GCP에서 발생하던 문제들을 해결할 수 있고, 둘째 GGCP가 제공하는 장점과 결합된 이중 경로(two-path) 동적 프로그래밍 기법을 제안함으로써 기존의 동적 프로그래밍 기법에서 빈번하게 발생하던 주사선간의 불일치 문제를 해결할 수 있는 효과가 있다. 이를 통해, 본 발명은 현재 최고의 정합 성능을 보이는 기법들(the state of the art)에 비해 효율적이면서, 이들 기법에 상당하는 정합 결과를 얻을 수 있는 효과가 있다.

Claims

스테레오 변위 결정 장치에 있어서,

LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석한 뒤, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하기 위한 전처리수단;

모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하기 위한 국부적 정합수단;

상기 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하기 위한 국부적 정합 후처리수단; 및

각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하기 위한 전역적 최적화수단

을 포함하는 스테레오 변위 결정 장치.
제 1 항에 있어서,

상기 국부적 정합수단은,

균질(homogeneous)한 영역에서는 방향 필터와 큰 사이즈의 윈도우를 동시에 적용하고, 그렇지 않는 영역에서는 방향 필터만을 적용하여, 각각의 필터로 정합 (aggregation)을 수행하여 얻은 결과별로 WTA(Winner Take All)을 적용함으로써 각 화소에 대한 후보 변위들을 얻는 것을 특징으로 하는 스테레오 변위 결정 장치.
제 1 항 또는 제 2 항에 있어서,

상기 전역적 최적화수단 이전에,

국부적 필터링 방식을 적용하여 GGCP(Generalized Ground Control Point)를 계산함으로써, 모든 화소에 대해 각 화소들의 후보 변위 및 후보 변위에 대한 신뢰성있는 정합 비용(matching cost)을 가지고 있는 것을 특징으로 하는 스테레오 변위 결정 장치.
제 3 항에 있어서,

상기 전역적 최적화수단은,

상기 동적 프로그래밍의 전형적 문제인 주사선간의 불일치 문제를 해결하기 위하여, 가로/세로 양 방향으로 수행되는 이중 경로(two-path) 동적 프로그래밍을 이용하는 것을 특징으로 하는 스테레오 변위 결정 장치.
제 4 항에 있어서,

상기 국부적 정합수단은,

초기 정합 비용을 계산하여, 필터(각 방향의 이동형 방향 필터, 단 균질(homogeneous) 영역에서는 이동형 윈도우도 포함됨)를 이용하여 국부적 정합을 수행하고, 정합 결과에 대해 각 화소마다 가장 적은 정합 비용을 제공하는 변위를 구하되, 각각의 필터에서 제공되는 최소 정합 비용의 변위들은 해당 화소의 후보 변위가 되고, 구한 변위의 정합 비용이 후보 변위의 정합 비용이 되며, 만약 서로 다른 필터에서 제공하는 후보 변위가 서로 같을 경우, 해당하는 후보 변위의 정합 비용은 각 필터에서 제공하는 정합 비용 중 최소인 것으로 결정하는 것을 특징으로 하는 스테레오 변위 결정 장치.
제 5 항에 있어서,

상기 국부적 정합수단은,

하기의 (수학식 1)의 방향 필터를 사용하여 변위 후보를 결정하며,

초기 정합 비용 계산시, 하기의 (수학식 2)에 의거하여 초기 정합 비용을 계산하는 것을 특징으로 하는 스테레오 변위 결정 장치.

(수학식 1)

(수학식 2)

(단, g는 가우시안 필터를,
은 가우시안 필터와 입력 영상간의 컨벌루션(convolution) 연산 기호를 나타냄)
제 5 항에 있어서,

상기 국부적 정합 후처리수단은,

국부적 정합 결과의 신뢰도를 높이기 위해 가시성 검사 및 잡음 제거를 수행하는데,

유일성 가정(uniqueness assumption)에 근거하여 정합 결과의 양방향 일치를 확인함으로써, 가리워짐 현상(half-occlusion)에 의해 발생되는 정합 결과의 모호성을 제거하고,

밝기값 정보의 과도한 부족이나 람버션(Lambersion) 가정을 위배하는 반짝임(specularity) 현상으로 국부적 정합의 결과를 신뢰할 수 없는 화소들을 검출하여 이들 화소의 국부적 정합 결과를 무효화하는 것을 특징으로 하는 스테레오 변위 결정 장치.
제 7 항에 있어서,

상기 전역적 최적화수단은,

각각의 가로, 세로 방향 주사선에 대해 하기의 (수학식 1) 및 (수학식 2)에 의거하여 가로 방향 및 세로 방향 주사선을 최적화하는 것을 특징으로 하는 스테레오 변위 결정 장치.

(수학식 1)

(단, C(x,y ₁ ,d(x,y ₁ ))는 국부적 정합에서 계산된 정합 비용으로 변위의 경로 d가 입력 영상과 얼마나 일치하는지를 나타내고, ρ는 변위의 경로 d가 연속성 가정을 얼마나 만족하는가를 측정하는 함수, λ는 연속성 항에 가하는 비중(weight)임)

(수학식 2)

(단, C _h 는 가로 방향 최적화로부터 얻은 결과, C는 국부적 정합에서 얻은 정합 비용임)
제 8 항에 있어서,

상기 전역적 최적화수단은,

상기 전처리수단에서 homogeneous한 영역으로 결정된 영역 중에서 국부적 정합 결과가 무효화되지 않은 영역에 대해서는 Potts 모델에 변위 변동률 제약(disparity gradient constraint)이 함께 고려된 하기 (수학식 3)의 변형 Potts 모델(reformed Potts model)을 적용하는 것을 특징으로 하는 스테레오 변위 결정 장치.

(수학식 3)
제 8 항에 있어서,

상기 전역적 최적화수단은,

세로방향 최적화시 가로 방향 최적화 결과, 국부적 정합 결과, 세로 방향의 변위연속성을 모두 고려하여 주사선 최적화를 수행함으로써, 주사선 간의 일치성이 부여된 변위 지도를 얻을 수 있는 것을 특징으로 하는 스테레오 변위 결정 장치.
스테레오 영상 정합 시스템에서의 스테레오 변위 결정 방법에 있어서,

스테레오 영상 입력시, LOG(Laplacian of Gaussian) 필터를 입력 영상에 적용하여 영상의 텍스쳐 분포를 분석하여, 영상을 균질(homogeneous)한 영역과 그렇지 않은 영역으로 구분하는 전처리단계;

상기 전처리단계에서 구분된 균질(homogeneous)한 영역과 그렇지 않은 영역에 대해 정합 방법 및 적용 필터를 달리하여, 모든 화소를 대상으로 각 화소가 가질 수 있는 변위의 후보들을 결정하는 국부적 정합단계;

상기 후보 변위의 신뢰도를 높이기 위해, 각 화소의 후보 변위들 간의 가시성 검사(Visibility test)를 수행하여 신뢰성이 낮은 화소의 후보 변위들을 제거하는 국부적 정합 후처리단계; 및

각 화소에서의 후보 변위에 대해 동적 프로그래밍을 수행하여 최종 변위를 결정하는 전역적 최적화단계

를 포함하는 스테레오 변위 결정 방법.
제 11 항에 있어서,

상기 국부적 정합단계에서,

균질(Homogeneous)한 영역의 경우, 이동형 방향 필터와 더불어 큰 사이즈의 이동형 윈도우(shiftable windows)를 적용하며, 입력 영상을 그대로 이용하여 초기 정합 비용을 계산하고,

균질(homogeneous)하지 않은 영역의 경우, 이동형 방향 필터를 적용하며, 입력 영상에 가우시안(Gaussian) 필터링을 수행하여 영상 잡음을 줄인 뒤 초기 정합 비용을 계산하는 것을 특징으로 하는 스테레오 변위 결정 방법.
제 11 항 또는 제 12 항에 있어서,

상기 전역적 최적화단계 이전에 국부적 필터링 방식을 적용하여 GGCP(Generalized Ground Control Point)를 계산함으로써, 모든 화소에 대해 각 화소들의 후보 변위 및 후보 변위에 대한 신뢰성있는 정합 비용(matching cost)을 가지고 있고,

상기 전역적 최적화단계는, 상기 동적 프로그래밍의 전형적 문제인 주사선간의 불일치 문제를 해결하기 위하여, 각 화소에서의 후보 변위에 대해 가로/세로 양 방향으로 이중 경로(two-path) 동적 프로그래밍을 수행함으로써 최종 변위를 제공하는 것을 특징으로 하는 스테레오 변위 결정 방법.
제 13 항에 있어서,

상기 국부적 정합단계에서는,

하기의 (수학식 1)의 방향 필터를 사용하여 변위 후보를 결정하며,

하기의 (수학식 2)에 의거하여 초기 정합 비용을 계산하여, 필터(각 방향의 이동형 방향 필터, 단 균질(homogeneous) 영역에서는 이동형 윈도우도 포함됨)를 이용하여 국부적 정합을 수행하고, 정합 결과에 대해 각 화소마다 가장 적은 정합 비용을 제공하는 변위를 구하되, 각각의 필터에서 제공되는 최소 정합 비용의 변위들은 해당 화소의 후보 변위가 되고, 구한 변위의 정합 비용이 후보 변위의 정합 비용이 되며, 만약 서로 다른 필터에서 제공하는 후보 변위가 서로 같을 경우, 해당하는 후보 변위의 정합 비용은 각 필터에서 제공하는 정합 비용 중 최소인 것으로 결정하는 것을 특징으로 하는 스테레오 변위 결정 방법.

(수학식 1)

(수학식 2)

(단, g는 가우시안 필터를,
은 가우시안 필터와 입력 영상간의 컨벌루션(convolution) 연산 기호를 나타냄)
제 14 항에 있어서,

상기 전역적 최적화단계는,

각각의 가로, 세로 방향 주사선에 대해 하기의 (수학식 3) 및 (수학식 4)에 의거하여 가로 방향 및 세로 방향 주사선을 최적화하며, 상기 전처리단계에서 homogeneous한 영역으로 결정된 영역 중에서 국부적 정합 결과가 무효화되지 않은 영역에 대해서는 Potts 모델에 변위 변동률 제약(disparity gradient constraint)이 함께 고려된 하기 (수학식 5)의 변형 Potts 모델(reformed Potts model)을 적용하는 것을 특징으로 하는 스테레오 변위 결정 방법.

(수학식 3)

(단, C(x,y ₁ ,d(x,y ₁ ))는 국부적 정합에서 계산된 정합 비용으로 변위의 경로 d가 입력 영상과 얼마나 일치하는지를 나타내고, ρ는 변위의 경로 d가 연속성 가정을 얼마나 만족하는가를 측정하는 함수, λ는 연속성 항에 가하는 비중(weight)임)

(수학식 4)

(단, C _h 는 가로 방향 최적화로부터 얻은 결과, C는 국부적 정합에서 얻은 정합 비용임)

(수학식 5)