KR20130057324A - 계층적 스테레오 매칭 장치 및 방법 - Google Patents

Abstract

계층적 스테레오 매칭 장치 및 방법이 개시된다. 본 발명의 스테레오 매칭 방법은, 좌영상 및 우영상을 축소하여 축소영상을 형성하고, 상기 축소영상에 대하여 제1트렐리스를 수행하고, 영상의 크기/밝기를 확대하여 확대영상을 생성하여, 상기 확대영상에 대하여 제2트렐리스를 수행한다.

Description

계층적 스테레오 매칭 장치 및 방법{APPARATUS AND METHOD FOR HIERARCHICAL STEREO MATCHING}

본 발명은 영상처리기술에 관한 것으로서, 보다 상세하게는 3차원 영상 시스템에서 사용하기 위한 계층적 스테레오 매칭 장치 및 방법에 관한 것이다.

일반적으로, 스테레오 매칭이란, 좌영상과 우영상의 각 픽셀(pixel)의 매칭을 통하여 물체가 얼마나 떨어져 있는지를 알아내는 기술이다.

예를 들어, 손가락 하나를 양 눈 사이에 가까이 위치시키면, 좌안만 뜨는 경우에는 손가락이 오른쪽에 위치하지만, 우안만 뜨는 경우에는 손가락이 왼쪽에 위치한다. 반면, 매우 멀리 있는 산봉우리를 보는 경우에는, 좌안만 떴을 경우 혹은 우안만 떴을 경우 모두 산봉우리가 가운데 위치하고 있을 것이다.

이와 같이, 스테레오 매칭에서는, 카메라 2개를 이용하여 영상을 획득하는 경우, 거리에 따라 물체가 카메라에 찍히게 되는 위치가 달라지는데, 이 정보를 이용하여 거리정보를 구한다.

좌영상과 우영상의 차이를 사진의 예를 들어 설명하자. 도 1a 및 도 1b는 각각 좌영상과 우영상의 예시도이다. 도면에 도시된 바와 같이, 진하게 보이는 물체의 위치의 좌우영상의 차이는 크지만, 연하게 보이는 배경은 좌우영상의 위치차이가 적음을 알 수 있다.

도 2a 및 도 2b는 각각 도 1a 및 도 1b의 영상의 거리정보를 나타낸 것이다. 도면에서, 밝을수록 카메라와의 거리가 가까운 것을 의미한다.

사람은 좌우영상을 이용하여 거리정보를 인식하는데, 컴퓨터는 그와 같은 방식으로 인식할 수 없으므로, 스테레오 매칭 기술을 이용한다. 스테레오 매칭은, 좌영상 또는 우영상의 픽셀이 각각 상대영상의 어떤 픽셀과 매칭되는지 알아내는 기술이다.

스테레오 매칭은 먼저 좌영상과 우영상이 정렬(rectification)되어 있다고 가정한다. 임의로 스테레오 카메라를 이용하여 사진을 찍을 경우, 도 3a와 같이 정렬되지 않은 상태가 된다.

도 3a는 스테레오 카메라를 이용하여 촬영한 경우 정렬되지 않은(unrectified) 영상의 예이고, 도 3b는 정렬된(retified) 영상의 예이다.

즉, 도 3a의 영상은 좌영상과 우영상이 정렬되지 않았다는 의미이며, 이를 보상하기 위해서 도 3b와 같이 교정을 수행하면, 정렬이 되어, 좌우영상이 동일한 초점거리와 동일한 베이스라인(baseline)을 가진다. 또한, 세로위치도 정렬되어, 가로로 한 줄씩 추출할 경우 동일한 부분을 나타내게 된다.

스테레오 매칭 기술에는 여러 가지가 있는데, 그중 대표적인 것이 트렐리스(Trellis) 알고리즘이다.

트렐리스 알고리즘은, 한줄씩 비교하여 매칭점을 찾는 스테레오 매칭 방식이다. 트렐리스 알고리즘에서는, 좌영상과 우영상을 한줄씩 비교하여 다른 줄과 독립적으로 매칭을 수행하므로, 가로로 줄이 많이 생기는 스트릭 노이즈(streak noise)가 많이 발생한다.

이러한 스트릭 노이즈는 한 줄씩 매칭을 실시하는 트렐리스 알고리즘이 극복하여야 할 문제점이다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 계층구조인 영상 피라미드를 사용하여, 작은 영상에서 트렐리즘 알고리즘을 실행하고, 큰 영상의 추이를 예측함으로써, 노이즈의 영향이 적은 스테레오 매칭 장치 및 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위해, 본 발명의 계층적 스테레오 매칭 장치는, 스테레오 카메라를 이용하여 획득한 좌영상 및 우영상의 크기를 소정 횟수 반으로 축소하여 축소영상을 형성하는 계층구조 형성부; 및 상기 축소영상에 대해 제1트렐리스를 수행하고, 상기 제1트렐리스를 수행한 영상의 크기/밝기를 확대하여 제2트렐리스를 수행하는 트렐리스부를 포함한다.

본 발명의 일실시예에서, 상기 트렐리스부는, 영상의 크기/밝기의 확대 및 제2트렐리스를 수행을 상기 소정 횟수 반복하여 수행하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 트렐리스부는, 상기 제2트렐리스의 수행시, 이전 디스패리티의 주변 영역에 대한 픽셀에 대해서 상기 제2트렐리스를 수행하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 계층구조 형성부는, 임의의 픽셀을 기준으로, 소정의 주변 픽셀과의 평균을 구하여 해당 픽셀에 저장하는 블러링부; 및 여러 픽셀 중 어느 하나만 선택하는 서브샘플링부를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 서브샘플링부는, 네개의 픽셀 중 어느 하나만 선택하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 트렐리스부는, 영상의 대응점에 해당하는 라인을 추출하는 라인추출부; 상기 라인추출부가 추출한 라인의 픽셀에 대해 밝기차를 계산하는 밝기차 계산부; 상기 밝기차 계산부가 계산한 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 경로지정부; 상기 경로지정부가 지정한 경로에서, 최적의 경로를 결정하는 최적경로 결정부; 및 영상의 크기/밝기를 확대하는 확대부를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 밝기차 계산부는, 상기 밝기차를 트렐리스 구조에 적용하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 경로지정부는, 상기 트렐리스 구조의 비정합노드에는, 이전 스테이지의 동일 레벨값, 상위레벨값에 상기 비정합 파라미터를 더한 값 및 하위레벨값에 상기 비정합 파라미터를 더한 값 중 최소값을 지정하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 경로지정부는, 상기 트렐리스 구조의 정합노드에는, 이전 스테이지의 동일 레벨에 자신의 노드값을 더하여 지정하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 최적경로 결정부는, 에너지를 최소화하는 디스패리티를 결정하여 최적경로를 결정하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 밝기차 계산부는, 상기 제2트렐리스의 수행시, 이전 디스패리티의 주변 영역에 대한 픽셀에 대해서 밝기차를 계산하는 것이 바람직하다.

또한, 상기와 같은 목적을 달성하기 위해, 본 발명의 계층적 스테레오 매칭 방법은, 좌영상 및 우영상을 축소하여 축소영상을 형성하는 단계; 상기 축소영상에 대하여 제1트렐리스를 수행하는 단계; 영상의 크기/밝기를 확대하여 확대영상을 생성하는 단계; 및 상기 확대영상에 대하여 제2트렐리스를 수행하는 단계를 포함한다.

본 발명의 일실시예에서, 제12항에 있어서, 상기 축소영상을 형성하는 단계는, 상기 좌영상 및 우영상의 임의의 픽셀을 기준으로, 소정의 주변 픽셀과의 평균을 구하여, 해당 픽셀에 저장하는 단계; 및 여러 픽셀 중 어느 하나만 선택하는 단계를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 축소영상을 형성하는 단계는, 상기 저장하는 단계 및 상기 선택하는 단계를 소정 횟수 반복하여 수행하는 단계를 더 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 제1트렐리스를 수행하는 단계는, 상기 축소영상의 라인을 추출하는 단계; 상기 라인의 모든 픽셀의 밝기차를 계산하여 트렐리스 구조에 적용하는 단계; 상기 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 단계; 및 지정된 경로 중 최적경로를 결정하는 단계를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 확대영상을 생성하는 단계 및 상기 제2트렐리스를 수행하는 단계를 상기 소정 횟수 반복하여 수행하는 단계를 더 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 제2트렐리스를 수행하는 단계는, 상기 확대영상의 라인을 추출하는 단계; 이전 디스패리티의 주변 영역에 대한 픽셀에 대해 밝기차를 계산하여 트렐리스 구조에 적용하는 단계; 상기 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 단계; 및 지정된 경로 중 최적경로를 결정하는 단계를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 경로를 지정하는 단계는, 상기 트렐리스 구조의 비정합노드에는, 이전 스테이지의 동일 레벨값, 상위레벨값에 상기 비정합 파라미터를 더한 값 및 하위레벨값에 상기 비정합 파라미터를 더한 값 중 최소값을 지정하는 단계; 및 상기 트렐리스 구조의 정합노드에는, 이전 스테이지의 동일 레벨에 자신의 노드값을 더하여 지정하는 단계를 포함하는 것이 바람직하다.

본 발명의 일실시예에서, 상기 최적경로를 결정하는 단계는, 에너지를 최소화하는 디스패리티를 결정하여 최적경로를 결정하는 것이 바람직하다.

상기와 같은 본 발명은, 계층구조를 사용하여, 미리 어떤 영상이 어떤 결과를 가져올지 예측할 수 있고, 예측한 결과를 이용하여 정확한 결과를 만들어내도록 하는 효과가 있다.

또한, 본 발명은 계층구조의 영상 피라미드를 사용하여, 계산 복잡성이 낮아지고, 적은 양의 계산양으로 미리 결과를 예측하도록 하는 효과가 있다.

도 1a 및 도 1b는 각각 좌영상과 우영상의 예시도이다.
도 2a 및 도 2b는 각각 도 1a 및 도 1b의 영상의 거리정보를 나타낸 것이다.
도 3a는 스테레오 카메라를 이용하여 촬영한 경우 정렬되지 않은(unrectified) 영상의 예이고, 도 3b는 정렬된(retified) 영상의 예이다.
도 4는 3차원 정보를 추정하기 위한 에피폴라 라인의 예시도이다.
도 5는 양안차와 3차원 정보간의 관계를 설명하기 위한 예시도이다.
도 6은 좌영상과 우영상에서 불연속 성분에 의한 양안차를 나타낸 예이다.
도 7은 정합노드와 비정합노드에 대한 각 경로의 코스트를 나타낸 예시도이다.
도 8은 두대의 카메라를 이용하여 촬영한 좌우영상의 일예시도이다.
도 9a는 트렐리스 방식을 설명하기 위한 예시도이다.
도 9b는 트렐리스 과정을 도시한 예시도이다.
도 9c는 도 9b의 각 노드의 값이 어느 경로에서 온 것인지를 설명하는 일예시도이다.
도 9d는 도 9c의 경로를 이용하여 에너지를 최소화하는 차이(disparity)를 구하는 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일실시예에 따른 계층적 스테레오 매칭 장치의 구성도이다.
도 11은 도 10의 계층구조 형성부의 일실시예 상세 구조도이다.
도 12는 도 10의 트렐리스부의 일실시예 상세 구조도이다.
도 13a는 본 발명에 따라 축소된 영상에 대하여 트렐리스를 수행한 결과를 나타내는 일예시도이다.
도 13b는 도 13a의 영상을 확대부(26)가 확대한 일예시도이다.
도 13c는 도 13b의 가장 위의 라인을 트렐리스 구조에 적용한 일예시도이다.
도 13d는 도 13c에 본 발명의 일실시예에 따른 제한조건을 부여한 것을 설명하기 위한 일예시도이다.
도 14a 및 도 14b는 크기가 큰 영상에 대해 도 13c 및 도 13d의 과정을 적용한 것을 설명하기 위한 일예시도이다.
도 15는 본 발명의 일실시예에 따른 계층적 스테레오 매칭 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에서는, 트렐리스 방식에서 스트릭 노이즈가 발생하는 문제점을 해결하기 위하여, 계층구조를 사용한다. 계층구조는 영상처리에서 자주 사용되는 구조인데, 영상 크기를 반씩 줄이면서 작아진 영상을 가지고 처리하는 방법이다. 이러한 방법에서는 영상의 형태는 그대로 가지면서 그 크기가 반이므로, 미리 어떤 영상이 어떤 결과를 가져올지 예측할 수 있고, 예측한 결과를 이용하여 정확한 결과를 만들어낼 수 있다. 작아진 영상은 크기가 작기 때문에 계산 복잡성이 낮아지고, 적은 양의 계산양으로 미리 결과를 예측할 수 있다.

이하에서는, 첨부된 도면을 참조로 하여, 스테레오 매칭 기술인 트렐리스 방식을 먼저 설명한 후, 트렐리스 방식을 적용한 본 발명의 계측정 스테레오 매칭 장치를 설명하는 것으로 한다.

먼저, 양안차(d)와 3차원 거리(Z)와의 관계에 대해 설명하면, 스테레오 매칭은 2차원 좌영상과 우영상, 즉 스테레오 영상으로부터 3차원 공간을 재구성하는 것으로, 두 개의 2차원 영상에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정한다.

도 4는 3차원 정보를 추정하기 위한 에피폴라 라인의 예시도이다.

두 개의 2차원 영상에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정하기 위하여, 스테레오 영상에서 한쪽 영상(영상1)의 한 점(P)에 대응되는 점을 다른 쪽 영상(영상2)에서 찾아야 하는데, 이 점(예를 들면, P', P1', P2')은 기준영상(즉, 영상1)에서의 점(P)에 대한 대응영상(즉, 영상2)의 에피폴라 라인 상에 있음을 알 수 있으며, 에피폴라 라인에 대한 교정을 수행하면, 수평으로 펼쳐진 두 개의 단일 스캔 라인만을 검사함으로써, 스테레오 매칭을 수행할 수 있다.

그리고, 도 5는 양안차와 3차원 정보간의 관계를 설명하기 위한 예시도로서, 스테레오 카메라로부터 얻은 좌영상 및 우영상과, 그 영상에 맺힌 사물과의 관계를 나타낸다.

대응되는 각 픽셀에 대한 양안차(d)는 단일 라인에서의 대응점으로 다음 수학식 1과 같이 나타낼 수 있다.

여기에서, d는 양안차를 의미하며, x^r은 우영상에서의 x축 길이, x^l은 좌영상에서의 x축 길이를 의미하고, 한 점 P(x,y,z)가 좌영상과 우영상으로 촬영될 경우 기하학적 구조로부터 다음 수학식 2와 같은 파라미터간 관계를 알 수 있다.

여기서, f는 초점거리(focal length)를 의미하고, B(base length)는 두 카메라 사이의 거리를 의미하며, Z는 3차원 거리를 의미하는데, 이러한 수학식 2를 위의 수학식 1에 적용하면 아래의 수학식 3과 같이 나타낼 수 있다.

따라서, 초점거리(f)와 두 카메라 사이의 거리(B)를 알 수 있고, 두 영상의 대응점을 찾을 수 있으면, 물체의 3차원 정보, 즉, 깊이(depth)를 추정할 수 있다는 것을 의미한다.

일반적인 카메라는 3차원 영상을 2차원 불연속 성분(discrete components)으로 고체활성소자(Charge Coupled Device; CCD) 센서 또는 상보형금속산화반도체(Complementary Metal Oxide Semiconductor; CMOS) 센서에 저장한다. 즉, 관찰되는 영상은 불연속점으로 표현된다.

도 6은 좌영상과 우영상에서 불연속 성분에 의한 양안차를 나타낸 예이다.

도 6과 같이, 관찰된 좌영상 및 우영상에서 불연속 성분에 의한 양안차를 표현할 수 있는데, 영상으로부터 가장 멀리 있는 점의 양안차값은 d=0이고(즉, z는 무한대), 같은 선상의 접점은 모두 같은 양안차를 가짐을 알 수 있으며, 3차원 깊이(Z, 3차원 거리)가 증가할수록 양안차는 감소함을 알 수 있다.

또한, 도 6에 도시한 바와 같은 검정색 점은 이 3차원 좌표가 사물의 표면인지를 검증할 매칭이 일어나는 노드로서, 사영선(projection line)이 만나는 곳에서 정의될 수 있고, 어떤 노드에서 적절한 매칭이 일어날 경우 이 노드에서 만나는 두 영상의 픽셀은 한 쌍을 이루게 되며, 이를 정합(matching)이라고 하고, 이와는 반대로 두 영상 중 한쪽 영상에서는 사물의 표면이 보이지만, 그 사물의 표면이 다른 쪽 영상에서는 보이지 않는 영역이 존재할 수 있는데, 이를 비정합(occlusion)이라고 한다.

도 6에서는, 좌측 한 개의 사영선은 우측의 다수 사영선들과 만나게 되는데, 이중 한 개의 사영선과 만나는 정합노드에서만 옳은 정합이 일어나게 된다. 이와 같이, 영상이 투사되는 사영선 사이의 관계로부터 제한을 두면 검색해야 할 경로가 줄어들게 되어 계산의 효율성을 높이고, 계산양을 줄일 수 있다.

이러한 스테레오 매칭 기술은, 에너지 함수를 최소로 만드는 양안차를 찾는 MAP(Maximum A Posteriori) 추정을 기반으로 한다. 이를 위해 DP(dynamic programming)을 기반으로 하는 비터비(viterbi) 알고리즘을 이용하여 최적의 경로를 검색한다. 즉, 정합노드 및 비정합노드에서 경로(path)를 정의하고, 각각의 경로마다 주어진 코스트를 합하여 이들 코스트가 최소가 되는 패스를 검출하는 방식으로 수행될 수 있다.

도 7은 정합노드와 비정합노드에 대한 각 경로의 코스트를 나타낸 예시도이며, 여기서 검정색 점은 정합노드를, 흰점은 비정합노드를 의미한다.

현재의 스테이지(stage)를 i라 하면, 최소가 될 수 있는 경로는 i-1 스테이지까지의 최소값에 i-1 스테이지에서 i 스테이지로 가는 경로의 코스트의 합 중, 최소값이다.

비정합노드에서는 이전 스테이지의 동일 레벨값, 상위레벨값에 상기 비정합 파라미터를 더한 값 및 하위레벨값에 상기 비정합 파라미터를 더한 값 중 최소값을 지정하여 경로를 형성하고, 정합노드에서는 이전 스테이지의 같은 레벨의 노드에 자신의 노드값을 더하여 경로를 형성한다. 이때, 정합노드에서는 정합 코스트(matching cost)라 정의되는 코스트를 계산하기 위해 좌우영상의 픽셀값을 필요로 하게 된다.

최적의 경로는 이들 정합 및 비정합노드 사이에 존재하며, 이들 경로에 정합 코스트와 비정합 코스트를 할당한 것과 같은 결과를 가져온다. 그리고, 스테이지는 격자구조에서 시간과 관련되어 좌에서 우로 가는 경로의 세로로 줄지어진 노드들을 하나의 스테이지로 정의한다.

이러한 트렐리스 방식을 적용하기 위해서는, 다음과 같은 제한이 있다.

첫째는 사물이 좌영상에 존재하는 위치보다 우영상에 존재하는 위치가 더 오른쪽에 있을 수 없다는 것이다. 좌카메라의 경우는 우카메라보다 왼쪽에 있기 때문에, 사물이 당연히 우영상보다 왼쪽에 위치할 수밖에 없다. i 스테이지에서의 양안차를 d_i라고 할때,

로 정의되고, 음의 양안차는 존재하지 않는다는 것이다.

둘째는, 첫번째 양안차인 d₀와 마지막 양안차인 d_2N은 값이 0이라는 것이다. 기본적으로 트렐리스 방식은 d_2N에서부터 길을 찾아오는 방식으로 진행되는데, 기본값이 지정되어 있지 않으면 실행할 수 없다. d_2N이 어떤 값인지 알면 그 값에서 시작하면 되지만, 현재는 모르는 상황이므로 0 값으로 지정해서 시작하는 것이다.

셋째는 d_i와 d_{i -1}의 차이가 1을 초과하지 않는다는 것이다. 이는 트렐리스 알고리즘의 구현을 단순화하기 위한 제약조건이다. 이는 이 시스템이 하드웨어로 구현되어야 함을 기본으로 내포하기 때문에 꼭 필요한 조건이다. 이 조건이 없으면 비정합노드에서 변화할 수 있는 노드가 더 많아 지기 때문에 복잡성이 높아진다.

이상이 종래의 트렐리스 알고리즘의 제약조건 3가지이고, 본 발명에서는 계층구조를 적용함으로 인하여 제약조건이 하나 더 추가되게 된다. 이에 대해서는 추후 설명하기로 한다.

최적경로를 검색하는 알고리즘은 다음과 같다.

스테이지 i=0에서 모든 노드의 코스트(δ)는 다음의 수학식과 같이 초기화된다. 여기에서, 'i=1,...,2N'에 따라 순방향으로 각각 반복 수행하는 것은 할당된 양안차(d)와 각각의 노드로부터 최적 경로와 최적 코스트를 획득하기 위함이다.

i+d가 짝수일 때에는 비정합노드를 의미하는 것으로서, 비정합노드에서의 코스트와 최적의 양안차(optimal disparity, Ψ)는 다음 수학식 5와 같다.

i+d가 홀수일 때에는 정합노드를 의미하는 것으로서, 정합노드에서의 코스트와 최적의 양안차는 다음 수학식 6과 같다.

i가 2N이고 j가 0인 경우 순방향 반복연산을 완료하고 다음 수학식 7과 같이 역방향의 초기값(코스트 및 최적 양안차)을 결정한다.

이후, 스테이지의 역방향으로 아래의 수학식 8과 같이 역방향 회귀적 검색을 수행함으로써 최적의 양안차를 획득할 수 있다.

는 수학식 5를 만족하는 비정합 파라미터이며, 영상의 크기는 M×N으로 정의한다.

위와 방식을, 실제 영상을 이용하여 예를 들어 설명해보기로 한다.

도 8은 두대의 카메라를 이용하여 촬영한 좌우영상의 일예시도이다.

도 8과 같은 좌우영상에서 대응되는 하나의 라인(좌영상에서 y=3, 우영상에서 y=3라인)을 추출하여, 모든 픽셀의 밝기차를 계산한다.

도 9a는 트렐리스 방식을 설명하기 위한 예시도이다.

편의상 왼쪽 맨 위를 기준으로 (0,0)으로 표현한다. 0번째 가로줄과 7번째 가로줄은 모두 99이다. 99는 무한대 대신 편의상 넣은 값으로 계산의 편의성을 위해 99로 표현하였다.

(1,1), (2,2), ... , (6,6) 의 1, 0, 0, 8, 9, 4는 우영상의 첫 번째 값인 14와 좌영상의 (13, 14, 14, 22, 23, 10)의 차이이다. 그 다음의 대각선인 (1,3), (2,4), ... , (6,8)의 8, 8, 0, 1, 12는 우영상의 두 번째 값인 22와 좌영상의 (14, 14, 22, 23, 10)의 차이이다. 이와 같은 방식으로, 픽셀차를 계산하여, 도 9a와 같이 저장한다.

위의 도 9a를 이용하여, 도 7에 소개된 방식과 동일한 방식으로 도 9b를 완성한다. 즉, 비정합노드(연두색)의 경우에는 이전 스테이지의 동일 레벨과 상/하레벨의 에 소정의

(비정합 파라미터)를 더한 값을 비교하여, 이중 최소값을 저장하고, 정합노드(노란색)의 경우에는 이전 스테이지의 동일레벨에 자신의 노드의 값을 더하여 저장한다.

도 9b는 이러한 트렐리스 과정을 도시한 예시도이다.

트렐리스는 에너지 최소화(energy minimization)의 문제이며, 모두 더했을 경우 에너지가 가장 적어지는 경우의 경로를 찾으면 그것이 곧 영상의 깊이(depth)이다. 에너지가 가장 적다는 말은, 좌우영상의 밝기의 차가 가장 적다는 말이고, 이는 가장 비슷한 형태로 매칭이 된 값이 에너지가 가장 적을 때의 경로라는 것을 의미한다.

도 9b에서는, 최우측 값이 29이고, 그 좌측에 29와 22가 있다. 이 중 작은 값을 가지는 경로를 찾아야 하므로, 22를 선택하는 것이다.

도 9c는 도 9b의 각 노드의 값이 어느 경로에서 온 것인지를 설명하는 일예시도이다. 해당 노드에 저장된 값이 이전 스테이지의 동일 레벨에서 온 경우에는 '0', 이전 스테이지의 하위레벨에서 온 경우는 '1', 상위레벨에서 온 경우는 '-1'을 저장한다.

도 9d는 도 9c의 경로를 이용하여 에너지를 최소화하는 디스패리티(disparity)를 구하는 과정을 설명하기 위한 예시도이다. 도 9d의 회색 부분은 에너지를 최소화하는 경로를 의미하고, 아래 부분은, 해당 경로의 디스패리티를 나타낸다. 디스패리티는, 0부터 시작하여, 경로에 저장된 값을 왼쪽으로 이동하면서 해당값을 더하여 구할 수 있다.

이와 같은 트렐리스 방식을 이용하는, 본 발명의 계층적 스테레오 매칭 장치 및 방법에 대하여 이하에서 설명하기로 한다.

도 10은 본 발명의 일실시예에 따른 계층적 스테레오 매칭 장치의 구성도이다.

도면에 도시된 바와 같이, 본 발명의 스테레오 매칭 장치는, 계층구조 형성부(10) 및 트렐리스부(20)를 포함한다.

계층구조 형성부(10)는, 스테레오 카메라(도시되지 않음)를 이용하여 취득한 좌영상 및 우영상을

로 줄인다.

본 발명에서는, 스트릭 노이즈를 저감하기 위하여, 계층구조인 영상 피라미드(image pyramid)를 사용한다. 영상 피라미드는 이미지 크기를 반으로 반복하여 줄여, 축소영상에서의 정보를 이용하는 방법이다.

축소영상에서 트렐리즘을 수행하였을 경우, 그 복잡성이 낮은 영상의 정보를 이용하여 큰 영상의 추이를 예측할 수 있다.

계층구조는 영상처리에서 많이 사용되는 것으로서, 원영상보다 1/4만큼 작아진 영상을 이용하면 복잡성이 1/4로 줄어드는 반면, 영상의 대부분의 정보를 가지고 있으므로, 작아진 영상을 이용하여 원영상의 결과추이를 예측할 수 있다. 이러한 계층구조는 열화와 서브샘플링(sub-sampling)을 반복적으로 수행하여 구할 수 있다. 이를 도 11을 참조로 설명하기로 한다.

도 11은 도 10의 계층구조 형성부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 계층구조 형성부(10)는, 블러링부(11) 및 서브샘플링부(12)를 포함한다.

본 발명의 일실시예에 따른 계층구조 형성부(10)의 블러링부(11) 및 서브샘플링부(12)를 통과하면 영상의 크기가 각각 ½로 줄어들게 되며, 만약 서브샘플링부(12)를 통과한 좌영상 및 우영상을 다시 블러링부(11)로 피드백하여 블러링 및 서브샘플링을 수행하면 영상의 크기는 각각 ¼로 줄어들게 되는 것임은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다.

블러링부(11)는 임의의 픽셀을 기준으로 하여, 주변 픽셀과의 평균을 구하여 여러 픽셀의 정보를 하나의 픽셀에 저장한다.

예를 들어, (4,4) 위치의 픽셀의 블러링 결과를 얻기 위해서는, (4,4) 주변 픽셀인 (3,3), (3,4), (3,5), (4,3), (4,4), (4,5), (5,3), (5,4), (5,5)의 픽셀의 밝기의 평균을 구하여, 새롭게 (4,4)에 저장하는 것이다. 더 넓은 주변의 픽셀을 지정할 수도 잇다. 주변 픽셀을 지정하는 방식은, 그 크기와 모양이 다양하며, 이는 대해서는 본 발명이 속하는 기술분야에서 자명한 사항이다.

서브샘플링부(12)는 여러 개의 픽셀 중 어느 하나만 택하여 크기를 줄인다. 본 발명의 일실시예에 따른 계층구조 형성부(10)는, 영상의 크기를 ½로 줄이므로, 네 픽셀 중 어느 하나만 택하여 크기를 줄인다.

서브샘플링부(12)는 네 픽셀 중 하나만을 택하므로, 원영상의 정보가 없어지지만, 서브샘플링부(12)의 서브샘플링 이전에 블러링부(11)에서 블러링을 수행하므로, 영상정보를 되도록 많이 보존하도록 하는 것이다.

도 12는 도 10의 트렐리스부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 트렐리스부(20)는, 스캔라인 추출부(21), 밝기차 계산부(22), 경로지정부(23), 저장부(24), 최적경로 결정부(25) 및 확대부(26)를 포함한다.

라인추출부(21)는 계층구조 형성부(10)에 의해 축소된 좌영상 및 우영상에서 대응점에 해당하는 라인(도 8에서 y=3 라인)을 추출한다. 추출된 라인의 일예는 도 9a 내지 도 9d에 도시된 바와 같다.

밝기차 계산부(22)는 라인추출부(21)가 추출한 라인의 픽셀에 대하여 밝기차를 계산한다. 이러한 밝기차 계산부(22)가 계산한 결과는 도 9a에 도시된 바와 같다.

밝기차 계산부(22)는, 축소된 영상에 대하여 트렐리스를 수행하는 경우에는 추출한 라인의 모든 픽셀에 대하여 밝기차를 계산하지만, 축소된 영상의 크기 및 밝기를 확대하여 트렐리스를 수행하는 경우에는, 이전 디스패리티 영역의 주변부 픽셀에 대해 밝기차를 계산할 수 있다. 이에 대해서는 추후 상세하게 설명하기로 한다.

경로지정부(23)는 밝기차 계산부(22)가 계산한 밝기차와, 소정의 비정합 파라미터

를 이용하여, 경로를 지정한다. 경로지정부(23)가 경로를 지정하는 방식에 대해서는 도 9b를 참조로 설명한 바와 같다. 즉, 비정합노드(연두색)의 경우에는 이전 스테이지의 동일 레벨과 상/하레벨값에 소정의

(비정합 파라미터)를 더한 값 중 최소값을 저장하고, 정합노드(노란색)의 경우에는 이전 스테이지의 동일레벨에 자신의 노드의 값을 더하여 저장한다.

경로지정부(23)가 지정한 경로는 저장부(24)에 저장할 수 있다.

최적경로 결정부(25)는 경로지정부(23)가 지정한 경로에서 최적의 경로를 결정한다. 즉, 에너지를 최소화하는 디스패리티를 결정한다. 최적경로 및 디스패리티를 구하는 과정은 도 9d에서 설명한 바와 같다.

이와 같이, 계층구조의 영상의 모든 라인에 대하여 트렐리스부(20)는 트렐리스를 수행하고, 확대부(26)가 트렐리스를 수행한 영상의 크기 및 밝기를 2배 확대한다. 계층구조 형성부(10)에 의해 축소된 영상은, 영상의 가로 크기가 반으로 줄어들 때, 영상의 밝기도 반으로 줄어든다. 따라서, 확대부(26)는 영상의 가로 및 세로의 크기뿐 아니라 밝기를 2배 확대한다.

확대부(26)가 확대한 영상은, 밝기차 계산부(22), 경로지정부(23) 및 최적경로 결정부(25)를 거쳐 다시 트렐리스를 수행한다.

만약 계층구조 형성부(10)가 원영상의 가로 및 세로의 크기를 ½ 축소한 경우에는, 확대부(26)를 1회 거쳐, 영상을 확대하고, 마찬가지로 계층구조 형성부(10)가 원영상의 크기를

축소한 경우에는, 확대부(26)를 n회 거쳐, 영상을 확대하는 것임은, 본 발명이 속하는 기술분야에서 자명한 사항이라 할 것이다.

본 발명의 일실시예에 따른 계층적 스테레오 매칭 장치의 영상 매칭에 대하여, 도면을 참조로 설명하기로 한다.

도 13a는 본 발명에 따라 축소된 영상에 대하여 도 10의 트렐리스부(20)가 트렐리스를 수행한 결과를 나타내는 일예시도이다. 원영상의 크기가 8×8인 경우, 계층구조 형성부(10)에 의해 ½ 축소된 영상은 4×4이다.

도 13b는 도 13a의 영상을 확대부(26)가 확대한 일예시도이다. 도면에 도시된 바와 같이, 확대부(26)는

은

으로,

은

으로,

는

로 그 크기 및 밝기를 2배 확대한다. 서브샘플링부(12)의 서브샘플링 과정을 통해 4개의 픽셀을 하나의 픽셀로 줄였으므로, 복원할 때 1개의 픽셀을 4개의 픽셀로 확장한다.

가장 위의 라인을 트렐리스 구조에 적용하기로 하자.

도 13c는 도 13b의 가장 위의 라인을 트렐리스 구조에 적용한 일예시도이다.

도 13c에 도시된 바와 같이, 축소영상에서의 결과가 빨간색 테두리의 영상정보에 대해 매칭이 이루어져 있으므로, 큰 영상에서도 빨간색 테두리 내에서 트렐리스를 수행하여도 되지만, 이는 서로 이어져 있지 않아, 트렐리스의 세번째 조건에 부합하지 않는다.

작아진 영상의 깊이정보가 완벽히 정확하지 않다는 조건이 있는 상황에서 원 영상의 깊이정보를 정확하게 추정한다는 것은 어려운 일이므로, 원영상이 가질 수 있는 깊이에 대한 제한조건을 마련한다.

즉, 축소영상의 깊이정보를 p_i라고 정의하고 원영상의 깊이정보를 d_i라고 할 때, d_i는 p_i와 같거나 조금 작거나 조금 큰 정도의 값을 가질 것이다. 즉, d_i가 될 수 있는 범위를 p_i±β로 하면, 작아진 영상의 결과가 원영상의 결과에 영향을 제한할 수 있을 것이다. β는 임의의 값이다. 위 d_i=p_i±β는 본 발명의 일실시예에 따라 트렐리스를 적용하기 위한 다른 하나의 제한조건이다. 이를 '트렐리스의 4번째 제한조건'이라 하자.

도 13d는 도 13c에 본 발명의 일실시예에 따른 제한조건을 부여한 것을 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 축소영상의 깊이정보인 빨간색 테두리의 영상정보의 트렐리스 적용범위를 노란색 테두리만큼 확장한다. 도 13d에서는 β가 2인 경우를 나타낸 것이다.

이와 같이, 확대영상에 대하여 트렐리스를 수행하는 경우에는, 밝기차 계산부(22)는 라인추출부(21)가 추출한 라인의 모든 픽셀에 대하여 밝기차를 계산하는 것이 아니라, 이전 디스패리티 영역의 주변 픽셀에 대해 밝기차를 계산한다.

따라서, 노란색 테두리 외의 부분에 대해서는 밝기차의 계산을 생략할 수 있으므로, 계산의 복잡성이 낮아지게 됨을 알 수 있다.

도 14a 및 도 14b는 크기가 큰 영상에 대해 도 13c 및 도 13d의 과정을 적용한 것을 설명하기 위한 일예시도이다. 도면에 도시된 바와 같이, 도 14d에서 흰부분만을 트렐리스 적용하면 되므로, 본 발명과 같이 계층구조를 사용한 경우, 원래 계산하여야 하는 양보다 계산양이 훨씬 줄어들게 됨을 알 수 있다.

도 15는 본 발명의 일실시예에 따른 계층적 스테레오 매칭 방법을 설명하기 위한 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 스테레오 매칭 방법은, 우선 스테레오 카메라(도시되지 않음)로부터 좌영상 및 우영상을 획득하여(S10), 소정 크기와 밝기를 가지는 좌영상 및 우영상에 대해 블러링부(11)가 블러링을 수행하고(S12), 서브샘플링부(12)가 서브샘플링을 수행한다(S14).

블러링(S12)은 임의의 픽셀을 기준으로 하여, 주변 픽셀과의 평균을 구하여 여러 픽셀의 정보를 하나의 픽셀에 저장하는 것이고, 서브샘플링(S14)은 네 픽셀 중 어느 하나만 택하여 크기를 줄이는 것임은 이미 설명한 바와 같다.

블러링(S12) 및 서브샘플링(S14)을 통해, 원영상인 좌영상 및 우영상은 그 크기와 밝기가 ½로 축소된다.

본 발명의 일실시예에서는 원영상을

만큼 줄이는 것이 가능하므로, 원하는 만큼 블러링(S12) 및 서브샘플링(S14)을 수행하여 영상을

만큼 축소할 수 있다(S16).

이후, 본 발명의 매칭 방법은, 라인추출부(21)가 축소된 좌영상 및 우영상의 라인을 추출하여(S18), 밝기차 계산부(22)가 해당 라인의 모든 픽셀의 밝기차를 계산하여(S20), 트렐리스 구조에 적용한다.

경로지정부(23)는 S18에서 계산한 픽셀의 밝기차와, 소정의 비정합 파라미터

를 이용하여, 경로를 지정한다(S22). 최적경로 결정부(25)는, S22에서 지정한 경로에서 최적의 경로를 결정한다(S24). 즉, 에너지를 최소화하는 디스패리티를 결정한다.

이와 같이, 추출한 라인에 대해 최적경로를 결정하는 S20 내지 S24를 축소된 영상의 모든 라인에 대해 수행한다(S26).

이후, 확대부(26)가. 최적경로가 결정된 영상을 그 크기와 밝기를 2배 확대하고(S28), 다시 라인추출부(21)가 라인을 추출하여(S30), 추출한 라인에 대하여 트렐리스의 4번째 제한조건을 적용한다(S32). 트렐리스의 4번째 제한조건이 적용되는 예는 도 13d 및 도 14b를 참조로 설명한 바와 같다. 이와 같이, 트렐리스의 4번째 제한조건을 적용하면, 이후 트렐리스를 재실행하는 경우 계산할 픽셀의 수가 줄어들게 됨은 이미 설명한 바와 같다.

이후에는, 밝기차 계산부(22)가 해당 라인에서 트렐리스를 수행할 픽셀의 밝기차를 계산하여(S34), 트렐리스 구조에 적용한다. 즉, 트렐리스의 4번째 제한조건이 적용되는 픽셀에 대하여 밝기차를 계산하는데, 이는 이전 트렐리스에 의해 결정된 디스패리티 영역의 주변부의 픽셀에 대해 밝기차를 계산하는 것이다.

경로지정부(23)는 S34에서 계산한 픽셀의 밝기차와, 소정의 비정합 파라미터

를 이용하여, 경로를 지정한다(S36). 최적경로 결정부(25)는, S36에서 지정한 경로에서 최적의 경로를 결정한다(S38). 즉, 에너지를 최소화하는 디스패리티를 결정한다.

이와 같이, 추출한 라인에 대해 최적경로를 결정하는 S32 내지 S38을 확대된 영상의 모든 라인에 대해 수행한다(S40).

이후, 확대한 영상이 원영상과 동일한 크기가 아닌 경우에는(S42), 다시 해당 영상의 크기 및 밝기를 확대하여(S28), S30 내지 S40을 실행할 수 있다.

본 발명의 일실시예에 따르면, S16에서 영상을

만큼 축소한 경우, S28 내지 S40을 n회 수행하는 것임은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다.

본 발명의 일실시예에 다른 매칭 방법은, 최종적으로 원영상에 대한 스테레오 매칭결과를 출력한다(S44).

한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드를 기록하여 구현하는 것이 가능하다. 본 발명의 실시예들이 소프트웨어를 이용하여 실행되는 경우, 본 발명의 구성수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 또한, 프로그램 또는 코드 세그먼트들은 컴퓨터의 프로세서로 판독 가능한 매체에 저장되거나 전송 매체 또는 통신망을 통해 반송파와 결합된 컴퓨터 데이터 신호로 전송될 수 있다.

컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 저장하는 모든 종류의 기록장치가 포함될 수 있다. 예컨대, 컴퓨터 판독가능 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 포함될 수 있다. 또한, 네트워크로 연결된 컴퓨터 시스템에 컴퓨터 판독가능 기록매체를 분산배치하여 컴퓨터가 읽어들일 수 있는 코드가 분산 방식으로 저장되고 실행되도록 할 수 있다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

10: 계층구조 형성부 11: 블러링부
12: 서브샘플링부 20: 트렐리스부
21: 라인추출부 22: 밝기차 계산부
23: 경로지정부 24: 최적경로 결정부
25: 저장부 26: 확대부

Claims (19)

1. 스테레오 카메라를 이용하여 획득한 좌영상 및 우영상의 크기를 소정 횟수 반으로 축소하여 축소영상을 형성하는 계층구조 형성부; 및
   상기 축소영상에 대해 제1트렐리스를 수행하고, 상기 제1트렐리스를 수행한 영상의 크기/밝기를 확대하여 제2트렐리스를 수행하는 트렐리스부를 포함하는 계층적 스테레오 매칭 장치.
   
2. 제1항에 있어서, 상기 트렐리스부는, 영상의 크기/밝기의 확대 및 제2트렐리스를 수행을 상기 소정 횟수 반복하여 수행하는 계층적 스테레오 매칭 장치.
   
3. 제1항에 있어서, 상기 트렐리스부는, 상기 제2트렐리스의 수행시, 이전 디스패리티의 주변 영역에 대한 픽셀에 대해서 상기 제2트렐리스를 수행하는 계층적 스테레오 매칭 장치.
   
4. 제1항에 있어서, 상기 계층구조 형성부는,
   임의의 픽셀을 기준으로, 소정의 주변 픽셀과의 평균을 구하여 해당 픽셀에 저장하는 블러링부; 및
   여러 픽셀 중 어느 하나만 선택하는 서브샘플링부를 포함하는 계층적 스테레오 매칭 장치.
   
5. 제4항에 있어서, 상기 서브샘플링부는, 네개의 픽셀 중 어느 하나만 선택하는 계층적 스테레오 매칭 장치.
   
6. 제1항에 있어서, 상기 트렐리스부는,
   영상의 대응점에 해당하는 라인을 추출하는 라인추출부;
   상기 라인추출부가 추출한 라인의 픽셀에 대해 밝기차를 계산하는 밝기차 계산부;
   상기 밝기차 계산부가 계산한 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 경로지정부;
   상기 경로지정부가 지정한 경로에서, 최적의 경로를 결정하는 최적경로 결정부; 및
   영상의 크기/밝기를 확대하는 확대부를 포함하는 계층적 스테레오 매칭 장치.
   
7. 제6항에 있어서, 상기 밝기차 계산부는, 상기 밝기차를 트렐리스 구조에 적용하는 계층적 스테레오 매칭 장치.
   
8. 제7항에 있어서, 상기 경로지정부는, 상기 트렐리스 구조의 비정합노드에는, 이전 스테이지의 동일 레벨값, 상위레벨값에 상기 비정합 파라미터를 더한 값 및 하위레벨값에 상기 비정합 파라미터를 더한 값 중 최소값을 지정하는 계층적 스테레오 매칭 장치.
   
9. 제7항에 있어서, 상기 경로지정부는, 상기 트렐리스 구조의 정합노드에는, 이전 스테이지의 동일 레벨에 자신의 노드값을 더하여 지정하는 계층적 스테레오 매칭 장치.
   
10. 제6항에 있어서, 상기 최적경로 결정부는, 에너지를 최소화하는 디스패리티를 결정하여 최적경로를 결정하는 계층적 스테레오 매칭 장치.
    
11. 제6항에 있어서, 상기 밝기차 계산부는, 상기 제2트렐리스의 수행시, 이전 디스패리티의 주변 영역에 대한 픽셀에 대해서 밝기차를 계산하는 계층적 스테레오 매칭 장치.
    
12. 좌영상 및 우영상을 축소하여 축소영상을 형성하는 단계;
    상기 축소영상에 대하여 제1트렐리스를 수행하는 단계;
    영상의 크기/밝기를 확대하여 확대영상을 생성하는 단계; 및
    상기 확대영상에 대하여 제2트렐리스를 수행하는 단계를 포함하는 계층적 스테레오 매칭 방법.
    
13. 제12항에 있어서, 상기 축소영상을 형성하는 단계는,
    상기 좌영상 및 우영상의 임의의 픽셀을 기준으로, 소정의 주변 픽셀과의 평균을 구하여, 해당 픽셀에 저장하는 단계; 및
    여러 픽셀 중 어느 하나만 선택하는 단계를 포함하는 계층적 스테레오 매칭 방법.
    
14. 제13항에 있어서, 상기 축소영상을 형성하는 단계는, 상기 저장하는 단계 및 상기 선택하는 단계를 소정 횟수 반복하여 수행하는 단계를 더 포함하는 계층적 스테레오 매칭 방법.
    
15. 제12항에 있어서, 상기 제1트렐리스를 수행하는 단계는,
    상기 축소영상의 라인을 추출하는 단계;
    상기 라인의 모든 픽셀의 밝기차를 계산하여 트렐리스 구조에 적용하는 단계;
    상기 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 단계; 및
    지정된 경로 중 최적경로를 결정하는 단계를 포함하는 계층적 스테레오 매칭 방법.
    
16. 제14항에 있어서, 상기 확대영상을 생성하는 단계 및 상기 제2트렐리스를 수행하는 단계를 상기 소정 횟수 반복하여 수행하는 단계를 더 포함하는 계층적 스테레오 매칭 방법.
    
17. 제12항에 있어서, 상기 제2트렐리스를 수행하는 단계는,
    상기 확대영상의 라인을 추출하는 단계;
    이전 디스패리티의 주변 영역에 대한 픽셀에 대해 밝기차를 계산하여 트렐리스 구조에 적용하는 단계;
    상기 밝기차와, 소정의 비정합 파라미터를 이용하여 경로를 지정하는 단계; 및
    지정된 경로 중 최적경로를 결정하는 단계를 포함하는 계층적 스테레오 매칭 방법.
    
18. 제15항 또는 제17항에 있어서, 상기 경로를 지정하는 단계는,
    상기 트렐리스 구조의 비정합노드에는, 이전 스테이지의 동일 레벨값, 상위레벨값에 상기 비정합 파라미터를 더한 값 및 하위레벨값에 상기 비정합 파라미터를 더한 값 중 최소값을 지정하는 단계; 및
    상기 트렐리스 구조의 정합노드에는, 이전 스테이지의 동일 레벨에 자신의 노드값을 더하여 지정하는 단계를 포함하는 계층적 스테레오 매칭 방법.
    
19. 제15항 또는 제17항에 있어서, 상기 최적경로를 결정하는 단계는, 에너지를 최소화하는 디스패리티를 결정하여 최적경로를 결정하는 계층적 스테레오 매칭 방법.
    
    

Images