KR20060023714A

KR20060023714A - 영상 정합 시스템 및 영상 정합 방법

Info

Publication number: KR20060023714A
Application number: KR1020040072531A
Authority: KR
Inventors: 정홍; 박성찬
Original assignee: 학교법인 포항공과대학교
Priority date: 2004-09-10
Filing date: 2004-09-10
Publication date: 2006-03-15
Also published as: DE602005013458D1; EP1635293A1; EP1635293B1; US7590281B2; ATE426871T1; US20100027874A1; US7844107B2; US20060055703A1; JP2006079584A

Abstract

다중 에피폴라 영상 정합을 위한 시스톨릭 아키텍쳐의 스테레오 정합 방법에서, 한 쌍의 2차원 이미지로부터 3차원의 공간 정보를 재창출한다. 인접한 영상 라인의 양안차 정보를 제약 조건으로 사용하여 양안차를 계산한다. 이와 같이 하면, 수직 방향으로의 노이즈를 제거할 수 있다.

양안차, 삼차원, 영상, 정합, 복수라인

Description

영상 정합 시스템 및 영상 정합 방법 {SYSTEM AND METHOD FOR MATCHING STEREO IMAGE}

도 1은 스테레오 정합의 개념도이다.

도 2는 본 발명의 제1 실시예에 따른 영상 정합 시스템의 개략적인 블록도이다.

도 3은 본 발명의 제1 실시예에 따른 영상 정합 시스템의 멀티라인 영상 정합부의 개략적인 블록도이다.

도 4는 도 3의 입력 버퍼의 상세 블록도이다.

도 5는 도 3의 멀티라인 영상 정합부의 개략적인 블록도이다.

도 6 및 도 7은 각각 도 5의 전방 프로세서 및 후방 프로세서의 상세 블록도이다.

도 8 및 도 9는 각각 본 발명의 제1 실시예에 따른 영상 정합 시스템이 짝수 및 홀수 번째 영상 라인의 픽셀 데이터를 처리하는 순서도이다.

도 10은 본 발명의 제2 실시예에 따른 영상 정합 방법에서 전방 프로세싱과 후방 프로세싱을 나타내는 순서도이다.

도 11은 본 발명의 실시예에 따른 영상 정합 방법을 개략적으로 나타낸 도면이다.

도 12는 종래 기술에 따른 영상 정합 방법을 개략적으로 나타낸 도면이다.

도 13a 및 도 13b는 각각 입력되는 좌측 및 우측 영상을 나타내는 도면이다.

도 13c 및 도 13d는 각각 도 11 및 도 12의 방법으로 도 13a 및 도 13b의 영상을 처리한 결과를 나타내는 도면이다.

본 발명은 복수의 영상 라인을 이용한 영상 정합 방법 및 그 시스템에 관한 것으로, 특히 다중 에피폴라 영상 정합을 위한 시스톨릭 아키텍쳐의 스테레오 정합 방법 및 그 시스템에 관한 것이다.

스테레오 정합 방법은 한 쌍의 2차원 이미지로부터 3차원의 공간 정보를 재창출하는 방법이다. 도 1에 나타낸 바와 같이, 좌측 및 우측 영상의 에피폴라 선(epipolar line)상의 영상 라인에서 삼차원 공간상에서 같은 위치(X, Y, Z)에 대응되는 좌우 픽셀을 찾아내는 방법이다. 여기서 대응되는 픽셀 쌍에 대한 양안차(d)는 다음과 같이 정의된다.

d=x^r-x^l

양안차는 거리 정보를 포함하며, 이러한 양안차로부터 계산된 기하학적 특성을 깊이(depth)라 한다. 따라서 입력 영상으로부터 실시간으로 양안차값을 계산하면 관측 공간의 삼차원 거리 정보와 형태 정보를 측정할 수 있다.

이러한 스테레오 정합 방법에 대해서는 Dhond 등의 논문(Umesh R. Dhond and J.K.Aggarwal, Structure from Stereo - a review, IEEE Transactions on Systems, Man, and Cybernetics, 19(6):553-572, nov/dec 1989)에 기본적인 개념이 개시되어 되어 있다. 그리고 스테레오 정합 방법을 구현한 시스템으로 본 출원인이 출원한 미국 공개번호 2002-0025075호가 있다.

이러한 종래 기술에서는 도 12에 나타낸 바와 같이 m번째 좌우측 에피폴라 선상의 영상 라인(g_m1, g_mr)만을 독립적으로 연산하므로 수직 방향으로 노이즈가 심하게 된다. 즉, 양안차 영상의 수직 방향으로의 양안차값이 노이즈의 영향에 의해 정확히 나타나지 않는다는 문제점이 있다. 그러면 도 13a의 좌측 영상과 도 13b의 우측 영상이 입력되었을 때, 도 13d와 같이 노이즈가 심한 영상이 나타나게 된다.

본 발명이 이루고자 하는 기술적 과제는 수직 방향으로의 양안차 노이즈를 줄일 수 있는 영상 정합 방법을 제공하는 것이다.

이러한 과제를 해결하기 위해, 본 발명은 인접한 영상 라인의 양안차를 이용한다.

본 발명의 한 특징에 따른 복수 영상 라인을 이용한 영상 정합 시스템은, 제1 및 제2 카메라로부터 입력되는 영상을 디지털 신호로 변환하여 제1 및 제2 픽셀 데이터를 출력하는 영상 처리부, 그리고 동일 에피폴라 선상의 제1 및 제2 픽셀 데 이터로부터 소정의 코스트를 결정하고 소정의 코스트를 결정하는 제1 결정값을 추적하고, 이전 에피폴라 선상의 제1 및 제2 픽셀 데이터로부터 추정된 제1 결정값을 이용하여 최적의 제2 결정값을 출력하는 영상 정합부를 포함한다.

이때, 제1 및 제2 픽셀 데이터는 각각 동일 에피폴라 선상의 좌측 및 우측 영상 라인의 픽셀 데이터인 것이 바람직하다.

영상 정합부는, 제1 및 제2 픽셀 데이터를 각각 재배열하여 출력하는 제1 및 제2 입력 버퍼, 그리고 제1 및 제2 입력 버퍼로부터 각각 제1 및 제2 픽셀 데이터를 수신하여 제1 및 제2 결정값을 추적하는 프로세싱 엘리먼트 어레이부를 포함할 수 있다. 또한 영상 정합부는 제2 결정값을 입력받아 압축하는 인코더를 더 포함하고, 인코더는 차분 코딩 방식으로 압축을 하며 기하학적으로 존재가능성이 없는 경로를 제외해서 처리할 수 있다.

프로세싱 엘리먼트 어레이부는, 제1 픽셀 데이터를 순차적으로 수신하는 복수의 제1 영상 레지스터, 제2 픽셀 데이터를 순차적으로 수신하는 복수의 제2 영상 레지스터, 그리고 제1 및 제2 영상 레지스터로부터 각각 제1 및 제2 픽셀 데이터를 수신하여 제1 및 제2 결정값을 추적하는 복수의 프로세싱 엘리먼트를 포함할 수 있다. 프로세싱 엘리먼트는 이웃하는 프로세싱 엘리먼트와 코스트값 및 활성 신호를 주고받는 것이 바람직하다. 그리고 활성 신호는 멀티라인 코스트를 계산하기 위한 멀티라인 프로세싱용 활성 신호와 인접한 프로세싱 엘리먼트의 후방 프로세싱용 활성 신호를 포함하는 것이 좋다.

프로세싱 엘리먼트는, 제1 및 제2 픽셀 데이터와 멀티라인 프로세싱용 활성 신호로부터 코스트값을 결정하고 결정한 코스트의 경로를 나타내는 제1 결정값을 계산하는 전방 프로세서, 제1 결정값을 저장하는 스택, 그리고 인접한 에피폴라 선상에 대한 제1 결정값과 후방 프로세싱용 활성 신호를 이용하여 제2 결정값을 계산하는 후방 프로세서를 포함할 수 있다.

전방 프로세서의 초기화 시에 0번째 전방 프로세서를 제외한 모든 전방 프로세서의 코스트 레지스터의 비용이 최대치로 설정되는 것이 바람직하다. 멀티라인 코스트 메모리는 멀티라인 프로세싱용 활성 신호의 프로세싱 엘리먼트의 위치와 전방 프로세서의 위치의 차이를 이용하여 멀티라인 코스트를 계산할 수 있다. 후방 프로세서의 초기화 시에 0번째 후방 프로세서의 활성 레지스터가 활성화되고 다른 후방 프로세서의 활성 레지스터는 비활성화되는 것이 바람직하다.

입력되는 제1 및 제2 픽셀 데이터에 해당하는 에피폴라 선상의 영상 라인이 전체 영상에서 홀수 번째인지 짝수 번째인지에 따라 제1 및 제2 영상 레지스터에 각각 입력되는 제1 및 제2 픽셀 데이터의 입력 순서가 상이한 것이 바람직하다.

본 발명의 다른 특징에 따른 복수 영상 라인을 이용한 영상 정합 방법은, 좌측 및 우측 카메라로부터 각각 입력되는 좌측 및 우측 픽셀 데이터를 수신하는 단계, 에피폴라 선상의 영상 라인의 좌측 및 우측 픽셀 데이터를 배열하여 각각 복수의 제1 및 제2 영상 레지스터로 순차적으로 출력하는 단계, 복수의 전방 프로세서가 복수의 제1 및 제2 영상 레지스터로부터 각각 출력되는 좌측 및 우측 픽셀 데이터로부터 소정의 코스트를 결정하고 소정의 코스트를 결정하는 제1 결정값을 추적하는 단계, 그리고 복수의 후방 프로세서가 인접한 영상 라인에 대한 제1 결정값으 로부터 최적의 결정값인 제2 결정값을 출력하는 단계를 포함하며, 전방 프로세서와 후방 프로세서가 동시에 수행된다.

본 발명의 또다른 특징에 따른 복수 영상 라인을 이용한 영상 정합 방법은, 좌측 및 우측 카메라로부터 각각 입력되는 좌측 및 우측 픽셀 데이터를 수신하는 단계, 에피폴라 선상의 영상 라인의 좌측 및 우측 픽셀 데이터를 배열하여 각각 복수의 제1 및 제2 영상 레지스터로 순차적으로 출력하는 단계, 복수의 전방 프로세서가 복수의 제1 및 제2 영상 레지스터로부터 각각 출력되는 좌측 및 우측 픽셀 데이터로부터 소정의 코스트를 결정하고 소정의 코스트를 결정하는 제1 결정값을 추적하는 단계, 그리고 복수의 후방 프로세서가 인접한 영상 라인에 대한 제1 결정값으로부터 최적의 결정값인 제2 결정값을 출력하는 단계를 포함하며, 복수의 전방 프로세서가 수행된 이후에 복수의 후방 프로세서가 수행되며, 복수의 전방 프로세서와 복수의 후방 프로세서는 각각 순차적으로 수행된다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

이제 본 발명의 실시예에 따른 복수 영상 라인을 이용한 영상 정합 방법 및 그 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다.

먼저 도 2 내지 도 7을 참조하여 본 발명의 제1 실시예에 따른 복수 영상 라인을 이용한 영상 정합 시스템에 대하여 자세하게 설명한다.

도 2는 본 발명의 제1 실시예에 따른 영상 정합 시스템의 개략적인 블록도이며, 도 3은 본 발명의 제1 실시예에 따른 영상 정합 시스템의 멀티라인 영상 정합부의 개략적인 블록도이다. 도 4는 도 3의 입력 버퍼의 상세 블록도이며, 도 5는 도 3의 멀티라인 영상 정합부의 개략적인 블록도이다. 도 6 및 도 7은 각각 도 5의 전방 프로세서 및 후방 프로세서의 상세 블록도이다.

도 2에 나타낸 바와 같이, 본 발명의 제1 실시예에 따른 영상 정합 시스템은 좌측 카메라(110), 우측 카메라(120), 영상 처리부(200), 멀티라인 영상 정합부(300) 및 사용자 시스템(400)을 포함한다. 좌측 및 우측 카메라(110, 120)는 각각 피사체의 좌측 및 우측 영상을 촬영하여 촬영한 영상 신호를 영상 처리부(200)로 전달한다. 영상 처리부(200)는 좌측 및 우측 카메라(110, 120)로부터 각각 입력되는 좌측 및 우측 영상 신호를 디지털로 변환하여 출력한다. 멀티라인 영상 정합부(300)는 영상 처리부(200)로부터의 영상 디지털 신호로부터 결정값을 계산하여 양안차값을 출력하고, 사용자 시스템(400)은 멀티라인 영상 정합부(300)에서 출력되는 양안차에 의한 거리 영상을 입력으로 받아 필요한 용도에 사용한다.

도 3을 보면, 멀티라인 영상 정합부(300)는 2개의 입력 버퍼(310), 프로세싱 엘리먼트 어레이부(320) 및 인코더(330)를 포함한다. 2개의 입력 버퍼(310)는 각각 좌측 및 우측 영상 신호(픽셀 데이터)를 수신하고 제어 신호에 따라 픽셀 데이터를 재배열하여 출력한다. 프로세싱 엘리먼트 어레이부(320)는 인접한 영상 라인의 양 안차값을 이용하여 입력되는 픽셀 데이터의 양안차를 구하며, 인코더(330)는 양안차값을 적절한 포맷으로 변환하여 출력한다.

이러한 멀티라인 영상 정합부(300)는 에피폴라 선상의 좌측 및 우측 영상 라인의 픽셀 데이터를 순차적으로 입력받아 연산하여 양안차값을 계산하여 출력하는데, 양안차를 출력하는 과정은 한 쌍의 영상의 모든 에피폴라 선상의 영상 라인에 대해 반복적으로 수행된다.

도 4를 보면, 도 2의 입력 버퍼(310)는 멀티플렉서(311), 2개의 라인 버퍼(312, 313), 디멀티플렉서(314), 2개의 어드레스 생성부(315, 316) 및 제어부(317)를 포함한다. 멀티플렉서(311)는 입력되는 픽셀 데이터를 제어부(317)로부터의 제어 신호에 따라 2개의 라인 버퍼(312, 313) 중 하나로 출력한다. 2개의 어드레스 생성부(315, 316)는 제어부(317)로부터의 제어 신호에 따라 각각 라인 버퍼(312, 313) 내의 데이터 중 출력할 데이터를 선택한다. 디멀티플렉서(314)는 제어부(317)로부터의 제어 신호에 따라 라인 버퍼(312, 313)로부터 출력되는 픽셀 데이터 중 하나를 선택하여 출력한다.

그리고 도 3 및 5를 보면, 도 2의 프로세싱 엘리먼트 어레이부(320)는 N/2개의 좌측 영상 레지스터(321)(l₂∼l_N/2), N/2개의 우측 영상 레지스터(r_N/2-1∼r₁), N개의 전방 프로세서(323)(fp₁∼fp_N), N개의 후방 프로세서(324)(bp₁∼bp _N) 및 N개의 스택(325)을 포함한다. 전방 프로세서(323), 후방 프로세서(324) 및 스택(325)을 합쳐서 프로세싱 엘리먼트라 한다. 이러한 프로세싱 엘리먼트는 지정된 최대 양안차 까지 선형 어레이 형태로 존재하며, 각 프로세싱 엘리먼트는 이웃하는 프로세싱 엘리먼트와 정보를 교환하면서 병렬로 처리된다. 이러한 구조는 프로세싱 엘리먼트의 개수에 제한 없이 최대 속도로 동작할 수 있게 한다.

좌측 영상 레지스터(l₁)에는 동기 신호에 따라 좌측 영상 에피폴라 선상의 픽셀 데이터가 입력 버퍼(310)를 거쳐 하나씩 입력되고, 좌측 영상 레지스터(l₁)에 입력된 픽셀 데이터는 좌측 영상 레지스터(l₂∼l_N/2)로 순차적으로 전달된다. 마찬가지로 우측 영상 레지스터(r_N/2)에는 우측 영상 에피폴라 선상의 픽셀 데이터가 입력 버퍼(310)를 거쳐 하나씩 입력되고, 우측 영상 레지스터(r_N/2)에 입력된 픽셀 데이터는 우측 영상 레지스터(r_N/2-1∼r₁)로 순차적으로 전달된다. 그리고 도 3에 나타낸 바와 같이, 하나의 좌측 영상 레지스터(l_n) 및 우측 영상 레지스터(r_n)는 2개의 전방 프로세서(fp_j, fp_j-1)에 대응되어 형성되어 있다.

아래에서는 도 6 및 도 7을 참조하여 도 5의 프로세싱 엘리먼트 어레이부(320) 중에서 j(1≤j≤N)번째 프로세싱 엘리먼트를 예로 들어 상세하게 설명한다.

도 6을 보면, 도 5의 전방 프로세서(323)(fp_j)는 절대값 계산기(323a), 멀티라인 코스트 메모리(323b), 가산기(323c, 323d), 멀티플렉서(323e), 코스트 레지스터(323f), 가산기(323g, 323h) 및 제어부(323i)를 포함한다. 이러한 전방 프로세서(323)는 클럭(t)에 따라 에피폴라 선상의 좌측 및 우측 영상 라인의 픽셀 데이터를 입력받아 결정값을 계산하여 스택(325)에 저장한다.

절대값 계산기(323a)는 좌측 영상의 픽셀 데이터(L_n)(

)와 우측 영상의 픽셀 데이터(R_n)(

)의 차이의 절대값으로 정합 코스트(matching cost)를 계산하며, 픽셀 데이터는 좌측 및 우측 영상 레지스터(321, 322)로부터 입력받는다. 멀티라인 코스트 메모리(323b)는 멀티라인 프로세싱용 활성 신호(

)로 멀티라인 코스트를 결정하여 출력한다. 멀티라인 코스트 메모리(323b)는 가까운 프로세싱 엘리먼트의 활성 신호에 대해서는 작은 코스트를 출력하고 멀리 있는 프로세싱 엘리먼트의 활성 신호에 대해서는 큰 코스트를 출력하는데, 이에 대해서는 도 7에서 자세하게 설명한다.

가산기(323c)는 코스트 레지스터(323f)로부터 피드백되는 2클럭 이전의 코스트(

)와 멀티라인 코스트 메모리(323b)에서 출력되는 멀티라인 코스트를 가산하고, 가산기(323d)는 가산기(323c)에서 가산된 값에 절대값 계산기(323a)의 정합 코스트를 가산한다.

그리고 멀티플렉서(323c)는 제어부(323h)로부터의 제어 신호에 따라 (j+1)번째 전방 프로세서(323)와 (j-1)번째 전방 프로세서(323)에서 출력되는 1클럭 이전의 코스트(

,

)와 가산기(323d)의 출력(

) 중 가장 작은 코스트를 출력하는 동시에, 가장 작은 코스트의 경로를 나타내는 결정값(

)를 출력한다. 가산기(323g)는 멀티플렉서(323c)의 출력에 멀티라인 코스트 메모리 (323b)의 멀티라인 코스트를 가산하여 현재 클럭의 코스트(

)로 출력하고, 출력된 코스트(

)는 코스트 레지스터(323f)에 저장된다. 그리고 가산기(323h)는 코스트 레지스터(323f)에서 출력되는 2클럭 이전의 코스트(

)에 어클루젼(occlusion) 코스트(

)를 가산하여 인접한 (j+1)번째 및 (j-1)번째 전방 프로세서(323)로 출력한다.

도 7을 보면, 도 5의 후방 프로세서(324)(bp_j)는 OR 게이트(324a), 1비트 활성 레지스터(324b), D 버퍼(324c), 디멀티플렉서(324d), 3상태 버퍼(324e) 및 제어부(324f)를 포함한다. 이러한 후방 프로세서(324)는 스택(325)으로부터 읽은 결정값을 연산하여 양안차값을 계산하여 클럭에 따라 출력한다.

OR 게이트(324a)는 이웃한 (j+1)번째 및 (j-1)번째 후방 프로세서(324)의 활성 신호(

,

)와 디멀티플렉서(324d)로부터 피드백되는 활성 신호(

)를 입력으로 받다. OR 게이트(324a)의 출력이 제어부(323f)의 제어에 따라 2클럭 이후의 활성 비트값(

)으로서 활성 레지스터(324b)에 저장된다. 그리고 활성 레지스터(324b)의 출력(

)은 D 버퍼(324c)에 저장되고, D 버퍼(324c)는 k클럭 이후에 활성 비트값(

)을 출력한다. 이러한 D 버퍼(324c)는 활성 비트값을 입력받아 멀티라인 활성 신호로 출력하는데 멀티라인 프로세싱용 활성 신호를 입력받는 전방 프로세서(323)로 입력될 시 후방 프로세서와 같은 동기를 맞추기 위해 사용된다.

디멀티플렉서(324d)는 활성 레지스터(324b)에서 입력되는 데이터를 전방 프로세서(323)에서 스택(325)을 거쳐 입력되는 결정값(

)에 따라 디멀티플렉싱하고, 이에 따라 후방 프로세싱용 활성 신호(

,

)를 인접한 후방 프로세서(324)로 출력하는 동시에 활성 신호(

)를 OR 게이트(324a)로 피드백시킨다. 그리고 3상태 버퍼(324e)는 스택(325)으로부터 결정값(

)을 수신하여 활성 레지스터(324b)의 출력에 따라 양안차의 증감을 나타내는 최적의 결정값(

)을 출력한다. 이러한 3상태 버퍼(324e)는 활성 비트값(

)이 '1'일 때는 입력값을 그대로 출력하고 '1'이 아닌 경우에는 하이 임피던스 상태로 되어 어느 값도 출력하지 않는다.

그리고 후방 프로세서(bp_j)에서 출력되는 결정값(

)을 모두 더하면 양안차값이 되는데, 이러한 양안차값은 결정값의 변화량에 천천히 바뀌므로 차분(differential) 코딩 방식으로 압축을 하여 압축률을 높일 수 있다. 즉, 인코더(330)는 결정값(

)을 더한 형태인 양안차값을 출력하지 않고 결정값(

)을 그대로 출력할 수 있다.

그런데, 결정값(

)은 패스의 변화분을 나타내므로 패스 변화 없음, 위 방향, 아래 방향의 3개의 값을 가지므로 각각 2비트로 '00', '01', '10'으로 표시할 수 있으며, '11'은 더미 비트가 된다. 이때, 2개의 결정값(

,

)은 4비트가 필요한데, '0110'과 '1001'은 기하학적으로 존재 가능성이 거의 없는 경우이므로 '0000'과 동일시 할 수 있다. 따라서 표 1에 나타낸 것처럼 불필요한 데이터(dummy data)를 처리하여 이를 인코딩하면 2개의 결정값을 3비트만으로 표기가 가능하다. 또한 하나의 수를 플래그(flag)로 할당하여 사용 가능하므로 플래그 데이터도 허용된다.

아래에서는 도 8 및 도 9를 참조하여 위에서 설명한 복수 영상 라인을 이용한 영상 정합 시스템에서의 영상 정합 방법에 대하여 상세하게 설명한다. 그리고 본 발명의 제1 실시예에서는 클럭이 0부터 2N까지 수행될 때 0부터 (N-1)까지의 프로세싱 엘리먼트들이 병렬로 수행되지만, 도 8 및 도 9에서는 설명의 편의상 j번째 프로세싱 엘리먼트를 기준으로 하여 설명한다.

본 발명의 제1 실시예에서는 위 라인의 양안차값을 프로세싱 엘리먼트 내에서 직접 이용하고 후방 프로세서(bp_j)와 전방 프로세서(fp_j)가 동시에 수행되기 위해서, 에피폴라 선상의 영상 라인의 전체 영상에서 홀수 번째인지 짝수 번째인지에 따라 하드웨어 수행이 달라진다. 이는 결정값의 출력에 의해 멀티라인 프로세싱용 활성 신호가 달라지므로 멀티라인 프로세싱용 활성 신호와 전방 프로세서가 동기를 맞추기 위해서이다. 따라서 입력 버퍼(310)는 영상 라인의 인덱스가 홀수인지 짝수인지에 따라 픽셀 데이터의 순서를 달리해서 정렬해야 한다.

아래에서는 짝수 번째 영상 라인의 픽셀 데이터에 대해서는 도 7의 순서도를 참조하여 설명하고 홀수 번째 영상 라인의 픽셀 데이터에 대해서는 도 8의 순서도를 참조하여 설명한다.

먼저, 도 8을 참조하여 짝수 번째 영상 라인의 픽셀 데이터가 입력되는 경우에 대해서 설명한다. 먼저 0 클럭(i=0)에서 프로세싱 엘리먼트가 초기화되며 초기화될 때의 코스트(U_j(0), j∈[1,N])는 [수학식 1]과 같다(S810).

다음, 도 4에서 하단의 좌측 영상 레지스터(l₁) 및 상단의 우측 영상 레지스터(r_N/2)는 입력 버퍼(311, 312)로부터 좌우측 영상 픽셀 데이터를 순차적으로 입력받고, 모든 좌측 및 우측 영상 레지스터(l₁∼l_N/2, r₁∼r_N/2)는 인접한 영상 레지스터(l₁∼l_N/2, r₁∼r_N/2)로 픽셀 데이터를 전달한다(S820).

한편, 프로세싱 엘리먼트는 현재 클럭(i)과 프로세싱 엘리먼트의 위치(j)의 합(i+j)이 홀수인지 짝수인지에 따라 동작이 달라진다. 그리고 전방 프로세서(fp_j)는 현재 입력되는 영상 라인의 픽셀 데이터를 처리하고, 후방 프로세서(bp_j)는 전방 프로세서(fp_j)에서 처리된 결정값을 스택(325)으로부터 읽어 들여 처리한다. 그리고 아래에서는 후방 프로세서(bp_j)가 전방 프로세서(fp_j)보다 빨리 수행되는 것으로 하고 설명한다. 이와 같이 하면 후방 프로세서(bp_j)가 스택(325)으로부터 읽어낸 자리에 전방 프로세서(fp_j)가 결정값을 쓸 수 있으므로 이전 라인의 결정값과 현재 라인의 결정값이 하나의 스택을 공유할 수 있다. 따라서 현재 클럭(i)에서의 전방 프로세서(fp_j)의 출력인 코스트와 결정값을 각각 U_j(i)와 V_i,j로 표시하고, 후방 프로세서(bp_j)의 출력인 활성화 신호와 양안차를 각각

과

로 표시한다.

아래에서는 이러한 프로세싱 엘리먼트의 동작을 (i+j)가 홀수인 경우와 짝수인 경우로 나누어 상세하게 설명한다.

먼저, 전방 프로세서(fp_j)의 제어부(323i)와 후방 프로세서(bp_j)의 제어부(324f)는 클럭(i)과 프로세싱 엘리먼트의 위치(j)의 합이 홀수인지 짝수인지를 판단한다(S830).

이때, (i+j)가 홀수인 경우에는 도 6의 제어부(323i)는 Uj(t-1)을 코스트로 출력하도록 제어하고(S841), (i+j)가 짝수인 경우에는 Uj(t)을 코스트로 출력하도 록 제어한다(S842).

자세하게 설명하면, (i+j)가 홀수인 경우에는 전방 프로세서(fp_j)의 가산기(323d)의 출력(U_j(t-1))이 코스트로 되므로, i클럭에서의 코스트(U_j(i))는 이전 클럭의 코스트(U_j(i-1))에 좌우 픽셀 데이터의 차이를 더한 값에 멀티라인 코스트가 더해진 값이 된다. 멀티라인 코스트는 수학식 2와 같이 주어지며, 후방 프로세서(324)에서 계산된 멀티라인 프로세싱용 활성 신호(

)를 입력받아 |p|가

보다 작으면

를 출력하고 크면

를 출력한다. 이러한 멀티라인 코스트는 입력된 활성 신호(

)의 프로세싱 엘리먼트의 위치(j+p)와 전방 프로세서(fp_j) 위치(j)의 차이를 고려해 코스트를 계산하고 출력하므로, 정합시 제약 조건으로 사용된다.

여기서,

는 멀티라인 프로세싱용 활성 신호(

)가 근방의 프로세싱 엘리먼트로 전달되는 범위를 나타내며,

는 멀티라인 코스트값의 스케일을 결정한다.

이러한 멀티라인 코스트를 고려하면 i클럭에서의 코스트(U_j(i))는 수학식 3과 같이 표현될 수 있으며, 이때의 결정값(V_i,j)은 0이 된다.

그리고 (i+j)가 짝수인 경우에는 전방 프로세서(fp_j)의 가산기(323g)의 출력(U_j(t-1))이 코스트로 된다. 따라서 i클럭에서의 코스트(U_j(i))는

,

중 최소값에 코스트 메모리(323b)의 멀티라인 코스트를 더한 값으로 수학식 4와 같이 표현할 수 있다. 그리고 결정값(V_i,j)은 가장 작은 코스트의 경로를 나타내는 값으로서 수학식 5와 같이 표현할 수 있다.

여기서,

는 f(x)를 최소로 하는 파라미터(x)를 출력하는 함수이다. 그리고 아래에서는 결정값(V_i,j) 중 짝수 번째 영상 라인의 픽셀 데이터에 대해 전방 프로세서에서 출력되는 결정값을

로 표시하고, 홀수 번째 영상 라인의 픽셀 데이터에 대해 전방 프로세서에서 출력되는 결정값을

로 표시한다.

이와 같이 S841 및 S842 단계를 통하여 결정된 결정값(V_i,j)은 스택(325)에 저장된다.

한편, 후방 프로세서(bp_j)는 이전 라인에 대해 전방 프로세서(fp_j)에서 처리된 결정값(

)을 스택(325)으로부터 읽어들인다. 그리고 도 7에서 제어부 (324f)의 제어에 따라 활성 레지스터(324b)의 출력이 활성 신호(

)로 된다. 즉, 도 7의 OR 게이트(324a)는 현재 후방 프로세서(bp_j)가 이전 클럭에서 처리한 활성 신호(

)와 인접한 후방 프로세서(bp_j-1, bp_j+1)가 이전 클럭에 대해 처리한 활성 신호(

,

)를 OR 연산하여 출력한다. 이 결과가 현재 클럭에서의 활성 신호(

)로 되며, 수학식 6과 같이 표현될 수 있다.

3상태 버퍼(324e)는 이전 라인에 대한 결정값(

)을 스택(325)으로부터 수신하여 활성 비트(

)에 따라 양안차의 증감을 나타내는 최적의 결정값(

)을 출력하며, 이 결정값(

)의 합이 양안차(

)로 된다. 3상태 버퍼(324e)는 활성 비트값(

)이 하이('1')인 경우에는 결정값(

)으로 출력한다. 그리고 활성 비트값(

)이 로우('0')인 경우에는 3상태 버퍼(324e)의 출력 신호는 하이 임피던스 상태로 되어 다른 후방 프로세서의 출력을 방해하지 않도록 된다. 따라서 양안차(

)는 수학식 7과 같이 나타낼 수 있다.

다음, 현재 클럭(i)이 2N이 아니면(S850) 클럭(i)이 1증가되어(S860) 동일한 과정(S820, S830, S841, S842)이 반복된다. 이와 같이 하여 현재 영상 라인의 픽셀 데이터에 대하여 양안차를 계산한다.

다음, 도 9를 참조하여 홀수 번째 영상 라인의 픽셀 데이터가 입력되는 경우에 대해서 설명한다. 먼저 0 클럭(i=0)에서 프로세싱 엘리먼트가 초기화되며 초기화될 때의 코스트(U_j(0), j∈[1,N])는 수학식 1과 같다(S910).

다음, 도 4에서 하단의 좌측 영상 레지스터(l₁) 및 상단의 우측 영상 레지스터(r_N/2)는 입력 버퍼(311, 312)로부터 좌측 및 우측 영상 라인의 픽셀 데이터를 순차적으로 입력받고, 모든 좌측 및 우측 영상 레지스터(l₁∼l_N/2, r₁∼r _N/2)는 인접한 영상 레지스터(l₁∼l_N/2, r₁∼r_N/2)로 픽셀 데이터를 전달한다(S920). 이때, 입력되는 픽셀 데이터는 좌측 및 우측 영상 픽셀 데이터의 순서가 재배열되어

,

와 같이 된다.

그리고 도 8에서와 마찬가지로 (i+j)의 값이 홀수인지 짝수인지를 판단하여(S930), (i+j)가 홀수인 경우에는 도 6의 제어부(323i)는 U_j(t-1)을 코스트로 출력하도록 제어하고(S941), (i+j)가 짝수인 경우에는 U_j(t)을 코스트로 출력하도록 제어한다(S942).

따라서, (i+j)가 홀수인 경우에는 전방 프로세서(fp_j)의 가산기(323d)의 출 력(U_j(t-1))이 코스트로 되므로, 코스트(U_j(i))는 수학식 8과 같이 되며, 이때의 결정값(

)은 0이 된다.

그리고 (i+j)가 짝수인 경우에는 전방 프로세서(fp_j)의 가산기(323g)의 출력(U_j(t-1))이 코스트로 되므로, 코스트(U_j(i))와 결정값(

)은 각각 수학식 9 및 10과 같이 표현할 수 있다.

이와 같이 S941 및 S942 단계를 통하여 결정된 결정값(

)은 스택(325)에 저장된다.

그리고 도 8과 마찬가지로 후방 프로세서(bp_j)는 인접한 영상 라인에 대해 전방 프로세서(fp_j)에서 처리된 결정값(

)을 스택(325)으로부터 읽어들여 활성 비트(

)를 출력한다. 후방 프로세서(bp_j)의 3상태 버퍼(324e)는 이전 라인 에 대한 결정값(

)을 스택(325)으로부터 수신하여 활성 비트값(

)에 따라 양안차의 증감을 나타내는 최적의 결정값(

)을 출력하며, 이 결정값(

)의 합이 양안차(

)로 된다. 이러한 활성 비트값(

)과 양안차(

)는 각각 수학식 11 및 12로 표현된다.

다음, 현재 클럭(i)이 2N이 아니면(S950) 클럭(i)이 1증가되어(S960) 동일한 과정(S920, S930, S941, S942)이 반복된다. 이와 같이 하여 현재 영상 라인의 픽셀 데이터에 대하여 양안차를 계산한다.

이상으로 본 발명의 제1 실시예에 따른 영상 정합 방법에 대해서 영상 정합 시스템에서 처리되는 과정을 중심으로 설명하였지만, 이와는 달리 소프트웨어적으로 처리할 수도 있다. 아래에서는 소프트웨어적으로 처리되는 본 발명의 제2 실시예에 따른 영상 정합 방법에 대해서 상세하게 설명한다. 본 발명의 제2 실시예에 따른 영상 정합 방법에서는 프로세싱 엘리먼트가 병렬적으로 수행되지 않고 직렬적으로 수행된다.

도 10은 본 발명의 제2 실시예에 따른 영상 정합 방법을 나타내는 순서도이 다.

도 10을 보면, 먼저 수학식 1에 나타낸 것처럼 모든 프로세싱 엘리먼트를 초기화하고(S1010), 처리할 프로세싱 엘리먼트의 위치(j)를 0으로 설정한다(S1020).

다음, 좌측 및 우측 영상 레지스터(l₁∼l_N/2, r₁∼r_N/2)로부터 좌측 및 우측 영상 라인의 픽셀 데이터(

,

)가 전방 프로세서(fp_j)로 입력된다(S1030). 그리고 (i+j)가 홀수인지 짝수인지를 판단하고(S1040), 현재 프로세싱 엘리먼트의 위치(j)와 이전 라인에 대한 양안차값(

)의 차이와

와의 대소를 비교한다(S1050).

(i+j)가 홀수이고

가

보다 같거나 작으면 수학식 13과 같이 코스트(U_j(i))를 계산하고(S1061), (i+j)가 홀수이고

가

보다 크면 수학식 14와 같이 코스트(U_j(i))를 계산한다(S1062). 그리고 (i+j)가 홀수인 경우에는 결정값(V_i,j)을 0으로 설정한다.

이때, (i+j)가 짝수이고

가

보다 같거나 작으면 각각 수학식 15 및 16과 같이 코스트(U_j(i)) 및 결정값(V_i,j)을 계산하고(S1063), (i+j)가 짝수이고

가

보다 크면 각각 수학식 17 및 18과 같이 코스트(U_j(i))와 결정값(V_i,j)을 계산한다(S1064).

이와 같이 S1061, S1062, S1063 또는 S1064 단계를 통하여 코스트(U_j(i))와 결정값(V_i,j)을 계산한 후, 현재 전방 프로세서(fp_j)의 위치(j)가 (N-1)번째인지를 판단한다(S1070). j가 (N-1)이 아니면 j를 1증가시킨 후(S1071) S1030 단계부터 반복한다.

그리고 j가 (N-1)인 경우, 즉 모든 전방 프로세서(fp_j)에 대해서 코스트(U_j(i))와 결정값(V_i,j)을 계산한 경우에는 현재 클럭(i)이 2N인지를 판단한다 (S1080). 현재 클럭(i)이 2N이 아닌 경우에는 클럭(i)을 1증가시켜서(S1081), S1020 단계부터 반복한다. 그리고 현재 클럭(i)이 2N인 경우, 즉 모든 클럭에 대해서 전방 프로세서(fp_j)의 처리를 끝낸 경우에는 후방 프로세서(bp_j)의 처리를 한다.

다음, 후방 프로세서 처리에서는, 이전 단계에서 설정된 양안차(d_j)와 결정값(

)을 가지고 현재 단계에서의 양안차(d_j-1)를 수학식 19와 같이 계산하고,

로

값을 업데이트한다(S1110).

이후, 현재 클럭(i)이 0인지를 판단하여(S1120) 0이 아니면 클럭(i)을 1감소시킨 후(S1130), S1110부터 반복한다.

이와 같이 본 발명의 실시예에 따르면, 도 11에 나타낸 바와 같이 인접한 복수의 에피폴라 선상의 영상 라인(g_m1 ^l-g_m2 ^l, g_m1 ^r- g_m2 ^r)을 입력받아, 영상 정합시 라인들간의 제약 조건을 이용하여 양안차의 에러를 감소시킨다. 즉, 물체의 표면이 비교적 완만하다는 가정하에 양안차 영상의 영상 라인 사이에서의 거리 데이터인 양안차값의 차이를 영상 정합시 제약 조건으로 사용한다. 따라서 본 발명의 실시예에 따르면, 도 13a 및 도 13b의 좌우측 영상이 입력되는 경우에 도 13c에 나타낸 바와 같이 도 13d에 비해 노이즈가 많이 제거된 것을 알 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발 명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

이와 같이 본 발명에 의하면, 양안차 계산을 고속으로 처리할 수 있으며 또한 높은 압축률로 양안차를 인코딩할 수 있다. 그리고 다수의 에피폴라 선상의 영상 라인들 간의 기하학적 제약 조건을 이용하여 수직 방향으로의 노이즈를 제거할 수 있으므로, 안정적인 거리 영상을 얻을 수 있다.

Claims

제1 및 제2 카메라로부터 입력되는 영상을 디지털 신호로 변환하여 제1 및 제2 픽셀 데이터를 출력하는 영상 처리부, 그리고

동일 에피폴라 선상의 상기 제1 및 제2 픽셀 데이터로부터 소정의 코스트를 결정하고 상기 소정의 코스트를 결정하는 상기 제1 결정값을 추적하고, 이전 에피폴라 선상의 상기 제1 및 제2 픽셀 데이터로부터 추정된 제1 결정값을 이용하여 최적의 제2 결정값을 출력하는 영상 정합부를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제1항에 있어서,

상기 제1 및 제2 픽셀 데이터는 각각 동일 에피폴라 선상의 좌측 및 우측 영상 라인의 픽셀 데이터인 복수 영상 라인을 이용한 영상 정합 시스템.
제1항 또는 제2항에 있어서,

상기 영상 정합부는,

상기 제1 및 제2 픽셀 데이터를 각각 재배열하여 출력하는 제1 및 제2 입력 버퍼, 그리고

상기 제1 및 제2 입력 버퍼로부터 각각 상기 제1 및 제2 픽셀 데이터를 수신하여 상기 제1 및 제2 결정값을 추적하는 프로세싱 엘리먼트 어레이부를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제3항에 있어서,

상기 영상 정합부는 상기 제2 결정값을 입력받아 압축하는 인코더를 더 포함하며,

상기 인코더는 상기 제2 결정값에서 기하학적으로 존재가능성이 없는 경로를 제외해서 처리하는 복수 영상 라인을 이용한 영상 정합 시스템.
제3항에 있어서,

상기 프로세싱 엘리먼트 어레이부는,

상기 제1 픽셀 데이터를 순차적으로 수신하는 복수의 제1 영상 레지스터,

상기 제2 픽셀 데이터를 순차적으로 수신하는 복수의 제2 영상 레지스터, 그리고

상기 제1 및 제2 영상 레지스터로부터 각각 상기 제1 및 제2 픽셀 데이터를 수신하여 상기 제1 및 제2 결정값을 추적하는 복수의 프로세싱 엘리먼트를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제5항에 있어서,

상기 제1 및 제2 영상 레지스터는 각각 N/2개로 이루어지며 상기 프로세싱 엘리먼트는 N개로 이루어지는 복수 영상 라인을 이용한 영상 정합 시스템.
제5항에 있어서,

상기 프로세싱 엘리먼트는 이웃하는 프로세싱 엘리먼트와 코스트값 및 활성 신호를 주고받는 복수 영상 라인을 이용한 영상 정합 시스템.
제7항에 있어서,

상기 활성 신호는 멀티라인 코스트를 계산하기 위한 멀티라인 프로세싱용 활성 신호와 인접한 프로세싱 엘리먼트의 후방 프로세싱용 활성 신호를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제8항에 있어서,

상기 프로세싱 엘리먼트는,

상기 제1 및 제2 픽셀 데이터와 상기 멀티라인 프로세싱용 활성 신호로부터 코스트값을 결정하고 상기 결정한 코스트의 경로를 나타내는 상기 제1 결정값을 계산하는 전방 프로세서,

상기 제1 결정값을 저장하는 스택, 그리고

인접한 에피폴라 선상에 대한 상기 제1 결정값과 상기 후방 프로세싱용 활성 신호를 이용하여 상기 제2 결정값을 계산하는 후방 프로세서를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제9항에 있어서,

상기 전방 프로세서는,

상기 제1 및 제2 영상 레지스터로부터 출력되는 상기 제1 및 제2 픽셀 데이터의 차이로 정합 코스트를 계산하는 절대값 계산기,

상기 멀티라인 프로세싱용 활성 신호로 멀티라인 코스트를 결정하는 멀티라인 코스트 메모리,

제1 가산기에서 피드백되는 값에 상기 정합 코스트와 상기 멀티라인 코스트를 가산하는 제2 가산기,

상기 제2 가산기의 출력과 인접한 전방 프로세서의 코스트 중 가장 작은 코스트를 출력하고, 상기 가장 작은 코스트의 경로를 나타내는 상기 제1 결정값을 출력하는 멀티플렉서,

상기 멀티플렉서의 출력과 상기 멀티라인 코스트를 가산하는 제1 가산기,

상기 제1 가산기의 출력을 저장하는 코스트 레지스터, 그리고

상기 코스트 레지스터의 출력에 어클루젼(occlusion)값을 가산하여 이웃한 전방 프로세서로 출력하는 제3 가산기를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제10항에 있어서,

상기 전방 프로세서의 초기화 시에 0번째 전방 프로세서를 제외한 모든 전방 프로세서의 코스트 레지스터의 비용이 최대치로 설정되는 복수 영상 라인을 이용한 영상 정합 시스템.
제10항에 있어서,

상기 멀티라인 코스트 메모리는 상기 멀티라인 프로세싱용 활성 신호의 프로세싱 엘리먼트의 위치와 상기 전방 프로세서의 위치의 차이를 이용하여 상기 멀티라인 코스트를 계산하는 복수 영상 라인을 이용한 영상 정합 시스템.
제9항에 있어서,

상기 후방 프로세서는,

이웃한 후방 프로세서의 활성 신호와 상기 후방 프로세서의 디멀티플렉서로부터 출력되는 활성 신호를 입력받는 OR 게이트,

상기 OR 게이트의 출력을 저장하는 활성 레지스터,

상기 활성 레지스터로부터 입력받은 데이터를 상기 스택으로부터 출력되는 상기 제1 결정값에 따라 출력하는 디멀티플렉서,

상기 제1 결정값을 수신하여 상기 활성 레지스터의 출력에 따라 상기 제2 결정값을 출력하는 3상태 버퍼,

상기 활성 레지스터로부터 활성 비트값을 입력받아서 저장하고 멀터라인 활성 신호를 출력하는 D버퍼를 포함하는 복수 영상 라인을 이용한 영상 정합 시스템.
제13항에 있어서,

상기 후방 프로세서의 초기화 시에 0번째 후방 프로세서의 활성 레지스터가 활성화되고 다른 후방 프로세서의 활성 레지스터는 비활성화되는 복수 영상 라인을 이용한 영상 정합 시스템.
제9항에 있어서,

상기 전방 프로세서는 현재 입력되는 상기 제1 및 제2 픽셀 데이터를 처리하며, 상기 후방 프로세서는 이전 영상 라인에 대해 상기 전방 프로세서가 처리한 상기 제1 결정값을 입력받아 상기 제2 결정값을 출력하는 복수 영상 라인을 이용한 영상 정합 시스템.
제9항에 있어서,

상기 복수의 전방 프로세서가 처리된 이후에 상기 복수의 후방 프로세서가 처리되며,

상기 복수의 전방 프로세서와 상기 복수의 후방 프로세서는 각각 순차적으로 처리될 수 있는 복수 영상 라인을 이용한 영상 정합 시스템.
제5항에 있어서,

입력되는 상기 제1 및 제2 픽셀 데이터에 해당하는 상기 에피폴라 선상의 영상 라인이 전체 영상에서 홀수 번째인지 짝수 번째인지에 따라 상기 제1 및 제2 영상 레지스터에 각각 입력되는 상기 제1 및 제2 픽셀 데이터의 입력 순서가 상이한 복수 영상 라인을 이용한 영상 정합 시스템.
제5항에 있어서,

상기 복수의 프로세싱 엘리먼트에서 출력되는 상기 제2 결정값의 합이 양안차값으로 출력되는 복수 영상 라인을 이용한 영상 정합 시스템.
좌측 및 우측 카메라로부터 각각 입력되는 좌측 및 우측 픽셀 데이터를 수신하는 단계,

에피폴라 선상의 영상 라인의 좌측 및 우측 픽셀 데이터를 배열하여 각각 복수의 제1 및 제2 영상 레지스터로 순차적으로 출력하는 단계,

복수의 전방 프로세서가 상기 복수의 제1 및 제2 영상 레지스터로부터 각각 출력되는 상기 좌측 및 우측 픽셀 데이터로부터 소정의 코스트를 결정하고 상기 소정의 코스트를 결정하는 제1 결정값을 추적하는 단계, 그리고

복수의 후방 프로세서가 인접한 영상 라인에 대한 상기 제1 결정값으로부터 최적의 결정값인 제2 결정값을 출력하는 단계를 포함하며,

상기 전방 프로세서와 상기 후방 프로세서가 동시에 수행되는 복수 영상 라인을 이용한 영상 정합 방법.
좌측 및 우측 카메라로부터 각각 입력되는 좌측 및 우측 픽셀 데이터를 수신하는 단계,

에피폴라 선상의 영상 라인의 좌측 및 우측 픽셀 데이터를 배열하여 각각 복수의 제1 및 제2 영상 레지스터로 순차적으로 출력하는 단계,

복수의 전방 프로세서가 상기 복수의 제1 및 제2 영상 레지스터로부터 각각 출력되는 상기 좌측 및 우측 픽셀 데이터로부터 소정의 코스트를 결정하고 상기 소정의 코스트를 결정하는 제1 결정값을 추적하는 단계, 그리고

복수의 후방 프로세서가 인접한 영상 라인에 대한 상기 제1 결정값으로부터 최적의 결정값인 제2 결정값을 출력하는 단계를 포함하며,

상기 복수의 전방 프로세서가 수행된 이후에 상기 복수의 후방 프로세서가 수행되며,

상기 복수의 전방 프로세서와 상기 복수의 후방 프로세서는 각각 순차적으로 수행되는 복수 영상 라인을 이용한 영상 정합 방법.
제19항 또는 제20항에 있어서,

상기 전방 프로세서는 이웃하는 전방 프로세서와 코스트값을 주고받으며, 상기 후방 프로세서는 이웃하는 후방 프로세서와 활성 신호를 주고받는 복수 영상 라인을 이용한 영상 정합 방법.
제21항에 있어서,

상기 활성 신호는 멀티라인 코스트를 계산하기 위한 멀티라인 프로세싱용 활성 신호와 인접한 프로세싱 엘리먼트의 후방 프로세싱용 활성 신호를 포함하는 복 수 영상 라인을 이용한 영상 정합 방법.
제22항에 있어서,

상기 전방 프로세서에서 상기 제1 결정값이 추적되는 단계는,

상기 제1 및 제2 픽셀 데이터의 차이로 정합 코스트를 계산하는 단계,

상기 멀티라인 프로세싱용 활성 신호로 멀티라인 코스트를 결정하는 단계,

피드백 값에 상기 정합 코스트와 상기 멀티라인 코스트를 가산하는 단계,

상기 가산된 값과 인접한 전방 프로세서의 코스트 중 가장 작은 코스트를 출력하고, 상기 가장 작은 코스트의 경로를 나타내는 상기 제1 결정값을 출력하는 단계,

상기 가장 작은 코스트에 상기 멀티라인 코스트를 가산하고 이 값을 피드백하는 단계, 그리고

상기 가장 작은 코스트에 상기 멀티라인 코스트가 가산된 값에 어클루젼(occlusion)값을 가산하여 이웃한 전방 프로세서로 출력하는 단계를 포함하는 복수 영상 라인을 이용한 영상 정합 방법.
제23항에 있어서,

상기 전방 프로세서는, 상기 멀티라인 프로세싱용 활성 신호의 프로세싱 엘리먼트의 위치와 상기 전방 프로세서의 위치의 차이를 이용하여 상기 멀티라인 코스트를 계산하는 복수 영상 라인을 이용한 영상 정합 방법.
제22항에 있어서,

상기 후방 프로세서에서 상기 제2 결정값이 출력되는 단계는,

이웃한 후방 프로세서의 활성 신호와 피드백되는 활성 신호를 OR 연산하는 단계,

상기 OR 연산된 값을 상기 제1 결정값에 따라 디멀티플렉싱하는 단계,

상기 OR 연산된 값에 따라 상기 제1 결정값으로부터 상기 제2 결정값을 결정하는 단계, 그리고

상기 OR 연산된 값을 저장하고 멀터라인 활성 신호를 출력하는 단계를 포함하는 복수 영상 라인을 이용한 영상 정합 방법.
제19항 또는 제20항에 있어서,

상기 복수의 후방 프로세서에 출력되는 상기 제2 결정값이 합산되어 양안차값이 출력되는 복수 영상 라인을 이용한 영상 정합 방법.
제19항 또는 제20항에 있어서,

상기 제2 결정값의 합에서 기하학적으로 존재 가능성이 없는 경로를 제외하여 상기 제2 결정값을 압축하는 단계를 더 포함하는 복수 영상 라인을 이용한 영상 정합 방법.