KR20130038495A - 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법 - Google Patents

Abstract

연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법이 제공된다. 본 스테레오 영상 정합 방법은, 시차 영역을 구성하는 픽셀들 중 일부 픽셀들에 대해 코스트 함수값들을 계산하고, 계산된 코스트 함수값들 중 코스트 함수값이 가장 작은 픽셀의 시차를 스테레오 영상의 시차로 결정한다. 이에 의해, 스테레오 정합에 필요한 하드웨어 연산량을 획기적으로 줄일 수 있게 된다.

Description

연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법{Fast method for matching stereo images according to operation skip}

본 발명은 스테레오 영상 정합 방법에 관한 것으로, 더욱 상세하게는 좌-영상과 우-영상의 시차(disparity)를 계산하기 위한 스테레오 영상 정합 방법에 관한 것이다.

좌-영상과 우-영상의 시차를 계산하기 위한 스테레오 정합은, 탐색 방법에 따라 전역 정합 방법과 지역 정합 방법으로 나눌 수 있다.

전역 정합 방법은 지역 정합 방법에 비하여 정합 결과는 우수하지만, 연산량이 많고 하드웨어 복잡도가 크다는 문제가 있어, 실시간 처리가 요구되는 시스템에 적용하기에는 무리가 있다.

이에 반해, 지역 정합 방법은 간단한 하드웨어 구조에 의한 병렬 연산에 의해, 실시간의 시차 계산이 가능하다. 하지만, 지역 정합 방법도 입력되는 영상의 해상도, 탐색에 사용되는 윈도우 크기의 및 시차를 계산하기 위한 시차 영역의 크기가 증가함에 따라, 연산량과 하드웨어 복잡도가 증가하게 된다.

해상도, 윈도우의 크기 및 시차 영역을 크게 설정하는 경우, 고속의 시차 계산이 어려워진다는 한계에 직면하게 된다.

현재, 3D 및 스테레오 비전과 관련하여 많은 응용제품이 나오고 있으며, 3D 및 스테레오 비전 기술 중에 이미지 해상도의 크기와 고속에 대한 요구사항이 높아지고 있다는 추세를 고려할 때, 스테레오 영상으로부터 고속으로 시차를 계산하기 위한 스테레오 정합 방안에 대한 모색이 요청된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 입력되는 좌-영상과 우-영상으로부터 고속으로 시차를 계산하기 위한 스테레오 정합으로, 코스트 함수 및 윈도우 내에서 픽셀 스킵을 통한 연산으로 하드웨어 연산량을 줄이는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스테레오 영상 정합 방법은, 시차 영역을 구성하는 픽셀들 중 일부 픽셀들에 대해 코스트 함수값들을 계산하는 단계; 및 상기 계산단계에서 계산된 코스트 함수값들 중 코스트 함수값이 가장 작은 픽셀의 시차를, 스테레오 영상의 시차로 결정하는 단계;를 포함한다.

그리고, 본 발명의 일 실시예에 따른, 스테레오 영상 정합 방법은, 상기 결정단계에서 결정된 시차를 특정 크기 만큼 감소시킨 경우의 제1 코스트 함수값을 계산하는 단계; 상기 시차를 특정 크기 만큼 증가시킨 경우의 제2 코스트 함수값을 계산하는 단계; 및 상기 결정단계에서 결정된 시차에 대한 코스트 함수값, 상기 제1 코스트 함수값 및 상기 제2 코스트 함수값 중 최소인 코스트 함수값에 대한 시차를 스테레오 영상의 시차로 결정하는 단계;를 포함할 수 있다.

또한, 상기 계산단계는, 시차 영역을 구성하는 픽셀들 중 n 픽셀마다 코스트 함수값들을 계산하고, 상기 특정 크기는, n/2일 수 있다.

그리고, 상기 제1 코스트 함수값 계산단계, 상기 제2 코스트 함수값 계산단계 및 상기 결정단계는, 상기 n을 n/2으로 교체하면서 n이 2가 될 때까지 반복할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 스테레오 영상 정합 방법은, '좌-영상의 윈도우 내에 포함된 픽셀들 중 일부 픽셀들'과 '우-영상의 윈도우 내에 포함된 픽셀들 중 일부 픽셀들' 상호 간에 코스트 함수값들을 계산하는 단계; 및 상기 계산단계에서 계산된 코스트 함수값들을 이용하여, 스테레오 영상의 시차를 결정하는 단계;를 포함한다.

그리고, 상기 계산단계는 아래의 코스트 함수

를 이용할 수 있다.

또한, 상기 계산단계는, 상기 코스트 함수값들을 병렬적으로 계산할 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 픽셀의 시차를 계산하기 위한 코스트 함수를 시차 영역 내에서 모두 계산하는 것이 아니라, n개의 픽셀 중에 하나씩만 계산을 하고 최소의 코스트 함수값을 갖는 픽셀 주변의 픽셀들을 코스트 함수값을 구한 후 다시 최소 코스트 함수값을 갖는 픽셀을 선택함으로 인해, 기존의 방법에 비하여 1/n의 연산량 감소효과를 얻을 수 있다.

또한, 본 발명에 따르면, 윈도우 내에서 모든 픽셀을 연산하는 것이 아닌 가로축과 세로축에서 m 픽셀 당 하나씩만을 계산하여 1/(m²)의 연산량 감소효과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른, 스테레오 영상 정합 방법의 설명에 제공되는 흐름도,
도 2a는 테스트 이미지들,
도 2b는 테스트 이미지들에 대한 기준 시차 맵,
도 3 및 도 4는, 코스트 함수 스킵을 통한 고속 스테레오 영상 정합 기법을 사용한 경우와 사용하지 않은 경우의 성능차,
도 5는 본 발명의 다른 실시예에 따른, 스테레오 영상 정합 방법의 설명에 제공되는 도면,
도 6 및 도 7은, 윈도우 내 픽셀 스킵을 통한 고속 스테레오 영상 정합 기법을 사용한 경우와 사용하지 않은 경우의 성능차,
도 8은 테스트 이미지에 대하여 각 기법에 필요한 ZSAD 연산량 및 성능 저하 비율,
도 9는 다양한 해상도를 갖는 이미지에서 하나의 프레임을 처리와 1초에 처리 가능한 프레임에 대하여 필요한 시간, 그리고,
도 10은, 코스트 함수 스킵과 윈도우 내 픽셀 스킵을 이용한 고속 스테레오 정합장치의 구조를 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. ZSAD 기반의 시차 계산을 위한 스테레오 정합 방법

전술한 지역 정합 방법 중에 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference), NCC(Normalized Cross Correlation)와, 이에 기반하여 zero-mean 기법을 적용한 ZSAD, ZSSD, ZNCC 등이 많이 사용되고 있다.

이러한 기법들 중 SSD, ZSSD, NCC 및 ZNCC는 제곱 연산과 상호 상관 연산에 의하여 많은 연산량이 필요하기에 하드웨어 구현에 관한 구조에 적합하지 않다.

반면, SAD 기법은 아래의 수학식 1에 나타난 바와 같이 덧셈 및 뺄셈 연산을 이용하므로, 연산량이 적다는 장점이 있다.

하지만, SAD 기법은 노이즈 또는 좌/우 영상의 영상 오차가 존재하며, 밝기가 높은 경우 오차율이 높아 계산된 시차의 신뢰성이 낮아지는 문제가 존재한다. 이에 반해, 화소값에 윈도우의 평균값을 뺀 ZSAD 기법은 노이즈 또는 좌/우 영상의 영상 오차 및 밝기에 대한 오차에 강인한 특성을 보인다.

ZSAD 기법에 이용되는 코스트 함수는 아래의 수학식 2와 같다.

이하에서, ZSAD 기반으로 스테레오 영상을 고속으로 정합하는 기법에 대해 설명한다.

2. 코스트 함수 스킵(skip)을 통한 고속 스테레오 영상 정합 기법

수학식 2에 나타난 ZSAD 기법에서, 시차 영역(시차를 구하기 위한 영역)의 크기를 K라고 하면, 하나의 픽셀에 대한 시차를 구하기 위해 코스트 함수값을 K번 계산한 후, 가장 작은 코스트 함수값을 갖는 시차를 찾아야 하는데, 본 발명에서는 코스트 함수값 계산 횟수를 줄일 수 있는 방안을 제안한다.

도 1은 본 발명의 일 실시예에 따른, 스테레오 영상 정합 방법의 설명에 제공되는 흐름도이다. 본 실시예에 따른 스테레오 영상 정합 방법에서는, 코스트 함수값 계산을 스킵하여 연산량을 감소시킨다.

구체적으로, 시차 영역을 구성하는 모든 픽셀들에 대해 코스트 함수값들을 계산하는 것이 아니라, 일부의 픽셀들에 대해서만 코스트 함수값들을 계산하는 것이며, 이하에서 상세히 설명한다.

도 1에 도시된 바와 같이, 먼저, 시차 영역(i: 0~K-1)에서 코스트 함수값들을 계산하여 코스트 함수값이 가장 작은 픽셀의 시차 MC(x,y)를 산출하되, n 픽셀마다 코스트 함수값을 계산한다(S110).

다음, S110단계에서 코스트 함수값이 가장 작았던 픽셀에 대해,

1) 시차를 "n/2" 만큼 감소시킨 경우의 코스트 함수값과

2) 시차를 "n/2" 만큼 증가시킨 경우의 코스트 함수값을 각각 산출한다(S120).

이후, 1) 시차가 MC(x,y)인 경우의 코스트 함수값,

2) 시차가 MC(x,y)-n/2인 경우의 코스트 함수값, 및

3) 시차가 MC(x,y)+n/2인 경우의 코스트 함수값 중 최소값을 나타내는 시차를 스테레오 영상의 시차로 결정한다(S130).

S120단계와 S130단계는 n을 n/2으로 교체하면서 계속되는데, n이 2가 될 때까지 계속된다(S140, S150).

Middlebury 대학 연구소에서 사용하는 이미지 중에 도 2a에 도시된 tsukuba, venes 및 sawtooth를 테스트 이미지들로 사용하여 위 실시예에 대한 성능 분석을 하였으며, 도 2b에는 이 테스트 이미지에 대한 기준(ground-truth) 시차 맵을 도시하였다.

도 3 및 도 4를 통해, 코스트 함수 스킵을 통한 고속 스테레오 영상 정합 기법을 사용한 경우와 사용하지 않은 경우의 성능차를 확인할 수 있다. 여기서, ZSAD-C2은 초기 n을 2로 설정한 경우이고, ZSAD-C4는 초기 n을 4로 설정한 경우이다.

도 3과 도 4에 도시된 바에 따르면, 코스트 함수 스킵을 통한 고속 스테레오 영상 정합 기법을 사용한 경우와 사용하지 않은 경우의 성능차가 매우 작음을 확인할 수 있다.

특히, "ZSAD-C2"의 경우 코스트 함수 스킵을 하지 않은 경우(ZSAD)를 비교하였을때, 성능차는 대략 1~2% 정도에 불과함을 확인할 수 있다. 반면, "ZSAD-C2"은 "ZSAD"의 연산량에 비해 50% 감소 효과를 얻을 수 있다.

3. 윈도우 내 픽셀 스킵(skip)을 통한 고속 스테레오 영상 정합 기법

수학식 2에 나타난 ZSAD 기법에서, 픽셀 탐색에 사용되는 윈도우에 포함된 필셀들 모두에 대한 코스트 함수값들을 계산하여 비교하여야 하는데, 본 발명에서는 코스트 함수값 계산 횟수를 줄일 수 있는 방안을 제안한다.

즉, '좌-영상의 윈도우 내에 포함된 "모든" 픽셀들'과 '우-영상의 윈도우 내에 포함된 "모든" 픽셀들'을 비교하는 것이 아니라, '좌-영상의 윈도우 내에 포함된 픽셀들 중 "일부" 픽셀들'과 '우-영상의 윈도우 내에 포함된 픽셀들 중 "일부" 픽셀들' 상호 간에 코스트 함수값들을 계산하는 방식이다.

도 5는 본 발명의 다른 실시예에 따른, 스테레오 영상 정합 방법의 설명에 제공되는 도면이다. 도 5에 도시된 바와 같이, 본 실시예에 따른 스테레오 영상 정합 방법은, '좌-영상의 윈도우 내에 포함된 픽셀들 중 빗금친 일부의 픽셀들'과 '우-영상의 윈도우 내에 포함된 픽셀들 중 빗금친 일부의 픽셀들' 상호 간에 코스트 함수값들을 계산하는 방식이다.

도 4에 도시된 기법에 따른 코스트 함수값들은 아래의 수학식 3으로 일반화 가능하다. 도 4는, 아래의 수학식 3에서 "m=2"인 경우이다.

위 실시예에 대해서도, 도 2a에 도시된 tsukuba, venes 및 sawtooth를 테스트 이미지들로 사용하여 성능 분석을 하였으며, 그 결과를 도 6과 도 7에 나타내었다.

도 6과 도 7을 통해, 윈도우 내 픽셀 스킵을 통한 고속 스테레오 영상 정합 기법을 사용한 경우와 사용하지 않은 경우의 성능차를 확인할 수 있는데, 윈도우 내 픽셀 스킵을 위한 m이 2인 경우(ZSAD-C2W2)와 윈도우 픽셀 스킵을 하지 않은 경우(ZSAD)를 비교하였을때, 성능차는 대략 1% 정도에 불과함을 확인할 수 있다. 반면, "ZSAD-C2W2"은 가로축과 세로축에서 4 픽셀 당 하나만 코스트 함수값을 구하면 되므로 "ZSAD"의 연산량에 비해 75% 감소 효과를 얻을 수 있다.

4. 고속 스테레오 영상 정합을 위한 병렬 연산 구조

ZSAD 방식으로 시차를 계산할 때 필요한 ZSAD 연산량은 "(영상의 가로 픽셀수)×(영상의 세로 픽셀수)×(시차 영역)×(윈도우 크기)²"가 필요하다.

하지만, 2 레벨(n=2) 코스트 함수 스킵을 사용하면 50%의 연산량 감소를 얻을 수 있으며, 2 레벨(m=2) 윈도우 내 픽셀 스킵을 사용하면 75%의 연산량 감소 효과를 얻을 수 있다. 도 8에는, 도 2a에 도시된 tsukuba, venes 및 sawtooth 테스트 이미지에 대하여 각 기법에 필요한 ZSAD 연산량 및 성능 저하 비율을 표기하였다.

이하에서, 고속 스테레오 영상 정합을 위한 병렬 연산 구조에 대해 상세히 설명한다.

기본적으로, 하나의 픽셀에서 하나의 코스트 함수를 구하기 위해서는 윈도우 크기가 15이고 윈도우 픽셀 스킵을 사용하는 경우 필요한 ZSAD 연산은 64개이다. 따라서, 64개의 ZSAD 연산기를 CFPB(Cost Function Processing Block : 코스트 함수 처리 블록)이라 한다면, 병렬 연산을 통하여 하나의 클럭과 파이프라인으로 처리를 하고 동작 주파수를 200MHz를 사용한다면 하나의 CFPB를 처리하는데 tsukuba는 대략 3.9ms가 소요되며, venus는 7.3ms, sawtooth는 7.2ms가 걸린다.

도 9에는 테스트했던 3가지 이상의 해상도를 갖는 이미지에서 하나의 프레임을 처리와 1초에 처리 가능한 프레임에 대하여 필요한 시간에 대하여 정리하였다. 이에 따르면, SD급에 해당되는 640x480의 해상도를 갖는 이미지는 초당 49frame의 처리가 가능하며, HD에 해당하는 1280x720이상에서는 CFPB를 병렬화하여 연산을 하면 실시간에 해당되는 초당 30frame/s를 만족할 수 있다.

한편, 위에서 설명한 "코스트 함수 스킵"과 "윈도우 내 픽셀 스킵"은 함께 적용하는 것이 가능하다. 도 10에는, 코스트 함수 스킵과 윈도우 내 픽셀 스킵을 이용한 고속 스테레오 정합장치의 구조를 도시한 도면이다.

도 10에 도시된 바와 같이, 프레임 버퍼(210,220)로부터 좌-영상과 우-영상을 입력받으면, 좌-영상은 64개의 레지스터(233)에 저장된다.

그리고, 우-영상은 고속 처리를 위한 파이프라인 구조를 위하여 8 line의 크기를 갖는 버퍼 메모리(231)에 저장되고, 코스트 스킵 컨트롤러(238)의 제어에 의하여 좌-영상과 같이 64개의 레지스터(234)에 저장된다.

이후, L 평균 산출기(232)에 의해 좌-영상의 윈도우 내 픽셀들의 평균 값이 계산되고, R 평균 산출기(235)에 의해 우-영상의 윈도우 내 픽셀들의 평균 값이 계산된다.

다음, 64개의 ZSAD-C2W2 연산기와 합산기로 구성된 CFPB(236)가 병렬적으로 연산을 수행하고, 시차 영역에서 이러한 과정을 통하여 최소 코스트 탐색기(237)가 최소 코스트 함수값을 찾게 되면 코스트 함수 스킵 기법에 의하여 주변 픽셀의 코스트 함수값을 구하고 다시 최소 코스트 함수값을 구하면 그 값은 해당 픽셀의 시차가 되어 시차를 저장하는 시차 메모리(240)에 저장된다.

이러한 일련의 과정을 통하여 모든 픽셀에 대한 시차가 계산되어 시차 메모리(240)에 저장되게 된다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

210 : 좌-영상 프레임 버퍼 220 : 우-영상 프레임 버퍼
231 : 8-라인 버퍼 메모리 232 : L 평균 산출기
233 : L 8×8 레지스터 234 : R 8×8 레지스터
235 : R 평균 산출기 236 : CFPB
237 : 최소 코스트 탐색기 238 : 코스트 스킵 컨트롤러
240 : 시차 메모리

Claims (7)

1. 시차 영역을 구성하는 픽셀들 중 일부 픽셀들에 대해 코스트 함수값들을 계산하는 단계; 및
   상기 계산단계에서 계산된 코스트 함수값들 중 코스트 함수값이 가장 작은 픽셀의 시차를, 스테레오 영상의 시차로 결정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   
2. 제 1항에 있어서,
   상기 결정단계에서 결정된 시차를 특정 크기 만큼 감소시킨 경우의 제1 코스트 함수값을 계산하는 단계;
   상기 시차를 특정 크기 만큼 증가시킨 경우의 제2 코스트 함수값을 계산하는 단계; 및
   상기 결정단계에서 결정된 시차에 대한 코스트 함수값, 상기 제1 코스트 함수값 및 상기 제2 코스트 함수값 중 최소인 코스트 함수값에 대한 시차를 스테레오 영상의 시차로 결정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   
3. 제 2항에 있어서,
   상기 계산단계는, 시차 영역을 구성하는 픽셀들 중 n 픽셀마다 코스트 함수값들을 계산하고,
   상기 특정 크기는, n/2인 것을 특징으로 하는 스테레오 영상 정합 방법.
   
4. 제 3항에 있어서,
   상기 제1 코스트 함수값 계산단계, 상기 제2 코스트 함수값 계산단계 및 상기 결정단계는,
   상기 n을 n/2으로 교체하면서 n이 2가 될 때까지 반복하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   
5. '좌-영상의 윈도우 내에 포함된 픽셀들 중 일부 픽셀들'과 '우-영상의 윈도우 내에 포함된 픽셀들 중 일부 픽셀들' 상호 간에 코스트 함수값들을 계산하는 단계; 및
   상기 계산단계에서 계산된 코스트 함수값들을 이용하여, 스테레오 영상의 시차를 결정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   
6. 제 5항에 있어서,
   상기 계산단계는 아래의 코스트 함수
   

   

   를 이용하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   
7. 제 5항에 있어서,
   상기 계산단계는,
   상기 코스트 함수값들을 병렬적으로 계산하는 것을 특징으로 하는 스테레오 영상 정합 방법.
   

Images