KR101590777B1

KR101590777B1 - 스테레오 비젼에서의 시차 보정장치 및 그 방법

Info

Publication number: KR101590777B1
Application number: KR1020140180879A
Authority: KR
Inventors: 문병인; 배경렬
Original assignee: 경북대학교 산학협력단
Priority date: 2014-12-16
Filing date: 2014-12-16
Publication date: 2016-02-11
Also published as: US9749620B2; US20160171677A1

Abstract

본 발명은 좌/우 카메라로부터 촬영된 좌영상 및 우영상을 이용하여 3차원 영상을 생성하는 스테레오 비젼에 있어서, 좌영상을 기반으로 생성된 시차(Disparity) 정보와 우영상을 기반으로 생성된 시차정보를 간단한 구성을 통해 신속하게 보정할 수 있도록 해 주는 스테레오 비젼에서의 시차 보정장치 및 그 방법에 관한 것이다.
본 발명에 따른 스테레오 비젼에서의 시차 보정장치 및 그 방법은 스테레오 카메라에 의해 촬영된 영상에 대해 생성된 좌영상기반 시차정보와 우영상기반 시차정보에 대하여 오차 보정된 최종 시차값을 출력하도록 된 것으로, 상기 좌영상기반 시차저장수단 및 상기 우영상기반 시차 저장수단으로부터 인가되는 좌영상기반 시차값과 우영상기반 시차값을 비교하여 일치 여부에 따라 오차발생 또는 오차 미발생정보를 출력하고, 오차 상태정보에 따라 상기 좌영상기반 시차값 또는 이전 유효값을 현재 유효값으로 설정하며, 이전 유효값과 좌영상기반 시차값을 비교하여 작은 값을 보정 시차값으로 출력하고, 오차 상태정보와 상기 유효값을 근거로 보정 시차값 또는 유효값 중 하나를 임시 시차값으로 변경 설정하여 보정처리를 수행하도록 구성되는 것을 특징으로 한다.

Description

스테레오 비젼에서의 시차 보정장치 및 그 방법{Device and method for correcting of disparity in stereo vision}

본 발명은 좌/우 카메라로부터 촬영된 좌영상 및 우영상을 이용하여 3차원 영상을 생성하는 스테레오 비젼에 있어서, 좌영상을 기반으로 생성된 시차(Disparity) 정보와 우영상을 기반으로 생성된 시차정보를 간단한 구성을 통해 신속하게 보정할 수 있도록 해 주는 스테레오 비젼에서의 시차 보정장치 및 그 방법에 관한 것이다.

스테레오 비젼(stereo vision)은 두 개의 이미지 센서 즉, 좌 카메라와 우 카메라를 사용하여 동일 시간에 서로 다른 위치에서 획득한 2차원 영상들로부터 3차원 정보를 획득하는 기술로서, 좌/우영상 내에서 동일 지점에 해당하는 대응점을 찾아 두 대응점간의 시차 (disparity) 정보를 획득함으로써 3차원 거리정보인 뎁스(depth) 정보를 획득하도록 구성된다.

도 1은 스테레오 비젼에서 좌영상을 기반으로 한 시차맵과 우영상을 기반으로 한 시차맵을 나타낸 것이다. 도 1에 의하면, 좌영상의 A 지점에 대한 우영상에서의 대응점은 A'이며, x 축(가로방향)으로 4 픽셀 차이가 난다. 즉, 좌영상기반 시차맵에서는 픽셀 A 에 대한 좌표가 (14, 7)이 되고, 이 위치에서의 뎁스 정보는 4 가 된다. 그리고, 우영상기반 시차맵에서는 픽셀 A'에 대한 좌표가 (10, 7)이 되고, 이 위치에서의 시차값은 4 가 된다. 이때 좌/우영상의 대응 점 A 와 A'은 뎁스 정보의 크기만큼, 도 1의 실시 예에 따르면 4 픽셀 만큼 x 축으로의 좌표 차이가 난다. 또한, 좌영상의 B 지점에 대한 우영상에서의 대응점은 B'로서, 좌영상기반 시차맵에서의 픽셀 B에 대한 좌표는(5,4), 우영상기반 시차맵에서의 픽셀 B'에 대한 좌표는 (3.4)이며, 좌/우영상의 대응 점 B 와 B'는 뎁스 정보의 크기만큼, 2픽셀 만큼 x 축으로의 좌표 차이가 나게 되는바, 이러한 우영상과 좌영상간의 시차를 통해 깊이정보가 산출된다.

그러나, 일반적으로 스테레오 비젼에서 생성되는 좌영상기반 시차정보와 우영상기반 시차정보는 각종 왜곡변수나 매개변수 등의 내부 또는 외부적 요인으로 많은 오차가 있게 된다. 그래서 이러한 오차를 보정하기 위해 후처리 과정을 수행하게 되는 데, 현재 일반적으로 가장 널리 쓰이는 후처리 과정 즉, 시차 보정방법이 좌우 교차 보정((L/R cross check) 방법이다.

도2 내지 도4는 종래 스테레오 비젼에서의 좌우 교차 보정을 통한 시차 보정방법을 설명하기 위한 것이다.

도2는 스테레오 정합에서 좌영상기반 시차맵과 우영상기반 시차맵에서 정합 결과에 오차가 발생한 경우를 예시한 것이고, 도3은 도2에서 발생된 오차 검출방법을 설명하기 위한 것이며, 도4는 도3에서 검출된 오차에 대한 보정방법을 설명하기 위한 것이다.

즉, 도2에는 좌영상기반 시차맵에서는 C 지점에 대한 시차값에 오차가 발생하고, 우영상기반 시차맵에서는 D 지점에 대한 시차값에 오차가 발생한 상태가 도시되어 있다.

또한, 도3에는 도 2에서 좌우 교차 보정(L/R cross check)를 통해 오차를 찾는 방법이 도시되어 있다. 즉, 도3에서 좌영상 시차맵을 기반으로 할 때, 좌영상 시차맵에서 (10, 6)의 좌표를 가지는 C 지점의 시차값이 4 이므로 우영상기반 시차맵의 (10, 6)의 좌표를 가지는 지점에서 4만큼 좌측으로 이동한 (6, 6) 좌표를 가지는 C'지점이 좌영상의 C 지점과 값을 비교할 지점이 된다. 이때 C'지점의 시차값은 2 이고, C 지점의 시차값 4와 같지 않으므로 오차가 발생한 것으로 판단한다.

도 4는 도 3 에서 좌우 교차 검토를 통해 찾은 C 지점의 오차를 보정하는 방법을 나타낸다. 도 3 에서 오차는 도 2의 예를 통해 확인 된 오차 상태를 나타낸다. 이때 오차 값이 "1"이면 그 픽셀에서 오차가 발생했음을 의미하고, 오차 값이 "0"이면 그 픽셀에서 오차가 발생하지 않았음을 의미한다. 그리고, 오차가 발생한 픽셀에는 오차가 발생하지 않은 가장 가까운 픽셀의 시차값 중 작은 값을 전달하여 보정한다. 도 4에 의하면 영상의 좌에서 우로 이동해 가며 오차 발생을 확인하고, 오차가 발생하지 않으면 유효값을 갱신하고, 오차가 발생하면 이전의 유효값으로 유효값을 갱신 한다. 영상의 좌에서 우로 이동해 가며 갱신이 완료 된 후 영상의 우에서 좌로 이동해 가며 같은 과정을 반복한다. 영상의 우에서 좌로 이동해 갈 때에는 오차가 발생한 지점의 보정 과정에서 우측에서 전달 될 유효 값과 현재 위치의 유효값(좌에서 우로 이동하며 보정 된 값)의 대소를 비교하여 작은 값으로 갱신하게 된다. 예컨대, 도 4에서 오차가 발생한 픽셀은 좌표 (10, 6)의 C 지점이며, 이 지점의 보정은 영상의 좌에서 우로 이동하면서 보정하는 과정에서 좌표 (9, 6)의 시차 2로 갱신 되고, 영상의 우에서 좌로 이동하면서 보정하는 과정에서는 좌에서 우로 이동하면서 보정이 되었기 때문에 보정이 수행되지 않는다. 또한, 좌표 (13, 9)의 D 지점은 우측에서 전달된 이전 지점의 유효 값 0으로 보정 된다. 즉, 도4와 같이 좌영상기반 시차맵과 우영상기반 시차맵이 갱신된다.

그러나, 상기한 좌우 교차 검토 방법은 스테레오 비젼에서 하나의 라인에 대해 좌에서 우로 이동하면서 각 픽셀에 대한 시차 보정처리를 수행함과 더불어 우에서 좌로 이동하면서 진행하면서 또 다시 각 픽셀에 대한 시차 보정처리를 수행하도록 구성되는 바, 보정처리에 따른 많은 시간이 소요됨과 더불어, 복잡한 하드웨어 구성으로 장치의 비용을 상승시키는 문제가 있게 된다.

[선행문헌]

1. 한국공개특허 제2014-0120527호 (발명의 명칭 : 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법)

2. 한국공개특허 제2014-0040407호 (발명의 명칭 : 영상특성을 이용한 스테레오 매칭장치)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 영상의 좌에서 우로 이동하며 보정하는 과정을 통해 영상의 우에서 좌로 이동하며 보정하는 기능을 최적화하도록 구성함으로써, 간단한 하드웨어 구성으로 시차 보정 시간을 최소화하면서 종래와 같은 보정 결과를 얻을 수 있도록 해 주는 스테레오 비젼에서의 시차 보정장치 및 방법을 제공함에 그 기술적 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 좌영상기반 시차정보와 우영상기반 시차정보에 대하여 오차 보정된 최종 시차값을 출력하는 스테레오 비젼에서의 시차 보정장치에 있어서, 좌영상기반 시차값을 순차 출력하는 좌영상기반 시차 저장수단과, 상기 좌영상기반 시차 저장수단에서 출력되는 좌영상기반 픽셀에 대응되는 우영상기반 픽셀의 시차값을 출력하는 우영상기반 시차 저장수단, 상기 좌영상기반 시차저장수단 및 상기 우영상기반 시차 저장수단으로부터 인가되는 좌영상기반 시차값과 우영상기반 시차값을 비교하여 일치 여부에 따라 오차발생 또는 오차 미발생정보를 출력하는 제1 비교기, 상기 제1 비교기로부터 제공되는 오차 상태정보에 따라 상기 좌영상기반 시차값 또는 이전 유효값을 현재 유효값으로 설정하는 유효값 저장수단, 상기 유효값 저장수단으로부터 제공되는 이전 유효값과 상기 좌영상기반 시차 저장수단으로부터 제공되는 좌영상기반 시차값을 비교하여 둘 중 작은 값을 보정 시차값으로 출력하는 제2 비교기 및, 임시 시차값을 포함하는 유효정보가 저장되는 다수의 임시 시차저장부가 순차 결합되고, 상기 임시 시차저장부에 유효정보를 저장하는 유효정보 설정부를 구비하여 구성되는 시차 출력수단을 포함하여 구성되되, 상기 유효정보 설정부는 상기 유효값 저장수단으로부터 제공되는 현재 유효값을 제1 임시 시차저장부에 저장함과 더불어, 제1 임시시차장부에 저장된 유효정보를 시프트시킴으로써 마지막 임시 시차저장부에 저장된 임시 시차값이 최종 시차값으로 출력되도록 설정하고, 제1 비교기로부터 제공되는 오차 상태정보와 상기 유효값을 근거로 상기 제2 비교기로부터 제공되는 보정 시차값 또는 유효값 중 하나를 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 우영상기반 시차 저장수단은 N개의 우영상기반 시차 저장부로 구성되되, 상기 각 우영상기반 시차 저장부에는 픽셀값에 대응되도록 우영상기반 시차값이 순차 저장되도록 구성되고, 상기 좌영상기반 시차 저장수단으로부터 제공되는 좌영상기반 픽셀값에 대응되는 우영상기반 픽셀값을 산출한 후, 이에 해당하는 대응되는 우영상기반 시차값을 출력하는 멀티플렉서를 추가로 구비하여 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

상기 우영상기반 시차 저장부의 수를 결정하는 "N"은 스테레오 비젼에서 설정된 최대 시차 추정 범위값(maximum disparity search range)인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 유효값 저장수단은 최초 픽셀에 대한 유효값을 "N-1"로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 유효값 저장수단은 상기 제1 비교기로부터 오차 미발생정보가 인가되면 좌영상기반 시차값을 현재 유효값으로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

삭제

또한, 상기 임시 시차저장부의 수는 영상의 가로 픽셀 수보다 작은 수로 설정되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 임시 시차저장부에 저장되는 유효정보는 오차 상태정보와, 임시 시차값인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 유효정보 설정부는 상기 제1 비교기로부터 오차 미발생정보가 인가되는 경우, 모든 임시 시차저장부의 오차 상태정보를 오차 미발생상태로 변경설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차보정장치가 제공된다.

또한, 상기 유효정보 설정부는 제1 비교기로부터 오차 미발생정보가 인가되고, 이전 오차상태가 오차 발생상태인 경우에는 상기 제2 비교기로부터 제공되는 보정 시차값을 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

또한, 상기 유효정보 설정부는 상기 제1 비교기로부터 오차 발생정보가 인가되면, 유효값 저장수단으로부터 제공되는 유효값을 제1 임시 시차저장부에 저장하고, 유효정보를 시프트시키는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치가 제공된다.

한편, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 스테레오 카메라에 의해 촬영된 영상에 대해 생성된 좌영상기반 시차정보와 우영상기반 시차정보에 대하여 오차 보정된 최종 시차값을 출력하는 스테레오 비젼에서의 시차 보정장치에서 이루어지는 시차 보정방법에 있어서, 좌영상기반 시차값과, 이 좌영상기반 픽셀에 대응되는 우영상기반 픽셀의 시차값을 출력하는 제1 단계와, 상기 좌영상기반 시차값과 우영상기반 시차값을 비교하여 일치 여부에 따라 오차발생 또는 오차 미발생정보를 출력하는 제2 단계, 상기 제2 단계에서 출력되는 오차 상태정보에 따라 상기 좌영상기반 시차값 또는 이전 유효값을 현재 유효값으로 설정하는 제3 단계, 상기 제3 단계에서 제공되는 이전 유효값과 제1 단계에서 출력되는 좌영상기반 시차값을 비교하여 둘 중 작은 값을 보정 시차값으로 출력하는 제4 단계, 제3 단계에서 설정된 현재 유효값을 포함하는 유효정보를 제1 임시 시차저장부에 저장함과 더불어, 제1 임시 시차저장부에 순차 결합되는 다수의 임시 시차저장부에 대해 유효정보를 시프트시킴으로써 마지막 임시 시차저장부에 저장된 임시 시차값을 최종 시차값으로 출력하되, 상기 제2 단계에서 출력되는 오차 상태정보와 상기 제3 단계에서 제공되는 유효값을 근거로 상기 제4 단계에서 출력되는 보정 시차값 또는 제3 단계에서 유효값 중 하나를 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하는 제5 단계를 포함하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

또한, 상기 제1 단계는 N개의 우영상기반 시차 저장부에 해당 픽셀값에 대응되는 우영상기반 시차값이 순차 저장되고, 상기 제1 단계에서 제공되는 좌영상기반 픽셀값에 대응되는 우영상기반 픽셀값을 산출한 후, 이 우영상기반 픽셀값에 해당하는 우영상기반 시차 저장부에 저장된 우영상기반 시차값을 출력하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

또한, 상기 제3 단계는 제2 단계에서 오차 미발생정보가 인가되는 경우 좌영상기반 시차값을 현재 유효값으로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

삭제

또한, 상기 제5 단계에서 임시 시차저장부에 저장되는 유효정보는 오차 상태정보와, 임시 시차값인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

또한, 상기 제5 단계는 제2 단계에서 오차 미발생정보가 인가되는 경우, 모든 임시 시차저장부의 오차 상태정보를 오차 미발생상태로 변경설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

또한, 상기 제5 단계는 제2 단계에서 오차 미발생정보가 인가되고, 이전 오차상태가 오차 발생상태인 경우, 상기 제4 단계에서 제공되는 보정 시차값을 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법이 제공된다.

또한, 상기 제5 단계는 상기 제2 단계에서 오차 발생정보가 인가되면, 제3 단계에서 제공되는 유효값을 제1 임시 시차저장부에 저장함과 더불어, 모든 임시 시차저장부의 유효정보를 시프트시키는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정 방법이 제공된다.

본 발명에 의하면, 간단한 하드웨어 구성으로 영상의 좌에서 우로 이동하며 보정하는 과정을 통해 영상의 우에서 좌로 이동하며 보정하는 과정을 동시에 수행하도록 함으로써, 신속하게 시차 보정처리를 수행하여 종래와 같은 보정 결과를 얻을 수 있게 된다.

도1은 스테레오 비젼에서 좌영상기반 시차맵과 우영상기반 시차맵을 예시한 도면.
도2는 스테레오 비젼에서 좌영상기반 시차맵과 우영상기반 시차맵에서의 오차 발생상태를 예시한 도면.
도3은 도2의 예에서 좌우 교차 검토를 통해 오차를 검출하는 방법을 설명하기 위한 도면.
도4는 도3에서 검출된 오차를 보정하는 방법을 설명하기 위한 도면.
도5는 본 발명의 제1 실시예에 따른 스테레오 비젼에서의 시차 보정장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도6은 도5에 도시된 우영상기반 저장수단(200)의 내부구성을 포함하는 요부구성을 도시한 도면.
도7은 도5에 도시된 시차 출력수단(700)의 내부구성을 포함하는 요부구성을 도시한 도면.
도8은 도5 내지 도7에 도시된 스테레오 비젼에서의 시차 보정장치를 FPGA로 구현한 회로도를 예시한 도면.
도9는 본 발명에 따른 스테레오 비젼에서의 시차 보정방법을 설명하기 위한 플로우챠트.
도10은 도9에 도시된 스테레오 비젼에서의 시차 보정방법에 따른 출력값을 예시한 도면.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.

먼저, 본 발명에 따른 스테레오 비젼에서의 시차 보정장치는 스테레오 카메라를 통해 좌영상기반 시차맵과 우영상기반 시차맵이 생성된 이후, 좌영상기반 시차맵과 우영상기반 시차맵에서 발생되는 시차 보정처리를 수행하기 위한 것이다.

도5는 본 발명의 제1 실시예에 따른 스테레오 비젼에서의 시차 보정장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.

도5에 도시된 바와 같이 본 발명에 따른 스테레오 비젼에서의 시차 보정장치는 좌영상기반 시차 저장수단(100)과, 우영상기반 시차 저장수단(200), 멀티플렉서(MUX, 300), 제1 비교기(400), 유효값 저장수단(500), 제2 비교기(600) 및, 시차 출력수단(700)을 포함하여 구성된다.

상기 좌영상기반 시차 저장수단(100)은 바람직하게는 입력되는 픽셀별 좌영상기반 시차값을 저장함과 더불어, 픽셀단위로 좌영상기반 시차값을 출력한다.

상기 우영상기반 시차 저장수단(200)은 좌영상기반 픽셀에 대응되는 우영상기반 픽셀의 시차값을 출력한다. 이때, 상기 우영상기반 시차 저장수단(200)은 도6에 도시된 바와 같이, N개의 우영상기반 시차 저장부(201 ~ 20N)로 구성된다. 여기서, 상기 N은 스테레오 비젼에서 설정된 최대 시차 추정 범위값(maximum disparity search range)으로, 각 우영상기반 시차 저장부(201 ~20N)는 우영상기반 시차값이 픽셀순서에 따라 순차 저장되도록 구성된다. 예컨대, 도2 내지 도4에 있어서 최대 시차 추정 범위값(N)은 "4"로 설정되는 바, 이 경우 우영상기반 시차 저장수단(200)은 4개의 우영상기반 시차 저장부(201~204)로 구성되고, 각 우영상기반 시차 저장부(201 ~204)는 우영상기반 픽셀값에 대응되는 시차값이 시차 저장부(201 ~204)에 순차적으로 저장된다. 예컨대, 우영상기반 픽셀값이 "6"인 경우, 제3 우영상기반 시차 저장부(203)에 저장된다.

상기 멀티플렉서(300)는 상기 좌영상기반 시차 저장수단(100)으로부터 제공되는 좌영상기반 픽셀에 대응되는 우영상기반 시차값을 선택적으로 출력하여 상기 제1 비교기(400)로 제공한다. 예컨대, 상기 멀티플렉서(300)는 도2에서 좌영상 픽셀값과 시차값이 (10,4)인 경우, 이 좌영상 픽셀 위치에 대응되는 우영상 픽셀값은 "10-4" 연산을 통해 픽셀값 "6"이 저장된 제3 우영상기반 시차 저장부(203)에 저장된 픽셀값 "6"에 대응되는 시차값을 출력한다.

상기 제1 비교기(400)는 상기 좌영상기반 시차 저장수단(100)으로부터 제공되는 좌영상기반 시차값과 상기 멀티플렉서(300)로부터 제공되는 우영상기반 시차값을 비교하여 그 비교결과에 따른 오차 상태정보를 상기 유효값 저장수단(500)과 상기 시차 출력수단(700)으로 제공한다. 이때, 상기 제1 비교기(400)는 좌영상기반 시차값과 우영상기반 시차값이 상이한 경우 오차 발생 상태에 대응되는 "1"정보를 출력하고, 좌영상기반 시차값과 우영상기반 시차값이 동일한 경우 오차 미발생 상태에 대응되는 "0"정보를 출력한다.

상기 유효값 저장수단(500)은 상기 제1 비교기(400)로부터 오차 미발생상태정보 "0"이 입력되는 경우, 상기 좌영상기반 시차 저장수단(100)으로부터 제공되는 좌영상기반 시차값을 유효값으로 저장한다. 또한, 상기 유효값 저장수단(500)은 상기 제1 비교기(400)로부터 오차 발생상태정보 "1"이 입력되면 이전 유효값을 현재 유효값으로 저장한다. 또한, 상기 유효값 저장수단(500)은 상기 시차 출력수단(700) 및 상기 제2 비교기(600)로 유효값을 제공한다.

상기 제2 비교기(600)는 상기 유효값 저장수단(500)으로부터 제공되는 유효값과 상기 좌영상기반 시차저장수단(100)으로부터 인가되는 좌영상기반 시차값을 비교하여 둘 중 작은 값을 보정 시차값으로써 상기 시차출력수단(700)으로 제공한다.

상기 시차 출력수단(700)은 도7에 도시된 바와 같이, 유효정보 설정부(710)와 다수의 임시 시차저장부(720,721~72M)로 구성된다. 이때, 상기 "M"은 영상의 가로 픽셀 수보다 작은 값으로 설정된다. 이는 오차가 발생한 픽셀의 시차를 최대 M개까지 보정할 수 있음을 의미하는 것으로, 영상의 픽셀 수 등을 고려하여 적절하게 가변되게 설정될 수 있다.

여기서, 상기 유효정보 설정부(710)는 상기 유효값 저장수단(500)으로부터 제공되는 현재 유효값을 제1 임시 시차저장부(721)에 저장함과 더불어, 제1 임시 시차저장부(721)에 저장된 유효정보 즉, 오차상태와 임시 시차값을 시프트(shift)시킴으로써 마지막 임시 시차저장부(72M)에 저장된 임시 시차값을 최종 시차값으로 출력하도록 설정하도록 구성된다. 이때, 도7에서 상기 임시 시차저장부(720)는 오차상태 저장영역과, 임시 시차값 저장영역을 포함하여 구성되고, 상기 다수의 임시 시차저장부(720)는 순차 결합된다. 따라서, 픽셀 정보가 제1 임시 시차저장부(721)로 입력되는 때마다 해당 임시 시차저장부에서 다음 단의 임시 시차저장부로 오차 상태정보와 시차값 정보가 시프트 출력되어 마지막 제 M 임시 시차저장부(72M)에 저장된 시차값이 최종적으로 출력된다.

또한, 상기 유효정보 설정부(710)는 상기 제1 비교기(400)로부터 제공되는 오차 상태정보와 상기 유효값 저장수단(500)으로부터 제공되는 유효값을 근거로 상기 제2 비교기(600)로부터 제공되는 보정 시차값 또는 유효값 중 하나를 제1 임시 시차저장부(721)를 제외한 나머지 임시 시차저장부(722~72M)의 임시 시차값으로 변경 설정하도록 구성된다.

즉, 상기 유효정보 설정부(710)는 상기 제1 비교기(400)로부터 현재 픽셀에 대한 오차 미발생 상태정보 "0'이 인가되는 경우, 이전 픽셀에 대한 오차 상태정보를 확인하고, 이때 이전 오차 상태가 오차 발생 상태정보 "1"이면, 상기 제2 비교기(600)로부터 제공되는 보정 시차값을 제1 임시 시차저장부(721)를 제외한 나머지 임시 시차저장부(722~72M)의 임시 시차값으로 설정한다. 또한, 현재 픽셀에 대한 오차 미발생 상태정보 "0"이 인가되고 이전 픽셀에 대한 오차 상태정보가 오차 발생상태정보 "1"인 상태에서 유효정보 설정부(710)는 현재 픽셀 유효값이 이전 픽셀 유효값 보다 큰 경우에는 이전 임시 시차저장부(720)로부터 시프트된 임시 시차값을 그대로 유지하도록 설정한다.

한편, 상기한 스테레오 비젼에서의 시차 보정장치는 하드웨어 기반의 FPGA 형태로 구현될 수 있는 바, 도8은 도5 내지 도7에 도시된 시차 보장장치를 FPGA 로 구현한 회로구성을 예시한 것이다. 도9에 도시된 바와 같이, 유효값 저장수단(500)은 멀티플렉서(M)와 메모리(MAX)로 구현되고, 시차 출력수단(700)은 다수의 멀티플렉서(M)와 게이트소자(G) 및 플립플롭(D)의 조합으로 구현될 수 있다. 이때, 상기 시차 출력수단(700)은 다수의 플립플롭(D,D0,D1,D2,D3)로 이루어지는 임시 시차저장부(720)와, 다수의 AND게이트(G) 및, 다수의 멀티플렉서(M)로 이루어지는 유효정보 설정부(710)로 구성된다.

이어, 상기한 구성으로 된 스테레오 비젼에서의 시차 보정장치의 시차 보정정합방법을 도9 및 도10을 참조하여 설명한다. 여기서, 도9는 스테레오 비젼에서의 시차 보정 방법을 도시한 플로우챠트이고, 도10은 본 발명에 따른 시차 보정시 생성되는 픽셀순서별 좌영상기반 시차값과 오차 상태, 유효값, 다수의 임시시차저장부에 저장되는 유효정보 및, 출력 시차값을 예시한 것이다.

먼저, 도10은 다수의 제2 시차 저장부(201~20N)의 수를 결정하기 위한 N 값과, 다수의 임시 시차저장부(721~72M)의 수를 결정하기 위한 M값이 모두 "4"로 설정된 상태의 값들을 예시한 것이다. 또한, 유효값 저장수단(500)은 최초 유효값을 "N-1" 즉, "3"으로 설정한다.

상기한 상태에서, 우영상기반 시차정보와 좌영상기반 시차정보는 우영상기반 시차 저장수단(200)과 좌영상기반 시차 저장수단(100)에 순차로 입력되어 저장 및 출력된다(ST10). 이때, 상기 좌영상기반 시차 저장수단(100)은 좌영상기반 시차정보를 상기 멀티플렉서(300)와 제1 비교기(400), 유효값 저장수단(500) 및, 시차 출력수단(700)으로 각각 제공한다. 또한, 상기 우영상기반 시차값은 우영상기반 시차 저장부(201~204)에 각각 순차 저장되고, 멀티플렉서(300)에서 상기 좌영상기반 시차정보를 근거로 우영상기반 픽셀값에 대응되는 우영상기반 저장부로부터 우영상기반 시차값을 선택하여 제1 비교기(400)로 출력한다.

상기 제1 비교기(400)는 상기 ST10 단계에서 좌영상기반 시차 저장수단(100)으로부터 인가되는 좌영상기반 시차값과, 상기 멀티플렉서(300)로부터 출력되는 우영상기반 시차값을 비교하여, 그 일치 여부를 근거로 생성되는 오차 상태정보를 출력한다(S20). 이때, 상기 제1 비교기(400)는 좌영상기반 시차값과 우영상기반 시차값이 일치하면 오차 미발생 정보 "0"을 출력하고, 좌영상기반 시차값과 우영상기반 시차값이 일치하지 않으면 오차 발생 정보, "1"을 출력한다.

상기 제1 비교기(400)에서 출력되는 오차 상태정보는 유효값 저장수단(500)과 시차 출력수단(700)으로 각각 제공된다.

이때, 유효값 저장수단(500)은 상기 제1 비교기(400)로부터 오차 상태정보를 확인한다. 즉, 유효값 저장수단(500)은 오차 미발생 정보 "0"이 수신되는지를 확인한다(ST30).

상기 유효값 저장수단(500)은 상기 ST30단계에서 오차 발생상태, 즉, "1"값이 수신되었다고 판단되면, 이전 유효값을 현재 픽셀에 대한 유효값으로 설정하고, 해당 유효값을 유효정보 설정부(710)로 제공한다.

상기 유효정보 설정부(710)는 상기 제1 비교기(400)로부터 제공되는 오차 발생정보"1"과 상기 유효정보 설정부(710)로부터 제공되는 유효값을 제1 임시 시차저장부(721)의 오차상태와 임시 시차값으로 저장한다. 이때, 제1 임시 시차저장부(721)에 저장되었던 이전 픽셀에 대응되는 오차상태와 임시 시차값은 제2 임시 시차저장부(722)측으로 시프트된다. 즉, 모든 임시 시차저장부의 오차상태와 임시 시차값이 시프트되어 마지막 임시 시차저장부, 즉 제4 임시 시차저장부(724)에 저장된 임시 시차값이 최종 시차값으로 출력된다(ST40). 예컨대, 도10에서 픽셀순서 7에서와 같이, 좌영상기반 시차값이 "3"이고, 오차 상태 값이 "1"인 경우, 유효값은 이전 픽셀순서 6에서의 유효값 "1"로 설정되고, 이에 따라 제1 임시 시차저장부(721)는 {오차 상태, 임시 시차값} = {1,1}로 설정된다. 그리고, 상기 유효정보 설정부(710)의 판단에 따라 이전 픽셀순서 6에서의 오차 상태와 임시 시차값이 시프트되어 제2 내지 제4 임시 시차저장부(722,723,724)에 저장됨과 더불어, 픽셀순서 6의 제4 임시 시차저장부(724)에 저장된 임시 시차값 "2"가 최종 시차값으로 출력된다.

한편, 상기 ST30 단계에서 상기 유효값 저장수단(500)은 제1 비교기(400)로부터 오차 미발생상태, 즉, "0"값이 수신되었다고 판단되면, 좌영상기반 시차값을 현재 유효값으로 설정한다. 또한, 상기 유효정보 설정부(710)은 제1 임시 시차저장부(721)에 오차상태와 현재 유효값을 임시 시차값으로 저장하고, 각 임시 시차저장부(721~724)에 저장된 오차상태와 임시 시차값을 시프트시켜 최종 시차값을 출력한다(ST50).

또한, 상기 유효정보 설정부(710)는 상기 ST30 단계에서 현재 오차 미 발생상태"0"이 입력된 경우에 한하여, 제1 비교기(400)로부터 제공된 이전 오차상태를 확인한다(ST60).

이때, 상기 유효정보 설정부(710)는 상기 ST60 단계에서 이전 오차상태가 오차 발생상태"0" 이면, 제1 임시 시차저장부(721)를 제외한 나머지 임시 시차저장부(722~724)의 오차상태를 "0"으로 변경함과 더불어, 시프트된 이전 임시 시차값을 유지하도록 설정한다(ST70). 예컨대, 도10에서 픽셀순서 5에서와 같이, 좌영상기반 시차값이 "1"이고, 오차상태 값이 "0"인 경우, 유효값은 좌영상기반 시차값 "1"로 설정되고, 제1 임시시차 저장부(721)는 {오차 상태, 임시 시차값} = {0,2}로 설정된다. 그리고, 유효정보 설정부(710)는 이전 픽셀순서 4에서의 오차 상태과 임시 시차값을 시프트시켜 제2 내지 제4 임시 시차저장부(722,723,724)에 저장되도록 한다. 이에 따라, 픽셀순서 4에서의 제4 임시 시차저장부(724)의 임시 시차값 "2"가 최종 시차값으로 출력된다.

한편, 상기 유효정보 설정부(710)는 상기 ST60단계에서 이전 오차 상태가 오차 미발생상태 "1"이면, 제1 임시 시차저장부(721)를 제외한 나머지 임시 시차저장부(722~724)의 오차상태를 "0"으로 변경함과 더불어, 상기 제2 비교기(600)으로부터 인가되는 보정 시차값을 임시 시차값으로 변경설정한다(ST80). 예컨대, 도10에서 픽셀순서 14에서와 같이 좌영상기반 시차값이 "2"이고, 오차 상태가 "0"이면, 유효값은 좌영상기반 시차값인 "2"로 설정되고, 이에 따라 제1 임시 시차저장부(721)는 {오차 상태, 임시 시차값} = {0,2}로 설정된다. 또한, 상기 유효정보 설정부(710)는 이전 픽셀순서 13에서의 오차 상태가 "1"이고, 이전 픽셀순서 13에서의 유효값이 "1"로써 현재 픽셀순서 14에서의 유효값 "2"보다 작으므로, 제2 내지 제4 임시 시차저장부(722, 723, 724)의 임시 시차값은 작은 값의 유효값 "1"로 설정되어 {오차상태, 임시 시차값} 은 각각 {0,1},{0,1},{0,1}로 설정되도록 한다. 또한, 도10에서 픽셀순서 3과 픽셀순서 9는 이전 픽셀순서에서의 오차 상태가 "1"이면서, 현재 픽셀 유효값이 이전 픽셀 유효값보다 작으므로, 상기 유효정보 설정부(710)는 제2 내지 제4 임시 시차저장부(722, 723, 724)의 임시 시차값이 시프트된 이전 임시 시차값이 그대로 유지되도록 한다.

이때, 한 개 영상 프레임에 대한 마지막 부분에 대응되는 픽셀에 대해서는 상기 임시 시차저장부(720)에 저장된 유효값을 순차로 시프트시켜 출력 시차값이 한개 영상 프레임에 대응되는 수로 출력되도록 함으로써, 하나의 영상프레임에 대한 시차값 보정처리를 완료하게 된다. 예컨대, 도10에서 픽셀순서 15가 좌영상기반 마지막 픽셀에 대한 보정값인 경우, 제4 임시 시차저장부(724)와 제3 임시 시차저장부(723), 제2 임시 시차저장부(722) 및, 제1 임시 시차저장부(721)에 저장된 임시 시차값이 순차출력된다. 즉, "1->1->2->0" 가 최종 시차값으로 순차 출력되어 하나의 영상 프레임에 대한 시차 보정처리를 완료하게 된다.

즉, 상기 실시예에 의하면 좌영상기반 시차값과 우영상기반 시차값을 비교하여 오차 발생여부를 판단하고, 오차 발생 여부에 따라 유효값을 설정하며, 오차 발생 여부와 유효값을 근거로 적어도 둘 이상의 픽셀에 대응되는 오차 상태정보와 임시 시차값을 임시로 저장하되, 이전 오차 상태와 이전 유효값의 비교를 통해 임시 시차값을 변경설정하여 임시 시차값을 시프트시킴으로써, 최종 시차값이 자동 출력되도록 구성된다.

따라서, 본 발명에 의하면 좌에서 우로 이동하면서 시차값을 보정하는 과정을 통해 우에서 좌로 이동하면서 시차값을 보정하는 과정을 수행하지 않고서도 이에 대한 보정처리가 자동으로 이루어지게 된다.

비록, 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허등록청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.

100 : 좌영상기반 시차 저장수단, 200 : 우영상기반 시차 저장수단,
300 : 멀티플렉서, 400 : 제1 비교기,
500 : 유효값 저장수단, 600 : 제2 비교기,
700 : 시차 출력수단, 710 : 유효정보 설정부,
720 : 임시 시차저장부.

Claims

좌영상기반 시차정보와 우영상기반 시차정보에 대하여 오차 보정된 최종 시차값을 출력하는 스테레오 비젼에서의 시차 보정장치에 있어서,
좌영상기반 시차값을 순차 출력하는 좌영상기반 시차 저장수단과,
상기 좌영상기반 시차 저장수단에서 출력되는 좌영상기반 픽셀에 대응되는 우영상기반 픽셀의 시차값을 출력하는 우영상기반 시차 저장수단,
상기 좌영상기반 시차저장수단 및 상기 우영상기반 시차 저장수단으로부터 인가되는 좌영상기반 시차값과 우영상기반 시차값을 비교하여 일치 여부에 따라 오차발생 또는 오차 미발생정보를 출력하는 제1 비교기,
상기 제1 비교기로부터 제공되는 오차 상태정보에 따라 상기 좌영상기반 시차값 또는 이전 유효값을 현재 유효값으로 설정하는 유효값 저장수단,
상기 유효값 저장수단으로부터 제공되는 이전 유효값과 상기 좌영상기반 시차 저장수단으로부터 제공되는 좌영상기반 시차값을 비교하여 둘 중 작은 값을 보정 시차값으로 출력하는 제2 비교기 및,
임시 시차값을 포함하는 유효정보가 저장되는 다수의 임시 시차저장부가 순차 결합되고, 상기 임시 시차저장부에 유효정보를 저장하는 유효정보 설정부를 구비하여 구성되는 시차 출력수단을 포함하여 구성되되,
상기 유효정보 설정부는 상기 유효값 저장수단으로부터 제공되는 현재 유효값을 제1 임시 시차저장부에 저장함과 더불어, 제1 임시시차장부에 저장된 유효정보를 시프트시킴으로써 마지막 임시 시차저장부에 저장된 임시 시차값이 최종 시차값으로 출력되도록 설정하고, 제1 비교기로부터 제공되는 오차 상태정보와 상기 유효값을 근거로 상기 제2 비교기로부터 제공되는 보정 시차값 또는 유효값 중 하나를 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제1항에 있어서,
상기 우영상기반 시차 저장수단은 N개의 우영상기반 시차 저장부로 구성되되, 상기 각 우영상기반 시차 저장부에는 픽셀값에 대응되도록 우영상기반 시차값이 순차 저장되도록 구성되고,
상기 좌영상기반 시차 저장수단으로부터 제공되는 좌영상기반 픽셀값에 대응되는 우영상기반 픽셀값을 산출한 후, 이에 해당하는 우영상기반 시차 저장부의 시차값을 출력하는 멀티플렉서를 추가로 구비하여 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제2항에 있어서,
상기 우영상기반 시차 저장부의 수를 결정하는 "N"은 스테레오 비젼에서 설정된 최대 시차 추정 범위값(maximum disparity search range)인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제3항에 있어서,
상기 유효값 저장수단은 최초 픽셀에 대한 유효값을 "N-1"로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제1항에 있어서,
상기 유효값 저장수단은 상기 제1 비교기로부터 오차 미발생정보가 인가되면 좌영상기반 시차값을 현재 유효값으로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
삭제
제1항에 있어서,
상기 임시 시차저장부의 수는 영상의 가로 픽셀 수보다 작은 수로 설정되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제1항에 있어서,
상기 임시 시차저장부에 저장되는 유효정보는 오차 상태정보와, 임시 시차값인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제8항에 있어서,
상기 유효정보 설정부는 상기 제1 비교기로부터 오차 미발생정보가 인가되는 경우, 모든 임시 시차저장부의 오차 상태정보를 오차 미발생상태로 변경설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차보정장치.
제1항 또는 제9항에 있어서,
상기 유효정보 설정부는 제1 비교기로부터 오차 미발생정보가 인가되고, 이전 오차상태가 오차 발생상태인 경우에는 상기 제2 비교기로부터 제공되는 보정 시차값을 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
제1항 또는 제8항에 있어서,
상기 유효정보 설정부는 상기 제1 비교기로부터 오차 발생정보가 인가되면, 유효값 저장수단으로부터 제공되는 유효값을 제1 임시 시차저장부에 저장하고, 유효정보를 시프트시키는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정장치.
스테레오 카메라에 의해 촬영된 영상에 대해 생성된 좌영상기반 시차정보와 우영상기반 시차정보에 대하여 오차 보정된 최종 시차값을 출력하는 스테레오 비젼에서의 시차 보정장치에서 이루어지는 시차 보정방법에 있어서,
좌영상기반 시차값과, 이 좌영상기반 픽셀에 대응되는 우영상기반 픽셀의 시차값을 출력하는 제1 단계와,
상기 좌영상기반 시차값과 우영상기반 시차값을 비교하여 일치 여부에 따라 오차발생 또는 오차 미발생정보를 출력하는 제2 단계,
상기 제2 단계에서 출력되는 오차 상태정보에 따라 상기 좌영상기반 시차값 또는 이전 유효값을 현재 유효값으로 설정하는 제3 단계,
상기 제3 단계에서 제공되는 이전 유효값과 제1 단계에서 출력되는 좌영상기반 시차값을 비교하여 둘 중 작은 값을 보정 시차값으로 출력하는 제4 단계 및,
제3 단계에서 설정된 현재 유효값을 포함하는 유효정보를 제1 임시 시차저장부에 저장함과 더불어, 제1 임시 시차저장부에 순차 결합되는 다수의 임시 시차저장부에 대해 유효정보를 시프트시킴으로써 마지막 임시 시차저장부에 저장된 임시 시차값을 최종 시차값으로 출력하되, 상기 제2 단계에서 출력되는 오차 상태정보와 상기 제3 단계에서 제공되는 유효값을 근거로 상기 제4 단계에서 출력되는 보정 시차값 또는 제3 단계에서 유효값 중 하나를 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하는 제5 단계를 포함하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
제12항에 있어서,
상기 제1 단계는 N개의 우영상기반 시차 저장부에 해당 픽셀값에 대응되는 우영상기반 시차값이 순차 저장되고,
상기 제1 단계에서 제공되는 좌영상기반 픽셀값에 대응되는 우영상기반 픽셀값을 산출한 후, 이 우영상기반 픽셀값에 해당하는 우영상기반 시차 저장부에 저장된 우영상기반 시차값을 출력하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
제12항에 있어서,
상기 제3 단계는 제2 단계에서 오차 미발생정보가 인가되는 경우 좌영상기반 시차값을 현재 유효값으로 설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
삭제
제12항에 있어서,
상기 제5 단계에서 임시 시차저장부에 저장되는 유효정보는 오차 상태정보와, 임시 시차값인 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
제14항에 있어서,
상기 제5 단계는 제2 단계에서 오차 미발생정보가 인가되는 경우, 모든 임시 시차저장부의 오차 상태정보를 오차 미발생상태로 변경설정하는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
제12항 또는 제17항에 있어서,
상기 제5 단계는 제2 단계에서 오차 미발생정보가 인가되고, 이전 오차상태가 오차 발생상태인 경우, 상기 제4 단계에서 제공되는 보정 시차값을 제1 임시 시차저장부를 제외한 나머지 임시 시차저장부의 임시 시차값으로 변경 설정하도록 구성되는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정방법.
제12항 또는 제16항에 있어서,
상기 제5 단계는 상기 제2 단계에서 오차 발생정보가 인가되면, 제3 단계에서 제공되는 유효값을 제1 임시 시차저장부에 저장함과 더불어, 모든 임시 시차저장부의 유효정보를 시프트시키는 것을 특징으로 하는 스테레오 비젼에서의 시차 보정 방법.