KR20230137937A - 이미지에서의 대응 분석을 위한 디바이스 및 방법 - Google Patents

Abstract

본 발명은, 특히 저노이즈에서 그리고 효율적인 방식으로 이미지 데이터에서 대응 분석을 수행하기 위해 사용될 수 있는 디바이스 및 방법을 제공하는 목적에 기초한다. 이것은 개개의 이미지로부터 이미지 패치를 선택하는 것 및 각각의 경우 공간 윈도우에서 짝수 및 홀수 컨볼루션 커널을 사용하여 복수의 일차원 신호를 생성하는 것, 및 컨볼루션 결과 사이의 차이를 비선형적인 방식으로 프로세싱하는 것 및 이들 차이를 누적하여 대응하는 함수를 형성하는 것 및 이 함수를 평가하는 것을 수반한다.

Description

이미지에서의 대응 분석을 위한 디바이스 및 방법

본 발명은 일반적으로 이미지 데이터의 분석에 관한 것이다. 더욱 상세하게는, 본 발명은 복수의 이미지에서 대응하는 이미지 엘리먼트를 식별하고 위치 결정하기 위해 사용될 수 있는 디바이스에 관한 것이다. 이것은 특히 공간에서의 이미지화된 엘리먼트의 포지션이 매치하는 이미지 엘리먼트의 위치 파악에 기초하여 결정되는 입체 사진 측량법(stereophotogrammetry)에 대한 기초를 또한 구성한다.

입체 사진 촬영을 위한 제1 시도는 찰스 휘스톤 경(Sir Charles Wheatstone)이 미러를 사용하여 단일의 사진 대신 두 개의 약간 상이한 이미지를 생성한 1838 년에 이미 이루어졌다. 좌안을 통해 좌측 이미지를 그리고 우안을 통해 우측 이미지를 별개로 보는 것에 의해 캡쳐된 장면의 공간감(spatial impression)이 생성되었다. 1차 세계 대전 동안, 항공 정찰로부터의 대형 이미지 클러스터가 처음으로 사용되어 입체적으로 평가되었다.

수학식 (1)의 관계는 스테레오 정규 공식으로 지칭된다. 이들은 디스패리티(disparity)(δ)와 깊이 좌표(Z) 사이의 관계를 베이스(B)(즉, 좌측 카메라와 우측 카메라 사이의 거리)와 초점 거리(f)의 함수로서 설명한다. 공간에서 Z에 대응하는 횡방향 좌표(X 및 Y)는 광선의 정리를 사용하여 이미지에서의 좌표(x',y')로부터 그리고 Z로부터 도출된다. 그 다음, X, Y 및 Z는 이미지 오브젝트의 위치 및 형상을 나타낸다. 이들 데이터의 세트는 이하 "3D 데이터"로서 지칭될 것이며 본 발명의 애플리케이션의 하나의 가능한 사용을 구성한다.

베이스 및 초점 거리는 스테레오 카메라의 선행하는 캘리브레이션으로부터 충분히 공지되어 있다. 예를 들면, 캡쳐된 오브젝트 공간의(따라서 3D 데이터에 대한) 깊이 좌표의 맵을 획득하기 위한 한 가지 방식은 입력 이미지에서 다수의 균일하게 분포된 포인트 대응을 찾는 것 및 이들 대응에 대한 디스패리티를 계산하는 것에 있다. 여기서, 3D 데이터의 공간 분해능은 대응하는 포인트의 그리드 피치에 의해 결정된다. 수동 평가는 극도로 시간 소모적이며 정확도 요건을 충족하지 않는다.

머신 공간 비전(machine spatial vision)의 목적은 자동 대응 분석, 즉, 디스패리티의 정확한 결정을 위한 최소의 측정 에러를 갖는 포인트 대응의 자동적인 명확한 식별이다. 디스패리티는 결국에는 자신으로부터 3D 데이터를 계산하는 것을 허용한다. 본 출원은 계산된 3D 데이터의 높은 분해능 및 정확도 및 낮은 전력 소비를 갖는 효율적인 실시간의 계산을 요구한다. 대응 분석에 현재 사용되는 기술 및 디바이스는 이들 요건을 충족할 수 없거나, 또는 단지 부분적으로만 충족한다. 예를 들면, 다수의 기술에서의 문제는 대응, 즉, 매치를 신뢰성 있게 식별하기 위한 큰 이미지 패치의 메모리 집약적인 그리고 계산 집약적인 프로세싱인데, 이것은 고속의 특수 하드웨어를 사용하는 구현을 방해하고 3D 데이터의 생성을 늦춘다.

다수의 기술적 애플리케이션은 인간 시각(human vision)의 연구를 통해 획득되는 경험에 기초한다. 인간의 공간 비전은 런타임에서 가변적인 파라미터를 갖는 두 개의 캘리브레이팅되지 않은 개개의 렌즈에 기초한다. 인간이 양쪽 눈의 초점 거리를 약간 변경할 수 있지만, 다양한 조건, 예컨대 역광, 안개, 강수 하에서 공간적으로 보는 것이 가능하다. 그러나, 인간의 공간 비전이 어떤 방법을 통해 작용하는지는 알려져 있지 않다. 생물학적 및 의학적 연구는, 적어도, 인간 스테레오 비전이 복수의 공간 주파수 스케일 상에서 인간 눈에 의해 수신되는 광 신호의 공간 주파수 프로세싱에 기초한다는 것을 시사한다:

Mayhew, J. E., and Frisby, J.P., 1976, "Rivalrous texture stereograms", Nature, 264(5581):53-56.

Marr, D. and Poggio, T., 1979, "A computational theory of human stereo vision", Proceedings of the Royal Society of London B: Biological Sciences, 204(1156):301-328.

두 자료 모두는 복수의 공간 주파수 범위에서 그리고 윈도우에서 위상 정보의 독립적인 계산을 설명한다. 정확한 신호 프로세싱과 관련하여, 이 접근법의 결점은 높은 공간 분해능 및 높은 공간 주파수 분해능 사이의 근본적인 모순이 최적으로 해결되지 않는다는 것이다. 개개의 공간 주파수 범위의 위상 신호로부터 결합되는 디스패리티 신호는 노이즈가 있다. 노이즈는 입력 이미지에서 이전의 저역 통과 필터링에 의해 감소되지만, 그러나, 이것은 신호 정보도 또한 제거한다.

다른 참고 자료(Marcelja, S., 1980, "Mathematical description of the responses of simple cortical cells", J. Opt. Soc. Am., 70(11):1297-1300)는 시각 피질의 뉴런의 민감도 특성의 세부 사항을 가버(Gabor) 함수 형태로 설명하며 따라서 대응 분석을 위한 민감도의 윈도우 특성을 설명한다.

입체 사진 측량 외에도, 복수의 이미지로부터 깊이 정보를 추출하기 위한 다른 기술이 있다. US 2013/0266210 A1은 장면의 깊이 정보를 결정하기 위한 방법을 설명하는데, 그 방법은, 상이한 카메라 파라미터를 사용하여 장면의 적어도 두 개의 이미지를 캡쳐하는 것, 및 각각의 장면에서 이미지 패치를 선택하는 것을 수반한다. 제1 접근법은 복수의 상이한 직교 필터를 사용하여 각각의 이미지 패치에 대한 복수의 복소 응답(complex response) - 각각의 복소 응답은 크기 및 위상을 가짐 - 을 계산하고, 각각의 직교 필터에 대해, 대응하는 이미지 패치의 복소 응답에 가중화(weighting)를 할당한다. 가중화는 복소 응답의 위상의 관계에 의해 결정되고, 장면의 깊이 측정은 가중된 복소 응답의 조합으로부터 결정된다. 하나의 실시형태에 따르면, 신뢰도 척도는, 깊이 점수의 신뢰도의 추정치로서, 상이한 이미지 패치의 깊이 추정치에 할당된다. 예를 들면, 적응형 스펙트럼 마스킹에 의해 1의 가중화를 할당받는 이미지 패치에서의 픽셀의 수는 신뢰도의 척도로서 사용될 수 있다.

일반적으로, 아주 다양한 이미지 평가 기술은 이러한 방식으로 획득되는 데이터를 추가로 프로세싱하기 위해 이미지 또는 이미지 패치가 컨볼루션 커널을 사용하여 컨볼빙되는 필터 동작을 또한 사용할 수도 있다. 예를 들면, US 2015/0146915 A1은 오브젝트 검출을 위한 방법을 설명하는데, 여기서는, 먼저, 이미지 데이터 및 컨볼루션 커널의 컨볼루션이 수행되고, 그 다음, 컨볼빙된 이미지는 임계치 필터를 사용하여 프로세싱된다. 그에 의해, 임계치 필터는, 추가적인 프로세싱을 가속시키기 위해, 아마도 오브젝트 검출에 관련되는 어떠한 정보도 포함하지 않는 픽셀을 마스킹한다.

컴퓨터 비전

자동화된 대응 분석은 일반적으로, 예를 들면, 좌측 및 우측 디지털 카메라(하기에서 스테레오 카메라로서 지칭됨)에 의해 캡쳐되는 바와 같은 두 개 이상의 디지털 이미지를 사용하여 작용한다. 이상적인 경우에, 이 스테레오 이미지 쌍은, 이미징, 디지털화, 및 양자화 에러를 무시하는 경우(그리고 두 카메라가 동일한 오브젝트를 이미지화하고 있고 오브젝트의 동일한 부분이 카메라 둘 모두로부터 보이는 경우), 수평 오프셋을 제외하고 동일한 것으로 가정된다. 상대적 방위, 즉, 서로에 대한 두 카메라의 포지션(예를 들면, 베이스(B))가 이전의 캘리브레이션으로부터 공지되어 있는 경우, 대응 분석을 디지털 이미지의 에피폴라 라인(epipolar line)의 이미징을 따르는 1 차원 검색으로 감소시키기 위해, 에피폴라 지오메트리(epipolar geometry) 및 에피폴라 라인이 활용될 수 있다. 그러나, 일반적인 캘리브레이팅되지 않은 경우, 에피폴라 라인은 이미지 공간을 통해 가로질러 그리고 수렴하게 이어진다. 이것을 방지하기 위해, 정류(rectification)를 통해 y 시차(y-parallax)가 없는 스테레오 이미지 쌍이 생성되어야 한다. 결과적으로, 실제 스테레오 카메라는 스테레오 노멀 케이스(stereo normal case)처럼 거동할 것이고 모든 에피폴라 라인은 평행하게 이어질 것이다. 효율성의 이유 때문에, 스캐닝 방향에 수직인 서브픽셀 도메인에서는 검색이 수행되지 않아야 하므로, 0.5 px 미만의 공차를 갖는 높은 정류 품질이 요구된다.

상기 문헌에서, 대응 분석은 세 개의 상이한 그룹, 즉, 영역 기반의, 피쳐 기반의 또는 위상 기반의 기술로 분할된다.

영역 기반의 기술은 지금까지 가장 큰 그룹을 나타낸다. 여기서, 스테레오 카메라의 좌측 디지털 이미지의 강도 값을 갖는 m×n 사이즈의 윈도우가 스테레오 카메라의 우측 디지털 이미지에서 동일한 사이즈의 윈도우 값과 비교되고, 비용 함수(예를 들면, 절대 차이의 합(sum of absolute differences; SAD), 제곱 차이의 합(sum of squared differences; SSD) 또는 상호 정보(mutual information; MI))를 사용하여 평가된다. 그 다음, 대응 분석은 이들 면적 차이 평가에 기초하여 수행된다. 이 분야에서의 종래 기술의 알고리즘은 교차 상관(cross-correlation)(예를 들면, Marsha J. Hannah, "Computer Matching of Areas in Stereo Images", PhD Thesis, Stanford University, 1974; 및 Nishihara, H.K., 1984, "PRISM: A Practical Real-Time Imaging Stereo Matcher", Massachusetts Institute of Technology) 및 세미 글로벌 매칭(Semi-Global Matching)(

, H., 2005, "Accurate and efficient stereo processing by semi-global matching and mutual information", Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition)을 포함한다. 교차 상관의 결점은, 검출될 디스패리티 정보가 에피폴라 라인을 따라 정렬되지만, 공간 윈도우 내의 포인트는 에피폴라 라인의 방위에 관계없이 동일하게 가중되고 분석된다는 것이다. 이것은 최적의 신호 대 노이즈 비율(signal-to-noise ratio; S/N)가 달성되지 않는다는 것을 의미한다.

피쳐 기반의 기술은 조밀한 3D 데이터를 생성함에 있어서 현재 어떠한 역할도 하지 않는데, 그 이유는, 이 목적에 필요로 되는 별개의 포인트가 종종 불균등하게 분포되고 산발적으로만(예를 들면, 스테레오 카메라에 의해 이미지화되는 오브젝트의 코너 및 가장자리에서만) 발생하기 때문이다. 그들은 디스크립터의 디지털 이미지에서 윈도우 m×n의 하나 이상의 속성(예를 들면, 기울기, 방위)을 결합하고, 이들 피쳐를, 일반적으로 전체 이미지에서 글로벌하게, 다른 피쳐 포인트와 비교한다. 이들 부근의 피쳐가 일반적으로 매우 계산 집약적이지만, 그들은 강도, 스케일링, 및 회전의 관점에서 종종 불변이고, 그 결과, 그들은 글로벌하게 거의 고유하다. 이러한 글로벌 고유성 및 높은 컴퓨팅 시간에 기인하여, 피쳐 기반의 접근법은, 예를 들면, 스테레오 이미지 쌍의 상대적 방위(호모그래피)을 확립하기 위해, 이미지 위치 맞춤/방위에 대해 주로 사용된다.

위상 기반의 기술이 존재하지만, 그러나, 덜 널리 공지되어 있지만, 인간 시각은 그러한 방법에 기초한다는 것이 가정될 수 있다. 이들 기술은, 위상 차이로부터 디스패리티를 가능한 한 정확하게 계산하기 위해, 좌측 및 우측 이미지에서의 신호의 위상 정보를 사용한다. 랜덤 도트 스테레오그램(random dot stereogram)을 통한 연구는 인간 시각이 강도의 비교에 기초할 수 없다는 것을 나타낸다(Julesz, B., 1960, "Binocular depth perception of computer-generated patterns", Bell System Technical Journal). 추가적인 작업은 인간 정신물리학(human psychophysics)에 기초하여 대응 분석을 위한 이론을 개발한다(Marr, D. and Poggio, T., 1979, "A computational theory of human stereo vision", Proceedings of the Royal Society of London B: Biological Sciences, 204(1156):301-328). 이 접근법은 상이한 로컬 분해능에 대한 LoG("Laplacian of Gaussian(가우시안의 라플라시안)") 제로 크로싱에 기초하며 조밀 이행 전략(coarse-to-fine strategy)을 사용하여 이상점을 감소시키려고 시도한다. Mayhew 및 Frisby에 의한 실험(Mayhew, J.E., and Frisby, J.P., 1981, "Psychophysical and computational studies towards a theory of human stereopsis", Artificial Intelligence, 17(1):349-385)은, 제로 크로싱이, 단독으로는, 인간 시각의 인식을 설명할 수 없다는 것을 나타낸다. 저자들은 필터를 사용한 컨볼루션 이후의 신호 피크가 스테레오 비전에 대해 또한 필요하다는 것을 가정한다. Weng(Weng, J.J., 1993, "Image matching using the windowed Fourier phase", International Journal of Computer Vision, 11(3):211-236, 이하"Weng (1993)"으로서 지칭됨)은 제로 크로싱 결과가 소수의 채널에서 기인하여 너무 불안정하다는 것을 언급하고, "매칭 프리미티브"로서 윈도우화된 푸리에 위상(Windowed Fourier Phase; WFP)을 권장한다. 여기서, WFP는 복수의 수정된 윈도우화된 푸리에 변환(windowed Fourier transformation; WFT)의 조합인데, 여기서는, 개개의 WFT에 의해 결정되는 위상이 평균화된다. 그러나, 이 경우 개개의 공간 주파수 및 위상은 스펙트럼적으로 순수한 방식으로 캡쳐될 수 없고, 그 결과, 신호 대 노이즈 비율은 최적이 아니다. LoG 제로 크로싱에 기초한 또 다른 접근법(T. Mouats and N. Aouf, "Multimodal stereo correspondence based on phase congruency and edge histogram descriptor," International Conference on Information Fusion, 2013)은, 디스패리티 분석 이전에 저역 통과 필터링을 또한 사용하고, 이 이유 때문에, 하기에서 추가로 상세하게 설명될 바와 같이, 최적의 신호 대 노이즈 비율을 역시 달성하지 못한다.

위상 기반의 대응 분석 기술의 개요

우측 및 좌측(컬러) 카메라의 이미지 신호 각각은, 그레이 값 또는 휘도 신호로서 또한 공지되어 있는 Y 신호(Y_image), 및 컬러 신호(U 및 V)에 의해 표현될 수 있다. 이미지 분해능 및 콘트라스트는 그들의 대응 분석 및 측정 정확도에 대한 중요한 기준이다. 이 때문에, U 및 V보다 더 높은 분해능을 갖는 Y 신호(Y_image)가 주로 사용된다. 따라서, 두 개의 고분해능 Y_image 채널은 한 라인씩 비교된다. Y_image에 대한 고려 사항은 U 및 V 채널에도 유사하게 또한 적용된다.

카메라 둘 모두는 동일한 오브젝트를 이미지화한다. 카메라에 의한 이미지 공간으로의 오브젝트 공간의 이상적인 매핑을 가정하는 경우, 두 카메라의 대응하는 하위 이미지는 동일하다(YR_image - YL_image = 0). 그러나, 실제 조건 하에서, 공차 및 차이는 다음의 것을 발생시킨다:

오브젝트를 향하는 카메라의 상이한 시야 각도. 이것은 상이한 관점(투영 왜곡), 폐색(비네팅) 및 상이한 반사 거동(램버시안(Lambertian) 라디에이터)을 초래한다.

카메라 노이즈(예를 들면, 디지털 카메라의 센서에서의 노이즈)뿐만 아니라, PRNU(pixel response non-uniformity; 픽셀 응답 불균일성), 및 DSNU(dark signal non-uniformity; 암신호 불균일성).

디지털화 에러 및 양자화 에러.

상이한 렌즈에서 기인하는 상이한 OTF(Optical Transfer Function; 광학 전달 함수)뿐만 아니라, 이미지의 코너에서 정류에 의해 야기되는 콘트라스트의 손실(특히 광각 렌즈에서의 배럴 왜곡).

주파수(ω)에 대한 신호의 푸리에 급수 분해(Fourier series decomposition)는 실수부 및 허수부를 제공한다. 코사인 신호를 갖는 실수부("짝수")는 푸리에 급수의 짝수 부분을 설명하고, 사인 신호를 갖는 허수부("홀수")는 홀수 부분을 설명한다. 대역 통과 필터링 1 차원 신호 쌍(YL_signal 및 YR_signal)에서의 위상 시프트 또는 디스패리티(δ)는 수학식 (2)에서 나타내어지는 바와 같이 종래 기술에 따라 계산된다(Jepson, A.D. and Jenkin, M.R.M., 1989, "The fast computation of disparity from phase differences", IEEE Computer Society Conference on Computer Vision and Pattern Recognition).

YL_cos, YL_sin, YR_cos, 및 YR_sin은, 각각, 코사인 함수 및 사인 함수와의 YL_signal 및 YR_signal의 컨볼루션의 결과이다. 그 다음, 디스패리티(δ)는 수학식 (3)으로부터 유래할 것인데, 여기서 진폭 곱(YL₀·YR₀)은 상쇄된다.

그러나, 수학식 (3)에 따른 계산은 다음과 같은 몇몇 결점이 있다:

각각의 경우 하나의 신호 쌍에 대한 YL_signal 및 YR_signal에 대한 두 개의 컨볼루션 적분(사인, 코사인). 정의된 공간 주파수(ω)에 대한 각각의 디스패리티 값(δ)에 대해 네 번의 컨볼루션 연산이 필요로 된다. 수학식 (3)의 분자와 분모 둘 모두에서 큰 워드 길이를 갖는 두 번의 곱셈 및 한 번의 덧셈이 필요로 된다. 디스패리티는 곱과 비교하여 매우 작고, 높은 다이나믹스가 필요로 된다: 반올림 에러는 노이즈를 생성한다. 이것은 실시간 대응 구현을 위한 높은 프로세싱 복잡도를 초래한다.

높은 공간 분해능(작은 공간 윈도우)과 높은 공간 주파수 분해능(단지 하나의 공간 주파수) 사이의 근본적인 모순은 불량한 신호 품질로 이어진다. 종래 기술에 따라 사용되는 바와 같은 상이한 공간 주파수에서의 복수의 측정에 걸친 평균화는 개선을 가져오지만, 그러나 최적은 아니다.

필요한 프로세싱 복잡도에서의 감소 및 신호 품질, 특히 S/N에서의 상당한 개선이다. 이것은 다음의 목표로 이어진다:

윈도우화된 푸리에 변환(WFT)을 사용하여 각각의 공간 주파수에 대해 개별적으로 종래 기술에 따라 계산되는 바와 같은 위상 신호 에러가 방지되도록 하는 통합된 신호를 획득하기 위해 공간 도메인에서 충분히 작은 측정 윈도우의 한계 내에서 그리고 또한 공간 주파수 도메인에서 충분히 작은 측정 윈도우 내에서 디스패리티 정보를 결합하는 최적의 대응 함수(optimal correspondence function)를 정의하는 것. δ와 관련한 최적의 대응 함수(SSD(δ))의 이 해(solution)는 그룹 디스패리티 함수(SSD'(δ)/SSD"(δ))로서 지칭된다.

카메라의 베이스(B) 벡터의 방향의 디스패리티에 대한 정보를 사용하여 최적 대응 함수를 그리고 카메라의 베이스(B) 벡터의 방향의 디스패리티에 의존하지 않는 추가적인 정보를 사용하여 별개로 계산된 신뢰도 함수를 별개로 획득하는 것. 신뢰도 함수는, 복수의 후보의 경우에, 그에 의해, 그룹 디스패리티 함수에 영향을 끼치는 것에 의해 디스패리티 측정의 노이즈를 증가시키지 않으면서, 올바른 디스패리티를 선택하기 위해 사용된다.

최소 수의 컨볼루션 연산 및 낮은 노이즈를 가지고 그룹 디스패리티 함수를 계산하는 것을 목표로 최적의 컨볼루션 커널의 프로파일을 결정하기 위한 모델 계산을 수행하는 것.

유효 노이즈 대역폭이 이미지 신호의 푸리에 급수 내에서의 각각의 가장 강한 진폭에 의존하도록 윈도우 내의 현재의 이미지 콘텐츠에 기초하여 공간 주파수 범위에서 실제로 효과적인 전달 함수를 제어하는 것을 목표로 그룹 디스패리티 함수의 적응형 거동을 구현하는 것. 이것은 대략적으로 Wiener, N., 1949, "Extrapolation, Interpolation, and Smoothing of Stationary Time Series: With Engineering Applications"[The MIT Press](이하, "Wiener(1949)"로서 지칭됨)에 따른 최적의 필터의 거동을 초래한다.

사전 저역 통과 필터링 없이 고분해능 카메라 데이터 및 편향되지 않은 디스패리티 정보를 사용하여 대응 분석을 구현하는 것. 대응 분석에 후속하여 3D 데이터 또는 이들 3D 데이터가 기초로 하는 디스패리티 측정 결과의 세트의 저역 통과 필터링을 통해 노이즈를 개선하는 것.

이미지의 파워 스펙트럼에 대한 조정을 위해 프로파일을 통해 그룹 디스패리티 함수의 최적 전달 함수를 제어하는 것.

광학 축의 동일 평면성 조건을 조정하는 것에 의해 그리고 런타임 동안 스테레오 이미지 쌍의 상대적 시프트(시운동성 안진(optokinetic nystagmus))를 모니터링하여 정정하는(correcting) 것에 의해 에피폴라 지오메트리(y 시차)에서의 교란으로부터의 노이즈를 최소화하는 것.

따라서, 본 발명은, 상기에서 언급된 문제를 개선하면서, 특히 저노이즈에서 그리고 효율적인 방식으로 이미지 데이터에서 대응 분석을 수행하기 위해 사용될 수 있는 디바이스 및 방법을 제공하는 목적에 기초한다. 이 목적은 독립 청구항의 주제에 의해 달성된다. 유리한 실시형태는 각각의 종속 청구항에서 명시된다.

전술한 목적을 달성하기 위해, 기술 분야에서 프레임으로 또한 지칭되는 두 개의 디지털의 개개의 이미지에서 대응하는 이미지 엘리먼트의 디스패리티를 결정하기 위한 대응 분석기(correspondence analyzer)가 제공된다. 디스패리티(δ), 즉 두 개의 디지털의 개개의 이미지에서 대응하는 이미지 엘리먼트 사이의 시프트를 결정하기 위한 이 대응 분석기는, 각각의 경우에 두 개의 개개의 이미지로부터 이미지 패치를 선택하도록 구성되는 컴퓨팅 디바이스를 포함하는데, 개개의 이미지 중 하나의 이미지의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치의 시퀀스는 다른 개개의 이미지에서 선택된다. 기준 이미지 패치 및 검색 이미지 패치는 바람직하게는 대략적으로 에피폴라 라인 상에 놓이고, 따라서, 검색 이미지 패치에 대한 디스패리티는 에피폴라 라인 상의 기준 이미지 패치에 대한 이 검색 이미지 패치의 거리이다. 검색 이미지 패치 및 이들의 디스패리티의 세트는 대응 분석기가 대응, 즉, 매치를 찾아야 하는 디스패리티 범위를 나타낸다.

다른 기술과는 대조적으로, 디스패리티를 결정하는 것에 관련되는 이미지 패치로부터의 정보는, 바람직하게는 직사각형인 공간 윈도우로부터의, 즉, 이미지 패치로부터의, 그리고 복수의 공간 주파수를 포함하는 바람직하게는 직사각형인 공간 주파수 윈도우로부터의 정보를 평가하는 통합된 대응 함수에 결합된다. 그 이점은, 다른 기술에서 해당되는, 개개의 공간 주파수를 먼저 추출하고, 그에 의해, 노이즈를 도입하고 이들 공간 주파수 각각에 대한 디스패리티를 측정하는 것, 및 그 다음, 이들 측정된 값을 보간하고, 그에 의해, 노이즈를 다시 도입하는 것이 방지된다는 것이다. 공간 윈도우의 사이즈, 공간 주파수 윈도우의 사이즈, 및 개개의 이미지에 의해 제공되는 카메라의 광학 전달 함수 사이의 관계는 하기에서 더욱 상세하게 설명될 것이다.

대응 함수(SSD(δ_p))는 이미지 패치로부터의 데이터로부터 획득되는데, 그 데이터는 신호로 추가로 프로세싱되고, 신호는, 결국에는, 특별히 정의된 컨볼루션 커널을 사용하여 컨볼빙된다. 둘 모두는 하기에서 더욱 상세하게 설명될 것이다. 각각의 경우에, 디스패리티(δ_p)를 갖는 검색 이미지 패치와의 기준 이미지 패치의 페어링은 포인트(δ_p)에서 SSD(δ_p)의 값을 결정하기 위해 사용된다. 따라서, 컴퓨팅 디바이스는

- 기준 이미지 패치로부터 복수의 신호(YL_signal,v)를 그리고 검색 이미지 패치 각각으로부터 복수의 신호(YR_signal,v)를 생성하도록; 및

- 공간 윈도우에서, 메모리에 저장되는 실질적으로 짝수 및 실질적으로 홀수 컨볼루션 커널 - 짝수 컨볼루션 커널은 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합을 포함하고 홀수 컨볼루션 커널은 상이한 공간 주파수의 복수의 홀수 고조파 함수의 가중된 합을 포함함 - 을 사용하여 기준 이미지 패치의 복수의 신호(YL_signal,v)의 컨볼루션을 수행하도록; 그리고

- 검색 이미지 패치 각각에 대해, 공간 윈도우의 메모리에 저장되는 컨볼루션 커널 또는 이들 컨볼루션 커널을 사용하여 신호(YR_signal,v)의 컨볼루션을 수행하도록; 그리고

- 각각의 신호 쌍(YL_signal,v 및 YR_signal,v)에 대한 각각의 컨볼루션 결과의 차이를 계산하도록

추가로 구성된다.

한 포인트(δ_p)에서의 대응 함수의 로컬 극값이 이 포인트에서의 가능한 대응을 나타내는 그러한 방식으로 대응 함수가 형성되고 컨볼루션 커널이 선택된다. 대안적으로, 대응 함수의 1차 도함수를 직접적으로 결정하는 것이 또한 가능한데, 그 제로 크로싱은 가능한 대응을 나타낸다. 따라서, 컴퓨팅 디바이스는

- 검색 이미지 패치 각각에 대한 컨볼루션 결과의 차이를 비선형적인 방식으로 프로세싱하고 이들을 누적하여 포인트(δ_p) - δ_p는 검색 이미지로부터의 기준 이미지의 거리를 나타냄 - 에서의 대응 함수(SSD(δ_p))의 함수 값을 획득하도록, 또는, 컨볼루션 결과의 차이로부터, 포인트(δ_p)에서의 δ_p와 관련한 대응 함수(SSD(δ_p))의 1차 도함수(SSD'(δ_p))를 계산하고, 따라서, 포인트(δ_p)에서의 대응 함수(SSD(δ_p)) 또는 그것의 도함수의 함수 값을 획득하도록; 그리고

- 대응 함수(SSD(δ_p))의 로컬 극값 또는 대응 함수(SSD(δ_p))의 도함수(SSD'(δ_p))의 제로 크로싱을 결정하도록; 그리고

- 로컬 극값 중 하나의 로컬 극값의 또는 제로 크로싱 중 하나의 제로 크로싱의 포인트(δ_p)를 디스패리티(δ)로서 출력하도록

추가로 구성된다.

바람직하게는, 디스패리티는 검색 이미지 패치의 유한 세트보다 더 미세한 분해능을 가지고, 즉, 서브픽셀 정밀도 디스패리티 값으로 지칭되며 인접한 검색 이미지 패치로부터의 정보가 사용될 수 있는 포인트(δ_p)에서 또한 결정되고 출력되어야 한다. 이 목적을 위한 바람직한 옵션은, 디스패리티 값의 서브픽셀 정밀 부분을 결정하기 위해, δ_p의 부근에서 그룹 디스패리티(SSD'(δ_p)/SSD"(δ_p))를 계산하는 것이다.

출력은, 예를 들면, 결정된 디스패리티가 대응하는 기준 이미지 패치의 포지션에 할당되는 디스패리티 맵에서의 엔트리의 형태로 수행될 수 있다. 출력은 추가적인 프로세싱 또는 디스플레이를 위한 값의 제공을 일반적으로 지칭한다. 추가적인 프로세싱은, 예를 들면, 오브젝트의 거리를 결정하는 것을 포함할 수도 있다. 추가적인 프로세싱은 데이터에 대한 다양한 필터링 동작을 또한 포함할 수도 있는데, 이들은 하기에서 상세하게 설명될 것이다.

디지털의 개개의 이미지, 또는 프레임에 대한 대응 분석은, 일반적으로, 예를 들면, 제한된 분해능(예를 들면, 픽셀 및 컬러 채널당 8 비트)를 갖는 유한한 수의 픽셀로서의 프레임의 표현에서 이산화(discretization) 및 양자화(quantization) 효과에 기인하여, 노이즈 및 공차에 종속되는 실행이다. 이산 컨볼루션 커널(discrete convolution kernel)을 사용한, 이 경우에서는 컨볼루션 결과가 저노이즈이고 대응 분석에 유용하도록 이들 컨볼루션 커널의 계수를 선택하는 방법의 추가적인 질문을 사용한 공간 윈도우에서의 컨볼루션의 경우에, 상황은 유사하다.

이들 이유 때문에, 다른 것들 중에서도, 본 발명은, 동시에 디스패리티의 저노이즈 결정을 허용하면서, 연속 함수를 갖는 연속 신호 모델의 프레임워크 내에서 컨볼루션 커널이 선택될 수 있고 이산 컨볼루션 커널을 사용한 이산 프로세싱으로 직접적으로 전달될 수 있는 대응 함수가 획득될 수 있는 방법을 개시한다. 대응 함수 및 컨볼루션 커널은 특히, 현존하는 디스패리티 신호, 즉, 디스패리티를 결정하는 데 관련이 있는 이미지 패치로부터의 정보가 대응 분석을 위해 신뢰성 있게 사용되는 그러한 방식으로 선택되고, 그 결과, 현존하는 노이즈, 즉, 관련이 없는 다른 정보는 대체로 무시된다. 그렇지 않으면 노이즈가 디스패리티의 부정확한 결정으로 이어질 수 있기 때문에, 이것은 중요하다. 더구나, 입력 이미지 또는 이미지 패치의 특정한 프로파일에 대해 컨볼루션 커널이 선택될 수 있는 방법이 개시되고, 그 결과, 대응 함수와 함께 최적의 필터가 생성된다.

역으로, 이것은, 본 발명이, 신호 모델에 기초하여, 이산 컨볼루션 커널의 복수 세트를 개시한다는 것, 및 그들 각각에 대해, 그들이 약간의 추가적인 노이즈를 포함하거나 또는 유사한 양의 단순히 상이한 종류의 노이즈를 포함한다는 점에서만 상이한 추가적인 유사한 이산 컨볼루션 커널이 있고, 따라서 실질적으로 역시 개시된다는 것을 의미한다. 단순히 많은 수의 가능한 컨볼루션 커널 때문에(하기에서 설명되는 바와 같이 4 개의 컨볼루션 커널을 갖는 예시적 실시형태에서, 예를 들면, 총 32 개의 계수가 결정되어야 하며, 이것은, 예를 들면, 8 비트 분해능의 경우, 계수당 256³² 개의 조합에 대응함), 컨볼루션 커널의 그러한 세트는 우연히 또는 모델에 의해 안내되지 않는 간단한 검색을 통해 발견될 수 있을 가능성은 없다.

본 발명의 중요한 컴포넌트는 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합으로 구성되는 컨볼루션 커널 및 상이한 공간 주파수의 복수의 홀수 고조파 함수의 합으로 구성되는 컨볼루션 커널 둘 모두의 사용이다. 결과적으로, 필요한 컨볼루션 연산의 수는 공간 주파수 윈도우에서의 고려되는 공간 주파수의 수보다 더 작거나 또는 동일할 수 있고, 그 결과, 필요한 계산 노력은 다른 기술보다 더 적고, 동시에 더 나은 신호 대 노이즈 비율을 갖는다. 이산 컨볼루션 커널은, 특히 컨볼루션 커널이 컨볼루션 커널의 개개의 포지션에서 각각의 합의 정확한 이산화를 구성할 때 함수의 이들 합을 포함한다. 그러나, 컨볼루션 커널의 이산 계수와 이상적인 짝수 또는 홀수 함수의 합 사이에 편차가 있는 경우, 이산 값과 기저의 함수 사이에는 높은 상관 관계를 갖는 것이 특히 바람직하다. 특히 바람직한 실시형태에 따르면, 필터 커널의 계수는 고조파 짝수 또는 홀수 함수의 가중된 합의 함수 값에 대응하거나, 또는 적어도 0.8의 절대 값, 바람직하게는 적어도 0.9의 절대 값을 갖는 함수 값에 대한 상관 계수를 갖는 것이 고려된다. 추가적인 실시형태에 따르면, 계수는 함수 값에 대해 높은 결정 계수(R²)를 갖는다. 결정 계수는 바람직하게는 적어도 80 %, 특히 적어도 90 %, 가장 바람직하게는 적어도 95 %이다. 상관 계수의 및/또는 결정 계수의 전술한 값이 도달되는 경우, 짝수 및 홀수 컨볼루션 커널의 계수는 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합, 또는 상이한 공간 주파수의 복수의 홀수 고조파 함수의 가중된 합을, 각각, 고도로 정확하게 여전히 나타낼 것이다.

개개의 이미지에서 측정될 포지션이 각각의 이미지 패치 또는 컨볼루션 커널의 중심에 있는 것이 유리하지만, 그러나 필수는 아니다. 컨볼루션 커널은, 이미지 패치 또는 컨볼루션 커널의 중심에 인접한 포지션에 대한 함수가, 각각, 짝수 또는 홀수가 되도록 또한 이산화될 수도 있다. 더구나, 합계는 엄격한 의미에서 짝수 또는 홀수 함수를 나타낼 필요가 없다. 컨볼루션 커널에서의 엔트리는 약간 비대칭적인 함수 프로파일을 반영할 수도 있고 및/또는 기준 이미지 패치 및 검색 이미지 패치의 중심에 인접한 포지션과 관련하여, 각각, 짝수 또는 홀수일 수도 있다. 예를 들면, 컨볼루션 커널의 다른 계수와 비교하여 작은 값을 갖는 에지에서 추가적인 계수에 의한 컨볼루션 커널의 확장은 실제로 작은 추가적인 노이즈 기여를 초래한다. 더구나, 컨볼루션 커널은 이전 프로세싱 단계로부터의 컨볼루션과 조합하여 존재할 수도 있지만, 그러나 본 발명의 의미 내에서 컨볼루션 연산을 여전히 포함한다. 따라서, 앞에서 설명한 변형예는 복수의 짝수 또는 홀수 고조파 함수의 합을 여전히 포함한다.

비선형 프로세싱에 의해, 예컨대 피쳐 차이 또는 컨볼루션 결과를 각각 제곱하는 것에 의해, 대응 함수(SSD(δ_p))를 형성하는 것이 특히 바람직하다. 2제곱(2nd power)을 사용한 비선형 프로세싱 및 그것의 도함수 둘 모두는, 특히 계산하기 쉬운 연산이며, 따라서, 적절하게 적응된 하드웨어에서 구현하기 쉽다. 이 계산 외에도, 차이의 4승 또는 그 이상의 짝수 승수의 일부를 포함하는 또는 임계치를 초과하는 차이를 제한하는 특성 곡선을 사용한 비선형 프로세싱도 또한 가능하다.

짝수 및 홀수 고조파 함수의 가중된 합을 각각 포함하도록 하는 컨볼루션 커널의 선택, 및 컨볼루션 결과의 차이의 비선형 프로세싱, 특히 그것의 제곱은 본 발명의 또 다른 양태를 가능하게 하는데, 본 발명의 또 다른 양태를 통해, 디스패리티 측정의 결과에 대한 신호 모델에서의 오브젝트 위상의 영향은 크게 감소된다. 신호 모델에서의 오브젝트 위상은, 예를 들면, 분석될 오브젝트 상의 텍스쳐가 공간에서 오브젝트를 이동하지 않고도 이동될 경우, 변경될 수 있다. 간단히 말해서, 이것은, 디스패리티 측정을 위해 사용될 수 있는 신호가 선택된 공간 주파수 범위 내에서 존재하는 경우, 오브젝트가 어떤 텍스쳐 또는 패턴을 갖는지에 대체로 독립적인 저노이즈 측정 결과를 통합된 대응 함수가 제공한다는 것을 의미한다. 이 목적을 위해, 공간 주파수 범위 내의 각각의 신호(v)에 대한 신호 모델에서, k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산 각각이 진폭(A_m)을 갖는 공간 주파수의 그룹의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 컨볼루션 커널이 선택되는 것이 의도되고, 그 결과, 대응 함수(SSD(δ))에서 인덱스(m)를 갖는 각각의 공간 주파수 및 각각의 신호(v)에 대해 두 개의 부분 합이 획득되는데, 첫 번째 것은 짝수 함수를 사용한 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 가지며, 두 번째 것은 홀수 함수를 사용한 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 갖는다. 제1 부분 합 및 제2 부분 합은 삼각법 피타고라스(trigonometric Pythagoras)에 따라, 특히 정확하게 또는 근사치로, 결합될 수 있고, 그 결과, 두 개의 부분 합의 합(SSD_inv(δ))은 오브젝트 위상(Δ_m)과 독립적이다. 구체적으로, 공간 범위에서의 컨볼루션 커널은 공간 주파수 범위의 각각의 신호(v)에 대한 신호 모델에서, k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산 각각이 진폭(A_m)을 갖는 공간 주파수의 그룹의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 선택될 수 있고, 그 결과, 대응 함수(SSD(δ))에서 인덱스(m)를 갖는 각각의 공간 주파수 및 각각의 신호(v)에 대해 두 개의 항이 획득되는데, 첫 번째 항은 제곱된 진폭(A_m ²), 제1 상수, 및 제곱된 사인 함수의 곱이고, 두 번째 항은 제곱된 진폭(A_m ²), 제2 상수, 및 제곱된 코사인 함수의 곱이고, 제1 및 제2 상수의 값은 동일하거나 또는 +/-20 %의 공차 내에서 동일하다.

간단히 말해, 이것은, 신호가 제공되는 경우, 대응 함수의 값의 가장 큰 성분은 오브젝트의 위상과 무관할 것이고, 따라서, 낮은 노이즈를 가지고 디스패리티를 결정하는 데 이용 가능하다는 것을 의미한다.

다양한 노이즈 프로세스에 의해 야기되는 실제 값으로부터의 디스패리티의 편차는 편차의 표준 편차(σ_δ)에 의해 특성 묘사될 수 있다. 종래 기술로부터 공지되어 있는 시스템은 통상적으로 0.25 픽셀 이상의 표준 편차를 달성한다. 일반적으로, 잘 조정된 시스템의 표준 편차는 0.25와 0.5 사이에 있다. 대조적으로, 현재 개시된 대응 분석기는 더 낮은 표준 편차를 달성하는 것을 허용한다. 일반적으로, 컨볼루션 커널은, 디스패리티의 결정을 위해, 0.2 픽셀 미만의, 특히, 공간 주파수 범위의 공간 주파수를 포함하여, 에피폴라 라인의 방향을 따라 강도 변조를 갖는, 또는 대응하는 텍스쳐를 갖는 평면의 오브젝트의 시프트 - 오브젝트의 시프트는 카메라로부터 일정한 거리(Z)에서 그리고 에피폴라 라인을 따라 발생함 - 의 경우에는 심지어 0.1 픽셀 미만의 디스패리티의 측정의 로컬 표준 편차가 달성될 수 있도록 선택될 수 있다. 이 경우, 표준 편차는 특히 종래 기술로부터 공지되어 있는 방법에서 발생하는 계통적 에러에 의해 거의 영향을 받지 않는다. 그러한 테스트는 앞에서 설명한 오브젝트 위상의 간섭을 결정하기 위해 사용될 수 있다. 테스트는 캡쳐된 카메라 이미지를 사용하여 수행될 수 있지만, 그러나, 옵션 사항으로, 합성의 또는 계산된, 예를 들면, 렌더링된, 이미지를 사용하여 또한 수행될 수 있다.

신호(YL_signal,v 및 YR_signal,v)는 각각의 이미지 패치의 픽셀의 강도로부터 계산된다. 신호는 특히 적절한 컨볼루션 함수를 사용하여 이미지 강도의 컨볼루션을 수행하는 것에 의해 획득될 수도 있는데, 그 함수는, 예를 들면, 평균화를 포함할(include) 수도 있거나 또는 포함할(comprise) 수도 있다. 특히, 적절한 고조파 함수는 짝수 함수로서 코사인 함수이고 홀수 함수로서 사인 함수이다. 신호가 대략적으로 에피폴라 라인을 따라 컨볼빙되기 때문에, 에피폴라 라인에 대략적으로 수직인 컨볼루션이 선호된다. 수직으로 그리고 에피폴라 라인을 따라 컨볼루션의 순서는 임의적이며, 컨볼루션은 특히 적절한 컨볼루션 커널과 동시에 또한 수행될 수도 있다. 특수 대응 함수와 연계한, 신호를 결정하기 위한 컨볼루션 커널 선택은, 노이즈의 영향을 감소시키면서, 디스패리티 계산에 유용한 정보를 보존한다는 목표를 다시 따른다. 이 목적을 위해, 추가적인 실시형태에 따르면, 컴퓨팅 디바이스는

- 에피폴라 라인에 수직인 또는 대략적으로 수직인 기준 이미지 패치의 데이터의 컨볼루션 연산에 의해 기준 이미지 패치로부터 복수의 v_max 개의 신호(YL_signal,v)를 생성하도록, 그리고 에피폴라 라인에 수직인 또는 대략적으로 수직인 각각의 검색 이미지 패치의 데이터의 컨볼루션 연산에 의해 검색 이미지 패치 각각으로부터 복수의 v_max 개의 신호(YR_signal,v)를 생성하도록 구성된다는 것이 특히 고려되는데, 여기서 신호를 생성하는 컨볼루션 연산 및 신호 모델에서 k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산은, 후자의 컨볼루션 연산 각각이 아래의 인덱스(m)의 상이한 값에 의해 나타내어지는 복수의 공간 주파수의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 선택되고; 그 결과, 각각의 신호에 대해, 자신의 항이 오브젝트 위상(Δ_m)에 독립적인 제1 부분 합이 대응 함수(SSD(δ))에서 획득되고, 자신의 항이 오브젝트 위상(Δ_m)에 대해 종속적인 제2 부분 합이 획득되고; 여기서

- v_max 개의 신호 각각의 제1 부분 합을 누적할 때, 개개의 항이 서로를 보상하지 않는 건설적 누적(constructive accumulation)이 획득되고; 그리고

- v_max 개의 신호 각각의 제2 부분 합을 누적할 때, 이들 노이즈가 있는 성분이 서로를 통계적으로 적어도 부분적으로 보상하는 통계적 누적(statistical accumulation)이 획득된다. 제1 및 제2 부분 합의 누적은 대응 함수의 값이 계산될 때 발생한다. 본 개시에서 사용되는 바와 같은 용어 "통계적 누적"은, 그 결과가 이미지 신호의 랜덤한, 즉, 통계적으로 분포된 노이즈 성분을 합산하는 것에 의해 획득된다는 것을 의미한다. 이러한 통계적 누적은, 노이즈에 의해 야기되는 에러가 서로를 적어도 부분적으로 보상할 수 있다는 유리한 속성을 갖는다.

지금까지 설명된 본 발명의 컴포넌트는, 특히 서브픽셀 정확도로, 디스패리티의 특히 정확한 결정을 허용하도록 설계된다. 그러나, 이것은 특정한 디스패리티의 범위 내에서 실제 대응이 가능성이 있는지의 여부를 결정하는 것, 즉 가능한 대응의 신뢰도를 결정하는 것과 동일한 목표가 아니다. 대응 함수의 경우 디스패리티 값을 결정하는 데 유용하지 않은 가능한 많은 정보가 무시되지만, 동일한 정보가 신뢰도를 결정하는 데 관련될 수도 있다. 간단한 예는, 자신의 픽셀 모두가 기준 이미지 패치의 대응하는 픽셀보다 30 %만큼 더 큰 강도를 갖는 검색 이미지 패치이다. 밝기에서의 이러한 일관된 차이는 정확한 디스패리티 결정을 위한 어떠한 유용한 정보도 제공하지 않으며 대응 함수에서 신호의 컨볼루션을 위해 바람직하게는 평균이 없는 컨볼루션 커널(mean-free convolution kernel)에 의해 마스킹되는데, 그렇지 않으면, 예를 들면, 디스패리티의 정확한 결정에 유용한 다소 낮은 콘트라스트 텍스쳐를 마스킹할 노이즈만을 생성할 것이기 때문이다. 동시에, 이 예에서는 제2 검색 이미지 패치가 존재하는데, 여기서 밝기에서의 일관된 차이는 단지 5 %이고 이 작은 편차는 카메라의 상이한 제어에 의해 야기된다. 따라서, 대응 함수는 가능한 대응에 대한 후보로서 복수의 검색 이미지 패치를 사용하여 매우 정확한 그러나 잠재적으로 모호한 결과를 결정할 것이다. 그러면, 신뢰도의 별개의 결정은 제2 검색 이미지 패치의 영역에서 대응의 확률이 단지 5 %의 차이를 가지고 더 높다는 것을 보여줄 것이다.

이러한 이유 때문에, 대응 함수는 바람직하게는 독립적인 신뢰도 함수에 의해 보완된다. 이들 두 가지 목표 사이를 구별하지 않고, 예를 들면, 단지 하나의 함수만을 사용하여 디스패리티 및 신뢰도를 결정하는 다른 방법과는 대조적으로, 본원에서 개시되는 접근법은, 저노이즈 및 따라서 정확한 디스패리티 결정 및 양호한 신뢰도 결정 둘 모두를, 단지 둘 사이의 트레이드오프를 허용하는 대신, 허용하는 이점을 갖는다. 따라서, 추가적인 양태에 따르면, 본원에서 설명되는 바와 같은 대응의 결정과는 독립적으로, 특히 또한 본원에서 설명되는 바와 같은 이미지 신호의 특정한 컨볼루션과는 독립적으로, 컴퓨팅 디바이스를 포함하는 대응 분석기가 제공되는데, 컴퓨팅 디바이스는

- 두 개의 개개의 이미지 각각으로부터 각각의 이미지 패치를 선택하도록 - 여기서 개개의 이미지 중 하나의 이미지의 적어도 하나의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치는 다른 개개의 이미지에서 선택됨 - , 그리고 이미지 패치로부터 디스패리티 값에 대한 복수의 후보를 계산하도록 구성되고, 컴퓨팅 디바이스는 추가로 기준 이미지 패치 및 검색 이미지 패치로부터 정보를 선택하도록, 그리고 이 정보에 기초하여, 각각의 결과가 기준 이미지 패치와의 각각의 검색 이미지 패치의 실제 대응을 나타내는지의 여부를 추정하는 데 적합한 가능한 디스패리티 값에 대한 신뢰도 벡터를 선택하도록 구성된다. 이것은, 신뢰도 벡터가 대응 함수에 의해 아직 제공되지 않은, 또는 동일한 품질에서 제공되지 않은 정보를 제공할 때, 특히 유용하다. 따라서, 컴퓨팅 디바이스는, 일부 클래스의 기준 및 검색 이미지 패치에 대해 적어도, 대응 함수만을 단독으로 사용하여 가능한 것보다 더 높은 확률로 후보를 유효한 것으로 또는 무효한 것으로 분류할 수 있는 함수를 사용하여 신뢰도 벡터의 적어도 하나의 엘리먼트의 값을 선택하도록 또한 구성된다. 전술한 밝기의 일관된 차이는 이것의 하나의 예이다.

디스패리티의 저노이즈 결정에도 불구하고, 잔류 노이즈가 남아 있을 것인데, 이것은 대응 함수와 신뢰도 값 둘 모두에 대해 관련될 수도 있다. 남아 있는 노이즈는 복수의 기준 이미지 패치에 대해 계산되는 디스패리티 값 또는 신뢰도 벡터에 저역 통과 필터를 적용하는 것에 의해 추가로 감소될 수 있다. 종래 기술과는 대조적으로, 특히 디스패리티를 결정하기 위해 신호가 사용되기 이전에 신호에 저역 통과 필터를 적용하는 다른 방법과는 대조적으로, 전체 신호 대역폭을 프로세싱하는 것 및 대응 분석의 하류에 저역 통과 필터를 적용하는 것에 의해 개개의 이미지에서 디스패리티 측정의 필적하는 콘트라스트 및 필적하는 분해능을 사용하여, 훨씬 더 효과적인 노이즈 감소가 달성된다. 더구나, 더 낮은 신뢰도를 갖는 측정 결과는 저역 통과 필터에 의해 덜 강하게 포함될 수도 있다. 따라서, 하나의 실시형태에서, 컴퓨팅 디바이스가 저역 통과 필터를 사용하여 다음의 변수 중 적어도 하나를 필터링하도록 구성되는 것이 고려된다: 계산된 디스패리티 값, 신뢰도 값, 또는 신뢰도 값에 의해 가중되는 디스패리티 값.

검색 이미지 패치는 적어도 대략적으로 에피폴라 라인을 따라 또는 그 상에 놓이도록 선택된다. 따라서, 검색 이미지 패치의 신호는 대략적으로 에피폴라 라인을 따라 1 차원 함수를 형성한다. 디스패리티는 에피폴라 라인을 따르는 대응하는 이미지 엘리먼트 사이의 곡선 길이에 의해 추가로 주어진다. 표현 "대략적으로 에피폴라 라인을 따라" 또는 "에피폴라 라인에 대략적으로 수직인"은, 예를 들면, 조정 부정확성 또는 광학적 왜곡에 기인하여, 실제 에피폴라 라인이 정류된 이미지의 이미지 방향을 따라 정확하게 연장될 필요가 없다는 것을 표현하기 위해 사용된다. 따라서, 주어진 부정확성의 범위 내에서, 용어 "대략적으로 에피폴라 라인을 따라"는 "에피폴라 라인을 따라"와 동일시되어야 하고, "에피폴라 라인에 대략적으로 수직인"은 "에피폴라 라인에 수직인"과 동일시되어야 한다.

일반적으로, 에피폴라 라인이 검색 이미지 패치를 통해 이어지는, 또는 검색 이미지 패치는 에피폴라 라인을 포함하도록 하는 그러한 방식으로 검색 이미지 패치의 시퀀스를 선택하는 것이 유용하다. 에피폴라 라인이 검색 이미지 패치를 통해 이어지는 한, 검색 이미지 패치는 대략적으로 에피폴라 라인 상에 놓인다.

예상될 디스패리티 범위는 x 방향 또는 에피폴라 라인을 따른 방향으로 사전 결정된 최대 범위 내에 있는데, 기준 이미지 패치에 대응하는 검색 이미지 패치는, 그 최대 범위 내에서, 위치할 수 있다. 예상될 디스패리티 범위는, 예를 들면, 디스패리티가 결정될 디지털 이미지의 픽셀 주위에서 x 방향으로 ±50 픽셀일 수도 있다.

본 발명은 또한 특히 본원에서 설명되는 대응 분석기를 사용하여 수행되는 바와 같은 디스패리티를 결정하기 위한 방법에 관한 것이다. 따라서, 바람직하게는 스테레오 노멀 케이스로 정류된 두 개의 디지털의 개개의 이미지에서 대응하는 이미지 엘리먼트의 디스패리티를 결정하기 위한 방법이 제공되는데, 여기서, 디스패리티(δ)를 결정하기 위해, 컴퓨팅 디바이스는,

- 두 개의 개개의 이미지로부터 각각의 이미지 패치 - 개개의 이미지 중 하나의 이미지의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치의 시퀀스는 다른 개개의 이미지에서 선택됨 - 를 선택하도록, 그리고

- 기준 이미지 패치로부터 복수의 v_max 개의 신호(YL_signal,v)를 그리고 검색 이미지 패치 각각으로부터 복수의 v_max 개의 신호(YR_signal,v)를 생성하도록, 그리고

- 공간 윈도우에서, 메모리에 저장되는 짝수 및 홀수 컨볼루션 커널 - 짝수 컨볼루션 커널은 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합을 포함하고 홀수 컨볼루션 커널은 상이한 공간 주파수의 복수의 홀수 고조파 함수의 가중된 합을 포함함 - 을 사용하여 기준 이미지 패치의 복수의 신호(YL_signal,v)의 컨볼루션을 수행하도록, 그리고

- 공간 윈도우에서 메모리에 저장되는 이들 또는 전술한 컨볼루션 커널을 사용하여 검색 이미지 패치 각각에 대해 신호(YR_signal,v)의 컨볼루션을 수행하도록, 그리고

- 각각의 신호 쌍(YL_signal,v 및 YR_signal,v)에 대한 각각의 컨볼루션 결과의 차이를 계산하도록,

- 검색 이미지 패치 각각에 대한 컨볼루션 결과의 차이를 비선형적인 방식으로 프로세싱하고 이들을 누적하여 포인트(δ_p) - δ_p는 검색 이미지로부터의 기준 이미지의 거리를 나타냄 - 에서의 대응 함수(SSD(δ_p))의 함수 값을 획득하도록, 또는, 컨볼루션 결과의 차이로부터, 포인트(δ_p)에서의 δ_p와 관련한 대응 함수(SSD(δ_p))의 1차 도함수(SSD'(δ_p))를 계산하고, 따라서, 포인트(δ_p)에서의 대응 함수(SSD(δ_p))의 또는 그것의 도함수의 함수 값을 획득하도록; 그리고

- 대응 함수(SSD(δ_p))의 로컬 극값 또는 대응 함수(SSD(δ_p))의 도함수(SSD'(δ_p))의 제로 크로싱을 결정하고, 그리고 로컬 극값 중 하나의 로컬 극값의 또는 제로 크로싱 중 하나의 제로 크로싱의 포인트(δ_p)를 디스패리티(δ)로서 출력하도록, 또는

- 포인트(δ_p)에서의 디스패리티의 서브픽셀 정밀도 값을 계산하여 출력하도록

사용된다.

본 발명은 또한 두 개의 카메라를 포함하는 스테레오 카메라에 관련되는데, 그들 각각은 카메라 센서와 렌즈를 포함하고, 렌즈의 광학 중심은 베이스 폭만큼 서로 떨어져 이격되며, 스테레오 카메라는 앞에서 설명한 대응 분석기를 포함하거나, 또는 앞에서 설명한 방법을 수행하도록 구성된다. 그러나, 두 대의 카메라를 포함하는 배열은 필수는 아니다. 원칙적으로, 상이한 위치에서 순차적으로 캡쳐되는 디지털 이미지로부터 3D 데이터가 또한 획득될 수 있다.

대응 분석기의 주요 애플리케이션은 스테레오 이미지에서의 디스패리티의 결정이다. 따라서, 본 발명은 동일하게 이격된 관찰 방향으로부터 중첩하는 캡쳐 영역을 가지고 디지털 이미지의 쌍을 캡쳐하기 위한 캡쳐 디바이스 및 대응 분석기를 포함하는 스테레오 카메라에 또한 관련된다. 대응 분석기의 컴퓨팅 디바이스는 대응하는 이미지 엘리먼트의 디스패리티로부터 이미지 엘리먼트의 거리 좌표를 계산한다. 관찰 방향(광학 중심) 사이의 거리는 베이스(B)이다. 그러면, 거리 좌표(Z)는 전술한 수학식 (1)에 따라 컴퓨팅 디바이스에 의해 Z = B·f/δ(δ는 [mm] 단위)로서 계산될 수 있다.

본 발명, 그 배경 및 이점은 첨부의 도면을 또한 참조하여 하기에서 더욱 상세하게 설명될 것이다.

도 1은 광학 축의 포지션을 조정하기 위한 조정 디바이스를 갖는 카메라 렌즈를 도시한다.
도 2는 카메라의 이미지화에 의해 왜곡되는 그리드, 및 정류된 그리드를 도시한다.
도 3은 일반적인 경우에 대한 그리고 스테레오 노멀 케이스에 대한 에피폴라 지오메트리를 도시한다.
도 4는 서로에 대해 시프트되는 이미지 신호(YL_signal,v 및 YR_signal,v)의 그래프를 도시한다.
도 5는 에피폴라 라인에 수직인 y 방향의 이미지 데이터의 컨볼루션을 위한 예시적인 컨볼루션 커널의 함수 값을 도시한다.
도 6은 저역 통과 필터링 이전(패널 (a)) 및 이후(패널 (b))의 3D 이미지를 도시한다.
도 7은 공간 주파수 프로파일의 그래프를 도시한다.
도 8은 이미지 입력 신호의 랜덤 진폭(A), 위상(Δ), 및 디스패리티(δ_sim)를 갖는 실제 시프트(δ_sim)와 계산된 서브픽셀 보간(δ) 사이의 준선형 관계(특성)(그래프 (a)) 및 정의의 도메인 <0.5 px ... +0.5 px>에서 모든 신호의 평균 서브픽셀 보간 결과(그래프 (b))를 도시한다.
도 9는 카메라 이미지 및 대응 분석기에 의해 결정되는 관련된 3D 데이터를 도시한다.
도 10은 x 방향의 이미지 신호의 컨볼루션을 위한 신호 모델에서의 두 개의 짝수 및 두 개의 홀수 컨볼루션 커널의 세트의 함수 값을 도시한다.
도 11은 도 10으로부터의 홀수 컨볼루션 커널과 연계한 신호 모델에서의 짝수 컨볼루션 커널의 함수 값을 도시한다.
도 12는 대응 분석기를 포함하는 스테레오 카메라를 도시한다.
도 13은 정의된 디스패리티 범위에서 대응 함수(SSD(δ))의 예시적인 프로파일을 도시한다.
도 14는 카메라 이미지의 피쳐를 사용한 데이터 스트림의 계산을 개략적으로 예시한다.
도 15는 데이터 스트림을 프로세싱하기 위한 하드웨어 구성을 개략적으로 도시한다.
도 16은 사인파 모양의 밝기 변조를 가지고 오브젝트를 캡쳐하는 스테레오 카메라를 도시한다.
도 17은 개개의 픽셀 값의 가중화를 도시한다. 패널 (a)는 박스 필터를 사용한 픽셀 값의 가중화를 도시하고, 패널 (b)는 가우시안 필터(Gaussian filter)를 사용한 가중화를 도시한다.

정류

정류의 목적은 스테레오 노멀 케이스의 모델에 기초하여 에피폴라 지오메트리를 확립하는 것이다. 비선형 기하학적 변환(non-linear geometric transformation)은, 오브젝트 포인트가, 이들의 거리에 관계없이, 서브픽셀 정확도를 가지고 좌측 및 우측 카메라 이미지의 동일한 라인 상에 이미지화되는 그러한 방식으로 두 이미지(좌측 및 우측 이미지)의 왜곡, 투영 왜곡, 및 상대적 방위를 정정한다. 따라서, 대응 분석은 1 차원 문제로 축소된다.

가능한 한 가장 정확한 정류를 위해, 세 가지 하위 단계가 수행될 수 있다:

카메라의 내부 방위의 정정

이것은 렌즈의 비선형적 기하학적 왜곡, 초점 거리(f), 카메라의 센서 불균일성에 대한 정정을 지칭한다.

동일 평면성 조건(Coplanarity Condition)의 조정

스테레오 시스템의 왜곡된 광학 축은 캘리브레이션 거리 밖에서 에러의 주요 원천(source)이다. 두 축 모두에 대한 제한적인 동일 평면성 조건은 이 에러를 최소로 감소시킨다. 실제로, 이 조건은, 예를 들면, 마이크로 렌즈의 형태인 카메라 렌즈가 유지되는 편심 슬리브에 의해 실현될 수 있다. 광학 축의 상대적 포지션은, 예를 들면, 2 개 이상의 거리에서 테스트 이미지를 측정하는 것에 의해, 결정될 수 있으며, 광학 축 중 하나의 포지션은, 그 다음, 축 둘 모두가 동일 평면에 있게 되도록 편심을 회전시키는 것에 의해 조정될 수 있다.

도 1은 렌즈(8)를 갖는 렌즈 마운트(10)의 예시적인 실시형태를 도시한다. 렌즈 마운트(10)는 서로에 대해 회전될 수 있는 두 개의 편심 엘리먼트(11, 12)를 포함한다. 렌즈(8)은 편심 엘리먼트(11)에 나사 고정된다. 편심 엘리먼트(11, 12)를 서로에 대해 회전시키는 것은, 렌즈와 이미지 센서 사이의 거리를 변경하지 않으면서 렌즈(8)의 광학 축의 포지션을 변경하는 것을 허용하며, 따라서, 이미지 평면의 포지션을 유지한다. 조정 이후, 편심 엘리먼트(11, 12)는 나사(13)에 의해 서로에 대해 클램핑되고, 따라서, 서로에 대해 고정될 수 있다. 하나의 실시형태에 따르면, 렌즈 중 하나가 두 개의 편심 엘리먼트(11, 12)를 포함하는 조정 가능한 편심에서 유지되고, 그 결과, 렌즈의 광학 축의 동일 평면성이 테스트 이미지 앞의 편심에 있는 렌즈를 회전시키는 것에 의해 조정될 수 있다는 것이 고려된다. 스테레오 카메라의 이 실시형태는, 특히, 본 개시에 따른 대응 분석기 및 본원에서 설명되는 이미지 데이터의 특수 프로세싱과는 독립적으로 또한 활용될 수도 있다. 동일 평면 축을 조정하기 위한 편심을 포함하는 스테레오 카메라가 또한 가능할 것이고 다른 이미지 프로세싱 기술과 연계하여 유용할 것임이 기술 분야의 숙련된 자에게는 명백할 것이다. 따라서, 더 일반적으로는 그리고 본원에서 설명되는 대응 분석기로 제한되지 않으면서, 두 개의 카메라(21, 22)를 갖는 스테레오 카메라(2)가 제공되는데, 각각은 카메라 센서(5) 및 렌즈(8, 9)를 포함하고, 렌즈(8, 9)의 광학 중심은 베이스 폭(B)만큼 서로 떨어져 이격되도록 배열되는 카메라 센서(5)를 포함하고, 그리고 렌즈(8, 9) 중 하나의 광학 축의 방위 및 포지션을 변경하도록 조정될 수 있는 적어도 하나의 조정 가능한 편심이 제공되고, 그 결과, 렌즈의 광학 축의 동일 평면성 에러가 보정될 수 있다. 편심은 앞에서 설명한 바와 같이 구성될 수도 있지만, 그러나 그 변형예도 역시 고려 가능하다. 예를 들면, 서로에 대해 고정적으로 장착되는 렌즈를 제공하는 것 및 카메라 중 하나를 관련된 렌즈를 기준으로 조정하기 위해 편심을 사용하는 것이 고려 가능할 것이다.

카메라의 외부 방위의 정정

일단 카메라의 내부 방위의 정정이 달성되면, 외부 방위가 달성되어야 한다. 이것은 회전 및 병진을 사용한 아핀 변환(affine transformation)이다.

정류는 가상 카메라(VIRCAM)의 원리에 기초한다. 카메라는, 정류 데이터를, 에피폴라 그리드의 각각의 타겟 좌표 (i,j)에 대한 이미지(I)의 실제 (x,y) 좌표의 포지션 정보를 포함하는 테이블의 형태로 저장한다. 좌표 (x,y)가 유리수이기 때문에, 픽셀 주변의 2×2 px 영역에서의 보간은 노이즈 최소화에 유리하다. VIRCAM은 가상 그리드에서 스캐닝한다. 각각의 가상 그리드 포인트에 대해, 이미지(I) 주변의 2×2 px 영역에서 타겟 그리드 (i,j)까지 보간이 이루어진다. 이 지오메트리 정정은 비선형적이다.

예시 목적을 위해, 도 2의 패널 (a)는 카메라 이미지에서 규칙적인 그리드의 왜곡의 예를 도시한다. 렌즈 왜곡에 기인하여, 오브젝트 공간의 규칙적인 그리드가, 예를 들면, 도시되는 바와 같이, 통 형상으로 왜곡된다. 이 왜곡 및 임의의 투영 왜곡은 VIRCAM의 정류에 의해 정정된다. 이것은 VIRCAM의 좌표 시스템 (i,j)로의 이미지 좌표 (x,y)의 가상 변환을 수반한다. 이 정류에 기인하여, VIRCAM의 스테레오 이미지의 쌍은 스테레오 노멀 케이스처럼 거동한다. 패널 (b)는 포인트로서 도시되는 실제 (x,y) 좌표 상에 중첩되는 그리드로서 도시되는 타겟 그리드의 섹션을 도시한다.

도 3은 이미지(104, 105), 에피폴(epipole)(98, 99), 및 에피폴라 평면(102)을 포함하는 스테레오 이미지의 쌍의 에피폴라 지오메트리를 도시한다. 패널 (a)는 일반적인 스테레오 경우를 도시한다. 패널 (b)는 스테레오 노멀 케이스를 나타낸다. 에피폴라 지오메트리는 카메라의 방위, 이미지(104)의 픽셀(103) 및 다른 이미지(105)의 픽셀(106)에서의 그것의 포인트 대응 사이의 선형 관계를 설명한다. 대응하는 픽셀(103, 106)은 에피폴라 라인(107) 상에 놓여 있다. 일단 포인트 대응이 발견되면, 관련된 3D 포인트(101)는 스테레오 카메라의 파라미터(초점 거리 및 베이스) 및 픽셀 대응, 즉 3D 포인트에 대응하는 픽셀(103, 106)로부터 유래한다.

수학적 미분

스테레오 노멀 케이스에서의 스테레오 카메라의 정류된 이미지(YL_image 또는 YR_image) 각각으로부터, v_max 개의 행 신호(YL_signal,v 또는 YR_signal,v)(v = 1, ..., v_max 인 경우)가 선택된다. 이들 행 신호는 정류된 이미지(예를 들면, YL_image 및 YR_image에서의 각각의 행에 대한 강도 값)로부터 직접적으로 취해질 수 있거나 또는 정류된 이미지의 행 방향에 수직인 k_y 개의 짝수 및 l_y 개의 홀수 컨볼루션 커널을 사용한 선행 컨볼루션 이후에 취해질 수 있다. 더구나, y 방향의 컨볼루션은 x 방향의 컨볼루션 이후에, 즉, 행 신호를 획득하기 위해, 또한 수행될 수 있다. 즉, 컨볼루션 연산의 순서는 상호 교환 가능하다. 특히, 컴퓨팅 디바이스는, -T/4, ..., +T/4의 공간 윈도우에서 정의되는 다수의 v_max 개의 신호 쌍(YL_signal,v 및 YR_signal,v)을 생성하기 위해, y 방향에서 v_max = k_y + l_y 개의 컨볼루션 커널의 세트를 사용하여 이미지 패치의 컨볼루션을 수행하도록 구성될 수도 있다. y 방향은 에피폴라 라인에 대략적으로 수직인 이미지 방향이다. 디스패리티의 최적의 계산을 위해, 실제로 존재하는 신호의 스펙트럼으로 대역을 제한하는 것이 유리하다. 공간 윈도우에 대한 그리고 T에 대한 권장 가능한 사이즈는 x 방향에서 컨볼루션 윈도우의 사이즈에 대해 하기에서 추가로 설명되는 고려 사항과 유사하게 확인될 수 있다. y 방향의 임의의 컨볼루션은 하기에서 추가로 설명될 x 방향의 컨볼루션과는 분리될 수 있다. y 방향에서 컨볼루션을 먼저 수행하는 것이 필수적인 것은 아니지만, 그러나 유리하다.

v_max = 5 및 T = 16 px에 대한 예시적인 컨볼루션 커널(f_y,v)이 테이블 1에서 도시되어 있다(열은 컨볼루션 커널에서의 각각의 포지션을 나타냄). 도 5는 테이블 1로부터의 y 방향의 컨볼루션 커널의 함수 값을 도시한다. 정확하게 정류된 스테레오 이미지의 경우, 동일한 효과를 갖는 많은 수의 유사한 컨볼루션 커널이 존재하며, v_max는 5 이외의 값을 또한 취할 수 있다. 실제 적용에서, 정류는 공차에 종속될 것이고, 결과적으로 나타나는 노이즈는 하기에서 추가로 고려될 것이다. 하기에서 추가로 또한 논의될 바와 같이, 상이한 형태의 컨볼루션 커널을 사용하는 것에 의해 노이즈는 추가로 감소될 수 있다.

추가적인 실시형태에 따르면, 상기에서 나열되는 컨볼루션 커널 중 일부만을 사용하는 것이 또한 가능하다. 예를 들면, 테이블에서 나열되는 다섯 개의 컨볼루션 커널 중 하나가 생략될 수 있다, 즉, 네 개의 컨볼루션 커널의 세트가 선택될 수 있다. 하나의 실시형태에 따르면, 컨볼루션 커널(f_y,2, f_y,3, f_y,4, 및 f_y,5)이 사용된다, 즉, 컨볼루션 커널(f_y,1)은 생략된다. 이 실시형태는 약간 증가된 노이즈를 갖는, 그러나 감소된 계산 노력을 통해 여전히 양호한 결과를 제공할 것이다.

따라서, (에피폴라 라인을 따르는) 각각의 행(y)에 대해, YL_signal,v(x) 및 YR_signal,v(x)로서 지칭되는 이산 일차원 함수가 좌측 및 우측 카메라 각각에 대해 획득된다. 일반적으로, 이들 컨볼루션 커널은 복수의 짝수 조화 함수("짝수 컨볼루션 커널"로서 지칭됨)의 가중된 합 또는 복수의 홀수 조화 함수("홀수 컨볼루션 커널"로서 지칭됨)의 가중된 합을 포함하는 함수 값으로 또한 구성될 수도 있다. 고조파 함수 각각은 상이한 공간 주파수를 샘플링한다.

후속하여, 특정한 행(y)에 대해, 구체적으로 윈도우 내에서 YL_signal,v의 포지션(x) 및 YR_signal,v의 포지션(x+δ)에서, 이들로부터 서브 신호가 추출된다. 여기서, 좌측 카메라는 기준 카메라이다. 우측 카메라는 기준 카메라(즉, YR_signal,v의 x 및 YL_signal,v의 (x+δ))로서 또한 선택될 수도 있다. 그 다음, 두 개의 윈도우의 유사도는 포지션(x)에 대한 디스패리티 범위 내에서 시프트(δ)의 함수로서 계산되고, 따라서 대응 함수(SSD(δ))가 획득된다. 마지막으로, 대응 함수(SSD(δ))의 극값이 발견되고, 옵션 사항으로, 추가적인 기준을 사용하여 필터링되고, 대응 함수(SSD(δ))는 δ에 대해 해가 구해지고(solved), 그 결과, 이미지 평면에서 이러한 방식으로 결정되는 디스패리티(δ)가 기준 카메라의 이미지의 포지션 (x,y)에 할당될 수 있다. 마지막으로, 디스패리티(δ)는 오브젝트 좌표 시스템으로 다시 투영되고 3D 데이터가 계산된다. 이것을 예시하기 위해, 도 4는 픽셀 단위 방식으로 서로에 대해 상이하게 시프트되는 포지션에서 예시적인 신호(YL 및 YR)를 도시한다. 중간 그래프에서, 상대적 시프트는 디스패리티(δ)에 대응하는데, 위쪽 그래프에서, 시프트는 δ-1이고, 아래쪽 그래프에서 시프트는 δ+1이다. 신호(YL, YR) 사이의 매치는 중간 그래프에서 가장 큰데, 이것은 디스패리티(δ)가 아마도 로컬하게 이미지화된 오브젝트의 실제 디스패리티에 가까워지게 되는 이유이다. 그러나, 실제 디스패리티는, 픽셀 단위 시프트에 기인하여, 정확하게 매치되지 않는다.

높은 데이터 품질을 갖는 3D 데이터를 생성하기 위해서, 이산 신호 함수(YL_signal,v(x) 및 YR_signal,v(x))의 그리드 포지션 사이에서 디스패리티(δ)의 저노이즈 보간이 필요하다. 이 프로세스는 서브픽셀 보간으로 지칭되며, 하기에서 더욱 상세하게 설명될 바와 같이, 대응 분석기의 컴퓨팅 디바이스에 의해 수행된다. 성공적인 서브픽셀 보간을 위해, 두 가지 선행 조건이 유리하다:

가능한 가장 완전하고 정밀한 방식으로 공간 주파수 스펙트럼에 분포되는 매우 작은 노이즈 신호 성분의 누적; 및

극값 근처에서 대응 함수(SSD(δ))의 이전에 공지된 함수 프로파일의 생성 - 이 프로파일은 윈도우화된 신호의 구체적인 신호 형태와는 대체로 독립적임 - .

시간 도메인에서 통신 공학에서 공식화되는

의 불확실성 관계(1924, Heisenberg와 또한 유사)에 대한 유사성에 기인하여, 높은 공간 분해능과 동시에 높은 공간 주파수 분해능 사이에 모순이 있다. 따라서, 공간 주파수 도메인에서 충분히 작은 대역폭이 획득되는 그러한 방식으로, 예를 들면, 8 px의 폭을 갖는 높은 공간 분해능에 바람직한 작은 윈도우를 사용하여 신호(YL_signal,v 및 YR_signal,v)의 컨볼루션을 수행하는 것은 불가능하다. 컨볼루션 이후, 추가적인 보간을 위해 사용되는 공간 주파수의 신호는 다른 공간 주파수의 성분에 의해 중첩된다. 따라서, 실제 신호의 컨볼루션의 결과는 고조파 신호의 컨볼루션 결과와 같이 에러가 없는 것으로 간주될 수 없다. 따라서, 종래 기술에 따른 단지 하나의 공간 주파수에서의 위상의 결정은 노이즈에 노출된다.

본 발명의 목적은 YL_Signal,v 및 YR_Signal,v의 윈도우 내에서 전체적인 효과의 관점에서 최적화되는 복수의 컨볼루션을 수행하는 것 및 이론적으로 피할 수 없는 에러가 (특히 작은 컨볼루션 커널의 신호 형태의 특별한 선택에 기인하여) 서로를 대체로 보상하는 그러한 방식으로 컨볼루션 결과를 대응 함수(SSD(δ))에 결합하는 것이다. 종래 기술과는 대조적으로, 윈도우화된 푸리에 변환(WFT)의 기본 측정 에러는 이미지 신호의 사전 저역 통과 필터링에 의해 감소될 필요가 없다. 보상 이후 남아 있는 임의의 잔류 에러는, 3D 데이터로의 또는 이들 3D 데이터가 기초로 하는 디스패리티 측정 결과의 세트로의 프로세싱 이후에만 저역 통과 필터링(이하 출력 저역 통과 필터로 지칭됨)에 의해 제거될 것이다. 상세하게는, 목표는 복수의 공간 주파수를 갖는 신호 성분으로 구성되는, 대응 함수(SSD(δ))에 내포되는 누적된 공통 디스패리티 신호를 일반적으로 검출하는 것이다. δ에 대한 대응 함수(SSD(δ))의 해(solving)는 이하 그룹 디스패리티로 지칭될 것이다.

단순화된 예시를 위해, 하기의 실제 경우로 추가로 고려를 확장하기 이전에, 먼저, 이상적인 스테레오 카메라 및 연속 신호 모델을 가정한다. 간단히 말해서, 이상적인 스테레오 카메라는 (YL_Signal,v 및 YR_Signal,v 대신) 두 개의 이상적인 행 타입 신호(YL_ideal 및 YR_ideal)를 제공하는데, 이들은, 수학식 (4)에서 나타내어지는 바와 같이, 간격(T)에서 m_max 개의 엘리먼트를 갖는 푸리에 급수로서 모델링될 수 있다.

이상적인 스테레오 카메라의 경우 카메라 둘 모두의 전달 함수가 동일하고 소정의 신호 에러(예를 들면, 반사)가 없기 때문에, 진폭(A_m) 및 위상(Δ_m)이 카메라 둘 모두에 대해 동일하다는 것이 가정될 수 있다. 따라서, YL_ideal 및 YR_ideal은 디스패리티(δ) 만큼의 시프트에서만 다르다. 인덱스 또는 인자(m)는 이상적인 신호에서 각각의 공간 주파수를 결정한다. ω는 2*π/T로 정의된다.

다음 번 단계로서, 짝수 컨볼루션 커널(f_even,k)와 홀수 컨볼루션 커널(f_odd,l)이 정의되는데, 이들은 YL_ideal과 YR_ideal을 프로세싱하기 위해 사용될 것이다. 이들 컨볼루션 커널은, 결국에는, 수학식 (5)에서 나타내어지는 바와 같이, 위상 형태의 푸리에 급수로서 모델링될 수 있다. 수학식 (5)의 컨볼루션 커널의 계수 벡터(c_k,n 및 s_l,n)는 컨볼루션 커널의 공간 주파수(n)에서의 각각의 고조파 함수의 가중화를 결정한다. n_max는 수학식 (4)로부터의 m_max와 동일하다. k_max 및 l_max는, 각각, 짝수 및 홀수 컨볼루션 커널의 수이다.

이상적인 신호(YL_ideal 및 YR_ideal) 및 컨볼루션 커널(f_even,k 및 f_odd,l)은 연속 함수이다. 디지털화는 별개로 고려된다. 공간 윈도우는 바람직하게는 간격(T)의 절반 사이즈, 특히 -T/4 내지 +T/4이다. 결과적으로, 컨볼루션 커널 중 일부는 불완전한 주기, 즉 단편(fragment)을 포함할 것이다. 단편의 포함은, 더 많은 공간 주파수가 작은 컨볼루션 커널로 패킹될 수 있다는 이점을 갖는다. 하나의 실시형태에 따르면, 일반적으로 간격(T)보다 더 작아지도록 윈도우를 선택하는 것이 의도된다. 그러나, -T/4- 내지 +T/4 이외의 윈도우 사이즈가 또한 사용될 수 있다.

예시된 예시적인 실시형태는 윈도우 사이즈(T/2 = 8 px)와 함께 간격(T = 16 px)을 사용한다. 바람직하게는, 4 개의 공간 주파수가 공간 주파수 범위에서 그러한 윈도우에 배치될 수 있다(즉, 수학식 (4)에서 m_max = 4). 윈도우의 사이즈 및 따라서 공간 주파수의 수는 소망되는 애플리케이션에 의존하지만, 그러나, 일반적으로 4 개의 공간 주파수가 충분하다. 대응 함수에 대한 개개의 공간 주파수의 영향은 하기에서 설명되는 프로파일에 의해 그리고 컨볼루션 커널의 적절한 선택에 의해 보강될 수 있거나 또는 약화될 수 있다. 최적의 윈도우 사이즈는 3D 분해능과 신호 대 노이즈 비율 사이의 트레이드오프에 의해 결정될 수 있다. 이 트레이드오프는 이미지 콘텐츠와 소망되는 애플리케이션에 의존한다. 공간 주파수에 대한 합리적인 상한은 이미지에서의 4 픽셀의 주기에 대응한다. 더 높은 공간 주파수는 위상 특성의 바람직하지 않은 비선형 거동을 생성할 것이다(도 8). 2 내지 4 ㎛의 픽셀 피치를 갖는 최신 CMOS 카메라 센서에서, 이 신호 성분은 낮은데, 그 이유는, BAYER 포맷을 YUV로 변환하기 위해 컬러 카메라에 사용되는 필터의 저역 통과 효과 및 렌즈의 OTF에 기인하여 mm당 대략 100 개의 라인 쌍까지의 제한이 있기 때문이다.

간격(T)에서의 푸리에 분석은, 이제, 그룹 디스패리티에 대한 최적의 컨볼루션 커널을 결정하기 위해 사용된다. 수학적 관계의 간단한 예시를 위해, 먼저, 컨볼루션 커널이 스펙트럼적으로 순수하다는 것이 가정된다(즉, c_k,n 및 s_l,n은, n이 k와 동일하거나 또는 n이 l과 동일한 경우 1이고, 그렇지 않으면 0임).

이것은 YL_ideal 및 YR_ideal 신호의 성분의 그리고 짝수 및 홀수 컨볼루션 커널의 성분의 각각의 조합에 대해 컨볼루션 적분이 분석적으로 별개로 계산되는 것을 허용한다. 획득되는 것은 컨볼루션 결과(C_YL, C_YR)(각각의 경우의 짝수 및 홀수 컨볼루션 커널에 대한 수학식 (6))의 n_max * m_max 개의 성분이다.

컨볼루션 결과의 이들 성분으로부터, 컨볼루션 결과의 차이((ΔRL_even)_n,m = (C_YR,_even)_n,m - (C_YL,_even)_n,m 및 (ΔRL_odd)_n,m = (C_YR,_odd)_n,m - (C_YL,_odd)_n,m)가 각각의 n 및 m에 대해 계산된다.

삼각함수의 차이를 곱으로 대입한 이후, 컨볼루션 결과는 매트릭스의 형태로 요약될 수 있다.

m_max = 4 및 n_max = 4인 예시적인 실시형태의 경우, 수학식 (7)은 계수 매트릭스(AEV 및 AOD)를 나타내고, 수학식 (8)은 계수 매트릭스(AEV) 및 신호 벡터(S_even)에 기초한 짝수 신호 차이(ΔRL_even)의 매트릭스 표기를 나타내고, 수학식(9)는 계수 매트릭스(AOD) 및 신호 벡터(S_odd)에 기초한 홀수 신호 차이(ΔRL_odd)를 나타낸다. 공간 주파수 범위가 예시적인 실시형태에서와는 상이하게 선택되는 경우, 계수 매트릭스(AEV 및 AOD)는 상응하게 변경될 것이다. 간략화를 위해, 계수 매트릭스(AEV 및 AOD)는 T와는 독립적으로 되도록 정규화된다. 추가적인 조건(K_even ² = K_odd ²)을 갖는 상수(K_even 및 K_odd)는 수학식 (8) 및 (9)에서 이것을 보상한다. K_even ² 및 K_odd ²는 나중에 수학식 (11)에서 상쇄될 것이기 때문에, 추가적인 고려는 필요 없다.

지금까지 예시 목적을 위해 사용된 스펙트럼적으로 순수한 컨볼루션 커널의 경우로부터 일반적인 컨볼루션 커널의 경우로 돌아가기 위해, 다음 번 단계에서, 신호 차이(ΔRL_even 및 ΔRL_odd)는 계수 벡터(ck 및 sl)에 의해, 각각, 스칼라 승산된다. ck 및 sl로 각각 가중되는 벡터(ΔRL_even 및 ΔRL_odd)의 성분의 합은 피쳐 차이를 나타낸다.

수학식 (5)에 따른 주어진 일반적인 짝수 또는 홀수 컨볼루션 커널에 대한 피쳐 차이는, 따라서, 수학식 (4)에 따른 일반 진폭(A_m)을 사용한 그리고 이 컨볼루션 커널의 가중치(c_k,n 및 s_l,n)를 각각 사용한 신호(YR_ideal 및 YL_ideal)의 각각의 컨볼루션 결과의 차이이다.

대응 함수(SSD(δ))는, 이제, 비선형적으로 프로세싱된, 특히 지수화된(exponentiated) 피쳐 차이, 또는 컨볼루션 결과의 차이의 합으로서 정의된다; 바람직하게는, 모든 컨볼루션 커널의 피쳐 차이는 제곱된다. 이제, SSD(δ)의 구조가 분석될 것이다. 이 목적을 위해, 먼저, 수학식 (10)에서 SSDone(δ)로서 표현되는 바와 같이, 하나의 신호 쌍(YL_ideal 및 YR_ideal)과 k_max 개의 짝수 컨볼루션 커널 및 l_max 개의 홀수 컨볼루션 커널의 경우만을 고려하는 것이 편리하다.

수학식 (8) 및 수학식 (9)에 따라 곱 형태에 엘리먼트(ΔRL_even 및 ΔRL_odd)를 삽입한 이후 그리고 제곱의 합을 전개한 이후, 제곱된 진폭(예를 들면, A₁ ²)을 포함하는 부분 합(SSD_inv) 및 혼합된 엘리먼트(SSD_var)로 구성되는 부분 합으로 분할될 수 있는 항이 획득된다. SSD_inv는 진폭(A_m)의 부호와는 독립적이며 컨볼루션 커널의 형태, 즉, 각각, 가중치(c_k,n 및 s_l,n)의 적절한 선택에 의해 추가로 최적화될 수 있고, 그 결과, 삼각법 피타고라스에 따라, 대응하는 코사인 및 사인 성분을 갖는 항은, Δ_m에 대한 종속성이 완전히 사라지도록 더해질 것이다.

이 경우, SSD_inv는 위상(Δ_m)과는 독립적이며, 따라서, 측정 오브젝트의 횡방향 시프트(즉, 스테레오 카메라의 베이스에 평행함)에 대해 불변이다. SSD_inv는 그룹 디스패리티의 함수이며, 이로부터, 소정의 조건 하에서 추구된 그룹 디스패리티, 즉, 추구된 신호(S)가 계산될 수 있다.

특히, 추가적인 실시형태에 따르면, k_max 개의 짝수 및 l_max 개의 홀수 컨볼루션 커널의 컨볼루션 연산 각각이, 하기의 인덱스(m)에 대한 상이한 값에 의해 나타내어질 바와 같이, 진폭(A_m) 및 오브젝트 위상(Δ_m)을 갖는 공간 주파수의 그룹의 가중된 신호 성분을 사용하여 각각의 합을 전송하는 그러한 방식으로 컨볼루션 커널이 선택되는 것이 의도되고, 그 결과, 대응 함수(SSD(δ))의 계산에서, 각각의 신호(v) 및 인덱스(m)를 갖는 각각의 공간 주파수에 대해 두 개의 부분 합 - 즉, 첫 번째 것은 짝수 함수를 사용한 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 가지고, 두 번째 것은 홀수 함수를 사용한 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 가짐 - 이 획득되고, 그리고, 그 결과, 제1 부분 합 및 제2 부분 합은, 부분 합 둘 모두의 합(SSD_inv(δ))이 오브젝트 위상(Δ_m)과는 독립적이도록 삼각법 피타고라스에 따라 결합될 수 있다.

이 SSD_inv의 속성에 대한 조건은, SSD_inv의 항에서, 동일한 공간 주파수의 sin² 및 cos² 부분에 선행하는 계수가 동일하다는 것이다. 임의의 소망되는 수의 컨볼루션 커널 및 공간 주파수로 일반화하면, 최적의 이상적인 디스패리티 신호에 대한 이 조건은 수학식 (11)에서 나타내어지는 바와 같이 각각의 m에 대한 비선형 연립 방정식(non-linear system of equation)으로서 표현될 수 있다. 수학식 (11)은 k_max + l_max 개의 피가수(summand)를 사용하여 SSD_inv의 부분 합을 캡쳐하고, 따라서, 신호 쌍(YL_ideal 및 YR_ideal)으로부터 획득되는 완전한 신호를 나타낸다. g_m은 가중화 벡터이며 하기에서 더욱 상세하게 설명될 것이다.

충분히 낮은 노이즈를 갖는 디스패리티의 결정을 위해, 매트릭스(AEV 및 AOD)의 계수는 수학식 (7)에서 주어지는 값에 정확하게 대응할 필요는 없으며 각각의 경우에 0.8 내지 1.2 배만큼 벗어날 수 있다. 유사하게, 수학식 (11)의 수학식 시스템의 대략적인 해가 충분하다(예를 들면, 홀수 컨볼루션 커널에 대한 수학식 (11)의 합은 짝수 컨볼루션 커널에 대한 합과는 0.8 내지 1.2 배만큼 다를 수도 있다).

수학식 (11)의 규칙에 따라 최적화되는 컨볼루션 커널을 사용하여, 수학식 (12)에서 나타내어지는 대응 함수(SSD(δ))의 정의 및 수학식 (13)에서 나타내어지는 SSD_inv(δ)의 정의를 획득한다.

특히 바람직한 실시형태에 따르면, 컨볼루션 커널은 대응 함수가 수학식 (12)에 따른 신호 모델에서 위상 독립 함수(SSD_inv(δ))와 오브젝트 위상(Δ)에 종속하는 함수(SSD_var(δ,Δ))의 합으로서 표현될 수 있는 그러한 방식으로 상응하게 선택된다. 처음에는, 이제 SSD_inv만이 고려될 것이다. SSD_var은 하기에서 더욱 상세하게 설명될 바와 같이 자신의 영향이 최소화될 수 있는 노이즈의 원천을 나타낸다.

수학식 (16)의 가정 하에서의, 각각 δ에 대한, 1차 도함수(SSD'_inv(δ)(수학식 (14))) 대 2차 미분(SSD"_inv(δ)(수학식 (15)))의 비율은 추구된 포지션 정보를 압축된 형태로 포함하는 그룹 디스패리티 함수(수학식 (17))를 형성한다.

그룹 디스패리티 함수의 수학식 (17)에 따른 간단한 테일러 전개는 δ의 선형 함수를 제공하지만, 그러나 그것은 작은 δ에 대한 서브픽셀 도메인에서 1차 도함수(SSD'_inv(δ))의 제로 크로싱 바로 근처에서만(또는 SSD'_inv(δ)의 로컬 최소치 바로 근처에서만), 즉, sin(m*ω*δ)가 충분한 품질을 가지고 선형적으로 보간될 수 있을 때 유효하다. 추가적인 계산을 위해 필요로 되는 그룹 디스패리티(δ_sub)의 서브픽셀 정밀도의 함수 값은, 하기의 수학식 (32)에서 또한 나타내어질 바와 같이, 1차 도함수(SSD'_inv(δ))의 제로 크로싱의 위치의 정수 디스패리티와 그룹 디스패리티 함수의 분수 유리 서브픽셀 값(fractional rational subpixel value)의 합으로서 획득된다.

실제 고분해능 스테레오 카메라의 그룹 디스패리티 함수에 대해, 통상적인 특성 곡선을 획득된다(도 8). 구체적으로, 도 8의 그래프에서, 수학식 (17)은 결정된 디스패리티를 실제 디스패리티의 함수로서 플로팅하기 위해 사용된다. 이상적인 경우, 수학식 (17)에 따라 결정되는 그룹 디스패리티의 값 및 실제 디스패리티는 동일할 것이다(선형 관계). 도 8의 패널 (b)로부터, 더 큰 서브픽셀 포지션에서, 즉, 두 개의 픽셀 사이의 디스패리티의 포지션에서, 이상적으로 선형적인 코스로부터의 약간의 편차가 정의 범위 [0.5 px, 0.5 px]를 초래한다는 것이 확인될 수 있다. 편차는, A_m 및 Δ_m에 대한 상이한 랜덤 값에 대한 곡선이 플롯되어 있는 도 8(a)의 그래프에서 나타내어지는 바와 같이, 이미지 콘텐츠에 또한 의존한다. 패널 도 8(b)는 도 8의 패널 (a)에서 도시되는 곡선의 평균 플롯을 도시한다. 특성 곡선의 이들 선형성 에러(linearity error)는 승법 노이즈(multiplicative noise)를 생성한다.

이전 모델이 하나의 신호 쌍(YL_ideal 및 YR_ideal)으로부터 v_max 개의 신호 쌍(YL_ideal,v 및 YR_ideal,v)(v = 1, ..., v_max)으로 확장되는 경우, 그러면 수학식 (14) 및 수학식 (15)는, 각각, 수학식 (18) 및 수학식 (19)로 확장된다.

단순화를 통해, 모든 신호의 합이 사용되기 때문에, 심지어 수학식 (17)은 복수의 신호 쌍으로의 확장 이후에도 여전히 유효하다는 것이 확인될 수 있다. 수학식 (11)은 이 확장에 의해 영향을 받지 않는다.

그룹 디스패리티 함수를 위해 사용되는 신호를 설명하였기 때문에, 이제 노이즈가 고려될 것이다. 목표는 신호(S)와 비교하여 노이즈(N)를 최소화하는 것이다. 노이즈는 센서 노이즈, SSD_var의 영향에 의해 야기되는 노이즈, 여기에서 분석되는 이상적인 카메라 모델과 실제 스테레오 카메라 사이의 차이에 의해 야기되는 노이즈, 및 그룹 디스패리티 함수의 특성 곡선에서의 선형성 에러로 주로 구성된다.

고주파수 화이트 센서 노이즈는 여러 가지 추가적인 노이즈 소스, 예컨대 양자 노이즈(quantum noise)(루트 노이즈(root noise)로서 또한 지칭됨), 열 노이즈(thermal noise)뿐만 아니라, DSNU 및 PRNU를 포함한다. 센서 노이즈 및 SSD_var에 의해 야기되는 노이즈는 양호한 근사치로 상관 해제되고(decorrelated), 따라서, 별개로 고려될 수 있다. 수학식 (15) 내지 (17)은 공간 주파수 도메인에서 그룹 디스패리티 신호의 g_m 가중된 누적(g_m-weighted accumulation)을 설명한다. 그룹 디스패리티 신호의 각각의 신호 성분은 공간 주파수(mω)에서 m²ω²A²m에 의해 표현되고, 그 결과 가장 큰 크기를 갖는 항(또는 진폭)이 전달 함수에 결정적이다. 이들 항을 사용하여, 그룹 디스패리티 함수는 Wiener(1949)에 따른 적응형(현재 신호 형태에 의존함) 필터로서 이해될 수 있다. 신호 쌍(YL_ideal과 YR_ideal)이 이상적인(긴) 적응 필터를 사용하여 따라서 폭이 좁은 대역폭을 갖는 공간 주파수 범위에서 프로세싱될 때 동일한 항이 획득되고 측정된 진폭을 갖는 결과는 가중된 방식으로 결합되어 포지션 신호를 획득한다. 이것은 최적의 필터의 신호 프로세싱에 대응한다. 따라서, 그룹 디스패리티 노이즈 대 센서 노이즈의 신호 대 노이즈 비율은 g_m에 의한 특정한 가중화에 대한 최적의 조건을 제공한다. 이 가중화는, 하기에서 더욱 상세하게 설명될 바와 같이, 신호(YL_signal,v 및 YR_signal,v)의 스펙트럼으로 조정될 수 있다.

출력 저역 통과 필터로 지칭되는 저역 통과 필터는 3D 데이터 또는 이 3D 데이터가 기초로 하는 디스패리티 측정 결과의 세트에 적용된다, 즉, 그것은 디스패리티의 공간적 변화에서 높은 공간 주파수를 필터링한다. 따라서, 이것은 그룹 디스패리티가 계산된 이후 행해지지만, 그러나 그것은 노이즈의 소정의 부분을 감소시키고, 따라서, 추가적인 노이즈 최적화에 영향을 끼친다. 따라서, 도시되는 예로 제한되지 않으면서 더 일반적으로, 추가적인 실시형태에 따르면, 컴퓨팅 디바이스가 저역 통과 필터를 사용하여 계산된 디스패리티 값을 필터링하도록 구성되는 것이 고려된다.

하나의 실시형태에 따르면, 출력 저역 통과 필터는, 2ω를 초과하는, 바람직하게는 3ω 초과하는, 즉 그룹 디스패리티의 신호 성분도 또한 낮은 범위 내에 있는 공간 주파수를 갖는 노이즈 성분을 감소시키도록 치수가 정해진다. 그룹 디스패리티를 계산한 이후의 필터링은 그룹 디스패리티 신호를 형성하기 위한 진폭(A₃ 및 A₄)을 갖는 고주파수 입력 신호에 영향을 끼치지 않는다. 따라서, 특정한 예시적인 실시형태로 제한되지 않으면서, 하나의 실시형태에 따른 대응 분석기는 디스패리티 값을 계산하기 위한 (신호) 대역폭을 제한하지 않는 입력 정보를 고려하도록 구성된다. 따라서 이것은 신호 대 노이즈 비율의 개선에 기여한다. 다른 한편으로, 예시적인 실시형태에서의 분석 윈도우의 윈도우 사이즈(8×8 px²)는 주기(T/2), 즉, 2ω에서 시작하여 디스패리티의 전달 함수를 감소시킨다. 따라서, 이차원 출력 저역 통과 필터의 차단 주파수는 2ω 범위 내에서 설정된다.

도 6은 1 mm²(x,y)의 오브젝트측 분해능을 가지며 1850 mm의 거리에 있는 100×100 px² 사이즈의 이미지 섹션에서 본질적으로 편평한 화이트 텍스쳐가 있는 벽지에 대한 3D 데이터를 도시한다. 도 6의 패널 (a)는 출력 저역 통과 필터링 이전의 3D 데이터를 도시하고, 패널 (b)는 출력 저역 통과 필터링 이후의 3D 데이터를 도시한다. 더 나은 시각화를 위해, 거리 분해능은 0.2 mm로 증가되었다.

다음으로, SSD_var은 센서 노이즈 최적화에 영향을 주지 않으면서 최적화된다. SSD_var(δ,Δ)는 진폭 및 위상의 부호에, 따라서, 측정 오브젝트의 횡방향 시프트에 의존하고, (예시적인 실시형태에서) 공간 주파수 범위(ω 내지 4ω)에서 추가적인 저주파 노이즈로서 이해될 수 있는 의사 랜덤 간섭 변수를 나타낸다. SSD_var의 노이즈 성분을 최소화하기 위한 제1 단계는 복수의 v_max 개의 신호 쌍(YL_signal,v 및 YR_signal,v)을 사용하는 것에 의해 통계적으로 달성되는데, 이것은 신호(SSD_inv) 및 신호 에러(SSD_var)의 평균을 초래한다. 최적의 해를 위해, 신호 쌍은 대체로 상관 해제되어야 하는데 이것은 y 방향의 유리한 컨볼루션에 의해 달성된다. 이 조건 하에서, 노이즈는 1/(v_max)^1/2 배만큼 감소된다.

제2 단계에서, 수학식 (17)의 SSD_inv로 제한되는 고려는 SSD_inv 및 SSD_var의 합으로 확장된다. 따라서, 노이즈 신호는 SSD'_var인데, 이것은, SSD'_inv와 마찬가지로, 테일러(Taylor) 급수로서 전개된다. 출력 저역 통과 필터는 3ω의 공간 주파수에서 시작하는 예시적인 실시형태에서 SSD_var에 의해 표현되는 노이즈를 감소시키는데, 이것은 ω로부터 2ω까지의 범위만이 추가적인 고려를 필요로 한다는 것을 의미한다. 예시적인 실시형태에서, 광범위한 삼각법 계산 이후, 이것은, 수학식 (20)에서 나타내어지는 바와 같이, SSD'_var의 가장 낮은 공간 주파수에 대한 부분 합(SSD'_var,1)을 초래한다. 2ω에 대한 부분 합은 유사하게 계산될 수 있다.

수학식 (20)의 진폭 및 위상은 이미지 통계치에 의존하며 대체로 상관 해제되고, 따라서, SSD_var의 노이즈 성분은, 여기서는 추가로 상세하게 설명되지 않는 수학식 (20)의 상수들(const₁, const₂ 및 const₃)이 최소인 경우, 최소가 된다. 이것은, 결과적으로, 수학식 (21)에서 나타내어지는 바와 같은 조건이 충족되는 경우이다.

그러나, 이들 수학식은 일반적으로 해가 구해질 수 없다. 수학식 (21)의 차이의 제곱의 합을 최소화하는 것이 충분하다. 수학식 (20)에서 A_1,vA_2,v의 크기가 A_2,vA_3,v의 크기보다 더 크고, 이것은, 결국에는, A_3,vA_4,v의 크기보다 더 크다는 것이 가정될 수 있기 때문에, 첫째로 수학식 (21)의 제1 조건에, 그 다음, 둘째로, 제2 조건에, 그 다음, 제3 조건에 접근하는 것이 유리하다. 계수(c_1,3, c_1,4, c_2,1, c_2,2, s_1,3, s_1,4, s_2,1 및 s_2,2)가 제로로 설정되는 경우 양호한 근사치가 이미 획득되고(예시적인 실시형태에 대해서는 수학식 (23)을 또한 참조함), 그 다음, 나머지 계수에 대해 수학식 (11)의 연립 방정식의 해가 구해지고, 따라서, SSD_inv의 최적화를 수행한다.

특히 몇 개의 신호 쌍, 즉 작은 v_max를 갖는 구현예의 경우, 컨볼루션 커널의 계수의 최적화는 노이즈 거동을 개선한다. 이 목적을 위해, 사전 결정된 계수(c_1,3, c_1,4, c_2,1, c_2,2, s_1,3, s_1,4, s_2,1, 및 s_2,2)를 사용하여 수학식 (11)의 연립 방정식의 해가 구해지고, 그 다음, 상수(const₁, const₂ 및 const₃)가 계산된다. 가장 작은 상수(const₁, const₂ 및 const₃)를 갖는 해가 선택된다. 테스트 이미지를 사용하는 통계적 결정은, 하기에서 추가로 설명될 바와 같이, 더 간단하다.

모든 이들 방법에 대해, 수학식 (11)은 항상 충족되며 수학식 (11)에 따라 남아 있는 자유도만이 추가적인 노이즈 최적화를 위해 사용된다. 따라서, 센서 노이즈와 관련한 신호 대 노이즈 비율의 최적화가 항상 달성된다.

실제 스테레오 카메라에서의 노이즈의 다른 원천은, 실제 스테레오 카메라가 지금까지 고려된 이상적인 시스템처럼 반드시 작동하지는 않는다는 것이다. 좌측 및 우측 카메라의 카메라 특성의 오프셋 및 이득에는 공차가 존재하고, 뿐만 아니라, 반사에 의해 야기되는 아티팩트가 존재하며, 그 결과, 각각의 이미지 패치에서 동일한 오브젝트 포인트에 대한 두 카메라의 진폭은 동일하게 되도록 보장되지 않는다. 또한, 정류 공차가 발생할 수도 있다.

예를 들면, 온도 변동에 의해 야기될 수 있는 카메라의 오프셋 공차는 방법에 의해 완전히 보상된다. 소위 카메라 오프셋은 약간 양의 값으로 설정되고, 그 결과, 예를 들면, 센서 노이즈의 음의 값은 값 제로에서 차단되지 않는데, 이것이 신호를 위조할 것임을 유의해야 한다. 오프셋은 단편화된 짝수 컨볼루션 커널에 의해 전송될 수도 있고 디스패리티의 측정 에러로 이어질 수도 있다. 따라서, 짝수 컨볼루션 커널의 평균화가 유리하고, 그 결과, 디스패리티 측정을 위해 공간 주파수 제로가 전달되지 않는다.

카메라 이득의 더 작은 공차는, 그들이 수학식 (17)의 나눗셈에 의해 자동적으로 정정되기 때문에, 노이즈로 이어지지 않는다. 여기서는 동일한 진폭(A_m)만이 신호 형성에 기여한다는 점이 고려되어야 한다. 예를 들면, 좌측 카메라(AL_m)의 A_m이 우측 카메라(AR_m)의 대응하는 A_m보다 더 큰 경우, 그러면, 그룹 디스패리티 신호는 AR_m ²로부터 획득되고, 차이(AL_m-AR_m)는 노이즈를 생성한다. 이것은, 특히 OTF 또는 왜곡 정정이 상이한 기울기를 갖는 경우, 이미지 코너에 있는 카메라 사이의 더 큰 콘트라스트 차이를 정정하지 않는다. 이 경우, 더 높은 콘트라스트 카메라의 추가적인 진폭 성분은 그룹 디스패리티 신호에 포함되지 않고, 대신, 간섭 신호(N)에 더해진다.

마지막으로, 신호 대 노이즈 비율은 가중화 계수(g)의 최적화 프로세스에 의해 추가로 개선될 수 있다. 가중화 계수는 신호 대 노이즈 비율의 시뮬레이션에 의해 계산될 수 있다. 랜덤 가중화 벡터(g)의 세트에 대해, 컨볼루션 커널 각각의 계수는 수학식 (11) 및 옵션 사항으로 수학식 (21)에 따라 계산되며, 진폭(A), 위상(Δ), 및 목표 디스패리티(δ_target)를 각각 포함하는 벡터의 샘플을 생성하기 위해 다른 난수 생성기가 사용된다. 이 경우, A_m/A₁ 비율은 피사계 심도 범위에서 렌즈의 OTF 및 센서 전자기기에서의 분해능 손실로 구성되는 공간 주파수 전달 함수의 대응하는 값으로 제한된다. 그 다음, SSD(δ)가 수학식 (10)과 유사하게 계산되고, 수학식 (17)에 따라 SSD(δ)의 하나 이상의 최소치에 대한 디스패리티(δ)가 결정된다. δ_target 대 δ의 타겟/실제 비교에 기초하여, 특정한 가중화 벡터에 대한 랜덤 샘플에 대한 평균 측정 에러가 계산될 수 있다. 그 다음, 가중화 벡터의 세트로부터 가장 작은 평균 에러를 갖는 것이 선택된다. 이러한 방식으로, 통상적인 전달 함수에 대해 최적의 가중화 벡터(g)가 획득된다.

대안적으로, g는, 도 6에서와 같이, 테스트 측정에 의해 또한 결정될 수 있다. 이러한 방식으로, 결정된 3D 데이터(σ_z)의 로컬 거리 노이즈는 공간에서 이미지화된 오브젝트의 공칭 포지션까지의(예를 들면, 도 6의 텍스쳐가 있는 벽지를 대략적으로 나타내는 평면까지의) 3D 데이터에서의 결정된 포인트의 거리의 표준 편차를 통해 결정될 수 있다. 특정한 캡쳐 상황에 대해, 거리 노이즈(σ_z)의 최소치는, 이제, 가중화 벡터(g) 및 그로부터 도출되는 컨볼루션 커널 계수의 함수로서 결정될 수 있다. 그 다음, 가장 낮은 거리 노이즈(σ_z)를 갖는 가중화 벡터가 랜덤하게 선택된 가중화 벡터의 세트 중에서 선택될 수 있다. 가중화 벡터(g)는 상수의 정밀도를 가지고 결정된다. 수학식 (17)의 나눗셈을 사용하면, 그것은, g의 m-1 관련 성분을 남기면서, 상쇄된다.

이것은, 예를 들면, 텍스쳐가 있는 벽지의 선택된 오브젝트에 대해, 최적의 프로파일 벡터 또는 가중화 벡터(g)가 정의되는 방법이다. 텍스쳐가 있는 벽지의 스펙트럼은 피사계 심도 범위 내에 자연 오브젝트를 갖는 통상적인 장면에 대한 양호한 근사치로서 사용될 수 있다.

스테레오 카메라에 가중화 인자를 갖는 상이한 프로파일을 저장하는 것 및 이들을 필요에 따라 캡쳐 상황에 맞게 조정하는 것이 유용하다. 이것을 예시하기 위해, 도 7은 두 가지 상이한 캡쳐 상황에 대한 그리고 상이한 공간 주파수(ω)에 대한 가중화 계수(g)의 두 가지 예를 도시한다. 이것은, 예를 들면, 높은 콘트라스트 이미지에 대한 또는 안개 속의 이미지에 대한 최적의 조건을 위해 파라미터 조정을 행하는 것을 허용한다.

따라서, 하나의 실시형태에 따르면, 공간 주파수 도메인에서 대응 함수(SSD(δ))의 최적의 감도를 설명하기 위해 가중화 계수(g)의 적어도 하나의 프로파일 벡터가 컴퓨팅 디바이스에서 제공되고, 프로파일 벡터는, 수학식 (11)을 통해, 컨볼루션 커널의 푸리에 급수의 가중치 계수(c_k,n 및 s_l,n)를 결정하는 것이 고려된다. 하나의 실시형태에 따르면, 클래스 또는 프로파일 벡터는 개개의 이미지 또는 이미지 패치의 데이터의 파워 스펙트럼에 기초하여 그리고 바람직하게는 광학 전달 함수를 고려하여 선택될 수 있고, 이 클래스 또는 프로파일 벡터에 기초하여, 복수의 대응 함수 및 이들의 컨볼루션 커널이 컴퓨팅 디바이스에 의해 선택 또는 획득 또는 계산된다.

도 7의 예에서와 같이, 이미지 콘텐츠 또는 캡쳐 상황에 따라 컴퓨팅 디바이스에 의해 선택되는 복수의 가중화 벡터 또는 프로파일 벡터가 제공될 수 있다. 따라서, 더 일반적으로, 동일한 또는 상이하게 파라미터화된 대응 함수에 대해 복수의 프로파일 벡터(g)가 대응 분석기(1)에 저장될 수 있고, 및/또는 대응 분석기(1)는 런타임에서 가중치(g)를 갖는 하나 이상의 프로파일 벡터를 계산하도록 구성될 수도 있고, 대응 분석기(1)는, 추가로, 이미지 데이터의 로컬 또는 글로벌 파워 스펙트럼을 결정하도록 그리고 이미지의 로컬 또는 글로벌 파워 스펙트럼에 따라 가중치(g)를 사용하도록, 즉, 이미지 신호의 컨볼루션 및 대응 함수의 계산을 위해 구성된다. 특히, 대응 분석기는 복수의 상이하게 파라미터화된 대응 함수 및 이들의 컨볼루션 커널 및 바람직하게는 각각의 대응하는 프로파일 벡터(g_m)를 또한 저장할 수도 있거나, 또는 그들은 런타임에서 결정될 수도 있고, 대응 분석기는, 추가로, 개개의 이미지 또는 이미지 패치의 현재의 클래스에 기초하여 또는 추가적인 프로세싱에 유리한 개개의 이미지 또는 이미지 패치의 클래스에 기초하여 이 복수의 대응 함수 및 그들의 컨볼루션 커널의 일부를 선택하도록 구성된다. 바람직하게는, 적어도 하나의 대응 함수 및 그것의 컨볼루션 커널의 파라미터는, 가장 높은 공간 주파수에 대한 각각의 대응하는 프로파일 벡터(g_m)의 가중화 계수가 이 프로파일 벡터의 다른 가중화 계수 중 적어도 하나보다 더 작도록 선택된다.

가장 높은 공간 주파수에 대한 가중화 계수는, 4 픽셀 주기를 갖는 예시적인 실시형태에서, |δ| ~ 0.5px 또는 1/4π에서 특성 곡선이 넓어지기 때문에, 트레이드오프에 종속된다. 이러한 이유 때문에, 신호 대 노이즈 비율을 측정하는 것에 의해 g가 실험적으로 결정될 때, 가장 높은 공간 주파수에 대한 가중치는 감소된다. 그러나, δ의 더 작은 값이 올바르게 측정되기 때문에 가중치는 제로가 아니다.

x 방향과 유사하게, y 방향의 컨볼루션을 위한 컨볼루션 커널은 수학식 (4)의 푸리에 급수와 유사한 동일한 원리 및 최적의 컨볼루션 커널을 획득하기 위한 규칙(수학식 (11))에 따라 획득될 수 있고, 제2 프로파일 벡터(gy_m)에 의해 정의될 수 있다. y 방향의 제곱된 컨볼루션 결과의 합은 y 방향에서 오브젝트 위상과 독립적인 불변의 부분 합을 또한 형성하고, 수학식 (4)에 따라 푸리에 급수의 gy_m 가중 제곱된 진폭(gy_m-weighted squared amplitude)을 포함한다. 더구나, y 방향에서 오브젝트 위상에 의존하는 부분 합이 획득된다. 신호 대 노이즈 비율의 개선은, 특히 실제 스테레오 카메라의 정류 에러, 예컨대, 예를 들면, 온도 기울기, 기계적 부하의 결과로서, 또는 이미지의 코너에서 발생할 수 있는 에러의 경우에 달성된다. 더구나, 공간 주파수의 사전 정의된 가중화를 통해, y 방향에서 이러한 방식으로 최적화되는 컨볼루션 커널은 주기적 구조를 프로세싱할 때 발생할 수 있는 에러를 감소시킨다. y 방향에서는 어떠한 디스패리티의 측정도 수행되지 않을 것이기 때문에, 가장 높은 공간 주파수에 대한 가중치는 감소되지 않는다.

지금까지 고려된 연속 함수를 갖는 신호 모델 대신, 실제 이산 시스템에서의 구현예가 예시적인 실시형태에서 설명될 것이다. 먼저, 분석 간격(T) 및 컨볼루션 커널의 윈도우 사이즈가 명시된다. 여기서는, 두 가지 경우가 구분되어야 한다:

스테레오 정보는 윈도우에서 우세한 OTF를 사용하여 전송되는 텍스쳐 또는 파단 에지에 기인하여 생성되며, 고주파 프로세스에 의해 캡쳐된다.

스테레오 정보는 본질적으로 균질한 물체에 대한 확산 반사의 각도 의존성에 기인하여 또는 오브젝트 상에서 주어질 수도 있는 임의의 저주파 텍스쳐에 기인하여 생성되며, 저주파 프로세스에 의해 캡쳐된다.

콘트라스트는, 제1 경우에서는, 상위 공간 주파수 범위에서의 렌즈 속성에 의해, 제2 경우에서는, 조명 시나리오뿐만 아니라 하위 공간 주파수 범위 내에 있는 오브젝트의 곡률 반경 및 경사의 각도에 의해 결정된다. 이것을 예시하기 위해, 도 9는 카메라 이미지(패널 (a)) 및 대응하는 3D 데이터(패널 (b))를 도시한다. 여기서, 패널 (a)는 스테레오 이미지 쌍의 좌측 이미지이며, 이로부터 패널 (b)의 3D 데이터가 계산되었다. 패널 (b)에서, 3D 데이터는 그레이 스케일로서 도시된다(밝은 픽셀은 카메라까지의 먼 거리를 나타내고, 어두운 그레이 픽셀은 더 작은 거리를 나타내며, 블랙 픽셀은 거리 정보가 없음). 1850 mm의 캡쳐 거리에 있으며 1 mm²의 분해능(x,y)을 갖는 균일한 광택 표면을 갖는 세라믹 머그의 예는 고주파수 스테레오 정보를 갖는 영역이 높은 서브픽셀 보간 품질을 가지고 검출될 수 있다는 것을 나타낸다. 콘트라스트가 없는 광택 영역도 또한 캡쳐될 수 있지만, 그러나 저주파 범위에서 더 낮은 품질을 갖는다. 첫째, 시스템은, 제1 경우에 대해, 낮은 콘트라스트 고주파 텍스쳐 표면에 대해 높은 감도가 달성되고, 그 결과, 예를 들면, 백그라운드의 화이트의 텍스쳐가 있는 벽지가 갭 없이 높은 측정 정확도를 가지고 캡쳐될 수 있는 그러한 방식으로 최적화되어야 한다.

제1 경우에, 분석 간격(T)의 치수 결정은, 신호의 스펙트럼이 완전히 캡쳐되는 경우에 최적이다, 즉, 한편으로는, 피사계 심도 범위에서 초점이 맞지 않은, 즉, 블러링된 에지의 공간 주파수를 갖는 신호 성분이 2π/T의 하한을 가지고 캡쳐되고, 다른 한편으로는, 최적으로 포커싱된 텍스쳐로부터의 신호가 3 내지 4px의 주기를 갖는 상한을 크게 초과하지 않는다. BAYER 필터를 갖는 통상적인 컬러 카메라의 경우, 대략적으로 16 내지 70 LP/mm까지의 범위가 사용될 수 있다. 3.75 ㎛의 픽셀 피치를 갖는 센서를 사용하는 경,우 T = 16 px이고 4 개의 공간 주파수가 필요하다. 다음 번 단계에서, 윈도우 폭은 3D 분해능과 노이즈 사이의 트레이드오프로서 결정된다. 8 px의 윈도우 폭이 선택된다. 그러나, 다른 정수 윈도우 폭도 또한 가능하다. 윈도우 폭이 증가함에 따라, 3D 분해능은 감소되고 신호 대 노이즈 비율은 증가된다. 분석 간격과 윈도우 폭 사이의 비율이 2와 동일하지 않은 경우, 매트릭스(AEV 및 AOD)는 조정되어야 한다.

다음 번 단계에서, 컨볼루션 커널의 수(k와 l)가 선택될 수 있다. 2 개의 짝수 및 2 개의 홀수 컨볼루션 커널을 사용하여 허용 가능한 계산 노력으로 최상의 정확도가 달성된다; 절충으로서, 1 개의 짝수 및 2 개의 홀수 컨볼루션 커널도 역시 가능한데, 감소된 정확도를 가지지만, 그러나 또한 계산 노력도 감소된다. 하나의 짝수 및 하나의 홀수 컨볼루션 커널의 경우, 노이즈가 크게 증가될 것이다. 예시적인 실시형태에서, k = 2이고 l = 2이다. 더 많은 수의 컨볼루션 커널도 또한 가능하다.

그 다음, 컨볼루션 커널이 계산된다. 통상적인 OTF 프로파일을 보상하고 가장 높은 공간 주파수와 관련한 트레이드오프를 나타내는 가중화 벡터(g) = [0.917; 1.22; 2.25; 1.3]를 가정하면, 컨볼루션 커널의 최적 형태를 결정하기 위한 연립 방정식은 컨볼루션 커널의 계수(c_k,n 및 s_l,n)를 사용하여 확립된다.(수학식 (22)). 연립 방정식은 과소 결정되는데(underdetermined), 이것은 필요하지 않는 고주파 엘리먼트가 초기에 제로로 설정되는 이유이다(수학식 (23)).

비선형 연립 방정식 각각에 대해, 16 개의 해가 획득되고, 이로부터, 먼저, 실제 해가 선택되고, 그 다음, 부호만 다른 해는 삭제된다. 실제 해가 없는 경우, 가중화 벡터를 조정될 수 있다. 계수 벡터(c)에 대해, 뿐만 아니라, s에 대해, 두 가지 상이한 해가 획득된다(수학식 (24)). 이들 해로부터, 계수의 가장 작은 분산을 갖는 해가 선택되는데(수학식 (24), 라인 1 및 라인 3), 그 이유는, 그들이 DSNU 및 PRNU를 포함하는 가장 낮은 열 노이즈를 전달하기 때문이다.

이 제1 근사치는, SSD'_var(δ)의 노이즈 성분의 추가적이 최적화 없이, 신호 대 노이즈 비율을 이미 눈에 띄게 개선한다. 설명되는 실질적으로 관련된 예시적인 실시형태에서, SSD'_var(δ) 노이즈를 완전히 보상하기에 이용 가능한 충분한 계수가 없기 때문에, 통계적 최적화가 고려될 수 있다. 시스템에서 제공되는 것은 위에서 이미 설명되는 바와 같은 약한 출력 저역 통과 필터인데, 이것은 더 높은 공간 주파수에 대한 대응 함수의 노이즈 및 열 노이즈를 안정적으로 억제한다. 따라서, 목표는 필터에 의해 커버되지 않는 낮은 공간 주파수(ω 및 2ω)의 진폭을 감소시키는 것이다. 수학식 (24)의 해 각각에 대해, 부호의 상이한 조합을 갖는 3 개의 추가적인 해가 존재한다. 그 다음, 이들로부터, 더 낮은 공간 주파수 범위에서 SSD'_var(δ)의 가장 작은 교란을 생성하는 부호 조합을 갖는 해가 선택된다. 추가적으로, 수학식 (23)에서의 제로가 된 계수는 제로가 아닌 작은 상수에 의해 대체될 수 있다. 이것은 SSD_inv(δ)에 영향을 주지 않으면서 SSD_var(δ)의 비율을 변경할 것이다. 그 다음, 수학식 (22)는 수치적으로 해가 구해질 수 있고, 해는 더 낮은 공간 주파수와 관련하여 테스트될 수 있으며 최상의 해가 선택될 수 있다.

상기의 예에 따르면, x 방향의 컨볼루션 커널의 가능한 함수인 f_even,k 및 f_odd,l을 획득한다(수학식 (25)). 그들의 함수 값은 도 10에 예시되며 이산 컨볼루션 커널로서 테이블 2에 제시된다. 바람직한 실시형태에 따르면, 결과적으로 나타나는 컨볼루션 함수는 평균이 없어야 하며, 따라서, off_even,1 및 off_even,2는 수학식 (26)이 충족되도록 선택된다. 이것은 실제 카메라의 이득 공차 및 오프셋 공차에 의해 야기되는 노이즈를 방지하는 데 유익하다.

수학식 (25)로부터 알 수 있는 바와 같이, 네 개의 컨볼루션 커널 각각은 상이한 공간 주파수의 복수의 고조파 함수의 가중된 합을 포함한다. 여기서, f_even,1,2를 포함하는 짝수 컨볼루션 커널은 코사인 함수의 가중된 합, 즉 가중화 계수(3.4954 및 0.7818)(f_even,1) 및 가중화 계수(4.9652 및 1.8416)(f_even,2)를 각각 갖는 짝수 함수를 포함한다. 홀수 컨볼루션 커널(f_odd,1,2)은 홀수 사인 함수의 가중된 합을 나타낸다. 예에서, 이들은 가중치 계수(4.0476 및 0.2559) 및 가중치 계수(6.0228 및 -0.0332)를 각각 갖는다. 따라서, 하나의 실시형태에 따르면, 그것은 수학식 (25) 및 (26)에 의해 주어지는 두 개의 짝수 및 두 개의 홀수 제2 컨볼루션 커널을 사용하여 1 내지 v_max까지 v에 대한 신호 쌍(YL_signal,v 및 YR_signal,v)의 컨볼루션을 수행하도록 구성되는 컴퓨팅 디바이스에 대해 의도된다. 더 일반적으로 말하면, 1 내지 v_max까지 v에 대한 신호 쌍(YL_signal,v 및 YR_signal,v)은 수학식 (25)에 나열되는 바와 같은 함수를 포함하여 두 개의 짝수 및 두 개의 홀수 제2 컨볼루션 커널을 사용하여 컨볼빙된다. sin 함수 및 cos 함수 앞의 계수(3.4954, 0.7818, ...)도 주어진 값으로부터 위로 또는 아래로 약간, 즉, 10 %만큼, 또한 벗어날 수도 있다. 따라서, 계수(3.4954, 0.7818, 4.9652, 1.8416, 4.0476, 0.2559, 6.0228, 0.0332) 중 적어도 하나는 또한 최대 10 %까지 클 수도 있거나 또는 더 작을 수도 있다. 바람직하게는, 컨볼루션 커널은, 그들이 평균 값이 대략적으로 또는 완전히 없도록 또한 선택된다.

각각의 이미지 패치의 질량 중심(centroid)에 가까운 컨볼루션 커널에 의해 포괄되는 짝수 및 홀수 함수의 좌표 원점을 배치하는 것이 유리하지만, 그러나 필수는 아니다. 여기서, 질량 중심은 각각의 이미지 패치의 기하학적 중심을 가리킨다.

필터 커널의 계수의 약간의 편차는 또한, 이들이 완전히 짝수 또는 홀수 함수의 이산화된 값으로부터 약간 벗어나도록 하는 그러한 것일 수도 있다. 이 편차는, 예를 들면, 이상적인 짝수 또는 홀수 함수의 값으로부터 최대 15 %, 바람직하게는 최대 10 %일 수도 있다. 명확화를 위해, 이상적인 짝수 또는 홀수 함수의 계수로부터 이산화된 계수의 가능한 편차는 하기에서 나열될 것이다. 이산화된 이상적인 홀수 함수의 계수를 갖는 홀수 필터 커널이 값 -2; -1; 1; 2에 의해 주어지는 경우, 무시 가능하게 증가된 노이즈만을 제공하는 필터 커널은 -2; -1; 1.1; 2에 의해 주어질 수도 있다. 여기서, 커널 중심에 인접한 양의 계수는 10 %만큼 증가된다. 더구나, 이상적으로 짝수 또는 홀수 필터 커널의 대칭성은 추가적인 낮은 가중치 계수가 추가될 때 약간만 방해받을 것이다. 예를 들면, 그러한 약간 상이한 커널은 다음과 같을 수 있다: -2; -1; 1; 2; 0.1. 여기서, 필터 커널은 계수 1과 -1 사이의 커널 중심과 관련하여 이상적인 대칭성을 방해하는 추가적인 계수(0.1)를 포함하지만, 그러나 다른 한편으로는, 그것의 낮은 가중치에 기인하여, 컨볼루션 결과를 사소하게만 변경할 것이다.

한 가지 변형예에서, sin 함수 및 cos 함수 앞의 계수는 수학식 (24) 및 (25)의 계수와 정확하게 매치할 필요가 없고, 오히려, 그들은, 여전히 우수한 노이즈 억제를 가지면서, 0.8 내지 1.2까지의 범위 내의, 바람직하게는 0.9 내지 1.1까지의 범위 내의 배율만큼 균등하게 벗어날 수도 있다.

두 개의 짝수 컨볼루션 커널 대신, 단일의 짝수 컨볼루션 커널이 약간 증가된 노이즈를 가지고 또한 사용될 수 있다. 그러한 짝수 컨볼루션 커널의 기능은 도 11에서 도시되며 테이블 3에서 이산 컨볼루션 커널로서 제시된다. 도 11 및 테이블 3의 예에서 또한 구현되는 이 실시형태의 개선에서, 이 컨볼루션 커널은 모든 공간 주파수(ω 내지 4ω)의 가중된 주파수를 포함한다, 즉, 그것은 이들 공간 주파수(ω 내지 4ω)의 고조파 함수의 가중된 합을 나타낸다. 이것은 계산 노력에서 25 %를 절감한다. 대조적으로, k = 1 및 l = 1에 대한 해는 상당한 디지털화 에러를 갖는 경우에만, 즉 높은 노이즈를 갖는 경우에만 디지털화될 수 있고, 따라서, 쓸모가 없다. 단지 하나의 짝수 또는 단지 하나의 홀수 커널만 있으면, 노이즈 보상은 불가능하며, 따라서 이들 옵션도 또한 쓸모가 없다. 단지 2 개 또는 3 개의 공간 주파수에 대한 계산도 유사하게 가능하지만, 그러나, 통상적으로, 더 낮은 측정 정확도를 초래할 것이다.

예시적인 실시형태는, 공간 주파수(0 및 ω 내지 4ω)를 갖는 컨볼루션 커널(f_y,v)을 사용하여 y 방향에서 YL_image 및 YR_image의 컨볼루션을 수행하는 것에 의해 계산되는 v_max = 5 개의 신호 쌍을 사용한다. 5 개의 신호 쌍이 최적으로 상관 해제되고 유사한 진폭을 가질 때 최적의 노이즈 감소가 달성된다. 이 경우, SSD_inv(δ)의 신호는 증가되지만, 그러나, 동시에, SSD_var(δ)의 비율은 랜덤 위상(Δ)에 기인하여 감소되는데, 이것은 신호 대 노이즈 비율을 증가시킨다. 상관 해제된 신호는, 직교 함수를 사용한, 예를 들면, WFT를 사용한 컨볼루션 이후에 획득된다. 신호 쌍의 진폭은 OTF를 사용한 정규화에 의해 조정되고, 그 결과, 고차(higher-order) 공간 주파수를 갖는 신호 쌍의 영향은 증가된다. x 방향의 컨볼루션에 관해, 저노이즈에 대해 이미 최적화된 동일한 컨볼루션 커널을 사용하는 것(즉, k = 2 및 l = 2의 경우, 예를 들면, f_y,2 내지 f_y,5에 대해 수학식 (25) 및 수학식 (26)에서 컨볼루션 커널을 취하는 것 및 f_y,1 = 1을 설정하는 것)이 유리하다. 이 경우, 신뢰도 신호(confidence signal)를 계산하기 위해 사용될 수 있는 특히 저노이즈 신호가 생성될 것이다(하기 참조). 또한, 이미 설명된 바와 같이, x 방향의 컨볼루션 커널에 관해 동일한 접근법을 사용하여 컨볼루션 커널을 결정하는 것, 그러나, 가장 높은 공간 주파수에 대한 가중치를 낮추지 않는 것이 사실상 유리하다.

이하에서는, 대응 분석기를 사용하여 디스패리티를 결정하기 위한 방법의 실행이 설명될 것이다. 이 목적을 위해, 도 12는 대응 분석기(1)를 포함하는 스테레오 카메라(2)의 구성을 개략적으로 도시한다. 스테레오 카메라(2)는 카메라 센서(5)를 포함하는 두 개의 카메라(20, 21) 및 오브젝트(4)를 이미지화하기 위한 두 개의 렌즈(8, 9)로 구성되는 캡쳐 디바이스(22)를 포함한다. 렌즈(8, 9)의 광학 중심은 베이스 폭(B)만큼 서로로부터 떨어져 이격되어 있다. 디스패리티(δ)를 결정하기 위해, 디지털 이미지(25, 26)는 대응 분석기(1)로 전송되고 그 컴퓨팅 디바이스(3)에 의해 분석된다. 그 다음, 오브젝트 거리(Z)는 대응 분석기(3)에 의해 결정되는 바와 같은 디스패리티 및 수학식 (1)에 따른 초점 거리(f)에 기초하여 결정될 수 있다. 이 목적을 위해, 대응 분석기의 메모리(6)에 저장되는 프로파일 벡터(또는 이들 프로파일 벡터에 대응하는 컨볼루션 커널)는 정류된 이미지 신호를 사용하여 컨볼빙된다. 이 목적을 위해, 다양한 상대적 간격을 갖는 두 개의 디지털 이미지(25, 26)로부터 선택되는 이미지 패치의 컨볼루션 결과는 컴퓨팅 디바이스(3)에 의해 서로 감산되고 비선형 방식으로 프로세싱되는데, 바람직하게는 제곱된다. 이들 비선형적으로 프로세싱된 차이의 합은 선택된 상대적 거리(δ)에 대한 대응 함수(SSD(δ))의 값을 제공한다.

두 개의 카메라(20, 21)의 이미지 데이터는 바람직하게는, 도 2를 참조하여 앞에서 설명한 바와 같이, 서브픽셀 정확도를 사용하여 정류된다. 신호 대 노이즈 비율 요건이 높은 경우, 카메라의 광학 축의 동일 평면성을 조정하는 것이 유리하다. 이 목적을 위해, 두 대의 카메라 광학 축의 교차 포인트의 포지션이, 먼저, 평면 테스트 이미지를 사용하여 적어도 두 개의 거리에 대해 오브젝트 공간에서 결정되고, 공간에서의 광학 축의 방위는 이들 교차 포인트를 연결하는 것에 의해 결정된다. 올바르게 정렬되면, 광학 축은 동일 평면에 있고 에피폴라 평면 내에 놓인다. 따라서, 측정된 모든 거리의 교차 포인트를 연결하는 직선 라인도 또한 동일 평면 상에 있다. 두 대의 카메라 중 하나는 편심 조정 수단(도 1)을 구비하고 있다. 연결 라인이 서로에 대해 기울어진 경우 동일 평면성 에러가 존재한다. 정정은 렌즈를 회전시키는 것에 의해 달성된다. 편심은 기계적 축에 대한 광학 축의 방위에서 미세한 변경을 야기한다. 회전은 광학 축의 동일 평면성이 달성될 때까지 수행된다. 예를 들면, 온도 변동 또는 기계적 충격 부하에 기인하여, 스테레오 카메라의 서비스 수명 동안 동일 평면성 조정 에러가 또한 발생할 수도 있다. 일부 트레이드오프를 통해, 이 에러는 에피폴라 라인에 대략적으로 수직인, 즉 y 방향에서 디스패리티(δ_y)를 계산하기 위해 하기에서 추가로 설명되는 바와 같은 방법을 사용하는 것에 의해 주어진 거리(Z)에 대해 정정될 수 있다. 마지막으로, 서브픽셀 정밀도를 가지고 측정되는 평균 디스패리티 에러(δ_y)는 두 대의 카메라 중 하나의 정류에서 포함되고, 그 결과, 디스패리티 에러(δ_y)에 대응하는 오프셋이 정정된다. 방법은 제한된 디스패리티 범위에서 작동하지만, 그러나, 오브젝트 포지션에 따른 정확도 요건을 갖는 많은 애플리케이션에 대해, 예를 들면, 로봇 공학에서의 위치 결정 태스크에 대해 유용하다. 하나의 실시형태에 따르면, 동일 평면성의 정렬 에러를 정정하기 위해 대응 분석기의 런타임 동안 에피폴라 라인에 대략적으로 수직인 방향으로 대응하는 이미지 패치의 디스패리티(δ_y)를 추가적으로 평가하도록, 그리고 특히 정류 파라미터의 정정을 사용하는 것에 의해, 에피폴라 라인에 대략적으로 수직인 이미지 중 하나의 반대 방향 시프트에 의해, 제로로부터의 이 디스패리티의 평균 편차, 즉, 이상적인 에피폴라 지오메트리로부터의 편차를 정정하도록 스테레오 카메라가 구성되는 것이 특별히 의도된다. 이러한 방식으로 큰 오브젝트 거리(Z)의 범위에서 신호 대 노이즈 비율을 개선하는 것이 유리하다. 작은 오브젝트 거리의 경우, 신호 대 노이즈 비율은 종종 충분하다.

앞에서 설명한 방법은 적절한 컨볼루션 커널을 결정하기 위해 사용된다. 특히, 수학식 (11)과 (21)에 따라 가중치(g)를 계산하는 것이 허용된다. 컨볼루션 커널은 대응 분석기(1)의 메모리에 저장된다. 하나의 실시형태에 따르면, 대응 분석기는 애플리케이션에 따라, 예를 들면, 콘트라스트 평가 또는 파워 스펙트럼의 평가에 의해, 먼저, 이미지 통계치를 평가하도록 구성된다. 그 다음, 대응 분석기(1)는 이미지 통계치에 대응하는 프로파일을 선택하는데, 예를 들면, 자율 주행의 경우 정상 조건 하에서 양호한 콘트라스트를 위한, 또는 안개 속에서 감소된 콘트라스트를 위한 프로파일을 선택한다. 선택된 프로파일은 컨볼루션 커널의 적어도 하나의 세트를 정의한다. 더 일반적으로, 대응 분석기(1)는 동일한 또는 상이하게 파라미터화된 대응 함수 및 컨볼루션 함수에 대한 복수의 프로파일 벡터(g)를 저장할 수도 있고, 및/또는 대응 분석기(1)는 런타임에서 하나 이상의 프로파일 벡터(g)를 계산하도록 구성될 수도 있으며, 대응 분석기(1)는, 추가로, 이미지 데이터의 로컬 또는 글로벌 파워 스펙트럼을 결정하도록 그리고 이미지의 로컬 또는 글로벌 파워 스펙트럼에 기초하여 유리한 프로파일 벡터(g)를 활용하도록 구성된다. 상이하게 파라미터화된 프로파일 벡터의 복수 세트를 사용하여 계산을 수행하는 것 및 그 결과를 비교하는 것이 또한 가능하다. 따라서, 대응 분석은 두 개 이상의 상이하게 파라미터화된 대응 함수 및 컨볼루션 커널을 사용하여 수행될 수 있고, 컴퓨팅 디바이스는, 바람직하게는 결정된 신뢰도 벡터에 기초하여, 두 개 이상의 결과적으로 나타나는 결과를 결합하거나 또는 이들 결과로부터 부분 결과를 선택한다. 각각의 프로파일 벡터에 관계없이 컨볼루션 커널의 세트에 특히 적용되는 것은, 사인파 모양으로 변조된 강도 분포를 갖는 오브젝트에 대한 디스패리티를 결정할 때, 이 디스패리티가 개개의 이미지의 이미지 평면에서 오브젝트의 횡방향 변위에 대체로 독립적인 그러한 방식으로 컨볼루션 커널이 선택된다는 것이다. 이것은 검색 이미지 패치의 사이즈에 의해 결정되는 바와 같은 샘플링된 공간 주파수 범위 내의 공간 주파수를 사용한 변조의 경우 특히 그렇다.

예시 목적을 위해, 도 16은 스테레오 카메라(2)의 카메라(20, 21)에 의해 캡쳐되는 그러한 오브젝트(4)를, 자신의 표면이 사인파 모양의 밝기 변조를 갖는 편평한 오브젝트의 형태로 도시한다. 변조는 디지털의 개개의 이미지(25, 26)에서의 상대적인 이미지 시프트의 방향을 따라, 따라서 또한, 결정될 디스패리티(δ)의 방향으로 확장된다. 도 16의 뷰에서, 변조는 단순한 스트라이프 패턴에 의해 심볼화된다. 따라서, 예시된 변조는 사인파 모양 대신 단순히 직사각형이지만, 그러나, 사인파 모양의 변조와 동일한 방위를 갖는다. 디스패리티는 스테레오 카메라(2)로부터 오브젝트(4)의 거리에 의존한다. 오브젝트(4)가, 이제, 사인파 모양의 변조의 방향(V)으로 변위되는 경우, 즉, 또한 디스패리티 방향으로, 그러나 스테레오 카메라(2)로부터 일정한 거리를 가지고 변위되는 경우, 디스패리티는, 패턴이 어떠한 모호함도 도입하지 않는다면, 본질적으로 영향을 받지 않을 것이다. 추가적인 노이즈 없이 이상적인 이미지 데이터에 대한 영향을 검증할 수 있기 위해, 계산된 디지털 이미지를 사용하여 시프트(V)와 관련한 불변성이 또한 체크될 수 있다.

이제, 오브젝트에 대한 그러한 강도 변조와 비교하여 현재 설명되는 대응 분석기에 의해 계산되는 디스패리티의 작은 변동을 입증하기 위해 사용될 수 있는 테스트가 설명될 것이다. 상기에서 이미 논의된 바와 같이, 표준 편차(standard deviation; STD)로서 표현되는 그러한 변동은 통상적으로 0.2 픽셀 미만, 바람직하게는 0.1 픽셀 이하의 거리의 범위 내에 있고, 한편, 종래 기술의 시스템은 0.2보다 더 큰, 통상적으로 0.2 내지 0.5 픽셀의 범위 내에 있는 변동 범위를 나타낸다. 본원에서 설명되는 예로 제한되지 않으면서 더 일반적으로, 컨볼루션 커널은 바람직하게는, 카메라로부터 일정한 거리(Z)에서 에피폴라 라인을 따라 변위되는 평면의 오브젝트 상의 디스패리티를 결정할 때, 오브젝트가, 특히 공간 주파수 범위 내의 공간 주파수, 또는 대응하는 텍스쳐를 포함하여, 에피폴라 라인의 방향을 따라 강도 변조를 갖는 경우, 평면의 오브젝트의 시프트에 대해 0.2 픽셀, 또는 심지어 0.1 픽셀 미만의 디스패리티 측정의 로컬 표준 편차가 달성되도록 선택된다.

이제, 공간 윈도우(8×8 환경의 경우 공간 주파수(ω = 2Pi/9 내지 2Pi/5)를 가짐) 내에 있는 이미지 평면에서 공간 주파수를 포함하는 텍스쳐를 반송하는 평면의 물리적 측정 오브젝트를 사용하여 두 가지 측정이 수행된다. 텍스쳐는 에피폴라 평면, 예를 들면, cos ωx에 수직이고, 오브젝트는 이미지에서 대략 80 % 진폭을 가지고 정확하게 포커싱된다. 측정 오브젝트는 평면이다.

측정 오브젝트의 제1 포인트에서 정지 오브젝트에 대해 복수의 측정, 예를 들면, 100 회의 측정이 수행된다. 센서는 노이즈를 생성한다. 측정에 기초하여, 표준 편차(σ_δ) 및 평균 값(δ_mean,1)이 계산될 수 있다. 측정은 동일한 측정 오브젝트의 상이한 포인트에서 반복될 수 있다.

오브젝트는, 이제, 이미징 평면에 평행하게 그리고 에피폴라 라인을 따라 작은 양만큼 반복적으로 시프트되고, 그 결과, 측정 필드에서 스테레오 카메라(2)까지의 거리는 변경되지 않는다. 후속하여, 측정 오브젝트의 이 두 번째 그리고 추가적인 위치에서 측정, 예를 들면, 100 번의 측정이 수행되고, σ_δ뿐만 아니라 평균 값(δ_mean,n)(n = 2... 10)이 계산된다. 이것은 추가적인 포인트에 대해 반복된다. 그 다음, STD σ가 δ_mean,n(n = 2... 10)에 대해 계산된다. 표준 편차(σ)의 이 값이 0.2 픽셀 미만이거나, 또는 심지어 양호한 조건 하에서 0.1픽셀 미만인 경우, 그러면, 이것은 현재 설명되는 대응 분석기의 또는 이 대응 분석기가 장착된 스테레오 카메라의 통상적인 특성이다.

대응 분석기는, 상기에서 이미 설명되는 바와 같이, 이산 곱셈/덧셈에 의해 컨볼루션을 수행한다. 예시적인 실시형태는 x 방향에서 u_max = 4 개의 컨볼루션 커널(테이블 4)을 그리고 y 방향에서 v_max = 5 개의 컨볼루션 커널(테이블 5)을 사용한 8×8 px² 환경에서의 컨볼루션을 설명한다. u_max는 k_max 및 l_max의 합과 동일한데, 각각은 예시적인 실시형태에서 2의 값을 갖는다. 테이블 4의 컨볼루션 커널은 테이블 2의 컨볼루션 커널에 대응한다. 테이블 5의 컨볼루션 커널은 테이블 4로부터의 u_max 개의 컨볼루션 커널 및 공간 주파수 0에 대한 컨볼루션 커널(f_y,1)로 구성된다.

디지털 카메라 이미지에서, 포지션(x 및 y)에서의 픽셀은 x+0.5와 y+0.5의 픽셀 부근에서의 값을 반영하는데, 이것은, 컨볼루션 커널의 인덱스가 -3.5 내지 3.5로, -4로부터 3으로 상응하게 조정되는 이유이다. 컨볼루션 커널의 짝수 번호의 사이즈의 경우에, 예시적인 실시형태에서와 같이, 유효 측정 포인트는 시프트되는데, 이것은 측정의 포지션과 비교하여 수학식 (1)을 사용한 3D 데이터의 계산에서 x', y'가 픽셀 절반만큼 시프트되는 이유이다. YL_image로부터의 컬러 또는 그레이 값을 3D 데이터에 할당할 때 유사한 정정이 고려되어야 한다.

컴퓨팅 디바이스는, 수학식 (27)에서 나타내어지는 바와 같이, 좌측 및 우측 정류된 카메라 이미지(각각, YL_image 및 YR_image)에서의 각각의 이미지 좌표(x,y)에 대한 u_max*v_max 개의 피쳐의 세트(각각 FL_u,v 및 FR_u,v)를 계산하기 위해 컨볼루션 커널을 사용한다.

이미지 좌표당 피쳐의 이 세트는 하기에서 피쳐 벡터로서 지칭될 것이다. 공간 주파수 범위에서, 피쳐 벡터는 서브픽셀 정밀도 디스패리티 측정에 필요한 신호를 포함한다. 에피폴라 라인의 방향에서 후속하는 미분(SSD'(δ))에 기인하여, 정보가 누락되는데, 이것은 올바른 측정 값(correct measured value)에 더하여 여러 개의 위양성 측정 값(후보)이 생성될 수도 있다는 것을 의미한다. 이러한 이유 때문에, 프로세싱은 2 단계에서 수행된다:

- 디스패리티의 노이즈 최적 계산;

- 정확한 측정 값의 후보의 노이즈가 최적화된 선택(noise-optimized selection).

하나의 실시형태에 따르면, 후보의 노이즈가 감소된 선택은, 수학식 (28)나타내어지는 바와 같이, 추가적으로 또는 동시에 계산된 신뢰도 벡터(KL_v 및 KR_v)를 사용하여 달성된다.

이들 신뢰도 벡터는 어떠한 디스패리티 정보도 포함하지 않지만, 그러나, 디스패리티 측정의 품질을 추정하기 위해 사용된다. 예를 들면, 컨볼루션 커널(f_konf)은, 신뢰도 벡터에서 인접 신호를 포함하기 위해, 가우시안 함수(Gaussian function)에 기초하여 획득될 수 있다. v_max 개의 신호를 사용한 신뢰도 벡터의 계산 대신 또는 그에 추가하여, 예로서 수학식 (28)에서 나타내어지는 바와 같이, 기준 이미지 패치 및 검색 이미지 패치로부터 추가적인 정보, 예컨대 각각의 검색 이미지 패치와 기준 이미지 패치의 휘도 데이터 사이의 정규화된 교차 상관 계수를 사용하는 것이 또한 가능하다.

신뢰도 벡터에 기초한 디스패리티 후보의 선택은 대응 함수가 결정되는 방식과는 독립적으로 또한 사용될 수 있다. 본질적으로, 기준 이미지 패치 및 검색 이미지 패치로부터 디스패리티에 대한 복수의 후보가 결정되고, 이들은, 그 다음, 신뢰도 벡터를 사용하여 그들의 유효성과 관련하여 평가된다. 따라서, 디스패리티가 계산되는 특정한 방식에 관계없이, 두 개의 디지털의 개개의 이미지(25, 26)에서 대응하는 이미지 엘리먼트의 디스패리티를 결정하기 위한 대응 분석기(1)가 제공되는데, 대응 분석기(1)는,

- 두 개의 개개의 이미지(25, 26)로부터 각각의 이미지 패치 - 개개의 이미지 중 하나의 이미지의 적어도 하나의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치는 다른 개개의 이미지에서 선택됨 - 를 선택하도록, 그리고 이미지 패치로부터 디스패리티 값에 대한 복수의 후보를 계산하도록 하도록 구성되는 컴퓨팅 디바이스(3)를 포함하고, 여기서 컴퓨팅 디바이스(3)는, 추가로, 특히 대응 함수 또는 그것의 1차 도함수에 의해 전달되지 않는 정보를 기준 이미지 패치 및 검색 이미지 패치로부터 선택하도록, 그리고 이 정보를 사용하여 대응 함수의 결과에 대한 신뢰도 벡터를 선택하도록, 또는 각각의 결과가 기준 이미지 패치와의 각각의 검색 이미지 패치의 실제 대응을 나타내는지의 여부를 추정하는 데 적절한 가능한 디스패리티 값을 선택하도록 구성된다. 그 다음, 신뢰도의 값에 기초하여 후보 디스패리티 값의 선택이 이루어질 수 있다. 그에 따라, 개선에서, 따라서, 컴퓨팅 디바이스(3)가 특정한 기준 이미지 패치에 대한 디스패리티 값에 대한 후보의 목록을 생성하도록, 바람직하게는 각각의 후보에 대해 바람직하게는 신뢰도 벡터를 선택하도록, 그리고 신뢰도 벡터 및/또는 다른 선택 기준에 기초하여, 이들 후보의 모두 또는 일부를 유효한 것으로 선택하도록, 또는 후보 중 어느 것도 특정한 기준 패치에 대해 유효한 것으로 간주되지 않는다는 것을 선택하도록 구성되는 것이 의도된다. 다른 방식으로 결정된 신뢰도 벡터를 추가로 사용하는 것 또는 확장하는 것이 또한 가능하다.

이 실시형태의 개선에 따르면, 컴퓨팅 디바이스(3)는, 적어도 일부 클래스의 기준 및 검색 이미지 패치에 대해, 대응 함수만을 단독으로 사용할 때 가능한 것보다 더 높은 확률로 후보를 유효한 것으로 또는 무효한 것으로 분류할 수 있는 함수를 사용하여 신뢰도 벡터의 적어도 하나의 엘리먼트의 값을 선택하도록 구성된다. 대응 함수만을 단독으로 사용하는 경우, 특히 대응 함수의 최소치의 값을 비교하는 것 및 가장 명확한 최소치를 선택하는 것에 의해 후보가 올바른 것으로 결정될 수 있다. 대응 함수는, 노이즈의 잠재적인 원천을 방지하기 위해 디스패리티의 계산에 필요하지 않은 정보를 억제하도록 설계되는 것이 바람직하다. 그러면, 신뢰도 함수를 통해, 예를 들면, 디스패리티의 계산과 간섭하지 않으면서, 후보의 선택에서 그러한 억제된 정보가 다시 고려될 수 있다. 특히, 컴퓨팅 디바이스는 다음의 피쳐 중 하나 이상을 사용하여 신뢰도 벡터의 엘리먼트의 값을 선택할 수도 있다:

- 기준 이미지 패치의 모든 후보의 대응 함수의 극값으로부터 도출되는 임계 값에 대한 포인트(δ_p)에서의 후보의 대응 함수(SSD(δ_p))의 관계 또는 차이;

- 그레이 값 관계, 바람직하게는 기준 이미지 패치의 일부와 각각의 검색 이미지 패치의 일부 사이의 그레이 값 차이, 또는 이들 그레이 값 차이로부터 도출되는 피쳐;

- 컬러 관계, 바람직하게는 기준 이미지 패치의 일부와 각각의 검색 이미지 패치의 일부 사이의 컬러 차이, 또는 이들 컬러 차이로부터 도출되는 피쳐;

- 각각의 검색 이미지 패치의 신호 강도와 비교한 기준 이미지 패치의 신호 강도의 관계;

- 각각의 경우에 에피폴라 라인에 대략적으로 수직인, 기준 이미지 패치의 일부의 데이터와 각각의 검색 이미지 패치의 일부의 데이터 사이의 정규화된 교차 상관 계수; 여기서

이들 피쳐는 노이즈를 방지하기 위해 대략적으로 에피폴라 라인을 따라 약간 저역 통과 필터링되는 것이 바람직하다.

관계는 또한 비선형적일 수 있다. 따라서, 각각의 변수, 예컨대 컬러 또는 그레이 값도 비선형적인 방식으로 또한 프로세싱될 수 있다. 예를 들면, 그레이 값의 선형 차이 대신, 제곱된 그레이 값의 차이가 계산될 수 있다. 더구나, 입력 데이터는 이미 비선형적인 방식으로 프로세싱될 수도 있고, 및/또는 신뢰도 벡터의 값을 결정할 때 비선형 프로세싱이 수행될 수도 있다.

컴퓨팅 디바이스(3)는, 유리하게는 또한, 대응 분석기의 또는 컴퓨팅 디바이스의 유저가, 후보의 목록을, 바람직하게는 유효한 후보만을, 그리고 바람직하게는 각각의 신뢰도 벡터와 함께 이용 가능하게 만들도록 구성될 수도 있다. 이것은, 예를 들면, 적절한 인터페이스, 예컨대 데이터 출력 또는 스크린을 통해 달성될 수 있다. 이러한 방식으로, 상이한 신뢰 기준이 매칭될 수 있고, 특히, 3D 좌표의 결정의 품질에 맞게 조정될 수 있다. 하나의 실시형태에 따르면, 신뢰도 값은 출력 저역 통과 필터를 사용하여 SSD 값에 따라 추가로 유리하게 필터링될 수 있다. 특히, 출력 저역 통과 필터는 하나의 실시형태에 따라 대응 함수(SSD(δ_p))의 값에 대해서도 또한 사용되는 것과 동일한 필터일 수도 있다. 이것은 저역 통과 필터링 프로세스 둘 모두에 대해 동일한 하드웨어 구성을 사용하는 것을 가능하게 만든다. 더구나, 대응 함수의 값에 대한 출력 저역 통과 필터는 이 필터링 프로세스를 위한 가중치로서 각각의 대응하는 신뢰도 값을 포함할 수도 있다. 저역 통과 필터링 이전에 신뢰도 값을 사용하여 디스패리티 값이 가중되는 것이 또한 가능하다. 따라서, 다른 가능성은 저역 통과 필터를 사용하여 신뢰도 값이 가중된 디스패리티 값을 필터링하는 것이다. 따라서, 컴퓨팅 디바이스가 저역 통과 필터를 사용하여 계산된 차이 값 및/또는 신뢰도 값을 필터링하도록 구성되는 것이 고려된다.

피쳐 벡터 및 신뢰도 벡터는 정수 픽셀 좌표에서 이산 이미지 포지션에 대해 계산된다. 컴퓨팅 디바이스(3)는, 또한, 예시적인 실시형태에 대한 수학식 (29)에서 나타내어지는 바와 같이, 정수 디스패리티 값(δ_p)에서 SSD(x,y,δ_p)를 누적하고, 따라서 피쳐의 차이의 제곱의 합을 계산한다.

대응 함수(SSD(x,y,δ_p))의 이러한 계산은 컴퓨팅 디바이스에 의해 예상될 디스패리티 범위 내의 디스패리티(δ_p)의 몇몇, 특히 모든 가능한 정수 값에 대해 수행되고, 대응 함수(SSD(x,y,δ_p))의 로컬 극값이 결정된다. SSD(x,y,δ_p)의 통상적인 예시적 프로파일이 도 13에서 예시되어 있다. 이산 함수(SSD(x,y,δ_p))의 1차 미분(SSD'(x,y,δ_p)) 및 2차 미분(SSD"(x,y,δ_p))은 수학식 (30)에서 나타내어지는 바와 같이 정의된다. 하나의 실시형태에 따르면, 값(δ_p)은 수학식 (31)의 조건이 충족되는 경우 로컬 최소치로서 식별된다.

더구나, 대응 분석기(1) 또는 그것의 컴퓨팅 디바이스는 차이(SSD'(x,y,δ_p)) 및 로컬 최소치를 결정하는데, 이들은 이들 차이의 부호 변화에 의해 나타내어진다. 로컬 극치, 특히 디스패리티(δ_p)에서의 대응 함수(SSD(x,y,δ_p))의 최소치에 기초하여, 컴퓨팅 디바이스는, 그 다음, 수학식 (32)의 공식에서 나타내어지는 바와 같이, 바람직한 실시형태에서 그룹 디스패리티(δ_sub)의 서브픽셀 정밀도 값을 계산할 수 있다.

수학식 (32)에서 사용되는 포물선 보간은, 상기에서 이미 설명된 그룹 디스패리티 함수의 최적화에 기인하여 가능하다. 예를 들면, 수학식 (32)와 유사하게, 포인트(δ_sub)에서의 대응 함수의 서브픽셀 정밀도 값을 계산하는 것이 유리하다.

δ_sub는 SSD'(x,y,δ_p)의 값으로부터 결정될 수 있는데, 이것은, 결국에는, 수학식 (33)에서 나타내어지는 바와 같이, 피쳐로부터 직접적으로 계산될 수 있다. 이것은 수학식 (29)에 따른 계산과 비교하여 부동 소수점 숫자를 사용할 때 더 작은 워드 길이 또는 더 낮은 정확도가 이 계산에 충분하기 때문에 유리할 수 있다. 따라서, 컴퓨팅 디바이스(3)는, 본 실시형태에 따라, 관계식 (33)을 사용하여 로컬 극값의 부근에서 그룹 디스패리티의 서브픽셀 정밀도 값(δ_sub)을 계산하도록 구성되는데, 여기서 δ_p는 대응 함수의 픽셀 정밀도 로컬 극값이고, SSD'(x,y,δ_p)는 대응 함수(SSD(x,y,δ_p))의 도함수이다.

하나의 실시형태에 따르면, 대응 분석기는 포지션(δ_p)에서의 로컬 최소치에 대해 컴퓨팅 디바이스에 의해 결정된 실제 디스패리티 후보(δ_sub)의 목록을 저장한다. 이들 후보 - 각각의 후보는 포지션(δ_K)에서의 최소치에 대한 것임 - 는 속성, 예컨대 SSD"(x,y,δ_K)에 의해 표현될 수 있는 디스패리티 신호의 신호 강도, 수학식 (34)에서 나타내어지는 바와 같은 신뢰도 함수(KSSD(x,y,δ_K))의 값, 및 좌측 및 우측 카메라 이미지의 각각의 이웃 사이의 평균 밝기 차이 또는 컬러 차이로 보완되는 것이 바람직하다. KSSD(x,y,δ_K)는 테이블 4의 x 방향에 대한 컨볼루션 커널을 사용한 컨볼루션에 의해 결정된 신호(v)만을 사용한다. 여기서, f_Konf는 x 방향의 시프트에 의해 약간만 영향을 받는 컨볼루션 커널, 예를 들면, 가우시안 필터이다.

더 일반적으로, 하나의 실시형태에 따르면, 디스패리티 후보에 신뢰도를 할당하는 것 및 신뢰도를 비교하는 것이 고려되며, 높은 신뢰도 값을 갖는 하나 이상의 후보는 유효한 것으로 간주되고 추가로 프로세싱된다. 반대로, 하나 이상의 다른 후보와 비교하여 더 낮은 신뢰도를 갖는 적어도 하나의 디스패리티 후보는 분류된다, 즉, 더 이상 프로세싱되지 않는다. 예를 들면, 컴퓨팅 디바이스(3)는, 후보에 대한 신뢰도 - 이것은 각각의 기준 포인트의 파워 스펙트럼과 비교한 SSD(δ)에 기초한 기준, SSD(δ)의 2차 도함수, 기준 포인트의 부근과 비교한 후보의 부근에서의 평균된 그레이 값 또는 컬러 값, 및 옵션 사항으로 다른 측정된 값에 기초함 - 를 결정하도록, 그리고 그 다음, 이들 신뢰도 값을 상충하는 측정 결과를 나타내는 다른 후보의 신뢰도 값과 비교하도록, 그리고, 이들 비교에서 상당히 더 높은 신뢰도 값을 갖는 후보만을 유효한 것으로 간주하도록 구성될 수도 있다. 따라서, 계산된 신뢰도 값은 서로 비교되고 디스패리티에 대한 적어도 하나의 후보가 비교에 기초하여 유효한 것으로 결정된다. 결정은 이 디스패리티 값을 추가로 프로세싱하는 것에 의해 또는 디스패리티 값에 대한 하나 이상의 다른 후보를 분류하는 것에 의해 달성될 수 있다.

하나의 실시형태에 따르면, 대응 분석기의 컴퓨팅 디바이스(3)는 적어도 하나의 FPGA 및/또는 적어도 하나의 GPU, 옵션 사항으로 또한 복수의 그러한 유닛을 포함한다. 재구성 가능한 FPGA 대신, 일회용 재구성 가능 컴퓨팅 디바이스(eASIC) 또는 재구성 불가능 컴퓨팅 디바이스(ASIC)를 사용하는 것이 또한 가능하다.

도 14 및 도 15는 컴퓨팅 디바이스(3)의 일부로서 FPGA 상에서의 대응 분석기(1)의 예시적인 구현의 원리를 도시한다. 정류된 이미지(YL_image 및 YR_image)에서, 각각의 윈도우는 동일한 행(y₀) 상에서 행 방향으로 동기적으로 시프트된다. 이것은, 도 14에서 나타내어지는 바와 같이, 두 개의 동기식 데이터 스트림(FL 및 FR)을 초래한다. 이들 데이터 스트림은, 각각, FL0 내지 FL19 및 FR0 내지 FR19로서 예시되는, 각각의 포지션(x)에 대한 u_max*v_max 개의 피쳐(수학식 (27))로 구성된다. δ_start는 예상될 디스패리티 범위의 하한과 동일하다. YR_image가 YL_image의 포지션(x₀)에 있는 픽셀에 대한 전체 디스패리티 범위를 커버하지 않는 경우의 핸들링은 사소하며 추가로 고려되지 않을 것이다.

도 15의 블록(ΔFR)에서, 항(FR_u,v(x₀+δ_p,y₀) + FR_u,v(x₀+δ_p-1,y₀) 및 FR_u,v(x₀+δ_p,y₀) - FR_u,v(x₀+δ_p-1,y₀))은 2 개의 가산기(30) 및 지연 단위(τ)(참조 번호(32))에 의해 데이터 스트림(FR)으로부터 획득된다. 이제, 대응 분석기(1) 또는 그것의 컴퓨팅 디바이스(3)의 블록이 설명될 것이다. 예에서, 20 개의 피쳐를 갖는 벡터는 시작 시간에 데이터 스트림(FL)으로부터 어드레스(x₀)로부터 DualPort RAM 34(BUF)으로 복사되고, 그 다음, 반복적으로 판독된다. 시작 시간에, 데이터 스트림(FR)은 어드레스(x₀)로부터의 피쳐를 전달한다. 시작 시간에서 시작하여, DSP(36)(예를 들면, XILINX DSP48E1)는 예상될 디스패리티 범위의 각각의 정수(δ_p)에 대해 수학식 (33)과 유사하게 함수 값(SSD'(x₀,y₀,δ_p))을 계산한다. 인접한 어드레스(x₀+1)에 대해 그리고 각각의 추가적인 어드레스에 대해, DualPort RAM(35)이 사용되고, 뿐만 아니라 제1 DSP(36)와 유사하게, 그러나, YL_image의 행에 있는 다른 좌표에 대해 작동하는 추가적인 DSP(37)가 사용된다. 디스패리티 범위를 통해 이어지는 DSP는 재사용될 수 있다.

그 다음, 함수 값(SSD'(x₀,y₀,δ_p))은 제1 필터 프로세서에 의해 평가된다. 수학식 (31)에서의 논리곱(x = x₀이고 y = y₀임)이 참인 경우, 그러면 SSD(x₀,y₀,δ_p)는 포지션(δ_p)에서 최소치를 갖는다. 그러한 최소치에 대해, 서브픽셀 정밀도의 그룹 디스패리티 값(δ_sub)이 결정된다. 이들 최소치는 그룹 디스패리티 값에 대한 후보이다.

따라서, 하나의 실시형태에서, 컴퓨팅 디바이스가 디스패리티 값의 후보의 목록을 생성하도록 구성되는 것이 고려된다. 후속하여, 상응하게 구성된 컴퓨팅 디바이스는 적어도 하나의 선택 기준에 기초하여 디스패리티 값을 유효한 것으로 선택할 수 있다.

이 실시형태의 개선에서, 두 번째 가능한 필터 프로세서는 이러한 목적을 위해 디스패리티 신호의 신호 강도, 즉 대응 함수의 2차 도함수(SSD"(x₀,y₀,δ_p))를 사용한다. 예상될 신호 강도는 YL_image 및 YR_image에 대해 ACFL(x₀,y₀) 및 ACFR(x₀,y₀,δ_p)로서 개별적으로 또한 결정될 수 있고(수학식 (35)), 그 결과, 신호 강도의 예상된 값은 대응 함수의 계산 이전에 양호한 근사치로 알려진다. 신호 강도는 모든 v_max 개의 신호 쌍에 대해 누적된다. 그 다음, ACFL, ACFR, 및 SSD"(x₀,y₀,δ_p)(수학식 (36)) 대 임계 값(thr_L1, thr_L2, thr_R1, thr_R2, thr_A1 및 thr_A2)의 관계가 테스트된다.

간단히 말해서, 이들 테스트는 그룹 디스패리티의 누적된 신호 강도의 테스트로서, 또는 카메라 이미지 둘 모두의 누적된 신호 강도의 테스트로서 이해될 수 있다. 이 실시형태에 따르면, 컴퓨팅 디바이스는, 상응하여, 디스패리티 신호의 신호 강도와 이미지 패치 사이의 관계를 계산하도록 그리고 선택 기준으로서 그들을 임계 값에 대해 비교하도록 구성된다.

카메라의 실제 공차를 고려하는 것에 의해, 테스트는, 예를 들면 모든 임계 값을 2의 값으로 설정할 때, 올바른 값의 많은 비율을 억제하지 않으면서 포지션(δ_p)에서의 잘못된 후보의 많은 비율을 필터링할 것이다. 세 번째 가능한 필터 프로세서는, 나중에 임계 값에 대해 비교될 수 있는 신호 강도와 비교하여 정규화되는 값(SSD_norm(x₀,y₀,δ_p)(수학식 (37)))을 결정한다.

임계 값은 노이즈에 대한 한계로서 간주될 수 있다. 예를 들면, 20 개의 피쳐 및 피쳐당 10 %의 가정된 평균 편차는 0.2의 임계 값을 초래한다. 임계치를 초과하는 포지션(δ_p)에서의 후보는 제거될 것이다. 수학식 (37)의 FL_u,v(x,y) 대신, FR_u,v(x,y,δ_p)를 유사한 방식으로 사용하는 것이 또한 가능하다. 또한, KSSD(x₀,y₀,δ_p)의 유사하게 정규화된 값을 사용한 테스트가 필터링을 위해 사용될 수 있다. 따라서, 여기에서 사용되는 선택 기준은, 디스패리티에 대한 후보에 대응하는 이미지 포지션의 위치에서의 로컬 신호 강도로 정규화되는 대응 함수의 임계 값과의 비교이다. 더 일반적으로, 이 실시형태는, 따라서, 컴퓨팅 디바이스가 각각의 이미지 포지션에서 개개의 이미지 중 적어도 하나의 이미지의 신호 강도로 정규화되는 대응 함수를 계산하도록, 또는 대응 함수를 신호 강도를 사용하여 정규화하도록 그리고 후보 디스패리티에 대한 대응 함수의 정규화된 값을 임계 값과 비교하도록 구성된다는 사실에 기초한다. 임계 값이 초과되는 경우, 후보가 분류된다.

네 번째 가능한 필터 프로세서는 수학식 (34)로부터의 신뢰도 함수(KSSD(x₀,y₀,δ_p))를 사용한다. f_konf의 앞서 언급된 적절한 선택에 기인하여, 후자는 (δ_p)에서의, 즉 x 방향의 작은 변화에 약간만 의존한다. KSSD(x₀,y₀,δ_p)에서 y 방향의 컨볼루션에 대해 x 방향의 그룹 디스패리티에 대해 노이즈 최적화된 컨볼루션 커널을 사용하는 것에 의해, KSSD(x₀,y₀,δ_p)는 y 방향에서 노이즈 최적화된 디스패리티를 측정할 것이다. YL_image 및 YR_image가 정류되기 때문에, x 방향의 디스패리티가 올바르게 결정되는 경우, 이상적인 시스템에서는 y 방향의 디스패리티가 제로가 되어야 한다. 실제 스테레오 카메라 및 예시적인 실시형태에 적용하면, 이것은 포지션(δ_K)에서의 올바른 후보에 대한 KSSD(x₀,y₀,δ_K)가 포지션(δ_A)에서의 다른 후보에 대한 KSSD(x₀,y₀,δ_A)와 비교하여 최소가 되어야 한다는 것을 의미한다. 이것은 후보를 필터링하기 위해 그리고 올바른 후보를 선택하기 위해 사용될 수 있다. 따라서, 이 필터 프로세서는, 컴퓨팅 디바이스가 디스패리티 값에 대한 후보의 목록을 생성하도록 그리고 적어도 하나의 선택 기준에 기초하여 디스패리티 값을 유효한 것으로 선택하도록 구성되는 실시형태에 기초하는데, 후보에 대한 신뢰도 함수의 값의 계산 및 신뢰도 함수의 가장 낮은 값을 갖는 후보를 유효한 것으로 선택하는 것을 수반한다. 따라서, 선택 기준은 y 방향의, 즉 에피폴라 라인의 방향에 수직인 디스패리티에 의존하는 신뢰도 함수의 값이다.

다른 가능한 선택 기준은 컬러 차이 또는 컬러 차이로부터 도출되는 피쳐이다. 더 일반적으로, 실제 디스패리티의 결정에서 고도의 확실성을 달성하기 위해 복수의 선택 기준이 누적적으로 결정될 수 있다.

대응 함수(SSD(x₀,y₀,δ_p))와는 별개로 신뢰도 함수(KSSD(x₀,y₀,δ_p))를 프로세싱하는 것은 그룹 디스패리티의 노이즈 최적화에 관련이 있다. 카메라 베이스의 벡터에 대해 수직으로 계산되는 신뢰도 함수는 그룹 디스패리티 측정에 대한 그 자체 신호 기여를 제공하지 않으며, 교차 상관과 유사하게, 등방성으로 공동으로 프로세싱되는 경우, 추가적인 노이즈 기여를 제공할 것이다.

다섯 번째 가능한 필터 프로세서는 포지션(δ_K)에 있는 후보의 전술한 속성 중 또 다른 속성을 추가로 취하고 그들을 임계 값에 비교한다. 예를 들면, 카메라 이미지 둘 모두에서 이미지 패치 사이의 가정된 최대 밝기 차이 또는 컬러 차이는 이러한 방식으로 필터로서 사용될 수 있다.

여섯 번째 가능 필터 프로세서는 기준 이미지 패치의 모든 검색 이미지 패치에 대한 대응 함수의 글로벌 최소치, 즉 포지션(δ_K)에 있는 모든 후보에 대한 SSD(δ_K)의 최소치를 결정하고, 그로부터 임계 값을 도출하고, 자신의 SSD(δ_K)가 이 임계치를 초과하는 후보를 분류한다. 도 13에서 도시되는 예에서, 임계 값은 파선에 의해 나타내어진다.

전술한 필터 프로세서는 임의의 순서로 연결될 수 있거나 또는 병렬로 실행될 수 있고 디스패리티 값, 바람직하게는 서브픽셀 정밀도 값(δ_sub)이 전체 행에 대한 메모리에 저장 및 결합될 수 있도록 후보의 개수를 충분히 적은 수로 감소시킬 수 있다. 대응 함수의 계산과는 독립적인 필터 프로세서가 대응 함수의 계산 이전에 또한 적용될 수도 있고 어쩌면 대응 함수의 값 또는 그것의 1차 도함수가 결정되기 이전에 검색 이미지 패치를 필터링할 수 있다.

SSD_norm(x₀,y₀,δ_p)와 같은, 앞서 언급된 필터 프로세서에 의해 사용되는 값이 KSSD(x₀,y₀,δ_p)와 가중된 방식으로 결합되어 후보별 신뢰도 값 또는 신뢰도 벡터(K)를 획득할 수 있다. 복수의 후보가 이미지의 동일한 또는 상이한 좌표에 대해 모순된 측정 결과를 갖는 경우, 그러한 신뢰도 벡터(K)는 어쩌면 정확한 후보를 찾기 위해 그리고 더 낮은 신뢰도를 갖는 후보를 필터링하기 위해 사용될 수 있다. 예를 들면, SSD_norm(x₀,y₀,δ_p) 및 KSSD(x₀,y₀,δ_p)로부터 K가 획득되는 경우, K의 가장 낮은 크기를 갖는 후보가 최상의 후보일 가능성이 있고, 다른 충돌하는 후보는 제거될 수 있다.

디스패리티(δ_p)를 갖는 검색 이미지 패치의 포지션에서 대응 함수의 1차 도함수의 제로 크로싱 또는 로컬 극값 부근의 그룹 디스패리티의 서브픽셀 정밀도 값(δ_sub)은 다음의 관계식 중 하나를 사용하여 컴퓨팅 디바이스(3)에 의해 결정될 수 있다:

그 다음, 이 서브픽셀 정밀도 값은 추가적인 프로세싱 또는 디스플레이를 위해 대응 분석기에 의해 출력될 수 있다. 여기서, (δ_p-1)은 검색 이미지 패치의 시퀀스에서 δ_p의 검색 이미지 패치에 대한 선행자(predecessor)의 디스패리티이다. δ_p+1은 검색 이미지 패치의 시퀀스에서 δ_p의 검색 이미지 패치에 대한 후행자(successor)의 디스패리티이다. 특히, δ_p-1은 δ_p의 선행자, 즉, 에피폴라 라인 상에서 디스패리티(δ_p)를 가지고 검색 이미지 패치 앞에 놓이는 검색 이미지 패치의 디스패리티를 가리키고, δ_p+1은 δ_p의 후행자, 즉, 에피폴라 라인 상에서 디스패리티(δ_p)를 가지고 검색 이미지 패치 후방에 놓이는 검색 이미지 패치의 디스패리티를 가리킨다.

대응 함수(SSD(δ_p))를 계산하는 대신에 또는 그에 추가하여, 상기에서 이미 언급되는 바와 같이, 그것의 도함수(SSD'(δ_p))도 또한 계산될 수 있고, 디스패리티(δ)는 이 도함수로부터 결정될 수 있다. 따라서, 본 개시의 추가적인 양태에서, 다음의 관계식에 따라 대응 함수(SSD'(δ_p))의 1차 도함수를 계산하도록 구성되는 대응 분석기가 제공되는데

여기서 δ_p-1은 검색 이미지 패치의 시퀀스에서 δ_p의 검색 이미지 패치에 대한 선행자의 디스패리티, 특히 에피폴라 라인 상에서 디스패리티(δ_p)를 가지고 검색 이미지 패치 앞에 놓이는 검색 이미지 패치의 디스패리티이고, FL_u,v는 신호의 컨볼루션에 사용되는 u_max 개의 컨볼루션 커널의 세트 중에서 인덱스(u)를 갖는 컨볼루션 커널을 사용한 신호(YL_signal,v)의 컨볼루션의 결과이고, 그리고 FR_u,v(δ)는 인덱스(u)를 갖는 컨볼루션 커널을 사용한 디스패리티(δ)를 갖는 검색 이미지 패치의 신호(YR_signal,v)의 컨볼루션의 결과이다. 이것은, 특히 FPGA 프로세서를 사용하는 경우, 및 또한 GPU 구현의 경우, 계산 노력을 크게 감소시킨다. 워드 폭도 또한 상당히 감소된다(특히 9 비트 MAC의 경우).

이제, 설명될 것은 두 개의 대응 분석기로 구성되는 시스템을 사용하는 프로세싱인데, 텍스쳐에 기초하여 표면 세부 사항을 정밀하게 검출하기 위한 고주파 프로세스, 및 텍스쳐가 없는 상태에서 확산 반사의 평가에 기초하여 표면을 대략적으로 캡쳐하기 위한 저주파 프로세스를 포함한다.

저주파 프로세스

제1 병렬 프로세스에서, 대응 분석기(1)의 추가적인 개발에 따라, 컴퓨팅 디바이스(3)는 사전 저역 통과 필터링 이후 감소된 분해능의 이미지의 쌍을 프로세싱하는데, 1/4 분해능을 갖는 예시적인 실시형태에서, 픽셀의 수는 16 배만큼 감소된다. 이 프로세스는 본질적으로 확산 반사의 저주파(LF) 공간 주파수를 캡쳐하도록 최적화된 하나 이상의 가중화 벡터(g_LF)를 활용하고, x 방향의 그리고 y 방향의 컨볼루션을 위한 컨볼루션 커널의 적어도 하나의 세트를 저장한다. 이미지 둘 모두는 저주파 프로세스의 피쳐 벡터 또는 데이터 스트림(FL 및 FR)을 생성하기 위해 앞에서 설명한 바와 같이 컨볼루션을 겪게 된다. 데이터 스트림은 도 15에 따라 대응 분석기에 의해 프로세싱된다. 좌표(x, y)에서의 디스패리티(δ)에 대한 유효한 후보는 전술한 필터 프로세서 및 옵션 사항으로 추가적인 이웃 필터를 사용하여 결정되며, 따라서, 감소된 분해능의, 예를 들면, 1/4 픽셀 및 감소된 측정 정확도의 LF 디스패리티 맵이 획득된다. 그 다음, LF 디스패리티 맵은 후속하는 고분해능 분석을 위한 디스패리티 범위를 예측하기 위해 사용된다.

고주파 프로세스

제2 병렬 프로세스에서, 대응 분석기의 추가적인 개발에 따라, 고분해능 이미지의 쌍이 컴퓨팅 디바이스(3)의 제2의 동일하게 구성된 부분에 의해 직접적으로 프로세싱된다. 제2 프로세스는 제1 프로세스를 기준으로 시간적으로 지연되는 것이 바람직하며, 그 결과, LF 디스패리티 맵의 형태의 제1 프로세스의 계산 결과는 디스패리티 범위를 예측하기 위해 사용될 수 있다. 이 목적을 위해, 컴퓨팅 디바이스는 결과를 예측하기 위해 또는 제2 대응 함수를 사용하여 대응 분석을 제어하기 위해 제1 대응 함수를 사용한 대응 분석에 의해 결정된 또는 추정된 디스패리티 값을 사용하도록 구성될 수도 있는데, 적절하게 선택된 파라미터 또는 컨볼루션 함수를 사용하여, 제2 대응 함수는 이미지 패치로부터 제1 대응 함수보다 더 높은 주파수 신호 성분을 전달한다.

통상적인 카메라 공차에서, 고주파 프로세스는 LF 디스패리티 맵의 디스패리티 값에 대해 +/-4 픽셀의 디스패리티 범위에서의 예측을 사용하여 수행된다. LF 디스패리티 맵이 유효한 후보를 포함하지 않거나 또는 좌표에 대한 낮은 신뢰도를 갖는 후보만을 포함하는 경우, 고주파 프로세스는 이 좌표에 대한 최대 예상 가능 디스패리티 범위를 분석할 수 있다. 제2 프로세스는 카메라의 OTF를 고려하는 것에 의해 텍스쳐를 캡쳐하도록 최적화된 하나 이상의 가중화 벡터(g_HF)를 사용하고, x 방향의 그리고 y 방향의 컨볼루션을 위한 컨볼루션 커널의 적어도 하나의 세트를 저장한다. 앞에서 설명한 바와 같이 이미지 둘 모두에 대해 컨볼루션이 수행되고, 그 결과, 고주파 제2 프로세스의 데이터 스트림(FL 및 FR)이 획득된다. 추가적인 프로세싱은 제1 프로세스와 유사하다.

마지막으로, 제1 및 제2 프로세스의 결과는, 각각의 경우에 획득되는 신뢰도를 고려하여, 결합된 디스패리티 맵으로 결합된다. 적절한 신뢰도 척도는 앞서 언급된 신뢰도 벡터(K)이며, 특히 누적 신호 강도(예를 들면, ACFR(x₀,y₀,δ_p), 수학식 (35))를 또한 포함하는 것이 유리하며, 그 결과, 낮은 신호 강도를 갖는 좌표에 대한 측정 결과도 또한 감소된 신뢰도를 갖는다. 좌표에 대한 측정 결과가 제1 저주파 프로세스 및 제2 고주파 프로세스 둘 모두에서 높은 신뢰도를 갖는 경우, 제2 프로세스로부터의 결과가, 그들이 더 높은 측정 정확도를 가질 가능성이 있기 때문에, 사용된다. 한 좌표에 대해, 제1 프로세스만이 높은 신뢰도를 제공하는 경우, 그것의 결과가 사용된다. 한 좌표에 대해, 제1 프로세스가 낮은 신뢰도만을 제공하는 경우, 제2 프로세스는, 이미 언급된 바와 같이, 전체 예상 가능 디스패리티 범위를 분석할 수 있고, 그 결과는, 그것이 높은 신뢰도를 갖는 경우, 사용될 수 있다. 추가적으로, 이미 언급된 바와 같이, 신뢰도에 기초하여 모순된 측정 결과가 필터링될 수 있다.

마지막 단계에서, 출력 저역 통과 필터링이 수행된다. 이 목적을 위해, 유리하게는 결과(δ_sub)로 구성되는 결합된 디스패리티 맵은, 먼저, 수학식 (1)에 따라 데카르트 좌표로 변환되고, 그 다음, 가우시안 필터를 사용하여 보간된다. 이러한 방식으로, x,y 평면에서 등거리인 그리드가 획득되는데, 도 6a는 필터를 적용하기 이전이고 도 6b는 필터를 적용한 이후이다. 이 프로세스는 리샘플링으로 또한 지칭된다.

상기의 예시적인 실시형태에서, 단순화를 위해, 디스패리티 결정을 위해 사용되는 이미지 패치로부터의 정보는, 그것이 각각의 이미지 패치에서 위치되는 곳과는 상관 없이, 동일하게 가중된다는 것이 가정되었다. 그러나, 가중화 함수(W(x))를 사용한 불균일 가중화도 또한 가능하며, 수학식 (6)으로의 확장으로서, 수학식 (40)에서 나타내어지는 바와 같은 신호 모델에 통합될 수 있다.

가중화 함수는 임의의 형태 또는 값을 취할 수 있는데, 예를 들면, 가우시안 필터와 유사한 수학식 (41)에서 나타내어지는 함수를 사용하는 것이 가능하다. 그것은 이미지 패치의 중앙에 있는 신호를 이미지 패치의 가장자리에 있는 신호보다더 많이 가중하는데, 이것은, 전자가 후자보다 디스패리티 결정에 대해 상대적으로 더 많은 영향을 끼칠 것임을 의미한다. 균일한 가중화의 경우, W(x)는, 예를 들면, 1의 상수 값을 갖는다.

가중화 함수의 적절한 선택을 통해, 필요한 컨볼루션 커널은, 필요시 적분의 수치 계산을 사용하여, 이미 설명된 프로시져에 따라 결정될 수 있다. 예를 들면, 수학식 (41)이 사용되는 경우, 파라미터(ρ)의 선택에 따라 매트릭스(AEV 및 AOD)가 변경될 것이지만, 그러나 추가적인 단계는 유사하다. 이와 관련하여, 컨볼루션 커널은 복수의 짝수 및 홀수 고조파 함수의 가중된 합을 여전히 포함하지만, 그러나 가중화 함수를 사용하는 것에 의해 그들은, 그들이 선택된 가중화 함수를 동시에 또한 포함하는 그러한 방식으로 추가로 결정된다는 것을 특히 유의해야 한다. 수학식 (41)에 따른 특수 가중화와 같은 특정한 예시적인 실시형태에 제한되지 않으면서, 하나의 실시형태에 따르면, 적어도 하나의, 바람직하게는 모든 컨볼루션 커널이 가중화 함수를 포함하는 것, 특히 이미지 패치의 상이한 부분으로부터의 정보가 다양한 정도로 대응 분석에, 특히 디스패리티의 결정에 포함되는 것을 허용하기에 적절한 가중화 함수를 포함하는 것이 추가로 고려된다.

가중화는 이미지 패치의 데이터로부터 신호를 결정할 때 또한 수행될 수 있다. 도 17은 이미지 패치 정보의 결과적으로 나타나는 가중화를 예시하는데, 패널 (a)는 더 나은 예시를 위해 8×8 이미지 패치로 크롭핑된 균일한 가중화를 도시하고, 패널 (b)는 신호의 결정 및 신호의 추가적인 프로세싱 둘 모두에서, 3.5 픽셀의 반치전폭(full width at half maximum)(ρ)을 갖는 수학식 (41)에 기초한 가중화를 도시한다.

가우시안 가중화 함수(Gaussian weighting function)는 3D 콘트라스트를 증가시키는 데, 즉, 간단히 말해서, 이미지 패치의 일부, 예를 들면, 중앙에 대한 측정에 초점을 맞추는 데, 실질적으로 중요하다. 예를 들면, 도 17의 패널 (b)로부터의 가중화 함수를 사용한 가중화의 결과로서, 디스패리티를 결정하기 위해 더 적은 또는 덜 강한 정보가 이용 가능할 것이지만, 그러나, 사용되는 정보는, 예에서, 소망되는 측정 위치에 더 가까울 것이다. 이것은 신호 대 노이즈 비율이 양호한 경우, 예를 들면, 오브젝트가 잘 비춰지고 텍스쳐를 가지며 카메라 이미지가 초점이 잘 맞는 경우 사용될 수 있고, 그 다음, 오브젝트 가장자리에 가까운 또는 불균일한 오브젝트 표면에 대한 더욱 정확한 디스패리티 측정을 초래할 수 있다. 따라서, 가중화 함수는, 예를 들면, 반치전폭, 또는 파라미터(ρ)의 적절한 선택을 통해, 오브젝트 속성 또는 캡쳐 속성에 대한 지식에 기초하여 적절하게 또한 선택될 수 있다. ρ가 더 작을수록, 측정은 부분 영역에 더 많이 집중될 것이다. 다른 한편으로, 균일한 가중화 함수 또는 파라미터(ρ)에 대한 큰 값은 덜 양호한 신호 대 노이즈 비율을 갖는 이미지 패치에서, 예를 들면, 안개 속에서 유리하다.

앞에서 설명한 가우시안 가중화는, 가중된 이미지 패치의 질량 중심에 가깝게 위치되는 픽셀이 가장자리에 있는 이미지 부분보다 더 높은 가중치를 갖는 하나의 가능한 실시형태를 나타낸다. 더 일반적으로, 또 다른 실시형태에 따르면, 따라서, 필터 커널 중 적어도 하나는, 이미지 패치의 질량 중심에 가까운 이 이미지 패치의 부분을, 이 질량 중심으로부터 더 멀리 떨어져 있는 부분보다 더 강하게 이 가중화 함수를 사용하여 가중하는 가중화 함수를 포함한다는 것이 고려된다. 여기서, 질량 중심은, 특히 다시, 이미지 패치의 기하학적 중심이 될 수 있다. 또한, 앞에서 설명한 바와 같이, 가중화는 이미지 속성에 기초하여 변경될 수 있거나 또는 선택될 수 있다. 이 목적을 위해, 일반적으로, 하나의 실시형태에 따르면, 컴퓨팅 디바이스는 이미지 속성, 특히 신호 대 노이즈 비율 또는 이미지 패치 근처의 또는 내부의 깊이 정보에서의 점프에 따라 가중화 함수를 선택하도록 구성된다는 것이 의도되는데, 그 점프는 이전 측정에 의해 결정되었거나 또는 그럴듯하게 보인다. 예를 들면, 깊이 정보에서의 점프는 그럴듯할 수 있으며 그러한 점프가 디스패리티의 과정에 기초하여 최소 수의 이웃하는 이미지 패치 또는 픽셀에 대해 이미 결정된 경우 이미지 패치에 대해 정의될 수 있다. 예를 들면, 적어도 두 개의 인접한 픽셀이 깊이 정보에서 그러한 점프를 나타낼 때 가중화는 변경될 수도 있다.

이미지 패치에서 가중화 함수의 무게 중심이 이미지 패치의 질량 중심과는 다르게 되는 그러한 방식으로 가중화 함수가 선택된 경우, 그러면, 대응 함수(SSD(δ_p))를 결정할 때, 이들 이미지 패치에서의 가중화 함수의 무게 중심에 기초하여 기준 이미지 패치와 검색 이미지 패치 사이의 거리(δ_p)를 결정하는 것이 유리하다. 가중화 함수의 무게 중심을 계산할 때, 가중화 함수의 함수 값은 질량 또는 로컬 밀도에 따라 질량의 중심의 계산에 포함된다. 다시 말하면, 가중화 함수의 무게 중심은 가중된 이미지 패치의 무게 중심에 대응한다.

가우시안 분포를 사용하는 가중화를 위해, ρ = 3 주변의 범위는 8×8 픽셀의 사이즈를 갖는 이미지 패치에 대해 특히 중요하다. 예시된 예로 제한되지 않으면서, 따라서, 추가적인 실시형태에 따르면, 자신의 함수 값이 반치전폭을 갖는 가중화 함수를 컨볼루션 커널 중 적어도 하나가 포함하는 것이 일반적으로 의도되는데, 이 반치전폭은 이미지 패치의 폭의 2/3보다 더 작고, 바람직하게는 이미지 패치 폭의 절반보다 더 작다. 여기서, 관련된 폭은 가중화 함수가 변하는 방향의 폭이다. 도 17의 예에서, 이것은 x 방향과 y 방향 둘 모두일 수 있다.

이미 설명되는 바와 같이, 3D 데이터 또는 데이터로부터 유효한 것으로 결정되는 디스패리티는 저역 통과 필터링되는 것이 유리하다. 본 발명의 대안적인 또는 추가적인 실시형태에서, 디스패리티(δ)를 결정하기 이전에, 즉, 동일한 포인트(δ_p)에서 인근 기준 이미지 패치의 대응 함수를 사용하여 각각의 기준 이미지 패치에 대한 대응 함수(SSD(δ_p))의 계산된 함수 값의 옵션 사항으로 가중된 평균화 또는 저역 통과와 같은 필터링에 의해 이미 평균된 대응 함수를 계산하는 것이 유리한 것으로 또한 입증되었다. 따라서, 대응 분석기의 하나의 실시형태에 따르면, 컴퓨팅 디바이스(3)가 기준 이미지 패치에 대한 평균화를 실행하도록, 특히 복수의 다른, 특히 이웃하는 기준 이미지 패치의 대응 함수(SSD(δ_p))의 값을 사용하여 이 기준 이미지 패치의 대응 함수(SSD(δ_p))의 값의 산술 평균 또는 가중된 평균을 계산하도록, 그리고 본 개시에 따라 이 평균된 대응 함수를 추가로 프로세싱하도록, 특히 포인트(δ_p)에서의 디스패리티의 서브픽셀 정밀도 값을 계산하여 출력하도록 구성되는 것이 일반적으로 고려된다.

수학식 (42)는, 예시적인 실시형태로서, 기준 이미지 패치의 3×3 환경을 사용하고 균일한 가중화를 사용하여 그들을 포함하는 평균된 대응 함수(SSD_Avg)를 나타낸다. 그러면, 추가적인 실행 단계는 SSD 함수 대신 SSD_Avg 함수를 사용할 것이다.

복수의 기준 이미지 패치의 대응 함수의 그러한 조합이 굴곡된 또는 비평면 표면 상에서 달성 가능한 3D 콘트라스트를 약간 감소시킬 수도 있지만, 대응 함수는, 유리하게는 신호 프로세싱의 선형 부분에서 이 평균화 또는 저역 통과 필터링에 의해 감쇠되는, 양자화 노이즈 또는 픽셀 아티팩트와 같은 적어도 부분적으로 상관 해제된 교란을 또한 포함한다. 다른 것들 중에서도, 예컨대 Gabor 방법에서의 SSD 계산의 이전에 이 필터링을 저역 통과 필터링으로부터 구별하는 것은, 그룹 디스패리티에 대한 컨볼루션 커널의 적용 및 대응 함수의 계산 이후의 필터링의 적용이다. 이 필터링은, 특히, 서브픽셀 보간 - 이것에 의해 디스패리티의 정확한 포지션이 결정됨 - 이전에 또한 수행되며, 따라서 출력 저역 통과 필터와는 다르다.

또한, 대응 함수의 변형 부분인 SSD_var에는 교란이 있다. 이들은, 신호 프로세싱의 이 시점에서 여전히 부분적으로 상관되기 때문에, 복수의 대응 함수를 평균화하는 것에 의해 특히 효과적으로 감소될 수 있다. 이것은 저역 통과 필터링을 특히 효과적으로 만든다. 이 속성은 디스패리티의 계산 이후 더 이상 존재하지 않는데, 그 이유는, 서브픽셀 보간이 통상적으로 비선형적이며, 그것은 또한 대응 함수의 계산 이전에 이러한 형태로 존재하지 않기 때문이며, 따라서, 그것은 이 필터링의 특수 속성을 나타낸다. 개선에서, 저역 통과 필터는, 공간 주파수(4ω)가 약간만 감소되고 4ω보다 높은 공간 주파수 성분이 크게 감소되도록, 최적으로 구성된다.

개시된 유리한 실시형태로부터의 편차는 통상적으로 디스패리티 측정의 더 많은 노이즈 또는 다르게는 더 낮은 품질을 초래한다. 이것의 예는 컨볼루션 커널의 계수의 이미 언급된 편차, 기준 이미지 패치의 신호의 그리고 상이한 컨볼루션 커널을 갖는 복수의 검색 이미지 패치의 신호의 컨볼루션, 이미지 패치 내의 소망되는 측정 포인트에 대응하지 않는 무게 중심을 갖는 가중화 함수의 사용, 또는 자신의 좌표 원점이 이미지 패치의 가중화 함수의 무게 중심의 포지션에 놓이지 않는, 또는, 균일한 가중화의 경우, 이미지 패치의 질량 중심에 놓이지 않는 짝수 또는 홀수 함수를 포함하는 컨볼루션 커널의 사용을 포함한다. 그러한 편차는 통상적으로 디스패리티 측정의 위조로 이어진다. 그러나, 대응 함수의 평균화 또는 저역 통과 필터링과 조합하여, 이러한 종류의 또는 유사한 타입의 편차는 소정의 상황 하에서 건설적으로 사용될 수 있다. 예를 들면, 상이한 컨볼루션 커널, 가중화 함수의 상이한 무게 중심, 또는 상이한 좌표 원점을 갖는 컨볼루션 커널이 상이한 기준 이미지 패치에 대해 사용된다. 더 일반적으로, 컨볼루션 커널의 함수가 짝수 및 홀수인 좌표 원점은 각각의 이미지 패치의 중심에 위치할 필요가 있는 것이 아니라, 일반적으로, 앞에서 설명한 실시형태에서와 같이, 이미지 패치의 중심을 벗어날 수도 있다. 여기에서, 결과로서 예상될 디스패리티의 개개의 측정 에러가 통계적으로 합산되어 제로가 되는 그러한 방식으로, 또는 대응 함수의 평균화의 임의의 옵션 사항의 가중화에 따라 합산되어 가중되어 총 제로가 될 때, 이들 편차를 선택하는 것이 유리하다. 대응 함수, 특히 SSD_var의 노이즈는, 다른 것들 중에서도, 각각의 디스패리티에 의존하는데, 그 노이즈를 사용하여, 적절하게 선택되는 경우, 그러한 디스패리티는 부분적으로 상관 해제될 수 있다. 본원에서 개시되는 배열 및 신호 모델은, SSD_var이 대응 함수의 극값에 가까운 홀수 함수와 통상적으로 실질적으로 닮는 그러한 방식으로 구성된다. 따라서, 대응 함수의 평균화는 에러의 통계적 누적에 기인하는 노이즈를 감소시키는 데 특히 적합하다.

앞에서 설명한 바와 같이, 카메라 이득의 더 작은 공차가 일반적으로 노이즈로 이어지지 않지만, 그러나, 카메라 사이의 더 큰 콘트라스트 차이는, 특히 상이한 OTF를 가지면, 보상되지 않는다. 실제 스테레오 카메라가 일반적으로 카메라의 전달 함수의 공차를 가지기 때문에, 기준 이미지 패치의 신호의 컨볼루션 결과의 진폭은 대응하는 검색 이미지 패치의 신호의 컨볼루션 결과의 진폭과 반드시 동일하지는 않을 것이다. 그러면, 이 시점에서 대응 함수(SSD)의 값은 제로와는 상이한데, 이것은 결정된 디스패리티에서 추가적인 노이즈로 이어질 수 있다. 이미지 패치의 신호의 컨볼루션 결과의 진폭의 벡터는 이미지 패치의 신호 강도에 의해 추정될 수 있다. 따라서, 신호 강도를 사용한 이들 컨볼루션 결과의 정규화, 즉, 예를 들면, 신호 강도에 의한 컨볼루션 결과의 제산은, 이것이 진폭 사이의 차이를 감소시키기 때문에, 유리하다.

따라서, 대응 분석기의 하나의 실시형태에서, 컴퓨팅 디바이스는, 각각의 이미지 패치의 신호 강도, 특히, 대응 분석에 사용되는 이 이미지 패치의 신호의 신호 강도와 상관되는 값을 사용하여 하나의, 바람직하게는 모든 이미지 패치의 신호의 적어도 하나의, 바람직하게는 모든, 컨볼루션 결과를 정규화하도록 구성된다는 것이 일반적으로 고려된다.

디지털 이미지를 갖는 예시적인 실시형태에서, 신호 강도는 대응 함수를 사용하여 이미지의 그 자신과의 비교의 2차 도함수를 사용하여 추정될 수 있다. 따라서, 수학식 (30) 및 (29)에 기초하여, 신호 강도는 수학식 (35)으로부터 ACFL 또는 ACFR의 제곱근으로서 결정될 수 있다.

본 발명의 추가적인 실시형태에 따르면, 컴퓨팅 디바이스는, 좌측 및 우측 카메라의 이미지 데이터로부터 계산되는 피쳐 중 적어도 하나, 바람직하게는 모두를, 이 카메라의 이미지의 대응하는 포인트에서의 각각의 신호 강도를 사용하여 정규화하도록, 그리고 특히, 그 다음, 그렇게 정규화된 피쳐를 사용하여 추가적인 계산을 수행하도록 구성된다. 이러한 추가적인 계산은, 특히, 대응 함수의 하나 이상의 최소치의 결정을 또한 포함한다. 이것은 신호의 유사성을 증가시키고, 신호 대 노이즈 비율을 개선하며, SSD의 상대적 최소치는 0의 타겟 값에 접근한다. 제곱근 대신 근사 해가 또한 사용될 수 있다. 더구나, SSD"는, 상기에서 논의되는 바와 같이 피쳐가 정규화되는 경우 그리고 다른 교란이 없는 경우, 1로 수렴한다. 이 속성은 나중의 신뢰도 분석에서 또한 사용될 수 있다.

1 대응 분석기
2 스테레오 카메라
3 컴퓨팅 디바이스
4 오브젝트
5 카메라 센서
6 메모리
8, 9 렌즈
10 렌즈 마운트
11, 12 편심 엘리먼트
13 나사
20, 21 카메라
22 캡쳐 디바이스
25, 26 디지털 이미지
30 가산기
32 지연 단위
34, 35 듀얼 포트 RAM
36, 37 DSP
98, 99 에피폴
101 3D 포인트
102 에피폴라 평면
103, 106 픽셀
104, 105 이미지
107 에피폴라 라인

Claims (26)

1. 두 개의 디지털의 개개의 이미지(25, 26)에서 대응하는 이미지 엘리먼트 사이의 시프트인 디스패리티(δ)를 결정하기 위한 대응 분석기(correspondence analyzer; 1)로서,
   - 컴퓨팅 디바이스(3)를 포함하되, 상기 컴퓨팅 디바이스(3)는
   - 각각의 경우에 상기 두 개의 개개의 이미지(25, 26)로부터 이미지 패치를 선택하도록 - 상기 개개의 이미지 중 하나의 이미지의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치의 시퀀스는 다른 개개의 이미지에서 선택됨 -; 그리고
   - 상기 기준 이미지 패치로부터 복수의 신호(YL_signal,v)를 그리고 상기 검색 이미지 패치 각각으로부터 복수의 신호(YR_signal,v)를 생성하도록; 그리고
   - 공간 윈도우에서, 메모리(6)에 저장되는 짝수 및 홀수 컨볼루션 커널을 사용하여 상기 기준 이미지 패치의 상기 복수의 신호(YL_signal,v)의 컨볼루션을 수행하도록 - 상기 짝수 컨볼루션 커널은 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합을 포함하고 상기 홀수 컨볼루션 커널은 상이한 공간 주파수의 복수의 홀수 고조파 함수의 가중된 합을 포함함 -; 그리고
   - 상기 공간 윈도우에서, 상기 메모리(6)에 저장되는 상기 컨볼루션 커널을 사용하여 상기 검색 이미지 패치 각각에 대해 상기 신호(YR_signal,v)의 컨볼루션을 수행하도록; 그리고
   - 각각의 신호 쌍(YL_signal,v 및 YR_signal,v)에 대한 각각의 컨볼루션 결과의 차이를 계산하도록; 그리고
   - 상기 검색 이미지 패치 각각에 대한 상기 컨볼루션 결과의 차이를 비선형적인 방식으로 프로세싱하고 이들을 누적하여 포인트(δ_p)에서의 대응 함수(SSD(δ_p))의 함수 값을 획득하도록, 또는, 상기 컨볼루션 결과의 차이로부터, 상기 포인트(δ_p)에서의 δ_p와 관련한 상기 대응 함수(SSD(δ_p))의 1차 도함수(SSD'(δ_p))를 계산하고, 따라서, 상기 포인트(δ_p)에서의 대응 함수(SSD(δ_p))의 또는 그것의 도함수의 함수 값을 획득하도록 - δ_p는 검색 이미지로부터의 기준 이미지의 거리를 나타냄 -; 그리고
   - 상기 대응 함수(SSD(δ_p))의 로컬 극값 또는 상기 대응 함수(SSD(δ_p))의 상기 도함수(SSD'(δ_p))의 제로 크로싱을 결정하도록; 그리고
   - 상기 로컬 극값 중 하나의 로컬 극값의 또는 상기 제로 크로싱 중 하나의 제로 크로싱의 상기 포인트(δ_p)를 상기 디스패리티(δ)로서 출력하도록; 또는
   - 상기 포인트(δ_p)에서의 상기 디스패리티의 서브픽셀 정밀도 값을 계산하여 출력하도록
   구성되는, 대응 분석기(1).
2. 제1항에 있어서,
   다음의 피쳐:
   - 상기 컨볼루션 커널은, 상기 공간 주파수 범위 내의 각각의 신호(v)에 대한 신호 모델에서, k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산 각각이 진폭(A_m)을 갖는 공간 주파수의 그룹의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 선택되고, 그 결과, 상기 대응 함수(SSD(δ))에서 인덱스(m)를 갖는 각각의 공간 주파수 및 각각의 신호(v)에 대해 두 개의 부분 합이 획득되되, 첫 번째 것은 상기 짝수 함수를 사용한 상기 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 가지며, 두 번째 것은 상기 홀수 함수를 사용한 상기 컨볼루션 연산의 결과로부터의 제곱된 진폭(A_m ²)에 의해 특성 묘사되는 항을 가지며, 그 결과, 제1 부분 합 및 제2 부분 합은, 상기 두 개의 부분 합의 합(SSD_inv(δ))이 오브젝트 위상(Δ_m)과는 독립적이도록 삼각법 피타고라스(trigonometric Pythagoras)에 따라 결합될 수 있음;
   - 상기 컨볼루션 커널은, 상기 디스패리티의 결정에서, 0.2 픽셀 미만의, 특히, 상기 공간 주파수 범위의 공간 주파수를 포함하여, 에피폴라 라인(epipolar line)의 방향을 따라 강도 변조를 갖는, 또는 대응하는 텍스쳐를 갖는 평면의 오브젝트의 시프트의 경우에는 심지어 0.1 픽셀 미만의 상기 디스패리티의 측정의 로컬 표준 편차가 달성되는 그러한 방식으로 선택됨 - 상기 오브젝트의 시프트는 카메라로부터 일정한 거리(Z)에서 그리고 상기 에피폴라 라인을 따라 발생함 -
   중 적어도 하나가 상기 메모리(6)에 저장되는 상기 컨볼루션 커널에 적용되는, 대응 분석기(1).
3. 제1항 또는 제2항에 있어서,
   다음의 피쳐:
   - 상기 컨볼루션 커널은, 상기 공간 주파수 범위의 각각의 신호(v)에 대한 신호 모델에서, k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산 각각이 진폭(A_m)을 갖는 공간 주파수의 그룹의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 상기 공간 범위에서 선택되고, 그 결과, 상기 대응 함수(SSD(δ))에서 인덱스(m)를 갖는 각각의 공간 주파수 및 각각의 신호(v)에 대해 두 개의 항이 획득되되, 첫 번째 항은 제곱된 진폭(A_m ²), 제1 상수, 및 제곱된 사인 함수의 곱이고, 두 번째 항은 제곱된 진폭(A_m ²), 제2 상수, 및 제곱된 코사인 함수의 곱이고, 상기 제1 및 제2 상수의 값은 동일하거나 또는 +/-20 %의 공차 내에서 동일함;
   - 상기 컨볼루션 커널 중 적어도 하나, 바람직하게는 모두는, 대응 분석에서, 특히 상기 디스패리티의 결정에서 상기 이미지 패치의 상이한 부분으로부터의 정보를 상이한 정도까지 포함하기에 적절한 가중화 함수(weighting function)를 포함함;
   - 필터 커널 중 적어도 하나는, 이미지 패치의 질량 중심에 가까운 이 이미지 패치의 부분을 가중하는 가중화 함수를 포함하되, 상기 부분은 이 질량 중심으로부터 더 멀리 떨어져 있는 부분보다 더 강하게 이 가중화 함수를 사용하여 가중됨 - ;
   - 상기 컴퓨팅 디바이스는 이미지 속성, 특히 신호 대 노이즈 비율 또는 상기 이미지 패치 근처의 또는 내부의 깊이 정보에서의 점프에 기초하여 가중화 함수를 선택하도록 구성되되, 상기 점프는 이전 측정에 의해 결정되었거나 또는 그럴듯하게 보임
   중 적어도 하나를 포함하는, 대응 분석기(1).
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 컴퓨팅 디바이스(3)는
   - 상기 에피폴라 라인에 대략적으로 수직인 상기 기준 이미지 패치의 데이터의 컨볼루션 연산에 의해 상기 기준 이미지 패치로부터 복수의 v_max 개의 신호(YL_signal,v)를 생성하도록, 그리고 상기 에피폴라 라인에 대략적으로 수직인 상기 각각의 검색 이미지 패치의 데이터의 컨볼루션 연산에 의해 상기 검색 이미지 패치 각각으로부터 복수의 v_max 개의 신호(YR_signal,v)를 생성하도록 구성되고, 상기 신호를 생성하는 컨볼루션 연산 및 상기 k_max 개의 짝수 및 l_max 개의 홀수 함수의 컨볼루션 연산은, 상기 신호 모델에서, 후자의 컨볼루션 연산 각각이, 하기의 인덱스(m)의 상이한 값에 의해 표기되는 복수의 공간 주파수의 가중된 신호 성분을 사용하여 합을 전송하는 그러한 방식으로 선택되고; 그 결과
   - 각각의 신호에 대해, 자신의 항이 상기 오브젝트 위상(Δ_m)에 독립적인 제1 부분 합이 상기 대응 함수(SSD(δ))에서 획득되고, 자신의 항이 상기 오브젝트 위상(Δ_m)에 대해 종속적인 제2 부분 합이 획득되되;
   - 상기 v_max 개의 신호 각각의 상기 제1 부분 합을 누적할 때, 개개의 항이 서로를 보상하지 않는 건설적 누적(constructive accumulation)이 획득되고; 그리고
   - 상기 v_max 개의 신호 각각의 상기 제2 부분 합을 누적할 때, 이들 노이즈가 있는 성분이 서로를 통계적으로 적어도 부분적으로 보상하는 통계적 누적(statistical accumulation)이 획득되는, 대응 분석기(1).
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   - 상기 k_max 개의 짝수 컨볼루션 커널의 신호 형태는 푸리에(Fourier) 계수(c_k,n)를 갖는 푸리에 급수에 의해 근사되고, 상기 l_max 개의 홀수 컨볼루션 커널의 신호 형태는 푸리에 계수(s_l,n)를 갖는 푸리에 급수에 의해 근사되되, n은 상기 각각의 푸리에 급수의 각각의 공간 주파수의 인덱스이고,
   - 이러한 방식으로 전송되는 각각의 공간 주파수(m) 및 대응하는 프로파일 벡터 가중치(g_m)에 대해, 상기 푸리에 계수(c_k,n 및 s_l,n)는 다음의 비선형 연립 방정식의 해이고:
   ,
   인덱스(m 및 n) 각각에 대한 4 개의 값의 경우, 계수(AEV_n,m 및 AOD_n,m)는 다음의 매트릭스
   
   에 의해 결정되거나 또는 이들 매트릭스 각각의 값으로부터 0.8 내지 1.2 배만큼 벗어나는, 대응 분석기(1).
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 대응 함수(SSD'(δ_p))의 1차 도함수는 다음의 관계식을 사용하여 결정되되,
   ,
   δ_p-1은 상기 검색 이미지 패치의 시퀀스에서 δ_p의 검색 이미지 패치에 대한 선행자(predecessor)의 디스패리티이고, FL_u,v는 상기 신호의 컨볼루션에 사용되는 u_max 개의 컨볼루션 커널의 세트 중에서 인덱스(u)를 갖는 상기 컨볼루션 커널을 사용한 상기 신호(YL_signal,v)의 컨볼루션의 결과이고, 그리고 FR_u,v(δ)는 인덱스(u)를 갖는 상기 컨볼루션 커널을 사용한 디스패리티(δ)를 갖는 검색 이미지 패치의 상기 신호(YR_signal,v)의 컨볼루션의 결과인, 대응 분석기(1).
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 컴퓨팅 디바이스(3)는 상기 디스패리티(δ_p)를 갖는 검색 이미지 패치의 위치에서 상기 대응 함수의 1차 도함수의 제로 크로싱 또는 로컬 극값 부근의 그룹 디스패리티의 서브픽셀 정밀도 값(δ_sub)을 다음의 관계식 중 하나를 사용하여 결정하도록,
   ,
   - δ_p-1은 상기 검색 이미지 패치의 시퀀스에서 δ_p의 검색 이미지 패치에 대한 선행자의 디스패리티이고, δ_p+1은 상기 검색 이미지 패치 시퀀스에서 δ_p의 검색 이미지 패치에 대한 후행자(successor)의 디스패리티임 - ; 그리고 δ_sub를 상기 디스패리티(δ)로서 출력하도록 구성되는, 대응 분석기(1).
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   컴퓨팅 디바이스(3)를 포함하되, 상기 컴퓨팅 디바이스(3)는
   - 상기 두 개의 개개의 이미지(25, 26) 각각으로부터 이미지 패치를 선택하도록 - 상기 개개의 이미지 중 하나의 이미지의 적어도 하나의 이미지 패치는 상기 기준 이미지 패치로서 선택되고, 검색 이미지 패치는 다른 개개의 이미지에서 검색됨 - ; 그리고 상기 이미지 패치로부터 디스패리티 값에 대한 복수의 후보를 계산하도록 구성되고; 상기 컴퓨팅 디바이스(3)는 추가로 상기 기준 이미지 패치 및 상기 검색 이미지 패치로부터 정보를 선택하도록, 그리고 상기 정보에 기초하여, 각각의 결과가 상기 기준 이미지 패치와의 각각의 검색 이미지 패치의 실제 대응을 나타내는지의 여부를 추정하는 데 적합한 가능한 디스패리티 값에 대한 신뢰도 벡터를 선택하도록 구성되는, 대응 분석기(1).
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 컴퓨팅 디바이스(3)는 특정한 기준 이미지 패치에 대한 상기 디스패리티 값에 대한 후보의 목록을 생성하도록; 바람직하게는 각각의 후보에 대한 신뢰도 벡터를 선택하도록; 그리고, 상기 신뢰도 벡터 및/또는 다른 선택 기준에 기초하여, 상기 후보의 모두 또는 일부를 유효한 것으로 선택하도록, 또는 상기 후보 중 어느 것도 상기 특정한 기준 패치에 대해 유효한 것으로 간주되지 않는다는 것을 선택하도록 구성되는, 대응 분석기(1).
10. 제9항에 있어서,
    상기 컴퓨팅 디바이스(3)는, 일부 클래스의 기준 및 검색 이미지 패치에 대해 적어도, 상기 대응 함수만을 단독으로 사용할 때 가능한 것보다 더 높은 확률로 후보를 유효한 것으로 또는 무효한 것으로 분류할 수 있는 함수를 사용하여 상기 신뢰도 벡터의 적어도 하나의 엘리먼트의 값을 선택하도록 구성되는, 대응 분석기(1).
11. 제9항 또는 제10항에 있어서,
    상기 컴퓨팅 디바이스(3)는 다음의 피쳐:
    - 상기 기준 이미지 패치의 모든 후보의 상기 대응 함수의 극값으로부터 도출되는 임계 값에 대한 포인트(δ_p)에서의 상기 후보의 SSD(δ_p)의 관계 또는 차이;
    - 그레이 값 관계, 특히 상기 기준 이미지 패치의 일부와 상기 각각의 검색 이미지 패치의 일부 사이의 그레이 값 차이, 또는 상기 그레이 값 차이로부터 도출되는 피쳐;
    - 컬러 관계, 특히 상기 기준 이미지 패치의 일부와 상기 각각의 검색 이미지 패치의 일부 사이의 컬러 차이, 또는 상기 컬러 차이로부터 도출되는 피쳐;
    - 상기 각각의 검색 이미지 패치의 신호 강도와 비교한 상기 기준 이미지 패치의 신호 강도의 관계;
    - 각각의 경우에 상기 에피폴라 라인에 대략적으로 수직인, 상기 기준 이미지 패치의 일부의 데이터와 상기 각각의 검색 이미지 패치의 일부의 데이터 사이의 정규화된 교차 상관 계수
    중 하나 이상을 사용하여 신뢰도 벡터의 엘리먼트의 값을 선택하도록 구성되되,
    이들 피쳐는 노이즈를 방지하기 위해, 바람직하게는, 대략적으로 상기 에피폴라 라인을 따라 약간 저역 통과 필터링되는, 대응 분석기(1).
12. 제10항 또는 제11항에 있어서,
    상기 컴퓨팅 디바이스(3)는 상기 대응 분석기의 유저가 후보의 목록을, 바람직하게는 유효한 후보만을, 그리고 바람직하게는 상기 각각의 신뢰도 벡터와 함께 이용 가능하게 만들도록 구성되는, 대응 분석기(1).
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    복수의 상이하게 파라미터화된 대응 함수 및 이들의 컨볼루션 커널 및 바람직하게는 이들의 각각의 하나에 대응하는 상기 프로파일 벡터(g_m)는 상기 대응 분석기(1)에 저장되거나 또는 런타임에서 결정되고;
    상기 대응 분석기(1)는 또한, 개개의 이미지 또는 이미지 패치의 이용 가능한 클래스에 기초하여 또는 추가적인 프로세싱에 유리한 개개의 이미지 또는 이미지 패치의 클래스에 기초하여 상기 복수의 대응 함수 및 이들의 컨볼루션 커널의 일부를 선택하도록 구성되는, 대응 분석기(1).
14. 제13항에 있어서,
    적어도 하나의 대응 함수 및 이들의 상기 컨볼루션 커널의 파라미터는, 가장 높은 공간 주파수에 대한 각각의 대응하는 프로파일 벡터(g_m)의 가중화 계수가 이 프로파일 벡터의 다른 가중화 계수 중 적어도 하나보다 더 작도록 선택되는, 대응 분석기(1).
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 클래스 또는 프로파일 벡터 - 이들에 기초하여 복수의 대응 함수 및 해당 컨볼루션 커널이 선택됨 - 는 상기 개개의 이미지 또는 이미지 패치의 데이터의 파워 스펙트럼에 기초하여 그리고 바람직하게는 광학 전달 함수를 고려하여 선택되는, 대응 분석기(1).
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 대응 분석은 두 개 이상의 상이하게 파라미터화된 대응 함수 및 컨볼루션 커널을 사용하여 수행되고, 상기 컴퓨팅 디바이스는, 바람직하게는 상기 결정된 신뢰도 벡터에 기초하여, 두 개 이상의 획득된 결과를 결합하거나 또는 이들 결과로부터 부분 결과를 선택하는, 대응 분석기(1).
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 결과를 예측하기 위해 또는 제2 대응 함수를 사용하여 대응 분석을 제어하기 위해 제1 대응 함수를 사용한 대응 분석에 의해 결정된 또는 추정된 디스패리티 값을 사용하도록 구성되되, 적절하게 선택된 파라미터 또는 컨볼루션 함수를 사용하여, 상기 제2 대응 함수는 상기 이미지 패치로부터 상기 제1 대응 함수보다 더 높은 주파수 신호 성분을 전달하는, 대응 분석기(1).
18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스(3)는 저역 통과 필터를 사용하여 다음의 변수:
    - 계산된 디스패리티 값;
    - 신뢰도 값;
    - 신뢰도 값에 의해 가중되는 디스패리티 값
    중 적어도 하나를 필터링하도록 구성되는, 대응 분석기(1).
19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    k_max는 2와 동일하고 상기 짝수 컨볼루션 커널은, 하기에서 주어지는 바와 같은 함수(f_even,1 및 f_even,2)를 포함하고, l_max는 2와 동일하고 상기 홀수 컨볼루션 커널은 하기에서 주어지는 바와 같은 함수(f_odd,1 및 f_odd,2)를 포함하되:
    
    off_even,1 및 off_even,2는 상기 짝수 컨볼루션 커널이 대략적으로 평균이 없도록 선택되고, 계수(3.4954, 0.7818, 4.9652, 1.8416, 4.0476, 0.2559, 6.0228, 및 0.0332) 중 적어도 하나는 최대 10 %만큼 또한 더 클 수 있거나 또는 더 작을 수 있는, 대응 분석기(1).
20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스(3)는 기준 이미지 패치에 대한 평균화를 실행하도록, 특히 복수의 다른, 특히 이웃하는 기준 이미지 패치의 상기 대응 함수(SSD(δ_p))의 값을 사용하여 이 기준 이미지 패치의 상기 대응 함수(SSD(δ_p))의 값의 산술 평균 또는 가중된 평균을 계산하도록, 그리고 바람직하게는 제1항 내지 제19항에서와 같이 이 평균된 대응 함수를 추가로 프로세싱하도록, 특히 포인트(δ_p)에서의 상기 디스패리티의 서브픽셀 정밀도 값을 계산하여 출력하도록 구성되는, 대응 분석기(1).
21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스(3)는, 상기 각각의 이미지 패치의 신호 강도, 특히, 상기 대응 분석에 사용되는 이 이미지 패치의 상기 신호의 신호 강도와 상관되는 값을 사용하여 하나의, 바람직하게는 모든 이미지 패치의 신호의 적어도 하나의, 바람직하게는 모든, 컨볼루션 결과를 정규화하도록 구성되는, 대응 분석기(1).
22. 카메라 센서(5) 및 렌즈(8, 9)를 각각 포함하는 두 개의 카메라(21, 22)를 포함하는 스테레오 카메라(2)로서,
    상기 카메라 센서(5)를 갖는 상기 렌즈(8, 9)의 광학 중심은 베이스 폭(B)만큼 서로 떨어져 이격되고, 상기 스테레오 카메라(2)는 제1항 내지 제21항 중 어느 한 항에 따른 대응 분석기(1)를 포함하는, 스테레오 카메라(2).
23. 제22항에 있어서,
    상기 렌즈(8, 9) 중 하나는 조정 가능한 편심에서 유지되고, 그 결과, 테스트 이미지 앞의 상기 편심에서 상기 렌즈(8, 9)를 회전시키는 것에 의해 동일 평면성 에러(coplanarity error)가 정정될 수 있고 상기 렌즈(8, 9)의 광학 축의 동일 평면성은 조정될 수 있는, 스테레오 카메라(2).
24. 제22항 또는 제23항에 있어서,
    상기 스테레오 카메라는 동일 평면성 정렬 에러를 정정하기 위해 런타임 동안 상기 에피폴라 라인에 대략적으로 수직인 방향으로 대응하는 이미지 패치의 상기 디스패리티를 추가적으로 평가하도록, 그리고 정류 파라미터의 정정에 의해 상기 에피폴라 라인에 대략적으로 수직인 상기 이미지 중 하나의 이미지의 반대 방향 시프트에 의해, 제로로부터의 이 디스패리티의 평균 편차, 즉, 이상적인 에피폴라 지오메트리로부터의 편차를 정정하도록 구성되는, 스테레오 카메라(2).
25. 제22항 내지 제24항 중 어느 한 항에 있어서,
    상기 대응 분석기(1)의 상기 컴퓨팅 디바이스(3)는 좌측 및 우측 카메라의 이미지 데이터로부터 계산되는 피쳐 중 적어도 하나, 바람직하게는 모두를 이 카메라의 각각의 신호 강도를 사용하여 정규화하도록 구성되는, 스테레오 카메라(2).
26. 특히 제1항 내지 제19항 중 어느 한 항에 따른 대응 분석기(1)를 사용하여, 바람직하게는 스테레오 노멀 케이스(stereo normal case)로 정류된 두 개의 디지털의 개개의 이미지(25, 26)에서 대응하는 이미지 엘리먼트의 디스패리티를 결정하기 위한 방법으로서,
    상기 디스패리티(δ), 즉, 두 개의 디지털의 개개의 이미지(25, 26)에서 대응하는 이미지 엘리먼트 사이의 시프트를 결정하기 위해, 컴퓨팅 디바이스(3)가 사용되어,
    - 상기 두 개의 개개의 이미지(25, 26)로부터 각각의 이미지 패치를 선택하고 - 상기 개개의 이미지 중 하나의 이미지의 이미지 패치는 기준 이미지 패치로서 선택되고, 검색 이미지 패치의 시퀀스는 다른 개개의 이미지에서 선택됨 -; 그리고
    - 상기 기준 이미지 패치로부터 복수의 v_max 개의 신호(YL_signal,v)를 그리고 상기 검색 이미지 패치 각각으로부터 복수의 v_max 개의 신호(YR_signal,v)를 생성하고; 그리고
    - 공간 윈도우에서, 메모리(6)에 저장되는 짝수 및 홀수 컨볼루션 커널을 사용하여 상기 기준 이미지 패치의 상기 복수의 신호(YL_signal,v)의 컨볼루션을 수행하고 - 상기 짝수 컨볼루션 커널은 상이한 공간 주파수의 복수의 짝수 고조파 함수의 가중된 합을 포함하고 상기 홀수 컨볼루션 커널은 상이한 공간 주파수의 복수의 홀수 고조파 함수의 가중된 합을 포함함 -; 그리고
    - 상기 공간 윈도우에서, 상기 메모리(6)에 저장되는 상기 컨볼루션 커널을 사용하여 상기 검색 이미지 패치 각각에 대해 상기 신호(YR_signal,v)의 컨볼루션을 수행하고; 그리고
    - 각각의 신호 쌍(YL_signal,v 및 YR_signal,v)에 대한 각각의 컨볼루션 결과의 차이를 계산하고; 그리고
    - 상기 검색 이미지 패치 각각에 대한 상기 컨볼루션 결과의 차이를 비선형적인 방식으로 프로세싱하고 이들을 누적하여 포인트(δ_p)에서의 대응 함수(SSD(δ_p))의 함수 값을 획득하도록, 또는, 상기 컨볼루션 결과의 차이로부터, 상기 포인트(δ_p)에서의 δ_p와 관련한 상기 대응 함수(SSD(δ_p))의 1차 도함수(SSD'(δ_p))를 계산하고, 따라서, 상기 포인트(δ_p)에서의 대응 함수(SSD(δ_p))의 또는 그것의 도함수의 함수 값을 계산하고 - δ_p는 검색 이미지로부터의 기준 이미지의 거리를 나타냄 -; 그리고
    - 상기 대응 함수(SSD(δ_p))의 로컬 극값 또는 상기 대응 함수(SSD(δ_p))의 도함수(SSD'(δ_p))의 제로 크로싱을 결정하고; 그리고
    - 상기 로컬 극값 중 하나의 로컬 극값의 또는 상기 제로 크로싱 중 하나의 제로 크로싱의 상기 포인트(δ_p)를 상기 디스패리티(δ)로서 출력하거나; 또는
    - 상기 포인트(δ_p)에서의 상기 디스패리티의 서브픽셀 정밀도 값을 계산하여 출력하는, 방법.

Images