KR102172912B1

KR102172912B1 - 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 장치 및 시스템

Info

Publication number: KR102172912B1
Application number: KR1020190056928A
Authority: KR
Inventors: 닐슨 마이켈
Original assignee: 엑시스 에이비
Priority date: 2018-06-12
Filing date: 2019-05-15
Publication date: 2020-11-03
Also published as: EP3582182A1; CN110598689B9; JP2020024673A; US20190378297A1; CN110598689A; KR20190140828A; TWI786293B; CN110598689B; JP6876094B2; US10783662B2; TW202013313A; EP3582182B1

Abstract

매개 변수 함수를 이용하여 이미지에서의 극점의 서브-픽셀 위치를 추정하는 방법이 제공된다. 매개 변수 함수는 이미지에서의 인접한 픽셀 그룹에 국부적으로 맞춰지고, 매개 변수 함수의 극점의 공간 위치가 식별된다. 매개 변수 함수의 극점이 이미지에서의 극점과 다른 유형이거나 매개 변수 함수의 극점의 위치가 인접한 픽셀 그룹에서의 픽셀 위치에 의해 정의된 영역 외부에 위치하면, 픽셀은 인접한 픽셀 그룹에서 제거되고, 매개 변수 함수의 맞춤이 반복된다. 결국, 서브 픽셀 위치는 매개 변수 함수의 극점의 위치로서 추정된다. 추정된 서브 픽셀 위치의 불확실성의 레벨은 서브 픽셀 위치의 추정에 도달하기 전에 필요한 반복 횟수로서 추정된다.

Description

이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 장치 및 시스템{A METHOD, A DEVICE, AND A SYSTEM FOR ESTIMATING A SUB-PIXEL POSITION OF AN EXTREME POINT IN AN IMAGE}

본 발명은 이미지에서 극점의 서브 픽셀 위치를 추정하는 분야에 관한 것이다. 특히, 매개변수 함수를 사용하여 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 관련 장치 및 시스템에 관한 것이다.

디지털 이미지는 픽셀로 불리는 유한 세트의 디지털 값으로 구성된다. 이들은 이미지에서 가장 작은 개별 요소이다. 디지털 이미지에서의 공간 위치는 픽셀의 정밀도(precision)로 측정될 수 있다. 그러나, 일부 적용 분야에서 이는 충분하지 않으며, 서브 픽셀 정밀도를 갖는 이미지에서 공간 위치를 측정하고자 한다. 예를 들어, 많은 적용 분야에서, 서브 픽셀 정밀도로 이미지에서의 강도 최대값 또는 최소값의 위치를 추정하는 것이 매우 중요하다. 이는 광학 흐름, 위성 또는 현미경 이미지로부터의 물체 위치 및 장면에서의 깊이를 추정하기 위한 스테레오 카메라 설정 내의 적용 분야를 포함한다.

이미지에서의 최대값 또는 최소값의 위치를 추정하는 한가지 방법은 매개변수 함수를 이미지의 픽셀 값에 국부적으로 피팅(fitting)하는 것을 포함한다. 그런 다음 피팅된 매개변수 함수의 최대값 또는 최소값이 식별될 수 있고, 매개변수 함수의 식별된 최대값 또는 최소값의 공간 위치가 이미지에서의 최대값 또는 최소값의 서브 픽셀 위치로서 얻어질 수 있다. 이러한 방법이 갖는 단점은 이미지에서 노이즈에 민감하다는 것이다. 또한 추정이 얼마나 신뢰할 수 있는지에 대한 척도를 제공하지 못한다. 따라서 개선의 여지가 있다.

상기의 관점에서, 본 발명의 목적은 따라서 이미지에서 최대값 또는 최소값의 서브 픽셀 위치의 개선된 추정을 제공하는 것이다.

제1 양태에 따르면, 매개변수 함수를 사용하여 노이즈의 존재에서 이미지에서의 극점(상기 이미지에서의 상기 극점은 최대값 또는 최소값의 유형임)의 서브 픽셀 위치를 추정하기 위해, 장치에서 수행되는 방법에 의해 상기 목적이 달성되며, 상기 방법은:

a) 상기 이미지에서 이웃하는 픽셀 그룹을 선택하는 단계 - 상기 이웃하는 픽셀 그룹에서의 픽셀 수는 상기 매개변수 함수를 정의하는 매개변수의 수보다 많음 -,

b) 상기 매개변수 함수를 상기 이웃하는 픽셀 그룹의 픽셀값에 피팅하는 단계 - 상기 매개변수 함수는 공간 위치의 함수로서 이웃하는 픽셀 그룹의 픽셀값을 근사함 -,

c) 상기 매개변수 함수의 극점의 공간 위치를 식별하는 단계 - 상기 매개변수 함수의 극점은 최대값, 최소값 또는 안장점(saddle point)인 유형임-,

d) 상기 매개변수 함수의 극점이 상기 이미지에서의 극점과 동일하거나 다른 유형인지 여부 및 상기 매개변수 함수의 극점의 위치가 상기 이미지에서 이웃하는 픽셀 그룹의 픽셀 위치에 의해 정의되는 영역의 내부 또는 외부에 위치되는지 여부를 확인하는 단계, 및

상기 매개변수 함수의 극점이 이미지에서 극점과 다른 유형이거나 상기 매개변수 함수의 극점의 위치가 상기 영역 외부에 위치되는 경우:

상기 이웃하는 픽셀 그룹으로부터 픽셀을 제거하는 단계, 및

상기 이웃하는 픽셀 그룹에서의 픽셀의 수가 여전히 매개변수 함수를 정의하는 매개변수의 수보다 크거나 같으면 b), c) 및 d) 단계를 반복하는 단계,

e) 상기 매개변수 함수의 극점의 공간 위치로서 상기 이미지에서 극점의 서브 픽셀 위치를 추정하는 단계,

f) 상기 추정된 서브 픽셀 위치를 b), c) 및 d) 단계의 반복 횟수에 해당하는 불확실성의 수준과 관련시키는 단계를 포함한다.

이러한 방법에 따르면, 매개변수 함수는 따라서 이미지의 이웃하는 픽셀 그룹의 픽셀 값에 국부적으로 피팅되고, 상기 매개변수 함수의 극점은 식별된다. 그러나, 상기 이미지에서 극점의 서브 픽셀 위치의 추정으로서 상기 매개변수 함수의 식별된 극점의 공간 위치를 채택하기 전에, 두개의 확인이 이루어진다.

첫번째 확인에서, 상기 매개변수 함수의 식별된 극점이 찾고 있는 상기 이미지에서의 극점과 동일한 유형 또는 다른 유형인지 여부가 확인된다. 예를 들어, 상기 이미지에서의 최대값의 서브 픽셀 위치를 찾고 있다면, 상기 매개변수 함수의 식별된 극점이 최대값인지 아닌지 여부가 확인된다. 유사하게, 상기 이미지에서 최소값의 서브 픽셀 위치를 찾고 있다면, 상기 매개변수 함수의 식별된 극점이 최소값인지 아닌지 여부가 확인된다. 이러한 첫번째 확인을 수행하는 이유는 상기 이미지에서의 노이즈가 외곽 픽셀 값(outlying pixel value)을 발생시킬 수 있기 때문이다. 상기 외곽 픽셀 값은 결과적으로 상기 매개변수 함수의 피팅이 부족한 것으로 나타날 수 있다. 결과적으로, 상기 방법이 최대값을 검색하더라도 상기 매개변수 함수는 최소값을 가질 수 있고, 그 반대의 경우도 가능할 수 있다.

두번째 확인에서, 상기 매개변수 함수의 식별된 극점이 상기 이미지에서 이웃하는 픽셀 그룹의 픽셀 위치에 의해 정의되는 영역의 내부 또는 외부에 위치되는지 여부를 확인한다. 또한, 외곽 픽셀 값은 상기 매개변수 함수의 부족한 피팅을 발생시킬 수 있어, 상기 식별된 극점은 상기 방법이 최대값 또는 최소값을 검색하는 국부 인접부의 외부에 있게 한다.

상기 매개변수 함수의 상기 식별된 극점이 상기 이미지에서의 극점과 상이한 유형이거나, 상기 매개변수 함수의 상기 식별된 극점이 이웃하는 픽셀 그룹에 의해 정의되는 영역의 외부에 위치된다면 첫번째 및 두번째 확인 중 임의의 것은 실패한다. 그것이 발생하면, 상기 방법은 상기 이웃하는 픽셀 그룹으로부터 픽셀을 제거하는 것으로 진행하고, 매개변수 함수를 상기 이웃하는 픽셀 그룹의 픽셀 값에 피팅하는 것으로 다시 시작한다. 이는 확인이 모두 통과되거나, 상기 매개변수 함수가 피팅되도록 이웃하는 픽셀 그룹에 남아있는 픽셀 값이 충분하지 않을 때까지 반복된다. 따라서 상기 방법은 채택 가능한 피팅이 얻어질 때까지 잠재적으로 외곽 픽셀 값을 반복적으로 제거하는 것을 허용한다. 이러한 방식으로, 상기 방법은 상기 이미지에서의 노이즈에 대해 보다 탄탄해진다.

상기 필요한 반복 횟수는 일반적으로 상기 이미지에서의 노이즈 수준과 관련되고 - 상기 이미지에서 노이즈가 많을수록, 일반적으로 더 많은 반복이 필요하여 채택 가능한 피팅이 얻어질 수 있다. 또한, 상기 매개변수 함수의 피팅은 각각의 반복에 대해 더 적은 픽셀 값을 기반으로 한다. 따라서, 상기 추정된 서브 픽셀 위치의 불확실성의 수준은 반복 횟수에 따라 증가하는 경향이 있다. 따라서, 상기 방법은 추정된 서브 픽셀 위치의 불확실성의 수준의 척도로서, 즉 추정이 얼마나 신뢰할 만한지의 척도로서 반복 횟수를 사용하는 것을 제안한다.

이미지는 일반적으로 임의의 종류의 공간적으로 조직화된 신호 값을 의미한다. 상기 이미지는 시각적인 광 이미지, 적외선 이미지 또는 열 이미지와 같은 센서에 의해 캡쳐되는 이미지일 수 있다. 그러나, 상기 이미지는 보다 일반적으로 2차원 그리드 상에 제공되는 임의의 측정 또는 계산된 신호 값일 수 있다. 이들 신호 값은 공간적 상호 관련되는 것과 같이 공간적으로 관련될 수 있다.

상기 이미지는 픽셀로 구성된다. 각각의 픽셀은 2차원 그리드 상에서 상기 픽셀의 위치에 해당하는 위치와 관련된다. 각각의 픽셀은 상기 픽셀의 신호 값에 해당하는 픽셀 값과 추가로 관련된다.

따라서 상기 픽셀 위치는 2차원 그리드에 배치된 개별 위치를 정의한다. 이러한 이산 위치에 제한되지 않는 2차원 공간에서의 공간 위치는 본 발명에서 서브 픽셀 위치로 나타낸다.

이미지에서의 극점은 일반적으로 상기 이미지에서의 최대값 또는 최소값을 의미한다. 상기 최대값은 국부 최대값일 수 있다. 상기 최소값은 국부 최소값일 수 있다.

매개변수 함수의 극점은 일반적으로 상기 매개변수 함수의 정지점, 즉 상기 매개변수 함수의 모든 부분 도함수(또는 기울기와 동일함)가 0인 점을 의미한다. 상기 매개변수 함수의 극점은 최대값, 최소값 또는 안장점일 수 있다.

추정의 불확실성의 수준은 일반적으로 추정이 얼마나 신뢰할 수 있는지를 나타내는 척도를 의미한다. 낮은 수준의 불확실성은 더 높은 수준의 불확실성보다 더 신뢰할 수 있는 추정을 나타낸다. 불확실성의 수준은 또한 추정의 변동을 나타낸다. 불확실성의 수준이 높을수록 불확실성의 수준이 낮은 것보다 더 높은 변동을 나타낸다.

상기 이웃하는 픽셀 그룹은 상기 이미지의 픽셀 값에 따라 선택될 수 있다. 예를 들어, 픽셀 값이 국부 최대값(극점의 유형이 최대인 경우) 또는 국부 최소값(극점의 유형이 최소인 경우)의 존재를 나타내는 이미지에서의 영역이 식별될 수 있다. 상기 이웃하는 픽셀 그룹은 이러한 영역을 포함하도록 선택될 수 있다. 이런 방식으로, 상기 극점의 위치의 대략 추정은 먼저 상기 이미지의 픽셀 값을 사용하여 이루어진다. 전술한 방법은 그런 다음 극점의 추정된 위치를 서브 픽셀 정밀도로 미세 조정하는데 사용될 수 있다. 이의 이웃하는 픽셀 각각의 픽셀 값보다 큰 픽셀 값을 갖는 이미지에서의 픽셀은 국부 최대값의 존재를 나타낸다. 유사하게, 이의 이웃하는 픽셀 각각의 픽셀 값보다 낮은 픽셀 값을 갖는 이미지에서의 픽셀은 국부 최소값의 존재를 나타낸다. 따라서, 상기 이미지에서의 극점이 최대인 경우, 이웃하는 픽셀 그룹은 상기 이미지에서 이웃하는 픽셀 각각의 픽셀 값보다 큰 픽셀 값을 갖는 이미지에서의 픽셀을 포함하도록 선택될 수 있고, 상기 이미지에서의 극점이 최소인 경우, 상기 이웃하는 픽셀 그룹은 상기 이미지에서의 이웃하는 픽셀 각각의 픽셀 값보다 낮은 픽셀 값을 갖는 이미지에서의 픽셀을 포함하도록 선택된다. 상기 이웃하는 픽셀 그룹은 (최대값이 검색되는 경우) 최대 픽셀 값을 갖는 픽셀 또는 (최소값이 검색되는 경우) 최소 픽셀 값을 갖는 픽셀에 대해 중심에 있도록 선택될 수 있다. 예를 들어, 상기 이웃하는 픽셀 그룹은 (최대값이 검색되는 경우) 최대 픽셀 값을 갖는 픽셀, 또는 (최소값이 검색되는 경우) 최소 픽셀 값을 갖는 픽셀에 대해 중심에 있도록 3x3 픽셀 이웃부를 포함할 수 있다.

상기 매개변수 함수는 2차원 이차 함수일 수 있다. 이러한 함수는 하기 매개변수 형식으로 작성될 수 있다:

f(x,y) = Ax² + By² + Cxy + Dx + Ey + F.

상기 2차원 이차 함수는 6개의 매개변수에 의해 표현된다. 따라서, 상기 매개변수 함수는 상기 이웃하는 픽셀 그룹에서 적어도 6개의 픽셀이 존재하는 한, 상기 이웃하는 픽셀 그룹의 픽셀 값에 피팅될 수 있다. 이러한 매개변수 함수는 폐쇄 표현식을 사용하여 상기 이웃하는 픽셀 그룹의 픽셀 값에 피팅될 있다는 점에서 유리하다. 따라서 이는 계산상으로 효율적인 선택이다. 그러나, 그 이점을 여전히 달성하면서 다른 매개변수 함수가 사용될 수 있음을 이해할 것이다.

상기 매개변수 함수는 최소 자승법을 사용하여 이웃하는 픽셀 그룹의 픽셀 값에 피팅될 수 있다. 이는 상기 이웃하는 픽셀 그룹의 픽셀 값과 상기 이웃하는 픽셀 그룹의 픽셀 위치에서 평가된 매개변수 함수 간의 제곱 차이의 합을 최소화하는 것을 포함한다. 이는 상기 이웃하는 픽셀 그룹의 픽셀 수가 상기 매개변수 함수에서의 매개변수의 수를 초과할 때에도, 상기 매개변수 함수를 상기 이웃하는 픽셀 그룹의 픽셀 값에 피팅하는 것은 계산적으로 효율적인 접근법이다.

상기 이웃하는 픽셀 그룹의 픽셀 값에 상기 매개변수 함수를 피팅하는 것은 상기 매개변수 함수를 정의하는 매개변수를 찾기 위한 방정식의 시스템을 해결하는 것을 포함할 수 있다. 상기 방정식의 시스템은 상기 그룹에서의 각각의 픽셀에 대해 상기 픽셀 값을 상기 픽셀 위치에서 평가된 매개변수 함수의 값과 일치하여 정의될 수 있다. 전술한 최소 자승법을 사용하여 시스템에 대한 해답을 찾을 수 있다. 방정식의 시스템을 해결하는 것은 상기 매개변수 함수를 정의하는 매개변수를 찾기 위해 상기 이웃하는 픽셀 그룹의 픽셀 값의 선형 조합을 형성하는 것을 포함할 수 있다. 상기 방법을 계산상 효율적으로 하기 위해, 상기 선형 조합들의 계수가 상기 장치에 미리 저장될 수 있다. 이러한 방식으로, 상기 계수는 미리 평가되고, 상기 방법이 수행될 때마다 평가될 필요가 없다.

전술한 바와 같이, 상기 방법은 상기 매개변수 함수의 채택 가능한 피팅이 얻어질 때까지 상기 이웃하는 픽셀 그룹으로부터 픽셀을 반복적으로 제거한다. 특히, 이상점(outlier)으로서 고려될 수 있는 픽셀이 제거될 수 있다. 이런 방식으로, 피팅에 대한 노이즈의 영향을 줄일 수 있다. 이는 다른 방법으로 수행될 수 있다. 예를 들어, 단계 d)에서, 상기 이웃하는 픽셀 그룹의 픽셀 값으로부터 형성된 평균에서 가장 벗어난 픽셀 값을 갖는 픽셀이 제거될 수 있다. 일부 경우에서 상기 평균은 상기 이웃하는 픽셀 그룹의 중심 픽셀의 픽셀 값을 생략하여 계산될 수 있다. 이는 중심 픽셀이 일반적으로 최대 (최대값인 경우) 또는 최소 (최소값인 경우) 픽셀 값을 갖는 픽셀로 선택된다는 사실에 의해 유발된다. 이런 방식으로, 상기 평균은 상기 중심 픽셀을 둘러싸는 픽셀의 평균을 반영할 것이다.

제안된 방법은 서브 픽셀 위치의 추정을 제공할 뿐만 아니라, 추정의 불확실성의 수준을 제공한다. 상기 불확실성의 수준은 단계 d)에서 정의된 두개의 확인을 통과하기 위해 요구되는 반복의 횟수의 관점으로 제공된다. 상기 불확실성의 수준은 추정이 얼마나 신뢰할 수 있는지를 반영하고, 불확실성의 수준이 감소함에 따라 신뢰도는 증가한다. 따라서 상기 불확실성의 수준은 상기 서브 픽셀 위치의 추정이 얼마나 신뢰할 수 있는지의 척도이다. 상기 불확실성의 수준에 대한 지식은 추정된 서브 픽셀 위치의 추가 처리에 사용될 수 있다. 보다 구체적으로, 상기 방법은 상기 추정된 서브 픽셀 위치를 처리하는 단계를 더 포함하며, 상기 추정된 서브 픽셀 위치와 관련된 불확실성의 수준은 상기 처리 동안, 상기 추정된 서브 픽셀 위치 또는 그로부터 계산된 양을 가중시키는데 사용되고, 보다 높은 수준의 불확실성은 낮은 수준의 불확실성보다 낮은 가중치에 해당한다. 이러한 방식으로, 추정된 서브 픽셀 위치 또는 그로부터 계산된 양은 이의 신뢰도에 따라 가중될 수 있다. 이러한 방식으로, 처리 동안 노이즈의 영향이 감소될 수 있다.

제안된 방법은 예를 들어 위성 또는 현미경 이미지로부터 물체 위치를 포함하는 다양한 응용 분야에 사용될 수 있다. 이러한 응용 분야에서, 상기 방법에 입력되는 이미지가 센서에 의해 캡쳐될 수 있다. 예를 들어, 상기 이미지는 가시광 이미지, 적외선 이미지 또는 열 이미지일 수 있다. 그러나, 응용 분야의 다른 그룹에서, 상기 이미지는 대신 2차원 그리드 상에 제공된 계산된 신호 값에 해당한다.

이러한 응용 분야의 일례는 물체 검출과 관련된다. 이러한 응용 분야에서, 상기 이미지 신호 값은 물체 검출기로부터 출력되는 점수에 해당할 수 있다. 점수는 물체가 상기 이미지에서의 픽셀 위치에 존재할 확률을 반영할 수 있다. 제안된 방법을 물체 검출기로부터 점수를 갖는 이미지에 적용함으로써, 상기 이미지에서의 물체의 위치가 서브 픽셀 정밀도로 결정될 수 있다. 상기 결정된 서브 픽셀 위치의 처리는 불확실성의 수준을 가중치로 사용하여 위치를 평활화(smooth)하는 것에 해당할 수 있다.

이러한 응용 분야의 다른 예는 스테레오 카메라와 관련된다. 스테레오 카메라에서, 제1 센서 및 제2 센서는 장면의 이미지를 각각 캡쳐하지만, 약간 다른 시야각으로부터 캡쳐한다. 두개의 이미지에서 일치하는 피쳐를 발견함으로써, 예를 들어 장면에서의 깊이, 즉 장면에서의 물체까지의 거리를 계산할 수 있다. 제안된 방법은 스테레오 이미지 쌍에서 제1 이미지와 제2 이미지 사이의 피쳐를 일치하는 공정에서 사용될 수 있다. 특히, 서브 픽셀 정밀도와 관련된 불확실성의 수준으로 일치하는 피쳐의 위치를 찾는데 사용될 수 있다.

스테레오 적용 분야에서, 상기 제안된 방법에 입력되는 이미지는 상관 맵(correlation map)에 해당할 수 있다. 상기 상관 맵은 스테레오 이미지 쌍의 제1 이미지에서 이웃하는 픽셀에서의 픽셀 값을 스테레오 이미지 쌍의 제2 이미지에서의 픽셀 값과 일치(예를 들어, 상관)시켜 생성될 수 있다. 따라서 상기 상관 맵은 상기 제2 이미지에서의 픽셀 위치에 해당하는 2차원 그리드 상에 정의된다. 또한, 상기 상관 맵의 신호 값은 상기 제1 이미지에서의 특정 픽셀의 값이 상기 제2 이미지의 픽셀 값과 일치하는 정도를 나타낸다. 상기 제안된 방법이 상관 맵을 입력으로 사용될 때, 상기 이미지에서의 극점의 서브 픽셀 위치는 따라서 상기 제1 이미지에서의 픽셀과 가장 잘 일치하는 제2 이미지에서의 서브 픽셀 위치에 해당한다.

따라서, 이러한 접근법은 상기 제2 이미지에서의 서브 픽셀 위치 및 스테레오 쌍에서의 상기 제1 이미지에서 특정 픽셀과 가장 잘 일치하는 관련된 불확실성의 수준을 추정한다. 이러한 절차는 스테레오 쌍의 제1 이미지에서 복수의 픽셀에 대해 반복될 수 있다. 보다 구체적으로, 상기 방법은 상기 스테레오 이미지 쌍의 제1 이미지에서의 복수의 픽셀 각각에 대해: 이웃하는 픽셀에서의 픽셀 값을 제2 이미지에서의 픽셀 값과 일치시킴으로써 상기 픽셀에 해당하는 상관 맵을 생성하는 단계, 상기 픽셀에 가장 잘 일치하는 상기 제2 이미지에서의 서브 픽셀 위치를 추정하기 위해 상기 픽셀에 해당하는 상기 상관 맵에 대해 a) 내지 f) 단계를 수행하는 단계 - 상기 제2 이미지에서의 서브 픽셀 위치는 불확실성의 수준과 관련됨 - 를 더 포함할 수 있다. 이러한 방식으로, 상기 제2 이미지에서의 서브 픽셀 위치 및 관련된 불확실성의 수준이 제1 이미지에서의 복수의 픽셀 각각에 대해 추정된다.

상기 복수의 픽셀은 상기 제1 이미지에서의 모든 픽셀에 해당할 수 있다. 상기 복수의 픽셀은 상기 제1 이미지에서의 특정 영역에 해당할 수 있다. 선택적으로 또는 부가적으로, 상기 스테레오 이미지 쌍의 제1 이미지에서의 복수의 픽셀은 상기 장면에서 동일한 물체를 묘사할 수 있다.

상기 방법은 상기 스테레오 이미지 쌍의 제1 이미지에서 상기 복수의 픽셀에 해당하는 상기 추정된 서브 픽셀 위치를 처리하는 단계를 더 포함할 수 있다. 추정된 서브 픽셀 위치와 관련된 불확실성의 수준은 처리 동안 가중치로서 사용될 수 있으며, 더 높은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 양에는 더 낮은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 양보다 더 적은 가중치가 제공된다. 이러한 방식으로, 상기 제1 및 제2 이미지 간의 더 적은 신뢰도 일치는 보다 신뢰성 있는 일치보다 더 낮은 가중치를 제공할 수 있다. 이러한 방식으로, 노이즈의 영향을 감소시킨다.

서브 픽셀 위치로부터 계산된 상기 양은 상기 서브 픽셀 위치와 상기 제1 이미지에서의 해당하는 픽셀의 위치 사이의 차이로서 계산되는 격차 값(disparity value)을 포함할 수 있다. 따라서, 상이한 격차 값은 이의 신뢰도에 따라 상이한 가중치가 제공될 수 있다. 결국 이는 노이즈의 영향을 감소시킬 것이다. 예를 들어, 상기 처리는 상기 추정된 서브 픽셀 위치로부터 계산된 격차 값의 가중 평균을 계산하는 단계를 포함할 수 있으며, 더 높은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 격차 값에는 더 낮은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 격차 값보다 낮은 가중치가 제공된다. 이는 예를 들어, 격차 맵(disparity map)을 평활화하는 것과 관련하여 유용할 수 있다.

서브 픽셀 위치로부터 계산된 상기 양은 상기 서브 픽셀 위치 및 상기 제1 이미지에서 해당하는 픽셀의 위치에 기초하여 계산되는 깊이 값(depth value)을 포함할 수 있으며, 여기서 상기 깊이 값은 상기 제1 이미지에서의 픽셀에 의해 묘사된 장면에서의 물체까지의 거리에 해당한다. 따라서, 이들 신뢰도에 따라 상이한 깊이 값에 상이한 가중치가 제공될 수 있다. 결국 이는 노이즈의 영향을 감소시킨다.

예를 들어, 상기 스테레오 이미지 쌍의 제1 이미지에서 복수의 픽셀에 해당하는 추정된 서브 픽셀 위치의 처리는 상기 스테레오 이미지 쌍의 제1 이미지에서의 복수의 픽셀 각각에 대해: 상기 제1 이미지에서의 픽셀의 위치 및 상기 픽셀에 가장 일치하는 상기 제2 이미지에서의 서브 픽셀 위치에 기초하여 상기 픽셀의 깊이 값을 계산하는 단계, 및 상기 깊이 값을 상기 제2 이미지에서의 서브 픽셀과 관련된 불확실성의 수준과 관련시키는 단계를 포함할 수 있다. 이러한 방식으로, 상기 계산된 깊이 값은 불확실성의 수준과 관련될 수 있으며, 이에 따라 상기 깊이 값이 얼마나 신뢰할 수 있는지에 대한 척도를 제공할 수 있다. 상기 깊이 값을 처리할 때 상기 깊이 값과 관련된 불확실성의 수준이 사용될 수 있다. 예를 들어, 더 높은 수준의 불확실성을 갖는 깊이 값과 비교하여 낮은 수준의 불확실성을 갖는 깊이 값이 더 높은 가중치에 제공될 수 있다.

상기 처리는 상기 스테레오 이미지 쌍의 제1 이미지에서 상기 복수의 픽셀에 해당하는 깊이 값들의 가중 평균을 계산하는 단계를 더 포함할 수 있고, 상기 더 높은 수준의 불확실성을 갖는 서브 픽셀 위치로부터 계산된 깊이 값에는 더 낮은 수준의 불확실성을 갖는 서브 픽셀 위치로부터 계산된 깊이 값보다 더 낮은 가중치가 제공된다. 이런 방식으로, 상기 깊이 값은 이의 신뢰도에 따라 가중치가 적용된다. 이러한 방식으로, 상기 깊이 값에서의 노이즈의 영향이 감소된다. 이는 예를 들어, 상기 이미지의 지정된 영역까지의 깊이를 계산할 때 사용될 수 있다. 이는 또한 깊이 맵을 평활화하는 하기 위한 목적에 유용할 수 있다. 보다 신뢰할 수 있는 깊이 값은 덜 신뢰할 수 있는 깊이 값보다 최종 결과에 더 큰 영향을 미친다.

상기 깊이 값의 가중 평균은 상기 스테레오 이미지 쌍의 제1 이미지에서의 복수의 픽셀에 해당하는 상기 깊이 값에 공간 필터를 적용함으로써 계산될 수 있다. 상기 공간 필터는 상기 깊이 값을 평활화하는 평활화 필터(smoothing filter)일 수 있다. 상기 공간 필터의 매개변수는 불확실성의 수준에 따라 설정될 수 있다.

서브 픽셀 위치로부터 계산된 상기 양은 3차원 공간에서 점을 포함할 수 있으며, 3차원 공간에서의 상기 점은 상기 서브 픽셀 위치 및 상기 제1 이미지에서의 해당하는 픽셀의 위치에 기초하여 계산된다. 따라서, 3차원 공간에서의 다른 점들에는 이들의 신뢰도에 따라 상이한 가중치가 제공될 수 있다. 이는 결국 노이즈의 영향을 감소시킨다.

일부 적용 분야에서, 상기 장면을 묘사하는 스테레오 이미지 쌍을 기반으로 상기 장면에서의 3차원 물체의 형상을 추정하는 것이 중요하다. 이는 제1 스테레오 이미지에서 물체를 묘사하는 복수의 픽셀을 식별하고, 제2 스테레오 이미지와 일치하는 스테레오의 결과에 기초하여 상기 복수의 픽셀에 해당하는 3차원 공간에서 점을 계산하며, 물체 템플릿을 3차원 공간에서 계산된 점에 피팅함으로써 달성될 수 있다. 상기 제안된 방법을 사용함으로써, 추정의 불확실성의 수준은 상기 물체 템플릿을 피팅하는 과정에서 가중치로 사용되어, 피팅을 노이즈에 덜 민감하게 할 수 있다. 보다 상세하게, 상기 이미지의 스테레오 쌍의 제1 이미지에서의 복수의 픽셀은 상기 장면에서 동일한 물체를 묘사할 수 있고, 상기 처리는:

상기 이미지의 스테레오 쌍의 제1 이미지에서 상기 복수의 픽셀에 해당하는 3차원 공간에서의 복수의 점을 계산하는 단계(3차원 공간에서의 각각의 점은 상기 제1 이미지에서의 해당하는 픽셀의 위치 및 상기 제1 이미지에서의 픽셀과 가장 일치하는 제2 이미지에서의 서브 픽셀 위치를 사용하여 계산됨),

3차원 물체 템플릿을 3차원 공간에서 복수의 점에 피팅하는 단계(상기 3차원 물체 템플릿은 상기 장면에서의 물체와 동일한 유형의 물체의 외곽을 정의함)를 더 포함할 수 있고,

상기 3차원 물체 템플릿을 피팅하는 단계에서, 더 높은 수준의 불확실성을 갖는 서브 픽셀 위치로부터 계산된 3차원 공간에서의 점은 더 낮은 수준의 불활식성을 갖는 서브 픽셀 위치로부터 계산된 3차원 공간에서 점보다 낮은 가중치를 제공한다.

제2 양태에 따르면, 상기 목적은 매개변수 함수를 사용하여 노이즈가 존재하는 이미지에서의 극점의 서브 픽셀 위치를 추정하기 위한 장치에 의해 달성되며(상기 이미지에서의 극점은 최대값 또는 최소값 중 어느 하나임), 프로세서를 포함하는 장치는:

a) 상기 이미지에서의 이웃하는 픽셀 그룹을 선택하고 - 상기 이웃하는 픽셀 그룹에서의 픽셀 수는 상기 매개변수 함수를 정의하는 매개변수의 수보다 큼 -,

b) 상기 매개변수 함수를 상기 이웃하는 픽셀 그룹의 픽셀 값에 피팅하며,

c) 상기 매개변수 함수의 극점의 위치를 식별하고 - 상기 매개변수 함수의 극점은 최대값, 최소값 또는 안장점인 유형임 -,

d) 상기 매개변수 함수의 극점이 상기 이미지에서의 극점과 동일하거나 다른 유형인지 여부와 상기 매개변수 함수의 극점의 위치가 상기 이미지에서의 이웃하는 픽셀 그룹의 픽셀 위치에 의해 정의된 영역의 내부 또는 외부에 위치되는지 여부를 확인하며,

상기 매개변수 함수의 극점이 상기 이미지에서의 극점과 다른 유형이거나 상기 매개변수 함수의 극점의 위치가 상기 영역 외부에 위치되는 경우:

상기 이웃하는 픽셀 그룹으로부터 픽셀을 제거하고,

상기 이웃하는 픽셀 그룹의 수가 상기 매개변수 함수를 정의하는 매개변수의 수보다 여전히 크거나 같은 경우 b), c) 및 d) 단계를 반복하며,

e) 상기 매개변수 함수의 극점의 위치로서 상기 이미지에서의 극점의 서브 픽셀 위치를 추정하고,

f) 상기 추정된 서브 픽셀 위치를 b), c) 및 d) 단계의 반복 횟수에 해당하는 불확실성의 수준과 관련시키도록 구성된다.

제3 양태에 따르면, 스테레오 카메라 시스템이 제공되며, 상기 스테레오 카메라 시스템은:

스테레오 이미지 쌍의 제1 이미지를 캡쳐하도록 구성된 제1 이미지 센서,

상기 스테레오 이미지 쌍의 제2 이미지를 캡쳐하도록 구성된 제2 이미지 센서,

제2 양태에 따른 장치, 및

상기 제1 이미지에서 이웃하는 픽셀에서의 픽셀 값을 상기 스테레오 이미지 쌍의 상기 제2 이미지에서의 픽셀 값과 일치시킴으로써 상기 스테레오 이미지 쌍으로부터 상관 맵을 생성하고,

상기 장치가 매개변수 함수를 사용하여 노이즈 존재에서 상관 맵에서의 극점의 서브 픽셀 위치를 추정하도록 상기 장치에 입력으로서 상기 상관 맵을 제공하도록 구성된 프로세서를 포함한다.

제4 양태에 따르면, 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태의 방법을 수행하도록 적용된 컴퓨터 코드 명령어를 포함하는 비-일시적 컴퓨터 판독 가능 매체가 제공된다.

제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 이점을 가질 수 있다. 본 발명은 달리 명시적으로 언급되지 않는 한 피쳐의 모든 가능한 조합에 관한 것이다. 본 발명에서 개시된 임의의 방법의 단계들은 명시적으로 언급되지 않는 한, 개시된 정확한 순서대로 수행될 필요는 없다.

상기 뿐만 아니라, 본 발명의 추가 목적, 특징 및 이점은 첨부된 도면을 참조하여 본 발명의 실시 형태에 대한 하기의 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이고, 동일한 참고 번호는 유사한 요소들에 대해 사용될 수 있다.
도 1은 실시 형태에 따른 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 장치를 도시한다.
도 2는 실시 형태에 따른 스테레오 카메라 시스템을 도시한다.
도 3은 실시 형태에 따른 이미지에서 극점의 서브 픽셀 위치를 추정하는 방법의 흐름도이다.
도 4a는 실시 형태에 따른 이미지에서 이웃하는 픽셀 그룹을 도시한다.
도 4b-4d는 매개변수 함수를 실시 형태에 따른 도 4a에 도시된 이웃하는 픽셀 그룹의 픽셀 값에 피팅하는 것을 도시한다.
도 5는 실시 형태에 따른 장면에서의 물체를 묘사하는 한쌍의 스테레오 이미지를 개략적으로 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 상세히 설명한다. 그러나, 본 발명은 많은 상이한 형태로 구현될 수 있으며, 본 발명에서 설명된 실시 형태에 한정되는 것으로 해석되어서는 안되며; 오히려, 이들 실시 형태는 철저하고 완전하게 제공되고, 본 발명의 범위를 당업자에게 완전히 전달하기 위해 제공된다. 본 발명에서 개시된 시스템 및 장치는 작동 중에 설명될 것이다.

도 1은 이미지에서의 극점의 서브 픽셀 위치를 추정하기 위한 장치(100)를 도시한다. 장치(100)는 프로세서(102)를 포함한다. 프로세서는 중앙 처리 장치, 마이크로 프로세서, 디지털 신호 프로세서 등과 같은 임의의 공지된 유형일 수 있다. 장치(100)는 메모리(104)를 더 포함한다. 메모리(104)는 비-휘발성 메모리와 같은 비-일시적 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 코드 명령어는 메모리(104)에 저장될 수 있다. 컴퓨터 코드 명령어가 프로세서(102)에 의해 실행될 때, 프로세서(102)는 본 발명에서 개시된 임의의 방법을 수행하도록 야기한다. 특히, 장치(100)에 입력되는 이미지에서의 극점의 서브 픽셀 위치를 추정하는 방법이 수행도록 야기한다.

도 2는 장치(100)가 사용될 수 있는 시스템(200)을 도시한다. 시스템(200)은 스테레오 카메라 시스템(200)이다. 시스템(200)은 제1 이미지 센서(202), 제2 이미지 센서(204), 일치 컴포넌트(206) 및 이미지에서의 극점의 서브 픽셀 위치를 추정하기 위한 도 1의 장치(100)를 포함한다.

제1 이미지 센서(202) 및 제2 이미지 센서(204)는 상이한 시야각으로부터 장면의 이미지를 동시에 캡쳐하도록 배치된다. 제1 센서(202)에 의해 캡쳐된 제1 이미지(203) 및 제2 센서(204)에 의해 캡쳐된 제2 이미지(205)는 스테레오 이미지의 쌍을 형성한다. 제1 및 제2 이미지 센서(202, 204)는 임의의 공지된 스테레오 카메라의 이미지 센서일 수 있다. 예를 들어, 이들은 AXIS P8804 스테레오 센서 키트의 일부일 수 있다.

제1 및 제2 센서(202, 204)는 일치 컴포넌트(matching component; 206)와 작동 가능하게 연결된다. 특히, 제1 및 제2 센서(202, 204)에 의해 캡쳐된 제1 이미지(203) 및 제2 이미지(205)는 일치 컴포넌트(206)에 입력으로서 제공된다. 일치 컴포넌트(206)는 프로세서를 포함한다. 프로세서는 중앙 처리 장치, 마이크로프로세서, 디지털 신호 프로세서 등과 같은 임의의 공지된 유형일 수 있다. 일치 컴포넌트(206)는 비-휘발성 메모리와 같은 비-일시적 컴퓨터 판독 가능 매체일 수 있는 메모리를 더 포함할 수 있다. 일치 컴포넌트(206)의 메모리는 컴퓨터 코드 명령어를 저장할 수 있다. 이들 컴퓨터 코드 명령어가 일치 컴포넌트(206)의 프로세서에 의해 실행될 때, 프로세서는 상관 맵(207)을 생성하고 출력하기 위해 제1 이미지(203)에서의 픽셀 값을 제2 이미지(205)에서의 픽셀 값과 일치시킨다.

일치 컴포넌트(206)는 장치(100)와 작동 가능하게 연결된다. 특히, 일치 컴포넌트(206)에 의해 생성된 상관 맵(207)은 장치(100)에 입력된다. 따라서, 장치(100)는 상관 맵에서의 극점의 서브 픽셀 위치를 추정하도록 배치된다.

일치 컴포넌트(206)는 장치에 통합될 수 있다. 특히, 프로세서(102) 및 메모리(104)는 상관 맵을 생성하기 위해 제1 및 제2 이미지(203, 205)에서의 픽셀 값을 일치시키고, 뒤이어 상관 맵에서의 극점의 서브 픽셀 위치를 추정하도록 구성될 수 있다.

장치(100)의 작동은 도 1, 도 4 및 도 3의 흐름도를 참조하여 하기에서 보다 상세히 설명될 것이다.

이미지는 장치(100)에 입력된다. 설명될 바와 같이, 장치(100)는 이미지에서의 극점의 서브 픽셀 위치의 추정뿐만 아니라, 추정의 불확실성의 수준을 제공하기 위해 이미지를 처리한다. 하기에서, 이미지에서의 극점이 최대값이라 가정된다. 그러나, 이미지에서의 극점이 최소값이 될 수 있다는 것도 이해될 것이다.

S02 단계에서, 프로세서(102)는 이미지에서의 이웃하는 픽셀 그룹을 선택한다. 이는 이미지(400) 및 선택된 이웃하는 픽셀 그룹(402)을 도시하는 도 4a에 추가로 도시된다. 도시된 이웃하는 픽셀 그룹(402)은 3x3 픽셀을 포함하지만, 5x5 픽셀 또는 7x7 픽셀과 같은 더 큰 이웃하는 픽셀 그룹이 선택될 수 있음을 이해할 것이다. 이웃하는 픽셀 그룹(402)를 선택하기 위해, 프로세서(102)는 이미지(400)에서의 하나 이상의 국부 최대값을 식별할 수 있다. 국부 최대값은 이웃하는 픽셀 각각의 그룹보다 큰 픽셀 값을 갖는 이미지(400)에서의 픽셀로서 식별될 수 있다. 이러한 국부 최대값은 도 4a의 우측 부분에 도시되며, 이의 8개의 이웃부를 초과하는 픽셀 값(403a)을 갖는 픽셀(402a)을 나타낸다. 이웃하는 픽셀 그룹(402)은 국부 최대값으로서 식별된 픽셀을 포함하도록 선택될 수 있다. 예를 들어, 이웃하는 픽셀 그룹(402)은 그룹의 중심 픽셀이 국부 최대값으로 식별된 픽셀(402a)에 해당하도록 선택될 수 있다. 도시된 예에서, 3x3 픽셀 이웃부(402)의 중심 픽셀은 국부 최대값으로 식별된 픽셀(402a)에 해당하고, 나머지 8개의 픽셀은 국부 최대값으로 식별된 픽셀(402a)의 8개의 이웃부에 해당한다. 이러한 예에서, 이웃하는 픽셀 그룹(402)의 중심 값이 가장 크다. 가정은 이웃하는 픽셀 그룹(402)에서의 픽셀 값(403)이 이미지에서의 피크로부터 측정되고, 실제 피크 좌표가 이들 측정 사이, 예를 들어 이웃하는 픽셀 그룹(402) 내의 서브 픽셀 위치에 공간적으로 위치한다는 것이다. 하기의 설명에서, 일반성(generality)을 잃지 않고, 그룹(402)의 중심 픽셀은 (0,0)에 위치하고 다른 위치는 1의 범위 내에 있다고 가정한다. 그러나, 다른 가정들이 동등하게 가능하다는 것이 이해된다. 따라서, 이웃하는 픽셀 그룹(402)에서의 픽셀 위치는 다음과 같이 가정된다:

(-1, -1)	(0, -1)	(1, -1)
(-1, 0)	(0, 0)	(1, 0)
(-1, 1)	(0, 1)	(1, 1)

이웃하는 픽셀 그룹(402)에서의 픽셀 위치는 영역(407)을 정의한다. 영역(407)은 그룹에서 픽셀의 픽셀 위치에 의해 걸쳐있다. 즉, 영역(407)은 이웃하는 픽셀 그룹(402)의 픽셀 위치 사이에 속하는 모든 공간 위치를 포함한다. 이런 경우, 영역(407)은 따라서 │x│<1 및 │y│<1에 대해 모든 공간 위치(x,y)를 포함한다.

또한, 이하의 설명에서, 그룹(402)에서 픽셀 위치에 해당하는 픽셀 값(403)은 하기에 의해 표시된다:

하나 이상의 국부 최대값이 식별되는 경우, 이웃하는 픽셀 그룹(402)은 전체 최대값(global maximum; 즉, 이미지에서 가장 큰 픽셀 값을 가짐)으로 식별된 픽셀을 포함하도록 선택될 수 있다. 선택적으로 또는 부가적으로, 이웃하는 픽셀의 복수 그룹이 선택될 수 있으며, 각각의 그룹은 하나의 식별된 국부 최대값에 해당한다. 하기에서 설명된 단계들은 그런 다음 이웃하는 픽셀의 각각의 선택된 그룹에 대해 개별적으로 반복될 수 있다.

이미지에서의 극점이 대신 최소값인 경우, 프로세서(102)는 대신에 이미지(400)에서 하나 이상의 국부 최소값을 식별하고, 국부 최소값으로 식별된 픽셀을 포함하도록 이웃하는 픽셀 그룹을 선택할 수 있다. 국부 최소값은 각각의 이웃하는픽셀 그룹보다 낮은 픽셀 값을 갖는 이미지에서 픽셀로서 식별될 수 있다.

S04 단계에서, 프로세서(102)는 이웃하는 픽셀 그룹(402)의 픽셀 값(403)에 매개변수 함수를 피팅한다. 피팅은 최종 매개변수 함수가 가능한한 우수한 공간 위치의 함수로서 이웃하는 픽셀 그룹의 픽셀 값(403)을 근사하도록 매개변수 함수의 매개변수를 추정하는 것을 포함한다. (예를 들어, 최소 자승 기능). 도 4b는 이웃하는 픽셀 그룹(402)의 픽셀 값(403)에 피팅된 매개변수 함수(404)를 도시한다. 매개변수 함수는 2차원 이차 함수일 수 있지만, 다른 매개변수 함수가 또한 사용될 수 있다. 이러한 함수는 6개의 매개 변수 A, B, C, D, E, F를 사용하여 하기 매개변수 형식으로 작성될 수 있다:

f(x,y) = Ax² + By² + Cxy + Dx + Ey + F.

2차원 이차 함수는 6개의 매개변수로 표시되기 때문에, 이웃하는 픽셀 그룹(402)에서 적어도 6개의 픽셀이 존재하는 한, 이웃하는 픽셀 그룹(402)의 픽셀 값(403)에 피팅될 수 있다.

프로세서(102)는 미지의 매개변수 및 이웃하는 픽셀 그룹(402)의 픽셀 값(403)의 관점으로 표현된 방정식의 시스템을 해결함으로써 매개변수 함수의 매개변수를 추정할 수 있다. 예를 들어, 이웃하는 픽셀의 3x3 그룹(402)의 9개의 이용 가능한 모든 샘플

을 사용하고 2차원 이차 함수의 상기 표현에 삽입하면, 9개의 방정식의 하기 시스템이 하기로 표현될 수 있다:

이러한 방정식의 시스템은 미지수보다 방정식이 많기 때문에 과-결정된다. 해답을 찾기 위해, 최소 자승법이 사용될 수 있다. 이는 이웃하는 픽셀 그룹(402)의 픽셀 값(403)과 이웃하는 픽셀 그룹(402)의 픽셀의 위치에서 평가된 매개변수 함수(404) 간의 제곱된 차이의 합을 최소화하는 것을 포함한다. 즉, 최소 자승 관점에서의 해법은 하기 최소 자승 대상을 최소화함으로써 찾을 수 있다:

편미분(

)을 찾고 각각을 0으로 설정하면 명시적으로 해결될 수 있는 방정식 시스템으로 유도된다. 이런 경우 해법은 하기이다:

따라서, 매개변수를 찾기 위해 방정식 시스템을 해결하는 것은 이웃하는 픽셀 그룹(402)의 픽셀 값

의 선형 조합을 형성하는 것을 포함한다. 선형 조합의 계수는 바람직하게 사전 계산되고 장치(100), 예를 들어 메모리(104)에 저장된다.

매개변수 함수(404)를 피팅하면, 프로세서(102)는 매개변수 함수(404)의 극점(406)의 공간 위치(405b)(도 4b에서 "X"로 표시됨)를 식별하도록 진행된다. 매개변수 함수(404)의 극점은 부분 도함수

및

이 0인 점을 의미한다. 즉, 극점은 매개변수 함수(404)의 정지점을 의미한다. 매개변수 함수(404)가 전술한 2차원 이차 함수인 경우, 이의 극점의 공간 위치(x^*, y^*)는 하기와 같다:

잘 알려진 바와 같이, 두개 변수의 함수의 정지점은 최대값, 최소값 또는 안장점일 수 있다. 상기 방법이 최대값의 서브 픽셀 위치를 추정하는 것을 목표로 한다면, 피팅된 매개변수 함수의 극점은 또한 최대값인 것이 바람직하다. 유사하게, 상기 방법이 대신에 최소값의 서브 픽셀 위치를 추정하는 것을 목표로 한다면, 피팅된 매개변수 함수의 극점은 최소값인 것이 바람직하다. 따라서, S08a 단계에서, 프로세서(102)는 매개변수 함수(404)의 극점(406)이 이미지(400)에서의 극점과 동일한 유형인지 여부를 확인한다. 즉, 프로세서(102)가 이미지(400)에서 최대값의 서브 픽셀 위치를 추정하는 것을 목표로 한다면, S08a 단계에서 프로세서(102)는 매개변수 함수(404)의 극점(406)의 공간 위치(405)가 최대값인지 아닌지 여부를 확인한다. 이러한 확인은 본 발명에서 최대값 확인으로서 지칭된다.

함수의 최대값을 찾는 것은 도함수가 0이고, f_xxf_yy - f² _xy>0, f_xx<0 및 f_yy<0인 경우이다. 따라서

,

이다. 2차원 이차 함수의 경우 f_xx = 2A, f_xx = 2B, 및 f_xy = C이다. 따라서 2차원 이차 함수의 경우, 프로세서(102)는 극점(406)이 하기 조건을 확인함으로써 최대값인지를 확인할 수 있다:

최소값에 대한 해당 조건은 f_xxf_yy - f² _xy>0, f_xx<0 및 f_yy<0이며, 2차원 이차 함수의 경우 하기가 된다:

도 4b의 예에서, 프로세서(102)는 극점(406)이 최대값인 것을 발견하고, 따라서 이미지(400)에서의 극점과 동일한 유형의 것을 발견한다. 매개변수 함수(404)가 복수의 국부 극점을 가질 수 있는 경우, 프로세서는 또한 극점(406)이 이미지에서의 극점과 동일한 유형인 매개변수 함수의 하나의 전체 극점인지 확인할 수 있다.

또한, 프로세서(102)는 S08b 단계에서, 매개변수 함수(404)의 극점(406)의 공간 위치(405b)가 이미지(400)에서 이웃하는 픽셀 그룹(402)의 픽셀 위치에 의해 정의된 영역(407)의 내부 또는 외부에 위치되는지 여부를 확인한다. 이러한 확인을 본 발명에서 위치 확인(localization check)이라고 지칭한다. S08a 및 S08b 단계는 임의의 순서로 이루어질 수 있음이 이해된다. 전술한 바와 같이 이웃하는 픽셀 그룹(402)에 대해 [-1, 1] 범위의 좌표계를 사용함으로써, 프로세서(102)는 조건 │x^*│<1, │y^*│<1이 충족되는지 여부를 확인할 수 있다.

S08a 단계의 최대값 확인과 S08b 단계의 위치 확인 모두가 통과하면(즉, 매개변수 함수(404)의 극점(406)이 이미지(400)에서의 극점과 동일한 유형이고, 매개변수 함수(404)의 극점(406)의 공간 위치(405b)가 영역(407) 내부에 위치하는 경우), 프로세서(102)는 S10단계로 진행된다.

그러나, S08a 단계의 최대값 확인 및 S08b 단계의 위치 확인 중 어느 하나라도 실패하면(즉, 매개변수 함수(404)의 극점(406)이 이미지(400)에서의 극점과 다른 유형인 경우 및/또는 매개변수 함수(404)의 극점(406)의 공간 위치(405b)가 영역(407)의 외부에 있는 경우), 프로세서(102)는 대신에 S08c 단계로 진행된다. 극점(406)의 공간 위치(405b)가 영역(407)의 외부에 위치되고 따라서 위치 확인을 실패하기 때문에, 도 4b의 예에서의 경우이다. 매개변수 함수(404)의 극점(406)이 단일 전체 최대값(또는 최소값)이 아닌 것으로 발견되는 경우, 프로세서(102)는 또한 S08c 단계로 진행될 수 있다.

S08c 단계에서, 프로세서(102)는 이웃하는 픽셀 그룹으로부터 픽셀을 제거한다. 제거 후의 계획은 이상점을 제거하고 매개변수 함수를 피팅하는 새로운 시도를하는 것이다. 외곽 값을 갖는 픽셀을 식별하는 많은 방법이 있다. 예를 들어, 프로세서(102)는 이웃하는 픽셀 그룹의 픽셀 값으로부터 형성된 평균으로부터 가장 벗어나는 픽셀 값을 갖는 픽셀을 제거할 수 있다. 평균을 형성할 때, 이웃하는 픽셀 그룹(402)의 중심에서의 픽셀 값(z₅)은 생략될 수 있다. 더욱 구체적으로, 길이(K = 8)의 배열(k = [1, 2, 3, 4, 5, 6, 7, 8, 9])이 외곽을 제거하기 위해 픽셀 값(z)의 지수가 가능한 것을 고려한다. 그런 다음 k^*(i)을 하기로부터 찾고

이는 이웃하는 픽셀 그룹(402)으로부터 제거될 픽셀일 것이다.

이는 도 4b의 예에 적용되면, 프로세서는 k^*(i) = 4에 도달하고, 도 4b에서 도면 번호 403b를 갖는 픽셀 값에 해당하는 픽셀 값(z₄)을 제거하도록 진행될 것이다. 프로세서(102)는 배열로부터 지수(k^*(i))를 제거함으로써 다음 반복을 위해 배열을 추가로 업데이트할 수 있다. 따라서 k^*(i) = 4이면, 새로운 배열은 길이(K = 7)의 k = [1, 2, 3, 6, 7, 8, 9]일 것이다.

S08c 단계에서, 프로세서(102)는 그런 다음 이웃하는 픽셀 그룹(402)의 잔여 픽셀 수가 여전히 매개변수 함수(404)를 정의하는 매개변수의 수보다 크거나 같은지 여부를 확인한다.

이러한 조건이 충족되지 않으면, 매개변수 함수를 피팅할 수 없기 때문에, 상기 방법은 종료된다. 이런 경우, 상기 방법은 극점의 서브 픽셀 위치의 추정, 즉 예에서의 좌표(0, 0)로서 이웃하는 픽셀 그룹(400)의 중심 픽셀의 좌표를 출력할 수 있다. 추정된 서브 픽셀 위치의 관련된 불확실성의 수준은 S04, S06, S08a-d 단계의 반복 수에 1을 더한 것에 해당하도록 설정될 수 있다.

그러나, 조건이 충족되면, 프로세서(102)는 전술한 바와 같이 S04, S06 및 S08a-d 단계를 반복하도록 처리된다.

도 4b의 예에서, 픽셀(403c)을 제거한 후의 잔여 픽셀의 수는 8과 동일하다. 따라서 6개의 매개변수를 갖는 2차원 이차 함수를 피팅할 수 있다. 그러므로 프로세서(102)는 이 시간에 픽셀 값(403b)이 제거되더라도 두번째로 S08a-d 단계를 반복한다. 이는 방정식의 시스템에서 하나의 방정식이 제거될 것이라는 것을 의미하며, 방정식은

을 포함한다. 예를 들어, k^*(i) = 4일 때, 최소화하려는 최소 자승 대상은 다음이 된다:

다시 방정식 시스템은 이전에 설명한 것과 동일한 방법을 사용하여 명시적으로 해결될 수 있다. 이러한 단계에서, 하나의 픽셀이 제거되면, 이웃하는 픽셀 그룹(402)에서의 8개의 픽셀이 남아있게 된다. 따라서, 픽셀이 제거됨에 따라 해결되는

의 가능한 방정식의 시스템이 존재한다. 바람직하게, 이들 8개의 가능한 방정식 시스템의 각각의 해답은 장치(100)에 미리 저장된다.

매개변수 함수(404)의 두번째 피팅의 결과는 도 4c에 도시된다. 이러한 도면으로부터 명백한 바와 같이, 매개변수 함수(404)는 최소값인 극점을 갖는다. 따라서, 단계(S08a)의 최대값 확인은 실패하고, 프로세서(102)는 단계 S08c로 다시 진행되어, 전술한 바와 같이 이웃하는 픽셀 그룹(402)으로부터 픽셀을 제거한다. 이때, 도 4c의 참조 번호 403c에 해당하는 픽셀 값(z₆)을 갖는 픽셀이 그룹으로부터 제거된다. 제거 후, 이웃하는 픽셀 그룹에 7개의 픽셀이 남게 된다. 그룹에 남아있는 픽셀의 수가 여전히 매개변수 함수의 매개변수의 수보다 크기 때문에, 단계 S08d의 조건이 충족된다. 따라서, 프로세서(102)는 단계 S04로 다시 진행되고 방정식의 시스템을 해결함으로써 세번째 시간 동안 이웃하는 픽셀 그룹(402)의 픽셀 값에 매개변수 함수를 피팅한다. 이러한 단계에서, 두개의 픽셀을 제거한 상태에서, 픽셀이 제거됨에 따라 해결되는

의 방정식의 시스템이 존재한다. 다시, 이들 28개의 방정식 시스템에 대한 해답은 장치(100)에 미리 저장되는 것이 바람직하다. 상기 방법이 추가 픽셀을 제거하려 한다면, 피팅의 다음 단계에서

의 가능한 방정식의 시스템이 존재하고, 이의 해법은 바람직하게 장치(100)에 미리 저장된다. 따라서, 이러한 예에서 장치(100)는 1 + 8 + 28 + 56 = 93 방정식의 시스템에 대한 해법을 바람직하게 미리-저장한다.

매개변수 함수(404)의 세번째 피팅의 결과는 도 4d에 도시된다. 이 시간에, 극점(406)은 최대값이고, 즉 이미지(400)에서의 극점과 동일한 유형이다. 또한, 매개변수 함수(404)의 극점(406)의 공간 위치(405d)는 영역(407) 내부에 위치된다. 따라서 단계 S08a의 최대값 확인 및 단계 S08b의 위치 확인 모두는 통과된다. 그 결과, 프로세서(102)는 S10 단계로 진행된다.

S10 단계에서, 프로세서(102)는 마지막 반복으로부터 매개변수 함수(404)의 공간 위치(405d)로서 이미지(400)에서의 극점의 서브 픽셀 위치를 추정한다. 또한, S12 단계에서, 프로세서(102)는 S04, S06 및 S08a-b 단계의 반복 횟수에 해당하는 불확실성의 수준과 추정된 서브 픽셀 위치를 관련시킨다. 도 4a-d의 예에서, 추정된 서브 픽셀 위치가 찾기 전에 3번의 반복이 필요하기 때문에, 추정된 서브 픽셀 위치와 관련된 불확실성의 수준은 따라서 3과 동일할 것이다.

추정된 서브 픽셀 위치 및 관련된 불확실성의 수준 또는 추정된 서브 픽셀 위치는 장치(100)의 출력일 수 있다. 그러나, 일반적으로, 추정된 서브 픽셀 위치 및 관련된 불확실성의 수준은 추가 처리를 위한 장치의 메모리에 저장될 수 있다. 추정된 서브 픽셀 위치의 처리는 현재의 적용 분야에 따라 달라질 수 있다. 그러나, 적용 분야에 공통적인 점은 프로세서(102)가 처리 동안의 가중치로서 추정과 관련된 불확실성의 수준을 사용할 수 있다는 것이다. 특히 불확실성의 수준이 높을수록 낮은 수준의 불확실성보다 낮은 가중치에 해당할 수 있다.

상기 방법의 특정 응용 분야는 스테레오 이미지에 관한 것이다. 특히, 도 2와 관련하여 전술한 바와 같이, 장치(100)는 상관 맵에서 극점의 서브 픽셀 위치를 추정하기 위해 스테레오 카메라 시스템(200)에 사용될 수 있다. 시스템(200)의 작동은 도 2 및 도 5를 참조하여 보다 상세히 설명될 것이다.

제1 이미지 센서(202)는 제1 이미지(203)를 캡쳐하고, 제2 이미지 센서(204)는 제2 이미지(205)를 캡쳐한다. 제1 및 제2 이미지(203, 205)는 스테레오 이미지 쌍을 형성한다. 스테레오 이미지 쌍(203, 205)은 일치 컴포넌트(206)에 입력된다. 일치 컴포넌트(206)는 제1 이미지(203)의 픽셀 값을 제2 이미지(205)의 픽셀 값과 일치시킨다. 제곱 차이의 합, 절대값 차이의 합 또는 정규화된 상호 상관(normalized cross-correlation)을 이용하는 알고리즘과 같은 임의의 알려진 국부 스테레오 일치 알고리즘이 일치에 사용될 수 있다. 이러한 알고리즘에 공통적인 점은 제1 이미지(203)에서의 일부를 제2 이미지(205)에서의 상이한 부분과 비교하고, 제1 이미지(203)의 부분이 제2 이미지(205)의 상이한 부분과 얼마나 유사한지를 결정한다는 것이다. 제1 이미지(203)에서의 부분은 제1 이미지(203)에서의 픽셀의 인접부일 수 있다. 제2 이미지(205)에서의 부분은 제2 이미지(205)에서의 상이한 픽셀의 인접부일 수 있다. 제2 이미지(205)에서의 상이한 픽셀은 제2 이미지(205)에서의 모든 픽셀 또는 제2 이미지(205)에서의 픽셀들의 서브 세트를 포함할 수 있다. 픽셀의 이웃부는 본 발명에서 픽셀 자체 및 이미지에서의 픽셀을 둘러싸는 하나 이상의 픽셀을 의미한다. 일치 컴포넌트(206)는 일치의 결과를 상관 맵(207)에 저장할 수 있다. 따라서 상관 맵(207)은 제2 이미지(205)에서의 각각의 부분이 제1 이미지(203)에서의 특정 부분과 얼마나 잘 일치하는지를 구체화하는 상관 값(correlation value)을 포함한다. 특히, 상관 맵(207)은 각각의 픽셀 또는 제2 이미지(205)에서의 픽셀의 서브 세트에 대한 상관 값을 포함할 수 있다. 각각의 상관 값은 제2 이미지(205)에서의 픽셀의 이웃부가 제1 이미지(203)에서의 특정 픽셀의 이웃부와 얼마나 잘 일치하는지를 나타낸다.

일치 컴포넌트(206)는 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d)에 대한 이러한 상관 맵(207)을 생성할 수 있다. 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d)은 제1 이미지(203)에서의 특정 영역에 해당할 수 있다. 예를 들어, 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d)은 제1 이미지(203)에서의 이웃하는 픽셀 그룹일 수 있다. 일부 적용 분야에서, 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d)은 장면에서의 동일한 물체를 묘사할 수 있다. 이는 도 5의 예에서의 경우이다. 도 5에서, 제1 이미지(203) 및 제2 이미지(205)는 장면에서의 물체(500)를 묘사하고, 여기서는 자동차의 형태이다. 여기서, 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d)은 각각 자동차를 묘사한다. 일치 컴포넌트(206)는 전술한 바와 같이 물체(500)를 묘사하는 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각에 대해 상관 맵(207)을 생성할 수 있다. 따라서, 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각은 개별 상관 맵(207)과 관련된다.

제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각에 해당하는 상관 맵(207)은 장치(100)에 입력으로서 제공될 수 있다. 따라서, 도 4a와 관련하여 설명된 이미지(400)는 이런 경우에서 상관 맵(207)일 것이다. 장치(100)는 도 3과 관련하여 설명된 방법에 따라 각각의 상관 맵(207)을 처리한다. 결과적으로, 장치(100)는 각각의 상관 맵(207)에서 최대값의 서브 픽셀 위치뿐만 아니라, 추정된 서브 픽셀 위치의 불확실성의 수준을 추정한다. 즉, 장치(100)는 제1 이미지(203)에서의 하나 이상의 픽셀 각각에 대해, 픽셀에 가장 잘 일치하는 제2 이미지(205)에서의 서브 픽셀 위치를 추정한다. 도 5의 예를 참조하면, 서브 픽셀 위치(504a, 504b, 504c, 504d)는 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각에 대해 추정된다. 서브 픽셀 위치(504a, 504b, 504c, 504d)의 관련된 불확실성의 수준은 이러한 예에서 각각 1, 3, 2, 1인 것으로 가정된다.

장치(100)의 프로세서(102)는 그런 다음 하나 이상의 픽셀(502a, 502b, 502c, 502d)에 해당하는 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)를 처리하도록 진행할 수 있다. 처리 동안, 프로세서(102)는 서브 픽셀 위치 또는 서브 픽셀 위치로부터 계산된 임의의 양을 가중하기 위해 서브 픽셀 위치(504a, 504b, 504c, 504d)와 관련된 불확실성의 수준을 사용할 수 있다. 프로세서(102)는 특정 추정보다 더 많은 추정에 더 높은 가중을 제공할 것이다. 도 5의 예에서, 서브 픽셀 위치(504a 및 504d)(불확실성의 수준 = 1을 가짐) 또는 그로부터 도출된 임의의 양은 서브 픽셀 위치(504c)(불확실성의 수준 = 2를 가짐) 또는 그로부터 도출된 임의의 양보다 큰 가중치를 제공할 것이다. 서브 픽셀 위치(504c) 또는 그로부터 도출된 임의의 양은 서브 픽셀 위치(504d)(불확실성의 수준 = 3을 가짐) 또는 그로부터 도출된 임의의 양을 차례로 제공할 것이다.

일례에 따르면, 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 도출된 양은 격차 값이다. 보다 구체적으로, 프로세서(102)는 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각에 대해 격차 값을 계산할 수 있다. 격차 값은 제1 이미지(203)에서의 픽셀(502a, 502b, 504c, 504d) 중 하나의 위치와 제2 이미지(205)에서의 해당하는 서브 픽셀 위치(504a, 504b, 504c, 504d) 사이의 차이로서 계산된다. 각각의 격차 값은 격차 값을 계산할 때 사용된 서브 픽셀 위치의 불확실성의 수준과 관련될 수 있다. 프로세서(102)는 그런 다음 계산된 격차 값을 평탄화할 수 있다. 이는 격차 값의 가중 평균을 계산하는 것을 포함할 수 있다. 가중 평균을 계산할 때, 높은 수준의 불확실성과 관련된 격차 값에는 낮은 수준의 불확실성과 관련된 격차 값보다 낮은 가중치가 제공된다.

일례에 따르면, 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 도출된 양은 깊이 값이다. 보다 상세하게, 프로세서(102)는 하나 이상의 픽셀(502a, 502b, 502c, 502d) 각각에 대해 깊이 값을 계산할 수 있다. 당업계에 공지된 바와 같이, 깊이 값은 이미지 센서들 간의 거리 및 초점 거리가 알려질 때 두개의 스테레오 이미지 간의 지점 대응 관계로부터 계산될 수 있다. 보다 상세하게, 초점 길이와 센서 간의 거리를 격차로 나눈 값으로서 깊이가 계산될 수 있다. 프로세서(102)는 각각의 깊이 값을 깊이 값을 계산할 때 사용된 서브 픽셀 위치의 불확실성의 수준과 관련될 수 있다. 프로세서(120)는 계산된 깊이 값을 평활화할 수 있다. 이는 깊이 값의 가중 평균을 계산하는 것을 포함할 수 있다. 가중 평균을 계산할 때, 높은 수준의 불확실성과 관련된 깊이 값에는 더 낮은 수준의 불확실성과 관련된 깊이 값보다 낮은 가중치게 제공된다.

하나 이상의 픽셀(502a, 502b, 502c, 502d)이 제1 이미지(203)의 모든 픽셀에 해당할 때, 계산된 깊이 값은 깊이 맵을 형성한다고 말할 수 있다. 이러한 깊이 맵은 공간 필터를 사용하여 평탄화될 수 있다. 공간 필터의 계수는 상기 가중치에 해당하고, 깊이 값과 관련된 불확실성의 수준을 사용하여 설정될 수 있다.

하나 이상의 픽셀(502a, 502b, 502c, 502d)이 제1 이미지(203)의 특정 영역에 해당할 때, 그 특정 영역에 대한 깊이의 가중된 영역이 계산될 수 있다.

일례에 따르면, 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 도출된 양은 3차원 공간에서 점이다. 보다 구체적으로, 프로세서(102)는 하나 이상의 픽셀(502a, 502b, 502c, 502d)에 해당하는 3차원 공간에서 점(506a, 506b, 506c, 504d)을 계산하기 위해 제1 이미지(203)에서의 하나 이상의 픽셀(502a, 502b, 502c, 502d) 및 제2 이미지(205)에서의 해당하는 서브 픽셀 위치(504a, 504b, 504c, 504d)을 사용할 수 있다. 당해 기술 분야에서 알려진 바와 같이, 제1 이미지(203)에서의 픽셀에 해당하는 3차원 공간에서의 점의 좌표는 픽셀의 위치 및 깊이 값으로부터 계산될 수 있다. 프로세서(102)는 계산된 점(506a, 506b, 506c, 506d) 각각을 점의 좌표를 계산할 때 사용된 서브 픽셀 위치의 불확실성의 수준과 추가로 관련시킬 수 있다. 하나 이상의 픽셀(502a, 502b, 502c, 502d)이 동일한 물체(500)를 나타내는 경우, 계산된 점(506a, 506b, 506c, 506d)은 장면에서 물체(500)에서의 점의 추정일 것이다.

프로세서(102)는 점(506a, 506b, 506c, 506d)을 처리할 수 있다. 처리 동안, 프로세서(102)는 점을 가중시키기 위해 점(506a, 506b, 506c, 506d)의 관련된 불확실성의 수준을 사용할 수 있다. 보다 높은 수준의 불확실성을 갖는 점에는 더 낮은 수준의 불확실성을 갖는 점보다 더 낮은 가중치가 제공될 것이다. 도 5에 도시된 바와 같이, 점(506a, 506b, 506c, 506d)의 처리는 물체 템플릿(508)을 점(506a, 506b, 506c, 506d)에 피팅하는 것을 포함할 수 있다. 물체 템플릿(508)은 장면에서의 실제 물체(500)와 동일한 유형의 물체의 외곽을 정의한다. 이런 경우, 물체 템플릿(508)은 자동차의 외곽을 정의한다. 그러나, 다른 적용 분야에서, 물체 템플릿(508)은 기하학적 평면, 사람, 또는 임의의 다른 종류의 물체일 수 있다. 물체 템플릿(508)을 피팅할 때, 프로세서(102)는 점(506a, 506b, 506c, 506d)에 상이한 가중치를 제공할 수 있다. 가중치는 점(506a, 506b, 506c, 506d)과 관련된 불확실성의 수준에 의존하도록 설정될 수 있어, 더 높은 수준의 불확실성이 더 낮은 가중치를 초래하고, 그 반대의 경우도 마찬가지다. 예를 들어, 물체 템플릿(508)은 가중 최소 자승법을 사용하여 점(506a, 506b, 506c, 506d)으로 피팅될 수 있고, 점(506a, 506b, 506c, 506d)과 물체 템플릿(508) 사이의 제곱된 거리의 가중된 합이 최소화된다. 총합에서의 항은 가중될 수 있어 보다 높은 수준의 불확실성을 갖는 점에 해당하는 항에는 더 낮은 수준의 불확실성을 갖는 점에 해당하는 항보다 낮은 가중치가 제공된다.

당업자는 다양한 방식으로 전술한 실시 형태를 변경할 수 있으며, 상기 실시 형태에 나타낸 바와 같이 본 발명의 이점을 여전히 사용할 수 있음을 알 것이다. 따라서, 본 발명은 나타낸 실시 형태들로 제한되어서는 안되며 첨부된 청구항에 의해서만 정의되어야 한다. 또한, 당업자가 이해하는 바와 같이, 나타낸 실시 형태들은 조합될 수 있다.

Claims

매개변수 함수(404)를 사용하여 노이즈가 존재하는 이미지(400)에서 극점의 서브 픽셀 위치를 추정하기 위해, 장치에서 수행되는 방법으로서, 상기 이미지(400)에서의 극점은 최대값 또는 최소값인 유형이고, 상기 방법:
a) 상기 이미지(400)에서 이웃하는 픽셀 그룹(402)을 선택하는 단계(S02) - 상기 이웃하는 픽셀 그룹(402)의 수는 상기 매개변수 함수(404)를 정의하는 매개변수의 수보다 큼 -,
b) 상기 매개변수 함수(404)를 상기 이웃하는 픽셀 그룹(402)의 픽셀 값(403)에 피팅하는 단계(S04) - 상기 매개변수 함수(404)는 공간 위치의 함수로서 상기 이웃하는 픽셀 그룹(402)의 픽셀 값(403)를 근사화함 -,
c) 상기 매개변수 함수(404)의 극점(406)의 공간 위치(405b, 405d)를 식별하는 단계(S06) - 상기 매개변수 함수의 극점(406)은 최대값, 최소값 또는 안장점의 유형임 -,
d) 상기 매개변수 함수(404)의 극점(406)이 상기 이미지(400)에서의 극점과 동일하거나 다른 유형인지 여부, 및 상기 매개변수 함수(404)의 극점의 위치(405b, 405d)가 상기 이미지(400)에서 이웃하는 픽셀 그룹(402)의 픽셀 위치에 의해 정의된 영역(407)의 내부 또는 외부에 위치되는지 여부를 확인하는 단계(S08a, S08b),
상기 매개변수 함수(404)의 극점(406)이 상기 이미지(400)에서의 극점과 상이한 유형이거나 상기 매개변수 함수(404)의 극점(406)의 위치(405b, 405d)가 상기 영역(407)의 외부에 위치되는 경우:
상기 이웃하는 픽셀 그룹(402)으로부터 픽셀을 제거하는 단계(S08c), 및
상기 이웃하는 픽셀 그룹(402)에서의 복수의 픽셀이 상기 매개변수 함수(404)를 한정하는 매개변수의 수보다 여전히 크거나 같은 경우, b), c) 및 d) 단계를 반복하는 단계,
e) 상기 매개변수 함수(404)의 극점(406)의 공간 위치(405d)로서 상기 이미지(400)에서 극점의 서브 픽셀 위치를 추정하는 단계(S10) 및
f) 추정된 서브 픽셀 위치를 b), c) 및 d) 단계의 반복 횟수에 해당하는 불확실성의 수준과 관련시키는 단계(S12)를 포함하는 방법.
제1항에 있어서,
상기 이미지(400)에서의 극점이 최대값인 경우, 상기 이웃하는 픽셀 그룹(402)은 상기 이미지(400)에서 이웃하는 픽셀 각각의 픽셀 값보다 큰 픽셀 값(403a)을 갖는 이미지(400)에서의 픽셀(402a)을 포함하도록 선택되고,
상기 이미지(400)에서의 극점이 최소값인 경우, 상기 이웃하는 픽셀 그룹(402)은 상기 이미지(400)에서 이웃하는 픽셀 각각의 픽셀 값보다 낮은 픽셀 값을 갖는 상기 이미지(400)에서의 픽셀을 포함하도록 선택되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 b) 단계는 상기 매개변수 함수를 정의하는 매개변수를 찾도록 방정식 시스템을 해결하는 단계를 포함하고, 상기 방정식 시스템을 해결하는 단계는 상기 매개변수 함수(404)를 정의하는 매개변수를 찾기 위해 상기 이웃하는 픽셀 그룹(402)의 픽셀 값(403)의 선형 조합을 형성하는 것을 포함하며, 상기 선형 조합의 계수는 상기 장치(100)에 미리-저장되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 추정된 서브 픽셀 위치를 처리하는 단계를 더 포함하고, 상기 추정된 서브 픽셀 위치와 관련된 불확실성의 수준은 상기 처리 동안 상기 추정된 서브 픽셀 위치를 가중시키는데 사용되며, 높은 수준의 불확실성은 낮은 수준의 불확실성보다 낮은 가중치에 해당하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 이미지에서의 극점의 추정된 서브 픽셀 위치가 제1 이미지(203)에서의 픽셀(502a, 502b, 502c, 502d)에 가장 잘 일치하는 제2 이미지(205)에서의 서브 픽셀 위치(504a, 504b, 504c, 504c)에 대응하도록, 상기 이미지(400)는 스테레오 이미지 쌍의 제1 이미지(203)에서 픽셀과 이웃하는 픽셀 값을 상기 스테레오 이미지 쌍의 제2 이미지(205)의 픽셀 값과 일치시킴으로써 생성된 상관 맵(207)에 해당하는 것을 특징으로 하는 방법.
제5항에 있어서, 상기 스테레오 이미지 쌍의 제1 이미지(203)에서의 복수의 픽셀(502a, 502b, 502c, 502d) 각각에 대해:
상기 픽셀의 인접하는 픽셀 값을 상기 제2 이미지에서의 픽셀 값과 일치시킴으로써 상기 픽셀(502a, 502b, 502c, 502d)에 해당하는 상관 맵(207)을 생성하는 단계;
상기 픽셀(502a, 502b, 502c, 502d)과 가장 잘 일치하는 상기 제2 이미지에서의 서브 픽셀 위치(504a, 504b, 504c, 504d)를 추정하도록 상기 픽셀(502a, 502b, 502c, 502d)에 해당하는 상관 맵(207)에 대해 a)-f) 단계를 수행하는 단계 - 상기 제2 이미지에서의 서브 픽셀 위치(504a, 504b, 504c, 504d)는 불확실성의 수준과 관련됨 -를 더 포함하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 스테레오 이미지 쌍의 제1 이미지(203)에서 상기 복수의 픽셀(502a, 502b, 502c, 502d)에 해당하는 상기 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)를 처리하는 단계를 더 포함하고, 상기 추정된 서브 픽셀 위치(504a, 504b, 504c, 504d)와 관련된 불확실성의 수준은 상기 처리 동안 가중치로서 사용되며, 높은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 양에는 낮은 수준의 불확실성과 관련된 서브 픽셀 위치로부터 계산된 양보다 낮은 가중치가 제공되는 것을 특징으로 하는 방법.
제7항에 있어서, 상기 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산 된 상기 양은 상기 서브 픽셀 위치(504a, 504b, 504c, 504d)와 상기 제1 이미지에서의 해당하는 픽셀(502a, 502b, 502c, 502d)의 위치 사이의 차이로서 계산되는 격차 값을 포함하는 것을 특징으로 하는 방법.
제7항에 있어서, 상기 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산된 상기 양은 상기 서브 픽셀 위치(504a, 504b, 504c, 504d) 및 상기 제1 이미지에서의 해당하는 픽셀(502a, 502b, 502c, 502d)의 위치에 기초하여 계산되는 깊이 값을 포함하고, 상기 깊이 값은 상기 제1 이미지에서의 픽셀에 의해 묘사된 장면에서 물체까지의 거리에 해당하는 것을 특징으로 하는 방법.
제9항에 있어서, 상기 처리 단계는:
상기 스테레오 이미지 쌍의 제1 이미지에서 상기 복수의 픽셀(502a, 502b, 502c, 502d)에 해당하는 깊이 값의 가중 평균을 계산하는 단계를 더 포함하고, 높은 수준의 불확실성을 갖는 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산되는 깊이 값에는 낮은 수준의 불확실성을 갖는 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산된 깊이 값보다 낮은 가중치가 제공되는 것을 특징으로 하는 방법.
제8항에 있어서, 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산된 상기 양은 3차원 공간에서의 점(506a, 506b, 506c, 506d)을 포함하고, 3차원 공간에서의 상기 점(506a, 506b, 506c, 506d)은 상기 서브 픽셀 위치(504a, 504b, 504c, 504d) 및 상기 제1 이미지에서의 해당하는 픽셀(502a, 502b, 502c, 502d)의 위치에 기초하여 계산되는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 스테레오 이미지 쌍의 제1 이미지에서의 상기 복수의 픽셀(502a, 502b, 502c, 502d)은 장면에서 동일한 물체(500)를 묘사하고, 상기 처리는:
상기 스테레오 이미지 쌍의 제1 이미지에서의 복수의 픽셀(502a, 502b, 502c, 502d)에 해당하는 3차원 공간에서의 복수의 점(506a, 506b, 506c, 506d)을 계산하는 단계 - 3차원 공간에서의 각각의 점(506a, 506b, 506c, 506d)은 상기 제1 이미지에서의 해당하는 픽셀(502a, 502b, 502c, 502d)의 위치 및 상기 제1 이미지에서 상기 픽셀에 가장 잘 일치하는 제2 이미지에서의 서브 픽셀 위치(504a, 504b, 504c, 504d)를 사용하여 계산됨 -,
3차원 물체 템플릿(508)을 3차원 공간에서 복수의 점(506a, 506b, 506c, 506d)에 피팅하는 단계 - 상기 3차원 물체 템플릿은 상기 장면에서의 물체와 동일한 유형인 물체의 외곽을 정의함 -를 더 포함하고,
상기 3차원 물체 템플릿을 피팅하는 단계에서, 높은 수준의 불확실성을 갖는 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산된 3차원 공간에서의 점(506a, 506b, 506c, 506d)에는 낮은 수준의 불확실성을 갖는 서브 픽셀 위치(504a, 504b, 504c, 504d)로부터 계산된 3차원 공간에서의 점(506a, 506b, 506c, 506d)보다 낮은 가중치가 제공되는 것을 특징으로 하는 방법.
매개변수 함수(404)를 사용하여 노이즈가 존재하는 이미지(400)에서의 극점의 서브 픽셀 위치를 추정하기 위한 장치(100)로서, 상기 이미지(400)에서의 극점은 최대값 또는 최소값 유형이고, 상기 장치(100)는:
a) 상기 이미지(400)에서 이웃하는 픽셀 그룹(402)을 선택하며 - 상기 이웃하는 픽셀 그룹에서의 픽셀 수는 상기 매개변수 함수(404)를 정의하는 매개변수의 수보다 큼 -,
b) 상기 매개변수 함수(404)를 상기 이웃하는 픽셀 그룹(402)의 픽셀 값(403)에 피팅하고,
c) 상기 매개변수 함수(404)의 극점(406)의 위치(405b, 405d)를 식별하며 - 상기 매개변수 함수(404)의 극점은 최소값, 최대값 또는 안장점 유형임 -,
d) 상기 매개변수 함수(404)의 극점(406)이 상기 이미지(400)에서의 극점과 동일하거나 다른 유형인지 여부, 및 상기 매개변수 함수(404)의 극점의 위치(405b, 405d)가 상기 이미지(400)에서의 이웃하는 픽셀 그룹(402)의 픽셀 위치에 의해 정의되는 영역(407)의 내부 또는 외부에 위치되는지 여부를 확인하고,
상기 매개변수 함수의 극점(406)이 이미지(400)에서의 극점과 다른 유형이거나 상기 매개변수 함수(404)의 극점(406)의 위치(405b, 405d)가 상기 영역(407) 외부에 위치되는 경우:
상기 이웃하는 픽셀 그룹(402)으로부터 픽셀을 제거하며,
상기 이웃하는 픽셀 그룹(402)에서의 픽셀의 수가 상기 매개변수 함수(404)를 정의하는 매개변수의 수보다 여전히 크거나 동일한 경우 b), c) 및 d) 단계를 반복하고,
e) 상기 매개변수 함수(404)의 극점(406)의 위치(405d)로서 상기 이미지(400)에서의 극점의 서브 픽셀 위치를 추정하며,
f) 상기 추정된 서브 픽셀 위치를 b), c) 및 d) 단계의 반복 횟수에 해당하는 불확실성의 수준과 관련시키도록 구성된 프로세서(102)를 포함하는 장치.
스테레오 이미지 쌍의 제1 이미지(203)를 캡쳐하도록 구성된 제1 이미지 센서(202),
상기 스테레오 이미지 쌍의 제2 이미지(205)를 캡쳐하도록 구성된 제2 이미지 센서(205),
제13항에 따른 장치(100), 및
상기 제1 이미지(203)에서 이웃하는 픽셀에서의 픽셀 값을 상기 스테레오 이미지 쌍의 제2 이미지(205)에서의 픽셀 값과 일치시킴으로써 상기 스테레오 이미지 쌍으로부터 상관 맵(207)을 생성하고,
상기 장치가 매개변수 함수를 사용하여 노이즈가 존재하는 상기 상관 맵(207)에서의 극점의 서브 픽셀 위치를 추정하도록 하기 위해 상기 장치(100)로의 입력으로서 상기 상관 맵(207)을 제공하도록 구성된 프로세서를 포함하는 스테레오 카메라 시스템(200).
처리 능력을 갖는 장치(100)에 의해 실행될 때 제1항의 방법을 수행하도록 적용된 컴퓨터 코드 명령어를 포함하는 비-일시적 컴퓨터 판독 가능 매체(104).