KR102195826B1 - 주요지점 식별 - Google Patents

Abstract

픽셀들의 집합을 포함하는 디지털 이미지 내 주요지점들을 식별하기 위한 방법이 제안된다. 각각의 픽셀은 그와 연관된 이미지 대표 파라미터들의 대응 값을 갖는다. 방법은, 필터링된 이미지를 근사하는 단계를 포함한다. 필터링된 이미지는 필터링 파라미터에 의존하고 이미지의 각각의 픽셀에 대해 필터링 함수를 포함하며, 필터링 함수는 필터링 파라미터에 의존하여, 픽셀의 대표 파라미터의 값의 필터링된 값을 계산한다. 근사하는 단계는: a) 베이스 필터링된 이미지들의 집합을 생성하는 단계로서, 각각의 베이스 필터링된 이미지는 필터링 파라미터의 대응 값으로 필터링된 이미지인, 단계; b) 픽셀들의 집합의 적어도 부분집합의 각각의 픽셀에 대해, 베이스 필터링된 이미지들에 기초하여 대응하는 근사 함수에 의해 필터링 함수를 근사하는 단계로서, 근사 함수는 필터링 파라미터의 소정 범위 내의 필터링 파라미터의 함수인, 단계;를 포함하고, 방법은, 부분집합의 각각의 픽셀에 대해, 근사 함수가 소정의 범위 내의 대응하는 하부-범위에서의 필터링 파라미터에 대한 광역 극점이기도 한 국부 극점을 갖는 경우 그러한 픽셀을 후보 주요지점으로 식별하는 단계를 더 포함한다. 후보 주요지점으로 식별된 각각의 픽셀에 대해, 방법은 c) 픽셀의 광역 극점에 상응하는 필터링 파라미터의 값에서 근사 함수에 의해 취해진 값을 그러한 인접 픽셀들의 대응 광역 극점들의 필터링 파라미터들의 값들에서의 이미지 내 인접 픽셀들의 근사 함수들에 의해 취해진 값들과 비교하는 단계, 및 d) 이 비교에 기초하여 그러한 픽셀을 선택하는 단계를 더 포함한다.

Description

주요지점 식별{KEYPOINT IDENTIFICATION}

본 발명은 이미지들의 분석 분야와 관련된다.

이미지 분석 분야에서, - 휘도와 같은 이미지를 나타내는 물리적 파라미터의 개별 값에 의해 특정되는 - 복수의 지점들(픽셀들)에 의해 형성된 이미지를 다른 이미지와의 비교와 같은 일부 종류의 프로세싱으로 제출하기 전에, 이 이미지의 특징적 디테일들(salient details)의 위치 및 크기의 식별을 수행하는 것이 바람직하다. 이미지 분석 분야에서, "특징적 디테일들"은 조명에서 그리고 카메라의 유형에서 동일한 물체의 관점 내 장면 변화들에도 불구하고 쉽게 검출될 수 있는 이미지 내에 포함된 물체의 부분을 의도한다.

수년 전까지, 이미지의 특징적 디테일들의 위치를 식별하는 것이 가능했지만, 그들의 크기는 아니었다. 더욱 구체적으로, 일 이미지의 특징적 디테일의 위치의 식별은 - 자르곤(jargon), 주요지점(keypoint) 내 - 상기 이미지의 연관된 특징적 지점의 식별을 통해 수행되었고, 이는 상기 특징적 디테일의 중심에 실질적으로 상응한다. 원형을 갖는 디테일의 경우, 주요지점은 상기 디테일의 중심과 일치하지만, 다른 형상들을 갖는 디테일들의 경우, 주요지점의 위치는 상기 디테일의 실제 중심으로부터 이탈할 수 있다.

최근에는, 이미지 주요지점 식별에 추가로, 프로시저들이 개발되어, 그 덕분에 각각의 주요지점과 연관된 특징적 디테일의 크기를 결정하는 것도 가능하다.

현재, 특징적 디테일들의 위치 및 크기를 식별하는데 사용되는 방법들은 "스케일-공간(scale-space)"의 개념에 기초하며, 이는 이미지에 대한 일련의 점진적으로 더욱 강력한 필터링들의 적용을 제공한다. 상기 이미지에 적용되는 필터링들은 전형적으로 이미지 지점들의 (예를 들어, 휘도와 같은) 물리적 파라미터들의 값들에 대한 다른 동작들을 수행하는 필터링들이다. 전형적으로, 그러한 필터링들은 가우시안 함수에 기초하며, 그것의 필터링 강도는 필터링 파라미터 σ(가우스 함수의 표준 편차)에 의해 통제된다: 필터링 파라미터 σ가 높을수록, 가우시안은 더욱 평평하고 넓어지고, 상기 가우시안은 더욱 강력한 완화 효과(smoothing effect)를 갖는다. 픽셀 좌표들(x, y)의 매트릭스에 의해 형성된 이미지의 스케일-공간은 시작 이미지로부터 점진적으로 더욱 강력한 필터들을 적용하여 얻어진 - 즉 점진적으로 더 큰 값들의 σ - (휘도의 관점에서) 필터링된 이미지들의 집합에 의해 형성되며 따라서 3차원 (x, y, σ) 공간을 갖는다.

상기 이론(예를 들어, T. Lindeberg (1992), "Scale-space behavior of local extrema and blobs", J. of Mathematical Imaging and Vision, 1 (1), pages 65-99 참조)은 공간 (x, y, σ)에 속하는 지점에 대한 필터링된 이미지의 지점 (x_p, y_p, σ_p)에 대한 필터링된 이미지의 - σ에 대한 - 극한 값(extreme value), 즉 지점 (x_p, y_p, σ_p)을 둘러싸는 공간 (x, y, σ)의 부분 내에서 - σ에 대한 - 최대값 또는 최소값을 갖는 경우, 그 지점은 특징적 디테일과 연관되고, 그것의 중심 좌표들은 (x_p, y_p)이고, 크기는 σ_p 에 비례한다. (단위들 또는 픽셀들 내) 상기 디테일의 크기(직경)는 2*sqrt(2)*σ_p 이다.

스케일-공간 내 모든 극한 지점들을 식별함으로써, 상기 이미지 내의 특징정 디테일들의 위치 및 크기가 그에 따라 얻어진다.

스케일-공간 내 극한 지점들을 탐색하기 위해, (국부 스케일-불변 특징들(local scale-invariant features)로부터의 물체 인식에 관한 1999년도 논문 "Lowe, David G., Proceedings of the International Conference on Computer Vision 2. pages 1 150 to 1 157" and 미국 특허 번호 제6,711,293호에 설명된, SIFT(Scale-Invariant Feature Transform)와 같은 호칭을 사용하는 방법과 같은 알려진 방법들은 증가한 σ의 값들을 갖는 일련의 필터링된 이미지들을 고려하며, σ로 필터링된 이미지의 각각의 지점에 대해, 그들의 값들과 상기 동일한 이미지의 8개의 인접 지점들의 값들 및 상기 시퀀스 내 이전 및 다음 σ 값들에 상응하는 필터링된 이미지들에 존재하는 18 (9+9)개의 인접 지점들의 값들을 비교한다.

이 지점이 인접한 것들 모두보다 더 작거나 더 큰 경우, 상기 지점은 공간 x, y, σ의 극점(extreme)이고, 주요지점의 후보이다. 이 지점은 단순히 후보인데, 이는 에지를 따른 디테일의 위치가 동일한 장면을 묘사하는 다른 이미지들에서 쉽게 변동할 수 있어서, 낮은 콘트라스트를 갖는 이미지의 부분들에 상응하는 지점들 및 에지들에 유사한 구조들 상에 놓이는 지점들이 제거되는 것으로 알려져 있기 때문이다(예를 들어, Lowe, DG "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, pages 91-1 10, 2004 참조). 따라서 상기 지점은 신뢰할 수 없고 그에 따라 폐기된다.

출원인은, 주요지점들의 식별을 위한 최신 기술로 알려진 접근법들이 σ의 값들의 제한된 부분집합을 사용함으로써 이미지를 필터링하여 σ가 변동함에 따라 필터링된 이미지들의 단속적인 표현만이 얻어짐을 주목하였다.

그러나, 출원인은 요구되는 계산들의 양을 감소시키면서도 이미지의 주요지점들을 더욱 정확하고 효율적으로 식별하기 위해, σ에 대해 그것을 연속적으로 표현하도록 그리고 뿐만 아니라 이 파라미터의 단속적인 값들의 작은 집합에 대하여 포괄 필터링된 이미지(generic filtered image)를 근사할 수 있음을 발견하였다.

본 발명의 일 측면은 픽셀들의 집합을 포함하는 디지털 이미지 내 주요지점들을 식별하기 위한 방법과 관련된다. 각각의 픽셀은 그와 연관된 이미지 대표 파라미터들의 대응 값을 갖는다. 상기 방법은, 필터링된 이미지를 근사하는 단계를 포함한다. 상기 필터링된 이미지는 필터링 파라미터에 의존하고 상기 이미지의 각각의 픽셀에 대해 필터링 함수를 포함하며, 상기 필터링 함수는 상기 필터링 파라미터에 의존하여, 상기 픽셀의 상기 대표 파라미터의 값의 필터링된 값을 계산한다. 상기 근사하는 단계는:

a) 베이스 필터링된 이미지들의 집합을 생성하는 단계로서, 각각의 베이스 필터링된 이미지는 상기 필터링 파라미터의 대응 값으로 필터링된 이미지인, 단계;

b) 픽셀들의 상기 집합의 적어도 부분집합의 각각의 픽셀에 대해, 상기 베이스 필터링된 이미지들에 기초하여 대응하는 근사 함수에 의해 상기 필터링 함수를 근사하는 단계로서, 상기 근사 함수는 상기 필터링 파라미터의 소정 범위 내의 상기 필터링 파라미터의 함수인, 단계;

상기 방법은, 상기 부분집합의 각각의 픽셀에 대해, 상기 근사 함수가 상기 소정의 범위 내의 대응하는 하부-범위에서의 상기 필터링 파라미터에 대한 광역 극점(global extreme)이기도 한 국부 극점(local extreme)을 갖는 경우 그러한 픽셀을 후보 주요지점으로 식별하는 단계를 더 포함한다.

후보 주요지점으로 식별된 각각의 픽셀에 대해, 상기 방법은 c) 상기 픽셀의 상기 광역 극점에 상응하는 상기 필터링 파라미터의 상기 값에서 상기 근사 함수에 의해 취해진(assumed) 상기 값을 그러한 인접 픽셀들의 대응 광역 극점들의 필터링 파라미터들의 값들에서의 이미지 내 인접 픽셀들의 근사 함수들에 의해 취해진 값들과 비교하는 단계, 및 d) 이 비교에 기초하여 그러한 픽셀을 선택하는 단계를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 베이스 필터링된 이미지들에 기초하여 대응하는 근사 함수에 의해 상기 필터링 함수를 근사하는 단계는 상기 베이스 필터링된 이미지들의 선형 조합에 기초하여 상기 근사 함수를 계산하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 근사 함수는 상기 베이스 필터링된 이미지들의 상기 선형 조합의 추가 근사에 기초한다.

본 발명의 일 실시예에 따르면, 상기 근사 함수는 상기 필터링 파라미터를 변수로 갖는 다항식이다.

본 발명의 일 실시예에 따르면, 상기 다항식의 계수들은 상기 베이스 필터링된 이미지들에 기초하여 그리고 상기 선형 조합의 가중치들의 근사에 기초하여 계산된다.

본 발명의 일 실시예에 따르면, 상기 방법은 상기 선택된 픽셀들로부터 픽셀들을 폐기하는 단계를 더 포함하고, 상기 픽셀의 상기 광역 극점에 상응하는 상기 필터링 파라미터에서 상기 근사 함수에 의해 취해진 값은 제1 임계치보다 작은 절대값을 갖는다.

본 발명의 일 실시예에 따르면, 상기 방법은:

- 각각의 선택된 픽셀에 대하여, 그러한 선택된 픽셀의 중심인 패치(patch)에 포함된 이미지의 픽셀들에서의 필터링 함수들에 의해 형성된 주요 곡면(main curvature) 및 부수 곡면(secondary curvature)를 계산하는 단계; 및

- 상기 주요 곡면과 상기 부수 곡면 사이의 비율에 기초하여, 상기 선택된 픽셀들로부터/에서 그러한 픽셀을 폐기/유지하는 단계를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 방법은:

- 각각의 선택된 픽셀에 대해, 상기 상응하는 광역 극점에서의 상기 필터링 파라미터에 대한 상기 근사 함수의 제2 도함수에 의해 취해진 값을 계산하는 단계; 및

- 상기 제2 도함수에 의해 취해진 그러한 값에 기초하여 상기 선택된 픽셀들로부터/에서 그러한 픽셀을 폐기/유지하는 단계를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 식별 주요지점은, 상기 필터링된 파라미터의 동일한 소정 범위를 사용하여, 상기 이미지의 스케일된 버전(scaled version)에 대해 적어도 더욱 반복된다.

본 발명의 일 실시예에 따르면, - 상기 베이스 필터링된 이미지들의 상기 필터링된 파라미터의 값들 중 적어도 하나는 상기 다른 베이스 필터링된 이미지의 상기 필터링된 파라미터의 값들 중 가장 낮은 값의 2배이고,

- 상기 이미지의 상기 스케일된 버전은 상기 필터링된 파라미터의 상기 최소 값을 갖는 상기 베이터 필터링된 이미지의 근사 버전(approximate version)으로부터 시작하여 상기 베이스 필터링된 이미지들을 근사함으로써 얻어지고, 상기 베이스 필터링된 이미지의 상기 근사 버전은 상기 베이스 필터링된 이미지를 상기 필터링된 파라미터의 상기 최소 값의 2배인 상기 필터링 파라미터의 그러한 값으로 언더샘플링(undersampling)함으로써 근사된다.

본 발명의 일 실시예에 따르면, 상기 필터링된 이미지는 가우시안의 라플라시안(Laplacian of Gaussians)에 기초한 필터들 또는 가우시안의 차(Differences of Gaussians)에 기초한 필터들의 적용에 기초하고, 상기 필터링 파라미터는 가우시안 함수의 표준 편차이다.

본 발명의 일 실시예에 따르면, 상기 다항식은 상기 필터링 파라미터에 대한 3차원 다항식이다.

본 발명의 일 실시예에 따르면, 상기 이미지의 각각의 픽셀은 상기 이미지 내 픽셀들의 위치를 식별하는 적어도 하나의 상응하는 좌표를 갖고; 상기 방법은, 각각의 선택된 픽셀에 대하여, 추가적인 근사 함수에 기초한 좌표들의 상응하는 변경을 계산함으로써 그러한 픽셀의 적어도 하나의 좌표를 수정하는 단계를 더 포함하고, 상기 추가적인 근사 함수는 그러한 좌표들의 변경에 대해 상기 픽셀에서의 상기 필터링 함수들을 근사하며, 상기 추가적인 근사 함수는:

1) 상기 선택된 픽셀의 상기 광역 극점에 상응하는 필터링 파라미터의 값에서 그러한 선택된 픽셀의 필터링 함수에 기초하고, 및

2) 상기 선택된 픽셀의 상기 광역 극점에 상응하는 필터링 파라미터의 값에서 상기 이미지 내 상기 선택된 픽셀에 인접한 픽셀들의 필터링 함수에 기초한다.

본 발명의 일 실시예에 따르면, 상기 좌표들의 변화를 계산하는 단계는, 상기 좌표들의 변화에 대해 상기 추가적인 근사 함수 내 최대값 또는 최소값 지점들을 식별하는 단계 및 상기 식별된 최대값 또는 최소값 지점들에 기초하여 그러한 좌표들의 변화를 설정하는 단계를 포함한다.

본 발명의 이러한 그리고 추가적인 특징들 및 장점들은 제한이 아닌 예로서 일부 실시예들에 대한 첨부된 도면과 함께 이하의 설명을 읽음으로써 명백해질 것이다.
도 1a는 좌표의 함수로서 휘도 신호를 나타내는 그래프이다.
도 1b는 σ의 다른 증가 값들에 대한 상응하는 LoG 필터 및 이 LoG 필터를 통해 필터링된 도 1a의 신호를 나타낸다.
도 2a는 2차원 이미지를 나타내며, 상기 이미지의 각각의 지점은 대응하는 휘도 값을 갖는다.
도 2b는 σ의 증가 값들에 대한 상응하는 LoG 필터 및 이 LoG 필터를 통해 필터링된 도 2a의 신호를 나타낸다.
도 3a는 4개의 베이스 필터들 LoGB를 도시한다.
도 3b는 본 발명의 일 실시예에 따른 선형 조합에 의해 근사된 LoG 필터가 얼마나 구체적으로 계산된 것과 유사한지를 나타낸다.
도 3c는 포괄 LoG 필터를 얻기 위해 4개의 베이스 필터들 LoG의 선형 조합의 가중치들이 σ의 함수에서 어떻게 변동하는지를 나타내는 도면을 도시한다.
도 4a는 2.5인 σ를 갖는 필터 LoG와의 컨벌루션을 통해 필터링된 도 2a의 이미지를 나타낸다.
도 4b는 본 발명의 일 실시예에 따른 근사 함수에 의해 2.5인 σ를 갖는 LoG 필터를 근사하여 필터링된 도 2a의 이미지를 나타낸다.
도 4c는 도 4a의 이미지와 도 4b의 이미지 사이의 차이로부터 나타난 이미지이다.
도 5a 내지 도 5b는 본 발명의 실시예에 따른 이미지의 주요지점들을 식별하기 위한 프로세스를 기능 블록의 관점에서 도시한 흐름도를 나타낸다.
도 6a는 도 2a의 예시적인 이미지의 각각의 지점에 대하여 본 발명의 실시예에 따른 근사 함수에 의해 취해진 최대값의 예를 그레이 스케일로 나타낸다.
도 6b는 도 2a의 이미지의 각각의 지점에 대하여 본 발명의 실시예에 따른 근사 함수에 의해 취해진 최소값의 예를 그레이 스케일로 나타낸다.
도 6c 및 도 6d는, 각각 잠재적인 주요지점들이 될 후보인 최대치와 최소치의 지점들인 도 2a의 이미지의 지점들의 예를 나타낸다.
도 7a 및 도 7b는, 본 발명의 일 실시예에 따른, 인접 지점들과 비교하는 프로시저가 수행된 이후 여전히 잠재적인 주요지점들로 고려된 최대값 및 최소값의 상응 지점들을 각각 나타낸다.
도 8a는 도 2a에 이미지의 제1 옥타브의 주요지점으로 식별된 지점들을 나타낸다.
도 8b는 도 2a의 이미지의 5개의 고려된 옥타브들의 주요지점으로 식별된 지점들을 나타낸다.

전형적으로, 이미지들에 적용되는 가우시안 함수에 기초한 필터는 가우시안의 라플라시안(Laplacian Of Gaussian, LoG) 또는 가우시안의 차(Difference of Gaussian, DoG)일 수 있다. 가우시안의 차는 가우시안의 라플라시안에 근접하지만, 연산상의 이유로 채용하기 편리할 수 있다. 결과적으로, 이 문서에서는 참조로 LoG 필터들을 사용한 동작들이 항상 소개될 것이지만, DoG 필터들의 경우에도 동등한 고려사항들이 적용된다.

LoG 필터링 애플리케이션에 의한 특징적 디테일들의 식별의 기초가 되는 메커니즘을 나타내기 위래, 이제 2개의 예들이 제공될 것이다: 제1 예에서, 도 1a 및 도 1b에 도시된 바와 같이, 단순성을 위해, 2-차원의 이미지 대신, 1-차원 휘도 신호가 고려되고, 반면에 제2 예에서, 도 2a 및 도 2b에 도시된 바와 같이, 2차원 이미지가 참조된다.

제1 예를 참조하면, 도 1a는 단 일 x 좌표의 함수로서의 휘도 값을 나타내는 그래프이다; 도 1a의 그래프를 관측하면, 신호의 2개의 피크들에 상응하는 2개의 특징적 디테일들의 존재를 이미 파악할 수 있다. 어떻게 이들 2개의 특징적 디테일들이 중심 좌표뿐만 아니라 크기도 식별하는 것을 허용하는 LoG 필터링 프로시저에 의해 식별될 수 있는지를 알기 위해 도 1b가 참조될 것이며, 이는 σ의 다른 증가값들(σ = 2, σ = 6, σ = 10, σ = 14, σ = 18, σ = 22)에 대한, (도면의 좌측의) 상응하는 LoG 필터 및 (도면의 우측의) 이 LoG 필터에 의해 필터링된 도 1a의 신호를 나타낸다. 고려된 예에서, 2개의 극점들이 식별될 수 있고, 다시 말해 σ = 6인 경우 x = 210에서 제1 극점이, 그리고 σ = 14인 경우 x = 110에서 제2 극점이 나타난다. 이들 극점들은 그 중간점들이 210 및 110 지점들(또는 이미지인 경우 픽셀들)인 2개의 특징적 디테일의 존재를 표시하고, 그 폭은 관련 특징적 지점 직경 = 2 * sqrt(2) * σ 를 사용하여,대략적으로 16.87 및 39.59 지점들이다.

제2 예를 참조하면, 도 2a는 2차원 이미지를 나타내고, 상기 이미지의 각각의 지점은 대응 휘도 값을 가지며, 반면에 도 2b는 σ의 증가값들(σ = 2, σ = 9, σ = 16, σ = 23)에 대한, (도면의 우측의) 상응하는 LoG 필터 및 (도면의 좌측의) 그러한 LoG 필터를 통해 필터링된 도 2a의 신호를 나타낸다. 단어 "SCUOLA" 옆의 신월(crescent)-모양의 팡문은 특징적 디테일로서, 약 19 픽셀들의 중심에서의 높이를 갖는, 쉽게 검출 가능한 뚜렷한 형태이다. 이는 창문의 가운데에서, 이미지로의 LoG 필터 적용의 결과는 19 / (2 * sqrt (2)) = 6.46인 σ에서 최대 값을 갖는다는 것을 의미한다. 사실, 상기 창문의 중심에서, 상기 필터링의 결과로서 얻어지는 가장 높은 값(가장 밝은 것)은 σ = 9를 갖는 LoG 필터에 상응하는 것, 즉 4개의 채용된 LoG 필터들 중 6.46에 가까운 σ 값을 갖는 LoG 필터이다.

LoG 필터는 σ가 증가함에 따라 크기가 현저하게 증가하는 경향이 있어서(σ = 50에서 필터는 약 500 x 500 지점의 매트릭스로 나타날 수 있음), 전술한 프로세싱은 연산들의 수를 줄이기 위해 "옥타브(octave)" 접근법을 사용하여 유리하게 수행될 수 있다. 옥타브 프로세싱은 기존 이미지에 대한 σ = σ* 를 갖는 필터의 결과가 50%로 스케일된 이미지에 대해 σ = σ*/2 를 갖는 필터로 재생산될 수 있다는 관측에 기초한다. 옥타브 프로세싱에서 인터벌은 σ 로 고정되고, 필터링된 이미지들은 범위 내에 해당하는 일부 σ로 조사되며, 이후 상기 감소된 이미지에 대해 종일한 종류의 분석을 반복함으로써(동일한 필터링들을 수행) 이미지가 50%로 스케일된다. 이 프로세스는 스케일된 이미지가 소정의 임계치보다 낮은 크기를 가질 때까지 되풀이된다. 예를 들어, VGA 이미지(640x480)로부터 시작하여, 이미지의 짧은 면이 20 픽셀들보다 낮아지면 프로세스를 정지하며, 5개의 옥타브들(640x480, 320x240, 160x120, 80x60, 40x30)이 얻어진다.

본 발명의 실시예들에 따른 해결 방법의 기본적인 개념들 중 하나는, LoG 필터 (x, y, σ)를 근사하되(여기서 x, y는 이미지의 공간 좌표들, 즉 이미지를 형성하는 지점들 또는 픽셀들이고 σ는 가우시안의 표준 편차이며, x, y, σ는 스케일-공간을 정의함), n개의 다른 σ = σ_i (i=1, 2, n)로 미리 계산된 n 필터들 LoGB(x, y, σ_i)의 선형 조합으로 근사하는 것이 가능하다는 관측으로부터 유래하며, 이들은 이하에서는 기본 필터들(베이스 필터들)로 지칭된다:

(1) : LoG(x, y, σ) ~ p₁(σ) LoGB(x, y, σ₁) + p₂(σ) LoGB(x, y, σ₂) + p₃(σ) LoGB(x, y, σ₃) + ... + p_n(σ) LoGB(x, y, σ_n)

여기서 p₁(σ), p₂(σ), ..., p_n(σ) 는 그 값이 σ 의 함수인 가중치들이고, 이하 이 설명서에서 나타날 것이다. x 및 y로부터의 공간적 의존성은 단순성을 위해 생략되었다.

도 3a에 나타난 예를 참조하면, σ₁ = 1.8, σ₂ = 2.846, σ₃ = 3.6, σ₄ = 4.2214인 LoGB(σ₁), LoGB(σ₂), LoGB(σ₃), LoGB(σ₄) 4개의 베이스 필터들을 갖는 것으로 가정하였다. 이들 4개의 베이스 필터들의 선형 조합을 만들어, LoG 필터를 다음과 같이 근사시킬 수 있다:

(2) : LoG(x, y, σ) ~ p₁(σ) LoGB(x, y, 1.8) + p₂(σ) LoGB(x, y, 2.846) + p₃(σ) LoGB(x, y, 3.6) + ... + p_n(σ) LoGB(x, y, 4.2214)

관계식 (2)를 사용하여, 예를 들어 2.5와 동일한 σ 를 갖는 LoG 필터의 양호한 근사가 얻어질 수 있다.

(3) : LoG(x, y, 2.5) ~ 0.0161 LoGB(x, y, 1.8) + 0.2501 LoGB(x, y, 2.846) - 0.187 LoGB(x, y, 3.6) + 0.0836 LoGB(x, y, 4.2214)

도 3b에서 얼마나 (도면의 오른쪽의) 선형 조합에 의해 근사되는 LoG 필터가 (도면의 왼쪽의) 정확히 계산된 것과 유사한지를 관측할 수 있다.

가중치들 p₁(σ), p₂(σ), ..., p_n(σ)은 선행 연립 식들을 풀어서 계산될 수 있다.

(4) : Ap = b,

여기서:

- A는 베이스 필터들 LoGB의 개수 n(고려된 예에서는 4)과 동일한 열들의 수를 갖는 매트릭스이고, 상기 매트릭스에서 각각의 열은 상응하는 베이스 필터 LoGB를 나타낸다. 포괄 LoG 필터가 m x m 스퀘어 매트릭스에 의해 표현가능함(여기서 각각의 요소는 하나의 픽셀에 상응함)을 가정할 때, A의 각각의 열은 열들로 작성함으로써 구축되고 각각의 베이스 필터 LoGB의 매트릭스의 상기 열들은 m² 요소들의 상응하는 열 벡터를 얻는다.

- b는 근사될 LoG 필터를 나타내는 m² 요소들의 열 벡터이다.

- p는 연립식을 풀어 결정되는 가중치들 p₁(σ), p₂(σ), ..., p_n(σ)을 포함하는 n 요소들의 벡터이다 (본 예에서는 p₁, p₂, p₃, p₄로 고려됨).

연립식을 풀기 위해, 본 발명의 일 실시예에 따르면, 관측된 그리고 근사된 값들 사이의 차이의 규준(norm)을 감소시키는 것을 허용하는 알려진 최소자승법 또는 임의의 다른 방법을 사용할 수 있으며, 예를 들어 "simulated annealing"(관련하여 예를 들어, Kirkpatrick, S., Gelatt, CD, Vecchi, MP (1983) 참조) 및 "Optimization by Simulated Annealing"(Science 220 (4598): 671-680 참조)로 알려진 방법들이 사용될 수 있다.

상응하는 σ = σ'₁, σ'₂, ..., σ'_q 를 갖는 근사될 q개의 LoG 필터들의 집합을 선택함으로써, 그리고 관계식 (4)에 기초하여, n개의 베이스 필터들 LoGB 각각에 대한 행 및 q개의 근사될 LoG 필터들 각각에 대한 열을 갖고, 각각의 열에 대해 가중치들 p₁(σ), p₂(σ), ..., p_n(σ)을 보유하여 LoG 필터를 이하의 관계식에 따라 그러한 열에 상응하게 근사시키는 가중치 매트릭스 W를 계산하는 것이 가능하다:

(5) AW = D

여기서 D는 q개의 LoG 필터들 (σ'_j) (j=1, 2, ..., q)을 보유하는 매트릭스이다.

이 경우 상기 n개의 베이스 필터들 LoGB 각각에 대하여 가중치 매트릭스 W의 상응하는 요소들을 보간하는 것이 가능하고, 그에 따라 어떻게 가중치들 p₁(σ), p₂(σ), ..., p_n(σ)이 σ에 대하여 변동하는지가 결정된다. 가중치들 p₁(σ), p₂(σ), ..., p_n(σ)의 트렌드(trend)가 σ와 관련하여 근사되는 정확도는, 관련식 (5)에서 고려된 LoG 필터들의 개수 q에 의존한다(q가 높을수록 근사가 더욱 양호하다).

도 3c는 σ의 함수로 미리 고려된 가중치들 p₁(σ), p₂(σ), p₃(σ), p₄(σ)이 어떻게 변화하는지를 나타내는 도면을 도시한다. 이 경우, 각각이 13개의 다른 σ = σ'₁, σ'₂, ..., σ'₁₃(즉, q = 13)에 상응하는 각각의 가중치에 대한 13개의 점들을 보간함으로써 곡선들이 생성되었다.

이미지를 LoG(σ) 필터로 필터링하기 위해, LoG 필터의 컨볼루션이 이미지(I)에 대해 수행된다:

(6) : L (σ) = LoG(σ) * I,

여기서 L(σ)는 이미지에 적용된 LoG 필터의 결과물이고(이하에서, "필터링된 이미지"로 지칭됨), 위 식에서의 *는 컨볼루션 기호이다.

상기 컨볼루션이 선형 연산자이기 때문에, 그러한 특성을 활용함으로써 임의의 필터링된 이미지 L(σ)의 근사를 얻는 것(즉, 임의의 σ에 상응하는 필터링)이 그것을 정확하게 연산하지 않고도 가능하다는 장점이 있다. 실제로, 그러한 특성을 활용함으로써 그리고 관계식 (1)을 관계식 (6)에 대입함으로써 이하의 관계식이 얻어진다;

(7) : L(x, y, σ) ~ p₁(σ) L(x, y, σ₁) + p₂(σ) L(x, y, σ₂) + p₃(σ) L(x, y, σ₃) + ... + p_n(σ) L(x, y, σ_n)

다시 말해, 본 발명의 일 실시예에 따른 방안 덕분에, 감소된 횟수(즉, n번) 필터링을 구체적으로 연산하여, 충분히, n개의 베이스 필터들 LoGB(σ_i)을 사용한 n개의 필터링된 이미지들 L(σ_i)을 얻을 수 있고, 관계식 (7)을 활용하여 이들 필터링된 이미지들 L(σ_i)로부터 시작하여 포괄 필터링된 이미지 L(σ)를 근사할 수 있다.

따라서, 필터링된 이미지 L(σ)로의 근사를 얻는 것은, 요구되는 정확성을 충족시키기 위해 충분히 큰 σ의 특정 집합에 대한 n개의 가중치들 p_i(σ)의 값을 제공하는 가중치 매트릭스 W를 한 번 계산하는 것으로(즉, 충분한 개수 q개의 LoG 필터들을 포함하는 매트릭스 D를 고려함으로써) 충분하다.

본 발명의 실시예들에 따른 방안의 제2 기본 개념은 연속적인 σ 값들의 집합에 의존하는 필터링 근사 함수에 의하여 포괄 필터링된 이미지 L(σ)를 근사하는 것을 제공한다.

본 발명의 일 실시예에 따르면, 근사 함수는 r 차수의 다항식이고, 비록 이 근사 함수가 예를 들어 함수 a log(σ) + b σ² + c σ + d와 같이 다른 함수인 경우에도 동일한 고려들이 적용된다. 그러나 다항식의 선택은, 다항식들이 계산이 빠르고, 쉽게 도출될 수 있으며, 특이점들(singularities)이 없어서 다루기가 용이하다는 점에서 유리하다.

본 발명의 일 실시예에 따라 r 차수의 다항식으로서의 근사 함수를 계산하기 위해, 가중치 매트릭스 W는 교대로 다음 방식으로 근사된다:

(8) : SF = W^T,

여기서 S는 q x (r +1) 크기의 매트릭스이다.

여기서 표시 (σ'₁)^r 은 σ'₁ 의 r 승을 의미한다

그리고 F는 σ'₁, σ'₂, ..., σ'_q에서 r 차수의 다항식에 의해 근사하는 기능을 수행하는 근사 값들을 포함하는 매트릭스이고, 가중치 매트릭스 W의 가중치들은 각각 σ'₁, σ'₂, ..., σ'_q 를 갖는 LoG 필터들을 근사하는데 사용된다. 더욱 구체적으로, 근사 매트릭스 F는 (r+1) x n의 차원의 매트릭스이고, F의 각각의 열은 S의 열의 선형 조합을 이루는데 사용된다. F의 i번째 열과 곱해진 매트릭스 S는 W^T 의 i번째 열에 포함된 가중치를 근사하는 벡터이다. F의 i번째 행 및 k번째 열의 포괄 요소(generic element)는 (σ'_i) ^(r-k+1) 에 상응하는 S의 k번째 열의 선형 조합으로 사용되는 값이다. 연립식 (8)을 풀기 위해, 본 발명의 일 실시예에 따라, 관측된 그리고 근사된 값들 사이의 차이의 규준(norm)을 감소시키는 것을 허용하는 알려진 최소자승법 또는 임의의 다른 방법을 사용할 수 있다.

관계식 (8)을 관계식 (5)에 대입하여, 아래의 관계식이 얻어진다:

(10): AF^T S^T ~ D

따라서, 본 발명의 일 실시예에 따르면, 관계식 (10)에 기초하여, 매트릭스 F^T 와의 곱셈에 의해여 매트릭스 A에 포함된 베이스 필터들 LoGB(σ_i)의 값들의 선형 조합을 만들고 아래에 표시된 바와 같이 σ 내 r 차수의 다항식의 계수들로서의 결과를 사용함으로써, 임의의 σ를 갖는 필터 LoG(σ)을 근사하는 것이 가능하다.

여기서 (:)는 표시에 선행하는 매트릭스가 벡터로 변환됨을 나타내는 표시이고, 매트릭스의 다양한 열들 열들로 작성되어 얻어진다.

매트릭스 A에 포함된 기본 필터들 LoGB(σ_i)에 의해 형성된 베이스를 전제로, 메트릭스 F는 단지 한번 계산되고 임의의 필터 LoG(σ)를 근사하는데 사용된다는 점에 유의하여야 한다.

이전에 행해진 바와 같이, 컨볼루션의 선형 특성을 사용하여, 관계식 11이 관계식 (6) 대입되어, 아래의 관계식이 얻어진다:

여기서 L(σ)는 필터 LoG(σ)로 필터링된 포괄 이미지를 나타내고, L(σ_i)(i = 1, 2, ..., n)는 n개의 베이스 필터들 LoGB(σ_i)에 의해서 필터링된 이미지들을 나타낸다.

다시 말해, 본 발명의 일 실시예에 따라 관계식(12)을 확장함으로써, 포괄 필터링된 이미지 L(x, y, σ)가 이하의 근사 함수로 근사될 수 있다:

여기서 상기 근사 함수의 다항식의 (r+1)개의 계수들 c_r, ..., c₀은 n개의 베이스 필터들 LoGB(σ_i)을 사용하여 필터링된 이미지들 L(σ_i)(i = 1, 2, ..., n)의 함수들 및 매트릭스 F의 함수들이고, x 및 y 좌표들을 함수로서 픽셀 별로 변동한다. 이 근사는 구간(상기 구간의 단부들은 설정될 수 있는 파라미터들임) 내에서 유효하고 σ는 단일 옥타브 내에서 변동된다.

일 실시예에 따르면, 상기 근사 함수의 다항식의 r 차수는 바람직하게는 3이고, 이는 근사의 정확성과 계산의 복잡성 사이의 좋은 타협안으로 밝혀져 있다. 구체적으로, r = 3에서, 포괄 필터링된 이미지 L(x, y, σ)는 이하의 근사 함수로 근사될 수 있다:

3차원 다항식으로서의 근사 함수에 의해 얻어진 양호한 근사의 방법을 얻기 위해, σ가 2.5인 LoG 필터와의 컨볼루션을 통해 도 2a의 이미지로부터 얻어진 필터링된 이미지를 도시하는 도 4a와, σ_i = 1.8, 2.846, 3.6, 및 4.2214 인 4개의 베이스 필터들 LoGB(σ_i)을 사용한 근사 함수(관련식 14)에 의하여 σ가 2.5인 LoG 필터를 근사시킴으로써 도 2a의 동일한 이미지로부터 얻어진 필터링된 이미지를 나타내는 도 4b를 비교한다. 도 4c는 도 4a의 이미지와 도 4b의 이미지 사이의 차이로부터 나타난 이미지이다. 도 4c를 관측함으로써 알 수 있는 바와 같이, 정확한 LoG 컨볼루션에 의해 필터링된 이미지(도 4a)와 근사 함수(관련식 14)에 의해 필터링된 이미지(도 4b) 사이의 차이는 거의 0에 가깝다.

이하에서 더욱 구체적으로 설명될 바와 같이, 본 발명의 일 실시예에 다르면, 금방 설명된 근사 함수의 도구가 임의의 디지털 이미지 I 내에서 주요지점들의 집합을 식별하는데 유리하게 사용되어 후속 이미지 분석을 수행하는데 활용된다.

본 발명의 일 실시예에 따른 디지털 이미지 I의 주요지점의 식별 프로세스가 도 5a 내지 도 5b에 나타난 흐름도(100) 내 기능 블록들로 도시된다.

이 프로세스의 기능적 블록들을 구체적으로 설명하기 위해 다음에 넘어가기에 앞서, 본 근사 함수의 생성은 근사 매트릭스 F의 사용(관계식 (12) 참조)을 필요로 하고, 이는 예를 들어 사전 트레이닝 국면(previous phase of training) 동안 바람직하게 한번만 계산되고 이후 임의의 이미지 I에 적용되는 임의의 필터 LoG(σ)를 근사하는데 사용됨에 유의한다. 이 트레이닝 국면 동안, n개의 베이스 필터들 LoGB(σ_i)의 집합(i = 1, 2, ..., n)을, σ_i <σ_{i +1} 으로, 그리고 q개의 LoGB(σ_j)의 집합(j = 1, 2, ..., n)을 선택하고, 이전 설명된 바와 같이 근사 매트릭스 F를 계산한다(관계식 (10) 참조).

이제 도 5a 내지 도 5b를 참조하면, 본 프로세스의 제1 국면은, 포괄 이미지 I로부터 시작하여, 베이스 필터들 LoGB(σ_i)에 의해 필터링된 n개의 상응 이미지들이 계산되고, 다시 말해 L(σ_i)(i = 1, 2, ..., n)이 계산된다(블록 102).

이 지점에서(블록 104), σ 내 작업 범위가 선택되고, 여기서 이하의 동작들이 수행된다. 이하의 설명에서 명확해질 바와 같이, 작업 범위의 하단으로서 σ_{i = 1} 을 선택하고, 작업 범위의 상단으로서 σ_{i = n} 을 선택하여, 프로세스의 후속 단계들에서 일부 계산들을 하는 것을 방지하는 것이 가능하다.

이후 좌표 지점 (x_t = 0, y_t =0)과 같이 이미지 I의 지점 (x_t, y_t)가 선택되고(블록 106), 그에 대해 블록들(108-124)과 관련한 동작들이 수행된다.

이후 선택된 지점 (x_t, y_t)에서의 필터링된 이미지 L(x_t, y_t, σ)가 계산식 (12)와 x = x_t, y = y_t로 하여 근사 함수(예를 들어 차수 r의 다항식)을 계산함으로써 근사된다(블록 108). 예를 들어, r = 3인 경우, 필터링된 이미지 L(x_t, y_t, σ)는 이하의 ((x_t, y_t)에 기초한 계수들을 갖는) σ의 3-차원 다항식 함수에 의해 근사된다: c₃(x_t, y_t)σ³ + c₂(x_t, y_t)σ² + c₁(x_t, y_t)σ + c₀(x_t, y_t).

주요지점이 되기 위한 상기 이미지 내 지점에 대한 필요 조건은 이 지점을 둘러싸는 스케일-공간 (x, y, σ)의 부분 내 극한 값을 갖는 것이다. 본 발명의 일 실시예에 따르면, 필터링된 이미지들 L(x, y, σ)이 σ에 의존하는 근사 함수에 의해 근사된다는 사실 덕분에, 일 지점이 극한 값을 갖는지 여부를 결정하는 단계가 유리하게 수행될 수 있어 이 지점의 근사 함수의 σ에서의 트렌드와 인접 지점의 근사 함수의 σ에서의 트렌드가 비교된다.

이러한 이유로, 다음 단계에서(블록 110) 상기 근사 함수의 제1 도함수가 σ에 대하여 계산되고, 이 도함수가 고려된 (단부들을 제외하고) σ 범위 내에서 0인 값을 취하는지 여부에 대해 확인이 이루어져, - 긍정적인 경우 - 가능한 국부 최대 또는 최소 지점들이 식별된다. 다항식을 근사 함수로 사용함으로써, 도함수를 매우 빨리 용이하게 계산하는 것이 가능하다. 고려된 예를 참조하면, 지점 (x_t, y_t)에서의 필터링된 이미지 L(x_t, y_t, σ)의 제1 도함수는 다음과 같다: 3c₃(x_t, y_t)σ² +2c₂(x_t, y_t)σ + c₁(x_t, y_t).

만일 이 제1 도함수가 σ 범위의 - 이 범위의 단부들을 제외하고 - 적어도 하나의 지점 σ_m에서 0 값을 취하는 경우(블록 112의 Y 갈래 출력), 프로세스는 상기 적어도 하나의 σ_m에서의 근사 함수에 의해 취해진 값을 계산하는 단계를 제공하고(블록 114) 근사 함수의 이 값을 고려된 σ 범위의 단부들에 상응하는 동일 근사 함수에 의해 취해진 값들과 비교한다(블록 116). 만일 블록 104에서 결정된 σ 범위가 하단 σ = 1을 가졌다면, 그리고 상단 σ = n을 가졌다면, 상기 범위의 단부들에서의 근사 함수의 값들을 계산하는 것조차 필요하지 않는데, 이는 이 값들이 블록 102에서 필터링된 이미지들 L(σ₁), L(σ_n) 내지 필터 베이스 LoGB(σ₁), LoGB(σ_n)로서 (근사 없이) 이미 계산되었기 때문이다.

블록 116에서 수행된 비교를 통해, σ가 고려된 σ 범위 내 근사 함수의 광역 최대값(또는 최소값) 지점이기도 하는지 또는 그것이 단지 국부 최대값(또는 최소값) 지점인지가 결정될 수 있다.

만일 σ_m이 σ에 대해 광역 최대값(또는 최소값) 지점 근사 함수이면(블록 118의 Y 갈래 출력), 이 경우 상기 근사 함수의 현재 계수들 c_r, c₀의 값들로 판단한 상응하는 선택된 지점 (x_t, y_t)이 잠재적인 주요지점이다. 이 경우(블록 120) 상기 지점의 좌표들 (x_t, y_t), 값 σ_m 및 σ_m 에 대해 계산된 근사 함수의 값은 "잠재적인 주요지점들" 표로 식별되는 제1 표의 요소로 삽입된다. 상기 제1 표에 속하는 지점들 각각에 대해, 2*sqrt(2)*σ_m 인 그 지점과 연관되는 특징적 디테일의 직경의 평가도 얻어짐에 유의하여야 한다.

대신에 σ_m이 σ에 대한 근사 함수의 광역 최대값(또는 최소값) 지점이 아닌 것으로 판단되는 경우(블록 118의 N 갈래 출력), E는 상기 금사 함수의 도함수가 σ 범위 내 - 이 범위의 단부들을 제외하고 - 적어도 하나의 지점에서 0 값을 취하지 않는 경우(블록 112의 N 갈래 출력), 이 경우 상기 근사 함수의 현재 계수들 c_r, c₀의 값들로 판단한 상응하는 선택된 지점 (x_t, y_t)은 잠재적인 주요지점이 될 수 없다. 이 경우(블록 122), 상기 지점의 좌표들 (x_t, y_t), σ_m 에 대해 계산된 근사 함수의 값은 "폐기된 지점들" 표로 식별되는 제2 표의 요소로 삽입된다.

본 발명의 다른 실시예에 따르면, 일 지점이 잠재적인 주요지점으로 고려되기 위해, 이후 그것이 제1 표에 삽입되기 위해, 상응하는 광역 최대값(또는 최소값) 지점 σ_m은 블록 104에서 선택된 작업 범위의 부분집합에 포함된다는 조건을 만족하여야 하고, 그러한 부분집합은 σ_i = 1보다 큰 하단을 갖고, σ_i = n 보다 낮은 상단을 갖는다. 이 방법에서, 근사 함수들의 행위의 σ_m 에서 발생하는 최대값 또는 최소값 지점들만이 (σ_m에 대하여) 약 0.1의 최소 크기를 갖는 인근과 같은, 충분히 큰 σ_m의 인근으로 알려진다.

주요지점들의 정확한 식별에 영향을 미칠 수 있는 아티팩트들의 발생을 방지하게 위하여, 이미지의 경계에 속하는 이미지 지점들은 직접 폐기되고 - 따라서 제2 표로 삽입되며 - 이는 가능한 광역 최대값(또는 최소값) 지점들의 존재와 무관하게 이루어진다.

좌표들의 각각의 지점 (x_t, y_t)에 대해 더 많은 최대값 및/또는 최소값 지점들이 있을 수 있다는 점을 유의하여야 한다. 이 경우, 최대값 지점의 경우에, 더 높은 L(x_t, y_t, σ) 값을 갖는 지점만이 고려될 수 있고, 반면에 최소값 지점의 경우에, 더 낮은 L(x_t, y_t, σ) 값을 갖는 지점만이 고려될 수 있다.

본 발명의 추가적인 실시예에 따르면, 각각의 지점에 대해 σ 내 동일한 작업 범위를 사용하는 대신에, 개별적으로 다른 작업 범위를 사용할 수 있다. 예를 들어, 근사 함수의 국부 최대값(또는 최소값) 지점이 σ_m을 포함하고 σ_m에 의존하는 단부들을 갖는 작업 범위의 하부 구간인 σ 범위에 대하여 광역 최대값(또는 최소값)으로 고려될 수 있다. 이 지점에서, 선택된 지점 (x_t, y_t)이 이미지 I의 최종 지점인지 아닌지 여부를 결정하는 확인이 수행된다(블록 124).

부정적인 경우(블록 124의 N 갈래 출력) 상기 이미지의 새로운 지점 (x_t, y_t)이 선택되고(블록 126), 전술한 동작들이 상기 새로운 지점에 대해 반복된다(블록 108로 돌아감).

긍정적인 경우(블록 124의 Y 갈래 출력), 상기 이미지의 모든 지점들이 제1 또는 제2 표로 분류된다.

도 6a는, 그레이 스케일에 의하여, 도 2a의 예시의 이미지의 각각의 지점에 대한 근사 함수에 의해 취해진 최대값의 예를 나타내며, 여기서 더 밝은 색상은 더 높은 값에 상응한다. 도 6b는, 그레이 스케일에 의하여, 도 2a의 이미지의 각각의 지점에 대한 근사 함수에 의해 취해진 최소값의 예를 나타내며, 여기서 더 밝은 색상은 더 높은 값에 상응한다. 도 6c 및 도 6d는 각도 2a의 이미지의 지점들이 최대값 및 최소값 지점들인 예를 각각 검정색으로 나타내며, 이는 잠재적인 주요지점들의 후보(즉, 제1 표에 포함되었던 지점들)이다.

본 발명의 일 실시예에 따르면, 도 5a 내지 도 5b의 주요지점들의 식별 프로세스의 후속 동작들은, 근사 함수 내 최대값을 갖는 제1 표에 속하는 각각의 지점 (x_t, y_t)에 대해, 식별된 최대값의 값 σ_m 에서의 지점의 근사 함수의 값이 상기 이미지 내 그 지점과 인접한 8개의 지점들의 근사 함수에 의해 취해진(assumed) 최대 값들보다도 큰지 여부를 확인하는 것을 제공한다. 유사한 방식으로, 근사 함수 내 최소값을 갖는 제1 표에 속하는 각각의 지점 (x_t, y_t)에 대해, 식별된 최소값의 값 σ_m 에서의 지점의 근사 함수의 값이 상기 이미지 내 그 지점과 인접한 8개의 지점들의 근사 함수에 의해 취해진 최소 값들보다도 작은지 여부가 확인된다.

본 발명의 일 실시예에 따르면, 최대값 지점들을 고려하여(유사한 고려들이 최소값 지점들에도 적용될 수 있다), 일 지점 (x_t, y_t)이 제1 표로부터 선택되고(블록 128), - 상기 제1 표에서 상응하는 요소로부터 얻어질 수 있는 - 상기 지점의 근사 함수의 최대 값이, - 상기 제1 및/또는 제2 표에서 그들 인접하는 지점들에 상응하는 요소들에 의해 얻어질 수 있는 - 상기 이비지의 8개의 인접 지점들에서의 근사 함수들의 최대 값들과 비교된다(블록 130). 상기 8개의 인접 지점들 중 각각은 교대로 잠재적인 주요지점(이 경우, 상기 지점은 제1 표에 리스트됨) 또는 이미 폐기된 지점(이 경우, 상기 지점은 제2 표에 리스트됨)일 수 있음이 강조된다. 상기 선택된 지점에서의 근사 함수의 최대 값이 인접 지점의 근사 함수들의 최대 값들 모두보다 더 크면(블록 132의 Y 갈래 출력), 상기 지점은 여전히 잠재적인 주요지점으로 고려되고, 따라서 그것은 제1 표에 남겨진다(블록 134). 상기 선택된 지점에서의 근사 함수의 최대 값이 인접 지점의 근사 함수들의 최대 값들 모두보다 더 크지 않으면(블록 132의 N 갈래 출력), 상기 지점은 더 이상 잠재적인 주요지점으로 고려되지 않고, 따라서 그것은 제1 표로부터 제거되고 제2 표로 삽입된다(블록 136). 이후 상기 제1 표에 리스트된 지점들 모두가 비교되었는지 아닌지를 결정하기 위한 확인이 수행된다. 부정적인 경우(블록 138의 N 갈래 출력), 제1 표로부터 새로운 지점이 선택되고(블록 140), 블록들 132-136의 동작들이 이 새로운 지점에 대해 다시 수행된다. 긍정적인 경우(블록 138의 Y 갈래 출력), 잠재적인 주요지점들의 초기 스크리닝(screening)이 종료된다.

본 발명의 실시예들에 따른 솔루션들을 사용하여, 그 지점의 근사 함수의 트렌드와 인접 지점들의 근사 함수들의 트렌드를 단순히 비교함으로써 인접 지점들의 필터링된 이미지의 행태(behavior)에 대한 이미지의 포괄 지점 내 필터링된 이미지의 행태를 빠르고 효율적인 방식으로 평가하는 것이 가능하였다.

도 6c, 6d에 도시된 예로 돌아오면, 도 7a 및 도 7b는 각각 블록들(130-140)의 프로시저들이 수행된 이후 제1 표에 남은(즉, 여전히 잠재적인 주요지점들인) 상응하는 최대값 및 최소값 지점들을 검정 색상으로 나타낸다.

본 발명의 일 실시예에 따르면, 상기 제1 표에서의 남아있는 잠재적인 주요지점들은 이제부터 그들이 최대값 또는 최소값 지점들이라는 사실과 독립적으로 고려된다.

본 발명의 일 실시예에 따른 주요지점 식별 프로시저는 조악한 안정성을 갖는 것으로 평가된 잠재적인 주요지점들, 즉 다른 방식 또는 다른 광 조건들에서 장면을 관측하여, 더 이상 검출될 수 없는 또는 그들이 놓인 물체에 대한 위치를 변경할 수 있는 장면의 요소들에 속하는 주요지점들을 상기 제1 표로부터 제거하는 단계를 포함한다. 본 발명의 일 실시예에 따르면, 상기 안정성은 이하의 3개의 안정성 테스트들 중 하나 이상을 수행함으로써 결정된다.

본 발명의 일 실시예에 따른 제1 안정성 테스트(블록 142)는 상기 제1 표로부터 폐기하도록 지점들에 특정 임계치보다 낮은 상응하는 σ_m 에서 계산된 근사 함수의 절대값을 제공한다. 이들 지점들은 (임계치에 의해 결정된) 최소 콘트라스트보다 낮은 콘트라스트를 갖는 이미지의 영역들에 해당한다. 이 확인(verification)은 근사 함수에 의해 수행된 근사만으로 주요지점으로 식별된 가능한 지점들을 제거하는 것도 허용한다. 실제, 균일한 색상을 갖는 (그에 따라 매우 낮은 콘트라스트를 갖는 영역) 영역에 상응하여, 상기 영역에 속하는 지점에서의 필터링의 결과는 σ가 변동함에 따라 거의 일정하고 0에 가까운 값들을 가져야 하고, 따라서 일정한 트렌드(flat trend)를 가져야 하지만, 상기 근사 함수를 활용하는 근사는, 상기 근사에 의해 도입된 경우에만 (특히 상기 근사 함수가 다항식인 경우) 국부 최대값 또는 최대값을 0으로 생성하는 경향을 갖고, 이는 상기 지점을 폐기하는 대신 주요지점으로 분류하는 것을 허용할 수 있다.

본 발명의 일 실시예에 따른 제2 안정성 테스트(블록 144)는 상기 제1 표의 각각의 지점에 대해 그리고 이 지점을 중심으로 한 상기 이미지의 3x3 픽셀들의 패치에서 그 패치에 속하는 상기 지점들 내 함수 L(x, y, σ)에 의해 형성된 표면의 주요 곡면 및 (상기 제1 주요 곡면에 수직한) 부수 곡면을 계산하는 단계 및 그들 2개의 곡면들을 비교하고 비율을 계산하는 단계를 포함한다. 상기 2개의 곡선들이 유사한 것으로 보이면, 이 경우 상기 지점은 상기 이미지의 영역 내에 해당하고 그것의 위치가 잘 정의되었음을 의미하며, 상기 지점은 상기 제1 표에 남겨지고, 반면에 상기 2개의 곡선들이 현저하게 다르면 이 경우 상기 지점은 보드(board)에 유사한 이미지의 영역에 해당하는 것을 의미하고, 따라서 그것의 위치 또는 존재가 장면이 어떻게 관측되는지에 따라 상당히 변동하기 때문에 아주 신뢰성 있는 것은 아니다. 후자의 경우, 상기 지점은 제1 표로부터 제거된다. 이 테스트는 주요지점들의 식별을 위한 알려진 프로시저들에도 사용되지만, 곡면들을 계산하는데 사용된 지점들의 패치가 이미 필터링된 이미지에 속하는 후자의 경우와 다르게, 본 발명의 실시예들에 따르면, 상기 패치는 고려된 지점의 σ_m 에서의 지점들 내 필터링된 이미지를 계산함으로써 바로 구축되어, 디테일이 실제로 속하는 스케일에서, 표면의 더욱 정확한 화면을 갖는다.

본 발명의 일 실시예에 따른 제3 안정성 테스트(블록 136)는, 상기 지점의 σ_m 에 상응하여 계산된 근사 함수의 2차 도함수로부터 제공된, 함수 L(x, y, ?)의 (?에서의) 곡면의 값을 계산하는 것을 제공한다. 3차원 다항식에 상응하는 근사 함수로 이전 고려된 예를 참조하면, 지점 σ_m 에서의 함수 L(x_t, y_t, σ)의 곡면은 다음과 같다: L(x_t, y_t, σ_m) = 6c₃ (x_t, y_t) σ_m +2c₂ (x_t, y_t). 만일 상기 곡면의 절대값이 임계치보다 크면, 이 경우 상기 지점은 안정적인 것으로 간주되고, 따라서 제1 표에 남겨진다. 상기 곡면의 절대값이 상기 임계치보다 작은 것으로 밝혀지면, 이 경우 상기 지점은 불안정한 것으로 간주되고, 따라서 상기 제1 표로부터 제거된다.

계산들을 줄이기 위해, 주요지점들을 식별하기 위한 프로세스는 바람직하게 옥타브 접근법으로, 즉 항상 동일한 작업 범위 ?를 사용하여, 더욱 더 스케일된 이미지 I의 버전들에 대해 지금까지 설명된 동작들 모두를 반복함으로써 수행된다.

이러한 이유로, 본 발명의 일 실시예에 따르면, 지금까지 설명된 동작들을 수행한 이후, 제1 표에 리스트된 지점들의 좌표들의 정제(refinement)가 수행된다(블록 148). 여기까지는, 실제로, 상기 제1 표에 리스트된 각각의 지점의 좌표들 (x_t, y_t)은 원래 이미지의 픽셀들에 상응하는 실수 및 정수 좌표들에 상응한다. 만일 상기 정제가 수행되지 않았다면, 상기 이미지의 원래 크기의 절반으로, 4분의 1로, 8분의 1 등으로 스케일된 더 높은 옥타브들에서 식별된 지점들의 좌표들은, 전체 해상도(full resolution)로 돌아갈 경우, 상응하는 특징적 디테일들을 중심으로 하지 않는 주요지점들의 식별을 야기할 것이다. 상기 좌표들의 정제 국면은 특징적 디테일들의 중심을 더욱 정확하게 결정하기 위한 것이다.

이 정제를 수행하기 위해, 본 발명의 일 실시예에 따르면, 이전에 개시되었던 것과 유사한 방법으로 σ가 변동함에 따라 지점에서 상기 필터링된 이미지를 근사 함수로 근사한다. 이 경우, 근사된 것은, 대신에, 상응하는 σ_m 값에서 ?를 고정하고, 상기 제1 표에 리스트된 포괄 지점(generic point) (x_t, y_t)의 인근에서 공간 좌표들 x_t - u 및 y_t - v이 변동함에 따라 필터링된 이미지이다.

예를 들어, 본 발명의 일 실시예에서, x 및 y가 변동함에 따라 필터링된 이미지는 예를 들어 2개의 변수들을 갖는 2차원 다항식의 근사 함수로 근사될 수 있다:

(15): L(x_t - u, y_t - v, σ) ~ l₅(x_t, y_t, σ)u² + l₄(x_t, y_t, σ)v² + l₃(x_t, y_t, σ)uv + l₂(x_t, y_t, σ)u + l₁(x_t, y_t, σ)v + l₀(x_t, y_t, σ)

이전에 설명된 것과 유사한 방식으로, 근사 함수의 계수들이 LoG 필터링에 의해 얻어진 일부 필터링된 이미지들의 선형 조합으로 계산된다. 예를 들어, 본 발명의 일 실시예에 따르면, 상기 계수들은, (주요 및 부수 곡면들의 비를 계산하는데 사용되는 패치의 값들과 같이) σ_m 값에서 σ를 갖는 상기 지점 (x_t, y_t)을 중심으로 한 3x3 지점들의 필터링된 이미지의 조합이다. 개략적으로 말해, 상기 계수들을 얻기 위해, 근사 매트릭스 G가 전술한 근사 매트릭스 F와 동일한 방식으로 구축되고, 상기 매트릭스는 상기 패치의 LoG 필터들과 곱해진다. 상기 근사 함수는 이후, u에 대한 제1 도함수 및 v에 대한 제1 도함수가 0이 되는 지점에 상응하여, (지점 (x_t, y_t)이 최대값 또는 최소값으로 식별되었는지 여부에 따라) 최대값 또는 최소값 식별을 위한 동작들에 이용된다.

상기 지점 (x_t, y_t)을 중심으로 한 패치인, u에 대한 제1 도함수 및 v에 대한 제2 도함수를 0으로 부여함으로써 연립식(system)을 해결하는 u 및 v는, 시프트(shift)가 좌표들 (x_t, y_t)에 적용되는 것을 제공한다. 본 발명의 일 실시예에 따르면, 상기 시프트가 적어도 u를 따른 또는 v를 따른 이미지의 픽셀의 절대값보다 큰 것으로 계산되면, 이 경우 상기 지점은 제1 표로부터 폐기된다. 이 최종 이벤트(event)는 드물지만, 스케일-공간 (x, y, σ) 내 극점들의 전체 식별 프로세스가 먼저 σ 를 따라 그리고 이후 x 및 y를 따라 작업함으로써 일어났기 때문에, 여전히 발생할 수 있다. 본 발명의 일 실시예에 따르면, 상기 프로시저의 복잡성 및 요구되는 계산들을 증가시키도록 제공되어, 상기 필터링된 이미지를 x, y, 및 σ의 단일 함수로 근사하는 것이 가능할 것이다.

이 관점에서, 제1 표에 남아있는 지점들 모두는 고려된 옥타브 내 이미지 I의 주요지점들로 식별된다. 각각의 주요지점에 대해, 상기 이미지 내 그것의 위치(좌표들 (x_t, y_t)로서, 아마도 블록(148)의 정제 국면에 따라 수정된 좌표들) 및 (2 * sqrt(2) * σ_m 과 동일한) 관련된 특징적 디테일의 크기 모두가 알려진다.

도 8a는 도 2a에 나타난 예시적인 이미지의 제1 옥타브 내 주요지점들로 식별된 지점들을 나타낸다. 각각의 주요지점은 주요지점의 지점을 중심으로 한 원으로 식별되고, 연관된 특징적 디테일의 직경에 비례하는 직경을 갖는다.

이 관점에서, 다시 도 5a 및 도 5b를 참조하면, 현재까지 고려된 옥타브가 (예를 들어, 5개의 옥타브들과 같이) 선택된 옥타브들의 집합 중 마지막 옥타브인지 여부가 확인된다. 긍정적인 경우(블록 151의 갈래 Y 출력), 상기 프로세스는 종료되고, 반대의 경우(블록 151의 갈래 N 출력) 상기 이미지의 스케일된 버전(scaled version)이 계산되어(블록 152) 다음 옥타브로 넘어가고, 이후 주요지점 식별 프로세스가 새로운 옥타브에서 재반복된다(블록 102로 돌아감). 충분한 수의 옥타브들(예를 들어 5개)에 대한 프로세스를 재반복한 이후, 상기 주요지점 식별 프로세스는 종료된다.

도 8b는, 도 2a에 나타난 샘플 이미지의 - 고려된 예에서, 5개인 - 고려된 옥타브들 모두에서의 주요지점으로 식별된 지점들을 나타낸다.

본 발명의 일 실시예에 따르면, 다음 옥타브에 상응하는 스케일된 이미지를 직접 계산하는 대신, 상기 이미지의 스케일된 버전이 베이스 필터들 LoGB(?_i)에 대한 σ_i 를 선택함으로써 근사될 수 있고, 그러한 σ_i 중 하나는 최초 σ_{i = 1} (고려된 σ_i 중 가장 낮은 값)의 2배이며, 상기 필터링된 이미지는 σ₁ 의 2배인 그러한 σ_i 로 (수평적으로 그리고 수직적으로 모두 매번 2개를 하나의 픽셀로 취하여) 언더-심플링될 수 있다. 이 방법으로, 50%로 스케일된 이미지가 베이스 필터 LoGB(σ₁)로 필터링된 경우 결과가 어떻게 될지에 관한 양호한 근사가 얻어진다. 따라서, 상기 언더-샘플링으로, 제1 베이스 필터 베이스 필터 LoGB(σ₁)로 필터링된 다음 옥타브의 이미지가 얻어진다.

포괄 베이스 필터 LoGB(σ_i)에 상응하게 50% 스케일된 이미지의 필터링이 이전 베이스 필터 LoGB(σ_i-1)로 필터링된 50% 스케일된 이미지를 필터링함으로써 얻어진다. 다양한 옥타브들로부터 추출된 주요지점들의 x, y 좌표들 및 스케일들 σ은 기존 이미지 I의 크기로 후속 보고된다.

전술한 설명은 본 발명의 다양한 실시예들을 구체적으로 나타내고 설명한다; 그러나, 첨부된 청구범위에 의해 한정된 범위를 벗어나지 않은, 설명된 실시예들에 대한 여러 가능한 수정들뿐만 아니라 본 발명의 다른 실시예들도 있다.

예를 들어, 본 설명서에서 (이미지의 에지 상의 지점들을 제외한) 모든 이미지 지점들에 대한 동작들을 수행하도록 계획된 식별 프로시저를 참조로 설명되었지만, 상기 지점들의 부분집합에만 그러한 동작들이 수행되도록 하는 경우에도 동일한 고려사항들이 적용될 수 있다.

나아가, 비록 본 설명서에서 LoG 또는 DoG에 기초한 필터들이 참조되어 그러한 필터들의 필터링 강도를 결정하는 필터링 파라미터는 가우시안 함수의 표준 편차이지만, 필터들이 이미지의 완만해진 버전들(smoothed versions)의 차이들에 기초하여 얻어진 경우에도 유사한 고려사항들이 적용된다.

Claims (14)

1. 픽셀들의 집합을 포함하는 디지털 이미지 내 주요지점들을 식별하기 위한 방법으로서, 각각의 픽셀은 그와 연관된 이미지 대표 파라미터들(image representative parameter)의 대응 값을 갖고, 상기 방법은,
   - 필터링된 이미지를 근사하는 단계로서, 상기 필터링된 이미지는 필터링 파라미터에 의존하고 상기 이미지의 각각의 픽셀에 대한 필터링 함수를 포함하며, 상기 필터링 함수는 상기 필터링 파라미터에 의존하여, 상기 픽셀의 상기 대표 파라미터의 값의 필터링된 값을 계산하며,
   상기 근사하는 단계는:
   a) 베이스 필터링된 이미지들의 집합을 생성하는 단계로서, 각각의 베이스 필터링된 이미지는 상기 필터링 파라미터의 대응 값으로 필터링된 이미지인, 단계;
   b) 픽셀들의 상기 집합의 적어도 부분집합의 각각의 픽셀에 대해, 상기 베이스 필터링된 이미지들에 기초하여 대응하는 근사 함수에 의해 상기 필터링 함수를 근사하는 단계로서, 상기 근사 함수는 상기 필터링 파라미터의 소정 범위 내의 상기 필터링 파라미터의 함수인, 단계;를 포함하고,
   - 상기 부분집합의 각각의 픽셀에 대해, 상기 근사 함수가 상기 소정의 범위 내의 대응하는 하부-범위에서의 상기 필터링 파라미터에 대한 광역 극점(global extreme)이기도 한 국부 극점(local extreme)을 갖는 경우 그러한 픽셀을 후보 주요지점으로 식별하는 단계;
   - 후보 주요지점으로 식별된 각각의 픽셀에 대해:
   c) 상기 픽셀의 상기 광역 극점에 상응하는 상기 필터링 파라미터의 값에서 상기 근사 함수에 의해 취해진(assumed) 상기 값을 그러한 인접 픽셀들의 대응 광역 극점들의 필터링 파라미터들의 값들에서의 이미지 내 인접 픽셀들의 근사 함수들에 의해 취해진 값들과 비교하는 단계, 및
   d) 이 비교에 기초하여 그러한 픽셀을 선택하는 단계를 포함하는, 방법.
2. 청구항 1에 있어서,
   상기 베이스 필터링된 이미지들에 기초하여 대응하는 근사 함수에 의해 상기 필터링 함수를 근사하는 단계는 상기 베이스 필터링된 이미지들의 선형 조합에 기초하여 상기 근사 함수를 계산하는 단계를 포함하는, 방법.
3. 청구항 2에 있어서,
   상기 근사 함수는 상기 베이스 필터링된 이미지들의 상기 선형 조합의 추가 근사에 기초하는, 방법.
4. 청구항 3에 있어서,
   상기 근사 함수는 상기 필터링 파라미터를 변수로 갖는 다항식인, 방법.
5. 청구항 4에 있어서,
   상기 다항식의 계수들은 상기 베이스 필터링된 이미지들에 기초하여 그리고 상기 선형 조합의 가중치들의 근사에 기초하여 계산되는, 방법.
6. 청구항 1 내지 5 중 어느 한 항에 있어서,
   상기 선택된 픽셀들로부터 픽셀들을 폐기하는 단계를 더 포함하고,
   상기 픽셀의 상기 광역 극점에 상응하는 상기 필터링 파라미터에서 상기 근사 함수에 의해 취해진 값은 제1 임계치보다 작은 절대값을 갖는, 방법.
7. 청구항 1 내지 5 중 어느 한 항에 있어서,
   - 각각의 선택된 픽셀에 대하여, 그러한 선택된 픽셀의 중심인 패치(patch)에 포함된 이미지의 픽셀들에서의 필터링 함수들에 의해 형성된 주요 곡면(main curvature) 및 부수 곡면(secondary curvature)를 계산하는 단계; 및
   - 상기 주요 곡면과 상기 부수 곡면 사이의 비율에 기초하여, 상기 선택된 픽셀들로부터 그러한 픽셀을 폐기하거나 상기 선택된 픽셀에서 그러한 픽셀을 유지하는 단계를 더 포함하는, 방법.
8. 청구항 1 내지 5 중 어느 한 항에 있어서,
   - 각각의 선택된 픽셀에 대해, 상기 상응하는 광역 극점에서의 상기 필터링 파라미터에 대한 상기 근사 함수의 제2 도함수에 의해 취해진 값을 계산하는 단계; 및
   - 상기 제2 도함수에 의해 취해진 그러한 값에 기초하여 상기 선택된 픽셀들로부터 그러한 픽셀을 폐기하거나 상기 선택된 픽셀들에서 그러한 픽셀을 유지하는 단계를 더 포함하는, 방법.
9. 청구항 1 내지 5 중 어느 한 항에 있어서,
   상기 후보 주요지점으로 식별하는 단계는, 상기 필터링된 파라미터의 동일한 소정 범위를 사용하여, 상기 이미지의 스케일된 버전(scaled version)에 대해 적어도 반복되는, 방법.
10. 청구항 9에 있어서,
    - 상기 베이스 필터링된 이미지들의 상기 필터링된 파라미터의 값들 중 적어도 하나는 다른 베이스 필터링된 이미지의 상기 필터링된 파라미터의 값들 중 가장 낮은 값의 2배이고,
    - 상기 이미지의 상기 스케일된 버전은 상기 필터링된 파라미터의 최소 값을 갖는 상기 베이스 필터링된 이미지의 근사 버전(approximate version)으로부터 시작하여 상기 베이스 필터링된 이미지들을 근사함으로써 얻어지고, 상기 베이스 필터링된 이미지의 상기 근사 버전은 상기 베이스 필터링된 이미지를 상기 필터링된 파라미터의 상기 최소 값의 2배인 상기 필터링 파라미터의 그러한 값으로 언더샘플링(undersampling)함으로써 근사되는, 방법.
11. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 필터링된 이미지는 가우시안의 라플라시안(Laplacian of Gaussians)에 기초한 필터들 또는 가우시안의 차(Differences of Gaussians)에 기초한 필터들의 적용에 기초하고,
    상기 필터링 파라미터는 가우시안 함수의 표준 편차인, 방법.
12. 청구항 4 또는 청구항 5에 있어서,
    청구항 4에 따를 경우, 상기 다항식은 상기 필터링 파라미터에 대한 3차원 다항식인, 방법.
13. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 이미지의 각각의 픽셀은 상기 이미지 내 픽셀들의 위치를 식별하는 적어도 하나의 상응하는 좌표를 갖고,
    상기 방법은, 각각의 선택된 픽셀에 대하여, 추가적인 근사 함수에 기초한 좌표들의 상응하는 변경을 계산함으로써 그러한 픽셀의 적어도 하나의 좌표를 수정하는 단계를 더 포함하고,
    상기 추가적인 근사 함수는 그러한 좌표들의 변경에 대해 상기 픽셀에서의 상기 필터링 함수들을 근사하며,
    상기 추가적인 근사 함수는:
    1) 상기 선택된 픽셀의 상기 광역 극점에 상응하는 필터링 파라미터의 값에서 그러한 선택된 픽셀의 필터링 함수에 기초하고, 및
    2) 상기 선택된 픽셀의 상기 광역 극점에 상응하는 필터링 파라미터의 값에서 상기 이미지 내 상기 선택된 픽셀에 인접한 픽셀들의 필터링 함수에 기초하는, 방법.
14. 청구항 13에 있어서,
    상기 좌표들의 변화를 계산하는 단계는, 상기 좌표들의 변화에 대해 상기 추가적인 근사 함수 내 최대값 또는 최소값 지점들을 식별하는 단계 및 상기 식별된 최대값 또는 최소값 지점들에 기초하여 그러한 좌표들의 변화를 설정하는 단계를 포함하는, 방법.

Images