KR101506060B1

KR101506060B1 - 이미지 식별용 특징-기반 시그네처

Info

Publication number: KR101506060B1
Application number: KR1020107017581A
Authority: KR
Inventors: 미로슬로우 보버; 폴 브라스넷
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2008-01-09
Filing date: 2008-06-30
Publication date: 2015-03-25
Also published as: WO2009087340A1; EP2240887B1; CN101911100A; KR20100112155A; US20110038541A1; GB0800364D0; CN101911100B; JP2011511340A; JP5431362B2; US8660385B2; EP2240887A1

Abstract

이미지의 표시를 도출하기 위한 방법이 개시된다. 이 방법은 이미지에 대응하는 신호를 처리하는 것을 포함한다. 이미지를 대표하는 적어도 하나의 이미지 영역이 식별된다. 일 실시예에서, 각 식별된 영역은 이미지의 특징에 대응한다. 각 식별된 이미지 영역에 대하여, 이미지 영역의 적어도 일부의 2차원 함수가 도출되고 이미지 영역의 적어도 일부의 중간 표시를 획득하도록 처리된다. 이미지의 표시는 이미지 영역들 중 적어도 하나의 중간 표시로부터 도출된다.

Description

이미지 식별용 특징-기반 시그네처{FEATURE-BASED SIGNATURES FOR IMAGE IDENTIFICATION}

본 발명은 이미지 표시 방법 및 장치에 관한 것이며, 또한, 예를 들어, 검색이나 검증(validation) 용도로 이미지를 비교 또는 매칭(matching)하기 위한 방법 및 장치에 관한 것이다.

본 발명은 앞서, 공동-계류중인 유럽 특허 출원 번호: EP 06255239.3, 및 UK 특허 출원 번호: GB 0700468.2, GB 0712388.8 및 GB 0719833.6(이들의 내용은 본원에 참조로서 포함됨)에 개시된 이미지 식별 기술에 대한 개선에 관련된 것이다. 이들 이전에 공동 계류중인 특허 출원에 개시된 실시예 및 그 발명들의 상세는 본 발명 및 실시예에 마찬가지로 적용된다.

EP 06255239.3, GB 0700468.2, GB 0712388.8 및 GB 0719833.6에 기술된 방법 및 장치에 사용된 이미지 식별 기술들은 각각 이미지로부터 단문 2진 디스크립터(short binary descriptor)를 추출하는 것이다(도 2 참조). 이들 기술은 종래 기술의 많은 단점을 해결하고 있는데, 구체적으로:

ㆍ특징 추출 및 매칭 모두에 대한 낮아진 계산 복잡도(computational complexity),

ㆍ감소된 이미지 디스크립터 사이즈,

ㆍ각종 이미지 수정에 대한 향상된 로버스트함(robustness), 및

ㆍ광범위한 이미지 수정에 대하여 99.8%의 검출률을 유지하면서 0.05 ppm(parts per million) 수준으로 감소된 FAR(false alarm rate)

을 특징으로 하고 있다.

이들 방법은 많은 공통 이미지 수정에 대한 매우 높은 수준의 로버스트함을 제공한다. 그러나, 이들은, 트랜슬레이션(translation) 또는 크로핑(cropping)과 같이 이미지 컨텐츠의 중요한 부분이 손실되거나 대체되는 소정의 이미지 수정군(a class of image modifications)에 대하여 요구되는 수준의 로버스트함을 제공하지 않을 수 있다.

그러므로 이미지 컨텐츠의 부분적인 손실을 수반하는 이미지 수정군에 대해서는 크게 개선된 로버스트함이 바람직하다.

<발명의 요약>

제1 양태에 따르면, 본 발명은 첨부된 특허청구범위 제1항에서 정의된 이미지의 표시(representation)를 도출(deriving)하는 방법을 제공한다.

제2 양태에 따르면, 본 발명은, 예를 들어, 이미지 매칭(matching)을 위해, 본 발명의 제1 양태에 따라 도출된 이미지의 표시를 비교함으로써 이미지를 비교하기 위한 방법을 제공한다.

본 발명의 다른 양태들은 본 발명의 제1 양태에 따라 도출된 이미지 표시들의 사용, 본 발명의 제1 및/또는 제2 양태에 따른 방법을 수행하기 위한 장치 및 컴퓨터 프로그램을 포함한다.

본 발명은 영역-기반 추적-변환 디스크립터(region-based Trace-transform descriptors)에 의해 설명된 적은 수의 관심 영역에 기초하여 이미지를 표시하기 위한 새로운 접근법에 관한 것이다. 이는 또한 새로운 이미지 매칭 방법에 관한 것이다.

본 발명의 실시예에 따라, 대표가 되는 소규모의 관심/특징 포인트 세트가 이미지로부터 선택된다. 선택 과정에서 이전에 선택된 특징들 주변의 제외 구역(exclusion zone)과 같은 제약이 이용된다. 2진 "특징 시그네처(feature signature)"는 수정된 추적-변환 기반 방법을 이용하여 각각의 선택된 관심 영역으로부터 추출된다. 특징 시그네처는 특징의 국부적 이웃을 특징화하는(characterize) 데에 이용된다. 이미지는 복수의 국부 특징 시그네처 및 그들의 기하학적 관계(geometric relations)에 의해 표시된다.

본 발명의 실시예들에 따르면, 이미지 매칭 과정은 이 방법의 정확성을 향상시키기 위해서 기하학적 제약을 적용하기 전에 누적 해밍 거리(cumulative Hamming distance)를 이용하여 특징 포인트들의 매칭 쌍의 후보 집합을 빠르게 식별하는 것을 포함하는 2 단계 처리로서 수행된다. 구체적으로, 상기 이미지로부터 선택된 특징 포인트들의 도형(geometry)에 의해 제공된 정보는 FAR(false alarm rate)을 상당히 줄이도록 도와준다. 기하학적 정보는 또한 이미지 변환군 및 변환 파라미터를 결정하는 데에 이용될 수도 있다.

본 발명의 실시예는 EP 06255239.3, GB 0700468.2, GB 0712388.8 및 GB 0719833.6에 기재된 이미지 식별 장치 및 방법에 대한 보완이 되도록 설계되었다. 본 발명은 유리하게도 특정 이미지 수정들에 대하여 추가적인 로버스트함을 제공한다. 또한, 본 발명의 기술을 사용하는 것과 별도로 종래의 처리 자원의 상태를 이용하는 것은 검색 속도면에서 앞서-참조한, 이전의 공동-계류중인 특허 출원에서 제안하였던 기술들과 동일한 성능을 제공하지 않을 수 있다. 구체적으로, 본 발명의 실시예에 따른 잠재적인 특징 쌍을 식별하는 처리는 이전에 제안되었던 방법보다 적어도 한자릿수만큼 저속일 수 있다. 본 발명에 따른 방법 및 이전의 공동-계류중인 특허 출원들의 하나 이상의 방법들은 독립적으로 사용될 수 있지만, 이 방법들을 결합하는 것이 바람직할 것이다. 이렇게, 보다 빠른 방법을 이용하는 것으로부터의 결과가 이하 기술될 본 발명의 상대적으로 저속인 방법에 대한 추가적인 분석을 위해 전달 될 수 있다. 함께 적용했을 경우, 속도면에서의 성능 이익, 오탐률(false detection rates) 및 로버스트함이 극대화된다.

본 발명의 다른 특징 및 이점은 이하의 설명 및 첨부된 도면으로부터 명백해질 것이다.

이제 첨부된 도면을 참조하여 본 발명의 실시예가 기술될 것이다:
도 1a는 이미지를 도시하는 도면.
도 1b는 도 1a의 이미지의 축소된 버전을 도시하는 도면.
도 1c는 도 1a의 이미지의 회전된 버전을 도시하는 도면.
도 1d는 도 1a의 이미지의 블러링된(blurred) 버전을 도시하는 도면.
도 1e는 도 1a의 이미지의 (좌우를) 뒤바꾼(flipped) 버전을 도시하는 도면.
도 1f는 도 1a의 이미지의 심하게 압축된 버전을 도시하는 도면.
도 1g는 도 1a의 이미지의 잘려진(cropped) 버전을 도시하는 도면.
도 2는 종래 기술에 따른 이미지 및 이미지의 비트 스트링 표시를 나타내는 도면.
도 3은 그래디언트 기반 특징 검출기(gradient-based feature detector)에 의해 검출된 예시적인 관심 포인트(interest points) 세트를 나타내는 도면.
도 4는 특징이 선택되지 않은 이미지 경계 영역 및 강도에 기초한 최종 특징 세트를 도시하는 도면.
도 5는 기하학적 제약을 적용하는 데에 관심 포인트들 간의 선 길이가 이용되는 (a) 원래 이미지 및 (b) (a)의 회전된 버전으로부터의 해밍 거리를 이용하여 매치를 위해 찾아낸 관심 포인트들을 도시하는 도면.
도 6은 본 발명의 실시예에 따른 장치의 블록도.

이미지 표시, 구체적으로 이미지 ID(identifier)를 도출하고, 예컨데, 이미지 또는 이미지들의 식별, 매칭 또는 검증 용도로 이러한 표시/ID를 사용하기 위한 각종 실시예가 이하 기술될 것이다. 본 발명은 이미지 식별에 특히 유용하지만, 이에 제한되는 것은 아니다. 기술된 실시예에서, "이미지 ID"(간단히 "ID", "시그네처(signature)", 또는 "이미지 시그네처"라고도 칭함)는 이미지 표시의 일례이며 단지 이미지의 표시, 즉, 디스크립터를 지칭하기 위해 사용된 용어이다.

당업자는 본 발명의 실시예에 따른 이미지 식별 장치 및 방법의 특정 설계 상세, 및 이미지 식별에 사용되는 이미지 ID의 도출(derivation)이 이 ID가 로버스트하게 해야 하는 이미지 수정 유형에 관련된 요구사항(ID의 사이즈, 추출 및 매칭 복잡도, 대상 FAR(target false-alarm rate) 등)에 의해 결정되는 것임을 잘 알 것이다.

다음의 예는 이미지에 대한 이하의 수정들에 로버스트해야 하는 ID를 생성하는 일반적인 설계사항을 예시한 것이다(아래는 배타적인 목록은 아니다):

ㆍ컬러 리덕션(color reduction),

ㆍ블러링,

ㆍ밝기 변경,

ㆍ뒤바꿈(좌우 & 상하),

ㆍ그레이스케일 전환(Greyscale conversion),

ㆍ히스토그램 평활화(Histogram Equalisation),

ㆍJPEG 압축,

ㆍ노이즈,

ㆍ회전,

ㆍ크로핑(cropping),

ㆍ크기조절(Scaling),

ㆍ트랜슬레이션(Translation),

ㆍ스큐잉(Skewing), 및

ㆍ퍼스펙티브 변경(Perspective change).

이 권장되는 설계 사항은 통상, 폭넓은 이미지군에서 10 ppm 보다 적은, 낮은 FAR 및 95.0% 보다 높은 통상적인 검출률을 얻을 수 있다고 알려져 왔다.

도 1은 이미지 및 이미지의 수정된 버전들의 일례를 도시한다. 보다 구체적으로, 도 1a는 원래의 이미지이고, 도 1b는 도 1a의 이미지의 작아진(크기조절된(scaled)) 버전이고, 도 1c는 도 1a의 이미지의 회전된 버전이고, 도 1d는 도 1a의 이미지의 블러링된 버전이고, 도 1e는 도 1a의 이미지의 좌우를 뒤바꾼 버전이고, 도 1f는 도 1a의 이미지가 압축된 버전이며, 도 1g는 도 1a의 이미지의 잘려진 버전이다.

본 발명의 실시예는 이미지에 대응하는 신호 및/또는 이미지 데이터를 처리함으로써 이미지 표시, 보다 구체적으로 이미지 ID를 도출한다.

이미지 ID 추출의 초기 단계에서는 EP 06255239.3, GB 0700468.2, GB 0712388.8 및 GB 0719833.6과 부합하도록, 이미지가 선택적으로 리사이징(resizing) 및 필터링에 의하여 전처리된다. 리사이징 단계는 처리 이전에 이미지를 정규화하는 데에 이용된다. 필터링 단계는 엘리어싱(aliasing) 등의 효과를 제거하기 위한 필터링을 포함할 수 있는데, 이는 영역 선택 및 템퍼링(tapering) 또한 포함할 수 있다. 일 실시예에서 이미지는 192xN 또는 Nx192의 해상도로 리사이징되는데, 여기에서 N≥192이고 화면 비율은 유지된다. 다른 실시예에서 이미지는 192x192인 정사각형으로 리사이징된다. 그러면 이미지는 3x3 가우시안 커널(Gaussian kernel)로 로우패스 필터링(low pass filtering)된다. 추가적인 처리를 위하여 이미지의 중심으로부터 원형 영역(circular region)이 추출된다. 이 전처리 단계는 선택사항이며 상기의 것들의 임의의 조합을 포함할 수 있다.

다음 단계에서 이미지 내의 관심 포인트들이 검출된다. 일 실시예는 측정 이미지 그래디언트(measuring image gradients)에 기초하여 이미지의 잠재적인 특징 및 이들의 강도를 검출하기 위한 특징 검출기를 이용한다. 한 적절한 이미지 그래디언트 특징 검출기는 해리스 특징 검출기(Harris feature detector)이다. 도 2의 이미지에 적용된 해리스 특징 검출기의 예시적인 결과들이 도 3에 도시되어 있다. 대표적인 특징 세트를 선택하기 위한 선택 과정이 적용된다. 일 실시예에서, 최대 16개 특징이 선택된다. 경계(boundary)는 어떠한 특징도 선택되지 않은 이미지의 가장자리(edge) 주변에 설정되는데, 이 실시예에서는 경계는 16 픽셀 너비이다. 검출된 특징들 중에서도 허용되는 특징들로부터 가장 강한 특징이 우선적으로 선택된다. 강도 순서대로 후속되는 특징들이 선택되는데, 이전에 선택된 특징들 주변의 제외 구역(exclusion zone) 내에 있는 특징이라면 선택되지 않는다는 제약이 있다. 일 실시예에서, 반지름이 10 픽셀인 원형 영역이 제외 구역으로서 사용된다. 일단 소정 개수의 대표적인 특징(예를 들어, 바람직한 실시예서는 16 픽셀)이 선택되었거나 더 이상 특징들이 남아있지 않는다면 선택 처리가 종료된다. 도 3에 검출된 특징들로부터 선택된 특징 세트가 도 4에 도시된다.

이제 특징 (또는 관심) 포인트의 위치가 선택되었으니, 이들 위치는, 예를 들면, 인터넷(http://opencvlibrary.sourceforge.net/CvReference, 참조문헌[1])에서 얻을 수 있는 OpenCV (FindCornerSubPix) 03/01/2008에 기재된 방법을 이용하여 서브-픽셀 해상도로 정련되는(refined) 것이 바람직하다.

본원에 참조로서 포함되는 GB 0719833.6에는 2진 이미지 시그네처 또는 이미지 표시를 추출하기 위한 방법이 개시되어 있다. 본 발명의 실시예에서, GB 0719833.6의 방법은 특징 포인트들 주변 영역으로부터 2진 "특징 시그네처"를 추출하는 데에 적용된다. 따라서, 각 특징 시그네처는 검출된 특징과 관련된 이미지 영역의 2진 표시이다. 일 실시예에서 그 중앙에 특징 포인트가 위치한 반지름이 32 픽셀인 원형 이미지 영역이 선택되고 이미지 영역에 대한 2진 시그네처가 계산된다. 원형 영역은 예를 들어, 큐빅 보간법(cubic interpolation)을 이용하여, 서브-픽셀 수준의 정확도로 추출되는 것이 바람직하다. 그 다음 추출된 영역은 GB 0719833.6에 따른 방법을 이용하여 대응 이미지 ID를 도출해내도록 처리된다. 아래에 이 방법의 간단한 요약이 제공된다.

이미지 영역의 추적 변환

은 모든 가능한 선들을, d, θ를 파라미터로 하여 이미지 상에서 투사하고, 이들 선들에 대해 제1 기능성(functional) T를 적용함으로써 수행된다. 추적 변환의 결과는 GB 0700468.2에 개시된 방법에 따라, 그 차원 d, θ 중 하나 또는 둘 다의 해상도를 줄이도록 분해될 수 있다. EP 06255239.3 및 GB 0700468.2의 방법에서와 같이, 실수 벡터(즉, 1차원 함수)를 부여하기 위해 제2 기능성 P가 추적 변환의 열들(columns)에 적용될 수 있다. 이러한 제2 기능성 P는 대각 기능성(diametrical functional)으로서 공지되어 있으며 그 결과인 벡터는 서커스 함수(circus function)로서 공지되어 있다.

하나의 숫자를 부여하도록 제3 기능성, 서커스 기능성이 서커스 함수에 적용될 수 있지만, 이 단계는 바람직한 실시예에서는 이용하지 않는 것으로 한다.

대안으로, GB 0719833.6의 방법에 따르면, 상술한 서커스 함수의 대안으로, 소위 "밴드-서커스(band-circus)" 함수가 획득될 수 있는데, 이 함수는 추적 변환의 일부로부터만 값들을 선택하고 처리함으로써 추적 변환을 이미지의 선들의 서브셋으로 제한한다.

그 결과의 속성들은 제1, 제2, 및/또는 제3 기능성(추적, 대각 및 서커스) 중 적절한 선택에 의해 제어될 수 있다.

이미지 영역의 2진 ID는 프리퀀시 표시(frequency representation)를 통하여 서커스 함수(또는 밴드-서커스 함수)로부터 추출된다. 예를 들면, Fourier 변환의 크기 계수(magnitude coefficients)에 대하여 함수

가 정의될 수 있다. 이 함수의 한 예에서는 이웃 계수의 차분을 구하고 있다:

결과 벡터에 임계값을 적용함으로써 2진 스트링이 추출될 수 있어,

모든 ω에 대하여,

가 되도록 한다.

S의 적절한 선택은 S=0 및 S= mean(c)을 포함한다. 그러면 이미지 영역의 2진 표시는 이들 2진 스트링 값

으로 이루어지게 된다.

본 발명의 일 실시예에서, (GB 0719833.6에서와 같은 전체 이미지와는 반대되는) 국부 이미지 영역이 사용되기 때문에, 본원에 기재된 시그네처 추출 기술에 다수의 수정들이 이루어질 필요가 있다. 구체적으로는, 다음의 기능성들을 이용하는 완전한 추적 변환의 서커스 함수로부터 2개의 ID가 추출된다.

이것은 EP 06255239.3에 개시된 방법에 따른 것이다.

GB 0700468.2에 개시된 방법에 따르면, 추적 변환의 거리 (d) 파라미터를 8, 16 및 32배로(by a factor of 8, 16 and 32) 분해(또는 서브-샘플링)하고 수학식 1 및 2 모두를 적용함으로써 획득되는 서커스 함수로부터 추가로 6개의 "멀티 해상도(multi resolution)" ID가 추출될 수 있다.

GB 0712388.8에 개시된 방법에 따르면, 추적 변환의 대역들(bands)로부터 추가로 3개의 함수가 선택되고, GB 0719833.6에 개시된 방법에 따르면, 추적-고리(trace-annulus) 함수로부터 2개의 함수가 추출되고 추적-원형(trace-circular) 함수로부터 1개의 함수가 추출된다.

이들 14개의 성분(component) ID 각각은 8 비트로, 총 112 비트가 되어 각 특징 ID에 주어진다. (전처리된 이미지에서는) 특징 포인트들의 좌표가 대응 특징/이미지 영역에 대한 기하학적 정보로서, 이 ID와 함께 저장된다. 선택사항으로서 112 비트의 서브셋이 선택되거나 도출될 수 있다.

완전한 특징 포인트 세트는 다수의 방식으로 표시될 수 있다. 바람직한 실시예에서는 이미지 디스크립터가 다수의 정보 필드를 포함하는 비트스트림이고, 제1 필드는 특징들의 개수이다. 그러면 각 특징은 비트스트림에 특징 포인트 좌표(x 및 y)로서 표시되고, 그 다음 ID가 뒤따라 표시된다. 선택사항으로서, 특징들의 개수를 저장하는 대신에 미사용 필드를 나타내기 위한 플래그 세트(flag set)를 가지는 패딩(padding)이 이용될 수 있다.

앞서 언급한 바와 같이, 이미지 특징들 간의 전체 매칭 과정은 2 단계를 포함한다.

제1 단계는 한 이미지로부터의 모든 특징과 제2 이미지로부터의 모든 특징을 비교하는 것을 포함한다. 2개의 특징 시그네처 B₁과 B₂(둘 다 길이는 N임) 간의 매칭을 수행하기 위해, 해밍 거리를 구한다:

여기서,

는 exclusive OR (XOR) 연산자이다.

일 실시예에서, 최소 해밍 거리(Hamming distance) H를 가지는 고유한 3쌍이 발견되고 2개의 이미지들 간의 특징-기반 누적 해밍 거리(the feature-based cumulative Hamming distance)가 그 3개의 개별 해밍 거리의 합이다.

제2 단계는 이미지가 참 매치인지 거짓 매치인지를 판정하기 위해 기하학적 제약을 적용하는 것을 포함한다. 기하학적 제약의 적용은 해밍 거리에 비하여, 비교적 계산비용이 드는 것이다. 복잡도를 최소화하기 위하여 잠재적인 매치에 대한 소정의 임계치보다 작은 누적 해밍 거리를 가지는 이미지 쌍들만이 기하학적 방법을 이용하여 비교된다. 가능한 일 실시예에서, 3개의 특징 포인트 세트(a, b 및 c)가 선택된다. 이들 3개의 포인트를 이용하면, 도 5에 도시된 바와 같이, 특징들 간의 선 길이 비(ratio)가 제약으로서 이용될 수 있다. 선 길이 비는 ID의 관련 좌표 정보를 이용하여, 3개의 특징 포인트 세트 간의 유클리드 거리(Euclidean distances) ab, ac 및 bc를 구함으로써 계산된다. 2개의 선 길이 비는 다음과 같이 구한다:

이고,

이미지 A와 B로부터의 선 길이 비 간의 거리의 측정은 다음과 같이 정의된다:

유리하게도, 이미지에서의 정의된 포인트들 간의 선 길이 비는 회전, 트랜슬레이션(translation) 및 크기조절(scaling)과 같은 변환에서도 변하지 않아서, 상기의 기하학적 제약이 이러한 기하학적으로 변환되는 이미지를 매칭하는 데에 적절하도록 한다. 그러나, 설계 요건에 부합하는, 다른 적절한 기하학적 제약이 이용될 수 있다.

일 실시예에서 2개의 임계치가 거리 측정에 적용되는데, 그 중 하나는 개별 측정치들의 크기를 제한하는 것이며, 다른 하나는 거리 합을 제한하는 것이다.

대안으로 3개의 특징 포인트 쌍인 복수의 후보 세트가 누적(및/또는 쌍 단위) 해밍 거리 제약을 이용하여 미리 선택될 수 있다. 그 다음 기하학적 매치가 발견되거나 더 이상 어떤 후보 세트도 남아있지 않을 때까지 기하학적 제약이 (예를 들어 누적 해밍 거리의 순서로 되어 있을 수 있는) 각각의 후보 세트에 순서대로 적용될 수 있다.

상술한 본 발명의 이미지 매칭 기술은 GB 0719833.6에 개시된 방법과 같은 다른 이미지 매칭 기술과 결합될 수 있다. 개개의 ID를 모두 포함하는 각 이미지에 대한 디스크립터가 생성된다. 바람직한 실시예에서 ID 비트스트림은 GB 0719833.6에 기초한 2개의 ID, 및 본 발명의 디스크립터를 포함한다. GB 0719833.6에 기초한 2개의 ID 중에서 첫 번째 ID는 이미지 종횡비(image aspect ratio)를 유지하기 위해 이미지 전처리에 의해 생성된 것이며 다른 ID는 정사각형으로 처리되는 것이다.

바람직하게는 우선 매우 낮은 FA(false alarm) 임계치에서 GB 0719833.6의 고속의 알고리즘으로 매칭이 수행된다. 그 임계치보다 작은 이미지 쌍이라면 어느 것이라도 매치인 것으로 간주하며, 그러면 (GB 0719833.6에 의해 매치로 간주하지 않는) 임계치보다 큰 이미지 쌍은 본 발명에 따라 처리된다. 우선, 누적 해밍 거리가 적용되고 임계치보다 큰 3쌍 세트가 다른 것(매치 아님)이라 간주된다. 누적 해밍 거리 임계치보다 작은 3쌍 세트에 대하여 기하학적 제약이 적용된다. 3쌍 세트에 대한 기하학적 측정치가 기하학적 측정치에 대한 임계치 수준보다 작다면 이미지 쌍은 매치인 것으로 간주되고; 그렇지 않다면 이들은 서로 다른 것이라 간주된다.

상술한 방법을 수행하기 위한, 일 실시예에 따르는, 본 발명을 구현하기 위한 장치가 도 6에 도시되어 있다. 그 구현은 이미지 데이터베이스(230)에 저장된 이미지들에 대한 ID의 데이터베이스(240)를 구축하는 것을 포함한다. 2개의 데이터베이스(230 및 240)는 같은 것일 수도 있고 별도의 데이터베이스일 수도 있다. 장치는 ID 데이터베이스(140)에서 매치를 찾기 위하여 질의 이미지(250)로부터 추출된 ID(260)를 찾기 위한 검색을 할 수 있게 해준다. 순서대로 되어있을 수 있는 이미지 리스트가 사용자(290) 또는 질의 애플리케이션에 반환된다.

당업자는 다양한 변경 또는 수정이 기술된 실시예에 이루어질 수 있다는 것을 잘 알 것이다. 예를 들면, 기술된 실시예는 특징 검출에 기초하여 이미지 시그네처가 도출되는 이미지 영역을 식별하지만, 이미지를 대표하는, 또는 이미지 내에서 중요한 이미지 영역을 식별하는 데에 다른 기술들이 이용될 수 있다. 또한, 기술된 실시예는 이미지 그래디언트 방법에 기초하는 특징 검출기를 이용하지만, 이미지 내의 관심 포인트 또는 영역의 검출에 있어 많은 다른 적절한 방법이 이용될 수 있다. 마찬가지로 최적의 또는 가장 강한 검출된 특징 또는 관심 지점을 선택하기 위한 다른 기술들도 가능하다.

또한, 기술된 실시예에서 사용된, 3개의 특징 포인트 세트와 관련된 선 길이 비에 대한 거리 측정 외에도 다양한 기하학적 제약들 중 하나 이상을 이용하는 것이 가능하다. 예를 들면, 거리 측정에 관련하여 임의의 개수의 특징 포인트가 이용될 수 있다. 대안으로, 다른 기하학적 제약은 특징 포인트들 간의 각도에 기초하는 것일 수 있다. 또한, 기하학적 제약을 정의하는 데에 어파인 모델(affine model)이 이용될 수 있다.

이는 본 발명의 사상 및 범주 내에 속해 있는 모든 이러한 변경, 수정, 및 동등물을 포함하고자 하는 것으로 의도된다.

<참조문헌>

[1] Open CV Reference Manual, Chapter 1: Image Processing Gradients, Edge and Corners - "FindCornerSubPix": http://opencvlibrary.sourceforge.net/CvReference

Claims

이미지에 대응하는 신호들을 처리함으로써 상기 이미지의 표시(representation)를 도출하는(deriving) 방법으로서,
상기 이미지의 복수의 영역을 식별하는 단계 - 각 영역은 상기 이미지를 대표하거나 중요한 영역임 - ;
각 식별된 이미지 영역에 대하여,
상기 이미지 영역의 적어도 일부에 대한 적어도 하나의 함수(functional)를 계산하는 단계;
상기 함수를 이용하여 상기 이미지 영역의 상기 적어도 일부의 중간 표시를 획득하는 단계; 및
상기 복수의 이미지 영역 중 2개 이상의 이미지 영역의 중간 표시로부터 상기 이미지의 표시를 도출하는 단계
를 포함하고,
상기 방법은,
상기 이미지의 특징 포인트들을 식별하고, 식별된 상기 이미지의 특징 포인트들에 대응하는 이미지 영역들을 선택함으로써 상기 이미지의 복수의 영역을 식별하는 단계,
이미지의 특징 포인트 주변의 미리 정의된 이미지 면적(predefined image area)에 기초하여, 상기 이미지 영역 각각에 상기 함수를 이용하는 추적-변환(Trace transform)을 적용하여 서로 다른 함수들을 이용하는 추적 변환의 서커스(circus) 함수들로부터 추출된 복수의 표시를 도출함으로써, 상기 이미지의 표시를 획득하는 단계
를 포함하는 방법.
삭제
삭제
제1항에 있어서,
상기 이미지 영역들을 선택하는 단계는,
특징 강도(feature strength)에 따라 상기 이미지의 복수의 상기 식별된 특징들을 선택하는 단계; 및
선택된 복수의 상기 식별된 특징들에 대응하는 이미지 영역들을 결정하는 단계
를 포함하는 방법.
삭제
제1항에 있어서,
상기 이미지 영역들을 선택하는 단계는, 상기 이미지 내에서의 해당 위치에 따라 상기 이미지의 식별된 특징들에 대응하는 복수의 이미지 영역들을 선택하는 단계를 포함하는 방법.
제6항에 있어서,
상기 선택된 복수의 이미지 영역들은 상기 이미지에 걸쳐 분산되어 있는 방법.
제6항에 있어서,
각각의 선택된 이미지 영역은 상기 이미지 내에서 다른 선택된 이미지 영역들의 특징들로부터 적어도 미리 결정된 거리 만큼 떨어져 있는 특징에 대응하는 방법.
제1항에 있어서,
상기 이미지의 특징들을 식별하는 단계는 특징들을 검출하기 위한 인텐시티 이미지 그래디언트 방법(intensity image gradient method)을 사용하는 방법.
삭제
제1항에 있어서,
상기 중간 표시는 1차원 함수인 방법.
제1항에 있어서,
상기 이미지 영역들 중 2개 이상의 이미지 영역의 중간 표시로부터 상기 이미지의 표시를 도출하는 단계는,
상기 이미지 영역의 상기 중간 표시로부터 각 이미지 영역의 표시를 도출하는 단계; 및
복수의 도출된 이미지 영역들의 표시들을 이용하여 상기 이미지의 표시를 도출하는 단계
를 포함하는 방법.
제12항에 있어서,
상기 이미지 영역의 중간 표시로부터 각 이미지 영역의 표시를 도출하는 단계는 상기 중간 표시의 프리퀀시 표시(frequency representation)의 복수의 프리퀀시 성분(components)을 이용하여 상기 이미지 영역의 상기 적어도 일부의 상기 중간 표시를 처리하는 단계를 포함하는 방법.
제1항에 있어서,
상기 이미지의 표시를 도출하는 단계는 자신의 대응하는 중간 표시들로부터 도출되는, 선택된 복수의 식별된 이미지 영역들의 선택된 표시 부분들을 결합하는 단계를 포함하는 방법.
제1항에 있어서,
상기 복수의 이미지 영역 중 2개 이상의 이미지 영역의 중간 표시로부터 상기 이미지의 표시를 도출하는 단계는 미리 결정된 개수의 이미지 영역들의 중간 표시들을 이용하고,
상기 미리 결정된 개수는 2 내지 256의 범위에 있는 방법.
제1항에 있어서,
각 이미지 영역에 관련된 기하학적 정보를 상기 식별된 이미지 영역들의 도출된 표시들과 연관시키는 단계를 더 포함하는 방법.
이미지를 식별하기 위한 방법으로서,
제1항의 방법을 이용하여 상기 이미지의 표시를 도출하는 단계; 및
상기 표시를 상기 이미지와 연관시키는 단계
를 포함하는 방법.
이미지를 비교하기 위한 방법으로서,
제1항의 방법을 이용하여 도출된 각각의 이미지의 표시를 도출하는 단계를 포함하는 방법.
제18항에 있어서,
제1 이미지의 표시와 연관된 이미지 영역들을 제2 이미지의 표시와 연관된 이미지 영역들과 비교하는 단계를 포함하는 방법.
제19항에 있어서,
상기 제1 및 제2 이미지의 표시를 이용하여 상기 제1 이미지의 이미지 영역의 표시와 상기 제2 이미지의 이미지 영역의 표시 간의 해밍 거리(Hamming distance)를 결정하는 단계; 및
대응하는 이미지 영역들의 표시들 간의 상기 해밍 거리가 제1의 미리 결정된 임계치보다 작다면, 상기 제1 이미지와 상기 제2 이미지를 잠재적인 매치(match)인 것으로 식별하는 단계
를 포함하는 방법.
제20항에 있어서,
상기 제1 및 제2 이미지의 복수의 이미지 영역들의 표시들에 대한 해밍 거리를 결정하는 단계를 포함하는 방법.
제21항에 있어서,
상기 제1 및 제2 이미지로부터 미리 결정된 개수의 이미지 영역 쌍들을 식별하는 단계를 더 포함하고,
상기 식별된 쌍들은 상기 제1의 미리 결정된 임계치보다 작은, 최저의 결정된 해밍 거리를 가지는 대응 표시들을 갖는 방법.
제22항에 있어서,
상기 식별된 이미지 영역 쌍들의 각 영역은 고유한(unique) 것인 방법.
제21항에 있어서,
식별된 이미지 영역 쌍들의 표시들에 대한 해밍 거리들의 합을 이용하여 누적 해밍 거리(cumulative Hamming distance)를 결정하는 단계; 및
상기 식별된 이미지 영역 쌍들의 표시들의 누적 해밍 거리가 제2의 미리 결정된 임계치보다 작다면, 상기 제1 이미지와 상기 제2 이미지를 잠재적인 매치인 것으로 식별하는 단계
를 더 포함하는 방법.
제20항에 있어서,
상기 이미지들이 매치인지를 결정하기 위하여 가능한 매치인 것으로 결정된 쌍들 또는 이미지들의 복수의 이미지 영역 쌍들에 대한 기하학적 정보에 기하학적 제약(geometric constraint)을 적용하는 단계를 포함하는 방법.
제25항에 있어서,
상기 기하학적 제약을 적용하는 단계는,
상기 제1 이미지의 미리 정의된 개수의 이미지 영역들 간의 제1 거리 비(ratio of distances)를 결정하는 단계;
상기 제2 이미지의 상기 미리 정의된 개수의 이미지 영역들 간의 제2 거리 비를 결정하는 단계; 및
상기 제1 거리 비와 상기 제2 거리 비 간의 차가 제3의 미리 결정된 임계치보다 작다면 상기 제1 이미지와 상기 제2 이미지를 매치인 것으로 결정하는 단계
를 포함하는 방법.
제26항에 있어서,
상기 미리 정의된 개수는 3인 방법.
제27항에 있어서,
상기 기하학적 제약을 적용하는 단계는,
상기 제1 및 제2 이미지 각각에 대하여,
다음의 수학식을 이용하여 상기 3개의 이미지 영역에 대응하는 포인트들 (a, b, c) 간의 유클리드 거리(Euclidean distances)의 비를 계산하는 단계

, 및
; 및
다음의 수학식을 이용하여 상기 제1 및 제2 이미지 (A, B)의 선 길이 비들(L₁, L₂) 간의 거리를 측정하는 단계

,

를 포함하는 방법.
제28항에 있어서,
상기 제3 임계치는 G₁, G₂, 및 G₁ + G₂ 중 하나 이상에 대한 임계치를 포함하는 방법.
제18항에 있어서,
표시들의 비교에 기초하여 상기 복수의 이미지로부터 매치하는 이미지를 선택하는 단계를 포함하는 방법.
삭제
이미지에 대응하는 신호들을 처리하거나 이미지들을 비교함으로써 상기 이미지의 표시(representation)를 도출(deriving)하는 장치로서,
복수의 이미지들 또는 이미지들의 표시들을 저장하는 적어도 하나의 데이터베이스; 및
제1항의 방법을 수행하도록 되어 있는 하나 이상의 프로세서들
을 포함하는 장치.
제32항에 있어서,
제1항의 방법을 수행하도록 되어 있는 상기 하나 이상의 프로세서들의 동작을 제어하기 위한 컨트롤 디바이스를 더 포함하는 장치.
제32항에 있어서,
디스플레이 수단; 및
이미지 선택 수단
을 더 포함하는 장치.
컴퓨터에 의해 실행될 때, 제1항의 방법을 수행하는 명령어들을 포함하는 컴퓨터 기억 매체.