KR101649766B1 - 이미지 식별을 위한 스케일 안정적 특징-기반 식별자 - Google Patents

Abstract

이미지 식별자를 도출하는 방법은 이미지의 스케일-공간 표현을 도출하는 단계 및 최대값 또는 최소값인 값들을 갖는 복수의 특징점들을 검출하기 위해 스케일-공간 표현을 처리하는 단계를 포함한다. 검출된 복수의 특징점들 중 하나 이상과 연관된 스케일-의존적 이미지 영역에 대한 표현이 도출된다. 일 실시예에서, 이미지 영역의 크기가 대응하는 특징점과 연관된 스케일에 의존한다. 스케일-의존적 이미지 영역들에 대해 도출된 표현들을 사용하여 이미지 식별자가 도출된다. 이미지 식별자가 이미지들을 비교하는 방법에서 사용될 수 있다.

Description

이미지 식별을 위한 스케일 안정적 특징-기반 식별자{SCALE ROBUST FEATURE-BASED IDENTIFIERS FOR IMAGE IDENTIFICATION}

본 발명은 안정적 이미지 식별의 문제에 관한 것이며, 이전에 출원된 동시 계류 중인 특허 출원들 EP 06255239.3, GB 0700468.2, GB 0712388.8, GB 0719833.6 및 GB 0800364.2에 개시된 것과 같은 종래 기술의 방법들보다 장점들을 제공하는 새로운 방법을 개시한다.

멀티미디어 컨텐츠의 안정적 식별의 목적은 멀티미디어 컨텐츠에 수행될 수 있는 통상적인 수정들 중에 보존되는 정보를 추출하는 데 있다. 그 수정은 선의적인 또는 악의적인 목적일 수 있다. 이미지들의 경우에, 그 중에서도 특히, 압축, 그레이스케일 변환, 회전, 잡음 삽입, 색 변경, 크로핑 및 이동될 때, 안정적 식별자가 실질적으로 보존되어야만 한다. 또한, 독립적인 컨텐츠가 충분히 서로 다른 식별자들을 갖도록 식별자가 분별력을 제공해야만 한다.

유럽 특허 출원 EP 06255239.3 및 영국 특허 출원 GB 0700468.2, GB 0712388.8 및 GB 0719833.6에 개시된 기술들은 그 모두가 전역 정보, 즉 전체 이미지에 관한 정보에 기초하여 식별자를 추출한다는 점에서 유사하다. 이러한 계열의 관련된 식별자들은 아주 낮은 오경보율(false alarm rates)[통상적으로 0.1 ppm(parts per million)보다 작음]에서 100%에 가까운 안정성을 제공한다(이는 높은 분별 능력을 제공한다는 것을 의미함).

많은 수의 이미지들이 다양한 이미지 데이터베이스들에 존재하고, 웹 페이지, 프레젠테이션 및 문서에 임베딩되어 있다. 유명한 웹 사이트들의 조사에 의하면 Flickr가 20억개 이상의 이미지를 가지고 있고 Photobucket이 40억개 이상을 가지고 있으며 Facebook이 17억개를 가지고 있다고 한다. 소비자들은 종종 자신의 개인 컬렉션에 수천장의 사진을 가지고 있고 전문가들은 상당히 더 많이 가지고 있을 것이다. 데이터세트의 크기가 큰 경우 실용적이도록 하기 위해, 식별자들은 또한 아주 빠른 검색을 가능하게 하여야만 한다. 특허 출원들 EP 06255239.3, GB 0700468.2, GB 0712388.8 및 GB 0719833.6에 개시된 기술들은 초당 1천만개 이상의 이미지의 검색 속도를 가능하게 할 수 있다.

많은 통상의 이미지 수정들에 대해 높은 수준의 안정성에도 불구하고, 특허 출원들 EP 06255239.3, GB 0700468.2, GB 0712388.8 및 GB 0719833.6에 개시된 종래 기술의 식별자들은, 이동 및 크로핑과 같은 이미지 컨텐츠의 상당 부분이 상실되거나 대체된, 한 부류의 이미지 수정들에 대해 요구된 수준의 안정성을 제공하지 못할 수 있다. GB 0800364.2에 개시된 기술은 이러한 부류의 이미지 수정들에서 상당히 개선된 안정성을 제공한다. 이는 i) 특징 검출 및 선택, ii) 특징 영역 및 식별자 추출, 및 iii) 매칭을 필요로 하는 프로세스이다. 본 발명은 종래 기술의 이미지 식별자들의 안정성에 대한 개선을 제안한다.

컴퓨터 비전 및 물체 인식의 영역에서 종래 기술의 특징점 방법이 개발되었다[별첨 인용 문헌 2, 3]. 이러한 접근 방법들은 아주 많은 수의 점들에 의존한다:

"이 접근 방법의 중요한 양태는 이미지를 빽빽하게 채우고 있는 많은 수의 특징들을 발생한다는 것이다... 500x500 픽셀 크기의 통상적인 이미지가 약 2000개 특징들을 발생할 것이다."[별첨 참조 문헌 2]

많은 수의 특징들을 추출하는 결과, 검색 및 매칭 계산이 아주 느리게 되고, 간단한 경우에, 쿼리 이미지로부터의 모든 특징들이 데이터베이스 내의 모든 이미지들로부터의 모든 특징들과 비교되어야만 한다. 검색 시간을 감소시키기 위해, 종래 기술의 방법들은 다양한 형태의 데이터 구조들을 사용하지만, 이러한 구조들이 부가의 데이터베이스 초기화 시간, 부가의 저장 장치 및 메모리 요건을 대가로 얻어지며, 종종 개선된 검색 속도를 낮은 검출율과 맞바꾸는 어떤 근사가 행해진다.

본 발명은 대부분의 종래 기술의 적용 분야와 다른, 이미지 및 그의 수정된 버전을 검출하는 것에 관한 것이다. 상세하게는, 이미지 복제본 검출은 이미지의 수정된 버전, 예를 들어, 크로핑된 것, 압축된 것 등을 찾아내는 것에 관한 것이다. 이와 달리, 대부분의 종래 기술의 방법들은 이미지들에서 특정의 물체들 또는 한 부류의 물체들(예를 들어, Ford Focus 자동차 또는 자동차들)을 검출하는 것에 관한 것이다. 이러한 문제점들 간의 구별이 사소하거나 미묘한 것처럼 보일 수 있지만, 이는 중요하다. 예를 들어, 2개의 서로 다른 전망대에서 찍은 런던에 있는 세인트폴 대성당의 이미지 2장을 생각해보자. 이제, 물체 인식 작업 중에는, 이 이미지들 간의 유사성이 검출되어야만 하지만, 이미지 복제본 검출 중에는, 유사성이 검출되어서는 안 된다. 이것을 염두에 두고, 이 2가지 서로 다른 문제점들을 다루기 위해 다른 기법들이 필요하다.

GB 0800364.2에 개시된 방법은 Trace 변환에 기초한 이진 특징점 기술자(binary feature point descriptor)를 발전시킨다. 이진 기술자를 사용하는 것의 장점은 특징 매칭을 위해 해밍 거리가 사용되고, 이는 검색 프로세스를 아주 빠르게 만들어준다는 것이다. 게다가, 선택 프로세스가 특징들의 수를, 크로핑 및 이동과 같은 어려운 이미지 수정들에 대해 놀랄 정도로 안정적인 것으로 밝혀진 작은 세트로 제한한다. 안정성이 우수하지만, 추가의 개선을 제공하는 것이 바람직하다.

제1 양태에 따르면, 본 발명은 이미지에 대응하는 신호들을 처리함으로써 이미지의 표현, 즉 이미지 기술자(image descriptor)를 도출하는 방법을 제공한다. 이 방법은 이미지의 스케일-공간 표현(scale-space representation)을 도출하는 단계를 포함한다. 진폭 극값(amplitude extrema)(즉, 최대값 또는 최소값)을 갖는 스케일-공간 표현 내의 복수의 특징점들을 검출하기 위해 스케일-공간 표현이 처리된다. 검출된 복수의 특징점들 중 하나 이상에 대해, 이 방법은 대응하는 특징점과 연관된 스케일-의존적 이미지 영역(scale-dependent image region)을 결정한다. 이어서, 각각의 결정된 스케일-의존적 이미지 영역에 대한 표현이 도출된다.

따라서, 최고 특징 강도(feature strength)를 갖는 이미지의 특징들에 기초하여 이미지 기술자가 도출될 수 있다.

일 실시예에서, 2차 이미지 기울기(image gradient)에 기초한 제1 연산자를 이미지의 스케일-공간 표현에 적용하는 것 및 최고 결과 값을 갖는 스케일-공간 표현 내의 특징점들을 식별하는 것에 의해 복수의 특징점들이 검출된다. 이어서, 제2 연산자가 검출된 복수의 특징점들에 적용될 수 있고, 제2 연산자는 1차 이미지 기울기에 기초하고 임계값보다 낮은 결과 값들을 갖는 특징점들은 제거된다. 제1 연산자 및 제2 연산자를 적용함으로써 복수의 특징점들 중에서 미리 정해진 수의 특징점들이 선택될 수 있다.

다른 실시예들에서, 원하는 응용에 따라 다른 차수의 연산자들을 사용하여 또는 다른 기법들을 사용하여 복수의 특징점들이 검출될 수 있다.

양호하게는, 선택된 하나 이상의 검출된 특징점들에 대해, 특징점의 공간 위치와 연관된 이미지의 공간 영역을 결정함으로써 스케일-의존적 이미지 영역이 결정되고, 공간 영역의 크기는 특징점의 스케일에 기초한다.

Trace 변환 또는 그에 상당하는 것을 사용하는 등에 의해, 이미지 영역에 걸친 선 투영(line projection)에 기초하여 각각의 정해진 스케일-의존적 이미지 영역의 표현이 도출될 수 있다.

일례에서, 하나 이상의 정해진 스케일-의존적 이미지 영역들 각각에 대해, 이미지 영역의 적어도 일부의 함수가 도출되고, 이때 이미지 영역의 이동된, 스케일링된 또는 회전된 버전의 함수가 이미지 영역의 함수의 이동된 또는 스케일링된 버전이다. 이미지 영역의 적어도 일부의 함수를 도출하는 단계는 이미지 영역 상의 라인들을 따라 제1 범함수(functional)를 적용하는 단계를 포함한다. 이 방법은 또한 이미지 영역의 적어도 일부의 중간 표현을 획득하기 위해 도출된 함수에 제2 범함수를 적용하는 단계를 포함할 수 있다.

각각의 정해진, 스케일-의존적 이미지 영역에 대한 표현은 이진 이미지 기술자를 포함할 수 있다.

이미지의 표현이 스케일-의존적 이미지 영역들의 도출된 표현들 중 2개 이상으로부터 도출될 수 있다.

제2 양태에 따르면, 본 발명은 본 발명의 제1 양태에 따른 방법을 사용하여 도출된 이미지들의 기술자들을 사용하여 이미지들을 비교하는 방법을 제공한다. 이 방법은 제1 이미지의 기술자와 연관된 하나 이상의 스케일-의존적 이미지 영역들의 표현들을 제2 이미지의 기술자와 연관된 하나 이상의 스케일-의존적 이미지 영역들의 표현들과 비교하는 단계를 포함한다.

본 발명의 다른 양태들은 본 발명의 제1 양태에 따른 방법을 사용하여 도출된 이미지의 표현의 사용(전송 또는 수신을 포함함), 본 발명의 제1 양태 또는 제2 양태 또는 둘다에 따른 방법을 실행하는 장치, 및 컴퓨터에 의해 실행될 때, 본 발명의 제1 양태 또는 제2 양태 또는 둘다에 따른 방법을 수행하는 명령어들을 포함하는 컴퓨터-판독가능 저장 매체를 포함한다.

본 발명의 다른 특징들 및 이점들이 이하의 설명 및 첨부된 특허청구범위로부터 명백하게 될 것이다.

본 발명은 필요에 따라 안정성을 개선시키는 2가지 주요 양태를 포함한다: i) 영역-스케일이 특징 선택 및 추출의 프로세스에 포함되고, ii) 계산 비용을 최소화시키면서 안정성을 유지하는 최대 4-단계인 매칭 프로세스가 개발된다.

공간 및 스케일 위치를 갖는 복수의 특징들을 선택하기 위해 특징 검출 프로세스가 사용된다. 특징 선택은 작업에 적절하고 Trace 변환-기반 특징 기술자들과 잘 동작하는 것으로 실험적으로 입증된 특징들을 선택하기 위해 새로운 프로세스를 사용한다.

이미지 매칭을 위해, 검출 성능, 독립성, 계산 시간 및 메모리 요건 사이의 트레이드오프가 필요하다. 개시된 실시예에서, 계산 시간 및 메모리 요건 둘다를 최소화하면서 검출율 및 독립성을 최대화하는 것을 목표로 하는 4-단계 매칭 프로세스가 소개된다. 제1 단계는 높은 확률을 갖는 가설들(즉, 후보들)을 신속하게 결정하고 낮은 확률 매치(probability match)를 제거하며, 제2 단계는 이러한 가설들을 검정하고 상당한 수의 잘못된 가설을 제거한다. 제3 단계는 추가의 잘못된 가설을 제거한다. 각각의 단계는 이전의 단계들보다 증가된 수준의 복잡도를 수반하며, 따라서 프로세스에서 잘못된 가설을 가능한 한 일찍 제거함으로써 복잡도가 관리되고 최소화된다.

상기한 양태들은 물론, 본 발명의 다른 양태들도 이미지의 선택되고 추출된 특징들에 기초하여 이미지의 표현을 도출하는 것, 및 본 발명의 하나 이상의 양태들에 따른 프로세스들을 구현하는 장치 및 컴퓨터 프로그램을 포함한다.

본 발명의 실시예들에 대해 이제부터 첨부 도면들을 참조하여 기술할 것이다.
도 1a는 이미지를 나타낸 도면이다.
도 1b는 도 1a의 이미지의 축소된 버전을 나타낸 도면이다.
도 1c는 도 1a의 이미지의 회전된 버전을 나타낸 도면이다.
도 1d는 도 1a의 이미지의 블러링된 버전을 나타낸 도면이다.
도 1e는 도 1a의 이미지의 (좌우로) 뒤집기된 버전을 나타낸 도면이다.
도 1f는 도 1a의 이미지의 많이 압축된 버전을 나타낸 도면이다.
도 1g는 도 1a의 이미지의 크로핑된 버전을 나타낸 도면이다.
도 2는 종래 기술에 따른 이미지 및 이미지의 비트열 표현을 나타낸 도면이다.
도 3은 특징 검출기에 의해 검출된 이미지의 관심점들의 예시적인 집합을 나타낸 도면이다.
도 4는 최종적인 일련의 특징들이 선택되고, 특징의 스케일이 원의 크기로 표시되며, 특징의 방향이 라인으로 표시된 이미지를 나타낸 도면이다.
도 5는 (a) 원본 이미지 및 (b) 원본 이미지의 회전된 버전으로부터 해밍 거리를 사용하여 일치하는 것으로 발견된 관심점들을 나타낸 도면으로서, 관심점들 간의 라인 길이는 기하학적 제약조건들을 적용하는 데 사용된다.
도 6은 본 발명의 일 실시예에 따른 장치의 블록도이다.
도 7은 본 발명의 일 실시예에 따른 (a) 특징 식별자 및 (b) 이미지 식별자의 구조를 나타낸 도면이다.

이제부터, 이미지의 표현, 구체적으로는 이미지 식별자를 도출하고, 예를 들어, 이미지 또는 이미지들의 식별, 매칭 또는 유효성 확인을 위해 이러한 표현/식별자를 사용하는 다양한 실시예들에 대해 기술할 것이다. 본 발명은 이미지를 식별하는 데 특히 유용하지만, 그것으로 제한되지 않는다. 기술된 실시예들에서, "이미지 식별자"("식별자", "기술자", "이미지 기술자", "서명" 또는 "이미지 서명"이라고도 함)는 이미지의 표현의 일례이며, 이 용어는 단지 이미지의 표현, 즉 기술자(descriptor)를 나타내기 위해 사용된다.

당업자라면 본 발명의 일 실시예에 따른 이미지 식별 장치 및 방법의 구체적인 설계 상세 및 이미지 식별에서 사용하기 위한 이미지 식별자의 도출이 식별자가 안정적이어야만 하는 이미지 수정의 유형에 관련된 요구사항들, 식별자의 크기, 추출 및 매칭 복잡도, 목표 오경보율(false-alarm rate) 등에 의해 결정된다는 것을 잘 알 것이다.

이하의 예는 이미지에 대한 다음과 같은 수정들에 안정적인 식별자가 얻어지는 일반 설계에 대해 설명한다(이것이 전수적인 리스트는 아님):

ㆍ 색 감소,

ㆍ 블러링,

ㆍ 밝기 변화,

ㆍ 뒤집기(좌우 및 상하),

ㆍ 그레이스케일 변환,

ㆍ 히스토그램 평활화,

ㆍ JPEG 압축,

ㆍ 잡음,

ㆍ 회전,

ㆍ 크로핑,

ㆍ 스케일링,

ㆍ 이동,

ㆍ 스큐잉 및

ㆍ 원근감 변화.

제안된 설계가 통상적으로 넓은 부류의 이미지들에 대해 1 ppm(parts per million) 미만의 낮은 오경보율 및 98.0%를 넘는 통상적인 검출율을 달성할 수 있다는 것이 밝혀졌다.

도 1은 이미지 및 이미지의 수정된 버전들의 일례를 나타낸 것이다. 보다 구체적으로는, 도 1a는 원본 이미지이고, 도 1b는 도 1a의 이미지의 축소된(스케일링된) 버전이며, 도 1c는 도 1a의 이미지의 회전된 버전이고, 도 1d는 도 1a의 이미지의 블러링된 버전이며, 도 1e는 도 1a의 이미지의 뒤집기된 버전이고, 도 1f는 도 1a의 이미지의 압축된 버전이며, 도 1g는 도 1a의 이미지의 크로핑된 버전이다.

본 발명의 일 실시예는 이미지에 대응하는 신호 및/또는 이미지 데이터를 처리함으로써 이미지의 표현, 보다 구체적으로는 이미지 식별자를 도출한다.

특징점 추출 및 선택

EP 06255239.3, GB 0700468.2, GB 0712388.8, GB 0719833.6 및 GB 0800364.2에 따르면, 이미지 식별자의 추출의 초기 단계에서, 이미지가 선택적으로 크기 조정 및 필터링에 의해 사전-처리된다. 크기 조정 단계는 처리 이전에 이미지를 정규화하는 데 사용된다. 필터링 단계는 엘리어싱과 같은 효과를 제거하기 위해 필터링하는 것을 포함할 수 있으며, 영역 선택 및 테이퍼링도 포함할 수 있다. 일 실시예에서, 이미지가 256xN 또는 Nx256(단, N≥256이고 종횡비를 유지함)의 해상도로 크기 조정된다. 다른 실시예에서, 이미지가 256x256의 정사각형으로 크기 조정된다. 이어서, 이미지가 3x3 가우시안 커널(Gaussian kernel)로 저역 통과 필터링된다. 사전 처리 단계들은 선택적이며, 이상의 것들의 임의의 조합을 포함할 수 있다.

다음 단계에서, 이미지에서 특징점들이 검출된다. 일 실시예는 특징 검출기를 사용하여, 이미지에서 잠재적인 특징들 및 이미지 기울기를 측정한 것에 기초한 특징들의 강도를 검출한다. 1차 이미지 기울기에 기초한 한가지 적당한 이미지 특징 검출기는 GB 0800364.2에서 사용된 Harris이다.

여기서 I_x(x,y)는 위치 (x,y)에서의 이미지 강도 I(x,y)의 1차 미분이고, α는 특징 검출을 제어하는 파라미터이다.

대안의 2차 검출기는 Laplacian(2차 편미분 Hessian 행렬의 트레이스에 대응함)이다.

여기서 I_xx(x,y)는위치 (x,y)에서의 이미지의 2차 미분이다.

GB 0800364.2에서, 특징들이 단지 하나의 스케일에서, 즉 원본 이미지의 정규화된 버전에서 선택된다. 게다가, 특징 서명이 추출되는 이미지 영역을 형성하는 특징 주변의 영역은 고정된다. 그러나, 크로핑 수정 중에, 이미지의 일부가 상실된다. 이미지가 (전술한 사전-처리에서 또는 사용자에 의해) 기하학적으로 정규화될 때, 영역이 원본 이미지에서의 동일한 영역에 비해 더 커지게 된다. 심한 크로핑에 의해, 이러한 2개의 영역의 Trace 변환-기반 기술자가 용인할 수 없을 정도로 다르게 되고, 거리가 유사성을 선언하는 임계값을 넘을 수도 있다.

이 문제를 해결하기 위해, 본 발명의 제1 양태에 따르면, "스케일 추정(scale estimation)"이 사용될 수 있다. 스케일 추정은 각각의 특징의 분석을 위해 적절한 스케일을 선택하려고 시도한다. 각각의 특징이 그 자신의 스케일과 연관될 것임에 주목해야 한다.

먼저, 이미지의 스케일-공간 표현이 도출된다. 실시예들에서, 이미지의 스케일-공간 표현이 2가지 방식 중 하나로 구성될 수 있다(그러나, 다른 기법들이 가능하며 생각되고 있다). 첫번째 방식은 원본 이미지를 연속하여 평활화(smooth)하고 샘플링하는 것이고, 두번째 방식은 필터 크기를 점점 증가시키면서 이미지를 반복하여 평활화하는 것이다. 이어서, 위치-스케일 공간에서 최대값을 찾아냄으로써 특징들이 검출된다. 평활화 필터에 대한 최적의 선택이 가우시안(필터)이고, 가우시안(필터)에 의해 평활화된 이미지가 수학식 3으로 표시되며,

여기서 *는 콘벌루션 연산자이고,

이 가우시안 필터이며,

이 스케일을 결정하는 평활화 필터의 표준 편차이다.

일 실시예에서, 스케일-공간 표현에서 특징의 위치 및 스케일의 양호한 검출을 제공하기 위해 2개의 검출기가 사용되고, 한쪽 검출기는 1차 기울기를 사용하고, 다른쪽 검출기는 2차 기울기를 사용한다.

먼저, 가우시안 연산자의 수정된 스케일 보정된 Laplacian인

이 복수의 특징 위치 및 스케일(즉, 스케일-공간 표현에서의 특징점들)을 검출하는 데 사용된다. 여기서,

은 미분들의 평균을 구하는 적분을 위해 사용되는 가우시안 필터이고,

은 적분 스케일이며,

은 스케일 정규화 파라미터이다. 적분 평활화를 스케일-적응 Laplacian(scale adapted Laplacian)에 도입하면 특징 검출기의 성능을 향상시키는 데 도움이 된다.

제2 검출기는 스케일-적응 Harris 연산자

이고, 여기서

이다.

따라서, 스케일 공간에서 적용되는 라플라스 방정식(Laplacian equation)(수학식 4), 및 최고값을 갖는 위치 및 스케일이 이어서 잠재적 특징으로서 선택된다. 이어서, 무의미한(즉, 임계값보다 낮은) Harris 검출기 응답을 갖는 특징들이 일련의 잠재적 특징들로부터 제거된다. 2개의 검출기의 사용으로부터 얻어지는 일련의 잠재적 특징들로부터 일련의 대표적 특징들을 선택하기 위해 이하에서 기술되는 선택 절차가 적용된다. 일 실시예에서, 최대 미리 정해진 수의 특징들이 선택된다.

검출된 특징들 중의 허용가능 특징들 중에서 라플라스 검출기 방정식(수학식 4)에 따라 가장 강한 특징이 먼저 선택된다. 특징이 특징 스케일로부터 계산된 반경 r보다 이미지의 가장자리에 더 가까운 경우 거부된다(수학식 7 참조). 특징이 이전에 선택된 특징들 중 임의의 것을 중심으로 한 제외 영역(exclusion zone) 내에 있는 경우 선택되지 않는다는 제한에 의해, 이후의 특징들이 강도의 순서로 선택된다. 일 실시예에서, 10 픽셀의 반경을 갖는 원형 영역이 제외 영역으로서 사용된다. 미리 정해진 수의 대표적 특징들(예를 들어, 32개 특징들)이 선택되거나 특징들이 더 이상 없는 경우, 선택 프로세스가 종료된다.

도 3에 도시된 검출된 특징들 중에서 선택된 도 2의 이미지의 일련의 특징들이 도 4에 나타내어져 있으며, 스케일은 원의 크기로 표현되어 있고, 특징 방향은 라인으로 표현되어 있다. 검출된 특징들 및 이들의 주변의 이미지 영역들이 이미지 전체를 대표한다(또는 이미지 전체에 중요하다)는 것을 잘 알 것이다.

특징점들(또는 관심점들)의 위치가 선택되었기 때문에, 그들의 위치가 양호하게는, 예를 들어, 인터넷을 통해 http://opencvlibrary.sourceforge.net/CvReference(별첨 인용 문헌 1)에서 획득될 수 있는 OpenCV (FindCornerSubPix) 03/01/2008에 기술된 것과 같은 방법을 사용하여 서브-픽셀 해상도까지 선택된 스케일로 미세 조정된다.

특징 영역 및 식별자 추출

본 명세서에 인용 문헌으로서 포함된 GB 0719833.6에, 이진 이미지 식별자 또는 이미지 표현을 추출하는 방법이 개시되어 있다. 본 발명의 일 실시예에서, GB 0719833.6의 방법은 특징점들을 중심으로 한 영역들로부터 이진 "특징 식별자"를 추출하는 데 적용된다. 따라서, 각각의 특징 식별자는 검출된 특징과 연관된 이미지 영역의 이진 표현이다. 이미지 영역은 미리 정해진 크기를 가질 수 있다. 예를 들어, 일 실시예에서, 특징점에 중심이 있는 32 픽셀의 반경을 갖는 원형 이미지 영역이 선택되고, 이미지 영역에 대한 이진 서명이 계산된다. 원형 영역은 양호하게는, 예를 들어, 3차 보간(cubic interpolation)을 사용하여 서브-픽셀 레벨 정확도까지 추출된다.

양호하게는, 고정된 특징 영역 반경을 사용하는 대신에, 특징이 검출되는 스케일이 영역 크기를 적절히 적응시키는 데 사용된다. 스케일 s에서 선택될 영역의 반경은 수학식 7로 주어진다:

여기서, r₀는 베이스 반경이고,

은 초기 스케일이며,

은 설계 파라미터인 상수이다. 또한, 적분 스케일에 대한 양호한 선택이

이라는 것도 주목할만한 가치가 있다.

양호한 실시예에서,

이고 S = 14이다. 특징 위치 (x,y) 및 반경 r에 의해 결정되는 영역이 3차 보간을 사용하여 서브-픽셀 정확도까지 추출된다. 이 영역은 이어서 정규화된 반경

(양호한 실시예에서, 32임)에 의해 주어지는 미리 정의된 크기로 정규화된다. GB 0719833.6에 따른 방법을 사용하여 대응하는 이미지 식별자를 도출하기 위해, 추출된 영역이 이어서 처리된다. 이 방법에 대한 간략한 요약이 이하에 제공된다.

이미지에 걸쳐

으로 파라미터화된 모든 가능한 라인들을 투영하고 이 라인들에 걸쳐 제1 범함수 T를 적용함으로써 이미지 영역의 Trace 변환

이 수행된다. GB 0700468.2에 개시된 방법에 따라 그의 차원들

중 어느 하나 또는 둘다에서 그의 해상도를 감소시키기 위해 Trace 변환의 결과가 분해될 수 있다. EP 06255239.3 및 GB 0700468.2의 방법들에서와 같이, 실수 숫자들의 벡터(즉, 1차원 함수)를 제공하기 위해 제2 범함수 P가 Trace 변환의 열들에 적용될 수 있다. 이 제2 범함수 P는 diametrical 범함수(diametrical functional)라고 하며, 그 결과의 벡터가 circus 함수(circus function)라고 한다.

하나의 숫자를 제공하기 위해 제3 범함수인 circus 범함수가 circus 함수에 적용될 수 있지만, 양호한 실시예에서는 이 단계가 사용되지 않는다.

대안으로서, GB 0719833.6의 방법에 따르면, 상기한 circus 함수의 대안으로서 소위 "band-circus" 함수가 획득될 수 있고, 이는 Trace 변환의 일부분만으로부터의 값들을 선택하여 처리함으로써, Trace 변환을 이미지의 라인들의 일부로 제한한다.

제1, 제2 및/또는 제3 범함수(Trace, diametrical 및 circus)의 적절한 선택에 의해 결과의 속성들이 제어될 수 있다.

이미지 영역에 대한 이진 식별자가 주파수 표현을 통해 circus 함수(또는 band-circus 함수)로부터 추출된다. 예를 들어, 푸리에 변환의 크기 계수들에 대해 함수

이 정의될 수 있다. 이 함수의 일례는 이웃하는 계수들의 차이를 구하는 것이다.

수학식 9와 같이 결과 벡터에 임계값을 적용함으로써 이진 문자열이 추출될 수 있다.

S에 대한 적당한 선택은 S = 0 및 S = mean(c)를 포함한다. 이미지 영역의 이진 표현은 이어서 이러한 이진 문자열 값들 B = {b0,...,bn}로 이루어져 있다.

본 발명의 일 실시예에서, (GB 0719833.6에서와 같이 이미지 전체와 달리) 지역 이미지 영역들이 사용되기 때문에, 이 영국 출원에 기술된 서명 추출 기법에 수정이 행해질 필요가 있다. 상세하게는, EP 06255239.3에 개시된 방법에 따라 이하의 범함수들을 사용하여 전체 Trace 변환(full Trace transform)의 circus 함수로부터 2개의 식별자가 추출된다:

및

GB 0700468.2에 개시된 방법에 따라, Trace 변환의 거리 (d) 파라미터를 8, 16 및 32의 인자로 분해(또는 서브샘플링)하고 수학식 10 및 11 둘다를 적용함으로써 획득된 circus 함수로부터 추가의 6개의 "다중 해상도" 식별자들이 추출될 수 있다.

GB 0712388.8에 개시된 방법에 따라 추가의 3개의 함수가 Trace 변환에서 대역들로부터 선택되고, GB 0719833.6에 개시된 방법에 따라 2개의 함수가 trace-annulus 함수로부터 추출되고 하나의 함수가 trace-circular 함수로부터 추출된다.

이들 14개 성분 식별자 각각이 8 비트이며, 각각의 특징 식별자에 대해 총 112 비트를 제공한다.

또한, 각각의 특징(수학식 12)에 대한 이웃에 걸쳐 적분되는 스케일-적응 특징 방향이 또한 계산된다.

방향 θ가 양호하게는 16개 레벨(4 비트의 데이터로 표현될 수 있음)로 양자화된다.

이미지 식별자 또는 기술자가 특징 서명들 전부 또는 일부로부터 형성된다. 일련의 특징점들 전부에 대한 이미지 식별자가 다수의 방식으로 표현될 수 있다. 양호한 실시예에서, 이미지 기술자는 다수의 정보 필드를 포함하는 비트 스트림이며, 제1 필드는 특징들의 수이다. 이어서, 각각의 특징이 비트스트림에서 정규화된 특징점 좌표(x 및 y), 양자화된 특징 방향 및 이진 특징 서명으로서 표현된다. 선택적으로, 특징들의 수를 저장하기보다는, 패딩이 사용될 수 있으며, 플래그가 미사용 필드를 표현하도록 설정된다. 이진 특징 서명은 112 비트 전부를 포함하거나, 선택적으로 112 비트의 일부가 선택, 도출 또는 저장될 수 있다. 특징 식별자의 구조가 도 7a에 도시되어 있으며, 이미지 서명이 도 7b에 도시되어 있다.

특징 식별자를 사용한 이미지 매칭

이미지 식별자들의 일부를 형성하는 특징 서명들을 비교하거나 매칭시킴으로써 이미지 매칭이 수행될 수 있다. 앞서 언급한 바와 같이, 효율성을 위해, 특징 서명들을 비교함으로써 한 쌍의 이미지 사이의 전체 매칭 절차가 4개의 단계로 이루어져 있다. 단계 1 및 3에서 가설이 작성된다. 일련의 기하학적 테스트가 단계 2 및 4에서 수행되고, 가설이 그 다음 단계로 진행하기 위해서는 이들 테스트를 통과해야만 한다. 이 단계들은 점점 더 계산이 복잡하게 되고, 따라서 각각의 단계가 차후의 처리에서 받아들여지는 가설의 수를 최소화하려고 한다.

제1 단계는 하나의 이미지로부터의 N개의 특징 서명들 중 처음 M개를 제2 이미지로부터의 N개의 특징 서명들 중 처음 M개와 비교함으로써 잠재적인 일치 특징들에 대한 가설들을 작성하는 것을 포함한다. M개의 서브셋을 사용하는 것의 장점은 안정성을 유지하면서 속도가 빨라진다는 것이다. 양호한 실시예에서, N은 32이고 M은 24이다.

2개의 서명 B₁과 B₂ 간의 매칭을 수행하기 위해, 해밍 거리가 구해진다:

여기서,

는 배타적 OR(XOR) 연산자이다.

양호한 실시예에서, 3개의 일치 특징들의 쌍의 모든 조합을 사용하여 가설들의 집합이 생성된다. 가설은 3개의 특징점 쌍의 집합(a₁, a₂, a₃, b₁, b₂, b₃)으로 이루어져 있다. 각각의 특징 쌍의 거리가 상수 임계값 T_A보다 낮고 누적 거리가 어떤 제2 상수 임계값 T_B보다 낮은 경우, 3개의 특징점 쌍의 집합이 일치로 선언된다. 양호한 가설에서, T_A = 0.06이고 T_B = 0.2이다. 가설들의 집합이 그의 누적 거리에 의해 정렬되고, 가장 낮은 거리(즉, 일치할 가능성이 가장 높음)가 처음에 온다. 복잡도를 최소화하기 위해, 가설의 수가 최저 거리에 대응하는 K개의 가설로 제한될 수 있다. 양호한 실시예에서, K는 18이다.

제2 단계는 단계 1로부터 발생된 각각에 기하학적 제약조건들을 적용한다. 틀린 일치를 감소시키기 위해 2개의 기하학적 제약조건들, i) 특징 방향 및 ii) 라인 길이의 비가 적용된다.

앞서 기술한 바와 같이, 방향은 각각의 특징과 연관되어 있고, 특징

에 대한 방향은

로 표시된다. 각도 거리 척도가 회전에 의해 영향을 받지 않도록 하기 위해, 동일한 이미지로부터의 특징들에 대응하는 각도들 간의 차이가 구해진다. 이러한 2개의 각도 거리 척도를 사용하여 여기서 하는 것처럼, 거리 척도가 좌우 및 상하 뒤집기 수정의 문제를 해결해야만 한다.

2개의 각도 거리 척도

가 허용가능한 구간 내에 있는지 여부를 테스트하기 위해 이들 각도 거리 척도에 임계값이 적용된다. 각도 거리의 허용가능한 값은 각도 양자화 Q에서의 레벨들의 수에 의존하고 수학식 15에 의해 주어진다.

여기서, q는 각도 변화에 대한 민감도를 변화시키는 데 사용될 수 있는 상수이다. 양호한 실시예에서, q는 1로 설정되고, Q는 16이다.

도 5에 나타낸 바와 같이, 각각의 가설에서 선택된 특징들의 위치를 사용하여, 특징들 간의 라인 길이들의 비가 제약조건으로서 사용된다.

은 특징 a₁의 위치와 특징 a₂의 위치를 연결하는 라인의 길이를 나타낸다. 3개의 특징점

및

이 라인 길이들의 비를 구하는 데 사용된다. 3개의 라인 길이 비가 계산된다.

2개의 이미지 A 및 B에 대한 라인 길이 비 사이의 유사성의 척도 (G₁, G₂, G₃)는 다음과 같이 정의된다.

유리하게는, 이미지 내의 정의된 점들 간의 라인 길이들의 비가 회전, 이동 및 스케일링 등의 변환에 불변이며, 따라서 상기 기하학적 제약조건이 이러한 기하학적 변환을 거친 이미지를 매칭시키는 데 적합하다. 그러나, 설계 요구사항들에 따라, 다른 적당한 기하학적 제약조건들이 사용될 수 있다.

일 실시예에서, 2개의 임계값이 거리 척도에 적용되고, 하나는 개개의 척도의 크기를 제약하고 다른 하나는 거리들의 합을 제약한다.

상기한 테스트들 중 하나 이상을 통과하지 못하는 가설은 유효한 가설들의 집합으로부터 제거된다. 모든 가설들을 테스트한 후에 집합이 비어 있는 경우, 이미지들은 일치하지 않는 것으로 선언된다. 가설이 모든 테스트를 통과한 경우, 4개의 특징 가설을 생성하기 위해 그 다음 단계로 진행한다.

매칭의 제3 단계는 제1 이미지로부터의 N개의 특징들 모두를 제2 이미지로부터의 N개의 특징들 전부와 비교한다. 이제, 3개의 특징 쌍에 대한 가설이 이미 있고, 따라서 목표는 4개의 쌍을 갖는 가설들(현재의 3개의 특징 쌍 가설에 하나 이상의 특징을 추가하는 가설들)의 집합을 구하는 것이다. 단계 1에서와 같이 서명 거리에 기초하여 잠재적 특징들이 발견된다. 가설들의 집합이 제4 특징의 거리에 의해 정렬된다.

단계 4에서, 오수락률(false acceptance rate)을 추가적으로 감소시키기 위해 4개의 특징 가설들의 집합에 대해 기하학적 분석이 수행된다. 제1 기하학적 제약조건은 3개의 특징에 대해서와 같이 특징 방향 방정식 14 및 15에 기초한다. 이전에 사용된 라인들의 비가 유사성 변환에 불변이다. 4개의 특징들을 사용하여, 이하에서 기술되는 면적들의 비를 사용함으로써 불변성(invariance)이 보다 일반적인 affine 변환으로 완화될 수 있다. 이것에 의해 잘못된 일치(false match)를 거부하면서 올바른 일치(true match)를 수락하는 더 엄격한 임계값이 설정될 수 있다.

4개의 특징들의 집합 (a₁, a₂, a₃, a₄)으로부터, 3개의 삼각형 (a₁a₂a₃, a₂a₃a₄, a₃a₄a₁, a₄a₁a₂)이 구성될 수 있고, 이들 삼각형의 면적이 다음과 같이 구해질 수 있다:

여기서,

이다. 이어서, 면적비는 다음과 같이 계산될 수 있고

그러면, 이미지 A의 면적비와 이미지 B의 면적비 사이의 거리는 다음과 같이 구해질 수 있다:

2개의 임계값 T_c 및 T_D는 특징 집합들 간의 4개의 면적비 거리들의 집합에 적용된다. 제1 임계값은 제1 임계값 T_c를 넘는 면적비 거리 중 임의의 것을 갖는 가설을 거부한다. 제2 임계값은 거리들의 합이 임계값 T_D보다 큰 가설을 거부한다. 양호한 실시예에서, T_c=0.15이고 T_D=0.4이다.

본 발명의 상기한 실시예들의 이미지 매칭 기법은, GB 0719833.6에 개시된 방법과 같은 다른 이미지 매칭 기법들과 결합될 수 있다. 개별 식별자들 전부를 포함하는 각각의 이미지에 대해 기술자가 생성된다. 양호한 실시예에서, 식별자 비트스트림은 GB 0719833.6에 기초한 2개의 식별자 및 본 발명에 따른 기술자를 포함한다. GB 0719833.6에 기초한 2개의 식별자 중에서, 제1 식별자는 이미지 종횡비를 유지하기 위해 이미지를 사전-처리함으로써 생성되고, 다른 하나는 정사각형으로 처리되는 경우이다.

양호하게는, 먼저 아주 낮은 오경보 임계값에서 GB 0719833.6의 더 빠른 알고리즘을 사용하여 매칭이 수행된다. 임계값보다 낮은 임의의 이미지 쌍이 일치로 간주되고, 임계값보다 높은 쌍들(GB 0719833.6에서 일치로 간주되지 않음)은 이어서 본 발명에 따라 처리된다.

상기한 방법들을 수행하기 위해 일 실시예에 따라 본 발명을 구현하는 장치가 도 6에 도시되어 있다. 이 구현은 이미지 데이터베이스(230)에 저장된 이미지들에 대한 식별자들의 데이터베이스(240)를 구축하는 것을 포함한다. 2개의 데이터베이스(230 및 240)가 동일하거나 개별적인 데이터베이스일 수 있다. 이 장치는 식별자 데이터베이스(140)에서 일치를 찾기 위해 쿼리 이미지(250)로부터 추출된 식별자(260)를 검색하는 것을 가능하게 한다. 가능하게는 순서화된 이미지들의 목록이 사용자(290) 또는 쿼리 응용 프로그램에 반환된다.

당업자라면 잘 알 수 있는 바와 같이, 기술된 실시예들에 많은 변형들 및 수정들이 이루어질 수 있다. 예를 들어, 기술된 실시예들이 특징 검출에 기초하여 이미지 영역들(이들로부터 이미지 서명이 도출됨)을 식별하지만, 이미지를 대표하는(또는 이미지 내에서 의미있는) 이미지 영역들을 식별하기 위해 다른 기법들이 사용될 수 있다. 게다가, 기술된 실시예가 이미지 기울기 방법에 기초하여 특징 검출기를 사용하지만, 이미지에서 관심점들 또는 관심 영역들을 검출하는 데 많은 다른 적당한 방법들이 사용될 수 있다. 유사하게, 최상의 또는 가장 강한 검출된 특징 또는 관심점들을 선택하는 다른 기법들이 가능하다.

또한, 기술된 실시예에서 사용되는 3개의 특징점들의 집합과 연관된 라인 길이들의 비와 관련된 거리 척도 이외의 각종의 기하학적 제약조건들 중 하나 이상을 사용하는 것이 가능하다. 예를 들어, 임의의 수의 특징점들이 거리 척도와 관련하여 사용될 수 있다. 대안으로서, 다른 기하학적 제약조건들이 특징점들 간의 각도에 기초할 수 있다. 게다가, affine 모델이 기하학적 제약조건을 정의하는 데 사용될 수 있다.

본 발명의 정신 및 범위 내에 속하는 모든 이러한 변형, 수정 및 등가물을 포괄하는 것으로 보아야 한다.

대안의 구현들

이상의 설명이 어떤 상황들에서 가설들을 생성하기 위해 맹목적 검색(brute force searching)을 사용하지만, 개략적인 해밍 거리 게산을 가능하게 하는 구조를 사용하는 것이 유익할 수 있다. 이것은 어떤 수준의 검출에 대한 대가로 증가된 검색 속도를 제공할 것이다.

제시된 특징 매칭 방식은 별첨 인용 문헌 4에 제시된 라인들을 따라 확률 모델을 적용하는 것에 적합하다.

인용 문헌

Claims (36)

1. 이미지에 대응하는 신호들을 처리함으로써 상기 이미지의 표현을 도출하는 방법으로서,
   상기 이미지의 스케일-공간 표현(scale-space representation)을 도출하는 단계;
   진폭 극값(amplitude extrema)을 갖는 복수의 특징점들을 검출하기 위해 상기 스케일-공간 표현을 처리하는 단계;
   상기 검출된 복수의 특징점들 중 하나 이상의 특징점에 대해, 대응하는 특징점과 연관된 스케일-의존적 이미지 영역(scale-dependent image region)을 결정하는 단계; 및
   각각의 결정된 스케일-의존적 이미지 영역에 대한 표현을 도출하는 단계
   를 포함하고,
   상기 방법은,
   상기 검출된 복수의 특징점들 중에서 미리 정해진 수의 특징점들을 선택하는 단계, 및
   상기 선택된 특징점들 각각과 연관된 스케일-의존적 이미지 영역을 결정하는 단계
   를 포함하며,
   상기 선택된 특징점들의 공간적 위치는 실질적으로 상기 이미지에 걸쳐 분산되어 있고, 각각의 선택된 특징점의 공간적 위치는, 특징점이 이전에 선택된 특징들 중 임의의 것을 중심으로 한 제외 영역(exclusion zone) 내에 있는 경우에 선택되지 않는다는 제한으로, 특징점들을 강도의 순서로 선택함으로써, 상기 이미지에서 적어도 미리 정해진 거리만큼 다른 선택된 특징점들로부터 분리되어 있고,
   상기 각각의 결정된 스케일-의존적 이미지 영역에 대한 표현을 도출하는 단계는, Trace 변환을 사용하여, 상기 이미지 영역에 걸쳐 라인 투영(line projections)에 기초한 표현을 도출하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 복수의 특징점들은, 2차 이미지 기울기에 기초한 연산자를 상기 이미지의 스케일-공간 표현에 적용하고, 최고 결과값들로 상기 스케일-공간 표현 내의 특징점들을 식별함으로써 검출되는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 선택하는 단계는 상기 스케일-공간 표현에서의 가장 낮은 진폭값들 또는 임계값보다 낮은 상기 스케일-공간 표현에서의 진폭값들을 갖는 특징점들을 상기 검출된 복수의 특징점들로부터 제거하는 단계를 포함하는 방법.
4. 제1항 또는 제2항에 있어서,
   상기 선택하는 단계는 상기 이미지에서의 특징점들의 공간적 위치에 따라 특징점들을 상기 검출된 복수의 특징점들로부터 제거하는 단계를 포함하는 방법.
5. 제1항 또는 제2항에 있어서,
   상기 선택하는 단계는,
   상기 검출된 복수의 특징점들에 연산자를 적용하는 단계 - 상기 연산자가 1차 이미지 기울기에 기초함 -, 및
   임계값보다 낮은 결과 값들을 갖는 특징점들을 제거하는 단계
   를 포함하며,
   예를 들어, 상기 연산자는 스케일 적응(scale adapted) Harris 연산자인 방법.
6. 제1항 또는 제2항에 있어서,
   상기 스케일-공간 표현에서의 특징점에 대한 스케일-의존적 이미지 영역을 결정하는 단계는 상기 특징점의 공간적 위치와 연관된 상기 이미지의 공간적 영역을 결정하는 단계를 포함하며, 상기 공간적 영역의 크기는 상기 특징점의 스케일에 기초하는 방법.
7. 제1항 또는 제2항에 있어서,
   스케일-의존적 이미지 영역을 결정하기 전에, 3차 보간(cubic interpolation)을 사용하여, 상기 하나 이상의 특징점들의 공간적 위치를 서브-픽셀 해상도로 미세 조정(refining)하는 단계를 더 포함하는 방법.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 제1항 또는 제2항에 있어서,
    상기 복수의 특징점들 중 하나 이상의 특징점에 대해, 상기 특징점의 이웃에 걸쳐 적분함으로써, 상기 특징점에 대한 특징 방향을 결정하는 단계를 더 포함하며,
    상기 특징 방향은 이하의 방정식
    

    

    (12)
    을 사용하여 결정되고, 여기서

    

    는 공간적 위치(x,y)에서의 상기 특징점의 특징 방향인 방법.
13. 제1항 또는 제2항에 있어서,
    각각의 결정된 스케일-의존적 이미지 영역에 대한 표현을 도출하는 단계는 상기 스케일-의존적 이미지 영역에 대한 이진 이미지 기술자(binary image descriptor)를 도출하는 단계를 포함하는 방법.
14. 제1항의 방법을 이용하여 도출된 이미지들의 기술자들을 사용하여 이미지들을 비교하는 방법으로서,
    제1 이미지의 기술자와 연관된 하나 이상의 스케일-의존적 이미지 영역들의 표현들을, 제2 이미지의 기술자와 연관된 하나 이상의 스케일-의존적 이미지 영역들의 표현들과 비교하는 단계
    를 포함하는 방법.
15. 이미지들 또는 이미지들의 표현들을 저장하기 위한 이미지 데이터베이스;
    식별자 데이터베이스; 및
    제1항 또는 제14항의 방법을 실행하도록 구성되는 프로세서
    를 포함하는 장치.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제

Images