KR101420549B1 - 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체 - Google Patents

쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체 Download PDF

Info

Publication number
KR101420549B1
KR101420549B1 KR1020127017098A KR20127017098A KR101420549B1 KR 101420549 B1 KR101420549 B1 KR 101420549B1 KR 1020127017098 A KR1020127017098 A KR 1020127017098A KR 20127017098 A KR20127017098 A KR 20127017098A KR 101420549 B1 KR101420549 B1 KR 101420549B1
Authority
KR
South Korea
Prior art keywords
keypoints
keypoint
cluster
image
query
Prior art date
Application number
KR1020127017098A
Other languages
English (en)
Other versions
KR20120099111A (ko
Inventor
선딥 바다디
존 에이치 홍
오누어 씨 함시키
유리 레즈닉
총 유 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120099111A publication Critical patent/KR20120099111A/ko
Application granted granted Critical
Publication of KR101420549B1 publication Critical patent/KR101420549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

이미지 인식 시에 특징 매칭을 위한 방법이 개시된다. 먼저, 이미지 스케일링이 이미지 사이즈/해상도를 추정하기 위해 이미지에 대한 스케일 공간들에 걸쳐 있는 특징 분포에 기초할 수도 있으며, 상이한 스케일들에서 키포인트 분포에 있는 피크(들)는 우세한 이미지 스케일을 추적하고 대상 사이즈들을 대략적으로 추적하는데 사용된다. 둘째로, 특징 매칭을 위해 이미지에 있는 모든 검출된 특징들을 이용하는 대신, 키포인트들은 이 키포인트들이 검출된 클러스터 밀도 및/또는 스케일 레벨에 기초하여 프루닝될 수도 있다. 특징 매칭의 목적을 위해서는 고 밀도 클러스터들 내에 속하는 키포인트들이 저 밀도 클러스터들 내에 속하는 특징들보다 바람직할 수도 있다. 셋째로, 인라이어 대 아웃라이어 비율들이, 이미지에 대한 기하학적 일관성 점검을 줄이거나 회피하기 위하여 키포인트들을 클러스터들로 공간적으로 제약하는 것에 의해 증가된다.

Description

쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체{METHOD, DEVICE AND PROCESSOR-READABLE MEDIUM FOR FEATURE MATCHING BY CLUSTERING DETECTED KEPOINTS IN QUERY AND MODEL IMAGES}
35 U.S.C.§119 하에서의 우선권 주장
본 특허 출원은 2009년 12월 2일자로 출원된, 발명의 명칭이 "Improving local Feature Classifier Performance and Efficiency and Convergence Rate of RANSAC by Using a Keypoint Clustering Method"이며 이 출원의 양수인에게 양도되고 본 명세서에서 참조로서 통합된 미국 가출원 제61/265,955호에 우선권을 주장한다.
분야
하나의 특징은 컴퓨터 비전에 관한 것이고, 더욱 상세하게는, 이미지 인식 기법들의 성능, 효율을 개선하고 계산 복잡도를 줄이는 방법들 및 기법들에 관한 것이다.
다양한 애플리케이션들이 시각적 표현 (예컨대, 이미지 또는 화상) 에 있는 대상들 (objects) 을 식별할 수 있는 머신 또는 프로세서를 가지는 것은 유리할 수도 있다. 컴퓨터 비전 분야는 대상 또는 특징 (feature) 이 하나 이상의 키포인트들을 식별하는 서술자 (descriptor) 들에 의해 특징지어질 수도 있는, 이미지에서 대상들 또는 특징들을 식별하는 것을 허용하는 기법들 및/또는 알고리즘들을 제공하는 것을 시도한다. 이들 기법들 및/또는 알고리즘들은 또한 종종 여러 애플리케이션들 중에서, 얼굴 인식, 대상 검출, 이미지 매칭, 3차원 구조 구성, 스테레오 대응 (correspondence), 및/또는 모션 추적에 적용되기도 한다. 일반적으로, 대상 또는 특징 인식은 특징 식별, 이미지 검색 (retrieval), 및/또는 대상 인식의 목적을 위해 이미지에서 관심있는 포인트들 (키포인트들이라고도 불리움) 을 식별하는 것을 수반할 수도 있다. 바람직하게는, 키포인트들이 이미지 스케일 변경들 및/또는 회전에 대해 불변하고 실질적인 왜곡 범위, 시점의 변경들, 그리고/또는 조명의 노이즈 및 변경에 대해 강건한 매칭을 제공하도록 키포인트들이 선택될 수도 있고 이 키포인트들 주위의 패치(들) 이 처리될 수도 있다. 게다가, 이미지 검색 및 대상 인식과 같은 태스크들에 매우 적합하도록 위하여, 특징 서술자들은, 단일 특징이 복수의 타겟 이미지들로부터의 대형 데이터베이스의 특징들에 비해 높은 확률로 정확하게 매칭될 수 있다는 점에서 구별되는 것이 바람직하다.
이미지에 있는 키포인트들이 검출되고 위치결정된 후, 키포인트들은 갖가지 서술자들을 이용하는 것에 의해 식별될 수도 있거나 또는 서술될 수도 있다. 예를 들어, 서술자들은 이미지들에 있는 콘텐츠의 시각적 특징들, 이를테면 여러 이미지 특성들 중에서 형상, 컬러, 텍스처, 및/또는 회전과 같은 시각적 특징들을 표현할 수도 있다. 키포인트들에 대응하고 서술자들에 의해 표현되는 개개의 특징들은 알려진 대상들로부터의 특징들의 데이터베이스에 매칭된다. 그러므로, 대응 탐색 시스템이 3가지 모듈들: 키포인트 검출기, 특징 서술자, 및 대응 로케이터로 분할될 수 있다. 이들 3가지 논리적 모듈들에서, 서술자의 구성 복잡도 및 차원수는 특징 매칭 시스템의 성능에 직접적이고 중대한 영향을 준다.
이러한 특징 서술자들은 실시간 대상 인식, 3D 재구성, 파노라마 스티칭 (panorama stitching), 로봇식 매핑 (robotic mapping), 비디오 추적, 및 유사한 태스크들에서 애플리케이션들을 점점 더 발견하고 있다. 애플리케이션에 의존하여, 특징 서술자들 (또는 동등물) 의 전송 및/또는 저장은 대상 검출의 계산 속도 및/또는 이미지 데이터베이스들의 사이즈를 제한할 수 있다. 모바일 디바이스들 (예컨대, 카메라 폰들, 모바일 폰들 등) 또는 분산형 카메라 네트워크들의 측면에서, 상당한 통신 및 전력 자원들이 노드들 간에 정보 (예컨대, 이미지 및/또는 이미지 서술자들을 포함함) 를 전송하는데 소비될 수 있다. 따라서 특징 서술자 압축은 그래서 저장, 대기시간 (latency), 및 전송의 감소를 위해 중요하다.
컴퓨터 비전 및/또는 이미지 캡처 구현예들은 처리 집중적인 경향이 있다. 대상 인식은 아핀 (affine) 변환들 및 다른 왜곡들에 의해 악화되는 부정확한 특징 매칭 프로세스에 의해 종종 방해를 받아서, 참 긍정들 (true positives) (인식) 이 감소되게 하고 거짓 긍정들 (false positives) 이 증가되게 (정밀도가 감소되게) 한다. 대상 인식 시스템들, 와이드 베이스라인 (baseline) 스테레오 매칭, 및 포즈 추정의 분류기 (classifier) 스테이지와 같은 컴퓨터 비전의 영역들에서, 중요한 단계는 오염된 데이터를 이용한 정확한 모델의 피팅 (fitting) 이다. 기본적인 가정은, "인라이어들 (inliers)", 즉, 그 분포가 일부 모델 매개변수 세트에 의해 설명될 수 있는 데이터 (또는 포인트들), 및 그 모델에 맞지 않는 데이터인 "아웃라이어들 (outliers)"로 데이터가 구성된다는 것이다. 기하학적 일관성 또는 검증은 대상 인식 시스템에서 매칭 프로세스 후에 아웃라이어들을 거부하기 위하여 종종 도입되지만, 계산 단가가 높고 대상 인식 시스템들의 실시간 연산을 종종 방해한다. 데이터 피팅 모델의 매개변수들은, 예를 들어, 대상 인식 시의 아웃라이어 거부 및 이미지 스티칭 시의 아웃라이어 거부를 위한 스테레오 매칭 또는 사영 변환 (projective transformation) 에서 기초 행렬 (fundamental matrix) 의 추정을 위해 사용될 수 있다. 예를 들어, 랜덤 샘플 콘센서스 (RANdom SAmple Consensus; RANSAC) 는 오염된 데이터로 작업하기 위해 광범위하게 사용되는 데이터 피팅 모델이고, 데이터로부터 포인트들의 세트를 랜덤하게 샘플링하는 것에 의해 모델들을 추정하고 모든 데이터에 대하여 반복적으로 검증하여 피팅 (fitting) 을 결정하도록 작업한다. 그러나, 아웃라이어들에 대한 인라이어들의 비율이 떨어지면, RANSAC 알고리즘은 기하급수적으로 느려지게 된다 (즉, 수렴 속도가 더 느려진다).
그러므로, 기하학적 검증 기법들의 느린 수렴 속도를 개선하고 그리고/또는 기하학적 검증에 대한 필요를 없애는 것이 필요하다.
다음에서는 일부 실시예들의 기본적인 이해를 제공하기 위하여 하나 이상의 실시예들의 단순화된 개요를 제시한다. 이 개요는 모든 의도된 실시예들의 폭넓은 개관이 아니고, 모든 실시예들의 핵심 또는 중대 요소들을 확인하려는 의도도 아니며 임의의 또는 모든 실시예들의 범위를 정확하게 서술하고자 한 의도도 아니다. 그것의 유일한 목적은 하기에서 제시되는 더욱 상세한 설명에 대한 서두로서 하나 이상의 실시예들의 일부 개념들을 단순화된 형태로 제시하는 것이다.
갖가지 특징들이 이미지 인식 시스템들에서의 특징 매칭을 개선하기 위해 제공된다.
제 1 양태에 따르면, 인라이어 대 아웃라이어 키포인트 비율들이 키포인트들을 클러스터들 내에 공간적으로 제약하는 것에 의해 증가될 수도 있다. 복수의 키포인트들이 쿼리 이미지용 이미지에 대하여 획득된다. 키포인트는 쿼리 이미지용 스케일 공간에 있는 로컬 최대치 화소 또는 로컬 최소치 화소일 수도 있다. 예를 들어, 키포인트들은 쿼리 이미지의 블러 (blurred) 버전들에 대응하는 복수의 스케일 공간들에 걸쳐 확인될 수도 있다. 일부 경우들에서, 키포인트들은 키포인트 매칭을 위해 사용되는 서술자들에 의해 표현될 수도 있다.
그 다음 (예컨대, 복수의 키포인트들에 대한) 키포인트 분포에 기초하여 쿼리 이미지에 대한 키포인트 클러스터들의 세트가 정의된다. 키포인트들은 (a) 쿼리 이미지를 위한 스케일 공간에 걸쳐 있는 키포인트들의 공간적 위치들, 또는 (b) 키포인트들이 검출되는 스케일 공간에서의 스케일 레벨들 중의 적어도 하나에 기초하여 클러스터링될 수도 있다.
그 다음 쿼리 이미지에 대한 앵커 매치들이, 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들을 위한 키포인트들에 매칭시키는 것에 의해 확립될 수도 있다. 앵커 매치들은 임계치를 초과하여 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되는 키포인트 매치들일 수도 있다. 임계치는 거짓 긍정 키포인트 매치들인 아웃라이어 매치들을 제외시키도록 선택된다. 덧붙여, 앵커 매치들이, 쿼리 이미지에 대한 스케일 공간의 선택된 레벨들의 서브세트 내에서 발생하는, 쿼리 이미지에서의 키포인트들에 대한 키포인트 매치들이 되도록 스케일 레벨 우선순위가 도입될 수도 있다. 앵커 매치들은 쿼리 이미지를 위한 키포인트들의 서브세트의 각각의 키포인트 주위의 로컬 화소 정보에 적어도 부분적으로 기초하여 매칭되는 키포인트 매치들을 참조할 수도 있다. 로컬 화소 정보는 화소 경사도, 화소 컬러, 클러스터 형상, 또는 키포인트 분포 중의 적어도 하나를 포함할 수도 있다.
앵커 매치들 이후에도, 쿼리 키포인트 클러스터에 있는 다른 키포인트들은, 이러한 키포인트들이 타겟 키포인트 클러스터에서의 키포인트들에 적어도 부분적으로 매칭된다면 유지될 수도 있다. 그러나, 키포인트들은, 이러한 키포인트들이 매칭되지 않거나 또는 타겟 키포인트 클러스터 이외의 클러스터에서의 키포인트들에 매칭된다면, 쿼리 키포인트 클러스터로부터 제외될 수도 있다.
일 실시예에서, 앵커 매치들을 확립하는 것은, (a) 쿼리 이미지에서의 키포인트들을 타겟 이미지들에서의 키포인트들에 매칭시키는 것; 그리고/또는 (b) 키포인트가 그 대응하는 키포인트 클러스터로부터 제외되어야 하는지에 관한 후속 이진 결정을 위해 쿼리 이미지에의 키포인트들에 대한 키포인트 매치 정보를 유지시키는 것을 포함할 수도 있다.
그 후에, 쿼리 키포인트 클러스터가 앵커 매치들의 서브세트에 기초하여 타겟 키포인트 클러스터에 매칭될 수도 있다.
임계치 미만의 키포인트 매치가 부분 매치로 간주될 수 있음에 유의한다. 이들 부분 매치들의 경우, 쿼리 키포인트 클러스터가 타겟 키포인트 클러스터에 매칭된 후, 쿼리 키포인트 클러스터에서의 키포인트들은 이진 결정에 기초하여 클러스터 내에 유지될 수도 있다. 쿼리 키포인트 클러스터에서의 키포인트에 대한 이진 결정은, 부분 매치가 그 키포인트에 대해 발견되었는지 및 이러한 매치가 타겟 키포인트 클러스터 내에 있는지 여부에 기초할 수도 있다.
제 2 특징에 의하면, 특징 매칭을 위해 이미지에 있는 모든 검출된 특징들을 이용하는 대신, 키포인트들은 키포인트들이 검출된 클러스터 밀도 및/또는 스케일 레벨에 기초하여 프루닝될 수도 있다. 예를 들면, 고 밀도 클러스터들 내에 속하는 키포인트들은 특징 매칭의 목적을 위해 저 밀도 클러스터들 내에 속하는 특징들보다 더 바람직할 수도 있다. 일 실시예에서, 쿼리 이미지에 대한 키포인트들은 복수의 이미지 스케일 공간들에 걸쳐 획득된다. 그 다음, 쿼리 이미지에 대한 키포인트들의 수는 다음에 의해 감소될 수도 있다: (a) 키포인트 클러스터들의 세트로부터 하나 이상의 저 밀도 클러스터들을 프루닝하는 것, 및/또는 (b) 키포인트 클러스터들의 세트에서의 클러스터들 중 적어도 일부로부터 쿼리 이미지의 하위 레벨 스케일 공간들에서 검출된 키포인트들을 프루닝하는 것. 이 목적을 위해, 키포인트 밀도가 키포인트 클러스터들의 세트에 있는 클러스터들의 각각에 대해 획득될 수도 있다.
그 후에, 감소된 수의 키포인트들에 대한 서술자들이 쿼리 이미지에 대해 생성될 수도 있다. 프루닝된 키포인트들 및/또는 클러스터들은 서술자들을 생성하기 전에 삭제될 수도 있다. 그 다음 감소된 수의 키포인트들을 위한 서술자들은 쿼리 이미지 또는 쿼리 이미지에서의 대상을 타겟 이미지들에 매칭시키기 위해 특징 매칭 디바이스에 송신될 수도 있다.
제 3 특징에 따르면, 이미지 스케일은, 상이한 스케일들의 키포인트 분포에서의 피크(들)가 우세한 이미지 스케일을 추적하고 대상 사이즈들을 대략적으로 추적하는데 사용되는 이미지 사이즈/해상도를 추정하기 위해 이미지에 대한 스케일 공간에 걸친 특징 분포에 기초하여 수행될 수도 있다. 키포인트들의 분포가 쿼리 이미지에 대한 복수의 스케일 공간들에 걸쳐 획득될 수도 있다. 그 다음 쿼리 이미지에 대한 스케일은 키포인트들의 분포에 기초하여 추정될 수도 있다. 이미지 스케일은 컷오프 (cutoff) 스케일이 공간 스케일들 내의 키포인트들의 임계 퍼센티지를 컷오프 스케일까지 유지하도록 스케일 공간들에 대한 키포인트들의 분포로부터 추정될 수도 있다. 그 다음 키포인트들을 클러스터링하기 위한 커널 사이즈가 추정된 쿼리 이미지 스케일에 기초하여 선택될 수도 있다. 그 다음 선택된 커널 사이즈에서의 쿼리 이미지의 블러 버전들이 키포인트 클러스터링을 수행하기 위해 활용될 수도 있다.
마찬가지로, 저장 디바이스 및 처리 회로를 포함하는 특징 매칭 디바이스가 제공된다. 이 저장 디바이스는 복수의 타겟 이미지들에 대한 정보를 저장할 수도 있다. 이 처리 회로는: (a) 쿼리 이미지에 대한 복수의 키포인트들을 획득하며, (b) 키포인트 분포에 기초하여 쿼리 이미지에 대한 키포인트 클러스터들의 세트를 정의하며, (c) 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해 쿼리 이미지에 대한 앵커 매치들을 확립하며, 그리고/또는 (d) 앵커 매치들의 서브세트에 기초하여 쿼리 키포인트 클러스터를 타겟 키포인트 클러스터에 매칭시키도록 구성될 수도 있다.
갖가지 특징들, 특성, 및 이점들은 아래에 언급되는 상세한 설명으로부터 유사한 도면부호들이 전체에 걸쳐 대응하여 식별하는 도면들과 결합하여 취해질 때 명확하게 될 것이다.
도 1은 쿼리된 이미지에 대해 대상 인식을 수행하기 위한 기능적 스테이지들을 도시하는 블록도이다.
도 2는 예시적인 이미지 캡처 스테이지를 도시한다.
도 3은 예시적인 이미지 처리 스테이지에서의 스케일 공간 생성을 도시한다.
도 4는 예시적인 이미지 처리 스테이지에서의 특징 검출을 도시한다.
도 5는 예시적인 이미지 처리 스테이지에서의 특징 서술자 추출을 도시한다.
도 6은 예시적인 이미지 비교 스테이지에서의 특징 매칭을 도시한다.
도 7은 쿼리된 이미지 내의 키포인트 클러스터들을 도시한다.
도 8 (도 8a 및 8b를 포함) 은 인라이어 대 아웃라이어 비율이 키포인트 클러스터들을 이용하는 것에 의해 개선될 수도 있는 방법을 도시한다.
도 9는 도 8의 방법에 따른, 쿼리 클러스터 및 타겟 클러스터 사이의 일 예의 키포인트 매칭을 도시한다.
도 10은 클러스터링을 이용하여 키포인트 매칭을 수행하기 위한 방법을 도시하는 흐름도이다.
도 11 (도 11a 및 11b를 포함) 은 앵커 포인트 매칭, 클러스터 대응, 및 이진 키포인트 매칭의 일 예를 도시한다.
도 12는 도 11의 결과들을 더 열거하는 테이블 도면이다.
도 13은 키포인트별 (keypoint by keypoint) 매칭보다 뛰어난 클러스터별 매칭의 개선을 도시하는 블록도이다.
도 14는 고 해상도 이미지를 위한 일 예의 키포인트 분포를 도시한다.
도 15는 저 해상도 이미지를 위한 일 예의 키포인트 분포를 도시한다.
도 16은 클러스터 대응을 수행하는 것을 용이하게 하는 이미지들의 커널 스케일링을 위한 방법을 도시한다.
도 17은 키포인트 밀도에 기초한 클러스터 프루닝을 도시한다.
도 18은 키포인트 밀도에 기초하여 키포인트 클러스터들을 프루닝하는 것에 의해 쿼리 이미지를 위한 키포인트들을 감소시키는 방법이다.
도 19는 키포인트 스케일에 기초한 포인트 프루닝 방법을 도시한다.
도 20은 키포인트 밀도에 기초하여 키포인트 클러스터들을 프루닝하는 것에 의해 쿼리 이미지를 위한 키포인트들을 감소시키는 방법이다.
도 21은 이미지 매칭 디바이스의 일 예를 도시하는 블록도이다.
도 22는 이미지 또는 대상 인식의 목적을 위해 이미지 처리를 수행하기에 적합한 예시적인 모바일 디바이스를 도시하는 블록도이다.
도 23 (도 23a, 23b, 및 23c를 포함) 은 대상 인식 프로세스의 부분으로서 이미지 스케일링, 특징 프루닝, 및/또는 공간 제약형 특징 매칭을 위한 방법을 도시하는 흐름도이다.
유사한 도면부호들이 그 전체에서 유사한 요소들을 지칭하는데 사용되는 도면들을 참조하여 갖가지 실시형태들이 지금부터 설명된다. 다음의 설명에서, 설명을 목적으로, 수많은 구체적인 세부내용들이 하나 이상의 실시예들의 철저한 이해를 제공하기 위하여 언급된다. 그러나, 이러한 실시예(들) 가 이들 구체적인 세부내용들 없이 실시될 수도 있다는 것은 명백할 것이다. 다른 경우들에서, 잘 알려진 구조들 및 디바이스들은 하나 이상의 실시예들을 설명하는 것을 용이하게 하기 위하여 블록도 형태로 도시된다.
개요
본 명세서에서 설명되는 다양한 특징들은 이미지 인식의 속도 및/또는 효율을 개선하는 것에 관련된다.
제 1 양태에 따르면, 쿼리 이미지에 있는 키포인트들이 클러스터들로 그룹화된다. 쿼리 클러스터로부터의 키포인트들은 높은 대응 임계치에 기초하여 타겟 클러스터들에 매칭된다. 임계치를 만족하는 (또는 더 양호한) 쿼리 키포인트들은 풀 (full) 매치들이고 앵커 포인트들로서 간주된다. 임계치를 만족하지 않지만 대응하는 타겟 키포인트를 가지는 쿼리 키포인트들은 부분 매치들이다. 그 다음 쿼리 클러스터 및 타겟 클러스터 사이의 대응 (correspondence) 이 앵커 포인트들에 기초하여 확립된다. 대응하는 타겟 클러스터 내에 부분 매치를 갖는 부가적인 키포인트들은 쿼리 클러스터에 제공된다. 모든 다른 쿼리 키포인트들 (매칭되지 않은 (unmatched) 키포인트들이거나 또는 다른 타겟 클러스터에 매칭된 키포인트들) 이 쿼리 클러스터에서 무시된다. 부분 매칭된 키포인트들이 이진 결정 (앵커 포인트 매칭에서처럼 임계/확률적 (probabilistic) 결정이 아님) 에 제공되기 때문에, 모든 가능한 인라이어 키포인트들은 공간적으로 반복하는 구조들이 있는 경우에도 허용된다.
제 2 양태에 따르면, 이미지의 해상도는 이 이미지에 대해 상이한 스케일들의 스케일 공간 피라미드 (예컨대, 가우시안 스케일 공간) 에서 관측되는 키포인트 분포에 기초하여 대략적으로 추정된다. 상이한 스케일들의 키포인트 분포에서의 피크(들)가 우세한 이미지 스케일을 추적하고 오브젝트 사이즈를 대략적으로 추적하는데 사용될 수 있다. 이 관측은 대상의 사이즈의 추정치를 얻고 커널 사이즈 반경 (R) 이 그 추정치에 비례하도록 하기 위해 사용된다. 구체적으로는, 대상 사이즈는 이러한 스케일 또는 더 작은 (하위) 스케일에서 검출된 일정한 임계 퍼센티지의 모든 키포인트들을 포함하는 최소 스케일 레벨로 선택된다. 상당한 퍼센트의 키포인트들이 스케일 공간 피라미드의 상위 스케일들에서 발견되거나 또는 스케일들에 걸쳐 균일하게 퍼져있다면, 이는 이미지가 고 해상도를 가짐을 나타낸다. 그렇지 않고, 키포인트들이 하위 스케일들에 집중된다면, 이는 이미지가 저 해상도를 가짐을 나타낸다.
제 3 양태에 따르면, 키포인트들의 수는 특징 매칭 스테이지 동안 계산 복잡도를 감소시키기 위해 프루닝될 수도 있다. 키포인트를 프루닝/감소시키기 위한 2가지 접근법들은, (a) 클러스터 밀도에 기초하여 키포인트들을 프루닝 및 (b) 검출 스케일에 기초하여 키포인트들을 프루닝하는 것을 포함한다. 제 1 접근법에 따르면, 쿼리 이미지 및 타겟 이미지 사이의 매칭을 위해 사용되는 키포인트 클러스터들을 감소시키기 위하여, 고 밀도의 키포인트들을 갖는 키포인트 클러스터들이 선택되는 반면 나머지 키포인트 클러스터들 (즉, 하위 키포인트 밀도) 은 후속하는 특징 매칭 동안 프루닝되거나 또는 무시된다. 제 2 접근법에 따르면, 상위 스케일들 (저 해상도들) 에서 검출된 키포인트들은 보존되고 하위 스케일들 (고 해상도들) 의 키포인트들은 특징 매칭의 목적을 위해 프루닝되거나 또는 무시된다.
예시적인 대상 인식 프로세스
도 1은 쿼리된 이미지에 대해 대상 인식을 수행하기 위한 기능적 스테이지들을 도시하는 블록도이다. 이미지 캡처 스테이지 (102) 에서, 관심있는 이미지 (108) (즉, 쿼리된 이미지) 가 캡처될 수도 있다. 이미지 처리 스테이지 (104) 에서, 캡처된 이미지 (108) 는 대응하는 스케일 공간 (예컨대, 가우시안 스케일 공간) 을 생성 (110) 하며, 특징 검출 (112) 을 수행하고, 특징 서술자 추출 (116) 을 수행하는 것에 의해 처리된다. 특징 검출 (112) 은, 나중에 복수의 서술자들을 획득하기 위해 특징 서술자 추출 (116) 에서 사용될 수 있는, 캡처된 이미지 (108) 에 대해 매우 독특한 키포인트들 및/또는 기하학적으로 관심있는 키포인트들을 식별할 수 있다. 이미지 비교 스테이지 (106) 에서, 이들 서술자들은, 알려진 서술자들의 데이터베이스로 (예컨대, 키포인트들 및/또는 키포인트들의 다른 특성들 또는 키포인트들 주위의 패치들을 비교하는 것에 의해) 특징 매칭 (122) 을 수행하는데 사용된다. 기하학적 검증 또는 일관성 점검 (124) 이 그 다음에 정확한 특징 매치들을 확인하고 매치 결과들 (126) 을 제공하기 위해 키포인트 매치들에 수행된다. 이 방식으로 쿼리된 이미지가 타겟 이미지들의 데이터베이스와 비교될 수도 있거나 그리고/또는 타겟 이미지들의 데이터베이스로부터 식별될 수도 있다.
제 1 양태에 따르면, 이미지 스케일링 (114) 은 이미지 사이즈/해상도를 추정하기 위해 스케일 공간들에 걸쳐 있는 특징 밀도 또는 분포에 기초할 수도 있다. 상이한 스케일들의 키포인트 분포 내의 피크(들)가 우세한 이미지 스케일을 추적하고 오브젝트 사이즈를 대략적으로 추적하는데 사용된다. 상당한 퍼센트의 키포인트들이 스케일 공간 피라미드 (예컨대, 가우시안 스케일 공간 피라미드) 의 상위 스케일들에서 발견되거나 또는 스케일들에 걸쳐 균일하게 퍼져있다면, 이는 이미지가 고 해상도를 가짐을 나타낸다. 그렇지 않고, 키포인트들이 하위 스케일들에 집중된다면, 이는 이미지가 저 해상도를 가짐을 나타낸다. 이는 이러한 추정된 이미지 사이즈에 비례하는 커널 사이즈 반경 (R) 을 선택하는 것을 허용한다. 예를 들면, 대상 사이즈는 이러한 스케일 또는 더 작은 (하위) 스케일에서 검출된 일정한 임계 퍼센티지의 모든 키포인트들을 포함하는 최소 스케일 레벨에 의해 선택된다.
제 2 양태에 따르면, 특징 프루닝 (118) 은 처리될 및/또는 매칭될 필요가 있는 특징들의 수를 감소시키기 위해 수행될 수도 있다. 특징 매칭에 대해 모든 검출된 특징들을 사용하는 대신, 특징들 (즉, 키포인트들) 은 클러스터 밀도 및/또는 그것들이 검출되는 스케일에 기초하여 프루닝된다. 다시 말하면, 고-밀도 클러스터 내에 속하는 특징들은 특징 매칭의 목적에 있어 저 밀도 클러스터들 내에 속하는 특징들보다 바람직할 수도 있다.
제 3 양태에 따르면, 공간 제약식 특징 매칭 (120) 이 수행될 수도 있다. 쿼리 이미지에 대해 인라이어 대 아웃라이어 키포인트 비율들을 증가시키고 기하학적 일관성 점검을 감소시키거나 또는 회피하기 위하여, 쿼리 이미지와 타겟 이미지 사이의 키포인트 매치들은 키포인트 클러스터링에 기초할 수도 있다. 클러스터들은 근처의 키포인트들을 함께 그룹화하는 것에 의해 정의될 수도 있다. 그 다음, (높은 임계치를 갖는) 키포인트 매칭이 쿼리 이미지 및 하나 이상의 타겟 이미지들 간에 수행된다. 풀 매치 (임계치를 초과하는 매치) 가 발견된 키포인트들이 앵커 포인트들로서 간주된다. 쿼리 이미지 클러스터들 및 타겟 이미지 클러스터들이 매칭된 앵커 포인트들에 기초하여 매칭될 수도 있다. 부분 매치 (임계치 미만의 매치) 가 선택된 타겟 이미지 클러스터 내에서 (대응하는 앵커 포인트들에 의해) 이미 발견된 키포인트들 중의 임의의 키포인트들이 클러스터의 부분으로서 포함되는 이진 키포인트 매칭이 그 다음에 수행될 수도 있다. 매칭되지 않은 키포인트들 및/또는 잘못 매칭된 키포인트들이 이미지 인식 목적을 위해 쿼리 클러스터로부터 제외된다.
도 2는 예시적인 이미지 캡처 스테이지 (102) 를 도시한다. 여기서, 이미지 (108) 는 이미지 캡처 디바이스 (202) 에 의해 캡처될 수도 있으며, 이미지 캡처 디바이스는 하나 이상의 이미지 센서들 (204) 및/또는 아날로그-디지털 컨버터를 구비하여, 디지털 캡처된 이미지 (208) 를 획득할 수도 있다. 이미지 센서들 (204) (예컨대, 전하 결합 소자들 (CCD), 상보성 금속산화물 반도체 (CMOS)) 은 광을 전자들로 변환할 수도 있다. 전자들은 아날로그 신호를 형성할 수도 있으며 그러면 아날로그 신호는 아날로그-디지털 컨버터 (206) 에 의해 디지털 값들로 변환된다. 이런 방식으로, 이미지 (108) 는 이미지 I(x, y) 를, 예를 들어, 대응하는 컬러, 조도, 및/또는 다른 특성들을 갖는 복수의 화소들로서 정의할 수도 있는 디지털 포맷으로 캡처될 수도 있다.
도 3은 예시적인 이미지 처리 스테이지 (104) 에서의 스케일 공간 생성을 도시한다. 다수의 알고리즘들, 이를테면 스케일 불변 특징 변환 (Scale Invariant Feature Transform; SIFT) 이 이미지들에서의 특징 검출을 수행하기 위해 개발되었다. 이미지에서 특정 대상들의 검출을 위한 제 1 단계는 쿼리된 대상을 그것의 로컬 특징들에 기초하여 분류하는 것이다. 목표는, 예를 들어, 조명, 이미지 잡음, 회전, 스케일링, 및/또는 시점의 작은 변경들에 불변한 및/또는 강건한 특징들을 식별하고 선택하는 것이다. 다시 말하면, 쿼리 이미지 및 비교 타겟 이미지 사이의 매치들은 두 이미지들 사이의 조명, 이미지 잡음, 회전, 스케일, 및/또는 시점에서의 차이들에도 불구하고 발견될 것이다. 이를 행하는 하나의 방법은 이미지의 패치들에 대한 극값 검출 (예컨대, 로컬 최대치들 또는 최소치들) 의 검출을 수행하여, 매우 독특한 특징들 (예컨대, 이미지에 있는 독특한 포인트들, 화소들, 및/또는 영역들) 을 식별하는 것이다.
SIFT는 조명의 변경들들, 이미지 잡음, 회전, 스케일링, 및/또는 시점의 작은 변경들에 상당히 불변인 로컬 특징들을 검출하고 추출하는 하나의 접근법이다. SIFT를 위한 이미지 처리 스테이지 (104) 는 (a) 스케일 공간 극값 검출, (b) 키포인트 국소화 (localization), (c) 배향 할당, 및/또는 (d) 키포인트 서술자들의 생성을 포함한다. 무엇보다도, SURF (Speed Up Robust Features), GLOH (Gradient Location and Orientation Histogram), LESH (Local Energy based Shape Histogram), CHoG (Compressed Histogram of Gradients) 을 포함하는, 특징 검출 및 후속하는 특징 서술자 생성을 위한 대체 알고리즘들이, 또한 본 명세서에서 설명되는 특징들로부터 유리할 수도 있다는 것이 명백할 것이다.
스케일 공간 생성 (110) 에서, 디지털 이미지 I(x, y) (208; 도 2) 는 점차 흐려지거나 평활화되어 스케일 공간 피라미드 (302) 를 구성한다. 블러 (평활화) 는 일반적으로 스케일 cσ에서 원시 이미지 I(x, y) 를 블러/평활화 함수 G(x, y, cσ) 로 컨벌브 (convolution) 하여서 블러 (blurred) /평활화된 이미지 L(x, y, cσ) 가 L(x, y, cσ) = G(x, y, cσ)*I (x, y) 로서 정의되도록 하는 것을 수반한다. 여기서, 블러/평활화 함수 (G) 는 공간적 필터 커널 (예컨대, 무엇보다도, 가우시안 또는 가우시안의 라플라시안) 이며, cσ는 이미지 I(x, y) 를 블러링하는데 사용되는 블러/평활화 함수 (G) 의 표준 편차를 나타낸다. 승수 c가 변화되면 (c0 < c1 < c2 < c3 < c4), 표준 편차 (cσ) 가 가변하고 점진적 블러/평활화가 획득된다. 시그마 σ는 기본 스케일 변수 (본질적으로 가우시안 커널의 폭) 이다. 초기 이미지 I(x, y) 가 블러 이미지들 (L) 을 생성하도록 블러/평활화 함수 (G) 로 점차 컨벌브될 때, 블러 이미지들 (L) 은 스케일 공간에서 상수 팩터 (c) 에 의해 분리된다. 블러 (평활화된) 이미지들 (L) 의 수가 증가하고 스케일 공간 피라미드 (302) 를 위해 제공된 근사치가 연속 공간에 접근함에 따라, 2개의 스케일들 또한 하나의 스케일에 접근한다. 일 실시예에서, 컨벌브된 이미지들 (L) 은 옥타브마다 그룹화될 수 있으며, 옥타브는 표준 편차 (σ) 의 값의 2배에 해당할 수도 있다. 더구나, 승수들 (c) (예컨대, c0 < c1< c2< c3 < c4) 의 값들은, 고정된 수 (예컨대, 복수) 의 컨벌브된 이미지들 (L) 이 옥타브마다 획득되도록 선택될 수도 있다. 스케일링의 각각의 옥타브는 명백한 이미지 리사이징에 해당할 수도 있다. 그래서, 원시 이미지 I (x, y) 가 점진적 블러/평활화 함수 (G) 에 의해 블러/평활화된다면, 화소들의 수는 서서히 감소된다.
차동 스케일 공간 (예컨대, 가우시안 차이 (difference of Gaussian; DoG)) 피라미드 (304) 는 스케일 공간 피라미드 (302) 에서 임의의 두 개의 연속적인 블러 이미지들의 차이를 계산하는 것에 의해 구성될 수도 있다. 차동 스케일 공간 (304) 에서, D(x, y, a) = L(x, y, cnσ - L(x, y, cn -1σ) 이다. 차동 이미지 D (x, y, σ) 가 스케일들 (cnσ 및 cn -1σ) 에서의 2개의 인접하는 블러/평활화된 이미지들 (L) 사이의 차이이다. D(x, y, σ) 의 스케일은 대략 cnσ 및 cn-1σ 사이에 있다. 차동 이미지들 (D) 은 옥타브마다 인접한 블러 이미지들 (L) 로부터 획득될 수도 있다. 각각의 옥타브 뒤에, 이미지는 팩터 2에 의해 다운 샘플링될 수도 있고 그 다음 프로세스는 반복된다. 이 방식으로 이미지가, 병진 (translation), 회전, 스케일, 및/또는 다른 이미지 매개변수들 및/또는 왜곡들에 대해 강건하거나 또는 불변인 로컬 특징들로 변환될 수도 있다.
일단 생성되면, 쿼리된 이미지에 대한 차동 스케일 공간 (304) 은 관심있는 특징들을 식별 (예컨대, 이미지에서 매우 독특한 포인트들을 식별) 하기 위해 극값 검출에 사용될 수도 있다. 이들 매우 독특한 포인트들은 본 명세서에서는 키포인트들이라 칭한다. 이들 키포인트들은 각각의 키포인트 주위의 패치 또는 로컬 영역의 특성들에 의해 식별될 수도 있다. 서술자가 각각의 키포인트 및 그 대응하는 패치에 대해 생성될 수도 있으며, 쿼리 이미지 및 저장된 타겟 이미지들 사이의 키포인트들의 비교를 위해 사용될 수도 있다. "특징"은 서술자 (즉, 키포인트 및 그 대응하는 패치) 를 말할 수도 있다. 특징들 (즉, 키포인트들 및 대응하는 패치들) 의 그룹은 클러스터라고 칭할 수도 있다.
도 4는 예시적인 이미지 처리 스테이지 (104) 에서의 특징 검출을 도시한다. 특징 검출 (112) 에서, 차동 스케일 공간 (304) 은 이미지 I(x, y) 에 대해 키포인트들을 식별하는데 사용될 수도 있다. 특징 검출 (112) 은 이미지에 있는 특정 샘플 포인트 또는 화소 주위의 로컬 영역 또는 패치가 잠정적으로 관심있는 패치 (기하학적으로 말하면) 인지를 결정하려고 한다.
일반적으로, 차동 스케일 공간 (304) 에서의 로컬 최대치들 및/또는 로컬 최소치들이 식별되고 이들 최대치들 및 최소치들의 위치들은 차동 스케일 공간 (304) 에서의 키포인트 위치들로서 사용된다. 도 4에 도시된 예에서, 키포인트 (408) 가 패치 (406) 로 식별되어 있다. 로컬 최대치들 및 최소치들을 찾는 것 (로컬 극값 검출이라고도 알려짐) 은, 차동 스케일 공간 (304) 에서의 각각의 화소 (예컨대, 키포인트 (408) 를 위한 화소) 를, 동일한 스케일에서의 8개의 이웃하는 화소들, 및 키포인트 (408) 의 양 측에서 이웃하는 스케일들의 각각에서의 (인접 패치들 (410 및 412) 에 있는) 9개의 이웃하는 화소들과, 총 26개의 화소들 (9×2+8=26) 에 대해, 비교하는 것에 의해 달성될 수도 있다. 여기서, 패치들은 3×3 화소 영역들로서 정의된다. 키포인트 (408) 에 대한 화소 값이 패치들 (406, 410, 및 412) 에 있는 총 26 개의 비교되는 화소들 중의 최대 또는 최소이면, 그것이 키포인트로서 선택된다. 키포인트들은, 그 위치가 더 정확히 식별되도록 추가로 처리될 수도 있고 키포인트들 중의 일부, 이를테면 낮은 콘트라스트 키포인트들 및 에지 키포인트들이 삭제될 수 있다.
도 5는 예시적인 이미지 처리 스테이지 (104) 에서의 특징 서술자 추출을 도시한다. 일반적으로, 특징 (예컨대, 키포인트 및 그 대응하는 패치) 이 서술자에 의해 표현될 수도 있으며, 서술자는 타겟 이미지들의 데이터베이스에 저장된 특징들에 대한 (쿼리 이미지로부터의) 특징의 효율적인 비교를 허용한다. 특징 서술자 추출 (116) 의 일 실시예에서, 각각의 키포인트에는 로컬 이미지 경사도의 방향들에 기초하여, 하나 이상의 배향들, 또는 방향들이 할당될 수도 있다. 로컬 이미지 속성들에 기초하여 일관된 배향을 각각의 키포인트에 할당하는 것에 의해, 키포인트 서술자는 이 배향을 기준으로 표현될 수 있고 그러므로 이미지 회전에 대한 불변성을 달성한다. 크기 및 방향 계산들은 블러 이미지 (L) 내의 키포인트 (408) 주위의 이웃하는 영역에 있는 모든 화소에 대해 및/또는 키포인트 스케일에서 수행될 수도 있다. (x, y) 에 위치된 키포인트 (408) 에 대한 경사도의 크기는 m(x, y) 로서 표현될 수도 있고, (x, y) 에서의 키포인트에 대한 경사도의 배향 또는 방향은 Γ(x, y) 로서 표현될 수도 있다. 키포인트의 스케일은 키포인트 (408) 의 스케일에 가장 가까운 스케일로, 블러/평활화된 이미지 L 를 선택하는데 사용되어서, 모든 계산들이 스케일 불변 방식으로 수행되게 한다. 각각의 이미지 샘플 L(x, y) 에 대해, 이 스케일에서, 경사도 크기 m(x, y) 및 배향 Γ(x, y) 은 화소 차이들을 이용하여 계산된다. 예를 들어 크기 m(x, y) 는 다음과 같이 계산될 수도 있다:
Figure 112012052387451-pct00001
(수학식 1)
방향 또는 배향 Γ(x, y) 은 다음과 같이 계산될 수도 있다:
Figure 112012052387451-pct00002
(수학식 2)
여기서, L(x, y) 은 키포인트의 스케일인 스케일 σ에서의 블러 이미지 L(x, y, σ) 의 샘플이다.
키포인트 (408) 에 대한 경사도들은, 차동 스케일 공간에서 키포인트의 면보다 위에, 상위 스케일로 놓인 스케일 공간 피라미드의 면 또는 키포인트보다 아래에, 하위 스케일로 놓인 스케일 공간 피라미드의 면에 대해 일관적으로 계산될 수도 있다. 어떤 경우라도, 각각의 키포인트에 대해, 경사도들은 하나의 동일한 스케일로 키포인트 주위의 직사각형 영역 (예컨대, 패치) 에서 모두가 계산된다. 더구나, 이미지 신호의 주파수는 블러 이미지의 스케일에 반영된다. 아직, SIFT는 단순히 패치 (예컨대, 직사각형 영역) 의 모든 화소들에서 경사도 값들을 사용한다. 패치는 키포인트 주위에서 정의되며; 서브-블록들은 블록 내에서 정의되며; 샘플들은 서브-블록들 내에서 정의되고 이 구조는 키포인트들의 스케일들이 상이한 경우에도 모든 키포인트들에 대해 동일하게 유지된다. 그러므로, 이미지 신호의 주파수가 동일한 옥타브에서 블러/평활화 필터들의 연속하는 적용에 따라 변화하지만, 상이한 스케일들에서 식별되는 키포인트들은, 그 스케일에 의해 표현되는, 이미지 신호의 주파수에서의 변경과 무관하게 동일한 수의 샘플들로 샘플링될 수도 있다.
키포인트 배향의 특징을 나타내기 위하여, 경사도 배향들의 벡터가 키포인트 (408) 가까이에서 (SIFT로) (예컨대, 키포인트의 스케일에 가장 가까운 스케일에서 스케일 공간 이미지를 이용하는 것에 의해) 생성될 수도 있다. 그러나, 키포인트 배향은 또한, 예를 들어, 압축된 경사도들의 히스토그램 (CHoG) 을 이용하는 것에 의해 경사도 배향 히스토그램 (도 5 참조) 에 의해 표현될 수도 있다. 각각의 이웃 화소의 기여도는 경사도 크기 및 가우시안 윈도에 의해 가중될 수도 있다. 히스토그램에서의 피크들은 우세한 배향들에 대응한다. 키포인트의 모든 속성들은 키포인트 배향에 대하여 측정될 수도 있고, 이는 회전에 대한 불변성을 제공한다.
일 실시예에서, 가우시안 가중된 경사도들의 분포는 각각의 블록에 대해 계산될 수도 있으며, 여기서 각각의 블록은 총 4개의 서브-블록들에 대해 2개의 서브-블록들 × 2개의 서브-블록들이다. 가우시안 가중된 경사도들의 분포를 계산하기 위하여, 여러 빈들 (bins) 을 갖는 배향 히스토그램이 키포인트 주위의 영역의 부분을 커버하는 각각의 빈으로 형성된다. 예를 들어, 배향 히스토그램은, 각각의 빈이 배향들의 360도 범위 중의 10도를 커버하는 36개의 빈들을 가질 수도 있다. 다르게는, 이 히스토그램은, 각각이 360도 범위 중의 45도를 커버하는 8개의 빈들을 가질 수도 있다. 본 명세서에서 설명되는 히스토그램 코딩 기법들은 임의의 수의 빈들의 히스토그램들에 적용가능할 수도 있다는 것이 명백할 것이다. 다른 기법들이 또한 궁극적으로 히스토그램을 생성하는데 사용될 수도 있다는 것에 유의한다.
경사도 분포들 및 배향 히스토그램들은 다양한 방법들로 획득될 수도 있다. 예를 들어, 2차원 경사도 분포 (dx, dy) (예컨대, 블록 (506)) 가 1차원 분포 (예컨대, 히스토그램 (514)) 로 컨버된다. 키포인트 (408) 는 키포인트 (408) 를 둘러싸는 패치 (506) (셀 또는 영역이라고도 불리움) 의 중심에 위치된다. 피라미드의 각각의 레벨에 대해 미리 계산되는 경사도들은 각각의 샘플 위치 (508) 에서 작은 화살표들로서 도시된다. 도시된 바와 같이, 샘플들 (508) 의 4×4개의 영역들이 서브블록 (510) 을 형성하고 서브-블록들의 2×2개의 영역들이 블록 (506) 을 형성한다. 블록 (506) 은 또한 서술자 윈도라고 칭할 수도 있다. 가우시안 가중 함수는 원 (502) 으로 도시되고 각각의 샘플 포인트 (408) 의 크기에 가중치를 할당하는데 사용된다. 원형 윈도 (502) 내의 가중치는 부드럽게 감소한다. 가우시안 윈도 (502) 의 목적은 윈도의 위치에서의 작은 변경들로 서술자에서의 급격한 변경들을 회피하는 것과 서술자의 중심으로부터 멀리 있는 경사도들에 대해 적은 강조점을 주는 것이다. 배향 히스토그램들의 2×2=4 어레이 (512) 가 히스토그램의 각각의 빈에 8개의 배향들을 갖는 2×2개의 서브-블록들로부터 획득되어 결과적으로 (2×2)×8=32 차원의 특징 서술자 벡터를 발생한다. 예를 들어, 배향 히스토그램들 (513 및 515) 은 서브-블록 (510) 에 대한 경사도 분포에 대응할 수도 있다. 그러나, 각각의 히스토그램에 8개의 배향들을 갖는 히스토그램들 (8-빈 히스토그램들) 의 4×4 어레이를 이용하면, 결과적으로 각각의 키포인트에 대해 (4×4)×8=128 차원 특징 서술자 벡터가 발생하고, 이는 양호한 결과를 산출할 수도 있다. 다른 유형들의 양자화 빈 콘스텔레이션들 (constellations) (예컨대, 상이한 보로노이 (Voronoi) 셀 구조들을 가짐) 또한 경사도 분포들을 획득하는데 사용될 수도 있다는 것에 유의한다.
여기서 사용되는 바와 같이, 히스토그램은 빈들로서 알려진 갖가지 비공통원소 (disjoint) 카테고리들에 속하는 관측들, 샘플들, 또는 출현들 (occurrences) (예컨대, 경사도들) 의 수를 카운트하는 매핑 ki 이다. 히스토그램의 그래프는 히스토그램을 나타내는 단지 하나의 방법이다. 그래서, k가 관측들, 샘플들, 또는 출현들의 총 수이고 m이 빈들의 총 수이면, 히스토그램에서의 빈도들 (ki) 은 다음 조건을 만족한다:
Figure 112012052387451-pct00003
(수학식 3)
여기서
Figure 112012052387451-pct00004
는 합산 연산자이다.
서브-블록들로부터의 히스토그램들은 키포인트에 대해 특징 서술자 벡터를 획득하기 위해 연쇄 (concatenation) 될 수도 있다. 16개 서브-블록들로부터의 8-빈 히스토그램들의 경사도들이 사용된다면, 128 차원 특징 서술자 벡터가 발생할 수도 있다.
이런 방식으로, 서술자가 식별된 각각의 키포인트에 대해 획득될 수도 있으며, 이러한 서술자는 위치 (x, y), 배향, 및 가우시안 가중된 경사도들의 분포들의 서술자에 의해 특징지어질 수도 있다. 이미지가 하나 이상의 키포인트 서술자들 (이미지 서술자들이라고도 칭함) 에 의해 특징지어질 수도 있다. 덧붙여, 서술자는 위치 정보 (예컨대, 키포인트에 대한 좌표들), 스케일 (예컨대, 키포인트가 검출된 가우시안 스케일), 및 클러스터 식별자와 같은 다른 정보 등을 포함할 수도 있다.
도 6은 예시적인 이미지 비교 스테이지 (106) 에서의 특징 매칭을 도시한다. 일단 서술자들이 쿼리 이미지에서 식별된 키포인트들에 대해 획득된다면, 쿼리된 이미지 (108) 에 있는 키포인트가 특징 매칭 (122) 을 수행하도록 타겟 이미지들 (602, 604, 606, 및/또는 608) 에 있는 포인트들과 비교 및/또는 매칭될 수 있다. 예를 들면, 쿼리된 이미지에 있는 키포인트에 대한 서술자는 하나 이상의 매치들을 찾기 위해 타겟 이미지들의 데이터베이스에 저장된 하나 이상의 서술자들 (타겟 이미지들의 데이터베이스에 있는 키포인트들에 대응함) 과 비교될 수도 있다. 서술자 매칭은, 가장 가까운 또는 가장 근접한 매치를 결정하기 위해 쿼리 서술자가 데이터베이스에 있는 후보 서술자들의 라이브러리와 비교되는, 가장 가까운 이웃의 탐색을 수반할 수도 있다. 여러 선행 기술의 접근법들에서, 데이터베이스에 있는 후보 서술자들에 쿼리 서술자들을 매칭시키는 것은 거짓 긍정들을 회피하기 위해 하나 이상의 임계치들을 셋팅하는 것을 수반할 수도 있다. 예를 들면, 2개의 서술자들 사이의 거리 L2가 가장 가까운 이웃 매치를 검증하는데 사용될 수도 있다 (즉, 최단 거리가 매치로서 선택된다). 이 매칭 기법은 이미지에서 구조들을 반복하는 서술자들에 민감하다. 그러므로, 쿼리 서술자에 대해 제 1 매치 및 가장 가까운 제 2 매치 사이의 거리 비율 (d1/d2) 은 비고유 특징 (예컨대, 반복 구조들) 을 필터링으로 제거하는데 사용될 수도 있다. 이런 방식으로, 쿼리 이미지에 있는 키포인트들은 타겟 이미지에 있는 키포인트들과 매칭된다. 그러나, 부가되는 거리 비율 테스트의 경우에도 단지 잠정적인 매치들을 거부하는 것에 민감한데, 특징이 이미지에서 반복되고 복수의 키포인트들이 서로 공간적으로 매우 근접하게 위치되어 잘못 매칭하기 때문이다.
덧붙여, 자세 또는 조명의 변화들 또는 다른 팩터들 (예컨대, 환경 조건들 등) 때문에, 특징 매칭 (예컨대, 가장 가까운 이웃 탐색) 은 오류가 날 수 있는데, 서술자들 자신들이 상당히 변할 수도 있어서이다. 결과적으로, 이러한 특징 매칭은 과도한 잘못된 매치들 (거짓 긍정들이라고 칭함) 을 갖는 문제들이 있다고 알려져 있다. 부분 특징 매칭 (파선들로 보임) 이 쿼리된 이미지 (108) 에 있는 대상 (600) 에 대해 여기서 도시되는데, 대상 (600) 에 대한 키포인트들은 복수의 상이한 타겟 이미지들 (602, 604, 606, 및/또는 608) 상의 복수의 키포인트들에 매칭되어 있다. 일부 키포인트들은 맞지 않는 이미지들 (602 및 608) 에 매칭되어 있다. 이들 동일한 키포인트들 및 다른 키포인트들의 일부는 정확한 이미지 (604) 에 대해 매칭되어 있을 수도 있다. 정확한 이미지 (604) 에 매칭되는 경우에도, 쿼리된 이미지에 있는 일부 키포인트들은 (부정확한 매치 (610) 처럼) 정확한 이미지 (604) 의 부정확한 포인트들 (즉, 위치들) 에 매칭될 수도 있다. 예를 들면, 대상 (600) 에 대한 키포인트를 위한 서술자가 정확한 이미지 (604) 를 위한 서술자에 부정확하게 매칭될 수도 있다. 이런 이유로, 기하학적 일관성 점검 (124) 이 후처리 단계로서 수행된다.
기하학적 일관성 점검 (124) (기하학적 검증이라고도 칭함) 은 (특징 매칭 단계에서의) 매칭된 키포인트들 중의 어느 것이 실제로 정확한 매치인지를 확인 또는 검증하기 위해 수행된다. 이 기하학적 검증은 종종 데이터 피팅 (fitting) 모델들을 쿼리된 이미지로부터의 복수의 키포인트들에 적용한다. 예를 들어, 랜덤 샘플 컨센서스 (RANdom SAmple Consensus; RANSAC) 는 오염된 데이터를 위한 데이터 피팅 모델이고 모델 매개변수들을 추정하기 위해 데이터로부터 포인트들의 세트를 랜덤하게 샘플링하는 것으로 동작하고 맞는 것을 결정하기 위해 모든 데이터에 대해 검증한다. 이는 정확한 매치를 검증하는 반복 프로세스이다.
기하학적 검증은 대상 인식의 파이프라인에서 주요한 계산의 장애 요인이다. 키포인트 매치들의 성공적인 검증은 "인라이어들"이라 칭하고 키포인트 매치들의 성공적인 검증은 "아웃라이어들"이라 칭한다. 인라이어 매치들은 이미지에 있는 대상의 위치 및/또는 자세에 대한 해결을 허용한다. 일단 아웃라이어들보다 많은 수의 인라이어들이 식별되면, 데이터 피팅 모델 (예컨대, RANSAC) 이 기하학적 검증 기법들을 이행하도록 선택되고 사용될 수 있다. 아웃라이어 거부에서 고 정밀도를 추구하지만 인라이어들을 감소시키지 않는 것 (하이 리콜) 은 특징 매칭을 개선하지만 또한 대상 인식 프로세스를 느리게 하는 경향이 있다. 이는, 모든 가능한 인라이어 매치들을 받아들이는 것을 추구하는 프로세스에서, 데이터 (쿼리 이미지로부터의 키포인트들) 는 잘못된 매치들 (아웃라이어들) 에 이르게 하는 많은 키포인트들을 받아들이는 것에 의해 고도로 오염되었기 때문이다. 더 많은 아웃라이어들이 포함될수록 데이터 피팅 모델들 (예컨대, RANSAC) 은 기하급수적으로 느려지는 경향이 있다. 반대로, 특징 매칭 단계에서 더욱 선택적이게 되는 것 (예컨대, "매치"로 간주되는 것에 대한 임계치를 증가시키는 것) 에 의해, 아웃라이어 매치들이 감소될 뿐 아니라 인라이어 매치들 또한 감소된다. 더 빠른 수렴을 위해 충분한 인라이어들을 얻는 반면 아웃라이어들을 감소시키는 절충형 임계치를 찾기 위하여 갖가지 데이터세트들에 대한 기하학적 검증 단계는 보통은 가능하지 않다. 이미 언급된 바와 같이, 기존의 접근법들 (예컨대, 가장 가까운 이웃 L2 거리 및/또는 가장 가까운 이웃/제 2 가장 가까운 이웃의 비율 d1/d2) 은, 공간적으로 반복하는 특징들을 가지거나 또는 일정한 특징들이 긴밀한 공간적 클러스터들에서 나타날 때 (오버래핑 패치들에 대한 서술자들을 구축하는 결과로 이어짐) 의 대상들에 대해 알려진 문제들을 겪고 있다. 다시 말하면, 공간적으로 반복하는 특징들은 종종 부정확한 키포인트 매치들로 이어진다.
앵커 포인트들, 클러스터링, 이진 키포인트 매칭을 이용하는 것에 의한 기하학적 검증의 성능 개선
기하학적 검증은 거짓 긍정의 키포인트 매치들 (즉, 아웃라이어들) 을 제외하기 위해 후처리 단계로서 채용된다. 기하학적 검증 (일관성 점검이라고도 칭함) 을 수행함에 있어서, 쿼리 및 후보 타겟 이미지 사이의 최선의 가설적 변환이 추정되며, 이 변환과는 일치하지 않는 키포인트 매치들이 거짓 긍정들 (즉, 아웃라이어들) 로서 제거된다. 그러나, 기하학적 검증은 계산상 돈이 많이 든다.
기하학적 검증을 없애거나 또는 기하학적 검증의 수렴 레이트를 개선하는 하나의 접근법에 따르면, 특징 매칭 프로세스와는 병행하여 키포인트 매치들에 대한 제약조건들을 부과하는 것을 포함한다. 다시 말하면, 특징 매칭 후에 기하학적 검증을 적용하기보다는, 특징 매칭 단계 자체 동안에 거짓 긍정 매치들이 감소되며, 방지되며, 그리고/또는 제거될 수도 있다. 이 접근법은 인라이어 대 아웃라이어 비율을 증가시켜서 기하학적 검증 기법들의 수렴 레이트는 느려지지 않도록 한다.
이미지에 있는 키포인트들은 종종 그룹들 또는 클러스터들에서 발생한다는 것이 관측되고 있다. 그래서, 쿼리된 이미지에는 키포인트들의 정상적인 클러스터들 (즉, 로컬 그룹) 이 존재할 것이다. 도 7은 쿼리된 이미지 내의 키포인트 클러스터들을 도시한다. 이 예에서, 4개의 키포인트 클러스터들 (704, 706, 708, 및 710) 이 식별되어 있는데, 이들 클러스터들의 각각은 쿼리된 이미지 (108) 의 영역 (702) 에 대해 복수의 키포인트들을 구비한다. 각각의 클러스터가 대략 동일한 키포인트 자세 또는 기하구조 (geometry) 를 가진다 (예컨대, 모든 키포인트들의 스케일 및 배향이 대략 동일하다) 고 또한 관측되고 있다. 다른 관측은 일부 클러스터들이 다른 것들에 비하여 높은 인라이어들의 카운트들을 가질 것이라는 점이다. 덧붙여, 클러스터들은 시점들 (예컨대, 타겟 이미지와 비교할 때 쿼리 이미지에 대한 화각 (angle of view)) 에 걸쳐 보통 보존되지만 사이즈 및 형상은 가변할 수도 있다.
하나의 특징에 따르면, 인라이어 대 아웃라이어 비율들은, 식별된 키포인트들을 클러스터들로 그룹화하며, 이 키포인트들로부터 앵커 포인트들을 선택하고, 타겟 이미지들과의 앵커 포인트 대응을 확립하는 것에 의해 증가될 수 있고, 클러스터들 내의 키포인트 매치들에 대해 이진 결정을 강요할 수 있다.
도 8 (도 8a 및 8b를 포함) 은 인라이어 대 아웃라이어 비율이 키포인트 클러스터들을 이용하는 것에 의해 개선될 수도 있는 방법을 도시한다.
클러스터들의 식별 (802): 일단 복수의 키포인트들이 이미지에 대해 식별되면, 하나 이상의 키포인트 클러스터들 (704, 706, 708, 및 710) 이 그 이미지의 영역 (702) 내에서 식별될 수도 있다. 로컬 키포인트 클러스터들은, 예를 들어, 비 매개변수적 (non-parametric) 밀도 추정 프로세스인 평균 이동 (mean shift) 분석을 이용하여, 쿼리 이미지 및 타겟 이미지(들)에 대해 추정될 수도 있다. 이는 쿼리 이미지에 대해서는 온더플라이로 (on-the-fly) 그리고 타겟 이미지들에 대해서는 오프라인으로 행하여질 수도 있다. 식별된 키포인트들을 가지고서, 클러스터들은 밀도 분석에 기초하여 키포인트들 주위에 구축되지만, 이미지들의 각각의 화소의 주위에는 구축되지 않는다.
앵커 포인트 대응 확립 (804): 각각의 클러스터 내에서, 하나 이상의 키포인트들 (이지만 반드시 클러스터에 있는 모든 키포인트들은 아님) 은 앵커 포인트들 (805) 로서 선택될 수도 있다. 앵커 포인트들은 클러스터들 (704, 706, 708, 및 710) 에 있는 키포인트들로부터 상이한 스케일 공간들에 걸친 키포인트들의 강건성 또는 인식에 기초하여 선택된다. 다시 말하면, 복수의 스케일들에 걸쳐 검출가능한 키포인트들은 앵커 포인트들 (806) 로서 검출될 수도 있다. 앵커 포인트들의 식별은 클러스터에 있는 각각의 키포인트를 데이터베이스에 있는 하나 이상의 타겟 이미지들로부터의 키포인트들과 반복적으로 비교하는 것에 의해 식별될 수도 있다. 다시 말하면, 이러한 키포인트들에 관련된 서술자들은 매치가 있는지를 결정하기 위해 비교될 수도 있다. 강한 매치들 (예컨대, 소정의 높은 임계치를 초과하며 그리고/또는 고 스케일 공간에서 발생함) 이 발견되는 키포인트들은, 앵커 포인트들로서 간주될 수도 있다. 앵커 포인트 매치 또는 "대응"이 일어나는지의 결정은, 서술자 거리 임계치 및/또는 키포인트가 인식되는 스케일 공간의 레벨에 기초할 수도 있다. 그런고로, 앵커 포인트들은 쿼리 이미지 및 타겟 이미지 사이에 높은 대응도를 가진다. 앵커 포인트 매치들은 또한 일부 클러스터들이 더 신뢰성이 있고 (변형에 대해 강건하고) 다른 클러스터들보다 더 많은 인라이어들을 가진다는 것을 고려할 수도 있다. 이 예에서, 쿼리 클러스터들 (704, 706, 708, 및 710) 에 있는 앵커 포인트들은 제 1 타겟 이미지 (812) 에 있는 앵커 포인트들과 매칭되어 있다.
앵커 포인트들을 확립하는 이 프로세스 동안, 쿼리 클러스터에서의 키포인트들은 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되도록 시도된다. 쿼리 클러스터에 있는 일부 키포인트들은 발견될 매치에 대해 타겟 이미지에 있는 키포인트들에 충분히 가까이 있을 것이다. 예를 들면, 쿼리 클러스터에 있는 쿼리 키포인트가 타겟 클러스터에 있는 대응하는 키포인트를 가질 수도 있다고 하더라도, 그들 키포인트들은 발견된 "매치"에 대해 (예컨대, 거리상) 충분히 가깝지 않을 수도 있다. 그러나, 이들 시도된/실패한 키포인트 매치들에 관한 정보는 뒤이은 사용을 위해 (즉, 이진 키포인트 결정들 (808) 을 수행하기 위해) 저장될 수도 있다. 이러한 정보는, 예를 들어, 타겟 클러스터에 대응하는 키포인트가 있는지의 여부를 포함할 수도 있다.
이진 키포인트 결정들 (808): 앵커 포인트 대응이 확립된 각각의 클러스터에 대해, 이진 결정이 클러스터 (704, 706, 708, 및 710) 에 있는 부가적인 키포인트들에 대해 행하여질 수도 있다. 이 이진 결정은 단지 쿼리 이미지에 대한 클러스터에서의 키포인트가 대응하는 타겟 이미지에서 매치를 가지는지를 결정한다. 쿼리 클러스터에 있는 모든 키포인트들을 타킷 이미지들에 있는 하나 이상의 키포인트들에 매칭하는 시도가 앵커 포인트들을 학립하기 위해 이미 일어났기 때문에, 이 키포인트 매칭 프로세스는 반복될 필요가 없다. 대신에, 이전 매치 시도로부터의 정보는 이 이진 키포인트 매칭 결정에서 사용될 수도 있다. 대응하는 키포인트가 타겟 이미지에서 발견되었고 이러한 키포인트가 쿼리 클러스터에 대한 앵커 포인트들처럼 동일한 대응하는 클러스트 내에 있는 한, 이진법적 매치는 발견된다. 예를 들어, 클러스터 (708) 는 타겟 이미지 (812) 에 있는 클러스터 (816) 에 (그들 클러스터들의 앵커 포인트(들)를 통하여) 매칭되었을 수도 있다. 그러므로, 쿼리 클러스터에서의 키포인트들 (708) 은 그것들이 대응하는 타겟 클러스터 (816) 에 대응하는 키포인트를 가진다면 자동으로 "매칭된"다. 이는 매우 높은 인라이어들/아웃라이어들 비율에 이르게 하여 로컬 클러스터들 내에서 매치들의 밀도가 더 높다. 이 이진 키포인트 매치들을 수행하기 위한 모든 정보는 앵커 포인트들을 확립할 때 이미 획득되었고, 그래서 부가적인 키포인트 비교들이 필요하지 않음에 유의한다.
도 9는 도 8의 방법에 따른, 쿼리 클러스터 및 타겟 클러스터 사이의 키포인트 매칭의 일 예를 도시한다. 쿼리 클러스터에서 앵커 포인트들을 확인하기 위하여, 쿼리 클러스터 (708) 에 있는 각각의 키포인트는 (예컨대, 그 대응하는 서술자를 이용하여) 데이터베이스로부터의 하나 이상의 타겟 이미지들에서의 키포인트들과 비교될 수도 있다. 강한 매치들 (예컨대, 높은 임계치에 부합하는 그런 키포인트 매치들) 이 앵커 포인트들로서 선택된다. 이 예에서, 키포인트들 (QAP-1 및 QAP-2) 은 쿼리 클러스터 (708) 에 대한 앵커 포인트들로서 식별되어 있다. 쿼리 클러스터 (708) 에 있는 앵커 포인트들이 하나를 초과하는 타겟 클러스터와 관련된다면, 최고 수의 대응하는 앵커 포인트들을 갖는 타겟 클러스터가 대응하는 클러스터로서 선택됨에 유의한다. 여기서, 타겟 클러스터 (816) 가 쿼리 클러스터 (708) 에 대한 대응하는 클러스터인 것으로 발견되어 있다. (쿼리 클러스터 (708) 및 타겟 클러스터 (816) 사이에) 식별된 클러스터 대응을 가지고서, 이진 키포인트 매칭이 쿼리 클러스터 (708) 에 있는 나머지 키포인트들에 대해 수행될 수도 있다. 여기서, 쿼리 키포인트들 (QKP-1, QKP-2, QKP-3, 및 QKP-4) 은 앵커 포인트들로서는 이미 거부되었을 수도 있는데, 그들 쿼리 키포인트들이 타겟 클러스터에 있는 대응하는 키포인트들을 가짐에도 불구하고 이 대응은 앵커 포인트 매치에 대한 높은 임계치에 부합하지 않기 때문이다. 이 대응 프로세스는 이들 쿼리 키포인트들의 일부가 대응하는 키포인트들 및 이들 대응하는 키포인트들을 위한 타겟 클러스터를 가진다는 것을 식별하므로, 이 정보는 이진 키포인트 매칭을 수행하는데 사용될 수도 있다. 쿼리 키포인트가 앵커 포인트 매치들에 기초하여 선택된 동일한 타겟 클러스터에 있는 대응하는 키포인트를 가졌다면, 모든 그런 키포인트들은 이미지 인식 목적들을 위해 쿼리 클러스터의 부분으로서 포함된다. 여기서, 쿼리 키포인트들 (QKP-1, QKP-2, QKP-3, 및 QKP-4) 은 타겟 클러스터 (816) 에 있는 대응하는 키포인트들 (KP-j, KP-c, KP-d, 및 KP-h) 에 각각 관련되어 있다. 키포인트 QKP-5는 매칭되지 않는데, 이는 그것이 다른 타겟 클러스터에서의 키포인트와 부정확하게 매칭 또는 관련되어 있거나 또는 키포인트 매치가 그 키포인트에 대해 발견되지 않았다는 것을 의미한다는 것에 유의한다.
공간적 제약조건들이 확립되어 (즉, 클러스터가 정의되어) 있으므로, 아웃라이어 매치들은 통상 발생하지 않는다. 다시 말하면, 키포인트는 단순히 타겟 이미지에 있는 다른 키포인트들에 매칭되는 것이 아니며, 대응하는 클러스터 내의 키포인트들에 (앵커 포인트 매치들에 의해 식별된 바와 같이) 매칭된다. 덧붙여, 이것이 이진 결정 (앵커 포인트 매칭에서처럼 임계/확률론적 결정이 아님) 이므로, 공간적으로 반복하는 구조들이 있는 경우에도 모든 가능한 인라이어들은 인정된다.
클러스터링을 이용한 예시적인 키포인트 매칭
도 10은 클러스터링을 이용하여 키포인트 매칭을 수행하기 위한 방법을 도시하는 흐름도이다. 처음에, 타겟 이미지들은 참조 이미지들의 데이터베이스를 구축하기 위하여 오프라인으로 처리될 수도 있다. 예를 들면, 키포인트들은 하나 이상의 타겟 이미지들에서 식별될 수도 있다 (1002). 키포인트들의 클러스터들은 타겟 이미지들의 각각의 타겟 이미지에 대해 식별 또는 정의될 수도 있다 (1004). 마찬가지로, 쿼리된 이미지의 실시간 처리의 경우, 키포인트들이 식별되고 (1008), 키포인트들의 클러스터들이 식별된다 (1010). 이 명세서에서 설명되는 클러스터링 프로세스는 이미지에 있는 모든 화소를 클러스트링에 기초하지 않고 키포인트들로서 분류된 그런 화소들에만 기초한다는 것에 유의한다.
계산 복잡도는 전체 키포인트들의 서브세트만 (즉, 앵커 포인트들만) 을 고려하여 초기 클러스터링을 채용함으로써 더욱 감소된다. 하나 이상의 앵커 포인트들은 쿼리 이미지 및 타겟 이미지들로부터의 키포인트들을 비교하는 것에 의해 쿼리 이미지에서의 각각의 클러스터에 대해 식별될 수도 있다 (1012). 예를 들면, 하나 이상의 앵커 포인트들은 쿼리 이미지에 있는 키포인트 및 타겟 이미지들에서의 키포인트 사이의 높은 대응 임계치에 기초하여 선택될 수도 있다. 이 앵커 포인트 선택 프로세스는 쿼리 이미지에 있는 각각의 키포인트를 위한 서술자를 타겟 이미지들에서의 키포인트들을 위한 서술자들과 비교하는 것에 의해 행하여질 수도 있다.
다음으로, 클러스터 매칭이 앵커 포인트 대응에 기초하여 쿼리 이미지와 타겟 이미지들 간에 수행될 수도 있다 (1014). 다시 말하면, 쿼리 클러스터에서 매칭된 앵커 포인트들에 기초하여, 대응하는 클러스터가 타겟 이미지들에서 선택된다. 예를 들면, 타겟 이미지들에 있는 대응하는 클러스터는 가장 많은 수의 앵커 포인트들이 쿼리 이미지의 클러스터로부터 매칭된 클러스터일 수도 있다. 그 다음, 이진 키포인트 매칭이 쿼리 이미지에 대해 클러스터별로 수행될 수도 있다 (1016). 다시 말하면, 이미 수행된 키포인트 비교들을 가지고, 타겟 이미지에 대해 클러스터에 있는 가장 가까운 대응하는 키포인트에 관한 정보가 획득될 수도 있다. 타겟 클러스터 내에 부분 매치 (즉, 높은 임계치 미만의 매치) 를 가졌던 키포인트들이 쿼리 클러스터에서 유지된다. 매칭되지 않은 키포인트들 및/또는 잘못 매칭된 키포인트들은 쿼리 클러스터로부터 제외된다.
클러스터들을 식별하는 단계들 (1004/1010) (이를테면 도 8의 802) 이 다수의 방법들로 수행될 수도 있다. 복수의 키포인트들이 주어지면, 이들 키포인트들의 클러스터들은 비-매개변수적으로 (즉 이전 수의 클러스터들에 대한 제약조건들 없이) 획득될 수도 있다. 클러스터링에 대한 매개변수는 공간적 근접도일 수도 있다. 근접도 스케일은 클러스터링을 위해 사용되는 커널 사이즈에 의해 설정될 수도 있다. 클러스터링에 대한 공간적 근접도에 더하여 컬러 및 텍스처 또한 사용될 수도 있다. 클러스터링의 일 실시예에서, n개의 키포인트들이 비-매개변수적 커널 밀도 추정자를 사용하여 개별 클러스터들 또는 그룹들로 그룹화될 수도 있다. xi ε R2 이 i번째 키포인트에 대한 좌표인 키포인트들의 세트 {xl,...xn}의 경우, 이 세트에 대한 비-매개변수적 커널 밀도 추정자는 다음과 같이 정의될 수도 있다:
Figure 112012052387451-pct00005
(수학식 4)
여기서 kh (x, xi) 는 대역폭 h를 갖는 커널이다. 대역폭은 밀도의 해상도를 지정하고 그래서 x 주위의 로컬 밀도 추정치에 영향을 주는 이웃 포인트들을 지정한다. 예를 들면, 가우시안 커널에 대해 대역폭 h는 표준 편차에 해당하며
Figure 112012052387451-pct00006
(수학식 5)
여기서 ch는 정규화 상수이고, g (x, xi) 는 비정규화된 가우시안 커널이다. 커널이 볼록형이고 단조롭게 증가한다면, 평균 이동 알고리즘은 로컬 최대치들로 수렴하는 것이 보장된다. 이것은 밀도 함수의 경사도 상승 방향과 비례하는 평균 이동 이후에 반복적으로 행하여질 수도 있다. 가우시안 커널의 경우, 평균 이동은 다음에 의해 주어질 수도 있다:
Figure 112012052387451-pct00007
(수학식 6)
여기서 yj + 1는 추정된 밀도 함수 하에서 yj로부터 이동된 위치이다. 이 이동이 현재 위치의 확률에 역으로 가중되기 때문에, 그것은 로컬 최대치들에 빠르게 수렴한다. 동일한 로컬 최대치들로 수렴하는 모든 키포인트들은 클러스터로 간주된다.
쿼리 이미지 IQ가 주어지면, 스케일 불변 특징들 (키포인트들이라 칭함) 의 세트 F(IQj) = {(xQj, yQj, sQJ)} 는, 스케일 불변 특징들이 좌표들 (xQJ,yQJ) 에 중심을 두도록 스케일 SQJ로 추출될 수도 있다. 공간적 클러스터들의 세트 KQk, k={1..nc}이 정의되는데, nc는 F (IQj) 에 대해 반경 K의 원형 커널로 평균 이동 클러스터링을 채용하는 것에 의해 획득된 클러스터들의 수이다. 그래서, (키포인트들의) 공간적 클러스터들의 세트 다음과 같이 정의될 수도 있다:
Figure 112012052387451-pct00008
(수학식 7)
여기서 cl(K) 는 커널 K를 사용하는 클러스터링을 나타낸다.
오프라인 훈련 단계에서, 데이터베이스 이미지들 (IT) 은 복수의 상이한 커널 사이즈들로도 키포인트 클러스터들을 획득하도록 유사하게 처리될 수도 있다. 특징 (키포인트) 세트는 여기서 F(ITj) 로서 정의된다. 전체 클러스터 세트는 KTI로서 정의되는데, 아래첨자 "I"는 전체 클러스터 세트 KT에서의 클러스터의 인덱스를 나타낸다. 쿼리 이미지 (IQ) 에 대한 커널 사이즈 및 데이터베이스 이미지들 (IT) 에 대한 커널 세트 (즉, 복수의 커널 사이즈들) 를 선택하는 이면의 이유는, 데이터베이스 이미지들 (IT) 이 복수의 상이한 스케일들로 샘플링되어, 상이한 이미지 스케일들에서 특징 매칭을 허용한다는 것이다.
쿼리 이미지 (IQ) 에 있는 각각의 클러스터 (k, KQk) 의 경우, 포인트 대응 세트 (C) 는 연속하는 이미지 패치들 사이의 거리 비율 (또는 거리 L2) 임계치를 이용하는 것에 의해 획득될 수도 있다. 이 대응 세트 (C) 는 초기 앵커 포인트 세트 (즉, 앵커 포인트들의 세트) 이다. 키포인트들 (앵커 포인트들을 포함) 이 서술자들에 의해 표현됨을 상기한다. 예를 들어, 쿼리 이미지 (IQ) 에 있는 특징들 (예컨대, 키포인트들 및/또는 이웃하는 포인트들) F(IQj) 는 서술자들 D(IQ) 에 의해 표현될 수도 있다. 마찬가지로, 데이터베이스 이미지들 (ITj) 에 있는 특징들 (즉, 키포인트들) F(ITj) 는 서술자들 D(IT) 에 의해 표현될 수도 있다. 대응 세트 (C) 는 이미지들의 데이터베이스에 있는 클러스터들의 앵커 포인트들
Figure 112012052387451-pct00009
과 성공적으로 매칭되는 단일 쿼리 클러스터 (쿼리 이미지 (IQ) 용) 에 있는 그런 앵커 포인트들
Figure 112012052387451-pct00010
을 포함한다. 그래서 하나의 클러스터에 대한 앵커 포인트 대응 세트 (C) 는 다음과 같이 정의된다:
Figure 112012052387451-pct00011
(수학식 8)
여기서 연산자 ^는 논리곱 연산자이다 (즉, 앵커 포인트가 양쪽 모두의 서술자 그룹들에 있으면 참이고, 그렇지 않으면 거짓이다). 앵커 포인트 대응 세트 (C) 는 매우 적은 아웃라이어들을 가지거나 아웃라이어들을 가지지 않지만 매우 적은 인라이어들을 가진다. 이런 방식으로, 앵커 포인트들의 세트 (즉, 앵커 포인트 대응 세트 (C) 에 의해 정의됨) 가 하나의 클러스터에 대해 획득될 수도 있다.
도 11 (도 11a 및 11b를 포함) 은 앵커 포인트 매칭, 클러스터대응, 및 이진 키포인트 매칭의 일 예를 도시한다. 도 12는 도 11의 결과들을 더 상세히 열거 도시하는 테이블이다. 쿼리 클러스터 i (1001) 에 대한 복수의 키포인트들 (서술자들 D1-D9에 관련됨) 이, 앵커 포인트 매치들을 찾는 것을 시도할 때에 하나 이상의 타겟 이미지들에 대한 키포인트들과 비교된다. 앵커 포인트 매치들을 결정할 때에, 높은 임계치가 이용된다. 키포인트 매치들이 임계치를 만족하면 (즉, 키포인트 대응이 임계치와 동일하거나 그 임계치를 초과하면), 앵커 포인트 매치가 이루어진다 ("풀 매치"라 칭함). 그렇지 않고, 쿼리 키포인트가 매칭되지 않거나 또는 키포인트 대응이 임계치 미만이면 ("부분 매치"라 칭함), 앵커 포인트 매치는 이루어지지 않는다. 이 매칭 정보 (대응하는 타겟 이미지 클러스터(들)를 포함) 는 유지되거나, 세이브되거나, 또는 나중의 사용을 위해 저장된다. 이 예에서, 서술자들 (D2, D3, 및 D4) 에 관련된 키포인트들은 대응 임계치를 만족한다 (즉, 풀 매치들이다). D2는 클러스터들 (j+2 및 j+3) 에 있는 키포인트들과 매칭되어 있다. D3은 클러스터 j+2에 있는 키포인트와 매칭되어 있다. D4는 클러스터들 (j 및 j+2) 에 있는 키포인트들과 매칭되어 있다. 앵커 포인트들에 대한 풀 매치들의 가장 많은 수가 클러스터 (j+2) 를 가지기 때문에, 쿼리 클러스터 i (1101) 및 타겟 클러스터 j+2 (1106) 사이의 클러스터 대응이 확립된다. 그러므로, 앵커 포인트 대응 세트는 클러스터 i (1101) 에 대해 서술자들 (D2, D3 및 D4) 에 대응하는 앵커 포인트들을 포함할 수도 있다. 그 후에, 인라이어 키포인트 카운트들을 증가시키고 아웃라이어 키포인트 카운트들을 감소시키기 위하여, 부분 매치가 선택된 타겟 클러스터 j+2 (1106) 에서 발견된 다른 쿼리 키포인트들이 키포인트들로서 포함된다. 이는, 선택된 타겟 클러스터에 있는 부분 매치를 쿼리 키포인트가 가지는 한, 그 쿼리 키포인트가 쿼리 클러스터의 부분으로서 포함되는 이진 결정이다. 이 예에서, 서술자들 (D1, D5, D7, 및 D9) 에 관련된 쿼리 키포인트들은 쿼리 클러스터 i (1101) 를 위한 키포인트들이 된다. 모든 다른 키포인트들, 이를테면 서술자들 (D6 및 D8) 에 관련된 것들은, 이미지 매칭의 목적을 위해 삭제되거나 무시된다.
일 실시예에서, 앵커 포인트 매치 ("풀 매치") 가 거리 비율보다는 L2 거리에 기초할 수도 있다. 다시 말하면, L2 거리 (예컨대, 키포인트 매치에 대한 최대 에러 거리) 에 대한 임계치는, 모든 아웃라이어 매치들이 대부분의 (하지만 모두 다는 아님) 인라이어 매치들을 거부하는 비용으로도 거부되도록 선택된다.
매칭 프로세스는 스케일 공간 우선순위에 기초할 수도 있는데, 상위 스케일들에서 검출된 키포인트들은 하위 스케일들에서 검출된 키포인트들보다 바람직하거나 또는 선호된다. 여기서, 갖가지 키포인트들이 검출되는 상이한 스케일들을 보이는 스케일 공간 피라미드 (1110) 가 도시되어 있다. 스케일 공간 피라미드에서 상위 스케일들에서 검출되는 키포인트들은 하위 스케일들에서 검출된 키포인트들에 비하여 더 안정적이다는 것이 관측되어 있다. 이는 고 스케일 특징들 (즉, 스케일 공간 피라미드의 상위 옥타브들에서 검출된 특징들) 이 잡음 및 변형들에 대해 더 매끄럽고 더 강건하기 때문이다. 일 실시예에서, 스케일 공간 피라미드 (1110) 의 고 스케일 및/또는 중 (medium) 스케일 중의 어느 하나에 속하는 키포인트들만이 앵커 포인트로서 간주될 수도 있다.
그러므로, 일 실시예에서, 타겟 이미지에 있는 가장 가까운 이웃은, L2 거리가 임계치 Tc 미만이고 쿼리 키포인트가 기설정된 스케일 공간 우선순위를 만족하는 경우에만, 앵커 포인트로서 받아들여질 수도 있다 (예컨대, 쿼리 키포인트가 스케일 공간 피라미드의 최고 스케일(들)에서 발견된다). 이런 방식으로, 결과적인 매치들이 앵커 포인트 매치들로서 간주된다.
공간적으로 반복하는 특징들이 쿼리 이미지에 존재하는 경우에도, 앵커 포인트들 및 클러스터 대응에 의해 부과된 공간적 제약조건은, 부정확한 키포인트 매치들을 감소시켜서, 인라이어 대 아웃라이어 비율들을 개선하는 경향이 있다는 것에 유의한다.
서술자들의 반복성 및 서술 능력은 아핀 변경 및 시야각에 따라 악화된다. 그러므로, 키포인트/특징 매치들을 결정함에 있어서, 시야각 또한 고려될 수도 있다. 다시 말하면, 쿼리 이미지가 타겟 데이터베이스 이미지보다 크게 상이한 시야각을 가지는 경우, 매치들이 잘못되거나 부정확해질 기회가 더 크다. 앵커 포인트 대응 세트 (C) 가 가능한 한 정확하게 되는 것이 바람직하기 때문에, 시야각에서의 일정한 변경 후의 매치들은 금지되거나 회피될 수도 있다. 참조 뷰는 장면 또는 대상의 정면 뷰이다. 시점이 변경됨에 따라, 참조 및 각진 뷰 (angled view) 로부터 획득된 서술자들의 L2 거리와, 시야각 β 사이에는 상관성이 존재한다. 임계각으로서 선택되는 일정한 각도 β 후 L2 기준 (norm) 은 피크가 된다. 그러므로, 임계각 β를 넘어서는 임의의 매치들은 신뢰성 없는 것으로 간주될 수도 있다. 구현예들에서, 임계각 β는 정확한 키포인트 대응이 감소를 시작하는 임계각 β (즉, L2 거리가 나타나기 시작하는 각도 β) 를 결정하는 것에 의해 실험적으로 확인될 수도 있다.
클러스터 i (1101) (대응 세트 Ci 에서 식별됨) 에 대해 앵커 포인트 매치들을 획득하면, 매칭 앵커 포인트들을 포함하는 클러스터 대응 세트 (Skl) 가 획득될 수도 있다. 다시 말하면, 일단 앵커 포인트들 (fi) 이 클러스터 i (1101) 에 대해 매칭된다면, 쿼리 클러스터는 앵커 포인트 매치들에 기초하여 데이터베이스에 있는 클러스터들에 매칭될 수도 있다. 앵커 포인트들의 클러스터 대응 세트 (Skl) 는 다음과 같이 정의될 수도 있다:
Figure 112012052387451-pct00012
(수학식 9)
여기서 <->는 쿼리 이미지 앵커 포인트
Figure 112012052387451-pct00013
및 타겟 데이터베이스 이미지 앵커 포인트
Figure 112012052387451-pct00014
사이의 대응을 나타낸다.
타겟 데이터베이스 클러스터에 대한 인덱스 Is는 전체 클러스터 세트 (KTI) 로부터 다음과 같이 획득될 수도 있다:
Figure 112012052387451-pct00015
(수학식 10)
다시 말하면, 선택된 데이터베이스 클러스터는 쿼리 이미지 클러스터에 있는 대부분의 앵커 포인트들이 매칭되는 것이다. 2개의 인덱스들 (이를테면 Is1 및 Is2) 이 수학식 10 하에서 동일한 해법을 제공할 수도 있을 (즉, 상이한 클러스터들에 대한 매치를 식별하는 둘 이상의 인덱스들이 발견될) 경우들이 있을 수도 있다는 것에 유의한다. 만약 그렇다면, 피크 키포인트 밀도를 갖는 타겟 클러스터를 포인팅하는 인덱스는 적은 아옷라이어들을 갖는 더 잘 맞는 매칭을 제공하는 것으로서 선택된다.
이런 방식으로, 후속하는 키포인트 매칭에서 공간적 제약조건을 강제하는 클러스터 대응이 달성될 수 있다.
클러스터 대응은 다양한 방법들로 확인될 수도 있다. 일 실시예에서, 쿼리 클러스터에 있는 충분히 높은 백분율의 앵커 포인트들이 타겟 클러스터에 대해 매칭된다면, 클러스터 대응이 발견된다. 예를 들어, 쿼리 이미지 클러스터들 (KQk) 에 있는 최저 또는 최소 수의 앵커 포인트들또는 데이터베이스 내의 타겟 클러스터 세트 (KTI) 에 있는 최저 또는 최소 수의 앵커 포인트들에 대한 클러스터 대응 세트 (Skl) 에 있는 앵커 포인트들의 수의 비율이 임계치 T클러스터보다 크면, 인덱스 (Is) 는 중요한 것으로 간주된다. 예를 들면, 인덱스 Is는 다음 수학식이 만족되면 중요한 것으로 간주된다:
Figure 112012052387451-pct00016
(수학식 11)
여기서 임계치 T클러스터는 사용자-정의 백분율 또는 비율일 수도 있다. 수학식 11은 (클러스터 대응 세트 (Skl) 에 있는) 획득된 정확한 앵커 포인트 매치들의 소수가 클러스터 대응을 만들기에 아주 큰 (충분히 높은) 지를 고려한다. 수학식 11은 폐색 및 아핀 변형 때문인 클러스터 사이즈 분산을 설명하기 위해 클러스터 대응 세트 (Skl) 에 있는 앵커 포인트들의 수를 쿼리 클러스터 또는 데이터베이스 타겟 클러스터에 있는 앵커 포인트들의 최소 수로 나눈다. 이는 쿼리 클러스터 및 데이터베이스 (타겟) 클러스터 사이의 잘못된 클러스터 대응을 인정하지 않게 한다. 이는 일부 클러스터들이 다른 것들보다는 더 안정하다는 관측을 활용한다.
일부 구현예들에서, 클러스터가 의미있게 생각될지는 중요한 시점 변경들이 클러스터 사이즈들을 변경하려고 할 것임을 고려한다. 그러므로, 시점 각도에 의존하여, 클러스터 대응에 대해 충분하다고 생각되는 매치들의 수는 가변할 수 있다. 예를 들어, 최대 70도의 시점 변경이 검출되면, 수학식 11에서 최소 매치 부분에 대한 임계치는 대략 0.35 인 T클러스터 = arccos (70) 로서 모델링될 수 있다. 이는 대응을 허용할 수 있는 쿼리 및 타겟 클러스터들에 있는 특징들의 수에 대하여 최소 수의 앵커 포인트 매치들이 있을 수 있다는 것을 의미한다.
다시 도 11을 참조하면, 일단 클러스터 대응이 수행되었으면, 키포인트 매칭은 앵커 포인트들로서 이전에 선택되지 않은 그런 키포인트들에 대해 수행될 수도 있다. 클러스터에 있는 모든 매칭 키포인트들의 최종 대응 세트 (CN) 를 생성하기 위하여, 쿼리 클러스터에 있는 각각의 키포인트
Figure 112012052387451-pct00017
는 데이터베이스 이미지에 있는 키포인트에 매칭된다. 이 "매치"는 쿼리 키포인트가 인덱스 Is에 의해 식별되는 타겟 클러스터에 속하는 경우에만 받아들여진다. 클러스터에 있는 매칭 키포인트들의 최종 대응 세트 (CN) 는 다음과 같이 표현될 수도 있다:
Figure 112012052387451-pct00018
(수학식 12)
세트 CN은 높은 수의 인라이어들 및 매우 낮은 수의 아웃라이어들을 갖는 앵커 포인트 대응 세트 C보다 클 수도 있다는 것에 유의한다. 클러스터 대응이 계산될 때, 쿼리 이미지에 있는 모든 포인트들에 대한 가장 가까운 이웃 거리가 계산되고 이들 가장 가까운 이웃들 (NN) 이 속하는 (인정된 및 거부된 매치들 양쪽 모두에 대해) 데이터베이스 베이스 클러스터가 또한 그것들의 L2 거리와 함께 저장된다는 것에 유의해야 할 것이다. 그 후에, 클러스터 당 키포인트 매칭이 수행될 때, 쿼리 키포인트의 가장 가까운 이웃이 정확한 클러스터에 속하는지를 결정하기 위해 각각의 키포인트에 대해 점검이 수행된다. 그래서, 쿼리 키포인트들에 대해 가장 가까운 이웃을 다시 계산할 필요가 없다.
덧붙여, 각각의 쿼리 클러스터를 제각기 데이터베이스 클러스터들 (커널 사이즈들의 패밀리를 이용하여 구성됨) 과 비교하는 것에 의해, 스케일 변경들이 아핀 (affine) 변환 때문에 이미지에 걸쳐 균일하지 않을 것이라고 간주한다.
도 13은 키포인트별 매칭보다 뛰어난 클러스터별 매칭의 개선을 도시하는 블록도이다. 키포인트별 매칭 (1302) 에서, 쿼리 이미지 (1306) 의 각각의 키포인트는 제각기 이미지들의 데이터베이스 (1308) 에 있는 하나 이상의 키포인트들과는, 공간적 제약조건들 없이 비교된다. 이 예에서, 쿼리 이미지 (1306) 에 있는 키포인트들에 대한 서술자들 (D1, D2, D3, D4, D5, D6, D7, D8, 및 D9) 은 이미지들의 데이터베이스에 있는 키포인트들의 서술자들과 매칭된다. 본 명세서에서 도시된 바와 같이, 서술자들 (D1-D9) 은 D1부터 D9까지 순차적 또는 랜덤 순서로 (즉, 공간적 제약 없이) 비교되고 그리고/또는 매칭된다.
반대로, 클러스터별 매칭 접근법 (1304) 에서, 키포인트들은 먼저 공간 제약식 클러스터들 (1310, 1312, 1314, 및 1316) 이 되도록 그룹화된다. 그 다음, 각각의 클러스터 내의 전체 키포인트들 (즉, 앵커 포인트들) 의 서브세트만이 클러스터 대 클러스터 매치를 확인하기 위하여 매칭될 필요가 있다. 다시 말하면, 쿼리 이미지 (1306) 에 있는 키포인트들을 클러스터들로 그룹화하면, 비교들/매치들은 클러스터별 기반으로 수행될 수도 있다. 예를 들어, 제 1 클러스터 (1310) 에 있는 키포인트들은 키포인트 매치들을 확인하기 위해 데이터베이스에 있는 키포인트들과 비교될 수 있다. 일단 충분한 수 또는 백분율의 키포인트들이 매칭되면, 클러스터 대응이 제 1 클러스터 (1310) 및 이미지들의 데이터베이스 (1308) 에 있는 클러스터 사이에 만들어질 수도 있다. 그 다음, 이 프로세스는 클러스터 단위 매칭으로 제 2 클러스터 (1312), 제 3 클러스터 (1314), 및 제 4 클러스터 (1316) 에 대해 반복된다. 키포인트 단위 매칭 접근법 (1302) 과는 달리, 클러스터 단위 매칭 접근법 (1304) 으로는 모든 키포인트들이 매칭될 (또는 매칭되도록 시도할) 필요는 없다. 대신에, 매칭에 대한 시도들은 클러스터 단위 기반 (per cluster basis) 으로 행하여질 수도 있다. 일단 클러스터에 있는 충분한 수/퍼센트의 키포인트들이 매칭되면, 나머지 키포인트들은 매칭될 필요가 없다. 대신에, 매칭된 키포인트들은 쿼리 클러스터를 이미지들의 데이터베이스에 있는 타겟 클러스터에 실제로 매칭시키는데 사용될 수도 있다. 그래서, 상당한 량의 키포인트 처리가 공간 제약식 키포인트 매칭을 이행하는 것에 의해 회피된다.
이미지 스케일링 - 클러스터 대응을 지원하기 위해 커널 사이즈를 적응시킴
쿼리 이미지 내지 타겟 이미지 사이의 키포인트 매칭을 수행하기 전에, 쿼리 이미지의 스케일은, 키포인트 비교가 쿼리 이미지 및 타겟 이미지 양쪽 모두에 대해 대략적으로 동일한 스케일로 수행되도록 추정되거나 대략적으로 확인될 필요가 있다. 2개의 이미지들 사이에 스케일 차이가 존재하는, 동일한 장면 또는 대상의 타겟 이미지와는 약간 상이한 시점에서 쿼리 이미지를 고려한다. 동일한 가우시안 커널 사이즈 'R' (가우시안 피라미드에 있음) 의 경우, 쿼리 이미지 및 타겟 이미지에서 검출된 클러스터들은 상이할 수도 있는데, 커널이 이미지들의 상이한 사이즈로 된 부분들을 커버하기 때문이다. 일 대 일 클러스터 대응이 확립될 수도 있다. 쿼리 이미지의 스케일을 결정하는 것은 커널 사이즈 'R'의 선택을 허용한다. '스케일'은 주어진 이미지에 대한 해상도를 말할 수도 있다.
임의의 주어진 이미지의 경우, 스케일 공간 피라미드 (도 3), 이를테면 가우시안 피라미드를 따르는 검출된 키포인트들의 분포가 존재할 것이다. 가우시안 피라미드는 이미지 처리에서 사용되는 기법이고, 가우시안 평균 (가우시안 블러 (blur)) 를 이용하여 가중되고 스케일 다운된 일련의 이미지들을 (즉, 단일 이미지로부터) 생성하는 것을 수반한다. 이 기법이 이미지에 대해 다수 회 사용될 때, 그 기법은, 각각의 화소가 피라미드의 하위 레벨 상의 이웃하는 화소에 대응하는 로컬 평균을 담고 있는, 연속하는 작은 이미지들의 스택 또는 피라미드를 생성한다.
상위 스케일들에서 검출된 키포인트들은 더 큰 특징들에 상응한다고 관측된다. 이미지 해상도가 감소함에 따라 (예컨대, 시점이 타겟에서부터 더 멀어지게 이동됨에 따라), 더 미세한 세부사항들이 감소되고 (예컨대, 결국에는 키포인트들로서 검출되지 않게 되고) 상위 스케일들 (코오스 (coarse) 세부사항들에 대응) 에서 검출되었던 세부사항들은 하위 스케일들 (더 미세한 세부사항들에 대응) 로 이동한다. 키포인트들의 분포는 그러므로 이미지 해상도가 감소함에 따라 하위 스케일들로 이동한다. 이 관측은 이미지의 사이즈의 추정치를 획득하는데 사용될 수도 있고 그래서 커널 사이즈 반경 'R'이 이미지 사이즈의 추정치에 비례하도록 만든다 (예컨대, R
Figure 112012052387451-pct00019
(1/L) 이며, 여기서 L은 특징 (키포인트) 분포의 피크 밀도가 시작하는 레벨 (스케일 공간 피라미드의 상단으로부터 카운트됨) 에 대응하는 스케일 팩터이다. 예시적인 구현예에서, 스케일가능 팩터 L 는 세트 {1, 1.5, 2, 2.5, 3, lower_bound}로부터 선택될 수도 있다.
오프라인일 수도 있는 훈련 단계에서, 클러스터링의 프로세스는 데이터베이스 이미지들에 대해 커널들의 패밀리로 수행될 수도 있다. 커널 R 사이즈들은 모든 L = {1, 1.5, 2, 2.5, 3, lower_bound}에 대해 {IX/(20*L), IY/(20*L)}로서 정의된다. 이는 데이터베이스 이미지(들)를 L에 의해 정의된 모든 가능한 커널 사이즈들로 클러스터링하는 것에 의해 쿼리 이미지 및 데이터베이스 이미지(들) 사이의 스케일 변동들을 설명한다.
상당한 밀도의 특징들 (키포인트들) 이 상위 스케일에서 검출되었다면, 이미지의 해상도는 충분히 높아서 L이 1에 가까워지게 하고 그래서 커널 R이 이미지의 치수들의 1/20이 되게 할 것이다. 특징들의 상당한 밀도가 하위 스케일로부터 검출되면, L은 커널의 사이즈를 감소시키는 것에 대응하여 증가하여 이미지 해상도에서의 감소를 설명할 것이다. 이 예에서, "20"이 베이스라인 (baseline) 으로서 선택되는데, 최고 해상도 (800 화소들 × 600 화소들) 에서 1/20 치수의 커널에 의한 클러스터링이 효율적인 클러스터 대응에 대해 양호하다는 것이 관측되었기 때문이다. 이 기선 팩터는 최고 해상도에 의존하여 변경될 수도 있다. 스케일링 팩터 L은 lower_bound까지 연장한다. 카디널리티 (cardinality; L) 스케일링 단계들 후, 커널 사이즈에서의 추가 감소는 인식 또는 적어도 의미있는 클러스터링이 행하여질 수 없는 매우 작은 이미지를 의미한다. lower_bound가 구축된 옥타브들의 수에 의존하지만, 관심있는 오브젝트가 최대 해상도의 적어도 1/4을 충족한다고 가정한다면 보통 lower_bound=4는 잘 맞다.
도 14는 고 해상도 이미지를 위한 일 예의 키포인트 분포를 도시한다. 여기서, 스케일 공간 피라미드의 저 스케일 (1402), 중 스케일 (1404), 및 고 스케일 (1406) 이 이미지에 대해 보이고 있다. 부가적인 이미지 스케일들이 스케일 공간 피라미드에 존재할 수도 있다는 것이 명백할 것이다. 특징들 (키포인트들) 의 상당한 밀도가 이미지에 대한 스케일 공간 피라미드의 상위 스케일들 (옥타브들) 에서 검출되면, 이는 이미지의 해상도가 높다는 것을 나타낼 것이다. 여기서, 상당한 백분율의 키포인트들이 상위 스케일(들) (1406) 에 존재할 있다는 것이 이해될 수 있다. 다시 말하면, 키포인트 밀도 또는 분포는 고 (1406), 중 (1404), 및 저 (1402) 스케일들에 걸쳐 상당히 균일하다. 그러므로, 이 이미지는 비교적 고 해상도 (이는 복수의 스케일들에 걸친 키포인트 검출을 허용한다) 를 가진다고 추정할 수 있다.
도 15는 저 해상도 이미지를 위한 일 예의 키포인트 분포를 도시한다. 여기서, 스케일 공간 피라미드의 저 스케일 (1502), 중 스케일 (1504), 및 고 스케일 (1506) 이 이미지에 대해 보이고 있다. 특징들의 상당한 밀도가 스케일 공간 피라미드 (예컨대, 가우시안 피라미드) 의 하위 스케일들 (옥타브들) 에서 검출되면, 이는 이미지의 해상도가 낮다는 것을 나타낼 것이다. 다시 말하면, 이미지 해상도가 감소함에 따라, 더 미세한 특징들이 감소되고 상위 스케일들 (코오스 특징들에 대응) 에서 검출되었던 세부사항들은 하위 스케일들로 이동한다. 여기서, 상당한 백분율의 키포인트들이 상위 스케일(들) (1506) 에서 존재하지 않는다는 것이 이해될 수 있다. 다시 말하면, 키포인트 밀도 또는 분포는 하위 스케일(들) (1502) 에 중심을 두고 있다. 그러므로, 이 이미지는 비교적 저 해상도를 가진다고 추정될 수 있다.
그래서, 키포인트 분포에서의 피크(들)는 우세한 이미지 스케일을 추적하고 오브젝트 사이즈를 대략적으로 추적하는데 사용될 수 있다. 이 관측은 대상의 사이즈의 추정치를 얻는데 사용되고 그래서 커널 사이즈 반경 R이 그에 비례하도록 한다. 구체적으로는, 대상 사이즈는 이 또는 하위 스케일에서 검출된 일정한 백분율의 모든 키포인트들을 포함하는 최소 스케일 레벨에 의해 선택된다. 갖가지 예들에서, 이 백분율은 30% 내지 50%의 범위 내 (예컨대, 40%) 에 있을 수도 있다.
일 실시예에서, 커널 사이즈 반경 R은 다음에 의해 주어질 수도 있다:
Figure 112012052387451-pct00020
(수학식 13)
여기서 σmax는 피라미드에서의 최대 스케일 레벨이고 σobj는 추정된 대상 스케일이다. 여기서, σmax는 오브젝트 이미지의 해상도에 의존한다. 대체로, 오브젝트 이미지의 해상도가 m × n개의 화소들이라면 커널 사이즈는 다음에 의해 주어진다:
Figure 112012052387451-pct00021
(수학식 14)
여기서 k는 스케일링 팩터 (예컨대, k=1/20) 이다. σobj = σmax를 갖는 오브젝트 이미지의 경우, 이미지 사이즈의 1/20의 커널 사이즈는 이미지에 있는 클러스터들을 표현하는데 충분하다. 대상 이미지 해상도 σobj가 감소하면, (σmax - σobj +1) 가 증가할수록 반경 R은 또한 감소한다는 것에 유의한다.
도 16은 클러스터 대응을 수행하는 것을 용이하게 하는 이미지들의 커널 스케일링을 위한 방법을 도시한다. 임의의 주어진 이미지의 경우 스케일 공간 피라미드 (도 3) 를 따르는 검출된 키포인트들의 분포가 있다. 예를 들어, 저 스케일로부터 고 스케일로의 범위에 있는 복수의 블러 이미지들을 획득하기 위해 복수의 상이한 스케일들에서 이미지가 블러 함수와 컨벌브될 수도 있다 (1602). 그러면 복수의 키포인트들이 복수의 블러 이미지들에 걸쳐 식별될 수도 있다 (1604). 그러면 키포인트들의 분포 (예컨대, 집중) 가 복수의 스케일들에 걸쳐 확인될 수도 있다 (1606). 그러면 이미지 사이즈가 키포인트들의 분포에 기초하여 추정될 수도 있다 (1608). 이미지에 대한 커널 사이즈는 그러면 추정된 이미지 사이즈에 기초하여 선택될 수도 있다 (1610). 선택된 커널 사이즈에서의 블러 이미지들은 그러면 키포인트 클러스터링을 수행하는데 이용될 수 있다 (1612).
밀도 기반 클러스터들 및/또는 스케일 기반 키포인트들 프루닝
어떤 경우들에서는, 이용가능한 바로 그 키포인트들의 서브세트에 기초하여 쿼리 이미지로부터 타겟 이미지로 특징들을 매칭하는 것이 가능할 수도 있다. 예를 들면, 500개의 키포인트들이 이미지에 대해 식별될 수도 있지만 100개 또는 200개가 이미지 또는 대상 매칭을 수행하는데 실제로는 필요할 수도 있다. 키포인트들의 수를 감소시키는 것은 대상/이미지 인식에 필요한 처리를 줄인다. 키포인트를 감소시키는 2가지 접근법들은 클러스터 밀도에 기초한 키포인트들의 프루닝 및 스케일에 기초한 키포인트들의 프루닝을 포함한다.
도 17은 키포인트 밀도에 기초한 클러스터 프루닝을 도시한다. 고 밀도 클러스터들이 관심있는 특징들을 더 많이 포함하는 경향이 있다는 것이 관측되었다. 쿼리 이미지 (1702) 및 타겟 이미지 사이의 매칭에 사용되는 키포인트 클러스터들을 감소시키기 위하여, 고 밀도의 키포인트들을 갖는 키포인트 클러스터들이 선택되는 반면 나머지 키포인트 클러스터들은 프루닝되거나 무시된다. 그러면 선택된 키포인트 클러스터들은 쿼리 이미지 및 타겟 이미지 사이의 매칭에 사용된다. 이 예에서, 각각의 클러스터가 키포인트 밀도 (ρ1, ρ2, ρ3, ρ4, 및 ρ5) 를 각각 가지며, ρ1>ρ2>ρ3>ρ4>ρ5인 복수의 키포인트 클러스터들 (1706, 1708, 1710, 1712, 및 1714) 이 쿼리 이미지 (1702) 에서 식별된다. 쿼리 클러스터들은 키포인트 밀도에 따라 등위가 매겨질 수도 있다. 이 예에서, 3개의 최고 밀도 클러스터들 (1706, 1708, 및 1710) 이 쿼리 이미지 (1702') 에 대해 선택되는 반면 최저 밀도 클러스터들 (1710 및 1712) 은 프루닝되거나 무시될 수도 있다. 그 다음 선택된 키포인트 클러스터들 (1706, 1708, 및 1710) 은 쿼리 이미지 및 하나 이상의 타겟 이미지들 사이의 매칭에 이용될 수도 있다.
키포인트 밀도 외에도, 상위 스케일들에서 발생하는 키포인트들이 하위에서 발생하는 키포인트들보다 높게 랭크될 수도 있다. 다시 말하면, 상위 스케일들 (즉, 저 해상도) 에서 검출된 키포인트들은 보존될 수도 있는 반면 하위 스케일들 (즉, 고 해상도) 에서 검출된 키포인트들은 프루닝될 수도 있다.
도 18은 키포인트 밀도에 기초하여 키포인트 클러스터들을 프루닝하는 것에 의해 쿼리 이미지를 위한 키포인트들을 감소시키는 방법이다. 먼저, 복수의 키포인트들이 쿼리 이미지에 대해 획득된다 (1802). 이러한 키포인트들은 하나 이상의 스케일들에 대해 검출가능할 수도 있고, 예를 들어, 매우 독특한 특징들 (예컨대, 최대치들 및 최소치들, 높은 콘트라스트 등을 갖는 화소) 일 수도 있다. 그러면 이 키포인트들은 복수의 클러스터들로 그룹화된다 (1804). 예를 들어, 비-매개변수식 밀도 추정 프로세스인 평균 이동 분석은 키포인트들을 클러스터들로 그룹화하는데 사용될 수도 있다. 그 다음, 키포인트 밀도가 각각의 클러스터마다 획득될 수도 있다 (1806). 복수의 클러스터들로부터의 하나 이상의 저 밀도 클러스터들은 그러면 감소된 수의 키포인트들을 갖는 프루닝된 클러스터들의 세트를 획득하기 위해 제거되거나 무시될 수도 있다 (1808). 그러면 프루닝된 클러스터들은 쿼리 이미지 및 하나 이상의 타겟 이미지들 사이의 특징 매칭에 이용될 수도 있다 (1810).
도 19는 키포인트 스케일에 기초한 포인트 프루닝 방법을 도시한다. 키포인트들은 다양한 스케일들 (예컨대, 가우시안 스케일 공간 차이) 에서 검출가능하다. 상이한 스케일들에 걸쳐 있고 동일한 영역에 있는 키포인트들은 클러스터로 결합될 수도 있다. 상위 스케일들은 하위 스케일들에 있는 것보다 많이 이미지를 블러링하는 것에 의해 생성될 수도 있다. 이 예에서, 쿼리 이미지는 쿼리 이미지의 저 스케일 (1902), 중 스케일 (1904), 및 고 스케일 (1906) 버전을 생성하도록 흐려진다. 쿼리 이미지에 대한 결과적인 클러스터들 (1908) 은 그래서 상이한 스케일들에서 검출된 키포인트들을 포함할 수도 있다. 상위 스케일들에서 검출된 키포인트들이 키포인트 매칭의 목적을 위해 더 강건하고 안정적이다는 것이 관측되었다. 그러므로, 이 접근법에서, 키포인트 매칭의 목적을 위해 상위 스케일들에서 검출된 키포인트들은 보존되고 하위 스케일들에서의 키포인트들은 프루닝되거나 또는 무시된다. 일부 키포인트들이 상이한 스케일들에서 검출가능할 수도 있다는 것에 유의한다. 이런 경우들에서, 키포인트가 검출되는 최고 스케일이 사용된다. 이 예에서, 복수의 클러스터들 (1912, 1914, 1916, 1918, 및 1920) 은 복수의 스케일들 (예컨대, 쿼리 이미지의 저 스케일 (1902), 중 스케일 (1904), 및 고 스케일 (1906)) 에 걸쳐 있는 키포인트들을 포함할 수도 있다. 이 예에서, 저 스케일 (1902) 에서 식별된 키포인트들은 결과적인 클러스터들 (1908) 로부터 제거되어 프루닝된 클러스터들 (1910) 이 획득된다. 그래서, 프루닝된 클러스터들은 중 및 고 스케일들 (1904 및 1906) 에서 검출가능한 키포인트들만을 포함한다. 그 다음 프루닝된 클러스터들 (1910) 에 있는 키포인트들은 쿼리 이미지 및 하나 이상의 타겟 이미지들 사이의 매칭에 이용될 수도 있다.
도 20은 키포인트 밀도에 기초하여 키포인트 클러스터들을 프루닝하는 것에 의해 쿼리 이미지를 위한 키포인트들을 줄이는 방법이다. 복수의 키포인트들이 복수의 이미지 스케일들에 걸쳐 쿼리 이미지에 대해 획득될 수도 있다 (2002). 이러한 키포인트들은 하나 이상의 스케일들에 대해 검출가능할 수도 있고, 예를 들어, 매우 독특한 특징들 (예컨대, 최대치들 및 최소치들, 높은 콘트라스트 등을 갖는 화소) 일 수도 있다. 키포인트들은 옵션으로는 복수의 클러스터들로 그룹화될 수도 있다 (2004). 예를 들어, 비-매개변수적 밀도 추정 프로세스인 평균 이동 분석은 키포인트들을 클러스터들로 그룹화하는데 사용될 수도 있다. 그 다음, 하위 스케일들에서 검출된 키포인트들은 프루닝된 키포인트들의 세트를 획득하도록 복수의 키포인트들 또는 클러스터들로부터 프루닝될 수도 있다 (2006). 그 다음 프루닝된 키포인트들의 세트는 쿼리 이미지 및 하나 이상의 타겟 이미지들 사이의 특징 매칭에 이용될 수도 있다 (2008).
다양한 구현예들에서, 본 명세서에서 설명되는 클러스터 프루닝 및 키포인트 프루닝 접근법들 양쪽 모두가 차례로 또는 순서대로 조합될 수도 있다. 예를 들어, 쿼리 이미지에 대해 클러스터 프루닝이 먼저 수행될 수도 있고 그런 다음 키포인트 프루닝이 수행될 수도 있다. 다른 예에서, 쿼리 이미지에 대해 키포인트 프루닝이 먼저 수행될 수도 있고 그런 다음 클러스터 프루닝이 수행될 수도 있다.
예시적인 이미지 매칭 디바이스
도 21은 이미지 매칭 디바이스의 일 예를 도시하는 블록도이다. 이미지 매칭 디바이스 (2100) 는 처리 회로 (2102) 와, 이 처리 회로에 결합된 통신 인터페이스 (2104), 이미지 캡처 디바이스 (2106), 및/또는 저장 디바이스 (2108) 를 구비할 수도 있다. 통신 인터페이스 (2104) 는 유선/무선 네트워크를 통해 통신하고 하나 이상의 이미지들에 대한 이미지들 및/또는 특징 서술자들을 수신하기에 적합할 수도 있다. 이미지 캡처 디바이스 (2106) 는, 예를 들어, 쿼리 이미지를 캡처할 수 있는 디지털 카메라일 수도 있다. 처리 회로 (2102) 는 이미지들로부터 특징들을 추출하는 이미지 처리 회로 (2114) 와, 추출된 특징들을 이용하여 쿼리 이미지를 타겟 이미지들의 데이터베이스 (2110) 에 및/또는 쿼리 이미지 서술자들을 서술자 데이터베이스 (2112) 에 매칭시키는 이미지 매칭 회로 (2116) 를 구비할 수도 있다. 하나의 예시적인 구현예에 따르면, 이미지 매칭 애플리케이션이 쿼리 이미지를 이미지 데이터베이스에 있는 하나 이상의 이미지들에 매칭시키는 것을 시도한다. 이미지 데이터베이스는 데이터베이스 (2110) 에 저장된 하나 이상의 이미지들에 관련되는 100만개의 특징 서술자들을 포함할 수도 있다.
이미지 처리 회로 (2114) 는 특징 식별 회로 (2120) 를 구비할 수도 있으며 이 특징 식별 회로는 스케일 공간 생성기 (2122), 특징 검출기 (2124), 이미지 스케일링 회로 (2126), 특징 프루닝 회로 (2128), 및/또는 특징 서술자 추출기 (2130) 를 구비한다. 스케일 공간 생성기 (2122) 는 이미지를 블러 함수와 컨벌브하여, 예를 들어, 도 3에 도시된 바와 같은 복수의 상이한 스케일 공간들 (예컨대, 가우시안 스케일 공간 피라미드) 을 생성하는데 소용될 수도 있다. 그 다음 특징 검출기 (2124) 는 이 이미지에 대해 상이한 스케일 공간들에 있는 하나 이상의 키포인트들을 (예컨대, 도 4에 도시된 바와 같은 로컬 최대치들 및 최대치들을 이용하는 것에 의해) 식별한다. 이미지 스케일링 회로 (2126) 는 특징 검출 및/또는 클러스터링을 수행하는 적절한 커널 사이즈를 선택하기 위하여 이미지의 스케일을 근사하는데 소용될 수도 있다. 특징 프루닝 회로 (2128) 는 고 밀도 클러스터들 (도 17) 에 있는 키포인트들 및/또는 상위 스케일들 (도 19) 에서 검출된 선호 키포인트들만을 사용/선택하는 것에 의해, 매칭되는 키포인트들의 수를 감소시킨다. 특징 서술자 생성기 (2130) 는 각각의 키포인트 및/또는 그것의 주위 패치 (예컨대, 도 5에 도시됨) 에 대해 서술자를 생성한다.
이미지 매칭 회로 (2116) 는 공간 제약식 특징 매칭 회로 (2134) 를 구비할 수 있으며 이 공간 제약식 특징 매칭 회로는 앵커 포인트 검출기 (2136), 클러스터 생성기 (2138), 및/또는 이진 키포인트 선택기 (2140) 를 구비한다. 앵커 포인트 검출기 (2136) 는 앵커 포인트들 (도 8, 11 및 12에 도시됨) 이라고 칭하는 고도로 상관된 키포인트들 (예컨대, 높은 임계치를 초과하는 매치들) 을 식별하는데 소용될 수도 있다. 그 다음 클러스터 생성기 (2138) 는 쿼리 이미지 및 타겟 이미지 간에 클러스터 매칭 (도 8, 11 및 12에 도시됨) 을 수행한다. 일단 클러스터 매칭이 확인되면, 이진 키포인트 선택기 (2140) 는 이진 결정에 기초하여 키포인트들을 쿼리 클러스터들에 추가하는 것 (도 8, 11 및 12에 도시됨) 을 수행한다. 결과적인 쿼리 클러스터들은 그 다음 이미지 또는 대상 매치를 결정하는데 사용될 수도 있다. 매치 결과는 통신 인터페이스 (21) 를 경유하여 (예컨대, 이미지 또는 특징 서술자들를 송신하는 모바일 디바이스에) 제공될 수도 있다.
일부 구현예들에서, 쿼리 이미지에 대한 키포인트들에 관련된 특징 서술자들의 세트는 이미지 매칭 디바이스에 의해 수신될 수도 있다는 것에 유의한다. 이 상황에서, 쿼리 이미지는 (서술자들을 획득하도록) 이미 처리되어 있다. 그러므로, 이미지 처리 회로 (2114) 는 바이패스될 수도 있거나 또는 이미지 매칭 디바이스 (2100) 로부터 제거될 수도 있다.
예시적인 모바일 디바이스
도 22는 이미지 또는 대상 인식의 목적을 위해 이미지 처리를 수행하기에 적합한 예시적인 모바일 디바이스를 도시하는 블록도이다. 모바일 디바이스 (2200) 는 처리 회로 (2202) 와 이 처리 회로에 결합된 이미지 캡처 디바이스 (2204), 통신 인터페이스 (2210) 및 저장 디바이스 (2208) 를 구비할 수도 있다. 이미지 캡처 디바이스 (2204) (예컨대, 디지털 카메라) 는 관심있는 쿼리 이미지 (2206) 를 캡처하고 그것을 처리 회로 (2202) 에 제공하기에 적합하게 될 수도 있다. 처리 회로 (2202) 는 캡처된 이미지를 처리하여, 나중에 전송될 수 있거나 또는 이미지/대상 인식에 사용될 수 있는 특징 서술자들을 생성하기에 적합하게 될 수도 있다. 예를 들어, 처리 회로 (2202) 는, 스케일 공간 생성기 (2222), 특징 검출기 (2224), 이미지 스케일링 회로 (2226), 특징 프루닝 회로 (2228), 및/또는 특징 서술자 추출기 (2230) 를 구비하는 특징 식별 회로 (2220) 를 구비할 수도 있거나 구현할 수도 있다. 스케일 공간 생성기 (2222) 는 이미지를 블러 함수와 컨벌브하여, 예를 들어, 도 3에 도시된 바와 같은 복수의 상이한 스케일 공간들 (예컨대, 가우시안 스케일 공간 피라미드) 을 생성하는데 소용될 수도 있다. 그 다음 특징 검출기 (2224) 는 이 이미지에 대해 상이한 스케일 공간들에 있는 하나 이상의 키포인트들을 (예컨대, 도 4에 도시된 바와 같은 로컬 최대치들 및 최대치들을 이용하는 것에 의해) 식별한다. 이미지 스케일링 회로 (2226) 는 특징 검출 및/또는 클러스터링을 수행하는 적절한 커널 사이즈를 선택하기 위하여 이미지의 스케일을 근사하는데 소용될 수도 있다. 특징 프루닝 회로 (2228) 는 고 밀도 클러스터들 (도 17) 에 있는 키포인트들 및/또는 상위 스케일들 (도 19) 에서 검출된 선호 키포인트들만을 사용/선택하는 것에 의해 매칭되는 키포인트들의 수를 감소시킨다. 특징 서술자 생성기 (2230) 는 각각의 키포인트 및/또는 그것의 주위 패치 (예컨대, 도 5에 도시됨) 에 대해 서술자를 생성한다.
그 다음 처리 회로 (2202) 는 하나 이상의 특징 서술자들을 저장 디바이스 (2208) 에 저장할 수도 있으며 그리고/또는 또한 그 특징 서술자들을 통신 인터페이스 (2210) (예컨대, 무선 통신 인터페이스, 송수신기, 또는 회로) 를 통해 통신 네트워크 (2212) 를 경유하여, 특징 서술자들을 이용하여 이미지 또는 그 속의 대상을 식별하는 이미지 매칭 서버에 송신할 수도 있다. 다시 말하면, 이미지 매칭 서버는 특징 서술자들을 이미지 매칭 서버 소유의 서술자들의 데이터베이스와 비교하여, 자신의 데이터베이스에 있는 임의의 이미지가 동일한 특징(들)을 가지는지를 결정할 수도 있다.
도 23 (도 23a, 23b, 및 23c를 포함) 은 대상 인식 프로세스의 부분으로서 이미지 스케일링, 특징 프루닝, 및/또는 공간 제약 형 특징 매칭을 위한 방법을 도시하는 흐름도이다. 이 방법의 양태들이 이 방법의 다른 양태들과는 독립적으로, 또는 조합하여 구현될 수도 있다는 것에 유의한다. 이 방법은 도 21 및/또는 22에 도시된 구성요소들의 하나 이상에 의해 구현될 수도 있다.
처음에, 이미지 스케일링이 이미지에 대한 근사 스케일을 획득하기 위해 수행될 수도 있다. 복수의 키포인트들이 쿼리 이미지에 대해 획득될 수도 있다 (2302). 예를 들어, 키포인트들은 쿼리 이미지의 블러 버전들에 대응하는 복수의 스케일 공간들에 걸쳐 획득될 수도 있다. 그 다음 키포인트들의 분포가 쿼리 이미지에 대한 복수의 스케일 공간들에 걸쳐 획득될 수도 있다 (2304). 쿼리 이미지에 대한 스케일이 그 다음에 키포인트들의 분포에 기초하여 추정될 수도 있다 (2306). 일 실시예에서, 이미지 스케일은, 컷오프 스케일이 공간 스케일들 내의 키포인트들의 임계 퍼센티지 (예컨대, 70%, 75%, 80%, 85%, 90%, 또는 95%) 을 컷오프 스케일까지 보존되도록 스케일 공간들에 대해 키포인트들의 분포로부터 추정된다. 그 다음 커널 사이즈가 추정된 쿼리 이미지 스케일에 기초하여 키포인트들을 클러스터링하기 위해 선택된다 (2308). 그러면 쿼리 이미지의 블러 버전들이 키포인트 클러스터링을 수행하도록, 선택된 커널 사이즈에서 사용될 수도 있다.
그러면, 다음으로, 키포인트 프루닝이 수행될 수도 있다. 먼저, 키포인트 밀도가 쿼리 이미지에 대해 키포인트 클러스터들의 세트에 있는 클러스터들의 각각에 대해 획득될 수도 있다 (2310). 예를 들면, 쿼리 이미지에 대한 키포인트 클러스터들의 세트는 키포인트 분포에 기초하여 획득될 수도 있다 (여기서 가까이 위치된 키포인트들이 함께 그룹으로 된다). 쿼리 이미지에 대한 키포인트들의 수는, 키포인트 클러스터들의 세트로부터 하나 이상의 저 밀도 클러스터들을 프루닝 (2312), 및/또는 제 1 키포인트 클러스터들의 세트에 있는 클러스터들의 적어도 일부로부터 쿼리 이미지의 스케일 공간들의 하위 레벨들에서 검출된 키포인트들을 프루닝 (2314) 하는 것에 의해 감소될 수도 있다. 프루닝된 키포인트들 및 클러스터들은 서술자들을 생성하기 전에 삭제될 수도 있다 (2316). 그 다음 서술자들이 쿼리 이미지에 대한 감소된 수의 키포인트들에 대해 생성 (2318) 될 수도 있다. 감소된 수의 키포인트들에 대한 서술자들은 쿼리 이미지 또는 쿼리 이미지에서의 대상을 타겟 이미지들에 매칭시키도록 특징 매칭 디바이스에 전송될 수도 있다.
그러면 특징 매칭은 클러스터 기반 키포인트 매칭을 이용하여 수행될 수도 있다. 쿼리 이미지에 있는 키포인트들은 하나 이상의 타겟 이미지들에서의 키포인트들에 매칭될 수도 있다 (2320). 키포인트들이 키포인트 매칭을 위해 사용되는 서술자들에 의해 표현될 수도 있다는 것에 유의한다. 그러면 앵커 매치들은 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해, 쿼리 이미지에 대해 확립될 수도 있다 (2322). 앵커 매치들은 임계치를 초과하여 하나 이상의 타겟 이미지들에서의 키포인트들과는 매칭되는 키포인트 매치들일 수도 있다. 앵커 매치들을 확립하는 것은 키포인트가 그 대응하는 키포인트로부터 제외되어야할지에 관한 후속 이진 결정을 위해 쿼리 이미지에 있는 키포인트들에 대한 키포인트 매치 정보를 유지하는 것을 포함할 수도 있다. 그 다음 키포인트 클러스터들은, (a) 쿼리 이미지에 대해 스케일 공간에 걸쳐 있는 키포인트들의 공간적 위치들, 및/또는 (b) 키포인트들이 검출되는 스케일 공간에 있는 스케일 레벨들에 기초하여 확립될 수도 있다 (2326). 쿼리 키포인트 클러스터가 앵커 매치들의 서브세트에 기초하여 타겟 키포인트 클러스터에 매칭될 수도 있다 (2328). 키포인트들은 이러한 키포인트들이 타겟 키포인트 클러스터에서의 키포인트들에 적어도 부분적으로 매칭된다면 쿼리 키포인트 클러스터에 유지될 수도 있다 (2330). 키포인트들은 이러한 키포인트들이 매칭되지 않거나 또는 타겟 키포인트 클러스터 이외의 클러스터에서의 키포인트들에 매칭된다면, 쿼리 키포인트 클러스터로부터 제외될 수도 있다 (2332).
도면들에 도시된 구성요소들, 단계들, 특징들 및/또는 기능들 중의 하나 이상이, 단일 구성요소, 단계, 특징 또는 기능으로 재배치 및/또는 조합될 수도 있거나 또는 여러 구성요소들, 단계들, 또는 기능들로 실시될 수도 있다. 본 명세서에서 개시된 신규한 특징들 외에도 부가적인 요소들, 구성요소들, 단계들, 및/또는 기능들이 또한 추가될 수도 있다. 도면들에 도시된 장치, 디바이스들, 및/또는 구성요소들은 다른 도면에서 설명되는 방법들, 특징들, 또는 단계들 중의 하나 이상을 수행하도록 구성될 수도 있다. 본 명세서에서 설명되는 알고리즘들은 또한 효율적으로 소프트웨어로 구현되거나 및/또는 하드웨어에 내장될 수도 있다.
또한, 실시예들은 플로우 차트, 흐름도, 구조도, 또는 블록도로서 묘사된 프로세서로서 설명될 수도 있다는 것에 유의한다. 흐름도가 순차적 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병행하여 또는 동시에 수행될 수 있다. 덧붙여서, 동작들의 순서는 재배치될 수도 있다. 프로세스는 그것의 동작들이 완료될 때 종료된다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램에 대응할 수도 있다. 프로세스가 함수에 대응할 때, 그것의 종료는 호출 함수 또는 메인 함수로의 기능의 반환에 대응한다.
더구나, 저장 매체는, 정보 저장을 위한 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 자기 디스크 스토리지 매체들, 광 저장 매체들, 플래시 메모리 디바이스들 및/또는 다른 머신 판독가능 매체들, 프로세서 판독가능, 및/또는 컴퓨터-판독가능 매체들을 포함하는 데이터를 저장하는 하나 이상의 디바이스들을 표현할 수도 있다. 용어들인 "머신 판독가능 매체", "컴퓨터 판독가능 매체", 및/또는 "프로세서 판독가능 매체"는, 휴대용 또는 고정형 저장 디바이스들, 광 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 함유, 또는 운반할 수 있는 다양한 다른 매체들과 같은, 비 일시적 (non-transitory) 매체들을 포함하나 이것으로 제한되지는 않을 수도 있다. 그래서, 본 명세서에서 설명되는 다양한 방법들은, "머신 판독가능 매체", "컴퓨터 판독가능 매체", 및/또는 "프로세서 판독가능 매체"에 저장될 수도 있고 하나 이상의 프로세서들, 머신들 및/또는 디바이스들에 의해 실행될 수도 있는 명령들 및/또는 데이터에 의해 완전히 또는 부분적으로 구현될 수도 있다.
더욱이, 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 이것들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 스토리지(들)와 같은 머신 판독가능 매체에 저장될 수도 있다. 프로세서가 설명된 태스크들을 수행할 수도 있다. 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램문들 (program statements) 의 임의의 조합을 표현할 수도 있다. 코드 세그먼트는, 정보, 데이터, 독립변수들 (arguments), 하나 이상의 매개변수들, 또는 메모리 콘텐츠들을 패스하고 및/또는 수신하는 것에 의해 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수도 있다. 정보, 독립변수들, 매개변수들, 데이터 등은, 메모리 공유, 메시지 패싱, 토큰 패싱 네트워크 전송 등을 포함하는 임의의 적당한 수단을 경유하여 패스되거나, 포워딩되거나, 또는 전송될 수도 있다.
여기에 개시된 예들에 관련하여 설명된 다양한 구체적인 논리 블록들, 모듈들, 회로들, 요소들, 및/또는 구성요소들은, 여기에 설명된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 컴포넌트, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들, 또는 그것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로는, 이 프로세서는 임의의 기존 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 컴포턴트들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수 개의 마이크로프로세서들, DSP 코어와 협력하는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로도 구현될 수도 있다.
본 명세서에서 설명되는 예들에 관련하여 설명된 방법들 또는 알고리즘들은 하드웨어로, 프로세서에 의해 실행가능한 소프트웨어 모듈로, 또는 이것 둘 다의 조합으로, 처리 유닛, 프로그래밍 커맨드들, 또는 다른 명령들의 형태로 직접 실시될 수도 있고, 단일 디바이스에 포함되거나 또는 다수의 디바이스들에 걸쳐 분산될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM 또는 당업계에 알려진 어떤 다른 형태의 저장 매체 내에 존재할 수 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 읽을 수 있고 그 저장 매체에 정보를 쓸 수 있도록 프로세서에 결합될 수도 있다. 대체예에서, 저장 매체는 프로세서에 통합될 수 있다.
이 기술분야의 숙련된 자들에게는 여기에 개시된 실시예들에 관련하여 설명되는 각종 구체적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수도 있다는 것이 추가로 이해될 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환 가능성을 명백하게 예증하기 위하여, 전술된 다양하고 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그것들의 기능성의 관점에서 설명되어 있다. 이러한 기능성이 하드웨어 또는 소프트웨어 중 어느 것으로 구현되는지는 전체 시스템에 부가되는 특정 애플리케이션 및 디자인 제약조건들에 의존한다.
본 명세서에서 설명된 본 발명의 다양한 특징들은 본 발명으로부터 벗어남 없이 상이한 시스템들로 구현될 수 있다. 전술한 실시예들은 단지 예들이고 본 발명을 제한하는 의도는 아니라는 것에 유의해야 할 것이다. 실시예들의 설명은 예시적인 것으로 의도되었고 청구항들의 범위를 제한하는 것으로 의도되지는 않았다. 이처럼, 본 교시들은 장치들의 다른 유형들에 쉽게 적용될 수 있고 많은 대체예들, 변형예들, 및 개조예들이 이 당업자들에게 명확하게 될 것이다.

Claims (35)

  1. 이미지 인식 시의 특징 매칭 방법으로서,
    쿼리 이미지에 대한 복수의 키포인트들을 획득하는 단계;
    키포인트 분포에 기초하여 상기 쿼리 이미지에 대한 키포인트 클러스터들의 세트를 정의하는 단계;
    상기 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해, 상기 쿼리 이미지에 대한 앵커 매치들을 확립하는 단계로서, 상기 앵커 매치들은 임계치를 초과하여 상기 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되는 키포인트 매치들이고, 상기 임계치 미만의 키포인트 매치는 대응하는 하나 이상의 타겟 이미지들에 대한 부분 매치인, 상기 앵커 매치들을 확립하는 단계;
    타겟 키포인트 클러스터에 대한 앵커 매치들에 기초하여 쿼리 키포인트 클러스터를 상기 타겟 키포인트 클러스터에 매칭시키는 단계; 및
    클러스터 매칭을 위한 부분 매치들로서 상기 쿼리 키포인트 클러스터로부터 이미 제외되었던 키포인트들을, 후속 기하학적 검증 연산을 위해 상기 쿼리 키포인트 클러스터의 일부로서 유지하는 단계를 포함하는, 이미지 인식 시의 특징 매칭 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 임계치는 아웃라이어 매치들을 제외시키도록 선택되며, 상기 아웃라이어 매치들은 거짓 긍정 (false positive) 키포인트 매치들인, 이미지 인식 시의 특징 매칭 방법.
  4. 제 1 항에 있어서,
    상기 앵커 매치들은, 상기 쿼리 이미지에 대한 스케일 공간 레벨들의 선택된 서브세트 내에서 발생하는, 상기 쿼리 이미지에서의 키포인트들에 대한 키포인트 매치들인, 이미지 인식 시의 특징 매칭 방법.
  5. 제 1 항에 있어서,
    부분적으로 매칭된 키포인트들은, 부분 매치가 상기 키포인트에 대해 발견되었는지 및 이러한 매치가 상기 타겟 키포인트 클러스터 내에 있는지 여부에 관한 이진 결정에 기초하여 상기 쿼리 키포인트 클러스터에서 유지되는, 이미지 인식 시의 특징 매칭 방법.
  6. 제 1 항에 있어서,
    상기 앵커 매치들은 상기 쿼리 이미지에 대한 상기 키포인트들의 서브세트의 각각의 키포인트 주위의 로컬 화소 정보에 적어도 부분적으로 기초하여 매칭되는 키포인트 매치들인, 이미지 인식 시의 특징 매칭 방법.
  7. 제 6 항에 있어서,
    상기 로컬 화소 정보는, 화소 경사도, 화소 컬러, 클러스터 형상, 또는 키포인트 분포 중의 적어도 하나를 포함하는, 이미지 인식 시의 특징 매칭 방법.
  8. 제 1 항에 있어서,
    상기 앵커 매치들을 확립하는 단계는,
    상기 쿼리 이미지에서의 키포인트들을 상기 타겟 이미지들에서의 키포인트들에 매칭시키는 단계;
    클러스터 매칭을 위해 상기 쿼리 키포인트 클러스터로부터 부분적으로 매칭된 키포인트들을 제외시키는 단계; 및
    키포인트가 그 대응하는 키포인트 클러스터로부터 제외되어야 하는지에 관한 후속 이진 결정을 위해 상기 쿼리 이미지에서의 키포인트들에 대한 키포인트 매치 정보를 유지하는 단계를 포함하는, 이미지 인식 시의 특징 매칭 방법.
  9. 삭제
  10. 제 1 항에 있어서,
    키포인트들이 매칭되지 않거나 상기 타겟 키포인트 클러스터 이외의 클러스터에서의 키포인트들에 매칭된다면, 상기 쿼리 키포인트 클러스터로부터 상기 키포인트들을 제외시키는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  11. 제 1 항에 있어서,
    상기 키포인트는 상기 쿼리 이미지에 대한 스케일 공간에서의 로컬 최대치 화소 또는 로컬 최소치 화소인, 이미지 인식 시의 특징 매칭 방법.
  12. 제 1 항에 있어서,
    상기 키포인트들은 상기 쿼리 이미지의 블러 버전들에 대응하는 복수의 스케일 공간들에 걸쳐 확인되는, 이미지 인식 시의 특징 매칭 방법.
  13. 제 1 항에 있어서,
    상기 키포인트들은 키포인트 매칭에 이용되는 서술자들에 의해 표현되는, 이미지 인식 시의 특징 매칭 방법.
  14. 제 1 항에 있어서,
    상기 키포인트들은, 상기 쿼리 이미지에 대한 스케일 공간에 걸쳐 키포인트들의 공간적 위치들, 또는 상기 키포인트들이 검출된 스케일 공간에서의 스케일 레벨들 중의 적어도 하나에 기초하여 클러스터링되는, 이미지 인식 시의 특징 매칭 방법.
  15. 제 1 항에 있어서,
    상기 쿼리 이미지에 대한 상기 키포인트들은 복수의 이미지 스케일 공간들에 걸쳐 획득되고,
    키포인트 클러스터들의 세트로부터 하나 이상의 저 밀도 클러스터들을 프루닝하는 것 또는 상기 키포인트 클러스터들의 세트에서의 상기 클러스터들 중의 적어도 일부로부터 상기 쿼리 이미지의 하위 레벨 스케일 공간에서 검출된 키포인트들을 프루닝하는 것 중 하나에 의해, 상기 쿼리 이미지에 대한 상기 키포인트들의 수를 감소시키는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  16. 제 15 항에 있어서,
    상기 쿼리 이미지에 대한 상기 감소된 수의 키포인트들에 대하여 서술자들을 생성하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  17. 제 16 항에 있어서,
    상기 서술자들을 생성하기 전에 프루닝된 키포인트들 및 클러스터들을 삭제하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  18. 제 16 항에 있어서,
    상기 쿼리 이미지 또는 상기 쿼리 이미지에서의 대상을 타겟 이미지들에 매칭시키기 위해 상기 감소된 수의 키포인트들에 대한 상기 서술자들을 특징 매칭 디바이스에 송신하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  19. 제 15 항에 있어서,
    상기 키포인트 클러스터들의 세트에서의 상기 클러스터들의 각각에 대해 키포인트 밀도를 획득하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  20. 제 1 항에 있어서,
    상기 쿼리 이미지에 대한 복수의 스케일 공간들에 걸친 키포인트들의 분포를 획득하는 단계; 및
    상기 키포인트들의 분포에 기초하여 상기 쿼리 이미지에 대한 스케일을 추정하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  21. 제 20 항에 있어서,
    상기 이미지 스케일은, 컷오프 스케일이 상기 스케일 공간들 내의 키포인트들의 임계 퍼센티지를 상기 컷오프 스케일까지 보존하도록 상기 스케일 공간들에 걸친 상기 키포인트들의 분포로부터 추정되는, 이미지 인식 시의 특징 매칭 방법.
  22. 제 20 항에 있어서,
    상기 추정된 쿼리 이미지 스케일에 기초하여 키포인트들을 클러스터링하기 위한 커널 사이즈를 선택하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  23. 제 22 항에 있어서,
    상기 선택된 커널 사이즈에서 상기 쿼리 이미지의 블러 버전들을 활용하여 키포인트 클러스터링을 수행하는 단계를 더 포함하는, 이미지 인식 시의 특징 매칭 방법.
  24. 특징 매칭 디바이스로서,
    복수의 타겟 이미지들에 대한 정보를 저장하는 저장 디바이스; 및
    상기 저장 디바이스에 커플링된 처리 회로를 포함하며,
    상기 처리 회로는,
    쿼리 이미지에 대한 복수의 키포인트들을 획득하고;
    키포인트 분포에 기초하여 상기 쿼리 이미지에 대한 키포인트 클러스터들의 세트를 정의하고;
    상기 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해, 상기 쿼리 이미지에 대한 앵커 매치들을 확립하는 것으로서, 상기 앵커 매치들은 임계치를 초과하여 상기 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되는 키포인트 매치들이고, 상기 임계치 미만의 키포인트 매치는 대응하는 하나 이상의 타겟 이미지들에 대한 부분 매치인, 상기 앵커 매치들을 확립하고;
    타겟 키포인트 클러스터에 대한 앵커 매치들에 기초하여 쿼리 키포인트 클러스터를 상기 타겟 키포인트 클러스터에 매칭시키며; 그리고
    클러스터 매칭을 위한 부분 매치들로서 상기 쿼리 키포인트 클러스터로부터 이미 제외되었던 키포인트들을, 후속 기하학적 검증 연산을 위해 상기 쿼리 키포인트 클러스터의 일부로서 유지하도록 구성되는, 특징 매칭 디바이스.
  25. 제 24 항에 있어서,
    상기 임계치는 아웃라이어 매치들을 제외시키도록 선택되고, 상기 아웃라이어 매치들은 거짓 긍정 키포인트 매치들인, 특징 매칭 디바이스.
  26. 제 24 항에 있어서,
    상기 앵커 매치들은, 상기 쿼리 이미지에 대한 스케일 공간 레벨들의 선택된서브세트 내에서 발생하는, 상기 쿼리 이미지에서의 키포인트들에 대한 키포인트 매치들인, 특징 매칭 디바이스.
  27. 제 25 항에 있어서,
    상기 처리 회로는,
    부분 매치가 상기 키포인트에 대해 발견되었는지 및 이러한 매치가 상기 타겟 키포인트 클러스터 내에 있는지 여부에 관한 이진 결정에 기초하여 부분적으로 매칭된 키포인트들을상기 쿼리 키포인트 클러스터에 유지하도록 더 구성되는, 특징 매칭 디바이스.
  28. 제 24 항에 있어서,
    상기 처리 회로는,
    상기 쿼리 이미지에서의 키포인트들을 상기 타겟 이미지들에서의 키포인트들에 매칭시키는 것;
    클러스터 매칭을 위해 상기 쿼리 키포인트 클러스터로부터 부분적으로 매칭된 키포인트들을 제외시키는 것; 및
    키포인트가 그 대응하는 키포인트 클러스터로부터 제외되어야 하는지에 관한 후속 이진 결정을 위해 상기 쿼리 이미지에서의 키포인트들에 대한 키포인트 매치 정보를 유지하는 것
    에 의해 상기 앵커 매치들을 확립하도록 더 구성되는, 특징 매칭 디바이스.
  29. 제 24 항에 있어서,
    상기 쿼리 이미지를 캡처하는 이미지 캡처 디바이스를 더 포함하는, 특징 매칭 디바이스.
  30. 제 24 항에 있어서,
    상기 쿼리 이미지에 대한 키포인트들은 복수의 이미지 스케일 공간들에 걸쳐 획득되고,
    상기 처리 회로는,
    키포인트 클러스터들의 세트로부터 하나 이상의 저 밀도 클러스터들을 프루닝하는 것 또는 상기 키포인트 클러스터들의 세트에서의 상기 클러스터들 중의 적어도 일부로부터 상기 쿼리 이미지의 하위 스케일 공간들에서 검출된 키포인트들을 프루닝하는 것 중 하나에 의해 상기 쿼리 이미지에 대한 상기 키포인트들의 수를 감소시키도록 더 구성되는, 특징 매칭 디바이스.
  31. 제 30 항에 있어서,
    상기 처리 회로는,
    상기 쿼리 이미지에 대한 상기 감소된 수의 키포인트들에 대하여 서술자들을 생성하도록 더 구성되는, 특징 매칭 디바이스.
  32. 제 31 항에 있어서,
    상기 쿼리 이미지 또는 상기 쿼리 이미지에서의 대상을 타겟 이미지들에 매칭시키기 위해 상기 감소된 수의 키포인트들에 대한 상기 서술자들을 특징 매칭 디바이스에 송신하도록 구성된 송신기를 더 포함하는, 특징 매칭 디바이스.
  33. 제 24 항에 있어서,
    상기 처리 회로는,
    상기 쿼리 이미지에 대한 복수의 스케일 공간들에 걸친 키포인트들의 분포를 획득하며; 그리고
    상기 키포인트들의 분포에 기초하여 상기 쿼리 이미지에 대한 스케일을 추정하도록 더 구성되는, 특징 매칭 디바이스.
  34. 특징 매칭 디바이스로서,
    쿼리 이미지에 대한 복수의 키포인트들을 획득하는 수단;
    키포인트 분포에 기초하여 상기 쿼리 이미지에 대한 키포인트 클러스터들의 세트를 정의하는 수단;
    상기 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해, 상기 쿼리 이미지에 대한 앵커 매치들을 확립하는 수단으로서, 상기 앵커 매치들은 임계치를 초과하여 상기 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되는 키포인트 매치들이고, 상기 임계치 미만의 키포인트 매치는 대응하는 하나 이상의 타겟 이미지들에 대한 부분 매치인, 상기 앵커 매치들을 확립하는 수단;
    타겟 키포인트 클러스터에 대한 앵커 매치들에 기초하여 쿼리 키포인트 클러스터를 상기 타겟 키포인트 클러스터에 매칭시키는 수단; 및
    클러스터 매칭을 위한 부분 매치들로서 상기 쿼리 키포인트 클러스터로부터 이미 제외되었던 키포인트들을, 후속 기하학적 검증 연산을 위해 상기 쿼리 키포인트 클러스터의 일부로서 유지하는 수단을 포함하는, 특징 매칭 디바이스.
  35. 특징 매칭 디바이스 상에 동작하는 하나 이상의 명령들을 포함하는 프로세서 판독가능 매체로서,
    상기 하나 이상의 명령들은, 처리 회로에 의해 실행될 경우, 상기 처리 회로로 하여금,
    쿼리 이미지에 대한 복수의 키포인트들을 획득하게 하고;
    키포인트 분포에 기초하여 상기 쿼리 이미지에 대한 키포인트 클러스터들의 세트를 정의하게 하고;
    상기 쿼리 이미지에 대한 키포인트들의 적어도 서브세트를 하나 이상의 타겟 이미지들에 대한 키포인트들에 매칭시키는 것에 의해, 상기 쿼리 이미지에 대한 앵커 매치들을 확립하게 하는 것으로서, 상기 앵커 매치들은 임계치를 초과하여 상기 하나 이상의 타겟 이미지들에서의 키포인트들과 매칭되는 키포인트 매치들이고, 상기 임계치 미만의 키포인트 매치는 대응하는 하나 이상의 타겟 이미지들에 대한 부분 매치인, 상기 앵커 매치들을 확립하게 하고;
    타겟 키포인트 클러스터에 대한 앵커 매치들에 기초하여 쿼리 키포인트 클러스터를 상기 타겟 키포인트 클러스터에 매칭하게 하며; 그리고
    클러스터 매칭을 위한 부분 매치들로서 상기 쿼리 키포인트 클러스터로부터 이미 제외되었던 키포인트들을, 후속 기하학적 검증 연산을 위해 상기 쿼리 키포인트 클러스터의 일부로서 유지하게 하는, 프로세서 판독가능 매체.
KR1020127017098A 2009-12-02 2010-12-02 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체 KR101420549B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US26595509P 2009-12-02 2009-12-02
US61/265,955 2009-12-02
PCT/US2010/058805 WO2011069021A2 (en) 2009-12-02 2010-12-02 Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching

Publications (2)

Publication Number Publication Date
KR20120099111A KR20120099111A (ko) 2012-09-06
KR101420549B1 true KR101420549B1 (ko) 2014-07-16

Family

ID=43734069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017098A KR101420549B1 (ko) 2009-12-02 2010-12-02 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체

Country Status (6)

Country Link
US (1) US8705876B2 (ko)
EP (1) EP2507744A2 (ko)
JP (1) JP5384746B2 (ko)
KR (1) KR101420549B1 (ko)
CN (1) CN102763123B (ko)
WO (1) WO2011069021A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054345A (ko) * 2018-10-25 2020-05-20 현대모비스 주식회사 자율주행을 위한 영상인식 알고리즘의 성능 강화 장치 및 그 제어 방법

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520949B1 (en) * 2008-06-20 2013-08-27 Google Inc. Self-similar descriptor filtering
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9071868B2 (en) * 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
CN102782708A (zh) 2009-12-02 2012-11-14 高通股份有限公司 用于图像辨识的描述符小块的快速子空间投影
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US8842191B2 (en) * 2010-06-03 2014-09-23 Recognition Robotics, Inc. System and method for visual recognition
EP2407803A1 (en) * 2010-07-15 2012-01-18 The European Atomic Energy Community (EURATOM), represented by the European Commission Method for safely identifying moving objects
US8965130B2 (en) * 2010-11-09 2015-02-24 Bar-Ilan University Flexible computer vision
DE102010055974A1 (de) * 2010-12-23 2012-06-28 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zur Bestimmung eines Klassenreferenzdatensatzes für die Klassifizierung von Wertdokumenten
US8565482B2 (en) * 2011-02-28 2013-10-22 Seiko Epson Corporation Local difference pattern based local background modeling for object detection
CN102930493B (zh) * 2011-08-12 2017-08-08 索尼公司 防篡改的图像处理方法和装置
US8666169B2 (en) * 2011-10-24 2014-03-04 Hewlett-Packard Development Company, L.P. Feature descriptors
WO2013071141A1 (en) * 2011-11-09 2013-05-16 Board Of Regents Of The University Of Texas System Geometric coding for billion-scale partial-duplicate image search
CN104025153B (zh) * 2011-12-30 2017-09-15 英特尔公司 粗到细多个视差候选立体匹配
KR101833953B1 (ko) 2012-01-02 2018-03-02 텔레콤 이탈리아 소시에떼 퍼 아찌오니 이미지들을 비교하는 방법 및 시스템
US9031326B2 (en) * 2012-02-16 2015-05-12 Sony Corporation System and method for effectively performing an image categorization procedure
US9153061B2 (en) * 2012-05-04 2015-10-06 Qualcomm Incorporated Segmentation of 3D point clouds for dense 3D modeling
US9430876B1 (en) * 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US20130328760A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Fast feature detection by reducing an area of a camera image
US9727586B2 (en) * 2012-10-10 2017-08-08 Samsung Electronics Co., Ltd. Incremental visual query processing with holistic feature feedback
WO2014056537A1 (en) 2012-10-11 2014-04-17 Longsand Limited Using a probabilistic model for detecting an object in visual data
US8861793B1 (en) * 2012-11-05 2014-10-14 Pixelworks, Inc. Depth map generation based on vanishing lines and vanishing points
US9235780B2 (en) * 2013-01-02 2016-01-12 Samsung Electronics Co., Ltd. Robust keypoint feature selection for visual search with self matching score
US9338461B2 (en) * 2013-02-04 2016-05-10 Mitsubishi Electric Research Laboratories, Inc Method and system for encoding collections of images and videos
WO2014201176A1 (en) 2013-06-11 2014-12-18 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
US9158988B2 (en) 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
GB2516037A (en) * 2013-07-08 2015-01-14 Univ Surrey Compact and robust signature for large scale visual search, retrieval and classification
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
ITMI20131244A1 (it) * 2013-07-24 2015-01-25 Telecom Italia Spa Identificazione di keypoint
US10249029B2 (en) 2013-07-30 2019-04-02 Apple Inc. Reconstruction of missing regions of images
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
JP6321153B2 (ja) 2013-10-21 2018-05-09 マイクロソフト テクノロジー ライセンシング，エルエルシー モバイルビデオ検索
US9839409B2 (en) 2013-11-21 2017-12-12 Samsung Medison Co., Ltd. Image display system and method of fitting multiple models to image
US9466009B2 (en) 2013-12-09 2016-10-11 Nant Holdings Ip. Llc Feature density object classification, systems and methods
US9230159B1 (en) * 2013-12-09 2016-01-05 Google Inc. Action recognition and detection on videos
US9280560B1 (en) 2013-12-18 2016-03-08 A9.Com, Inc. Scalable image matching
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
CN103678660B (zh) * 2013-12-24 2017-01-11 北京邮电大学 一种图像检索方法
US9454806B2 (en) * 2014-01-21 2016-09-27 Nvidia Corporation Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering
US9558712B2 (en) 2014-01-21 2017-01-31 Nvidia Corporation Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image
WO2015123647A1 (en) * 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
CN106415606B (zh) * 2014-02-14 2019-11-08 河谷控股Ip有限责任公司 一种基于边缘的识别、系统和方法
US9665606B2 (en) 2014-02-14 2017-05-30 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
JP6448767B2 (ja) 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
WO2015171815A1 (en) 2014-05-06 2015-11-12 Nant Holdings Ip, Llc Image-based feature detection using edge vectors
JP6431302B2 (ja) * 2014-06-30 2018-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107077686B (zh) 2014-10-23 2020-11-06 日本电气株式会社 图像处理装置和图像处理方法
KR101644586B1 (ko) 2014-11-18 2016-08-02 상명대학교서울산학협력단 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
US9792675B1 (en) * 2014-12-05 2017-10-17 Matrox Electronic Systems, Ltd. Object recognition using morphologically-processed images
CA2973740C (en) 2015-01-30 2021-06-08 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
EP3259920A1 (en) 2015-02-19 2017-12-27 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation
JP6336932B2 (ja) * 2015-03-03 2018-06-06 富士フイルム株式会社 細胞群検出装置および方法並びにプログラム
US9305228B1 (en) 2015-03-20 2016-04-05 Bank Of America Corporation Processing damaged items using image data lift
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
KR101713197B1 (ko) * 2015-04-01 2017-03-09 주식회사 씨케이앤비 서버 컴퓨팅 장치 및 이를 이용한 콘텐츠 인식 기반의 영상 검색 시스템
US9679431B2 (en) 2015-04-15 2017-06-13 Bank Of America Corporation Detecting duplicate deposit items at point of capture
MX2017013128A (es) 2015-04-17 2018-01-26 Inscape Data Inc Sistemas y metodos para reducir densidad de los datos en grandes conjuntos de datos.
US9747516B2 (en) * 2015-05-12 2017-08-29 Qualcomm Incorporated Keypoint detection with trackability measurements
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
EP3113076A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for deriving an image similarity measure based on repetitive feature points
EP3113069A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for deriving a feature point based image similarity measure
JP6903653B2 (ja) 2015-07-16 2021-07-14 インスケイプ データ インコーポレイテッド 共通メディアセグメントの検出
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
CA2992529C (en) 2015-07-16 2022-02-15 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
WO2017011768A1 (en) 2015-07-16 2017-01-19 Vizio Inscape Technologies, Llc Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US9754182B2 (en) * 2015-09-02 2017-09-05 Apple Inc. Detecting keypoints in image data
US9734587B2 (en) * 2015-09-30 2017-08-15 Apple Inc. Long term object tracker
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
AU2017229500A1 (en) 2016-03-08 2018-08-30 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US10282607B2 (en) 2016-10-28 2019-05-07 The Nielsen Company (Us), Llc Reducing scale estimate errors in shelf images
CN106910210B (zh) * 2017-03-03 2018-09-11 百度在线网络技术（北京）有限公司 用于生成图像信息的方法和装置
JP7118998B2 (ja) 2017-04-06 2022-08-16 インスケイプ データ インコーポレイテッド メディア視聴データを使用してデバイスマップの精度を改善させるためのシステムおよび方法
IT201700058961A1 (it) * 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
DE112017008101T5 (de) * 2017-09-27 2020-07-02 Intel Corporation Autonome roboter und verfahren zum betreiben derselben
CN109949218B (zh) * 2017-12-21 2023-04-18 富士通株式会社 图像处理装置和方法
KR102092086B1 (ko) 2018-04-27 2020-03-23 이석재 에어 블라스트 머신
KR102184626B1 (ko) 2018-07-16 2020-11-30 이석재 블라스트머신 주행장치
US11238070B1 (en) * 2018-07-17 2022-02-01 A9.Com, Inc. Dense cluster filtering
TWI703535B (zh) * 2018-10-25 2020-09-01 南茂科技股份有限公司 邊緣缺陷檢查方法
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
US11386636B2 (en) 2019-04-04 2022-07-12 Datalogic Usa, Inc. Image preprocessing for optical character recognition
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
KR102444544B1 (ko) * 2019-05-24 2022-09-19 한국전자통신연구원 영상의 전처리 방법 및 장치
CN110309060B (zh) * 2019-05-24 2021-08-17 平安科技（深圳）有限公司 识别算法更新的检测方法、装置、存储介质及计算机设备
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof
CN110517461B (zh) * 2019-08-30 2022-03-04 成都智元汇信息技术股份有限公司 一种防止人携带包裹逃避安检的方法
CN110879987B (zh) * 2019-11-21 2023-06-09 成都东方闻道科技发展有限公司 一种识别试题作答内容的方法
US11257230B2 (en) 2020-02-04 2022-02-22 Nio Usa, Inc. Adaptive feature map anchor pruning
US11397869B2 (en) * 2020-03-04 2022-07-26 Zerofox, Inc. Methods and systems for detecting impersonating social media profiles
CN111625665B (zh) * 2020-05-27 2023-08-25 安徽淘云科技股份有限公司 阈值确定和图像检索方法、装置、电子设备和存储介质
US11475240B2 (en) * 2021-03-19 2022-10-18 Apple Inc. Configurable keypoint descriptor generation
CN113408569B (zh) * 2021-04-27 2022-07-19 中国人民解放军陆军军医大学 基于密度聚类的图像配准方法
CN113591937B (zh) * 2021-07-09 2023-09-26 国家电网有限公司 一种基于局部距离编码的电力系统关键节点识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508310A (ja) 2007-12-20 2011-03-10 イーストマン コダック カンパニー 場所別画像分類

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111931A2 (en) 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7706603B2 (en) 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7680748B2 (en) 2006-02-02 2010-03-16 Honda Motor Co., Ltd. Creating a model tree using group tokens for identifying objects in an image
US7949186B2 (en) 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
CN101299217B (zh) * 2008-06-06 2010-09-08 北京搜狗科技发展有限公司 一种地图信息处理的方法、装置和系统
US8144947B2 (en) * 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
CN100590658C (zh) * 2008-07-11 2010-02-17 北京航空航天大学 双向约束的二维物点与像点匹配方法
US8254697B2 (en) * 2009-02-02 2012-08-28 Microsoft Corporation Scalable near duplicate image search with geometric constraints
US9204040B2 (en) * 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
US8554021B2 (en) * 2010-10-19 2013-10-08 Palo Alto Research Center Incorporated Finding similar content in a mixed collection of presentation and rich document content using two-dimensional visual fingerprints

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508310A (ja) 2007-12-20 2011-03-10 イーストマン コダック カンパニー 場所別画像分類

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIVIC, J. et al., "Video data mining using configurations of viwepoint invariant regions", CONF CVPR (2004. 6.27.) *
WANG, W. et al., "Object retrieval using configurations of salient regions", ACM CONFION CONTENT-BASED AND VIDEO RETRIEVAL, pp. 67-74, 2008 *
ZHONG WU et al., "Bundling features for large scale partial-duplicate web image search", COMPUTER VISION AND PATTERN RECOGNITION, CVPR 2009, IEEE CONFERENCE, pp. 25-32, (2009. 6.20.) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054345A (ko) * 2018-10-25 2020-05-20 현대모비스 주식회사 자율주행을 위한 영상인식 알고리즘의 성능 강화 장치 및 그 제어 방법
KR102592450B1 (ko) 2018-10-25 2023-10-23 현대모비스 주식회사 자율주행을 위한 영상인식 알고리즘의 성능 강화 장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP2013513167A (ja) 2013-04-18
WO2011069021A3 (en) 2011-08-18
EP2507744A2 (en) 2012-10-10
US8705876B2 (en) 2014-04-22
WO2011069021A2 (en) 2011-06-09
JP5384746B2 (ja) 2014-01-08
KR20120099111A (ko) 2012-09-06
CN102763123B (zh) 2015-03-25
CN102763123A (zh) 2012-10-31
US20110299770A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
KR101420549B1 (ko) 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체
KR101420550B1 (ko) 이미지 인식을 위한 기술자 패치들의 고속 서브스페이스 투영을 위한 방법, 디바이스 및 컴퓨터-판독가능 저장 매체
US8625902B2 (en) Object recognition using incremental feature extraction
US8582889B2 (en) Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
US7382897B2 (en) Multi-image feature matching using multi-scale oriented patches
JP5607261B2 (ja) オブジェクト認識における特徴生成を改善するためのシステム及び方法
Psyllos et al. M-SIFT: A new method for Vehicle Logo Recognition
KR20130019430A (ko) 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
Patterson et al. Object detection from large-scale 3d datasets using bottom-up and top-down descriptors
CN114419349B (zh) 一种图像匹配方法和装置
CN104520878A (zh) 提供用于描述对象表示的至少一个特征的特征描述符的方法
Groeneweg et al. A fast offline building recognition application on a mobile telephone
Prakhya et al. On creating low dimensional 3D feature descriptors with PCA
Korrapati et al. Hierarchical visual mapping with omnidirectional images
EP4118621A1 (en) Methods and apparatuses for detecting a change in an area of interest
Xu et al. Image matching optimization based on Taguchi method and adaptive spatial clustering with SIFT features
Thinh et al. Depth-aware salient object segmentation
Taime et al. Fast point matching using corresponding circles
Sibiryakov et al. Graph-based multiple panorama extraction from unordered image sets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee