KR20120116970A - 균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술 - Google Patents

균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술 Download PDF

Info

Publication number
KR20120116970A
KR20120116970A KR1020127020776A KR20127020776A KR20120116970A KR 20120116970 A KR20120116970 A KR 20120116970A KR 1020127020776 A KR1020127020776 A KR 1020127020776A KR 20127020776 A KR20127020776 A KR 20127020776A KR 20120116970 A KR20120116970 A KR 20120116970A
Authority
KR
South Korea
Prior art keywords
image
scale
space
smoothed
scale difference
Prior art date
Application number
KR1020127020776A
Other languages
English (en)
Other versions
KR101420551B1 (ko
Inventor
선딥 바다디
존 에이치 홍
오누어 씨 함시키
총 유 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120116970A publication Critical patent/KR20120116970A/ko
Application granted granted Critical
Publication of KR101420551B1 publication Critical patent/KR101420551B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

정규화 프로세스는 조명 변화들이 이미지에서의 특징/키포인트 검출에 미치는 영향을 완전히 또는 실질적으로 감소시키기 위해 스케일 차이 공간에서 구현된다. 이미지는 이미지에 대한 평활화된 스케일 공간을 생성하기 위해 평활화 함수를 이용하여 이미지를 점진적으로 블러화함으로써 처리될 수도 있다. 스케일 차이 공간은 이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 생성될 수도 있다. 정규화된 스케일 차이 공간 이미지는 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 생성될 수도 있고, 여기서 이미지의 제 3 평활화 버전은 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활하다. 정규화된 스케일 차이 공간 이미지는 그 후에 이미지에 대한 하나 이상의 특징들/키포인트들을 검출하는데 이용될 수도 있다.

Description

균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술{SCALE SPACE NORMALIZATION TECHNIQUE FOR IMPROVED FEATURE DETECTION IN UNIFORM AND NON-UNIFORM ILLUMINATION CHANGES}
35 U.S.C.§119 하에서의 우선권 주장
본 특허 출원은 2010년 1월 8일자로 출원된, 발명의 명칭이 "Keypoint Stabilization Technique"이며 이 출원의 양수인에게 양도되고 본 명세서에서 참조로서 통합된 미국 가출원 제61/293,437호에 우선권을 주장한다.
분야
하나의 특징은 컴퓨터 비전에 관한 것이고, 더욱 상세하게는, 이미지 인식 시스템들의 성능 및/또는 효율을 개선하기 위한 방법들 및 기술들에 관한 것이다.
다양한 애플리케이션들이 시각적 표현 (예컨대, 이미지 또는 화상) 에서 대상들을 식별할 수 있는 머신 또는 프로세서를 가지는 것은 유리할 수도 있다. 컴퓨터 비전 분야는 대상 또는 특징이 하나 이상의 키포인트들을 식별하는 디스크립터들에 의해 특징지어질 수도 있는, 이미지에서 대상들 또는 특징들을 식별하는 것을 허용하는 기술들 및/또는 알고리즘들을 제공하는 것을 시도한다. 이들 기술들 및/또는 알고리즘들, 예컨대 스케일 불변 특징 변환 (SIFT) 은 또한 종종 다른 애플리케이션들 중에서, 이미지 인식, 대상 검출, 이미지 매칭, 3차원 구조 구성, 스테레오 대응 (correspondence), 및/또는 모션 추적, 얼굴 인식에 적용된다.
일반적으로, 대상 또는 특징 인식은 특징 식별, 이미지 검색 (retrieval), 및/또는 대상 인식의 목적을 위해 이미지에서 관심 있는 포인트들 (또한 키포인트들이라고 불림) 및/또는 그 키포인트들 주위의 로컬화된 특징들을 식별하는 것을 수반할 수도 있다. 특징들에 대하여 높은 안정성 및 반복성을 가지는 것은 이러한 인식 알고리즘들에서 매우 중요하다. 따라서, 키포인트들이 이미지 스케일 변화들 및/또는 회전에 대해 불변하고, 실질적인 왜곡 범위, 시점에서의 변화들, 및/또는 조명에서의 노이즈 및 변화에 대해 강건한 매칭을 제공하도록, 키포인트들이 선택 및/또는 처리될 수도 있다. 게다가, 이미지 검색 및 대상 인식과 같은 작업들에 매우 적합하도록 하기 위하여, 특징 디스크립터들은, 단일 특징이 복수의 타겟 이미지들로부터의 대형 데이터베이스의 특징들에 비해 높은 확률로 정확하게 매칭될 수 있다는 점에서 구별되는 것이 바람직할 수도 있다.
이미지에서 키포인트들이 검출되고 위치결정된 후, 키포인트들은 다양한 디스크립터들을 이용하는 것에 의해 식별될 수도 있거나 또는 서술될 수도 있다. 예를 들어, 디스크립터들은 이미지들에 있는 콘텐츠의 시각적 특징들, 이를테면 다른 이미지 특성들 중에서 형상, 컬러, 텍스처, 회전 및/또는 모션을 표현할 수도 있다. 키포인트들에 대응하고 디스크립터들에 의해 표현되는 개개의 특징들은 알려진 대상들로부터의 특징들의 데이터베이스에 매칭된다.
이미지에 대한 키포인트들을 식별하고 선택하는 것의 일부분으로서, 선택된 몇몇 포인트들은 정확성 또는 신뢰성의 부족으로 인해 폐기되어야만 할 수도 있다. 예를 들면, 몇몇 초기에 검출된 포인트들은 에지들을 따라 불량한 콘트라스트 및/또는 불량한 국부화를 이유로 거부될 수도 있다. 그러한 거부들은 조명, 잡음 및 배향 변화들과 관련된 키포인트 안정성을 증가시키는 데 있어 중요하다. 또한, 특징 매칭의 반복성을 감소시키는 오류 키포인트 거부들을 최소화하는 것이 중요하다. 그러나, 공간적으로 변화하는 조명 변화들을 가지는 것은, 쉐도잉 (shadowing) 과 같은 영향들이 관심 있는 특징들이 완전히 무시되게 하여 대상 인식에서 반복성을 감소시킬 수도 있기 때문에, 특징 검출에 대하여 상당한 문제점을 갖는다.
그러므로, 대상 인식 알고리즘들 내에서 특징 선택을 위해 로컬 및 글로벌 조명 변화들에 적합한 임계치들을 정의하는 방법 또는 접근 방식이 필요하다.
다음에서는 일부 실시예들의 기본적인 이해를 제공하기 위하여 하나 이상의 실시예들의 간략화된 개요를 제시한다. 이 개요는 모든 의도된 실시예들의 폭넓은 개관이 아니고, 모든 실시예들의 핵심 또는 중대 요소들을 확인하려는 의도도 아니며 임의의 또는 모든 실시예들의 범위를 정확하게 서술하고자 한 의도도 아니다. 그것의 유일한 목적은 하기에서 제시되는 더욱 상세한 설명에 대한 서두로서 하나 이상의 실시예들의 일부 개념들을 단순화된 형태로 제시하는 것이다.
이미지에서 키포인트/특징 검출에 대한 조명 변화들의 영향들을 감소시키기 위해 이미지 특징 검출 디바이스의 운용 방법이 제공된다. 이미지는 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브되어 이미지의 복수의 평활화 버전들을 획득할 수도 있고, 복수의 평활화 버전들은 스케일 공간 피라미드를 정의한다. 스케일 차이 공간 이미지는 이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 생성될 수도 있다. 이미지의 2 개의 상이한 평활화 버전들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들에 있을 수도 있다. 예를 들면, 이미지의 제 3 평활화 버전은 이미지의 제 2 개의 상이한 평활화 버전들에 대한 스케일들 (예컨대, 평활화 커널들) 중 더 큰 스케일과 동일하거나 더 넓은 스케일 (예컨대, 평활화 커널) 을 가질 수도 있다. 이러한 프로세스는 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하도록 반복될 수도 있고, 스케일 차이 공간 이미지는 스케일 차이 공간의 일부를 형성한다.
스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써, 정규화된 스케일 차이 공간 이미지가 생성될 수도 있고, 여기서 이미지의 제 3 평활화 버전은 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활하다. 이미지에 대한 하나 이상의 특징들의 검출은 정규화된 스케일 차이 공간 이미지를 이용함으로써 수행될 수도 있다. 이미지에 대한 하나 이상의 특징들은 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 상기 정규화된 스케일 차이 공간을 이용하여 식별될 수도 있다. 각각의 특징은 키포인트 및 그 주변 포인트들에 관한 정보를 포함할 수도 있다. 이미지에 대한 디스크립터들은 식별된 하나 이상의 특징들에 기초하여 생성될 수도 있다.
유사하게, 이미지 특징 검출 디바이스는 이미지에서 키포인트/특징 검출에 대한 조명 변화들의 영향들을 감소시키기 위해 제공될 수도 있다. 특징 검출 디바이스는: 스케일 공간 생성기, 스케일 차이 공간 생성기, 스케일 차이 공간 생성기 정규화기, 특징 검출기 및/또는 특징 디스크립터 생성기를 포함할 수도 있다. 스케일 공간 생성기는 이미지를 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브하여 이미지의 복수의 평활화 버전들을 획득하도록 구성될 수도 있고, 복수의 평활화 버전들은 스케일 공간 피라미드를 정의한다. 스케일 차이 공간 생성기는 이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 스케일 차이 공간 이미지를 생성하도록 구성될 수도 있다. 이미지의 2 개의 상이한 평활화 버전들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들일 수도 있다. 스케일 차이 공간 생성기는, 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하도록 더 구성될 수도 있고, 스케일 차이 공간 이미지는 스케일 차이 공간의 일부를 형성한다.
스케일 차이 공간 생성기 정규화기는 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 정규화된 스케일 차이 공간 이미지를 생성하도록 구성될 수도 있으며, 여기서 이미지의 제 3 평활화 버전은 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활하다. 이미지의 제 3 평활화 버전은 이미지의 제 2 개의 상이한 평활화 버전들에 대한 스케일들 (예컨대, 평활화 커널) 중 더 큰 스케일과 동일하거나 더 넓은 스케일 (예컨대, 평활화 커널) 을 가질 수도 있다.
특징 검출기는 정규화된 스케일 차이 공간 이미지를 이용하여 이미지에 대한 하나 이상의 특징들을 검출하도록 구성될 수도 있다. 특징 검출기는 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 정규화된 스케일 차이 공간을 이용하여 이미지에 대한 특징들을 식별하도록 구성될 수도 있다. 특징 디스크립터 생성기는 식별된 하나 이상의 특징들에 기초하여 이미지에 대한 디스크립터들을 생성하도록 구성될 수도 있다.
다양한 특징들, 특성, 및 이점들은 하기에 언급되는 상세한 설명으로부터 유사한 도면부호들이 전체에 걸쳐 대응하여 식별하는 도면들과 결합하여 취해질 때 명확하게 될 것이다.
도 1 은 쿼리된 이미지에 대상 인식을 수행하기 위한 기능적 스테이지들을 도시하는 블록도이다.
도 2 는 예시적인 이미지 프로세싱 스테이지에서의 가우시안 스케일 공간 생성을 도시한다.
도 3 은 예시적인 이미지 프로세싱 스테이지에서의 특징 검출을 도시한다.
도 4 는 예시적인 이미지 프로세싱 스테이지에서의 특징 디스크립터 추출을 도시한다.
도 5 는 조명 불변 특징/키포인트 검출을 위한 스케일 공간 정규화의 일 실시예를 도시한다.
도 6 은 정규화된 스케일 차이 공간의 일 레벨이 획득될 수도 있는 방식의 일 실시예를 도시한다.
도 7 은 조명에서의 변화들에 영향받지 않는 개선된 특징 검출을 위한 정규화된 스케일 차이 공간을 생성하는 방법을 도시한다.
도 8 (도 8a, 8b, 8c 를 포함함) 은 종래의 특징 검출 접근방식들을 이용하여 이미지에 대한 특징 검출이 조명에서의 변화들로 인해 영향받을 수도 있는 방식을 도시한다.
도 9 (도 9a, 9b, 9c 를 포함함) 는 특징 검출 이전에 스케일 차이 공간을 정규화하는 것이 조명 변화들에 관계없이, 도 8 과 비교할 때 더 많은 특징들을 검출하도록 지원하는 방식을 도시한다.
도 10 (도 10a 및 10b 를 포함함) 은 가우시안 스케일 차이 공간과 정규화된 가우시안 스케일 차이 공간 간의 비교를 도시한다.
도 11 (도 11a 및 11b 를 포함함) 은 스케일 차이 공간 정규화가 키포인트 매칭 검증에 미치는 영향을 도시한다.
도 12 는 조명 불변 특징 검출 디바이스의 일 실시예를 도시하는 블록 다이어그램이다.
도 13 은 특징 검출을 위해 정규화된 스케일 차이 공간을 이용하는 이미지 매칭 디바이스의 일 실시예를 도시하는 블록 다이어그램이다.
도 14 는 이미지 또는 대상 인식을 위해 이미지 프로세싱을 수행하도록 구성된 예시적인 모바일 디바이스를 도시하는 블록 다이어그램이다.
도 15 는 정규화된 스케일 차이 공간을 이용하는 특징 검출 방법을 도시한다.
유사한 도면부호들이 그 전체에서 유사한 요소들을 지칭하는데 사용되는 도면들을 참조하여 다양한 실시형태들이 지금부터 설명된다. 다음의 설명에서, 설명을 목적으로, 수많은 구체적인 세부내용들이 하나 이상의 실시예들의 철저한 이해를 제공하기 위하여 언급된다. 그러나, 이러한 실시예(들) 가 이들 구체적인 세부내용들 없이 실시될 수도 있다는 것은 명백할 것이다. 다른 경우들에서, 잘 알려진 구조들 및 디바이스들은 하나 이상의 실시예들을 설명하는 것을 용이하게 하기 위하여 블록도 형태로 도시된다.
개요
본 명세서에서 설명되는 다양한 특징들은 이미지 인식의 속도 및/또는 효율을 개선하는 것에 관련된다. 제 1 양태에 따르면, 이미지에 걸쳐 (균일하거나 불균일한) 조명의 영향들은 특징/키포인트 검출 이전에 스케일 차이 공간을 정규화함으로써 제거되거나 감소된다. 그 후에, 특징/키포인트 검출은 정규화된 스케일 차이 공간에 수행된다.
일반적으로, 이미지에서의 조명은 공간적으로 변화하는 함수에 의해 표현될 수 있는 것으로 인식된다. 따라서, 조명의 영향 (예컨대, 음영, 밝은 이미지, 어두운 이미지, 등) 은 조명 함수를 제외시키는 정규화 프로세스에 의한 특징/키포인트 검출을 위해 상쇄될 수 있다. 예를 들면, 이미지는 이미지의 평활화된 스케일 공간 L 을 생성하기 위한 평활화 인자들의 범위를 가지는 함수 G (즉, 커널 또는 필터) 를 이용하여 이미지를 점진적으로 블러화시킴으로써 처리될 수도 있다. 이미지에 대한 스케일 차이 공간 D 은 평활화된 스케일 공간 레벨들의 인접하는 쌍들간의 차이 (Li-Li -1) 를 취득함으로써 획득될 수도 있다. 스케일 차이 공간 L 의 정규화는 각각의 스케일 차이 공간 레벨 Di 을, 특정 스케일 차이 공간 레벨 Di 을 획득하는데 이용되는 스케일 공간 레벨들 Li 중 가장 평활한 것만큼 평활하거나 더 평활한 평활화된 스케일 공간 레벨 Lk 로 나눔으로써 달성된다.
예시적인 대상 인식 프로세스
도 1 은 쿼리된 이미지에 대상 인식을 수행하기 위한 기능적 스테이지들을 도시하는 블록도이다. 이미지 캡처 스테이지 (102) 에서, 관심 있는 이미지 (108) (즉, 쿼리된 이미지) 가 캡처될 수도 있다. 이미지 (108) 는 디지털 캡처된 이미지를 획득하기 위해 하나 이상의 이미지 센서들 및/또는 아날로그-디지털 컨버터를 포함할 수도 있는 이미지 캡처 디바이스에 의해 캡처될 수도 있다. 이미지 센서들 (예컨대, 전하 결합 디바이스들 (CCD), 상보형 금속 반도체들 (CMOS)) 은 광을 전자들로 변환할 수도 있다. 전자들은 아날로그 신호를 형성할 수도 있고, 그 후에 아날로그 신호는 아날로그-디지털 컨버터에 의해 디지털 값들로 변환된다. 이러한 방식으로, 이미지 (108) 는, 이미지 I(x,y) 를 예컨대, 대응하는 컬러, 조명 및/또는 다른 특징들을 가지는 복수의 픽셀들로서 정의할 수도 있는, 디지털 포맷으로 캡처될 수도 있다.
이미지 프로세싱 스테이지 (104) 에서, 캡처된 이미지 (108) 는 대응하는 스케일 공간 (110; 예컨대, 가우시안 스케일 공간) 을 생성하며, 특징 검출 (112) 을 수행하고, 특징 디스크립터 추출 (116) 을 수행하는 것에 의해 처리된다. 특징 검출 (112) 은, 나중에 복수의 디스크립터들을 획득하기 위해 특징 디스크립터 추출 (116) 에서 사용될 수 있는, 캡처된 이미지 (108) 에 대해 매우 독특한 키포인트들 및/또는 기하학적으로 관심 있는 키포인트들을 식별할 수도 있다. 이미지 비교 스테이지 (106) 에서, 이들 디스크립터들은, 알려진 디스크립터들의 데이터베이스로 (예컨대, 키포인트들 및/또는 키포인트들의 다른 특성들 또는 키포인트들 주위의 패치들을 비교하는 것에 의해) 특징 매칭 (122) 을 수행하는데 사용된다. 기하학적 검증 또는 일관성 체킹 (124) 이 그 다음에 정확한 특징 매치들을 확인하고 매치 결과들 (126) 을 제공하기 위해 키포인트 매치들에 수행된다. 이러한 방식으로, 쿼리된 이미지가 타겟 이미지들의 데이터베이스와 비교될 수도 있거나, 및/또는 타겟 이미지들의 데이터베이스로부터 식별될 수도 있다.
이미지에서 조명의 변화들은 이미지에 대한 특징/키포인트 인식의 안정성 및/또는 반복성에 유해한 영향을 미칠 수도 있는 것이 관찰된다. 즉, 이미지에서 로컬 및/또는 글로벌 조명 변화들은 이미지에 대한 특징들/키포인트들의 검출에 영향을 미칠 수도 있다. 예를 들어, 특징들/키포인트들의 수 및/또는 위치는 이미지에서 조명 (예컨대, 음영, 콘트라스트, 등) 에 의존하여 변화할 수도 있다. 따라서, 이미지에서 특징/키포인트 검출 이전에 로컬 및/또는 글로벌 조명 변화들의 영향을 최소화하거나 실질적으로 제거하는 것이 유리할 것이다.
이를 실행하기 위한 한가지 방식은 특징/키포인트 검출을 시작하기 전에 로컬 및/또는 글로벌 조명 변화들을 제거하거나 이에 대하여 보상하도록 이미지를 자체적으로 처리하는 것일 수도 있다. 추가로, 로컬 및/또는 글로벌 조명 변화들이 이미지에 존재하는지 여부를 결정하는 것은 종종 어려운 일이다. 이러한 프로세스는 또한 데이터베이스 내의 이미지들에 적용되어야 한다. 조명 변화들에 대하여 수정하기 위해 타겟 이미지와 데이터베이스 이미지들 양자를 먼저 처리하지 않으면, 특징/키포인트 매칭이 성공하지 않을 수도 있다. 그러나 조명이 특정 이미지에 영향을 미칠 수도 있는 방식에 대한 사전 지식이 없다면, 이러한 프로세스는 자동으로 구현하는 것이 상당히 어렵다.
그러므로, 상당한 프로세싱 오버헤드 없이 수행될 수 있는 대안이 필요하다. 일 실시예에 따르면, 특징 검출을 위해 이미지에 걸쳐 (균일하거나 불균일한) 조명의 영향들은 특징/키포인트 검출이 스케일 차이 공간에 수행되기 전에 스케일 차이 공간을 정규화시킴으로써 제거되거나 감소될 수도 있다. 이러한 정규화 프로세스는 이미 사용되고 있는 평활화된 스케일링 공간을 이용하여 수행될 수도 있고, 따라서 임의의 추가의 계산을 최소화할 수도 있다.
일 실시예에 따르면, 스케일 공간 정규화기 (114) 는 조명 변화들이 이미지에서 키포인트/특징 인식에 미치는 영향들을 감소시키거나 제거하기 위해 스케일링 공간 생성 (110) 의 일부분으로서 구현될 수도 있다.
도 2 는 예시적인 이미지 프로세싱 스테이지 (104) 에서의 가우시안 (Gaussian) 스케일 공간 생성을 도시한다. 다수의 알고리즘들, 이를테면 스케일 불변 특징 변환 (Scale Invariant Feature Transform; SIFT) 이 이미지들에서의 특징 검출을 수행하도록 전개된다. 이미지에서 특정 대상들의 검출을 위한 제 1 단계는 쿼리된 대상을 그것의 로컬 특징들에 기초하여 분류하는 것이다. 목표는, 예를 들어, 조명, 이미지 잡음, 회전, 스케일링, 및/또는 시점에서의 작은 변화들에 불변한 및/또는 강건한 특징들을 식별하고 선택하는 것이다. 다시 말하면, 쿼리 이미지와 비교 타겟 이미지 사이의 매치들은 두 이미지들 사이의 조명, 이미지 잡음, 회전, 스케일, 및/또는 시점에서의 차이들에도 불구하고 발견될 것이다. 이를 실행하는 하나의 방법은 이미지의 패치들에 대한 극값 검출 (예컨대, 로컬 최대치들 또는 최소치들) 을 수행하여, 매우 독특한 특징들 (예컨대, 이미지에 있는 독특한 포인트들, 픽셀들, 및/또는 영역들) 을 식별하는 것이다.
SIFT 는 조명에서의 변화들, 이미지 잡음, 회전, 스케일링, 및/또는 시점의 작은 변화들에 대하여 상당히 불변인 로컬 특징들을 검출하고 추출하는 하나의 접근방식이다. SIFT를 위한 이미지 프로세싱 스테이지 (104) 는 (a) 스케일 공간 극값 검출, (b) 키포인트 국부화 (localization), (c) 배향 할당, 및/또는 (d) 키포인트 디스크립터들의 생성을 포함할 수도 있다. 무엇보다도, SURF (Speed Up Robust Features), GLOH (Gradient Location and Orientation Histogram), LESH (Local Energy based Shape Histogram), CHoG (Compressed Histogram of Gradients) 을 포함하는, 특징 검출 및 후속하는 특징 디스크립터 생성을 위한 대안적인 알고리즘들이, 또한 본 명세서에서 설명되는 특징들로부터 유리할 수도 있다는 것이 명백할 것이다.
가우시안 스케일 공간 생성 (110) 에서, 디지털 이미지 I(x, y)(108) 는 점차 가우시안 블러화되어 (즉, 평활화되어) 가우시안 피라미드 (202) 를 구성한다. 가우시안 블러화 (평활화) 는 일반적으로 스케일 cσ에서 원래의 이미지 I(x, y) 를 가우시안 블러화/평활화 함수 G(x, y, cσ) 로 컨벌브 (convolve) 하여 가우시안 블러화/평활화 함수 L(x, y, cσ) 가 L(x, y, cσ) = G(x, y, cσ)*I(x, y) 로서 정의되게 하는 것을 수반한다. 여기서, G 는 가우시안 커널이고, cσ는 이미지 I(x, y) 를 블러화하는데 이용되는 가우시안 함수의 표준 편차를 나타낸다. 승수 c 가 변화되면 (c0 < c1 < c2 < c3 < c4), 표준 편차 (cσ) 가 변화하고 점진적인 블러화/평활화가 획득된다. 시그마 σ는 기본 스케일 변수 (예컨대, 가우시안 커널의 폭) 이다. 상위 스케일들 (즉, 저 해상도) 은 하위 스케일들 (즉, 고 해상도) 보다 더 블러화/평활화된다. 따라서 스케일 레벨들이 더 넓을 수록 (즉, 저 해상도), 이미지는 더 평활화된다 (더 블러화된다).
초기 이미지 I(x, y) 가 블러화된 이미지들 (L) 을 생성하도록 가우시안들 (G) 로 점차 컨벌브될 경우에, 블러화된 이미지들 (L) 은 스케일 공간에서 상수 인자 (c) 에 의해 분리된다. 가우시안 블러화된 (평활화된) 이미지들 (L) 의 수가 증가하고 가우시안 피라미드 (202) 를 위해 제공된 근사치가 연속 공간에 접근함에 따라, 2 개의 스케일들 또한 하나의 스케일에 접근한다. 일 실시예에서, 컨벌브된 이미지들 (L) 은 옥타브마다 그룹화될 수 있으며, 여기서 옥타브는 표준 편차 (σ) 의 값의 2 배에 해당할 수도 있다. 더구나, 승수들 (c) (예컨대, c0 < c1 < c2 < c3 < c4...) 의 값들은, 고정된 수의 컨벌브된 이미지들 (L) 이 옥타브마다 획득되도록 선택된다. 스케일링의 각각의 옥타브는 명백한 이미지 리사이징에 해당한다. 따라서, 원래의 이미지 I(x, y) 가 점진적 블러화/평활화 함수에 의해 블러화/평활화된다면, 픽셀들의 수는 계속해서 감소된다. 화이트 가우시안 평활화 함수들이 본 명세서에서 설명을 목적으로 이용되지만, 다른 타입의 평활화 커널들/함수들이 채용될 수 있음에 유의한다.
가우시안 차이 (DoG) 피라미드 (204) 는 가우시안 피라미드 (202) 에서 임의의 두 개의 연속하는 가우시안-블러 이미지들의 차이를 계산하는 것에 의해 구성될 수도 있다. DoG 공간 (204) 에서, D(x, y, a) = L(x, y, cnσ) - L(x, y, cn -1σ) 이다. DoG 이미지 D (x, y, σ) 는 스케일들 (cnσ 및 cn -1σ) 에서 2 개의 인접하는 가우시안 블러화된 이미지들 (L) 간의 차이이다. D(x, y, σ) 의 스케일은 대략 cnσ 및 cn -1σ 사이에 있다. DoG 이미지들 (D) 은 옥타브마다 인접한 가우시안 블러화된 이미지들 (L) 로부터 획득될 수도 있다. 각각의 옥타브 이후에, 가우시안 이미지는 인자 2 로 다운 샘플링될 수도 있고 그 다음 프로세스는 반복된다. 이 방식으로, 이미지는 병진 (translation), 회전, 스케일, 및/또는 다른 이미지 파라미터들 및/또는 왜곡들에 대해 강건하거나 또는 불변인 로컬 특징들로 변환될 수도 있다.
일단 생성되면, 쿼리된 이미지에 대한 DoG 공간 (204) 은 관심 있는 특징들을 식별 (예컨대, 이미지에서 매우 독특한 포인트들을 식별) 하기 위한 극값 검출에 사용될 수도 있다. 이들 매우 독특한 포인트들은 본 명세서에서는 키포인트들이라 칭한다. 이들 키포인트들은 각각의 키포인트 주위의 패치 또는 로컬 영역의 특성들에 의해 식별될 수도 있다. 이는 디스크립터가 각각의 키포인트 및 그 대응하는 패치에 대해 생성될 수도 있으며, 쿼리 이미지 및 저장된 타겟 이미지들 사이의 키포인트들의 비교를 위해 사용될 수도 있다. "특징"은 디스크립터 (즉, 키포인트 및 그 대응하는 패치) 를 지칭할 수도 있다. 특징들의 그룹 (즉, 키포인트들 및 대응하는 패치들) 은 클러스터라고 지칭할 수도 있다.
도 3 은 예시적인 이미지 프로세싱 스테이지 (104) 에서의 특징 검출을 도시한다. 특징 검출 (112) 에서, DoG 공간 (204) 은 이미지 I(x, y) 에 대한 키포인트들을 식별하는데 사용될 수도 있다. 특징 검출 (112) 은 이미지에서 특정 샘플 포인트 또는 픽셀 주위의 로컬 영역 또는 패치가 (기하학적으로 말하면) 잠정적으로 관심 있는 패치 인지 여부를 결정하려고 한다.
일반적으로, DoG 공간 (204) 에서의 로컬 최대치들 및/또는 로컬 최소치들이 식별되고 이들 최대치들 및 최소치들의 위치들은 DoG 공간 (204) 에서의 키포인트 위치들로서 사용된다. 도 3 에 도시된 예에서, 패치 (306) 와 함께 키포인트 (308) 가 식별되어 있다. 로컬 최대치들 및 최소치들을 찾는 것 (로컬 극값 검출이라고도 알려짐) 은, DoG 공간 (204) 에서의 각각의 픽셀 (예컨대, 키포인트 (308) 를 위한 픽셀) 을, 동일한 스케일에서의 8 개의 이웃하는 픽셀들, 및 키포인트 (408) 의 양측의 이웃하는 스케일들의 각각에서 (인접 패치들 (310 및 312) 에 있는) 9개의 이웃하는 픽셀들과, 총 26 개의 픽셀들 (9×2+8=26) 에 대해, 비교하는 것에 의해 달성될 수도 있다. 여기서, 패치들은 3×3 픽셀 영역들로서 정의된다. 일반적으로, 키포인트 (306) 에 대한 픽셀 값이 패치들 (306, 310, 및 308) 에 있는 총 26 개의 비교되는 픽셀들 중의 최대치 또는 최소치이면, 그것이 키포인트로서 선택된다. 키포인트들은, 그 위치가 더 정확히 식별되도록 추가로 처리될 수도 있고, 키포인트들 중의 일부, 이를테면 낮은 콘트라스트 키포인트들 및 에지 키포인트들이 삭제될 수도 있다.
도 4 는 예시적인 이미지 프로세싱 스테이지 (104) 에서의 특징 디스크립터 추출을 도시한다. 일반적으로, 특징 (예컨대, 키포인트 및 그 대응하는 패치) 이 디스크립터에 의해 표현될 수도 있으며, 디스크립터는 타겟 이미지들의 데이터베이스에 저장된 특징들에 대한 (쿼리 이미지로부터의) 특징의 효율적인 비교를 허용한다. 특징 디스크립터 추출 (116) 의 일 실시예에서, 각각의 키포인트에는 로컬 이미지 경사도의 방향들에 기초하여, 하나 이상의 배향들, 또는 방향들이 할당될 수도 있다. 로컬 이미지 속성들에 기초하여 일관된 배향을 각각의 키포인트에 할당하는 것에 의해, 키포인트 디스크립터는 이 배향을 기준으로 표현될 수 있고, 그러므로 이미지 회전에 대한 불변성을 달성한다. 크기 및 방향 계산들은 가우시안 블러화된 이미지 (L) 내의 키포인트 (308) 주위의 이웃하는 영역에 있는 모든 픽셀에 대해 및/또는 키포인트 스케일에서 수행될 수도 있다. (x, y) 에 위치된 키포인트 (308) 에 대한 경사도의 크기는 m(x, y) 로서 표현될 수도 있고, (x, y) 에서의 키포인트에 대한 경사도의 배향 또는 방향은 Γ(x, y) 로서 표현될 수도 있다. 키포인트의 스케일은 키포인트 (308) 의 스케일에 가장 가까운 스케일을 갖는, 가우시안 평활화된 이미지 L 를 선택하는데 사용되며, 따라서 모든 계산들이 스케일 불변 방식으로 수행된다. 각각의 이미지 샘플 L(x, y) 에 대해, 이 스케일에서, 경사도 크기 m(x, y) 및 배향 Γ(x, y) 은 픽셀 차이들을 이용하여 계산된다. 예를 들어 크기 m(x, y) 는 다음과 같이 계산될 수도 있다:
Figure pct00001
(수학식 1)
방향 또는 배향 Γ(x, y) 은 다음과 같이 계산될 수도 있다:
Figure pct00002
(수학식 2)
여기서, L(x, y) 은 키포인트의 스케일인 스케일 σ 에서의 가우시안 블러화된 이미지 L(x, y, σ) 의 샘플이다.
키포인트 (308) 에 대한 경사도들은, DoG 공간에서 키포인트의 면보다 위에, 상위 스케일에 놓인 가우시안 피라미드의 면 또는 키포인트보다 아래에, 하위 스케일에 놓인 스케일 가우시안 피라미드의 면에 대해 일관적으로 계산될 수도 있다. 어떤 경우라도, 각각의 키포인트에 대해, 경사도들은 하나의 동일한 스케일로 키포인트 주위의 직사각형 영역 (예컨대, 패치) 에서 모두가 계산된다. 더구나, 이미지 신호의 주파수는 가우시안 블러화된 이미지의 스케일에 반영된다. 아직, SIFT는 단순히 패치 (예컨대, 직사각형 영역) 내의 모든 픽셀들에서 경사도 값들을 사용한다. 패치는 키포인트 주위에서 정의되며; 블록 내에서 서브-블록들이 정의되고; 서브-블록들 내에서 샘플들이 정의되며, 이 구조는 키포인트들의 스케일들이 상이한 경우에도 모든 키포인트들에 대해 동일하게 유지된다. 그러므로, 이미지 신호의 주파수가 동일한 옥타브에서 가우시안 평활화 필터들의 연속하는 적용에 따라 변화하지만, 상이한 스케일들에서 식별되는 키포인트들은, 그 스케일에 의해 표현되는, 이미지 신호의 주파수에서의 변화와 무관하게 동일한 수의 샘플들로 샘플링될 수도 있다.
키포인트 배향을 특징짓기 위하여, (키포인트의 스케일에 가장 가까운 스케일에서 가우시안 이미지를 이용하여) 키포인트 (308) 인근에서 (SIFT로) 경사도 배향들의 벡터가 생성될 수도 있다. 그러나, 키포인트 배향은 또한, 예를 들어, 압축된 경사도 히스토그램 (CHoG) 을 이용함으로써 경사도 배향 히스토그램 (도 4 참조) 에 의해 표현될 수도 있다. 각각의 이웃 픽셀의 기여도는 경사도 크기 및 가우시안 윈도우에 의해 가중될 수도 있다. 히스토그램에서의 피크값들은 우세한 배향들에 대응한다. 키포인트의 모든 속성들은 키포인트 배향과 관련하여 측정될 수도 있고, 이는 회전에 대한 불변성을 제공한다.
일 실시예에서, 가우시안 가중된 경사도들의 분포가 각각의 블록에 대해 계산될 수도 있으며, 여기서 각각의 블록은 총 4 개의 서브-블록들에 대해 2 개의 서브-블록들 × 2 개의 서브-블록들이다. 가우시안 가중된 경사도들의 분포를 계산하기 위하여, 여러 빈들 (bins) 을 갖는 배향 히스토그램이 형성되며, 각각의 빈은 키포인트 주위의 영역의 일부를 커버한다. 예를 들어, 배향 히스토그램은, 각각의 빈이 360 도 범위의 배향들 중에서 10 도를 커버하는 36 개의 빈들을 가질 수도 있다. 대안적으로, 이 히스토그램은, 각각이 360 도 범위 중 45 도를 커버하는 8 개의 빈들을 가질 수도 있다. 본 명세서에서 설명되는 히스토그램 코딩 기술들은 임의의 수의 빈들의 히스토그램들에 적용가능할 수도 있다는 것이 명백할 것이다. 다른 기술들이 또한 궁극적으로 히스토그램을 생성하는데 사용될 수도 있다는 것에 유의한다.
경사도 분포들 및 배향 히스토그램들은 다양한 방법들로 획득될 수도 있다. 예를 들어, 2 차원 경사도 분포 (dx, dy) (예컨대, 블록 (406)) 가 1 차원 분포 (예컨대, 히스토그램 (414)) 로 변환된다. 키포인트 (408) 는 키포인트 (408) 를 둘러싸는 패치 (406) (셀 또는 영역이라고도 불리움) 의 중심에 위치된다. 피라미드의 각각의 레벨에 대해 미리 계산되는 경사도들은 각각의 샘플 위치 (408) 에서 작은 화살표들로서 도시된다. 도시된 바와 같이, 샘플들 (408) 의 4×4 영역들이 서브블록 (410) 을 형성하고 서브-블록들의 2×2 영역들이 블록 (406) 을 형성한다. 블록 (406) 은 또한 디스크립터 윈도우라고 지칭될 수도 있다. 가우시안 가중 함수는 원 (402) 으로 도시되고, 가중치를 각각의 샘플 포인트 (408) 의 크기에 할당하는데 사용된다. 원형 윈도우 (402) 내에서 가중치는 부드럽게 감소한다. 가우시안 윈도우 (402) 의 목적은 윈도우의 위치에서의 작은 변화들로 디스크립터에서의 급격한 변화들을 회피하는 것과 디스크립터의 중심으로부터 멀리 있는 경사도들에 대해 덜 강조하는 것이다. 배향 히스토그램들의 2×2=4 어레이 (412) 는, 히스토그램의 각각의 빈에서 8 개의 배향들을 갖는 2×2 서브-블록들로부터 획득되어 결과적으로 (2×2)×8=32 차원의 특징 디스크립터 벡터를 발생한다. 예를 들어, 배향 히스토그램들 (413 및 415) 은 서브-블록 (410) 에 대한 경사도 분포에 대응할 수도 있다. 그러나, 각각의 히스토그램에서 8 개의 배향들을 갖는 히스토그램들 (8-빈 히스토그램들) 의 4×4 어레이를 이용하면, 결과적으로 각각의 키포인트에 대해 (4×4)×8=128 차원 특징 디스크립터 벡터가 발생하고, 이는 양호한 결과를 산출할 수도 있다. 다른 유형들의 양자화 빈 콘스텔레이션들 (constellations) (예컨대, 상이한 보로노이 (Voronoi) 셀 구조들을 가짐) 또한 경사도 분포들을 획득하는데 사용될 수도 있다는 것에 유의한다.
여기서 사용되는 바와 같이, 히스토그램은 빈들로서 알려진 다양한 별개의 (disjoint) 카테고리들에 속하는 관측들, 샘플들, 또는 출현들 (occurrences) (예컨대, 경사도들) 의 수를 카운트하는 매핑 ki 이다. 히스토그램의 그래프는 히스토그램을 나타내는 단지 하나의 방법이다. 따라서, k 가 관측들, 샘플들, 또는 출현들의 총 수이고 m 이 빈들의 총 수이면, 히스토그램에서의 빈도들 (ki) 은 다음 조건을 만족한다:
Figure pct00003
(수학식 3)
여기서
Figure pct00004
는 합산 연산자이다.
서브-블록들로부터의 히스토그램들은 키포인트에 대한 특징 디스크립터 벡터를 획득하기 위해 연쇄 (concatenate) 될 수도 있다. 16개 서브-블록들로부터의 8-빈 히스토그램들의 경사도들이 사용된다면, 128 차원 특징 디스크립터 벡터가 발생할 수도 있다.
이런 방식으로, 디스크립터가 식별된 각각의 키포인트에 대해 획득될 수도 있으며, 이러한 디스크립터는 위치 (x, y), 배향, 및 가우시안 가중된 경사도들의 분포들의 디스크립터에 의해 특징지어질 수도 있다. 이미지가 하나 이상의 키포인트 디스크립터들 (이미지 디스크립터들이라고도 칭함) 에 의해 특징지어질 수도 있음을 유의한다. 부가적으로, 디스크립터는 위치 정보 (예컨대, 그 키포인트에 대한 좌표들), 스케일 (예컨대, 키포인트가 검출된 가우시안 스케일), 및 클러스터 식별자와 같은 다른 정보, 등등을 포함할 수도 있다.
가우시안 차이 공간 (204) 에서 작동됨으로써, 이미지의 조명에서의 임의의 레벨 쉬프트들 (조명에 대하여 공간적으로 균일한 추가의 바이어스) 은 완전히 무시된다. 그러나, 조명에서의 스케일 쉬프트들은 키포인트들이 추정되고, 궁극적으로는 선택되거나 거부되는 방식에 영향을 미칠 것이다. 이는 균일할 뿐만 아니라 공간적으로 변화하는 증가하는 조명 인자들 양자에 적용된다. 키포인트 검출만큼 중요한 것은 이미지 내에서 그 국부화 (localization) 이다. 하나의 대상은 그 특징들의 기하학적 콘텐츠 및 그들의 공간적인 상호관계들에 의해 분류된다. 그러므로, 키포인트의 계산된 위치는 중요한 요소이며, 따라서 키포인트가 검출되는 경우에도 그 국부화가 임의의 조명 스케일 변화들에 대하여 불변의 방식으로 계산될 수 있다.
따라서, 키포인트들을 식별하고 디스크립터들을 생성하기 전에, 키포인트들이 검출되는 스케일 공간으로부터 조명의 영향을 감소시키고, 제거하고 및/또는 필터링하기 위하여 가우시안 차이 공간 (204) 를 정규화하기 위해 하나의 특징이 제공된다.
예시적인 스케일 차이 공간 정규화
도 5 는 조명 불변의 특징/키포인트 검출을 위한 스케일 공간 정규화의 일 실시예를 도시한다. 이미지 I(x,y)(502) 는 상이한 스케일들 ciσ 에서 평활화 커널 G(x,y,ciσ)(504) 과 컨벌브되어 평활화된 스케일 공간 프라미드 (506) 를 생성할 수도 있으며, 여기서 i 는 0 과 n 사이의 정수이다. 평활화 커널들은 가우시안 커널 및/또는 다른 타입의 평활화 함수들일 수도 있음에 유의한다. 평활화된 스케일 공간 피라미드 (506) 의 2 개의 인접한 스케일 공간들 간의 차이는 스케일 차이 공간 (508) 을 획득하기 위해 취득될 수도 있다.
먼저, 스케일 차이 공간 (508) 의 각 레벨은 이미지 I(x,y)(502) 와 컨벌브되는, 상이한 스케일들에서의 평활화 커널 (504) 의 차이 (예컨대, G(x,y,cj +1σ)-G(x,y,cjσ)) 로서 정의될 수도 있는 것이 관찰된다. 이는 2 개의 대응하는 평활화된 스케일 공간들의 차이 (예컨대, L(x,y,cj +1σ)-L(x,y,cjσ)) 와 동일하다. 그러므로, 2 개의 평활화 스케일 공간들의 차이는, 하기와 같이 표현될 수도 있다:
Figure pct00005
(수학식 4)
조명이 스케일링 함수 S(x,y) 로 표현된다면, 2 개의 평활화 스케일 공간들의 차이에 대한 조명 변화들은 하기와 같이 표현될 수도 있음이 관찰된다:
Figure pct00006
(수학식 5)
여기서, 일반적인 경우에, 조명 스케일링 함수 S(x,y) 는 공간적으로 변화하거나 공간적으로 일정할 수도 있다.
그러나, 조명 스케일링 함수 S(x,y) 를 획득하기 위해 조명을 실시간으로 모델링하는 것이 현실적이고 및/또는 실현가능한 것은 아니다. 그러므로, 통상적으로 특징 선택 및/또는 프루닝 (pruning) 이 수행되는 특징 공간 (예컨대, DoG 공간 (508)) 으로부터 조명에 의해 바이어싱되지 않는 기본적인 특징 (예컨대, 키포인트) 을 유발하는 대안적인 접근방식이 본 명세서에 개시된다. 이러한 대안적인 접근방식에 따라, 이미지 I(x,y)(502) 의 조명 분포는 이미지 I(x,y)(502) 로부터 추출된 스케일 공간 정보를 이용함으로써 정규화된다. 조명에 관한 이전의 정보는 필요하지 않다. 이러한 방법은 안정적인 특징들을 선택하는 것을 가능하게 하고, 임의의 중요한 계산 및 프로세싱의 도입 없이 상이한 조명 변화들에 걸쳐 일정한 레벨로 반복성을 증가시킨다.
이를 실행하기 위해, 특징 검출이 발생하는 스케일 차이 공간 (508) 은 더 넓은 스케일 공간에 의해 정규화될 수도 있다. 이러한 접근 방식은 하기의 식에 의해 정의될 수도 있다:
Figure pct00007
(수학식 6)
여기서, 제 1 가우시안 평활화 커널 G(x,y,cj +1σ) 은 제 2 가우시안 평활화 커널 G(x,y,cjσ) 보다 넓고 (즉, 스케일 cj +1σ 은 스케일 cjσ 보다 넓고, 상기 j 는 0 과 n 사이의 양의 정수이다);
I(x,y) 는 프로세싱되고 있는 이미지 또는 그 도함수 (예컨대, 이미지의 반사 속성) 이고;
S(x,y) 는 조명 스케일링 함수이고; 그리고
G(x,y,cj +1+hσ) 는 제 2 가우시안 평활화 커널 G(x,y,cj +1σ) 만큼 넓거나 그보다 넓은 스케일 공간을 갖는 제 3 평활화 커널이고, 여기서 h 는 0 과 n 사이의 양의 정수이다. 스케일 차이 공간 (508) 의 각 레벨에서 이러한 프로세스를 반복함으로써, 정규화된 스케일 차이 공간 (510) 이 생성될 수도 있다. 예를 들면, G(x,y,cj+1σ) 및 G(x,y,cjσ) 에 의해 정의되는 차동 스케일 공간에 대하여, 정규화 함수는 G(x,y,cj +1σ) 이거나 더 높은 임의의 함수 (즉, G(x,y,cj +2σ), G(x,y,cj+3σ), ...) 일 수도 있다. 정규화 함수는 차동 스케일 공간에서 이용되는 스무딩 커널들 양자보다 클 필요는 없으며, 즉, 더 평활화되어야 한다. 다른 실시예에서, 정규화 함수는 이용되는 제 1 및 제 2 평활화 커널들의 합 (즉, G(x,y,cj +1σ)＋G(x,y,cjσ)) 일 수도 있으며, 따라서:
Figure pct00008
(수학식 7)
수학식 6 은 또한 하기와 같이 표현될 수도 있다:
Figure pct00009
(수학식 8).
조명 스케일링 함수 S(x,y) 는 (수학식들 6, 7, 및 8 의) 분자와 분모 양자에서 나타나기 때문에, 그 스케일링 영향이 상쇄된다. 즉, 조명 스케일링 함수 S(x,y) 는 정규화를 위해 이용되는 평활화된 이미지 L(x,y,cj +1+hσ)*S(x,y) 에서 존재하기 때문에, 스케일 차이 공간 [L(x,y,cj +1σ)-L(x,y,cjσ)]*S(x,y) 에서 조명 스케일링 함수 S(x,y) 의 영향을 완전히 또는 실질적으로 상쇄한다. 이전과 같이, L(x,y,cj+1+hσ) 은 L(x,y,cj +1σ) 과 동일하거나, 또는 더 상위 스케일 이미지 (즉, L(x,y,cj+2σ), L(x,y,cj +3σ), ...) 일 수도 있다. 이러한 방식으로, 분모에서의 이미지 콘텐츠는 매우 적은 공간적인 아티팩트 (artifact) 들을 발생시키는 정도로 평활화된다.
스케일 차이 공간을 정규화할 시, 평활화된 이미지 L(x,y,cj +1+hσ) 의 정규화는 특징 공간 (즉, 스케일 차이 공간) 을 너무 많이 변화시키지 않고, (키포인트들/특징들을 식별하는) 로컬 극값 위치들을 쉬프트하도록 선택되어야 한다. 즉, 스케일 차이 공간에 가까운 근사치가 정규화 이후에도 유지되어야 하며, 이는 스케일 차이 공간이 스케일 불변 특징들을 달성하는데 최적이기 때문이다. 이를 위해, 평활화된 이미지 L(x,y,cj +1+hσ) 는, 그 스케일 레벨이 충분히 평활하여 매우 빈번한 콘텐츠들이 평균화될 수 있도록 선택된다. 즉, 평활화된 이미지 L(x,y,cj+1+hσ) 가 충분히 평평하다면, 스케일 차이 공간의 형태 L(x,y,cj +1σ)-L(x,y,cjσ) 는 대체로 변화되지 않는다 (즉, 특징들/키포인트들의 위치가 변화되지 않는다). 일 실시형태에서, 정규화되고 있는 차동 스케일 레벨을 획득하는데 이용되는 스케일 레벨들에 가까운 (동일하거나 다음으로 상위의) 스케일 레벨에서 정규화 함수를 선택하는 것은, 너무 많은 잡음을 도입하는 것을 회피하기 때문에 바람직할 수도 있다. 예를 들면, G(x,y,cj +1σ) 및 G(x,y,cjσ) 로 정의되는 차동 스케일 공간에 대하여 G(x,y,cj +1σ) 와 같은 평활한 스케일을 선택함으로써, 스케일 공간에서 특정 레벨에 대하여 전형적인 로컬 불규칙성 (irregularity) 들이 유지될 수도 있다.
전술된 것과 같이, 이미지에서 검출된 특징들의 수는 이미지에서 증가하는 조명 스케일 변화들에 의해 크게 영향받을 (예컨대, 감소될) 수도 있다. 조명에 의해 야기되는 스케일링은 임의의 기하학적 변형들 없이도 최종 특징 공간에서 콘텐츠를 급격하게 감소시키는, 이미지상의 마스크와 같이 작용하는 경향이 있다. 따라서, 수학식들 6 및 7 의 적용에 의해 달성되는 정규화는 반드시 그 기하학적 의미가 "동일한" 특징들이 조명 변화들과 관계없이 검출되게 하고, 따라서 반복성을 증가시킨다.
도 6 은 정규화된 스케일 차이 공간의 일 레벨이 획득될 수도 있는 방식의 일 실시예를 도시한다. 여기에서, 이미지 I(x,y)(602) 는 제 1 평활화된 스케일 공간 이미지 L(x,y,cjσ)(608) 를 획득하기 위해 제 1 평활화 커널 G(x,y,cjσ) 과 컨벌브될 수도 있다. 이미지 I(x,y)(602) 는 또한, 제 2 평활화된 스케일 공간 이미지 L(x,y,cj +1σ)(610) 를 획득하기 위해 제 2 평활화 커널 G(x,y,cj +1σ)(606) 과 컨벌브될 수도 있다. 제 2 및 제 1 평활화된 이미지들 (610 및 608) 간의 차이는 스케일 차이 공간 레벨 Dj(x,y,σ)(612) 을 획득하기 위해 취득될 수도 있다. 이러한 스케일 차이 공간 레벨 Dj(x,y,σ)(612) 은 정규화된 스케일 공간 레벨 D'j(x,y,σ)(614) 을 획득하기 위해 상위 스케일 평활화 커널 G(x,y,cj +1+hσ)(616) 또는 평활화된 스케일 공간 이미지 L(x,y,cj +1+hσ)(618) 에 기초하여 (수학식 6 및/또는 수학식 7 에 따라) 정규화될 수도 있다. 이러한 프로세스는 (스케일링 인자들 cjσ 에 의해 설정된) 상이한 폭들의 상이한 평활화 커널들을 이미지 I(x,y) 에 적용함으로써 반복될 수도 있으며, 따라서 평활화된 스케일 공간 피라미드를 형성한다. 스케일 차이 공간 (예컨대, 도 5 의 508) 은 평활화된 스케일 공간 피라미드 (예컨대, 도 5 의 506) 의 인접하는 레벨들 간의 차이를 취득함으로써 형성될 수도 있다. 정규화된 스케일 차이 공간 (예컨대, 도 5 의 510) 은 수학식 6 및/또는 수학식 7 에 따라 생성될 수도 있다.
도 7 은 조명에서의 변화들에 영향받지 않는 개선된 특징 검출을 위한 정규화된 스케일 차이 공간을 생성하는 방법을 예시한다. (i=0 내지 n 에 대하여 상이한 cjσ 에 의해 설정된) 상이한 스케일링 폭들의 평활화 커널들 G(x,y,ciσ) 과 이미지 I(x,y) 를 컨벌브하여 평활화된 스케일 공간 피라미드를 형성하는 복수의 평활화된 이미지들 L(x,y,ciσ)(i=0 내지 n) 을 획득한다 (702). 이미지 I(x,y) 는 공간적으로 변화하는 조명 함수 S(x,y) 가 곱해진 스케일링된 이미지 공간 I0(x,y) 을 획득하기 위해 이미지 공간 I(x,y) 에 조명 스케일링 함수 S(x,y) 를 곱함으로써 원래의 이미지에 의해 표현될 수도 있다. 즉, 이미지 I(x,y) 는 조명 함수 S(x,y) 에 의해 픽셀 단위로 또는 완전히 수정된 기본 이미지 I0(x,y) 에 의해 특징지어질 수도 있다. 일 실시예에서, 평활화 커널들 G(x,y,ciσ) 은 평활화된 스케일 공간 피라미드가 가우시안 스케일 공간 피라미드가 되도록 가우시안 커널들일 수도 있다.
다음에, 평활화된 스케일 공간 피라미드에 걸쳐 평활화된 이미지들의 인접 쌍들의 차이 L(x,y,cj +1σ)-L(x,y,cjσ) 를 취득함으로써 j=0 내지 n-1 에 대하여 스케일 차이 공간 Dj(x,y,σ) 을 생성한다 (704). 이러한 프로세스는 복수의 레벨들을 갖는 스케일 차이 공간을 획득하기 위해 인접하는 평활화된 이미지들의 복수의 세트들에 대하여 반복된다. 제 2 평활화된 이미지 L(x,y,cj +1σ) 를 획득하는데 이용된 제 2 평활화 커널 G(x,y,cj +1σ) 은 제 1 평활화된 이미지 L(x,y,cj +1σ) 를 획득하는데 이용된 제 1 평활화 커널 G(x,y,cjσ) 보다 넓을 수도 있다.
그 후에, j=0 내지 n-1 에 대하여, 정규화된 스케일 차이 공간 D'j(x,y,σ) 은 각각의 스케일 차이 공간 Dj(x,y,σ) 레벨을 대응하는 평활화된 이미지 L(x,y,cj+1+hσ) 로 나눔으로써 생성될 수도 있으며, 여기서 각각의 평활화된 이미지 L(x,y,cj+1+hσ) 는 이미지의 2 개의 상이한 평활화된 버전들 L(x,y,cj +1σ) 및 L(x,y,cjσ) 중 가장 평활한 것만큼 평활하거나 그보다 더 평활하다 (706). 즉, 평활화된 이미지를 정규화한 것 L(x,y,cj +1+hσ) 은 이미지의 2 개의 상이한 평활화된 버전들 L(x,y,cj +1σ) 및 L(x,y,cjσ) 에 대한 스케일들 (예컨대, 평활화 커널들) 중 더 큰 것과 동일하거나 더 넓은 스케일 (예컨대, 평활화 커널) 을 가질 수도 있다.
그 후에, j=0 내지 n-1 에 대하여, 정규화된 스케일 차이 공간 D'j(x,y,σ) 은 이미지 I(x,y) 에 대한 특징들을 식별하기 위해 이용될 수도 있다 (708). 예를 들어, 로컬 극값 (즉, 최소치 또는 최대치) 은 하나의 키포인트로서 식별될 수도 있고, 그 키포인트 주위에서 하나의 특징이 정의될 수도 있다. 그 후에 디스크립터들은 식별된 특징들에 기초하여 이미지 I(x,y) 에 대하여 생성될 수도 있다 (710).
도 5, 6, 및 7 에 예시된 방법은 이미지의 조명에 관한 어떤 사전 정보도 요구하지 않는다. 이러한 방법은 이미지에서 안정적인 특징들을 선택하는 것을 가능하게 하며, 어떤 주요한 (중요한) 계산 및 프로세싱을 도입하지 않고 상이한 조명 변화들에 걸쳐 일정한 레벨로 반복성을 증가시킨다. 즉, 평활화된 스케일 공간이 이미 스케일 차이 공간 Dj(x,y,σ) 을 정규화하는데 이용되는 평활화된 이미지 L(x,y,cj +1+hσ) 를 포함하기 때문에, 나눗셈 연산을 제외하고 정규화를 위해 어떤 추가의 프로세싱도 필요하지 않다.
추가로, 특징들이 검출되는 신뢰도에 맞춤으로써, 특징들이 검출되는 스케일 (예컨대, 평활화 레벨에 따라) 더 안정적인 특징들이 획득될 수도 있다. 즉, 상위 스케일들은 일반적으로 이미지의 더 평활화된 (즉, 더 블러화된) 버전을 포함하고, 이러한 스케일들에서 검출된 키포인트들/특징들은 더 높은 신뢰도를 갖는다.
예시적인 특징 검출 실시예들
(도 8a, 8b, 및 8c 를 포함하는) 도 8 은 종래의 특징 검출 접근방식들을 이용하여 이미지에 대한 특징 검출이 조명에서의 변화들로 인해 영향받을 수 있는 방식을 도시한다. 도 8a 는 거의 균일한 조명을 갖는 이미지에서 검출된 특징들을 도시한다. 도 8b 는 이미지 전체에서 낮은 레벨로의 균일한 조명 스케일링을 갖는 이미지에서 검출된 특징들을 도시한다. 즉, 도 8a 에 비하여, 도 8b 에서의 이미지는 조명 스케일링 (예컨대, 이미지의 다크닝 (darkening)) 으로 인해 이미지 전제에서 더 적은 특징들이 검출된다. 도 8c 는 공간적으로 변화하는 (불균일한) 조명 스케일링이 특징 검출에 영향을 줄 수 있는 방식을 더 선명하게 도시한다. 즉, 도 8a 에 비하여, 도 8c 에서의 이미지는 조명 스케일링 (예컨대, 이미지의 다크닝) 에 의해 영향받는 이미지의 하부 절반을 따라 더 적은 특징들이 검출된다. 도 8 에 대하여, 검출되는 특징들의 수는 이미지에서 증가하는 조명 스케일 변화들에 의존하는 것이 명확하다.
(도 9a, 9b, 및 9c 를 포함하는) 도 9 는 조명 변화들에 상관없이 특징 검출 이전에 스케일 차이 공간을 정규화하는 것이 특징들을 검출하는 것을 지원하는 방식을 도시한다. 도 9a 는 (특징들이 검출되는) 스케일 차이 공간이 먼저 정규화된 경우에 거의 균일한 조명을 갖는 이미지에서 검출되는 특징들을 도시한다. 도 9b 는 (특징들이 검출되는) 스케일 차이 공간이 먼저 정규화된 경우에 이미지 전체에서 낮은 레벨로의 균일한 조명 스케일링을 갖는 이미지에서 검출된 특징들을 도시한다. 이러한 정규화의 결과로서, 도 9b 의 조명 스케일링 (예컨대, 이미지의 다크닝) 에도 불구하고 도 9a 및 도 9b 에서 거의 동일한 특징 밀도가 검출된다. 도 9c 는 특징들이 검출되는 스케일 차이 공간을 정규화하는 것이 공간적으로 변화하는 조명 변화들에도 불구하고 안정적이거나 반복가능한 특징 검출을 허용하는 방식을 도시한다. 이러한 정규화의 결과로서, 도 9c 의 공간적으로 변화하는 조명 스케일링 (예컨대, 이미지의 하부 절반의 다크닝) 에도 불구하고 도 9a 및 도 9c 에서 거의 동일한 특징 밀도가 검출된다. 도 9a, 9b, 9c 로부터, 특징 검출 이전에 스케일 차이 공간 (예컨대, 가우시안 차이 공간) 을 정규화하는 개시된 기술은 조명 변화들의 영향들을 거의 상쇄시키거나 감소시키는 것이 인식될 수 있다.
(도 10a 및 도 10b 를 포함하는) 도 10 은 가우시안 스케일 차이 공간과 정규화된 가우시안 스케일 차이 공간 간의 비교를 도시한다. 도 10a 는 (상이한 옥타브들, 스케일들 및 스케일링 폭들에서) 복수의 이미지들을 갖는 가우시안 스케일 차이 공간을 도시하며, 이미지들 각각은 원래의 이미지의 상이한 평활화 버전이다. 도 10a 는 조명 스케일 변화들이 특징들의 인식에 유해한 영향을 미치는 것을 명확히 도시한다. 도 10b 는 도 5, 6 및 7 에 도시된 기술에 따라 정규화된, 도 10a 에서와 동일한 가우시안 스케일 차이 공간을 도시한다. 도 10b 는 조명 스케일 변화들에도 불구하고 명확히 식별가능한 더 많은 특징들을 도시한다.
(도 11a 및 11b 를 포함하는) 도 11 은 스케일 차이 공간 정규화가 키포인트 매칭 검증에 미치는 영향을 도시한다. 도 11a 는 균일한 조명 스케일링에 의해 영향받는 테스트 이미지 (1104) 에서의 키포인트들이 스케일 차이 공간 (예컨대, DoG 공간) 의 정규화에 따라 데이터베이스 이미지 (1102) 에 매칭되는 방식을 도시한다. 여기에서, 테스트 이미지 (1104) 와 데이터베이스 이미지 (1102) 사이에 거의 144 개의 키포인트들이 매칭된다. 도 11b 는 균일한 조명 스케일링에 의해 영향받는 테스트 이미지 (1106) 에서의 키포인트들이 스케일 차이 공간의 정규화 (예컨대, 정규화된 DoG 공간) 없이 데이터베이스 이미지 (1102) 에 매칭되는 방식을 도시한다. 정규화는 거의 495 개의 키포인트 매치들을 발생하며, 도 11a 의 144 개 키포인트 매치들과 비교할 때 상당한 개선을 발생한다.
예시적인 특징 검출 디바이스
도 12 는 조명 불변 특징 검출 디바이스의 일 실시예를 예시하는 블록 다이어그램이다. 특징 검출 디바이스 (1200) 는 디지털 쿼리 이미지 (1202) 를 수신하거나 획득할 수도 있다. 그 후에, 스케일 공간 생성기 (1204) (예컨대, 가우시안 스케일 공간 생성기) 는 쿼리 이미지 (1202) 를 상이한 스케일 폭들의 복수의 상이한 평활화 커널들 (1203) 과 컨벌브하여 스케일 공간을 생성할 수도 있다. 스케일 공간은 상이한 스케일링 폭들로 평활화되는 이미지의 복수의 평활화 버전을 포함할 수도 있다. 그 후에, 스케일 차이 공간 생성기 (1206) 는 스케일 공간으로부터 스케일 차이 공간을 생성한다. 스케일 차이 공간 정규화기 (1208) 는 그 후에 예컨대, 각각의 스케일 차이 공간 레벨을 대응하는 평활화된 이미지로 나눔으로써 스케일 차이 공간을 정규화하며, 여기서 이러한 평활화된 이미지는 나누어지는 스케일 차이 공간을 생성하는데 이용된 평활화된 이미지들 중 더 큰 것만큼 넓거나 더 넓은 스케일을 갖는다. 키포인트 생성기 (1210) 는 그 후에 정규화된 스케일 차이 공간에서 키포인트들을 식별하거나 검출한다. 이는 예컨대, 정규화된 스케일 차이 공간의 픽셀들 중에서 로컬 극값 (즉, 최대치 또는 최소치) 을 발견함으로써 실행될 수도 있다. 특징 생성기 (1212) 는 예컨대, 식별된 키포인트 주위의 로컬 픽셀들을 특정함으로써 특징들을 생성할 수도 있다. 키포인트 생성기 (1210) 와 특징 생성기 (1212) 의 기능들이 특징 검출기에 의해 수행될 수도 있음을 유의한다. 그 후에 특징 디스크립터 생성기 (1214) 는 쿼리 이미지를 식별하는 역할을 할 수 있는 복수의 이미지 디스크립터들 (1216) 을 제공하기 위해 각각의 특징에 대한 디스크립터를 생성한다. 도 12 에 도시된 기능들은 개별 회로들 또는 하나 이상의 프로세서들에 의해 수행될 수도 있다.
예시적인 이미지 매칭 디바이스
도 13 은 특징 검출을 위해 정규화된 스케일 차이 공간을 이용하는 이미지 매칭 디바이스의 일 실시예를 도시하는 블록도이다. 이미지 매칭 디바이스 (1300) 는 프로세싱 회로 (1302) 와, 이 프로세싱 회로에 커플링된 통신 인터페이스 (1304), 이미지 캡처 디바이스 (1306), 및/또는 스토리지 디바이스 (1308) 를 구비할 수도 있다. 통신 인터페이스 (1304) 는 유선/무선 네트워크를 통해 통신하고, 이미지들 및/또는 하나 이상의 이미지들에 대한 특징 디스크립터들을 수신하도록 구성될 수도 있다. 이미지 캡처 디바이스 (1306) 는, 예를 들어, 쿼리 이미지를 캡처할 수 있는 디지털 카메라일 수도 있다. 프로세싱 회로 (1302) 는 이미지들로부터 특징들을 추출하는 이미지 프로세싱 회로 (1314) 와, 추출된 특징들을 이용하여 쿼리 이미지를 타겟 이미지들의 데이터베이스 (1310) 에 및/또는 쿼리 이미지 디스크립터들을 디스크립터 데이터베이스 (1312) 에 매칭시키는 이미지 매칭 회로 (1316) 를 구비할 수도 있다. 하나의 예시적인 구현에 따르면, 이미지 매칭 애플리케이션은 쿼리 이미지를 이미지 데이터베이스에 있는 하나 이상의 이미지들에 매칭시키는 것을 시도한다. 이미지 데이터베이스는 데이터베이스 (1310) 에 저장된 하나 이상의 이미지들과 연관된 수백만의 특징 디스크립터들을 포함할 수도 있다.
이미지 프로세싱 회로 (1314) 는 특징 식별 회로 (1320) 를 구비할 수도 있으며, 이 특징 식별 회로는 가우시안 스케일 공간 생성기 (1322), 스케일 차이 공간 생성기 (1324), 스케일 차이 공간 정규화기 (1326), 키포인트 검출기 (1328), 특징 생성기 (1330) 및/또는 특징 디스크립터 생성기 (1332) 를 구비한다. 가우시안 스케일 공간 생성기 (1322) 는 이미지를 블러 함수 (예컨대, 평활화 커널) 와 컨벌브하여, 예를 들어, 도 2 및 도 5 에 도시된 바와 같은 복수의 상이한 스케일 공간들을 생성하는 역할을 할 수도 있다. 스케일 차이 공간 생성기 (1324) 는 스케일 공간으로부터 스케일 차이 공간을 생성한다. 스케일 차이 공간 정규화기 (1326) 는 그 후에 예를 들면, 각각의 스케일 차이 공간 레벨을 대응하는 평활화된 이미지로 나눔으로써 스케일 차이 공간을 정규화하며, 여기서 이러한 평활화된 이미지는 (도 6 에 도시된) 나누어지는 스케일 차이 공간을 생성하는데 이용되는 평활화된 이미지들보다 더 넓다. 그 후에 키포인트 생성기 (1328) 는 (도 9 에 도시된) 정규화된 스케일 차이 공간에서 키포인트들을 식별하거나 검출한다. 이는 예컨대, 정규화된 스케일 차이 공간의 픽셀들 중에서 로컬 극값 (즉, 최대치 또는 최소치) 을 발견함으로써 실행될 수도 있다. 특징 생성기 (1330) 는 그 후에 예컨대, (도 3 에 도시된) 식별된 키포인트 주위의 로컬 픽셀들을 특정함으로써 특징들을 생성할 수도 있다. 그 후에 특징 디스크립터 생성기 (1332) 는 (도 4 에 도시된) 쿼리 이미지를 식별하는 역할을 할 수 있는 복수의 이미지 디스크립터들을 제공하기 위해 각각의 특징에 대한 디스크립터를 생성한다.
이미지 매칭 회로 (1316) 는 특징 디스크립터들에 기초하여 쿼리 이미지를 이미지 데이터베이스 (1310) 에서의 이미지에 매칭시키는 것을 시도할 수도 있다. 매치 결과는 통신 인터페이스를 통해 (예컨대, 이미지 또는 특징 디스크립터들을 송신하는 모바일 디바이스로) 제공될 수도 있다.
일부 구현들에서, 쿼리 이미지에 대한 키포인트들과 연관된 특징 디스크립터들의 세트는 이미지 매칭 디바이스에 의해 수신될 수도 있다. 이러한 상황에서, 쿼리 이미지는 이미 (디스크립터들을 획득하도록) 처리되어 있다. 그러므로, 이미지 프로세싱 회로 (1314) 는 이미지 매칭 디바이스 (1300) 로부터 바이패스되거나 제거될 수도 있다.
예시적인 모바일 디바이스
도 14 는 이미지 또는 대상 인식의 목적을 위해 이미지 프로세싱을 수행하도록 구성된 예시적인 모바일 디바이스를 도시하는 블록도이다. 모바일 디바이스 (1400) 는 프로세싱 회로 (1402) 와 이 프로세싱 회로에 커플링된 이미지 캡처 디바이스 (1404), 통신 인터페이스 (1410) 및 스토리지 디바이스 (1408) 를 구비할 수도 있다. 이미지 캡처 디바이스 (1404) (예컨대, 디지털 카메라) 는 관심 있는 쿼리 이미지 (1406) 를 캡처하고 그것을 프로세싱 회로 (1402) 에 제공하도록 구성될 수도 있다. 프로세싱 회로 (1402) 는 캡처된 이미지를 처리하여, 나중에 이미지/대상 인식을 위해 송신될 수 있거나 또는 사용될 수 있는 특징 디스크립터들을 생성하도록 구성된 이미지 프로세싱 회로 (1414) 를 포함할 수도 있다. 예를 들어, 이미지 프로세싱 회로 (1414) 는 특징 식별 회로 (1420) 를 구비하거나 구현할 수도 있으며, 이 특징 식별 회로는 가우시안 스케일 공간 생성기 (1422), 스케일 차이 공간 생성기 (1424), 스케일 차이 공간 정규화기 (1426), 키포인트 검출기 (1428), 특징 생성기 (1430) 및/또는 특징 디스크립터 생성기 (1432) 를 구비한다. 가우시안 스케일 공간 생성기 (1422) 는 이미지를 블러 함수 (예컨대, 평활화 커널) 와 컨벌브하여, 예를 들어, 도 2 및 도 5 에 도시된 바와 같은 복수의 상이한 스케일 공간들을 생성하는 역할을 할 수도 있다. 스케일 차이 공간 생성기 (1424) 는 스케일 공간으로부터 스케일 차이 공간을 생성한다. 스케일 차이 공간 정규화기 (1426) 는 그 후에 예를 들면, 각각의 스케일 차이 공간 레벨을 대응하는 평활화된 이미지로 나눔으로써 스케일 차이 공간을 정규화하며, 여기서 이러한 평활화된 이미지는 (도 6 에 도시된) 나누어지는 스케일 차이 공간을 생성하는데 이용되는 평활화된 이미지들보다 더 넓다. 그 후에 키포인트 생성기 (1428) 는 (도 9 에 도시된) 정규화된 스케일 차이 공간에서 키포인트들을 식별하거나 검출한다. 이는 예컨대, 정규화된 스케일 차이 공간의 픽셀들 중에서 로컬 극값 (즉, 최대치 또는 최소치) 을 발견함으로써 실행될 수도 있다. 특징 생성기 (1430) 는 그 후에 예컨대, (도 3 에 도시된) 식별된 키포인트 주위의 로컬 픽셀들을 특정함으로써 특징들을 생성할 수도 있다. 그 후에 특징 디스크립터 생성기 (1432) 는 (도 4 에 도시된) 쿼리 이미지를 식별하는 역할을 할 수 있는 복수의 이미지 디스크립터들을 제공하기 위해 각각의 특징에 대한 디스크립터를 생성한다.
그 다음 프로세싱 회로 (1402) 는 하나 이상의 특징 디스크립터들을 스토리지 디바이스 (1408) 에 저장할 수도 있으며 및/또는 또한 그 특징 디스크립터들을 통신 인터페이스 (1410) (예컨대, 무선 통신 인터페이스, 송수신기, 또는 회로) 의해 통신 네트워크 (1412) 를 통해, 특징 디스크립터들을 이용하여 이미지 또는 그 안의 대상을 식별하는 이미지 매칭 서버로 송신할 수도 있다. 다시 말하면, 이미지 매칭 서버는 특징 디스크립터들을 그 소유의 특징 디스크립터들의 데이터베이스와 비교하여, 그 데이터베이스에 있는 임의의 이미지가 동일한 특징(들)을 가지는지를 결정할 수도 있다.
일 실시예에서, 이미지 프로세싱 회로 (1414) 는 본 명세서에서 설명된 하나 이상의 방법들을 구현할 수도 있다. 예시적인 구현에 따라, 모바일 디바이스는 송신을 위해 특징 디스크립터들을 압축할 수도 있다. 대역폭은 무선 송신들에서 제한적인 인자인 경향이 있기 때문에, 본 명세서에 설명된 하나 이상의 기술들을 적용함으로써, 특징 디스크립터들의 압축은 모바일 네트워크 내의 무선 채널들 또는 백홀 (backhaul) 링크들을 통해 송신되는 데이터량을 감소시킬 수도 있다.
정규화된 스케일 공간에서 특징 검출을 위한 예시적인 방법
도 15 는 정규화된 스케일 차이 공간을 이용하는 특징 검출을 위한 방법을 도시한다. (가우시안) 스케일 공간은 이미지에 대하여 생성될 수도 있고, 여기서 이 스케일 공간은 이미지의 상이한 블러화 (평활화) 버전들을 포함할 수도 있다 (1502). 스케일 차이 공간 이미지는 (스케일 공간으로부터) 이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 생성될 수도 있다 (1504). 이러한 프로세스는 복수의 스케일 차이 공간 이미지들을 획득하기 위해 이미지의 복수의 다른 (예컨대, 인접한) 평활화 버전들에 대하여 반복될 수도 있다. 복수의 스케일링 공간 차이 이미지들은 스케일 차이 공간을 형성한다.
정규화된 스케일 차이 공간 이미지 (레벨) 은 그 후에 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 생성될 수도 있고, 여기서 이미지의 제 3 평활화 버전은 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활하다 (1506). 예를 들면, 이미지의 제 3 평활화 버전은 이미지의 2 개의 상이한 평활화 버전들에 대하녀 스케일들 (예컨대, 평활화 커널) 중 더 큰 것과 동일하거나 더 넓은 스케일 (예컨대, 평활화 커널) 을 가질 수도 있다. 이러한 프로세스는 복수의 정규화된 스케일 차이 공간 이미지들을 획득하기 위해 복수의 상이한 스케일 공간 이미지들에 대하여 반복될 수도 있다. 복수의 정규화된 스케일 차이 공간 이미지들은 정규화된 스케일 차이 공간을 형성한다.
이미지에 대한 하나 이상의 특징들은 정규화된 스케일 차이 공간 이미지를 이용함으로써 검출되거나 식별될 수도 있다 (1508). 유사하게, 추가의 특징들이 정규화된 스케일 차이 공간에 걸쳐 검출될 수도 있다. 디스크립터들은 그 후에 식별된 특징들에 기초하여 이미지에 대하여 생성될 수도 있다 (1510).
정보 및 신호들이 다양한 서로 다른 기술들 및 테크닉들 중 일부를 이용하여 표시될 수도 있다. 예를 들면, 전술된 설명 전체에서 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 등등은 전압들, 전류들, 전자기파들, 자계 또는 자기 입자들, 광학계 또는 광학 입자들 또는 이들의 임의의 조합에 의해 표시될 수도 있다.
본 명세서에 개시된 다양한 설명의 논리적인 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 소프트웨어, 또는 이들 양자의 조합들로서 구현되거나 수행될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호 교환 가능성을 명확히 설명하기 위해, 다양하게 설명되는 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성에 관련하여 전술되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따라 결정된다. 그 구성들은 플로우차트, 흐름도, 구조 다이어그램, 또는 블록 다이어그램으로 도시된 프로세스로서 설명될 수도 있음에 유의한다. 플로우차트는 순차적인 프로세스로서 동작들을 설명하며, 이러한 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 경우에 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 하나의 프로세스가 하나의 기능에 대응할 경우에, 그 종료는 그 기능의 호출 기능 또는 주요 기능으로의 리턴에 대응한다.
하드웨어에서 구현될 경우에, 다양한 실시예들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 회로 (ASIC), 현장 프로그램가능한 게이트 어레이 (FPGA), 또는 다른 프로그램가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 개시된 기능들을 수행하도록 설계된 이들의 임의의 조합을 채용할 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성과 같은 컴퓨팅 디바이스들의 조합으로서 구현될 수도 있다.
소프트웨어에서 구현될 경우에, 다양한 실시예들은 펌웨어, 미들웨어, 또는 마이크로코드를 채용할 수도 있다. 필수 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 스토리지(들) 과 같은 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서는 필수 작업들을 수행할 수도 있다. 코드 세그먼트는 절차, 함수, 서브 프로그램, 프로그램, 루틴, 서브 루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 상태들의 임의의 조합을 표시할 수도 있다. 코드 세그먼트는 정보, 데이터, 인수들 (arguments), 파라미터들, 또는 메모리 콘텐츠를 패스시키거나 및/또는 수용함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등등은 메모리 공유, 메모리 패싱, 토큰 패싱, 네트워크 송신 등등을 포함하는 임의의 적절한 수단들을 사용하여 패스되거나, 포워딩되거나, 송신될 수 있다.
본 출원에서 이용되는 것과 같이, 용어 "컴포넌트", "모듈", "시스템" 및 유사 용어들은 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행되는 소프트웨어 중 하나인 컴퓨터 관련 엔티티를 지칭하도록 의도된다. 예를 들어, 컴포넌트는 프로세서에서 실행중인 프로세스, 프로세서, 오브젝트, 실행 가능 (executable), 실행 스레드 (thread of execution), 프로그램, 및/또는 컴퓨터가 될 수도 있지만, 이에 제한되지 않는다. 예시의 목적으로, 컴퓨팅 디바이스에 실행중인 애플리케이션 및 컴퓨팅 디바이스 양자는 하나의 컴포넌트일 수 있다. 하나 이상의 컴포넌트들은 프로세스 및/또는 실행 스레드 내에 상주할 수 있고, 하나의 컴포넌트는 하나의 컴퓨터에 국한되고 및/또는 2 이상의 컴퓨터들 사이에 분배될 수도 있다. 또한, 이러한 컴포넌트들은 다양한 데이터 구조들이 저장되는 다양한 컴퓨터 판독가능 매체로부터 실행할 수 있다. 컴포넌트들은 하나 이상의 데이터 패킷들 (예컨대, 로컬 시스템 내에서, 분배 시스템 내에서 및/또는 신호를 통한 다른 시스템들과의 인터넷과 같은 네트워크 전체에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터) 을 가지는 신호에 따라 로컬 및/또는 원격 프로세스들을 경유하여 통신할 수 있다.
본 명세서의 하나 이상의 실시예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 송신될 수도 있다. 컴퓨터 판독가능 매체는 한 장소에서 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체 및 통신 매체 양쪽 모두를 포함한다. 저장 매체는 컴퓨터가 액세스할 수 있는 이용가능한 임의의 매체일 수도 있다. 제한되지 않는 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 컴퓨터가 액세스할 수도 있는 명령들 또는 데이터 구조들의 형태로 운반하거나 저장하는데 사용될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 커넥션이 적절히 컴퓨터 판독가능 매체라고 지칭된다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 자원으로부터 동축 케이블, 광섬유 케이블, 꼬임 쌍 (twisted pair), 디지털 가입자 회선 (DSL), 또는 무선 기술들 이를테면 적외선, 라디오, 및/또는 마이크로파를 이용하여 전송된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 디스크 (Disk 및 disc) 는 본 명세서에서 사용되는 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하는데, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 들은 레이저들로 광학적으로 데이터를 재생한다. 전술된 것들의 조합들도 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다. 소프트웨어는 단일 명령 또는 다수의 명령들을 포함할 수도 있고, 몇몇 상이한 코드 세그먼트들을 통해, 상이한 프로그램들 중에서 및 복수의 저장 매체에 걸쳐 분배될 수도 있다. 예시적인 저장 매체는 프로세서가 그 저장 매체로부터 정보를 판독하고, 정보를 그 저장 매체에 기록할 수 있도록 프로세서에 커플링될 수도 있다. 대안적으로, 저장 매체는 프로세서에 내장될 수도 있다.
본 명세서에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 벗어나지 않고 서로 상호교환될 수도 있다. 다시 말해서, 설명된 실시형태의 적절한 동작을 위해 특정한 순서의 단계들 또는 액션들이 요구되지 않는다면, 특정한 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어나지 않고 수정될 수도 있다.
도면들에 도시된 컴포넌트들, 단계들 및/또는 기능들 중 하나 이상이 단일 컴포넌트, 단계 또는 기능으로 재배열 및/또는 결합되거나, 몇몇 컴포넌트들, 단계들 또는 기능들로 구현될 수도 있다. 추가의 엘리먼트들, 컴포넌트들, 단계들 및/또는 기능들이 부가될 수도 있다. 도면들에 도시된 장치들, 디바이스들, 및/또는 컴포넌트들은 다른 도면들에서 설명된 방법들, 특징들, 또는 단계들 중 하나 이상을 수행하도록 형성 또는 구성될 수도 있다. 본 명세서에서 설명된 알고리즘들은 예컨대, 소프트웨어 및/또는 내장된 하드웨어에서 효율적으로 구현될 수도 있다.
전술된 구성들은 거의 실시예들이며, 청구항들을 한정하는 것으로 간주되지 않는 것에 유의하여야 한다. 이러한 구성들의 설명은 예시적인 것이며, 청구항들의 범위를 제한하는 것은 아니다. 이처럼, 본 교시들은 장치들의 다른 유형들에 쉽게 적용될 수 있고 많은 대체예들, 변형예들, 및 개조예들이 이 당업자들에게 명확하게 될 것이다.

Claims (28)

  1. 이미지 특징 검출 디바이스의 운용 방법으로서,
    이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 스케일 차이 공간 이미지를 생성하는 단계;
    상기 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 정규화된 스케일 차이 공간 이미지를 생성하는 단계로서, 상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활한, 상기 정규화된 스케일 차이 공간 이미지를 생성하는 단계; 및
    상기 정규화된 스케일 차이 공간 이미지를 이용하여 이미지에 대한 하나 이상의 특징들을 검출하는 단계를 포함하는, 이미지 특징 검출 디바이스의 운용 방법.
  2. 제 1 항에 있어서,
    상기 이미지를 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브하여 상기 이미지의 복수의 평활화 버전들을 획득하는 단계를 더 포함하며,
    상기 복수의 평활화 버전들은 스케일 공간 피라미드를 정의하는, 이미지 특징 검출 디바이스의 운용 방법.
  3. 제 2 항에 있어서,
    상기 이미지의 2 개의 상이한 평활화 버전들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들인, 이미지 특징 검출 디바이스의 운용 방법.
  4. 제 2 항에 있어서,
    상기 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하는 단계를 더 포함하며,
    상기 스케일 차이 공간 이미지는 상기 스케일 차이 공간의 일부를 형성하는, 이미지 특징 검출 디바이스의 운용 방법.
  5. 제 4 항에 있어서,
    상기 이미지의 상이한 평활화 버전들의 쌍들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들인, 이미지 특징 검출 디바이스의 운용 방법.
  6. 제 2 항에 있어서,
    상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들에 대한 스케일들 중 더 큰 스케일과 동일하거나 더 넓은 스케일을 갖는, 이미지 특징 검출 디바이스의 운용 방법.
  7. 제 1 항에 있어서,
    상기 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 정규화된 스케일 차이 공간을 이용하여 상기 이미지에 대한 하나 이상의 특징들을 식별하는 단계를 더 포함하는, 이미지 특징 검출 디바이스의 운용 방법.
  8. 제 7 항에 있어서,
    상기 각각의 특징은 키포인트 및 그 주변 포인트들에 관한 정보를 포함하는, 이미지 특징 검출 디바이스의 운용 방법.
  9. 제 1 항에 있어서,
    식별된 하나 이상의 특징들에 기초하여 상기 이미지에 대한 디스크립터들을 생성하는 단계를 더 포함하는, 이미지 특징 검출 디바이스의 운용 방법.
  10. 이미지 특징 검출 디바이스로서,
    이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 스케일 차이 공간 이미지를 생성하도록 구성된 스케일 차이 공간 생성기;
    상기 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 정규화된 스케일 차이 공간 이미지를 생성하도록 구성된 스케일 차이 공간 생성기 정규화기로서, 상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활한, 상기 스케일 차이 공간 생성기 정규화기; 및
    상기 정규화된 스케일 차이 공간 이미지를 이용하여 이미지에 대한 하나 이상의 특징들을 검출하도록 구성된 특징 검출기를 포함하는, 이미지 특징 검출 디바이스.
  11. 제 10 항에 있어서,
    상기 이미지를 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브하여 상기 이미지의 복수의 평활화 버전들을 획득하도록 구성된 스케일 공간 생성기를 더 포함하며,
    상기 복수의 평활화 버전들은 스케일 공간 피라미드를 정의하는, 이미지 특징 검출 디바이스.
  12. 제 11 항에 있어서,
    상기 이미지의 2 개의 상이한 평활화 버전들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들인, 이미지 특징 검출 디바이스.
  13. 제 11 항에 있어서,
    상기 스케일 차이 공간 생성기는, 상기 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하도록 구성되고,
    상기 스케일 차이 공간 이미지는 상기 스케일 차이 공간의 일부를 형성하는, 이미지 특징 검출 디바이스.
  14. 제 13 항에 있어서,
    상기 이미지의 상이한 평활화 버전들의 쌍들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들인, 이미지 특징 검출 디바이스.
  15. 제 11 항에 있어서,
    상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들에 대한 스케일들 중 더 큰 스케일과 동일하거나 더 넓은 스케일을 갖는, 이미지 특징 검출 디바이스.
  16. 제 10 항에 있어서,
    상기 특징 검출기는, 상기 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 정규화된 스케일 차이 공간을 이용하여 상기 이미지에 대한 특징들을 식별하도록 구성되는, 이미지 특징 검출 디바이스.
  17. 제 10 항에 있어서,
    식별된 하나 이상의 특징들에 기초하여 상기 이미지에 대한 디스크립터들을 생성하도록 구성된 특징 디스크립터 생성기를 더 포함하는, 이미지 특징 검출 디바이스.
  18. 이미지 특징 검출 디바이스로서,
    이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 스케일 차이 공간 이미지를 생성하는 수단;
    상기 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 정규화된 스케일 차이 공간 이미지를 생성하는 수단으로서, 상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활한, 상기 정규화된 스케일 차이 공간 이미지를 생성하는 수단; 및
    상기 정규화된 스케일 차이 공간 이미지를 이용하여 이미지에 대한 하나 이상의 특징들을 검출하는 수단을 포함하는, 이미지 특징 검출 디바이스.
  19. 제 18 항에 있어서,
    상기 이미지를 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브하여 상기 이미지의 복수의 평활화 버전들을 획득하는 수단을 더 포함하며,
    상기 복수의 평활화 버전들은 스케일 공간 피라미드를 정의하는, 이미지 특징 검출 디바이스.
  20. 제 19 항에 있어서,
    상기 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하는 수단을 더 포함하며,
    상기 스케일 차이 공간 이미지는 상기 스케일 차이 공간의 일부를 형성하는, 이미지 특징 검출 디바이스.
  21. 제 20 항에 있어서,
    상기 이미지의 상이한 평활화 버전들의 쌍들은 평활화된 스케일 공간 피라미드에서 인접한 레벨들인, 이미지 특징 검출 디바이스.
  22. 제 18 항에 있어서,
    상기 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 정규화된 스케일 차이 공간을 이용하여 상기 이미지에 대한 하나 이상의 특징들을 식별하는 수단을 더 포함하는, 이미지 특징 검출 디바이스.
  23. 제 18 항에 있어서,
    식별된 하나 이상의 특징들에 기초하여 상기 이미지에 대한 디스크립터들을 생성하는 수단을 더 포함하는, 이미지 특징 검출 디바이스.
  24. 이미지 특징 검출 디바이스 상에 동작하는 하나 이상의 명령들을 포함하는 프로세서 판독가능 매체로서,
    상기 하나 이상의 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금,
    이미지의 2 개의 상이한 평활화 버전들 간의 차이를 취득함으로써 스케일 차이 공간 이미지를 생성하게 하고;
    상기 스케일 차이 공간 이미지를 이미지의 제 3 평활화 버전으로 나눔으로써 정규화된 스케일 차이 공간 이미지를 생성하게 하는 것으로서, 상기 이미지의 제 3 평활화 버전은 상기 이미지의 2 개의 상이한 평활화 버전들 중 가장 평활한 것만큼 평활하거나 더 평활한, 상기 정규화된 스케일 차이 공간 이미지를 생성하게 하고; 그리고
    상기 정규화된 스케일 차이 공간 이미지를 이용하여 이미지에 대한 하나 이상의 특징들을 검출하게 하는, 프로세서 판독가능 매체.
  25. 제 24 항에 있어서,
    상기 하나 이상의 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 추가로,
    상기 이미지를 상이한 스케일링 폭들의 복수의 평활화 커널들로 컨벌브하여 상기 이미지의 복수의 평활화 버전들을 획득하게 하고,
    상기 복수의 평활화 버전들은 스케일 공간 피라미드를 정의하는, 프로세서 판독가능 매체.
  26. 제 25 항에 있어서,
    상기 하나 이상의 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 추가로,
    상기 이미지의 상이한 평활화 버전들의 쌍들 간의 차이를 취득함으로써 스케일 차이 공간을 생성하게 하고,
    상기 스케일 차이 공간 이미지는 상기 스케일 차이 공간의 일부를 형성하는, 프로세서 판독가능 매체.
  27. 제 24 항에 있어서,
    상기 하나 이상의 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 추가로,
    상기 정규화된 스케일 차이 공간 이미지 내의 로컬 극값을 검출함으로써 정규화된 스케일 차이 공간을 이용하여 상기 이미지에 대한 하나 이상의 특징들을 식별하게 하는, 프로세서 판독가능 매체.
  28. 제 24 항에 있어서,
    상기 하나 이상의 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 추가로,
    식별된 하나 이상의 특징들에 기초하여 상기 이미지에 대한 디스크립터들을 생성하게 하는, 프로세서 판독가능 매체.
KR1020127020776A 2010-01-08 2011-01-08 균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술을 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 KR101420551B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29343710P 2010-01-08 2010-01-08
US61/293,437 2010-01-08
US12/986,607 2011-01-07
US12/986,607 US8582889B2 (en) 2010-01-08 2011-01-07 Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
PCT/US2011/020613 WO2011085277A1 (en) 2010-01-08 2011-01-08 Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes

Publications (2)

Publication Number Publication Date
KR20120116970A true KR20120116970A (ko) 2012-10-23
KR101420551B1 KR101420551B1 (ko) 2014-07-16

Family

ID=44258568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127020776A KR101420551B1 (ko) 2010-01-08 2011-01-08 균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술을 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체

Country Status (8)

Country Link
US (1) US8582889B2 (ko)
EP (1) EP2521990A1 (ko)
JP (1) JP5503018B2 (ko)
KR (1) KR101420551B1 (ko)
CN (1) CN102713938B (ko)
BR (1) BR112012016654A2 (ko)
TW (1) TW201142718A (ko)
WO (1) WO2011085277A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150099964A (ko) * 2014-02-24 2015-09-02 한국전자통신연구원 이미지 특징 추출 장치 및 방법
KR20160109049A (ko) * 2015-03-09 2016-09-21 한국전자통신연구원 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965130B2 (en) * 2010-11-09 2015-02-24 Bar-Ilan University Flexible computer vision
JP5820236B2 (ja) * 2011-10-28 2015-11-24 キヤノン株式会社 画像処理装置及びその制御方法
CN103186762A (zh) * 2011-12-28 2013-07-03 天津市亚安科技股份有限公司 基于surf特征匹配算法的车牌字符识别方法
US9031326B2 (en) * 2012-02-16 2015-05-12 Sony Corporation System and method for effectively performing an image categorization procedure
US9202108B2 (en) 2012-04-13 2015-12-01 Nokia Technologies Oy Methods and apparatuses for facilitating face image analysis
ITTO20120602A1 (it) * 2012-07-09 2014-01-10 Sisvel Technology Srl Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.
JP5651659B2 (ja) 2012-08-31 2015-01-14 株式会社東芝 物体検出システムおよびプログラム
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
ITMI20131244A1 (it) * 2013-07-24 2015-01-25 Telecom Italia Spa Identificazione di keypoint
US9576218B2 (en) * 2014-11-04 2017-02-21 Canon Kabushiki Kaisha Selecting features from image data
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
US9977994B2 (en) 2016-06-30 2018-05-22 Apple Inc. Configurable histogram-of-oriented gradients (HOG) processor
US20190205693A1 (en) * 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
CN108269244B (zh) * 2018-01-24 2021-07-06 东北大学 一种基于深度学习和先验约束的图像去雾系统
CN109271905B (zh) * 2018-09-03 2021-11-19 东南大学 一种基于单帧图像的黑烟车检测方法
KR102444544B1 (ko) 2019-05-24 2022-09-19 한국전자통신연구원 영상의 전처리 방법 및 장치
CN110598578A (zh) * 2019-08-23 2019-12-20 腾讯云计算（北京）有限责任公司 身份识别方法、身份识别系统的训练方法、装置及设备
KR102656662B1 (ko) 2021-07-14 2024-04-12 한국전자통신연구원 리셉티브 필드의 차이 정보를 활용한 딥러닝 기반 키포인트 검출 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424781A (ja) * 1990-05-15 1992-01-28 Canon Inc 文書処理装置
WO2004111931A2 (en) * 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
US7940994B2 (en) * 2005-11-15 2011-05-10 Teledyne Licensing, Llc Multi-scale image fusion
US8233716B2 (en) * 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties
CN101329767B (zh) * 2008-07-11 2011-11-16 西安交通大学 基于学习的视频中显著物体序列自动检测方法
US8363973B2 (en) * 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
US20100303354A1 (en) * 2009-06-01 2010-12-02 Qualcomm Incorporated Efficient coding of probability distributions for image feature descriptors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150099964A (ko) * 2014-02-24 2015-09-02 한국전자통신연구원 이미지 특징 추출 장치 및 방법
KR20160109049A (ko) * 2015-03-09 2016-09-21 한국전자통신연구원 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법

Also Published As

Publication number Publication date
US20110170780A1 (en) 2011-07-14
KR101420551B1 (ko) 2014-07-16
WO2011085277A1 (en) 2011-07-14
CN102713938B (zh) 2015-05-13
BR112012016654A2 (pt) 2018-05-15
JP2013516709A (ja) 2013-05-13
US8582889B2 (en) 2013-11-12
TW201142718A (en) 2011-12-01
CN102713938A (zh) 2012-10-03
EP2521990A1 (en) 2012-11-14
JP5503018B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
KR101420551B1 (ko) 균일 및 불균일 조명 변화들에서 개선된 특징 검출을 위한 스케일 공간 정규화 기술을 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체
KR101117837B1 (ko) 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
US8705876B2 (en) Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching
US8897572B2 (en) Fast subspace projection of descriptor patches for image recognition
JP5602940B2 (ja) 事前計算されたスケール空間からのデイジー記述子生成
JP3964327B2 (ja) 画像内の関心領域を決定するための方法及び装置及び画像伝送方法及び装置
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
KR101650994B1 (ko) 객체 인식에서 피처 생성을 개선시키기 위한 시스템들 및 방법들
Krig et al. Image pre-processing
JP2010086540A (ja) 特徴記述子ベクトル生成方法、システムおよびプログラム
US20130135301A1 (en) Efficient scale-space extraction and description of interest points
Olvera et al. A feature extraction using SIFT with a preprocessing by adding CLAHE algorithm to enhance image histograms
Shyam et al. Lightweight hdr camera isp for robust perception in dynamic illumination conditions via fourier adversarial networks
Tsomko et al. Linear Gaussian blur evolution for detection of blurry images
KR101166722B1 (ko) 이미지 검색을 위한 국부적 색변화 기반 관심점 검출과 디스크립터 생성 방법 및 그 기록매체
Chu et al. Image-guided tours: fast-approximated sift with u-surf features
KR102619092B1 (ko) 영상분석방법 및 그를 포함하는 영상처리방법
Lee et al. A restoration method for distorted comics to improve comic contents identification
GB2393062A (en) Image transmission system and method for determining regions of interest in an image transmission
Kurzejamski et al. Saliency-based optimization for the histogram of oriented gradients-based detection methods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5