KR101470112B1 - 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성 - Google Patents

미리 계산된 스케일-공간으로부터의 데이지 서술자 생성 Download PDF

Info

Publication number
KR101470112B1
KR101470112B1 KR1020127030423A KR20127030423A KR101470112B1 KR 101470112 B1 KR101470112 B1 KR 101470112B1 KR 1020127030423 A KR1020127030423 A KR 1020127030423A KR 20127030423 A KR20127030423 A KR 20127030423A KR 101470112 B1 KR101470112 B1 KR 101470112B1
Authority
KR
South Korea
Prior art keywords
scale
orientation
scale space
maps
image
Prior art date
Application number
KR1020127030423A
Other languages
English (en)
Other versions
KR20130019430A (ko
Inventor
오누어 함시키
존 에이치 홍
유리 레즈닉
선딥 바다디
총 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130019430A publication Critical patent/KR20130019430A/ko
Application granted granted Critical
Publication of KR101470112B1 publication Critical patent/KR101470112B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지에서 포인트에 대한 로컬 피처 서술자는 이미지 스케일 공간의 다수의 레벨들에 걸쳐서 생성된다. 이미지는 복수의 스케일 공간들을 획득하도록 점진적으로 평탄화된다. 포인트는 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 관심 포인트로서 식별될 수도 있다. 복수의 이미지 파생물들은 복수의 스케일 공간들의 각각에 대해 획득된다. 복수의 방위 맵들은 복수의 스케일 공간들에서 각각의 스케일 공간에 대해 (복수의 이미지 파생물드로부터) 획득된다. 그 후, 복수의 방위 맵들의 각각이 평탄화되어 (예를 들어, 컨볼루션되어), 대응하는 복수의 평탄화된 방위 맵들을 획득하게 한다. 따라서, 포인트에 대한 로컬 피처 서술자는 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 샘플링함으로써 생성될 수도 있다.

Description

미리 계산된 스케일-공간으로부터의 데이지 서술자 생성 {DAISY DESCRIPTOR GENERATION FROM PRECOMPUTED SCALE - SPACE}
35 U.S.C. §119 하의 우선권 주장
본 특허출원은 "Extracting Daisy Descriptor in Scale-Space"라는 발명의 명칭으로 2010 년 4 월 20 일에 출원된 미국 가출원 제 61/326,087 호 및 "Fast Descriptor Extraction in Scale-Space"라는 발명의 명칭으로 2010 년 11 월 11 일에 출원된 미국 가출원 제 61/412,759 호에 대한 우선권을 주장하며, 양측의 가출원은 본원의 양수인에게 양도되었고 여기에서 참조로서 명확히 포함된다.
일 특징은 컴퓨터 비전, 더 구체적으로는, 이미지들의 인식 및 취출 수행, 프로세싱, 및/또는 압축을 개선하기 위한 방법들 및 기술들에 관한 것이다.
다양한 애플리케이션들은 시각적 표현 (예컨대, 이미지 또는 픽처) 에서 오브젝트들을 식별할 수 있는 기계 또는 프로세서를 갖는 것으로부터 이득을 얻을 수도 있다. 컴퓨터 비전의 분야는 이미지의 오브젝트들 또는 피처들을 식별하는 기술들 및/또는 알고리즘들을 제공하고자 하며, 여기서 오브젝트 또는 피처는 하나 이상의 포인트들 (예컨대, 모든 픽셀 포인트들, 관심 키포인트들 등) 을 식별하는 서술자들에 의해 특징지어질 수도 있다. 이들 기술들 및/또는 알고리즘들은 종종 다른 애플리케이션들 중에서도 안면 인식, 오브젝트 검출, 이미지 매칭, 3 차원 구조물 구성, 스테레오 대응성, 및/또는 모션 트래킹에도 역시 적용된다. 일반적으로, 오브젝트 또는 피처 인식은 피처 식별, 이미지 취출, 및/또는 오브젝트 인식의 목적을 위해 이미지에서 관심 포인트들을 식별하는 것을 수반할 수도 있다. 바람직하게는, 그 포인트들은, 그들이 이미지 스케일 변화 및/또는 회전에 대해 불변이고, 상당한 범위의 왜곡, 관점 변화, 및/또는 잡음과 조명 변화에 대해 강건한 매칭을 제공하도록 선택 및/또는 프로세싱될 수도 있다. 또한, 이미지 취출 및 오브젝트 인식과 같은 태스크에 잘 맞도록 하기 위해, 단일 피처가 복수의 타깃 이미지들로부터 피처들의 큰 데이터베이스에 대해 높은 확률로 정확하게 매칭될 수 있다는 관점에서 피처 서술자들은 바람직하게는 개별적일 수도 있다.
예를 들어, 로컬 이미지 계산들은 관심 포인트들을 위치시키도록 하는 가우시안 피라미드를 이용하여 수행될 수도 있다. SIFT (scale invariant feature transform) 와 같은 다수의 컴퓨터 비전 알고리즘들은, 장면에서 특정 오브젝트들의 검출로 향하는 초기 단계 또는 쿼리된 오브젝트를 그의 피처들에 기초하여 분류하는 것으로서, 이러한 포인트들을 계산하고 나서 그들 주위의 로컬화된 피처들을 추출하도록 진행하는 데 이용된다.
이미지에서 하나 이상의 포인트들이 검출되고 위치된 후, 그들은 다양한 서술자들을 이용하여 식별 또는 기술될 수도 있다. 예를 들어, 서술자들은, 다른 이미지 특성들 중에서도, 형상, 컬러, 텍스처, 회전, 및/또는 모션과 같은 이미지들에서의 콘텐츠의 시각적 피처들을 표현할 수도 있다. 서술자는 포인트 및 그 포인트 주위의 로컬 이웃을 나타낼 수도 있다. 서술자 추출의 목적은 포인트들 주위의 로컬 정보의 강건한 무잡음 표현을 획득하도록 하는 것이다.
포인트들에 대응하고 서술자들에 의해 표현되는 개별 피처들은 공지된 오브젝트들로부터의 피처들의 데이터베이스에 매칭된다. 따라서, 대응성 검색 시스템은 3 개의 모듈들: 포인트 검출기, 피처 서술자, 및 대응성 로케이터로 분리될 수 있다. 이들 3 개의 로직 모듈들에서, 서술자의 구성 복잡도 및 차원수는 피처 매칭 시스템의 성능에 직접적이고 상당한 영향을 미친다.
이러한 피처 서술자들은 실시간 오브젝트 인식, 증장 현실, 3D 재구성, 파노라마 스티칭, 로봇 맵핑, 비디오 트래킹, 및 유사한 작업들의 애플리케이션들을 점점 더 찾고 있다. 애플리케이션에 따라, 피처 서술자들 (또는 등가물) 의 송신 및/또는 저장은 오브젝트 검출의 계산 속도 및/또는 이미지 데이터베이스들의 사이즈를 제한할 수 있다. 모바일 디바이스들 (예컨대, 카메라 폰들, 모바일 폰들 등) 또는 분산형 카메라 네트워크들의 콘텍스트에서, 상당한 통신 및 프로세싱 리소스들이 노드들 사이의 서술자 추출에 소비될 수도 있다. 서술자 추출의 계산 집약적 프로세스는 모바일 폰들과 같은 리소스 제한 디바이스들 상에서 그의 애플리케이션을 저해하거나 복잡하게 하는 경향이 있다.
상이한 이점들을 가각 갖는 다양한 서술자들이 제안되고 있다. 스케일 불변 피처 변환 (scale invariant feature transform: SIFT) 은, 포인트의 이웃에서 (픽셀 그레디언트들의) 우세 방위와 정렬되고, 검출된 포인트의 스케일 레벨에 비례하게 사이즈 조정되는 정사각형 패치를 개방한다. 이 영역에서 그레디언트 값들은 각 셀에서 복수의 빈 (bin) 방위 히스토그램들을 갖는 셀에 요약된다. 데이지 서술자들은 조밀한 매칭 및 패치 대응성 문제들에서 SIFT 보다 더 우수하고 더 빠른 매칭 성능을 보이고 있다. SIFT 서술자를 넘는 데이지 서술자들의 중요한 이점은, 데이터 서술자를 구성하는 데 있어서, 배향된 파생물들의 공간 비닝 (spatial binning) 이 상이한 분해능을 나타낸다는 것이다. 더 추가적으로, 공간 빈 사이즈는 포인트로부터 더 멀리 위치된 빈들에 대해 더 크다 (즉, 더 거칠다). 상이한 분해능을 이용하는 것은 데이터 서술자들이 회전 및 스케일 변화들에 대해 더 강건하게 만든다. 그러나, 고속 공간 비닝을 계산하기 위해, 데이지 서술자들은 각각의 이미지 파생물에 대한 3 개의 스케일들의 스케일 공간을 구축하는 추가 메모리를 요구한다. 데이터 서술자 알고리즘의 다른 중요한 제한사항은 (SIFT 에 대해) 저장에 필요한 추가 메모리이다. 예를 들어, 3 개의 스케일 레벨들이 8 개의 배향된 파생물들의 각각에 대해 요구된다. 데이지 서술자들을 이용할 때, 총 추가 메모리는 MxN 이미지 (즉, 각각의 평활화된 픽셀에 대한 1 바이트 동적 범위를 상정함) 에 대해 24xMxN 이다. 메모리 복잡도는 S 개의 스케일 레벨들을 갖는 스케일 공간에 대해 24MxNxS 로 더 증가한다. 이것은 스케일 불변 데이지 서술자들, 즉 스케일 공간 내의 데이티 서술자들의 추출을 제한한다.
따라서, 스케일 공간에서 데이지 서술자들을 생성 및/또는 저장하는 데 필요한 메모리의 양을 감소시키는 방법이 필요하다.
다음은 일부 실시형태들의 기본적인 이해를 제공하기 위해 하나 이상의 실시형태들의 간략화된 개요를 제공한다. 이 개요는 모든 고려되는 실시형태들의 넓은 개요가 아니며, 모든 실시형태들의 키 또는 임계적 엘리먼트들을 식별하거나 임의의 또는 모든 실시형태들의 범주를 상술하고자 하는 것이 아니다. 이것의 유일한 목적은 하나 이상의 실시형태들의 일부 개념들을 추후에 제시되는 더욱 상세한 설명에 대한 전주로서 간략화된 형태로 제공하는 것이다.
이미지에 대한 로컬 피처 서술자 (local feature descriptor) 를 생성하는 방법이 제공된다. 이미지는 복수의 스케일 공간들을 획득하도록 점진적으로 평탄화될 수도 있다. 제 1 스케일 공간 내의 포인트는 이미지에 대한 복수의 스케일 공간들로부터 식별된다. 복수의 이미지 파생물들은 그 후에 복수의 스케일 공간들의 각각에 대해 획득되며, 여기서 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 네거티브가 아닌 값들로부터 획득된다. 복수의 방위 맵들은 그 후에 복수의 스케일 공간들에서 각각의 스케일 공간에 대해 획득된다. 각각의 스케일 공간에 대한 복수의 방위 맵들은 복수의 상이한 방위들에 대한 방위 맵들을 포함할 수도 있다. 각각의 방위 맵들은 단일의 대응하는 평탄화된 방위 맵으로 해상할 수도 있다. 복수의 방위 맵들의 각각은 대응하는 복수의 평탄화된 방위 맵들을 획득하도록 평탄화된다. 복수의 평탄화된 방위 맵들 내의 방위 맵의 평탄화는 방위 맵의 스케일 공간 레벨에 비례할 수도 있다. 그 후, 포인트에 대한 로컬 피처 서술자는 복수의 스케일 공간들로부터 2 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 (sparsely) 샘플링함으로써 생성 또는 획득된다. 예를 들어, 로컬 피처 서술자는 포인트의 중심 위로 분포된 샘플 포인트들의 공간적 풀링에 의해 정의된 커널 풀링 구성을 가질 수도 있다. 일부 경우들에 있어서, 로컬 피처 서술자는 복수의 평탄화된 방위 맵들의 희소 샘플링으로부터 배향된 그레디언트들로부터 구축되는 복수의 히스토그램들을 포함할 수도 있다.
일 실례에서, 포인트는 복수의 스케일 공간들 내의 위치들의 서브세트로부터의 샘플 포인트일 수도 있다. 예를 들어, 위치들의 서브세트는 오브젝트에 대한 예상 패턴에 기초하여 선택될 수도 있다. 다른 실례에서, 위치들의 서브세트는 이미지 내의 식별된 키포인트들에 기초하여 선택될 수도 있으며, 여기서 키포인트는 이미징 조건에서의 변화에 강건한 것으로 식별된 포인트이다.
일 실례에서, 2 이상의 스케일 공간들은 제 1 스케일 공간 및 그 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함한다. 예를 들어, 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 단계는, (a) 제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 단계로서, 제 1 복수의 포인트들은 상기 포인트의 위치와 동심인 제 1 링에 배열되는, 제 1 복수의 포인트들을 샘플링하는 단계; (b) 제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하는 단계로서, 제 2 복수의 포인트들은 상기 포인트의 위치와 동심인 제 2 링에 배열되고, 제 2 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는 단계, 및/또는 (c) 제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하는 단계로서, 제 3 복수의 포인트들은 상기 포인트의 위치와 동심인 제 3 링에 배열되고, 제 3 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 제 3 스케일 공간에 대응하는 단계를 포함할 수도 있다. 일 실례에서, 제 2 링은 제 1 링에 대한 반경보다 큰 제 2 반경을 가질 수도 있고, 제 3 링은 제 2 링에 대한 제 2 반경보다 큰 제 3 반경을 갖는다.
일 양태에 따르면, 복수의 방위 맵들은 동일한 평탄화 계수를 이용하여 평탄화될 수도 있고, 제 1 스케일 공간은 2 개 이상의 스케일 공간들 중 하나이며, 제 2 스케일 공간은 상기 제 1 스케일 공간에 대해 소망되는 평탄화를 성취하도록 선택된다.
이미지에 대한 로컬 피처 서술자를 생성하는 이미지 프로세싱 디바이스가 제공된다. 이미지 프로세싱 디바이스는 입력 인터페이스/디바이스, 저장 디바이스, 및/또는 프로세싱 회로를 포함할 수도 있다. 입력 인터페이스는 이미지를 획득하고, 캡처하고, 및/또는 수신하도록 기능하거나 적응될 수도 있다. 저장 디바이스는 하나 이상의 이미지들에 대한 로컬 피처 서술자들을 저장하도록 기능할 수도 있다. 프로세싱 회로는 입력 인터페이스 및 저장 디바이스에 커플링되며, (a) 복수의 스케일 공간들을 획득하도록 이미지를 점진적으로 평탄화하고, (b) 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 포인트를 식별하고, 동작들을 수행하도록 적응될 수도 있고, 및/또는 (c) 복수의 스케일 공간들의 각각에 대한 복수의 이미지 파생물들을 획득하도록 하는 하나 이상의 회로들을 포함하고,
(d) 복수의 스케일 공간들에서 각각의 스케일 공간에 대한 복수의 방위 맵들을 획득하고, 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 네거티브가 아닌 값들로부터 획득되고, (e) 대응하는 복수의 평탄화된 맵들을 획득하도록 복수의 방위 맵들의 각각을 평탄화하고, 및/또는 (f) 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 샘플링한다. 로컬 피처 서술자는 포인트의 중심 위에 분포된 샘플 포인트들의 공간 풀링에 의해 정의된 커널 풀링 구성을 가질 수도 있다.
2 개 이상의 스케일 공간들은 제 1 스케일 공간 및 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함할 수도 있다. 포인트는 복수의 스케일 공간들 내의 위치들의 서브세트로부터의 샘플 포인트일 수도 있다.
복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 단계는, (a) 제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 단계로서, 제 1 복수의 포인트들은 상기 포인트의 위치와 동심인 제 1 링에 배열되는, 제 1 복수의 포인트들을 샘플링하는 단계; (b) 제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하는 단계로서, 제 2 복수의 포인트들은 상기 포인트의 위치와 동심인 제 2 링에 배열되고, 제 2 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는 단계, 및/또는 (c) 제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하는 단계로서, 제 3 복수의 포인트들은 상기 포인트의 위치와 동심인 제 3 링에 배열되고, 제 3 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 제 3 스케일 공간에 대응하는 단계를 포함할 수도 있다. 프로세싱 디바이스는 복수의 평탄화된 방위 맵들의 희소 샘플링으로부터 배향된 그레디언트들의 복수의 히스토그램들을 구축하도록 추가로 적응될 수도 있다. 일 실례에서, 복수의 방위 맵들은 동일한 평탄화 계수를 이용하여 평탄화되고, 제 1 스케일 공간은 2 개 이상의 스케일 공간들 중 하나이며, 제 2 스케일 공간은 제 1 스케일 공간에 대해 소망되는 평탄화를 성취하도록 선택된다.
다양한 특징들, 속성, 및 이점들은 도면과 결부시켜 아래에서 설명되는 상세한 설명으로부터 명백해질 수도 있으며, 도면에서 동일한 참조부호들은 전반적으로 대응하게 식별한다.
도 1 은 효율적으로 생성된 데이지 서술자들을 이용하여 쿼리된 이미지 상에서 오브젝트 인식을 수행하기 위한 기능 스테이지들을 예시한 블록도이다.
도 2 는 일 실례에 따른 데이지 서술자를 생성하는 데 이용된 스케일 공간들 및 방위 맵들의 생성을 예시한다.
도 3 은 스케일 공간의 스케일 레벨이 방위 맵을 정의하도록 하는 복수의 그레디언트 방위들을 갖는 픽셀들을 포함할 수도 있는 방법을 예시한다.
도 4, 도 5, 및 도 6 은 방위 맵들이 스케일 공간 레벨로부터 생성될 수도 있는 방법을 예시한다.
도 7 은 데이지 서술자의 일반적인 생성을 예시한다.
도 8 은 각각의 방위 맵에 대한 다수의 평활화된 (컨볼루션된) 방위 맵들을 생성할 필요성을 회피시키는 더 효율적인 실례에 따른 변경된 데이지 서술자를 생성하는 데 이용되는 스케일 공간들 및 방위 맵들의 생성을 예시한다.
도 9 는 스케일 공간 피라미드의 다수의 레벨들을 이용하여 데이지 서술자가 생성될 수도 있는 방법을 예시한다.
도 10 은 스케일 공간에 대해 변경된 데이지 서술자와 비교하여 일반적인 데이지 서술자의 생성의 비교를 예시한다.
도 11 은 복수의 스케일 공간 레벨들에 걸쳐서 서술자를 생성하는 서술자 생성 디바이스의 일례를 예시한 블록도이다.
도 12 는 복수의 스케일 공간 레벨들에 걸쳐서 로컬 피처 서술자를 생성하는 방법의 흐름도이다.
도 13 은 스케일 공간의 다수의 레벨들에 걸쳐서 생성된 로컬 서술자를 이용하여 이미지 또는 오브젝트 인식의 목적을 위한 이미지 프로세싱을 수행하도록 적응된 예시적인 모바일 디바이스를 예시한 블록도이다.
이제, 도면을 참조하여 다양한 실시형태들이 설명되며, 도면에서는 도면 전반에 걸쳐서 동일한 엘리먼트들을 지칭하는 데 동일한 참조기호들은 이용된다. 하기의 설명에서는, 설명을 목적으로, 하나 이상의 실시형태들의 철저한 이해를 제공하기 위해 많은 특정 세부사항들이 설명된다. 그러나, 그러한 실시형태(들) 은 이들 특정 세부사항들이 없이 실시될 수도 있다는 것이 명백할 수도 있다. 다른 경우들에 있어서, 주지된 구조들 및 디바이스들은 하나 이상의 실시형태들을 용이하게 설명하기 위해 블록도 형태로 도시된다.
개관
데이지 서술자들의 생성을 개선하기 위한 기술이 제공된다. 평활화된 (컨볼루션된) 방위 맵들의 수를 3 으로부터 1 로 감소시키고, 그에 의해 데이지 서술자를 생성하는 데 필요한 메모리의 양을 감소시키는 변경된 데이지 서술자 방법이 제공된다. 특히, 각각의 방위 맵으로부터 다수이 평활화된 방위 맵들을 생성하는 대신, 단 하나의 평활화된 방위 맵이 각각의 스케일 공간 레벨의 각각의 방위 맵 (즉, 대응하는 배향된 이미지 파생물의 네거티브가 아닌 값들을 포함함) 에 대해 생성된다. 그 후, 더 높은 스케일 공간들에 대한 평활화된 방위 맵들은 데이지 서술자의 생성 시에 이용된다. 이를 위해, 구체적으로, 스케일 공간 피라미드의 더 높은 스케일들은 오리지널 데이지 서술자들을 생성하는 데 이용된 방위 맵 당 다수의 평활화된 방위 맵들에 의해 그와 달리 획득되었을 분해능을 근사화하도록 선택될 수도 있다.
또 다른 구현물에서, 스케일 공간 피라미드의 더 높은 스케일들은 종래의 데이지 서술자 프로세스에 의해 채용되었을 분해능과 상관없이 선택될 수도 있다.
스케일 공간 피라미드의 다수의 레벨들에 걸쳐서 변경된 데이지 서술자를 생성하는 것은 또한 그러한 변경된 데이지 서술자를 잡음에 더 강건하게 만든다는 것에 주목한다. 오리지널 데이지 서술자 알고리즘은 더 미세한 (현재 스케일) 그리고 더 조악한 (더 높은 스케일) 평활화된 방위 맵들을 도출하여 스케일 공간 피라미드의 단일 레벨에 의존하도록 단일 스케일 공간 레벨을 이용한다. 대조적으로, 본 접근방안은 피라미드의 더 높은 스케일 공간 레벨들이 더 적은 잡음 그레디언트 값들을 생성하기 때문에 잡음에 더 안정적이다. 이것은, 더 큰 커널을 갖는 이미지를 평탄화하는 것이, 방위 맵들을 생성하는 파생 동작들에 의해 증폭될 수도 있는 고주파 잡음을 제거하기 때문이다.
예시적인 오브젝트 인식 프로세스( Exemplary Object Recognition Process )
도 1 은 효율적인 생성된 데이지 서술자들을 이용하여 쿼리된 이미지에 대해 오브젝트 인식을 수행하는 기능 스테이지들을 예시한 블록도이다. 이미지 캡처 스테이지 (102) 에서, 쿼리 이미지 (108) 는 캡처되거나 이와 달리 획득될 수도 있다. 예를 들어, 쿼리 이미지 (108) 는 이미지 캡처링 디바이스에 의해 캡처될 수도 있으며, 이 이미지 캡처링 디바이스는 하나 이상의 이미지 센서들 및/또는 아날로그-디지털 컨버터를 포함하여 디지털 캡처된 이미지를 획득할 수도 있다. 이미지 센서들 (예컨대, 전하 커플링된 디바이스들 (CCD), 상보 금속 반도체들 (CMOS)) 은 광을 전자들로 변환할 수도 있다. 전자들은 아날로그 신호를 형성하며, 이 신호는 이후에 아날로그-디지털 컨버터에 의해 디지털 값들로 변환된다. 이 방식으로, 이미지 (108) 는, 예를 들어 대응하는 컬러, 조명, 및/또는 다른 특성들을 갖는 복수의 픽셀들로서 이미지 I(x, y) 를 정의할 수도 있는 디지털 포맷으로 캡처될 수도 있다.
그 후, 이미지 프로세싱 스테이지 (104) 에서, 캡처된 이미지 (108) 는 대응하는 스케일 공간 (120)(예컨대, 가우시안 스케일 공간) 을 생성하고, 각각의 스케일 공간에 대해 배향된 이미지 파생물들 (119) 을 획득하고, 이미지 파생물들로부터 방위 맵 생성 (121) 을 수행하고, 및/또는 스케일 공간 (128) 에서 로컬 피처 서술자 (예컨대, 변경된 데이지 서술자) 생성을 수행함으로써 프로세싱된다. 이미지 비교 스테이지 (106) 에서, 획득된 서술자들 (128) 은 공지된 서술자들의 데이터베이스 (131) 과 함께 피처 매칭 (130) 을 수행하는 데 이용된다. 서술자 데이터베이스 (131) 내의 서술자들은 스케일 공간에서 로컬 피처 서술자들을 추출함으로써 마찬가지로 생성될 수도 있다. 즉, 복수의 테스트 이미지들에 대해, 서술자는 생성되어 서술자 데이터베이스 (131) 에 이전에 저장될 수도 있다. 그 후, 기하학적 검증 또는 일치성 검사 (132) 가 포인트 매칭들에 대해 (예컨대, 매칭 서술자들에 기초하여) 수행되어, 정확한 피처 매칭들을 확인하고 매칭 결과들 (134) 을 제공하도록 할 수도 있다. 이 방식으로, 쿼리 이미지 (또는 그 내부의 오브젝트) 는 타깃 이미지들 (109)(또는 오브젝트들) 의 데이터베이스에 비교될 수도 있고, 및/또는 그러한 데이터베이스로부터 식별될 수도 있다.
스케일 불변 피처 변환 (Scale Invariant Feature Transform: SIFT) 을 포함하는 다수의 알고리즘들이 이미지들에서 피처 검출을 수행하도록 개발되었다. 이미지에서 특정 오브젝트들의 검출로 향하는 제 1 단계는 그의 로컬 특징들에 기초하여 쿼리된 오브젝트를 분류하는 것이다. 목적은, 예를 들어 조명, 이미지 잡음, 회전, 스케일링, 및/또는 작은 시점 변화들에 대해 불변 및/또는 강건한 피처들을 식별하고 선택하는 것이다. 즉, 조명, 이미지 잡음, 회전, 스케일, 및/또는 시점에서 2 개의 이미지들 사이의 차이들에도 불구하고 쿼리 이미지와 비교 타깃 이미지 사이의 매칭이 발견되어야 한다.
데이지 서술자는 조밀한 매칭 및 패치 대응성 문제들에서 SIFT 서술자들보다 더 우수하고 더 빠른 매칭 성능을 나타낸다. SIFT 서술자들을 넘는 데이지 서술자들의 중요한 이점은 데이지 서술자가 상이한 분해능의 배향된 파생물들? 공간 비닝을 이용한다는 것이다. 구체적으로, 데이지 서술자 생성 시, 공간 빈 사이즈는 포인트로부터 더 멀리 위치된 빈들에 대해 더 크다. 이것은 데이지 서술자들이 회전 및 스케일 변화에 더 강건하게 만든다.
예시적인 종래의 데이지 서술자 생성( Exemplary Typical Daisy Descriptor Generation)
데이지 서술자는 오브젝트의 2 개의 시점들 사이의 대응성을 발견하도록 정의된다. 2 개의 이미지들에서 모든 픽셀 대응성이 매칭을 위해 소망되므로, 이것을 달성하기 위한 효율적인 방법은 이후에 비교될 수 있는 이미지들에 대한 하나 이상의 서술자들을 정의하는 것이다. 스케일 불변 피처 변환 (Scale-Invariant Feature Transform: SIFT) 및 그레디언트 위치 및 방위 히스토그램 (Gradient Location and Orientation Histogram: GLOH) 은 이미지의 배향된 파생물을 먼저 취하고 그 후에 방위 히스토그래므로 특정 공간 영역에서 배향된 파생물을 표현함으로서 그들의 서술자들을 구축한다. 이 절차는 계산적으로 수요가 있는데, 이는 그것이 대응하는 히스토그램 빈들의 모든 픽셀 그레디언트에 대해 삼선형 보간들 (tri-linear interpolations)(즉, 공간에 대해 2 및 방위에 대해 1) 을 계산하도록 요구하기 때문이다. 데이지 서술자들은 선형 보간들을 배향된 파생물들의 평탄화 (예컨대, 가우시안 평탄화) 와 교체함으로써 이 문제를 극복한다. 또한, 데이지 서술자를 생성하는 데 이용된 공간 비닝 레이아웃 (즉, 평탄화된 방위 맵들의 다수의 레벨들에 걸쳐서 포인트로부터 외부로 이동하는 더 큰 빈들) 은 스케일, 위치, 및 방위 변화들에 대해 더 강건성을 허용한다.
일반적으로, 종래의 데이지 서술자를 생성하기 위해, 이미지는 먼저 프로세싱되어 스케일 공간을 획득한다. 스케일 공간은 프로세싱되어 대응하는 배향된 파생물들 (즉, 방위 맵들) 을 획득하도록 한다. 각각의 배향된 파생물은 배향된 파생물 당 복수의 평탄화된 (컨볼루션된) 방위 맵들을 획득하도록 복수의 상이한 평탄화 계수들을 이용하여 평탄화된다. 복수의 평탄화된 방위 맵들이 그 후에 데이지 서술자들을 생성하는 데 이용된다.
도 2 는 일 실례에 따라 데이지 서술자를 생성하는 데 이용된 스케일 공간들 및 방위 맵들을 생성을 예시한다. 먼저, 디지털 이미지 I(x, y)(201) 는 스케일 공간 피라미드 (202) 를 구성하도록 점진적으로 평탄화/블러링될 수도 있다. 이미지 스케일 공간 피라미드 (202) 는 스케일 공간이 공간 및 스케일 양측 모두에서 샘플링되는 이산적 표현이다. 블러링 (평탄화) 은 일반적으로 스케일 cσ 에서 오리널 이미지 I(x, y) 를 블러링/평탄화 함수 G(x, y, ciσ) 와 컨볼루션하는 것을 수반하여 스케일 공간 L(x, y, ciσ) 이 다음과 같이 정의되게 한다:
[수학식 1]
L(x, y, ciσ) = G(x, y, ciσ)*I(x, y) = gci σ *I(x, y).
이 실례에서, 스케일 공간 피라미드 (202) 는 가우시안 스케일 공간 피라미드일 수도 있다. 따라서, 평탄화/블러링 기능 G 은 가우시안 커널일 수도 있으며, 여기서 ciσ는 이미지 I(x, y) 를 블러링하는 데 이용된 가우시안 함수 G 의 스케일링 또는 평탄화 계수를 나타낸다. 승수 ci 가 변화하면 (ci: c0 < c1 < c2 < c3 < c4), 스케일링 계수 ciσ 가 변화하고 이미지 I(x, y) 의 점진적 블러링/평탄화가 획득된다. 여기서, 표준 편차 σ (스텝 사이즈) 는 스케일링/평탄화 계수들 ciσ 가 σi (즉, σi = ciσ) 로 표현되도록 스케일링/평탄화 계수를 획득하는 데 이용된다.
이미지 I(x, y)(201) 가 평탄화 함수 G 와 증가적으로 컨볼루션되어 블러링된 이미지 스케일 공간들 L 을 생성할 때, 블러링된 이미지 스케일 공간들 L 은 스케일 공간에서 일정한 인자 c 에 의해 이격된다. 블러링된 (평탄화된) 이미지 스케일 공간들 L 의 수가 증가하고 스케일 공간 피라미드 (202) 에 제공된 근사화가 연속 공간에 접근함에 따라, 2 개의 인접 스케일들이 하나의 스케일에 접근한다. 일례에서, 이미지 스케일 공간들 L 은 옥타브들에 의해 그룹화될 수도 있으며, 여기서 옥타브는 표준 편차 σ 의 값의 2 배에 대응할 수도 있다. 또한, 승수들 ci 의 값들 (예컨대, c0 < c1 < c2 < c3 < c4 ...) 은 고정된 수의 이미지 스케일 공간들 L 이 옥타브 당 획득되도록 선택된다. 스케일 공간과 스케일의 비율은 일정하게 유지되어, 일펄스 응답이 피라미드 (202) 의 모든 레벨들에서 동일하게 할 수도 있다. 일 실례에서, 스케일링의 각각의 옥타브는 명시적 이미지 리사이즈화에 대응할 수도 있다. 따라서, 이미지 I(x, y)(201) 가 점진적 블러링/평탄화 함수 G 에 의해 블러링/평탄화되면, 픽셀들의 수는 점진적으로 감소한다. 스케일 공간에 대해, 스케일 레벨들은, 예를 들어 2 의 정수 거듭제곱으로서 지수적으로 (예컨대, i = 0, 0.25, 0.5, 0.75, 1, 1.25, 1.5, 1.75, 2, , 3, ... 에 대해, σi = 2i) 배열될 수도 있다. 다른 실례들에서, 2 이하의 스케일링 단계의 제곱 루트와 같은 더 가까운 스케일 공간이 요구될 수도 있다. 또 다른 실례에서, 피라미드의 스케일 공간 레벨들은 2 s/ S 로서 정의될 수도 있으며, 여기서 S 는 각각의 옥타브의 분해능을 정의하고 s 는 양의 정수 k 에 대해 1 과 k 사이의 스케일 레벨이다. 예를 들어, 위 실례에서, S = 4 이고 그에 따라 k = {1, 2, 3, 4} 이면, 옥타브 0 스케일 레벨 표준 편차들은 σi = {0, 0.25, 0.5, 0.75, 1} 이다.
일반적인 데이지 서술자 알고리즘들에서는, 어떠한 스케일 공간 피라미드도 실제로 생성되지 않는다는 것에 주목한다. 대신, 이미지 (201) 가 단지 블러링/평탄화되고, 데이지 서술자가 이미지 (201) 의 평탄화된 버전으로부터 생성된다. 예를 들어, 스케일 공간 피라미드 (202) 의 다른 레벨들을 생성하는 일 없이 평탄화된 이미지 (204) 만이 생성될 수도 있다.
둘째, 스케일 공간 (202) 의 각각의 스케일 레벨 (204) 의 배향된 도함수
Figure 112012095734522-pct00001
가 생성되어 복수의 대응하는 이미지 파생물들 (203)(또한 "배향된 파생물들"이라고도 지칭됨) 을 획득하게 한다. 이 실례에서, 복수의 이미지 파생물들 (203) 은 복수의 이미지 파생물들을 포함할 수도 있다. 각각의 스케일 공간 (204) 에 대해, 복수의 이미지 파생물들 δX (221), δY (223), δZ (225), 및 δW (227) 이 상이한 방위들 (예컨대, X, Y, Z, W 방위들)에 대응하게 생성된다.
셋째, 그 후, 이미지 파생물들 (203) 이 프로세싱되어 대응하는 방위 맵들 (206) 을 획득하게 한다. 여기에 예시된 실례에서, ( )+ 연산자는 대응하는 방위 맵을 생성하도록 이미지 파생물의 각각의 값에 적용된다. 예를 들어, ( )+ 연산자는 임의의 네거티브 값 δ 을 취할 수도 있고, 그것을 다음과 같이 되도록 0 으로 설정할 수도 있다:
Figure 112012095734522-pct00002
.
예를 들어, 제 1 이미지 도함수 δX (221) 는 대응하는 방위 맵 λX (208) 을 갖고, 제 2 이미지 도함수 δY (223) 는 대응하는 방위 맵 λY (210) 을 갖고, 제 3 이미지 도함수 δZ (225) 는 대응하는 방위 맵 λZ (212) 을 갖고, 제 4 이미지 도함수 δW (227) 는 대응하는 방위 맵 λW (213) 을 갖는다. 도 3 은 복수의 이미지 파생물들 (203) 중 이미지 파생물 (221) 이 복수의 그레디언트 방위들을 갖는 픽셀들을 어떻게 포함할 수 있는지를 예시한다. 방위 맵들
Figure 112012095734522-pct00003
은 이미지 I(x, y)(201) 의 배향된 이미지 파생물들
Figure 112012095734522-pct00004
(203)(즉, 스케일 공간 (202) 으로부터의 이미지의 평탄화된 버전의 파생물) 의 포지티브 성분들을 포함하며, 여기서 (.)+ = max(.,0) 은 방위를 따라서 포지티브 파생물들만을 유지한다. (.)+ 연산자 또는 함수는 대응하는 이미지 파생물의 임의의 네거티브 픽셀 그레디언트 값들을 0 으로 설정하는 클립핑 함수일 수도 있다.
도 4, 도 5 및 도 6 은 방위 맵들이 스케일 공간 레벨로부터 생성될 수도 있는 방법을 예시한다. 스케일 공간 레벨 (204) 은 이미지 (201)의 평탄화된 버전일 수도 있다. 스케일 공간 레벨 (204) 에 대한 복수의 배향된 파생물들
Figure 112012095734522-pct00005
을 취함으로써, 복수의 이미지 파생물들 δX (221), δY (223), δZ (225), 및 δW (227) 이 획득될 수도 있다. n 픽셀들 x m 픽셀들의 이미지 공간이 이 실례에서 이용될 수도 있다 (예컨대, n = m 및/또는 n ≠ m ).
도 4 는 x 방위를 따르는 방위 맵의 생성을 예시한다. x 필터 [-1 0 1] 가 x 방위를 따라서 스케일 공간 레벨 (204) 의 픽셀 그레디언트 값들 βij 에 적용되어 복수의 값들 δX ij 을 갖는 대응하는 이미지 파생물 (221) 을 생성한다. x 필터는 시프트 방식으로 x 방위로 그리고 x 필터 [-1 0 1] 의 '0' 값에 중심을 둔 이미지 스케일 공간 레벨 (204) 의 각각의 로우를 따라서 적용된다. 예를 들어, 각각의 픽셀 그레디언트 값 β11 에 대해, x 방위 값 δX 11 은 0xβ11 + 1xβ12 = β12 와 동일하다. 마찬가지로, 픽셀 그레디언트 값 β12 에 대해, x 방위 값 δx 12 는 -1xβ11 + 0xβ12 + 1xβ13 과 동일하다. 마찬가지로, 픽셀 그레디언트 값 β13 에 대해, x 방위 값 δx 13 은 -1xβ12 + 0xβ13 + 1xβ14 과 동일하다. 이 프로세스는 스케일 공간 레벨 (204) 의 각각의 행에 걸쳐서 x 필터를 이동시켜 이미지 파생물 (221) 을 생성함으로써 반복된다.
그 후, ( )+ 연산자가 이미지 파생물 (221) 의 각각의 값 δx 에 적용되어 복수의 값들 λx 을 갖는 대응하는 방위 맵 (208) 을 획득하게 한다. ( )+ 연산자를 이용하여 각각의 방위 맵 값 λ 을 계산함에 있어서, 방위를 따라서 포지티브 파생물들만이 이용된다. 예를 들어, 방위 맵
Figure 112012095734522-pct00006
을 계산함에 있어서, 연산자 (.)+ 는, 소정 방위를 따르는 포지티브 픽셀 그레디언트 값들 δij (즉, 픽셀 값 파생물들) 만이 이용된다 (즉, δij 의 네거티브 값들이 0 으로 설정된다) 는 것을 의미한다. 예를 들어, δ12 = -4 이면, λ12 = 0 이다. 일반적으로, 특정 픽셀 그레디언트 값 δij < 0 이면, λij = 0 이다. 따라서, 픽셀 그레디언트 값들 δij > 0 은 방위 값들의 계산에 기여한다.
도 5 는 y 방향을 따르는 방위 맵의 생성을 예시한다. y 필터
Figure 112012095734522-pct00007
는 y 방위를 따라서 스케일 공간 레벨 (204) 의 픽셀 그레디언트 값들 βij 에 적용되어 복수의 값들 δy ij 을 갖는 대응하는 배향된 이미지 파생물 (223) 을 생성한다. y 필터는 시프트 방식으로 y 방향으로 y 필터 [-1 0 1] 의 '0' 값에 중심을 둔 스케일 공간 레벨 (204) 의 각각의 열을 따라 적용된다. 예를 들어, 픽셀 그레디언트 값 β11 에 대해, y 방위 값 δy 11 은 0xβ11 + 1xβ21 = β21 과 동일하다. 마찬가지로, 픽셀 그레디언트 값 β21 에 대해, y 방위 값 δy 21 은 -1xβ11 + 0xβ21 + 1xβ31 과 동일하다. 마찬가지로, 픽셀 그레디언트 값 β31 에 대해, y 방위 값 δy 31 은 -1xβ21 + 0xβ31 + 1xβ41 과 동일하다. 이 프로세스는 스케일 공간 레벨 (204) 의 각각의 열에 걸쳐서 y 필터를 이동시켜 이미지 파생물 (223) 을 생성함으로써 반복된다. 그 후, ( )+ 연산자는 이미지 파생물 (223) 의 각각의 값 δy 에 적용되어 복수의 값들 λy 을 갖는 대응하는 방위 맵 (210) 을 획득하게 한다.
일 실례에서, x 방위는 0 도일 수도 있지만, y 방위는 90 도일 수도 있다. 복수의 추가 이미지 파생물들이 상이한 방위들에 대해 생성될 수도 있다. 예를 들어, 180 도 배향된 이미지 파생물은 0 도 이미지 파생물의 네거티브를 취함으로써 획득될 수도 있다. 마찬가지로, 270 도 배향된 이미지 파생물은 90 도 이미지 파생물의 네거티브를 취함으로써 획득될 수도 있다. 이 방식으로, 4 개의 방위 맵들이 획득될 수도 있다 (즉, 0, 90, 180 270 도). 또 다른 구현물들에서, 추가 방위 맵들이 45, 135, 225, 415 도와 같은 다른 방위들에 대해 획득될 수도 있다.
도 6 은 z 방위를 따르는 방위 맵의 생성을 예시한다. 이러한 z 방위는, 예를 들어 x 방위와 y 방위 사이에 있을 수도 있다. 일부 구현들에서, 이러한 z 방위 맵 (212) 은 대각 방향으로 필터를 시프트 (예컨대, [-1 0 1]) 함으로써 생성될 수도 있다. 그러나, 대안으로, 스티어링가능 필터 (602) 는 z 방위 맵 (212) 을 획득하는 데 이용될 수도 있다. 스티어링 가능 필터 (602) 는 2 개의 다른 이미지 파생물들 (예컨대, x 방위 이미지 파생물 (221) 및 y 방위 이미지 파생물 (223)) 을 선형적으로 결합하여 z 방향을 따라서 이미지 파생물 (225) 을 획득할 수도 있다. 특히, 이러한 선형 결합은 대응하는 배향된 이미지 파생물 값들 δx 및 δy 을 결합하여 대응하는 z 방위 이미지 파생물 값 δz 을 획득하게 한다. x 방위 이미지 파생물 (221) 및 y 방위 이미지 파생물 (223) 의 특정 선형 결합은 추구되는 특정 이미지 파생물 방위에 의존할 수도 있다. 예를 들어, 45 도 이미지 파생물 방위가 추구되면, x 및 y 방위 이미지 파생물들 (221, 223) 에 대한 이미지 파생물 값들 δx ij 및 δy ij 이 결합되어 대응하는 파생물 값 δz ij 을 획득하게 할 수도 있다. 이 방식으로, 45 도의 다양한 배수들이 획득될 수도 있다. 마찬가지로, 다른 방위 맵들 (예컨대, 15 또는 30 도의 배수들) 이 획득될 수도 있다. 일반적으로, 각도 φ 에 대해, 대응하는 이미지 파생물 값은 다음과 같이 획득될 수도 있다:
Figure 112012095734522-pct00008
.
그 후, 이전과 같이, ( )+ 연산자는 이미지 파생물 (225) 의 각각의 값 δz 에 적용되어 복수의 값들 λz 을 갖는 대응하는 방위 맵 (212) 을 획득하게 한다.
그 결과, 방위 맵들의 수가 추구되는 정확도, 이용 가능한 프로세싱 리소스들, 및/또는 이용 가능한 메모리 리소스들의 함수일 수도 있다. 예를 들어, 다양한 구현물들은 4, 8, 12, 16, 20, 24, 등의 방위 맵들을 이용할 수도 있다. 일부 구현들에서, 방위 맵들 간의 각도는 동일할 수도 있다 (예컨대, 90 도, 45 도, 30 도, 20 도, 15 도, 10 도 등).
도 2 를 다시 참조하면, 일 접근방안에 따라서, 일단 복수의 방위 맵들 (206) 이 각각의 스케일 공간 레벨 (204) 에 대해 생성되었으면, 각각의 방위 맵 (208, 210, 212, 213) 은 필터 (예컨대, 가우시안 필터) 와 컨볼루션하여 평탄화된 (컨볼루션된) 방위 맵
Figure 112012095734522-pct00009
을 획득함으로써 평탄화된다. 즉, 각각의 평탄화된 방위 맵
Figure 112012095734522-pct00010
은 이미지 (201) 의 방위 맵들 (즉, 방위 맵들 (206)) 을 평탄화하여,
[수학식 2]
Figure 112012095734522-pct00011
이도록 함으로써 계산되며, 여기서
Figure 112012095734522-pct00012
은 표준 편차
Figure 112012095734522-pct00013
를 갖는 평탄화 필터이다.
도 2 의 실례에서, 방위 맵들 (209) 의 서브세트는 각각의 방위 맵들에 대해 복수의 대응하는 평탄화된 방위 맵들
Figure 112012095734522-pct00014
(215),
Figure 112012095734522-pct00015
(217) 및
Figure 112012095734522-pct00016
(219) 을 생성하는 데 이용된다. 예를 들어, z 방위와 연관된 제 1 방위 맵 (212) 에 대해, 3 개의 대응하는 평탄화된 (컨볼루션된) 방위 맵들
Figure 112012095734522-pct00017
(214),
Figure 112012095734522-pct00018
(216),
Figure 112012095734522-pct00019
(218) 이 생성된다. 평탄화된 (컨볼루션된) 방위 맵들 (214, 216, 218) 에서의 각각의 픽셀은 가우시안 가중치들을 갖는 배향된 파생물들의 공간적 풀링 (pooling) 에 대응한다. Z 방위의 이 실례에서, 3 개의 평탄화된 방위 맵들 (214, 216, 218) 이 각각의 방위 맵 (212) 에 대해 생성된다. 컨볼루션 동작은 방위 맵의 값들을 스케일링/블러링하는 평탄화 계수 αi 를 효과적으로 적용한다. 평탄화 함수
Figure 112012095734522-pct00020
는 방위 맵들에 적용되는 평탄화/스케일링 인자를 나타내는 데 하첨자 αi 및 σj 를 이용한다는 점에 주목한다. 이 실례에서, 이러한 평탄화 인자는 제 1 스케일링 인자 αj (예컨대, 대응하는 스케일 공간의 스케일링 인자) 와 제 2 스케일링 인자 σi (예컨대, 평탄화된 방위 맵들의 각각의 레벨에 대해 변하는 스케일링 인자) 의 곱셈으로서 나타내질 수도 있다. 유사한 방식으로, 평탄화된 방위 맵들은 상이한 방위들 (예컨대, 방위들 X, Y, Z, W, ...) 을 갖는 각각의 대응하는 방위 맵에 대해 생성될 수도 있다. 예를 들어, 제 2 스케일 공간 레벨 (205) 및 대응하는 이미지 파생물들 (211) 과 연관된 방위 맵들 (207) 의 제 2 세트 (방위들 X, Y, Z 및 W 를 가짐) 는 복수의 대응하는 평탄화된 (컨볼루션된) 방위 맵들
Figure 112012095734522-pct00021
,
Figure 112012095734522-pct00022
, 및
Figure 112012095734522-pct00023
을 생성하도록 컨볼루션될 수도 있다.
도 7 은 데이지 서술자의 일반적인 설명을 예시한다. 이 실례에서, 스케일 공간 (204) 은 3 개의 대응하는 평탄화된 방위 맵들
Figure 112012095734522-pct00024
(215),
Figure 112012095734522-pct00025
(217) 및
Figure 112012095734522-pct00026
(219) 을 갖는다. 각각의 평탄화된 방위 맵
Figure 112012095734522-pct00027
(215),
Figure 112012095734522-pct00028
(217) 및
Figure 112012095734522-pct00029
(219) 은 세트 또는 복수의 방위 특정 평탄화된 방위 맵들을 포함할 수도 있다. 예를 들어, 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00030
(215) 은 Z 방위에 대한 평탄화된 방위 맵
Figure 112012095734522-pct00031
(214) 뿐 아니라 다른 방위들에 대한 평탄화된 방위 맵들 I1 X, I1 Y및 I1 W 을 포함할 수도 있다. 마찬가지로, 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00032
(217) 은 Z 방위에 대한 평탄화된 방위 맵
Figure 112012095734522-pct00033
(216) 뿐 아니라 다른 방위들에 대한 평탄화된 방위 맵들 I2 X, I2 Y 및 I2 W 을 포함할 수도 있다. 마찬가지로, 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00034
(219) 은 Z 방위에 대한 평탄화된 방위 맵
Figure 112012095734522-pct00035
(218) 뿐 아니라 다른 방위들에 대한 평탄화된 방위 맵들 I2 X, I2 Y 및 I2 W 을 포함할 수도 있다. 평탄화된 방위 맵
Figure 112012095734522-pct00036
에 대한 표기는 실제로 복수의 방위들을 갖는 복수 또는 세트의 평탄화된 방위 맵들 Ii X, Ii Y 및 Ii W 을 정의한다.
스케일 공간 (204) 에서의 식별된 포인트 (702)(예컨대, 키포인트, 샘플 포인트, 픽셀 등) 에 대해, 데이지 서술자는 평탄화된 방위 맵들 (215, 217, 219) 을 스파스하게 (sparsely) 샘플링함으로써 획들될 수도 있다. 이것은 포인트 (702) 의 중심에 분산된 공간 풀링 구성 (예컨대, 가우시안 풀링) 에 의해 성취될 수도 있다. 이 실례에서, 공간 풀링 구성은 상이한 평탄화된 방위 맵들 (215, 217, 219) 상에서 복수의 동심 링들 (704, 706, 708) 로서 정의될 수도 있다. 동심 링들 (704,706, 708) 은 식별된 포인트 (702) 에 대응하는 샘플 포인트 (703) 에 대해 동심원이다. 각각의 동심 링 (704, 706, 708) 은 링의 주변부를 따라사 복수의 스파스하게 샘플링된 포인트들 (710, 712, 714) 을 포함할 수도 있다. 각각의 스파스하게 샘플링된 포인트 (710, 712, 714) 는 셀 (716, 718, 720) 에 대한 중심 (즉, 서클) 으로서 기능할 수도 있으며, 여기서 셀 사이즈 (즉, 반경) 는 샘플 포인트들이 포인트 (702) 로부터 더 멀리 이동함에 따라 사이즈가 증가한다. 일 실례에서, 공간 풀링 구성은 3 개의 동심 링들 (704, 706, 708) 을 따라서 24 개의 포인트들을 포함할 수도 있으며, 링 (704, 706, 708) 당 8 개의 샘플 포인트들 (예컨대, 결과적으로 8 개의 셀들) 은 45 도만큼 이격되어 있다. (x) 마크는 데이지 서술자를 구축하도록 하는 포인트 (o)(702) 주위의 샘플링된 포인트들 또는 위치들에 대응한다. 이 동작은 배향된 그레디언트들의 히스토그램 (histogram of oriented gradients: HOG) 으로 되는 각각의 배향에 대해 이행된다. 그 후, 데이지 서술자 (예컨대, 방위 히스토그램) 는 샘플 포인트들의 각각에 관한 정보를 포함함으로써 구축될 수도 있다.
도 7 에서, 각각의 서클은 반경이 평탄화 계수의 표준 편차들에 비례하고 "x" 기호는 평탄화된 방위 맵들에서 각각의 서클의 중심에 있는 샘플링된 포인트 또는 픽셀 위치를 나타낸다. 이들 서클들의 영역들을 중첩함으로써, 평탄한 전이가 영역들 간에 성취될 수도 있고, 변형에 대한 강건성 정도, 회전 및 스케일 에러들이 획득될 수도 있다.
포인트 (702) 및 도 2 내지 도 7 의 평탄화된 방위 맵들에 의해 예시된 바와 같은 대응하는 동일한 포인트들을 정의하면, 데이지 서술자가 구축될 수도 있다. 이미지 좌표들 (u0, v0) 에 위치된 포인트 (702) 에 대한 히스토그램
Figure 112012095734522-pct00037
은, 복수의 방위들에 대해,
[수학식 3]
Figure 112012095734522-pct00038
이도록 벡터로서 표현될 수 있으며,
여기서
[수학식 4a]
Figure 112012095734522-pct00039
[수학식 4b]
Figure 112012095734522-pct00040
[수학식 4c]
Figure 112012095734522-pct00041
이다. 여기서,
Figure 112012095734522-pct00042
,
Figure 112012095734522-pct00043
, 및
Figure 112012095734522-pct00044
은 상이한 그레디언트 방향들/방위들에 대한 평탄화된 방위 맵들을 표기한다. 벡터
Figure 112012095734522-pct00045
는 유닛으로서 정규화될 수도 있고,
Figure 112012095734522-pct00046
로서 표기될 수도 있다.
포인트에 대한 데이지 서술자는 포인트의 위치에 중심을 둔 동심 서클들에 위치되고 평활화의 양이 서클 반경에 비례할 수도 있는 평탄화된 방위 맵들로부터의 값들로 구성된 벡터에 의해 정의될 수도 있다. 따라서, 위치 (u, v) 에서의 포인트에 대한 데이지 서술자는 다음과 같이 제공될 수도 있다.
[수학식 5]
Figure 112012095734522-pct00047
여기서
Figure 112012095734522-pct00048
는 j 에 의해 제공된 방향/방위 (예컨대, 4 개의 방향, 8 개의 방향 등) 에서 위치 (u, v) 의 포인트 (702) 로부터의 거리 Rj 를 갖는 픽셀 위치이다. 여기서, 첨자 "V" 는 단일 평탄화된 방위 맵 레벨에서의 히스토그램들의 수를 나타낸다. 도 7 의 실례에 대해, 이것은 층 당 8 개의 히스토그램들이다. 수학식들 4a, 4b, 4c 및 5 는 3 개의 평탄화된 (컨볼루션된) 방위 레벨 맵들이 이용되지만, 추가 개수의 레벨들이 다른 구현들에서 이용될 수도 있음을 상정하고 있음을 주목한다.
도 7 에 예시된 평탄화된 배향 맵을 스파스하게 샘플링하는 것이 SIFT 에 비해 계산 시간을 절약하는 반면, 데이지 서술자를 저장하는 데 필요한 메모리의 사이즈를 증가시킨다. 특히, 메모리 복잡도는 스케일 공간 피라미드 (202) 에 대해 검출된 포인트들에 대해 악화된다. MxN 이미지에 대해, 데이지 서술자들에 대해서는 SIFT 서술자들에 비해 24xMxN 의 총 추가 메모리가 요구된다. 이것은 데이지 서술자를 계산하기 위해 스케일 공간 피라미드 (202) 의 각각의ㅣ 스케일 레벨에 대한 24 개의 추가 평탄화된 (컨볼루션된) 방위 맵들이 요구된다 (즉, 평탄화된 방위 맵 당 3 개의 평탄화된 방위 맵 스케일들 x 8 개의 방위들). 메모리 복잡도는 S 스케일 레벨들을 갖는 스케일 공간에 대해 24xMxNxS 로 더 증가한다. 따라서, 데이지 서술자를 생성하는 데 필요한 메모리의 사이즈를 감소시키는 방안이 유리할 것이다.
일 양태에 따르면, 스케일 불변 데이지 서술자 추출에 대한 메모리 복잡도는 이미 구축된 가우시안 스케일 공간을 이용하여 8xMxNxS 로 감소할 수 있다. 데이지 서술자의 파라미터들은 스케일 공간 피라미드의 다수의 스케일 공간 레벨들로부터 데이지 서술자들을 추출하도록 조절된다.
스케일 공간에 대해 예시적인 개선된 데이지 서술자( Exemplary Improved Daisy Descriptor Over Scale Space )
데이지 서술자를 생성하는 데 필요한 메모리의 사이즈에서의 이러한 감소를 달성하도록 하는 방식은 방위 맵들 (208, 210, 212, 213) 의 각각에 대한 복수 (예컨대, 3) 개의 평탄화된 (컨볼루션된) 방위 맵들을 계산하는 것을 피하는 것이다. 즉, 방위 맵들 (206) 의 세트 당 복수의 평탄화된 방위 맵들
Figure 112012095734522-pct00049
(215),
Figure 112012095734522-pct00050
(217) 및
Figure 112012095734522-pct00051
(219) 을 계산하는 것이 아니라, 일 접근방안은 스케일 공간 피라미드의 스케일 공간 레벨들에 대한 평탄화 커널들을 선택하거나 조절하여, 그들이 소망되는 평탄화된 (컨볼루션된) 방위 맵 스케일들과 일치하거나 근사화하도록 한다.
도 2 및 도 7 에 예시된 실례에서, 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00052
(215) 은 다음과 같이 표현될 수도 있다:
[수학식 6]
Figure 112012095734522-pct00053
.
마찬가지로, 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00054
(217) 은 다음과 같이 표현될 수도 있다:
[수학식 7]
Figure 112012095734522-pct00055
.
마찬가지로, 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00056
(219) 은 다음과 같이 표현될 수도 있다:
[수학식 8]
Figure 112012095734522-pct00057
.
수학식 6, 7 및 8 에서, 수학식 1 의 평탄화 필터
Figure 112012095734522-pct00058
는 전체 또는 결과적인 평탄화/스케일링을 나타낼 수도 있다. 이 실례에서, 평탄화 필터
Figure 112012095734522-pct00059
는 평탄화 필터가 제 1 스케일링 계수 σj 와 제 2 스케일링 계수 αh=1...3 (평탄화된 방위 맵들
Figure 112012095734522-pct00060
(215),
Figure 112012095734522-pct00061
(217) 및
Figure 112012095734522-pct00062
(219) 의 각각을 생성할 때 이용됨) 의 곱셈 또는 결합으로서 다음과 같이 되도록 나타내질 수도 있는 표준 편차를 갖는다는 것을 의미한다:
[수학식 9]
Figure 112012095734522-pct00063
.
그러나, (스케일 공간 피라미드의) 스케일 공간들에 대한 스케일링 계수들 σj 을 적절히 선택함으로써, 데이지 서술자는 각각의 방위 맵에 대한 복수의 평탄화된 방위 맵들을 계산할 필요성 없이 스케일 공간 피라미드의 이미 계산된 스케일 공간들을 이용하여 계산될 수 있다.
도 8 은 각각의 방위 맵에 대한 다수의 평탄화된 방위 맵들을 생성할 필요성을 피하는 더 효율적인 실례에 따른 변경된 데이지 서술자를 생성하는 데 이용되는 스케일 공간들 및 방위 맵들의 생성을 예시한다. 이미지 I(x, y)(801) 는 (상이한 커널 폭으로) 평탄화 커널과 컨볼루션되어 스케일 공간 피라미드 (802) 를 획득하게 한다. 도 2 에서와 같이, 피라미드 (802) 의 각각의 스케일 공간 레벨 (804) 의 배향된 파생물들이 생성되어 복수의 이미지 파생물들 δx (821), δy (823), δz (825), 및 δw (827) 을 획득하도록 생성된다. 그 후, 각각의 이미지 파생물에 대해, 대응하는 방위 맵이 도 2에서와 같이 획득된다.
이미지의 파생물을 취하여 평탄화하는 것은 파생물을 평탄화하고 나서 취하는 것과 동등하다는 것이 관찰된다. 이 특성은 후속 평탄화된 방위 맵들이 방위 맵 당 3 으로부터 1 로 감소할 수 있도록 이미지 I(x, y)(801) 의 평탄화를 수행함으로써 도 2 및 도 7 에 예시된 데이지 서술자 프로세스를 단순화하는 데 이용된다. 이미지 파생물은 방위 맵을 획득하도록 비선형 (.)+ 함수를 통과하여 전달된다는 것에 주목한다. (일반적인 데이지에서와 같이) 뒤에 평탄화가 오는 방위 맵은, 도 8 에 예시된 변경된 데이지 서술자들에서와 같이 뒤에 방위 맵이 오는 평탄화 및 다른 평탄화와 정확히 동일하지는 않지만, 실제로는, 이들 접근 방안들 양측 모두가 유사한 서술자들을 생성하는 것을 알 수 있다. 따라서, 스케일 공간 피라미드 (802) 의 스케일 공간 레벨들에 대한 스케일링 또는 평탄화 계수들은, 구체적으로, 데이지 서술자가 복수의 스케일 공간 레벨들에 대한 평탄화된 방위 맵들에 기초하게 되도록 선택된다.
이미지 I(x,y)(801) 가 1 차원 이미지이면, 이미지의 파생물과 스케일 공간 커널 gσ 의 컨볼루션은 다음에 의해 제공된다.
[수학식 10]
Figure 112012095734522-pct00064
이 등식은 스케일 공간 피라미드 (802) 에 걸쳐서 데이지 서술자를 계산하는 데 이용된다. 구체적으로, 각각의 스케일 레벨에서 3 개의 평탄화된 버전의 배향된 그레디언트들 (예컨대, 각각의 스케일 공간 레벨 (204) 에 대해 도 2 및 도 7 에서 평탄화된 방위 맵들
Figure 112012095734522-pct00065
(215),
Figure 112012095734522-pct00066
(217) 및
Figure 112012095734522-pct00067
(219)) 을 생성하는 대신, 베이스 또는 단일 평탄화된 (컨볼루션된) 방위 맵은 각각의 스케일 공간 레벨 (804) 및 이미지 파생물들 (821, 823, 825, 827) 에 대응하는 각각의 방위 맵 (808, 810, 812, 813) 에 대해 계산된다. 예를 들어, (상이한 그레디언트 방위들에 대한) 복수의 배향된 파생물은 제 1 세트의 방위 맵들 (806) 을 초래한다. 그 후, 제 1 세트의 방위 맵들 (806) 은 대응하는 세트의 평탄화된 방위 맵들
Figure 112012095734522-pct00068
(821) 을 획득하도록 컨볼루션 동작에 의해 평탄화될 수도 있다. 단일의 평탄화된 방위 맵이 각각의 방위 맵에 대해 획득된다는 것이 주목되어야 한다. 예를 들어, (Z 방위에 대해) 방위 맵 (812) 은 하나의 평탄화된 방위 맵
Figure 112012095734522-pct00069
(814) 를 초래한다. 이 프로세스는 단일의 평탄화된 방위 맵이 각각의 방위 맵에 대해 생성되도록 스케일 공간 피라미드 (802) 의 모든 스케일 공간 레벨들에 대해 반복된다.
도 2 및 도 7 에서와 같이 제 2
Figure 112012095734522-pct00070
및 제 3
Figure 112012095734522-pct00071
평탄화된 방위 맵들 (217, 219) 을 생성하는 것이 아니라, 도 8 의 접근방안은 스케일 공간 피라미드 (802) 의 더 높은 스케일 공간들에 대응하는 평탄화된 (컨볼루션된) 방위 맵들을 이용한다. 평탄화된 방위 맵의 평탄화 정도 또는 범위는 스케일 공간 피라미드 (802) 로부터 미리 정해진다. 따라서, 더 높은 스케일의 스케일 공간 피라미드 (802) 에서의 평탄화된 방위 맵은 도 7 의 제 2
Figure 112012095734522-pct00072
및 제 3
Figure 112012095734522-pct00073
평탄화된 방위 맵들 (217, 219) 을 근사화하도록 특정하게 선택될 수 있다.
예를 들어, 도 7 에서 2
Figure 112012095734522-pct00074
및 제 3
Figure 112012095734522-pct00075
평탄화된 방위 맵들 (217, 219) 을 생성하는 것이 아니라, 더 높은 레벨들의 스케일 공간 피라미드 (802) 가 선택되어, 그들의 대응하는 평탄화된 방위 맵들이 대신에 이용될 수 있도록 할 수 있다. 도 8 에서, 제 2 스케일 공간 (805) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00076
(824) 를 가질 수도 있고, 제 3 스케일 공간 (807) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00077
(826) 을 가질 수도 있다. Z 방위에 대해, 예를 들어, 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00078
(814) 의 결과적인 평탄화는 제 1 방위 맵
Figure 112012095734522-pct00079
(214) 의 평탄화와 동일할 수도 있다. 여기서, "결과적인 평탄화" 및/또는 "전체 평탄화" 는 평탄화된 방위 맵의 스케일링/블러링의 양을 지칭할 수도 있다. 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00080
(816) 의 결과적인 평탄화는 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00081
(216)(도 2) 의 결과적인 평탄화와 거의 동일할 수도 있고, 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00082
(818) 의 결과적인 평탄화는 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00083
(218)(도 2) 의 결과적인 평탄화와 거의 동일할 수도 있다. 따라서, 도 8 의 스케일 공간에 대해 변경된 데이지 서술자에서, (스케일 공간 피라미드에 대해) 일차 평탄화 계수들 σ 및/또는 (평탄화된 방위 맵들을 생성하는 데 이용되는) 이차 평탄화 계수들 α 가 공지되어 있으므로, 도 2 의 것들과 같이 거의 동등한 전체 평탄화를 제공하도록 제 2 및 제 3 평탄화된 방위 맵들을 획득하는 (스케일 공간 피라미드 (802) 의) 특정한 더 높은 스케일 공간들이 선택될 수도 있다. 예를 들어, 제 2 평탄화 계수 α 는 스케일 공간의 모든 레벨들에 대해 상수 (α = α1) 일 수도 있다. 따라서, 성취되는 스케일링/평탄화는 스케일링 공간 레벨에 비례한다. 스케일 공간 레벨에 비례하는 평탄화 커널 표준 편차 α1σi 는 스케일 불변성을 성취하는 것을 돕는다.
도 8 로부터, 제 1 스케일 공간 (804) 이 제 1 평탄화/스케일링 계수 σ1 을 이용하여 생성되는 것을 인지될 수 있다. 도 2 에서와 같이, 복수의 이미지 파생물들 (803) 이 생성되며, 이는 각각의 스케일 공간 레벨 (804) 이 상이한 방위들과 연관된 복수의 대응하는 이미지 파생물들 δx (821), δy (823), δz (825), 및 δw (827) 을 가질 수도 있다. 그 후, 제 1 복수의 방위 맵들 (806) 은 ( )+ 연산자를 이미지 파생물들의 값들 각각에 적용함으로써 획득될 수도 있다. 그 후, (방위 맵들 (806) 의 세트의) 각각의 방위 맵 (812) 은 그것을 제 2 평탄화/스케일링 계수 α1 을 갖는 평탄화 함수
Figure 112012095734522-pct00084
와 컨볼루션함으로써 평탄화된다. 평탄화된 방위 맵들
Figure 112012095734522-pct00085
(821) 의 세트의 전체 또는 결과적인 평탄화 계수는 제 1 평탄화/스케일링 계수 σ1 와 제 2 평탄화/스케일링 계수 α1 의 결합 또는 곱셈으로서 표현될 수도 있어, 평탄화된 (컨볼루션된) 방위 맵
Figure 112012095734522-pct00086
(821) 은 다음과 같이 표현될 수도 있다:
[수학식 11]
Figure 112012095734522-pct00087
.
도 8 의 실례에서, 제 1 방위 Z 와 연관된 방위 맵 (812) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00088
(814) 을 획득하도록 평탄화된다. 마찬가지로, 대응하는 평탄화된 방위 맵은 복수의 방위 맵들 (808, 810, 813) 의 각각의 맵에 대해 획득될 수도 있다. 제 1 스케일 공간 (804) 의 모든 방위들에 대한 이들 평탄화된 방위 맵들은
Figure 112012095734522-pct00089
(821) 에 의해 표현될 수도 있다.
제 2 스케일 공간 (805) 은 이 실례에서의 목적을 위해 제 3 평탄화/스케일링 계수 σi (σi = σ2) 를 이용하여 생성될 수도 있다. 제 2 복수의 이미지 파생물들
Figure 112012095734522-pct00090
및
Figure 112012095734522-pct00091
(811) 은 제 2 스케일 공간 (805) 의 배향된 파생물을 취함으로써 획득된다. 그 후, 제 2 복수의 방위 맵들 (815) 은 ( )+ 연산자를 제 2 복수의 이미지 파생물들
Figure 112012095734522-pct00092
및
Figure 112012095734522-pct00093
(811) 에 적용함으로써 획득될 수도 있다. 그 후, 제 2 복수의 배향 맵들 (815) 의 각각은 그것을 제 4 평탄화/스케일링 계수 αj 인 평탄화 함수
Figure 112012095734522-pct00094
와 컨볼루션함으로써 평탄화된다. 제 4 평탄화 계수 αj 는 제 2 평탄화 계수 α1 와 동일할 수도 있어 (예컨대, αj = α1), 동일한 평탄화 계수가 모든 스케일 공간 레벨들에서 이용되도록 할 수도 있다. 다른 구현들에서, 제 4 평탄화 계수 αj 는 모든 스케일 공간 레벨 (예컨대, αj = α2 또는 αj = α3)에 대해 상이할 수도 있다. 여기서, 평탄화 기능
Figure 112012095734522-pct00095
의 스케일링 인자 α1σ2 는 (스케일 공간에 대한) 제 3 평탄화/스케일링 계수 σi = σ2 와 제 1 평탄화/스케일링 계수 α1 의 결합 또는 곱셈으로서 오리지널 이미지 I(x, y)(801) 에 대해 표현된다. 제 2 복수의 방위 맵들 (815) 은 (예컨대, 컨볼루션 연산) 에 의해 평탄화되어, 대응하는 평탄화된 방위 맵들
Figure 112012095734522-pct00096
(824) 를 획득하여 다음과 같이 되도록 할 수도 있다:
[수학식 12]
Figure 112012095734522-pct00097
.
예를 들어, 제 1 방위 Z 와 연관된 방위 맵 (817) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00098
(816) 을 획득하도록 평탄화된다.
마찬가지로, 대응하는 평탄화된 방위 맵은 스케일 공간 피라미드 (802) 의 더 높은 스케일 공간들과 연관된 복수의 방위 맵들에서의 각각의 방위 맵들에 대해 획득될 수도 있다. 예를 들어, 제 3 세트의 방위 맵들 (819) 에 대해, 대응하는 평탄화된 방위 맵들
Figure 112012095734522-pct00099
(826) 의 세트는 제 5 평탄화/스케일링 계수 αh 를 갖는 평탄화 함수
Figure 112012095734522-pct00100
와 컨볼루션함으로써 획득된다. 제 5 평탄화 계수 αh 는 제 1 평탄화 계수 α1 와 동일할 수도 있고 (예컨대, αh = α1) 또는 모든 스케일 공간 레벨에 대해 상이할 수도 있다 (예컨대, αh = α4 또는 αh = α5) 일 수도 있다. 여기서, 평탄화 함수
Figure 112012095734522-pct00101
의 전체 스케일링 인자 α1σk 는 (스케일 공간에 대해) 제 6 평탄화/스케일링 계수 σk =σ3 와 제 5 평탄화/스케일링 계수 αh = α1 의 결합 또는 곱셈으로서 오리지널 이미지 I(x, y)(801) 에 대해 표현된다. 예를 들어, 제 1 방위 Z 와 연관된 방위 맵 (820) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00102
(818) 을 획득하도록 평탄화된다.
결과적으로, 방위 맵들 (206) 의 각각의 세트에 대해, 제 1, 제 2 및 제 3 평탄화된 방위 맵들
Figure 112012095734522-pct00103
(215),
Figure 112012095734522-pct00104
(217) 및
Figure 112012095734522-pct00105
(219)(도 2) 을 획득하기 보다는, 도 8 에 예시된 구현물은 데이지 서술자를 생성하는 근사적인 컨볼루션된 스케일 공간 평탄화를 제공하는 스케일 공간 피라미드 (802) 의 더 높은 레벨들에서의 스케일 공간 레벨들을 특정적으로 선택한다.
스케일 공간 피라미드 (802) 로부터 더 높은 스케일 공간을 적절하게 선택하기 위해, 평탄화된 방위 맵이 다음과 같이 표현될 수 있다는 것이 관찰된다:
[수학식 13]
Figure 112012095734522-pct00106
,
[수학식 14]
Figure 112012095734522-pct00107
,
여기서, σ1 및 σ2 는 스케일 공간 피라미드의 상이한 스케일 공간들에 대한 스케일링/평탄화 계수들이고, σ2 는 σ1 보다 큰 평탄화/스케일링을 제공한다. 마찬가지로, α1 및 α2 는 2 개의 상이한 평탄화된 방위 맵들을 생성하는 데 사용되는 스케일링/평탄화 계수들이고, α2 는 α1 보다 큰 평탄화/스케일링을 제공한다.
서술자들을 구축하기 위해, 평탄화된 방위 맵들이 ( )+ 연산자를 적용하여 대응하는 이미지 파생물로부터 네거티브 성분들을 클리핑함으로써 획득된다. 도 2 에서, 평탄화된 방위 맵
Figure 112012095734522-pct00108
(217) 은 다음과 같이 획득될 수도 있다:
Figure 112012095734522-pct00109
.
이 평탄화된 방위 맵
Figure 112012095734522-pct00110
(217) 은 다음과 같이 되도록 클리핑 함수를 평탄한 버전의 이미지에 적용함으로써 근사화될 수도 있다:
[수학식 14.1]
Figure 112012095734522-pct00111
.
실제로, 이 근사화는 파생물이 이미지의 더 평탄한 버전 (즉, 더 높은 스케일) 에 적용되므로 더 강건한 서술자들을 생성한다.
일 실시형태에서, (오리지널 이미지 I(x, y) 에 대해) 평탄한 함수
Figure 112012095734522-pct00112
의 전체 평탄화/스케일링은 평탄화/스케일링 계수 σxαx 로서 간단히 표현될 수도 있다. 따라서, 수학식 13 및 14 는 평탄한 커널 파라미터들 (예컨대, 스케일링 계수들 ) 을 다음과 같이 조절함으로써 결정될 수도 있다:
[수학식 15]
Figure 112012095734522-pct00113
,
[수학식 16]
Figure 112012095734522-pct00114
.
이것은 다음을 초래한다.
[수학식 17]
Figure 112012095734522-pct00115
.
Figure 112012095734522-pct00116
이라고 하면, 다음과 같이 된다:
[수학식 18]
Figure 112012095734522-pct00117
.
여기서, λ 1 는 스케일 공간 피라미드의 2 개의 스케일 공간 레벨들에 대한 평탄한 계수들 σ2 와 σ1 사이의 비율에 대응한다. 수학식 14.1 및 18 로부터, 제 1 스케일 스페이스의 제 1 평탄화된 방위 맵에 대해, 제 2 평탄화된 방위 맵은 스케일 공간 피라미드 상의 제 1 스케일 공간으로부터 제 2 스케일 공간으로 λ1 레벨들을 상승시킴으로써 선택될 수 있다는 것이 인지될 수 있다. 따라서, 데이지 서술자의 제 2 레벨로서 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00118
(217) 을 이용하는 대신, 이 제 2 레벨은 스케일 공간 피라미드 (802) 에서 레벨들 λ1 레벨들을 상승시키고, 대응하는 스케일 공간 (805) 을 이용하여, 데이지 서술자를 생성하는 데 이용되는 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00119
(824) 을 도출함으로써 획득될 수 있다. 도 8 에 예시된 실례에서, 동일한 스케일링 계수 α1 는 스케일 공간 피라미드 (802) 의 모든 레벨들의 방위 맵들을 평탄화하는 데 이용될 수도 있다는 점에 주목한다.
λ2 에 기초하여 α1 과 α3 사이의 관계를 정의하는 데 이용될 수 있다. 즉,
Figure 112012095734522-pct00120
이면, 다음과 같다:
[수학식 19]
Figure 112012095734522-pct00121
그 결과, 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00122
(219)(도 2) 를 데이지의 제 3 레벨로서 이용하는 대신, 이 제 3 레벨은 스케일 공간 피라미드 (802) 에서 λ2 를 상승시키고, 대응하는 스케일 공간 (807) 을 이용하여, 데이지 서술자를 생성하는 데 이용되는 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00123
(826) 을 도출함으로써 획득될 수 있다.
도 9 는 데이지 서술자가 스케일 공간 피라미드의 다수의 층들을 이용하여 생성될 수도 있는 방법을 예시한다. 제 1 스케일 공간 (804) 에서 식별된 포인트 (902) 에 대해, 데이지 서술자는 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00124
(821)(제 1 스케일 공간 (804) 및 대응하는 이미지 파생물들로부터 생성됨), 스케일 공간 피라미드 (802) 의 하나 이상의 더 높은 스케일 공간들 (805, 807) 에서의 하나 이상의 추가 평탄화된 방위 맵들
Figure 112012095734522-pct00125
(826) 및
Figure 112012095734522-pct00126
(824) 을 스파스하게 샘플링함으로써 생성될 수도 있다. 이것은 포인트 (902) 의 중심 위로 분포된 공간 풀링 구성 (예컨대, 가우시안 풀링) 에 의해 성취될 수도 있다. 이 실례에서, 공간 풀링 구성은 상이한 평탄화된 방위 맵들
Figure 112012095734522-pct00127
(821),
Figure 112012095734522-pct00128
(826) 및
Figure 112012095734522-pct00129
(824) 상에서 복수의 동심 링들 (904, 906, 908) 로서 정의될 수도 있다. 동심 링들 (904, 906, 908) 은 (포인트 (902) 의 위치와 일치하는) 평탄화된 방위 맵
Figure 112012095734522-pct00130
(821) 상의 샘플 포인트 (903) 에 대해 동심원이다. 각각의 동심 원 (904, 906, 908) 은 링의 주변부를 따라서 복수의 스파스하게 샘플링된 포인트들 (910, 912, 914) 을 포함할 수도 있다. 각각의 스파스하게 샘플링된 포인트 (910, 912, 914) 는 셀 (916, 918, 920) (즉, 서클) 에 대한 중심으로서 기능할 수도 있으며, 여기에서 셀 사이즈 (즉, 반경) 는 샘플 포인트들이 포인트 (902) 로부터 더 멀리 이동함에 따라 사이즈가 증가한다. 일 실례에서, 공간 풀링 구성은 3 개의 동심 원들 (904, 906, 908) 을 따라서 24 개의 포인트들을 포함할 수도 있으며, 이 24 개의 포인트들은 45 도만큼 이격된 링 (904, 906, 908) 당 8 개의 샘플 포인트들 (예컨대, 결과적으로 8 개의 셀들) 을 갖는다. 각각의 평탄화된 방위 맵
Figure 112012095734522-pct00131
(821),
Figure 112012095734522-pct00132
(826) 및
Figure 112012095734522-pct00133
(824) 은 세트 또는 복수의 방위 특정 평탄화된 방위 맵들 (예컨대, 방위들 X, Y, Z, W, 등) 을 포함할 수도 있다. (x) 마크들은 변경된 데이지 서술자를 구축하기 위한 포인트 (o)(902) 주위의 샘플링된 포인트들 또는 위치들에 대응한다. 이 동작은 배향된 그레디언트들 (HOG) 을 유도하는 각각의 방위에 대해 이루어진다. 그 후, 데이지 서술자 (예컨대, 방위 히스토그램) 은 샘플 포인트들 각각에 관한 정보를 포함함으로써 구축될 수도 있다. 예를 들어, 이미 좌표 (u0, v0) 에 위치된 포인트 (902) 에 대한 히스토그램
Figure 112012095734522-pct00134
은 복수의 방위들에 대해 다음과 같이 되도록 벡터로서 표현될 수도 있다:
[수학식 20]
Figure 112012095734522-pct00135
여기서
[수학식 21A]
Figure 112012095734522-pct00136
[수학식 21B]
Figure 112012095734522-pct00137
[수학식 21C]
Figure 112012095734522-pct00138
.
여기서,
Figure 112012095734522-pct00139
,
Figure 112012095734522-pct00140
및
Figure 112012095734522-pct00141
는 상이한 스케일 공간들과 연관된 평탄화된 방위 맵들을 나타낸다. 특히, 평탄화된 바위 맵들
Figure 112012095734522-pct00142
및
Figure 112012095734522-pct00143
는 베이스 평텬화된 방위 맵
Figure 112012095734522-pct00144
보다 더 높은 스케일 공간들과 연관될 수도 있다. 이전과 같이, 벡터
Figure 112012095734522-pct00145
는 유닛으로서 정규화될 수도 있고,
Figure 112012095734522-pct00146
로서 표시될 수도 있다.
포인트에 대한 데이지 서술자는 포인트 (902) 의 위치에 중심을 둔 동심 서클들에 위치되고 평활화의 양이 서클 반경에 비례할 수도 있는 평탄화된 방위 맵들로부터의 값들로 구성된 벡터에 의해 정의될 수도 있다. 따라서, 위치 (u, v) 에서의 포인트에 대한 데이지 서술자는 다음과 같이 제공될 수도 있다:
[수학식 22]
Figure 112012095734522-pct00147
여기서
Figure 112012095734522-pct00148
는 j 에 의해 제공된 방향/방위 (예컨대, 4 개의 방향, 8 개의 방향 등) 에서 위치 (u, v) 의 포인트 (702) 로부터의 거리 Rj 를 갖는 픽셀 위치이다. 여기서, 첨자 "V" 는 단일 평탄화된 방위 맵 레벨에서의 히스토그램들의 수를 나타낸다. 도 9 의 실례에 대해, 이것은 층 당 8 개의 히스토그램들이다. 수학식들 21a, 21b, 21c 및 22 는 3 개의 평탄화된 방위 레벨 맵들이 이용되지만, 추가 개수의 레벨들이 다른 구현들에서 이용될 수도 있음을 상정하고 있음을 주목한다.
일 실례에서, 피라미드 (802) 의 스케일 공간 레벨들은 2 k/ S 로서 정의될 수도 있으며, 여기서 S 는 각각의 옥타브의 분해능을 정의하고 (즉, 옥타브 당 스케일 레벨들의 수), s 는 스케일 공간 피라미드 (802) 내의 스케일 공간 레벨이고, 그러면 λ1 은 일부 포지티브 정수 k 에 대해 2k/ S 로부터 선택될 수 있다. 예를 들어, 도 8 에서, 옥타브 분해능 S 는 i + 1 이고 (즉, 스케일 레벨들 0 내지 i), 여기서 "i" 는 정수 (예컨대, 2, 3, 4, 5, 6, 7, 등) 이지만, 스케일 레벨 s 는 1 과 r + 1 (즉, 피라미드 (802) 에서 최고 스케일 레벨) 사이에 있을 수도 있다. 피라미드 스케일 공간 레벨들을 정의하는 다른 방법들이 이용될 수도 있음에 주목한다.
다른 스케일 공간들에 대한 평탄화된 방위 맵들을 재사용함으로써 데이지 서술자를 생성하는 접근방안은 메모리 저장 공간의 절약뿐 아니라 정확도 개선을 성취한다. 이 접근법의 일 특징은 파생물 연산자에 적용된 평탄화의 레벨을 판정하는 것이다. 이 접근법에서, 파생물 연산자는 가우시안 피라미드의 더 높은 스케일 레벨에서 이미지에 적용된다. 따라서, 이 접근법은 잡음에 더 강건하다. 이것은, 더 큰 커널을 갖는 이미지를 평탄화하는 것이 파생물 연산에 의해 증폭될 수도 있는 고주파 잡음을 제거하기 때문이다. 이 사실은 모든 주지된 에지 검출 알고리즘들에 의해 이용되고 있다.
일반 데이지 서술자와 변경된 데이지 서술자 사이의 예시적인 비교( Exemplary Comparison Between Typical and Modified Daisy Descriptor )
도 10 은 스케일 스페이스를 통한 변경된 데이지 서술자와 비교한, 종래의 데이지 서술자의 생성의 비교를 나타낸다. 스케일 공간 피라미드 (1002) 는 다양한 스케일링 계수들에 따라서 이미지를 블러링/평탄화하여, 이미지 분해능이 피라미드 (1002) 의 더 낮은 스케일들로부터 더 높은 스케일들로 감소하도록 함으로써 생성된다. 제 1 스케일 공간 (1006)(제 1 스케일링 계수 σ1 에 의해 생성됨) 에서의 포인트 (1004) 에 대한 종래 데이지 서술자는 방위 맵들 (1008) 의 세트를 획득하도록 제 1 스케일 공간 (1006) 의 배향된 파생물을 취함으로써 생성될 수도 있다. 방위 맵들 (1008) 의 세트는 상이한 방위들로부터 복수의 방위 맵들을 포함한다. 그 후, 방위 맵 (1008) 의 세트는 복수의 상이한 스케일링/평탄화 계수들과 컨볼루션하여 3 개 레벨들의 데이지 서술자를 획득하도록 함으로써 평탄화된다. 이 실례에서, 3 개의 상이한 평탄화된 방위 맵들
Figure 112012095734522-pct00149
(1014),
Figure 112012095734522-pct00150
(1016) 및
Figure 112012095734522-pct00151
(1018) 의 각각은 평탄화 계수들 α1,α2 및 α3 과 컨볼루션함으로써 단일 세트의 방위 맵들 (1008) 로부터 획득된다. 방위 맵들 (1008) 의 세트는 복수의 방위 맵들 (방위당 하나의 맵) 을 포함할 수도 있다는 것에 주목한다. 그 결과, 상이한 평탄화된 방위 맵들
Figure 112012095734522-pct00152
(1014),
Figure 112012095734522-pct00153
(1016) 및
Figure 112012095734522-pct00154
(1018) 의 각각은 실제로 복수의 평탄화된 맵들 (예컨대, 방위 당 8 개의 방위들 x 3 개의 평탄화된 방위 맵들) 을 포함할 수도 있다.
제 1 평탄화된 방위 맵
Figure 112012095734522-pct00155
(1014) 은 데이지 서술자의 제 1 레벨로서 이용되고, 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00156
(1016) 은 데이지 서술자의 제 2 레벨로서 이용되며, 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00157
(1018) 은 데이지 서술자의 제 3 레벨로서 d용된다. 평탄화된 방위 맵들
Figure 112012095734522-pct00158
(1014),
Figure 112012095734522-pct00159
(1016) 및
Figure 112012095734522-pct00160
(1018) 의 각각은 포인트 (1004) 와 동심을 이루는 링 (1020, 1022, 1024) 을 포함한다. 각각의 동심 링 (1020, 1022, 1024) 은 링의 주변부를 따라서 복수의 스파스하게 샘플링된 포인트들을 포함할 수도 있다. 각각의 스파스하게 샘플링된 포인트는 셀 (즉, 서클) 에 대한 중심으로서 기능할 수도 있고, 여기서 셀 사이즈 (즉, 반경) 는 샘플 포인트들이 포인트 (1004) 로부터 멀리 이동함에 따라 사이즈가 증가한다. 이 실례에서, (평탄화된 방위 맵들 (1014, 1016, 1018) 에 대해 각각) 3 개의 상이한 평탄화 계수들 α1,α2 및 α3 은 값들 α1= 2.5, α2 = 5.0 및 α3 = 7.5 을 가질 수도 있다. 셀들 (즉, 서클들) 의 각각의 반경은 그 평탄화된 방위 맵에 대한 평탄화 계수에 비례할 수도 있다. 예를 들어, 제 1 평탄화된 방위 맵 (1014) 에 대해, 각각의 셀 또는 서클의 반경 R1 은 R1 = 2.5 이고, 여기서 평탄화 계수 α1 = 2.5 와의 1 대 1 비례성이 존재한다. 마찬가지로, 제 2 평탄화된 방위 맵 (1016) 에 대해, 각각의 셀 또는 서클의 반경 R2 는 R2 = 5.0 이고, 여기서 평탄화 계수 α2 = 5.0 과의 1 대 1 비례성이 존재한다. 마찬가지로, 제 3 평탄화된 방위 맵 (1018) 에 대해, 각각의 셀 또는 서클의 반경 R3 은 R3 = 7.5 이고, 여기서 평탄화 계수 α3 = 7.5 와의 1 대 1 비례성이 존재한다. 반경들의 합은 이 실례에서 R1 + R2 + R3 = 15.0 픽셀들이라는 것에 주목한다. 그 후, 데이지 서술자는 수학식 3, 4a, 4b, 4c 및 5 에 따라 생성될 수도 있다. 일반적인 데이지 서술자의 구성으로 인해, MxN 픽셀들의 이미지, X 레벨들의 스케일 공간 피라미드, 및 8 개의 방위들 에 대해, 8 개의 배향된 파생물들에 대한 3 개의 평탄화된 방위 맵들 (예컨대, 방위 맵들) 에 대한 정보를 저장하는 데 24xMxNxS 의 메모리를 취한다.
데이지 서술자를 생성하는 종래 방법에 비해, 본 접근방안은 스케일 공간을 통해 데이지 서술자를 생성하는 데 스케일 공간 피라미드 (1002) 의 복수의 레벨들을 이용한다. 예를 들어, 동일한 스케일 공간 피라미드 (1002) 에 대해서도, 단 하나의 (제 1) 평탄화된 방위 맵
Figure 112012095734522-pct00161
(1014) 은 포인트(1004) 가 발견된 제 1 스케일 공간 (1006) 에 대응하는 방위 맵들 (1008) 의 세트에 대해 생성된다. 일 구현예에서, 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00162
(1014) 은 동이한 스케일링 계수 α1 에 의해 평탄화될 수도 있다. 스케일 공간에서 데이지 서술자를 생성하는 이 방법에 있어서, 제 2 스케일 공간 (1010) 은 피라미드 (1010) 으로부터 선택되고, 그의 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00163
(1026)(제 2 세트의 방위 맵들 (1012) 로부터 생성됨) 은 데이지 서술어에 대한 제 2 레벨로서 이용된다. 마찬가지로, 제 3 스케일 공간 (1014) 은 스케일 공간 피라미드 (1010) 으로부터 선택되고, 그의 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00164
(1028)(제 3 세트의 방위 맵들 (1016) 로부터 생성됨) 은 데이지 서술어에 대한 제 3 레벨로서 이용된다.
제 2 스케일 공간 (101) 은 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00165
(1026) 의 전체 평탄화가 제 2 평탄화된 방위 맵
Figure 112012095734522-pct00166
(1016) 의 것과 동일하거나 거의 동일하도록 특정적으로 선택된다. 이 실례에서, 동일한 평탄화 계수 α1 는 제 1 및 제 2 평탄화된 방위 맵들 (1014, 1026) 을 생성하는 데 이용된다. 그 결과, 제 2 평탄화된 방위 맵 (1026) 의 선택은 제 2 평탄화된 방위 맵들
Figure 112012095734522-pct00167
과 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00168
(1014) 의 전체 평탄화 간의 비율 λ1 에 기초한다. 동일한 평탄화 계수 α1 가 제 1 및 제 2 평탄화된 방위 맵들 (1014, 1026) 을 생성하는 데 이용되므로, 그 비율 λ1 = σ2/σ1 을 충족시키는 제 2 스케일 공간 (1010) 의 선택은 대응하는 제 2 평탄화된 방위 맵 (1026) 에서 동일하거나 거의 동일한 전체 평탄화를 달성하는 효과를 가질 것이다. 그 비율 λ1 은 변경된 데이지 서술어에 대한 소망되는 공간 샘플링을 성취하도록 또는 일반적인 데이지 서술어에 거의 매칭하도록 미리 정해졌을 수도 있다. 따라서, 그 비율 λ1 및 평탄화 계수 σ1 를 알면, 제 2 스케일 공간 (101) 은 그 비율 λ1 을 충족시키는 그의 대응하는 평탄화 계수에 기초하여 선택될 수도 있다. 스케일 공간들이 스케일 공간 피라미드 (101) 에 대해 미리 정해졌을 수도 있기 때문에, 이 비율 λ1 에 가장 가깝게 충족시키는 제 2 스케일 공간 (101) 이 선택된다. 미세하게 이격된 스케일 공간들을 갖는 스케일 공간 피라미드 (1002) 를 구성하는 것은 그 비율 λ1 을 충족시키는 평탄화 계수 σ2 를 갖는 제 2 스케일 공간 (101) 을 선택할 수 있도록 하는 데 도움이 된다는 것에 주목한다.
유사하게, 제 3 스케일 공간 (1016) 은 대응하는 평탄화된 바위 맵
Figure 112012095734522-pct00169
(1028) 이 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00170
(1016) 의 것과 동일하거나 거의 동일하도록 특정적으로 선택된다. 이 실례에서, 동일한 평탄화 계수 α1 는 제 2 및 제 3 평탄화된 방위 맵들 (1014, 1028) 을 생성하는 데 이용된다. 그 결과, 제 3 평탄화된 방위 맵 (1028) 의 선택은 제 3 평탄화된 방위 맵들
Figure 112012095734522-pct00171
의 전체 평탄화와 제 1 평탄화된 방위 맵
Figure 112012095734522-pct00172
(1014) 사이의 비율 λ2 에 기초한다. 동일한 평탄화 계수 α1 가 제 1 및 제 3 평탄화된 방위 맵들 (1014, 1028) 을 생성하는 데 이용되므로, 비율 λ2 = σ3/σ1 을 충족시키는 제 2 스케일 공간 (1016) 의 선택은 대응하는 제 3 평탄화된 방위 맵 (1028) 에서 동일하거나 거의 동일한 전체 평탄화를 성취하는 효과를 가질 것이다. 그 비율 λ2 은 변경된 데이지 서술자에 대한 소망되는 공간 샘플링을 달성하거나 또는 일반적인 데이지 서술자와 거의 매칭하도록 미리 정해졌을 수도 있다. 따라서, 비율 λ2 및 평탄화 계수σ1 를 알면, 제 3 스케일 공간 (1016) 은 그 비율 λ2 을 충족시키는 그의 대응하는 평탄화 계수 σ3 에 기초하여 선택될 수 있다. 스케일 공간들이 스케일 공간 피라미드 (1010) 에 대해 미리 정해졌을 수도 있기 때문에, 이 비율 λ2 을 가장 가깝게 충족시키는 제 3 스케일 공간 (1016) 이 선택된다.
이 방식으로, 상이한 스케일 공간들에 대응하는 평탄화된 방위 맵들
Figure 112012095734522-pct00173
(1014),
Figure 112012095734522-pct00174
(1026) 및
Figure 112012095734522-pct00175
(1028) 은 변경된 데이지 서술자의 제 1, 제 2, 및 제 3 레벨들로서 이용될 수도 있다. 이전과 같이, 각각의 평탄화된 방위 맵들
Figure 112012095734522-pct00176
(1014),
Figure 112012095734522-pct00177
(1026) 및
Figure 112012095734522-pct00178
(1028) 에서 샘플링된 각각의 셀들 (즉, 서클들) 의 반경은 그 평탄화된 방위 맵에 대한 평탄화 계수에 비례할 수도 있다. 이 실례에서, 제 1 평탄화된 방위 맵 (1014) 에 대해, 각각의 셀 또는 서클의 반경 R1 은 R1 = α1 = 2.5 이며, 여기서 평탄화 계수 α1 = 2.5 와의 1 대 1 비례성이 존재한다. (제 2 및 제 3 평탄화된 방위 맵들 (1026, 1028) 에 대한) 반경들 R'2 및 R'3 은 이제 제 2 및 제 3 스케일 공간들 (1010, 1016) 의 선택의 결과로서 성취된 전체 평탄화에 의존할 것이다. 비율 λ1 =23/3 및 α1 = 2.5 인 제 2 평탄화된 방위 맵 (1026) 에 대해, 동등한 평탄화 계수 α'2 = 5.29 및 반경 R'2 = α'2 = 5.29 이며, 여기서 평탄화 계수 α'2 와의 1 대 1 비례성이 존재한다. 마찬가지로, 비율 λ2 =25/3 및 α1 = 2.5 인 제 3 평탄화된 방위 맵
Figure 112012095734522-pct00179
(1028) 에 대해, 동등한 평탄화 계수 α'3 = 8.48 및 반경 R'3 = α'3 = 8.48 이며, 여기서 평탄화 계수 α'3 와의 1 대 1 비례성이 존재한다. 반경들의 합은 이 실례에서 R1 + R'2 + R'3 = 16.27 픽셀들이라는 점에 주목한다. 그 후, 데이지 서술자는 수학식 20, 21A, 21B, 21C, 및 22 에 따라 생성될 수도 있다. 이 변경된 데이지 서술어의 구성으로 인해, MxN 픽셀들의 이미지, S 레벨들의 스케일 공간 피라미드 및 8 개의 방위들에 대해, 8 개의 배향된 파생물들에 대한 평탄화된 맵 (예컨대, 방위 맵들) 에 관한 정보를 저장하는 데 8xMxNxS 메모리를 취한다.
예시적인 서술자 생성 디바이스 ( Exemplary Descriptor Generation Device)
도 11 은 복수의 스케일 공간 레벨들에 걸쳐서 서술어를 생성하는 서술어 생성 디바이스의 실례를 나타낸 블록도이다. 서술어 생성 디바이스 (1100) 는 프로세싱 회로 (1102), 이미지 캡처링 디바이스 (1106), 및/또는 저장 디바이스 (1108) 를 포함할 수도 있다. 이미지 캡처링 디바이스 (1106) 는, 예를 들어 쿼리 이미지를 캡처할 수 있는 디지털 카메라, 하나 이상의 디지털 이미지들을 저장하는 저장 매체, 및/또는 하나 이상의 디지털 이미지들을 제공하는 통신 인터페이스일 수도 있다.
저장 디바이스 (1108) 는 서술자 데이터베이스 (1118), 피처/포인트 검출 동작들의 세트 (1115), 이미지 파생물 동작들의 세트 (1119), 방위 맵 생성 동작들의 세트 (1111), 방위 맵 평탄화 동작들의 세트 (1118), 및/또는 스케일 공간에 걸친 서술자 생성 동작들의 세트 (1117) 를 일시적으로 또는 영구적으로 저장하도록 기능할 수도 있다.
프로세싱 회로 (1102) 는 이미지를 생성하고, 이미지 및/또는 이미지 내의 피처들을 식별하는 하나 이상의 서술자들을 생성하도록 적응될 수도 있다. 이를 위해, 프로세싱 회로 (1102) 는 또한 스케일 공간 생성 회로 (1110), 피처/포인트 검출 회로 (1114), 이미지 파생물 생성 회로 (1121), 방위 맵 생성 회로 (1112), 방위 맵 평탄화 회로 (1113), 및/또는 스케일 공간에 걸친 서술자 생성 회로 (1116) 를 포함하거나 구현할 수도 있다. 프로세싱 회로 (1102) 는 도 8 내지 도 10 및 도 12 에 설명된 하나 이상의 피처들 및/또는 방법들을 구현할 수도 있다. 일 실례에서, 프로세싱 회로 (1102) 는 저장 디바이스에서 다양한 모듈에 저장된 동작들을 간단히 구현할 수도 있다. 다른 실례에서, 프로세싱 회로 (1102) 내의 회로들의 각각은 저장 디바이스 (1108) 내에 저장된 대응하는 모듈들에서 동작들을 실행하도록 적응될 수도 있다.
스케일 공간 생성 회로 (1110) 는, 예를 들어 도 8 에 예시된 바와 같은 복수의 상이한 스케일 공간들을 생성하도록 이미지를 블러링/평탄화 함수와 컨볼루션하도록 기능할 수도 있다. 일 실례에서, 스케일 공간 생성 회로 (1110) 는 가우시안 스케일 공간 피라미드를 생성하도록 기능할 수도 있다. 피처/포인트 검출 회로 (1114) 는 이미지에 대한 각각의 스케일 공간에서 일부 또는 모든 포인트들 또는 피처들을 식별하도록 기능할 수도 있다. 이미지 파생물 생성 회로 (1121) 는 스케일 공간들 각각에 대한 복수의 배향된 파생물들을 생성하도록 기능할 수도 있다. 방위 맵 생성 회로 (1112) 는 각각의 이미지 파생물에 대한 방위 맵을 생성하도록 기능할 수도 있다. 방위 맵 평탄화 회로 (1113) 는 그 후에 각각의 방위 맵들을 (예컨대, 컨볼루션 동작에 의해) 평탄화할 수도 있다. 스케일 공간에 걸친 서술어 생성 회로 (1116) 는 복수의 상이한 스케일 공간들에 대한 복수의 평탄화된 방위 맵들 상의 샘플링 포인트들을 이용하여 포인트에 대한 서술자를 생성한다. 예를 들어, 스케일 공간에 걸친 서술자 생성 회로 (1116) 는 도 8 내지 도 10 및 도 12 에 예시된 바와 같은 변경된 데이지 서술자를 생성할 수도 있다.
도 12 는 복수의 스케일 공간 레벨들에 걸쳐서 로컬 피처 서술자를 생성하는 방법을 예시한 흐름도이다. 이 방법은 도 11 의 서술자 생성 디바이스 (1100) 를 포함한 다양한 디바이스들에서 구현되어, 포인트에 대한 로컬 피처 서술자를 생성하도록 할 수도 있다. I(x, y) 는 복수의 스케일 공간들 L(σ1), L(σ2), ... L(σn) (1202) 을 획득하도록 점진적으로 평탄화된다.
포인트는 복수의 스케일 공간들 (1204) 로부터 제 1 스케일 공간 내에서 식별될 수도 있다. 포인트는 복수의 스케일 공간들 내의 위치들의 서브세트로부터의 샘플 포인트일 수도 있다. 위치들의 서브세트의 선택은 특정 구현에 의존할 수도 있다. 일 실례에서, 위치들의 서브세트는 오브젝트에 대한 예상 패턴에 기초하여 선택될 수도 있다. 예를 들어, 안면 검출 애플리케이션들에서, 이들 위치들은 안면 중심과 같은 기준 위치에 대해 눈, 입, 코의 위치에 대응할 것이다. 다른 실례에서, 위치들의 서브세트는 이미지 내의 식별된 키포인트들에 기초하여 선택될 수도 있으며, 여기서 키포인트는 회전 및 스케일 변화에 대해 강건한 것으로 식별된 포인트이다. 예를 들어, 이미지들로부터 형상 추출을 구현하기 위해, 위치들은 형상의 컨투어로부터 샘플링된 포인트들에 대응할 수도 있다.
배향된 이미지 파생물들은 복수의 스케일 공간들 (1206) 의 각각에 대해 획득된다.
그 후, 복수의 방향 맵들
Figure 112012095734522-pct00180
,
Figure 112012095734522-pct00181
, 및
Figure 112012095734522-pct00182
은 복수의 스케일 공간들 (1208) 에서 각각의 스케일 공간 L(σi) 에 대해 (예컨대, 이미지의 배향된 파생물들을 취하고 네거티브 값들을 클리핑함으로써) 획득된다. 예를 들어, 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 임의의 네거티브 값들을 0 으로 설정함으로써 (예컨대, 클리핑 함수/연산자 (.)+ 를 방위 맵에 적용함으로써) 획득될 수도 있다.
그 후, 복수의 방위 맵들
Figure 112012095734522-pct00183
,
Figure 112012095734522-pct00184
, 및
Figure 112012095734522-pct00185
의 각각이 (예컨대, 컨볼루션 동작에 의해) 대응하는 복수의 평탄화된 방위 맵들
Figure 112012095734522-pct00186
,
Figure 112012095734522-pct00187
, 및
Figure 112012095734522-pct00188
(1210) 을 획득하도록 평탄화된다.
그 후, 복수의 스케일 공간들로부터의 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들은 스파스하게 샘플링되어 포인트 (1212) 에 대한 로컬 피처 서술자를 생성하도록 한다. 2 개 이상의 스케일 공간들은 제 1 스케일 공간 및 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함할 수도 있다. 로컬 피처 서술자는 포인트 중심 위에 분포된 샘플 포인트들의 공간 풀링에 의해 정의되는 커널 풀링 구성을 가질 수도 있다. 각각의 스케일 공간에 대한 복수의 방위 맵들은 복수의 상이한 방위들 (예컨대, 방위들/디멘전들 X, Y, Z, 및 W) 에 대한 방위 맵들을 포함할 수도 있다. 각각의 방위 맵
Figure 112012095734522-pct00189
은 단일의 대응하는 평탄화된 방위 맵
Figure 112012095734522-pct00190
으로 해상 (resolve) 할 수도 있다. 배향된 그레디언드들의 복수의 히스토그램들은 복수의 평탄화된 방위 맵들의 스파스한 샘플링으로부터 구축될 수도 있으며, 여기서 로컬 피처 서술자는 복수의 히스토그램들을 포함한다.
일 실례에서, 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 것은, (a) 포인트의 위치와 동심인 제 1 링에 배열된, 제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 것; (b) 제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하되, 제 2 복수의 포인트들은 포인트의 위치와 동심인 제 2 링에 배열되고, 제 2 평탄화된 방위 맵은 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는 것; (c) 제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하되, 제 3 복수의 포인트들은 포인트의 위치와 동심인 제 3 링에 배열되고, 제 3 평탄화된 방위 맵은 제 1 스케일 공간보다 낮은 분해능의 제 3 스케일 공간에 대응하는 것을 포함한다. 제 2 링은 제 1 링에 대한 제 1 반경보다 큰 제 2 반경을 가질 수도 있고, 제 3 링은 제 2 링에 대한 제 2 반경보다 큰 제 3 반경을 가질 수도 있다.
일 예시에 따르면, 복수의 방위 맵들은 동일한 평탄화 계수를 이용하여 평탄화될 수도 있고, 제 1 스케일 공간은 2 개 이상의 스케일 공간들 중 하나일 수도 있고, 제 2 스케일 공간은 제 1 스케일 공간에 대해 소망되는 평탄화를 성취하도록 선택될 수도 있다.
예시적인 모바일 디바이스( Exemplary Mobile Device )
도 13 은 스케일 공간의 다수의 레벨들에 걸쳐서 생성된 로컬 서술자를 이용하여 이미지 또는 오브젝트 인식을 위해 이미지 프로세싱을 수행하도록 적응된 예시적인 모바일 디바이스를 나타낸 블록도이다. 모바일 디바이스 (1300) 는 이미지 캡처 디바이스 (1304), 무선 통신 인터페이스 (1310) 및 저장 디바이스 (1308) 에 커플링된 프로세싱 회로 (1302) 를 포함할 수도 있다. 이미지 캡처 디바이스 (1304)(예컨대, 디지털 카메라) 는 관심 쿼리 이미지 (1306) 를 캡처하고 그것을 프로세싱 회로 (1302) 에 제공하도록 적응될 수도 있다.
저장 디바이스 (1308)(예컨대, 휘발성 및/또는 비휘발성 메모리) 는 이미지 스케일 공간 (1316) 및/또는 이미지에 대한 스케일 공간에 걸쳐서 로컬 피처 서술자들을 생성하는 동작들을 저장할 수도 있다. 이들 동작들은, 예를 들어 스케일 공간 생성 동작들 (1321)(에컨대, 다양한 평탄화 계수들/함수들에 따라서 이미지를 계속해서 블러링하여 이미지의 스케일 공간을 획득하는 동작들), 배향된 이미지 파생 동작들 (1327)(예컨대, 특정 스케일 공간 레벨로부터 복수의 배향된 파생물들을 생성하는 동작들), 방위 맵 생성 동작들 (1323)(에컨대, 클리핑 함수 (.)+ 를 이미지 파생물의 픽셀 그레디언트 값드에 적용하여 방위 맵을 획득하는 동작들), 평탄화된 (컨볼루션된) 방위 맵 생성 동작들 (1325)(예컨대, 제 2 평탄화 계수를 방위 맵들에 적용하는 동작들), 및/또는 스케일 공간에 걸친 로컬 서술자 생성 동작들 (1329)(예컨대, 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위맵들을 스파스하게 생성하는 동작들) 을 포함할 수도 있다. 이들 동작들은 예를 들어 프로세싱 회로 (1302) 에 의해 실행될 수도 있다.
프로세싱 회로 (1302) 는 캡처된 이미지를 프로세싱하여, 이미지/오브젝트 인식을 위해 후속으로 송신 또는 이용될 수 있는 로컬 피처 서술자들을 생성하도록 적응될 수도 있다. 예를 들어, 프로세싱 회로 (1302) 는 스케일 공간 생성기 (1320), 피처/포인트 검출기 (1326), 배향된 이미지 파생물 생성기 또는 방위 맵 생성기 (1322), 평탄화된 방위 맵 생성기 (1324), 및/또는 스케일 공간에 걸친 로컬 피처 서술자 생성기 (1328) 를 포함하거나 구현할 수도 있다. 스케일 공간 생성기 (1320) 는 블러링 함수 (예컨대, 가우시안 커널) 로 이미지를 컨볼루션하여, 예를 들어 도 8 에 예시된 바와 같은 복수의 상이한 스케일 공간들을 생성하도록 기능할 수도 있다. 그 후, 피처/포인트 검출기 (1326) 는 이미지를 위해 상이한 스케일 공간들에서 (예컨대, 로컬 최대 및 최소치를 이용하여) 하나 이상의 포인트들을 식별할 수도 있다. 그 후, 배향된 이미지 파생물 발생기 (1330) 는 스케일 공간들의 배향된 파생물을 취하여 복수의 이미지 파생물들을 생성할 수도 있다. 방위 맵 생성기 (1322) 는 클리핑 함수 ( )+ 를 이미지 파생물의 값들에 적용하여 각각의 이미지 파생물에 대한 방위 맵을 생성할 수도 있다. 그 후, 평탄화된 방위 맵 생성기 (1324) 는 각각의 방위 맵을 더 컨볼루션하여 대응하는 평탄화된 방위 맵을 획득한다. 로컬 피처/포인트 서술자 생성기 (1328) 는 복수의 스케일 공간들에 대한 평탄화된 방위 맵들을 이용하여 각각의 관심 포인트 (예컨대, 도 8, 도 9 및 도 10 에 예시됨) 에 대한 서술자 (예컨대, 데이지 서술자) 를 생성한다. 모바일 디바이스 (1300) 는 이들 도면에서 설명된 하나 이상의 특징들 및/또는 방법들을 구현할 수도 있다.
그 후, 프로세싱 회로 (1302) 는 저장 디바이스 (1308) 에 하나 이상의 로컬 피처/포인트 서술자들을 저장할 수도 있고, 및/또는 또한 무선 네트워크 (1302) 를 통해 무선 통신 인터페이스 (1310)(예컨대, 송수신기 또는 회로) 를 거쳐 로컬 피처/포인트 서술자들을, 이미지 또는 오브젝트를 식별하는 데 피처 서술자들을 이용하는 이미지 매칭 서버에 송신할 수도 있다. 즉, 이미지 매칭 서버는 피처 서술자들을 그 자신의 피처 서술자 데이터베이스에 비교하여, 그의 데이터베이스 내의 임의의 이미지가 동일한 특징(들)을 갖는지를 판정할 수도 있다.
도면에 예시된 콤포넌트들, 단계들, 피처들 및/또는 기능들 중 하나 이상은 단일 콤포넌트, 단계, 피처 또는 기능에 재구성 및/또는 조합될 수도 있고, 도는 여러 콤포넌트들, 단계들, 또는 기능들로 구현될 수도 있다. 추가의 엘리먼트들, 콤포넌트들, 단계들, 및/또는 기능들은 또한 여기에서 개시된 신규한 특징들로부터 벗어나지 않고 추가될 수도 있다. 도면에 예시된 장치, 디바이스들, 및/또는 콤포넌트들은 다른 도면에서 설명되는 방법들, 특징들, 또는 단계들 중 하나 이상을 수행하도록 구성될 수도 있다. 여기에서 개시된 알고리즘들은 또한 효율적으로 소프트웨어에서 구현되고 및/또는 하드웨어에서 실시될 수도 있다.
또한, 실시형태들은 플로우차트, 흐름도, 구조도, 또는 블록도로서 도시되는 프로세스로서 설명될 수도 있다는 것에 주목한다. 플로우차트가 순차적 프로세서로서 동작들을 설명할 수도 있지만, 대부분의 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는, 그의 동작들이 완료될 때 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램들에 대응할 수도 있다. 프로세스가 함수에 대응할 때, 그의 종료는 호출 함수 또는 메인 함수로의 함수 리턴에 대응한다.
또한, 저장 매체는, 정보 저장을 위한, 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 자기 디스크 저장 매체들, 광학적 저장 매체들, 플래시 메모리 디바이스들 및/또는 다른 기계-판독가능 매체들, 프로세서-판독가능 매체들, 및/또는 컴퓨터-판독가능 매체들을 포함하는, 데이터를 저장하는 하나 이상의 디바이스들을 나타낼 수도 있다. 용어들 "기계-판독가능 매체들", "컴퓨터-판독가능 매체들", 및/또는 "프로세서-판독가능 매체들" 은 휴대용 또는 고정 저장 디바이스들, 광학적 저장 디바이스들과 같은 비일시적 매체들 및 명령(들) 및/또는 데이터를 저장, 포함 또는 전달할 수 있는 다양한 다른 매체들을 포함할 수도 있지만, 이들로 국한되지는 않는다. 따라서, 여기에서 설명된 다양한 방법들은, "기계-판독가능 매체", "컴퓨터-판독가능 매체", 및/또는 "프로세서-판독가능 매체"에 저장될 수도 있고, 하나 이상의 프로세서들, 기계들 및/또는 디바이스들에 의해 실행될 수도 있는 명령들 및/또는 데이터에 의해 완전히 또는 부분적으로 구현될 수도 있다.
또한, 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필수적인 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체 또는 다른 저장소(들)와 같은 기계-판독가능 매체에 저장될 수도 있다. 프로세서는 필수적인 작업들을 수행할 수도 있다. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들의 임의의 조합, 데이터 구조들, 또는 프로그램 스테이트먼트들을 표현할 수도 있다. 코드 세그먼트는 정보, 데이터, 인수, 파라미터, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수, 파라미터, 데이터 등은, 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적합한 수단을 통해 전달, 포워딩, 또는 송신될 수도 있다.
여기에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 신호 (FPGA), 또는 기타 프로그래머블 로직 디바이스, 별도의 게이트 또는 트랜지스터 로직, 별도의 하드웨어 컴포넌트들, 또는 여기서 설명된 기능을 수행하도록 설계되는 이들의 임의의 결합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로, 그 프로세서는 임의의 종래 프로세서, 제어기, 마이크로 제어기, 또는 상태 기계일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 결합, 예를 들어, DSP 와 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들 또는 임의의 기타 다른 구성물로 구현될 수도 있다.
여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다.
당업자는 여기에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들을 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로 구현할 수도 있음을 알 수 있다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 설명하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들을 주로 그들의 기능의 관점에서 상술하였다. 그러한 기능이 하드웨어로 구현될지 소프트웨어로 구현될지는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약 조건들에 의존한다.
여기에서 개시된 다양한 특징들은 본 발명으로부터 벗어나지 않고 상이한 시스템들에서 구현될 수 있다. 상기 실시형태들은 단지 실시예들에 불과하고 본 발명을 제한하는 것으로 이해되어서는 안 된다는 것에 유의한다. 실시형태들의 설명은 예시하는 것으로 의도되고, 청구범위의 범주를 제한하는 것으로 의도되지는 않는다. 이와 같이, 본 교시사항은 다른 타입의 장치들에 용이하게 적용될 수 있고, 많은 대안물, 변경물, 및 변형물이 당업자에게는 명백할 것이다.

Claims (34)

  1. 이미지에 대한 로컬 피처 서술자 (local feature descriptor) 를 생성하는 방법으로서,
    이미지에 대한 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 포인트를 식별하는 단계;
    상기 복수의 스케일 공간들에서 각각의 스케일 공간에 대한 복수의 방위 맵들을 획득하는 단계;
    상기 복수의 방위 맵들의 각각을 평탄화하여 대응하는 복수의 평탄화된 방위 맵들을 획득하는 단계; 및
    상기 포인트에 대한 로컬 피처 서술자를 생성하도록 상기 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 (sparsely) 샘플링하는 단계를 포함하는, 로컬 피처 서술자를 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 이미지를 점진적으로 평탄화하여 상기 복수의 스케일 공간들을 획득하는 단계를 더 포함하며,
    상기 복수의 평탄화된 방위 맵들 내에서의 방위 맵의 평탄화는 상기 방위 맵의 스케일 공간 레벨에 비례하는, 로컬 피처 서술자를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 복수의 스케일 공간들의 각각에 대한 복수의 이미지 파생물들을 획득하는 단계를 더 포함하며,
    상기 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 네거티브가 아닌 값들로부터 획득되는, 로컬 피처 서술자를 생성하는 방법.
  4. 제 1 항에 있어서,
    상기 포인트는 상기 복수의 스케일 공간들 내에 있는 위치들의 서브세트로부터의 샘플 포인트인, 로컬 피처 서술자를 생성하는 방법.
  5. 제 4 항에 있어서,
    상기 위치들의 서브세트는 오브젝트에 대한 패턴에 기초하여 선택되는, 로컬 피처 서술자를 생성하는 방법.
  6. 제 4 항에 있어서,
    상기 위치들의 서브세트는 상기 이미지 내의 식별된 키포인트에 기초하여 선택되며,
    키포인트는 이미징 조건에서의 변화에 강건한 것으로 식별된 포인트인, 로컬 피처 서술자를 생성하는 방법.
  7. 제 1 항에 있어서,
    상기 2 개 이상의 스케일 공간들은 상기 제 1 스케일 공간 및 상기 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함하는, 로컬 피처 서술자를 생성하는 방법.
  8. 제 1 항에 있어서,
    상기 로컬 피처 서술자는 상기 포인트의 중심 위에 분포된 샘플 포인트들의 공간 풀링 (pooling) 에 의해 정의되는 커널 (kernel) 풀링 구성을 갖는, 로컬 피처 서술자를 생성하는 방법.
  9. 제 1 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 단계는,
    제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 단계로서, 상기 제 1 복수의 포인트들은 상기 포인트의 위치와 동심인 제 1 링에 배열되는, 상기 제 1 복수의 포인트들을 샘플링하는 단계; 및
    제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하는 단계로서, 상기 제 2 복수의 포인트들은 상기 포인트의 위치와 동심인 제 2 링에 배열되고, 상기 제 2 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는, 상기 제 2 복수의 포인트들을 샘플링하는 단계를 포함하는, 로컬 피처 서술자를 생성하는 방법.
  10. 제 9 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 단계는,
    제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하는 단계로서, 상기 제 3 복수의 포인트들은 상기 포인트의 위치와 동심인 제 3 링에 배열되고, 상기 제 3 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 제 3 스케일 공간에 대응하는, 상기 제 3 복수의 포인트들을 샘플링하는 단계를 더 포함하는, 로컬 피처 서술자를 생성하는 방법.
  11. 제 10 항에 있어서,
    상기 제 2 링은 상기 제 1 링에 대한 제 1 반경보다 큰 제 2 반경을 갖고,
    상기 제 3 링은 상기 제 2 링에 대한 상기 제 2 반경보다 큰 제 3 반경을 갖는, 로컬 피처 서술자를 생성하는 방법.
  12. 제 1 항에 있어서,
    각각의 스케일 공간에 대한 상기 복수의 방위 맵들은 복수의 상이한 방위들에 대한 방위 맵들을 포함하는, 로컬 피처 서술자를 생성하는 방법.
  13. 제 1 항에 있어서,
    각각의 방위 맵은 단일의 대응하는 평탄화된 방위 맵으로 해상하는 (resolve), 로컬 피처 서술자를 생성하는 방법.
  14. 제 1 항에 있어서,
    상기 복수의 평탄화된 방위 맵들의 희소 샘플링 (sparse sampling) 으로부터 배향된 그레디언트들의 복수의 히스토그램들을 구축하는 단계를 더 포함하며,
    상기 로컬 피처 서술자는 상기 복수의 히스토그램들을 포함하는, 로컬 피처 서술자를 생성하는 방법.
  15. 제 1 항에 있어서,
    상기 복수의 방위 맵들은 동일한 평탄화 계수를 이용하여 평탄화되고,
    상기 제 1 스케일 공간은 상기 2 개 이상의 스케일 공간들 중 하나이며,
    제 2 스케일 공간은 상기 제 1 스케일 공간에 대해 소망되는 평탄화를 성취하도록 선택되는, 로컬 피처 서술자를 생성하는 방법.
  16. 이미지 프로세싱 디바이스로서,
    이미지를 획득하도록 적응된 입력 인터페이스;
    하나 이상의 이미지들에 대한 로컬 피처 서술자들을 저장하도록 하는 저장 디바이스;
    상기 입력 인터페이스 및 상기 저장 디바이스에 커플링된 프로세싱 회로를 포함하고,
    상기 프로세싱 디바이스는:
    이미지에 대한 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 포인트를 식별하고;
    상기 복수의 스케일 공간들에서 각각의 스케일 공간에 대한 복수의 방위 맵들을 획득하고;
    상기 복수의 방위 맵들의 각각을 평탄화하여 대응하는 복수의 평탄화된 방위 맵들을 획득하고;
    상기 포인트에 대한 로컬 피처 서술자를 생성하도록 상기 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하도록 적응된, 이미지 프로세싱 디바이스.
  17. 제 16 항에 있어서,
    상기 2 개 이상의 스케일 공간들은 상기 제 1 스케일 공간 및 상기 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함하는, 이미지 프로세싱 디바이스.
  18. 제 16 항에 있어서,
    상기 프로세싱 회로는:
    상기 복수의 스케일 공간들의 각각에 대한 복수의 이미지 파생물들을 획득하도록 추가로 적응되고,
    상기 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 네거티브가 아닌 값들로부터 획득되는, 이미지 프로세싱 디바이스.
  19. 제 16 항에 있어서,
    상기 포인트는 상기 복수의 스케일 공간들 내에 있는 위치들의 서브세트로부터의 샘플 포인트인, 이미지 프로세싱 디바이스.
  20. 제 16 항에 있어서,
    상기 로컬 피처 서술자는 상기 포인트의 중심 위에 분포된 샘플 포인트들의 공간 풀링 (pooling) 에 의해 정의되는 커널 (kernel) 풀링 구성을 갖는, 이미지 프로세싱 디바이스.
  21. 제 16 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 것은,
    제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 것으서, 상기 제 1 복수의 포인트들은 상기 포인트의 위치와 동심인 제 1 링에 배열되는, 상기 제 1 복수의 포인트들을 샘플링하는 것; 및
    제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하는 것으로서, 상기 제 2 복수의 포인트들은 상기 포인트의 위치와 동심인 제 2 링에 배열되고, 상기 제 2 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는, 상기 제 2 복수의 포인트들을 샘플링하는 것을 포함하는, 이미지 프로세싱 디바이스.
  22. 제 21 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 것은,
    제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하는 것으로서, 상기 제 3 복수의 포인트들은 상기 포인트의 위치와 동심인 제 3 링에 배열되고, 상기 제 3 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 3 스케일 공간에 대응하는, 상기 제 3 복수의 포인트들을 샘플링하는 것을 더 포함하는, 이미지 프로세싱 디바이스.
  23. 제 16 항에 있어서,
    상기 프로세싱 회로는:
    상기 복수의 평탄화된 방위 맵들의 희소 샘플링 (sparse sampling) 으로부터 배향된 그레디언트들의 복수의 히스토그램들을 구축하도록 추가로 적응되며,
    상기 로컬 피처 서술자는 상기 복수의 히스토그램들을 포함하는, 이미지 프로세싱 디바이스.
  24. 제 16 항에 있어서,
    상기 복수의 방위 맵들은 동일한 평탄화 계수를 이용하여 평탄화되고,
    상기 제 1 스케일 공간은 상기 2 개 이상의 스케일 공간들 중 하나이며,
    제 2 스케일 공간은 상기 제 1 스케일 공간에 대해 소망되는 평탄화를 성취하도록 선택되는, 이미지 프로세싱 디바이스.
  25. 이미지에 대한 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 포인트를 식별하는 수단;
    상기 복수의 스케일 공간들에서 각각의 스케일 공간에 대한 복수의 방위 맵들을 획득하는 수단;
    상기 복수의 방위 맵들의 각각을 평탄화하여 대응하는 복수의 평탄화된 방위 맵들을 획득하는 수단; 및
    상기 포인트에 대한 로컬 피처 서술자를 생성하도록 상기 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 수단을 포함하는, 이미지 프로세싱 디바이스.
  26. 제 25 항에 있어서,
    상기 복수의 스케일 공간들의 각각에 대한 복수의 이미지 파생물들을 획득하는 수단을 더 포함하며,
    상기 복수의 방위 맵들의 각각은 대응하는 이미지 파생물의 네거티브가 아닌 값들로부터 획득되는, 이미지 프로세싱 디바이스.
  27. 제 25 항에 있어서,
    상기 포인트는 상기 복수의 스케일 공간들 내에 있는 위치들의 서브세트로부터의 샘플 포인트인, 이미지 프로세싱 디바이스.
  28. 제 25 항에 있어서,
    상기 2 개 이상의 스케일 공간들은 제 1 스케일 공간 및 상기 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함하는, 이미지 프로세싱 디바이스.
  29. 제 25 항에 있어서,
    상기 로컬 피처 서술자는 상기 포인트의 중심 위에 분포된 샘플 포인트들의 공간 풀링 (pooling) 에 의해 정의되는 커널 (kernel) 풀링 구성을 갖는, 이미지 프로세싱 디바이스.
  30. 제 25 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 수단은,
    제 1 평탄화된 방위 맵 상의 제 1 복수의 포인트들을 샘플링하는 수단으로서, 상기 제 1 복수의 포인트들은 상기 포인트의 위치와 동심인 제 1 링에 배열되는, 상기 제 1 복수의 포인트들을 샘플링하는 수단; 및
    제 2 평탄화된 방위 맵 상의 제 2 복수의 포인트들을 샘플링하는 수단으로서, 상기 제 2 복수의 포인트들은 상기 포인트의 위치와 동심인 제 2 링에 배열되고, 상기 제 2 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 2 스케일 공간에 대응하는, 상기 제 2 복수의 포인트들을 샘플링하는 수단을 포함하는, 이미지 프로세싱 디바이스.
  31. 제 30 항에 있어서,
    상기 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하는 수단은,
    제 3 평탄화된 방위 맵 상의 제 3 복수의 포인트들을 샘플링하는 수단으로서, 상기 제 3 복수의 포인트들은 상기 포인트의 위치와 동심인 제 3 링에 배열되고, 상기 제 3 평탄화된 방위 맵은 상기 제 1 스케일 공간보다 낮은 분해능의 제 3 스케일 공간에 대응하는, 상기 제 3 복수의 포인트들을 샘플링하는 수단을 더 포함하는, 이미지 프로세싱 디바이스.
  32. 제 25 항에 있어서,
    상기 복수의 평탄화된 방위 맵들의 희소 샘플링 (sparse sampling) 으로부터 배향된 그레디언트들의 복수의 히스토그램들을 구축하는 수단을 더 포함하며,
    상기 로컬 피처 서술자는 상기 복수의 히스토그램들을 포함하는, 이미지 프로세싱 디바이스.
  33. 디바이스에서 동작하는 하나 이상의 명령들을 포함하는 프로세서 판독가능 매체로서,
    상기 하나 이상의 명령들은, 프로세싱 회로에 의해 실행될 때, 상기 프로세싱 회로로 하여금,
    이미지에 대한 복수의 스케일 공간들로부터 제 1 스케일 공간 내의 포인트를 식별하게 하고;
    상기 복수의 스케일 공간들에서 각각의 스케일 공간에 대한 복수의 방위 맵들을 획득하게 하고;
    상기 복수의 방위 맵들의 각각을 평탄화하여 대응하는 복수의 평탄화된 방위 맵들을 획득하게 하고;
    상기 포인트에 대한 로컬 피처 서술자를 생성하도록 상기 복수의 스케일 공간들로부터 2 개 이상의 스케일 공간들에 대응하는 복수의 평탄화된 방위 맵들을 스파스하게 샘플링하게 하는, 컴퓨터 판독가능 매체.
  34. 제 33 항에 있어서,
    상기 2 개 이상의 스케일 공간들은 상기 제 1 스케일 공간 및 상기 제 1 스케일 공간보다 낮은 분해능의 하나 이상의 추가 스케일 공간들을 포함하는, 컴퓨터 판독가능 매체.
KR1020127030423A 2010-04-20 2011-04-20 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성 KR101470112B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US32608710P 2010-04-20 2010-04-20
US61/326,087 2010-04-20
US41275910P 2010-11-11 2010-11-11
US61/412,759 2010-11-11
US13/090,180 2011-04-19
US13/090,180 US9530073B2 (en) 2010-04-20 2011-04-19 Efficient descriptor extraction over multiple levels of an image scale space
PCT/US2011/033316 WO2011133714A1 (en) 2010-04-20 2011-04-20 Daisy descriptor generation from precomputed scale - space

Publications (2)

Publication Number Publication Date
KR20130019430A KR20130019430A (ko) 2013-02-26
KR101470112B1 true KR101470112B1 (ko) 2014-12-05

Family

ID=44788244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127030423A KR101470112B1 (ko) 2010-04-20 2011-04-20 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성

Country Status (6)

Country Link
US (1) US9530073B2 (ko)
EP (1) EP2561467A1 (ko)
JP (1) JP5602940B2 (ko)
KR (1) KR101470112B1 (ko)
CN (1) CN102859535B (ko)
WO (1) WO2011133714A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782708A (zh) 2009-12-02 2012-11-14 高通股份有限公司 用于图像辨识的描述符小块的快速子空间投影
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space
US8274508B2 (en) * 2011-02-14 2012-09-25 Mitsubishi Electric Research Laboratories, Inc. Method for representing objects with concentric ring signature descriptors for detecting 3D objects in range images
US9805282B2 (en) * 2011-11-18 2017-10-31 Nec Corporation Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
ITTO20120602A1 (it) * 2012-07-09 2014-01-10 Sisvel Technology Srl Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.
EP2767931A3 (en) * 2013-02-15 2016-06-29 Samsung Electronics Co., Ltd Electronic device and method of determining descriptor thereof
US20140238338A1 (en) 2013-02-22 2014-08-28 Hyundai Motor Company Variable compression engine
JP2014186520A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 画像処理装置、画像処理方法およびプログラム
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
GB2516037A (en) * 2013-07-08 2015-01-14 Univ Surrey Compact and robust signature for large scale visual search, retrieval and classification
ITMI20131244A1 (it) * 2013-07-24 2015-01-25 Telecom Italia Spa Identificazione di keypoint
JP6113018B2 (ja) * 2013-08-01 2017-04-12 セコム株式会社 対象検出装置
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
JP2015032211A (ja) * 2013-08-05 2015-02-16 株式会社東芝 画像処理装置、方法およびプログラム
US9129189B2 (en) 2013-08-14 2015-09-08 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
KR102018046B1 (ko) * 2014-02-24 2019-09-04 한국전자통신연구원 이미지 특징 추출 장치 및 방법
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
CN104008400A (zh) * 2014-06-16 2014-08-27 河南科技大学 结合sift和bp网络进行物体识别的方法
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
CN104156696B (zh) * 2014-07-23 2017-04-12 华南理工大学 基于双方向图的快速局部不变特征描述子的构造方法
KR102302621B1 (ko) * 2015-03-09 2021-09-16 한국전자통신연구원 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US10592729B2 (en) * 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
JP6873600B2 (ja) * 2016-03-04 2021-05-19 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
GB2582072B (en) * 2018-04-05 2021-06-30 Imagination Tech Ltd Sampling for feature detection
GB2572756B (en) * 2018-04-05 2020-05-06 Imagination Tech Ltd Sampling for feature detection
US10769474B2 (en) * 2018-08-10 2020-09-08 Apple Inc. Keypoint detection circuit for processing image pyramid in recursive manner
US11189020B2 (en) 2019-02-06 2021-11-30 Thanh Phuoc Hong Systems and methods for keypoint detection
US11507105B2 (en) * 2019-06-27 2022-11-22 Sensable Inc. Method and system for using learning to generate metrics from computer vision-derived video data
CN112037128B (zh) * 2020-08-21 2023-11-03 苏州巨能图像检测技术有限公司 一种全景视频拼接方法
CN112215751A (zh) * 2020-10-13 2021-01-12 Oppo广东移动通信有限公司 图像缩放方法、图像缩放装置及终端设备
US20220171959A1 (en) * 2020-11-27 2022-06-02 Samsung Electronics Co., Ltd. Method and apparatus with image processing
US11475240B2 (en) * 2021-03-19 2022-10-18 Apple Inc. Configurable keypoint descriptor generation
KR20230017549A (ko) * 2021-07-28 2023-02-06 주식회사 넥스트칩 특징점에 대한 기술자를 생성하기 위한 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481621A (en) 1992-05-28 1996-01-02 Matsushita Electric Industrial Co., Ltd. Device and method for recognizing an image based on a feature indicating a relative positional relationship between patterns
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US7194134B2 (en) 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
US6678874B1 (en) 2001-11-28 2004-01-13 Unisys Corporation Computer-aided design (CAD) tool
US7054468B2 (en) 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
US7734107B2 (en) 2006-02-24 2010-06-08 Sony Corporation System and method for performing wavelet-based texture feature extraction and classification
US7949186B2 (en) 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
CN101536035B (zh) 2006-08-31 2012-09-26 公立大学法人大阪府立大学 图像识别方法、以及图像识别装置
US8233716B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties
US8374442B2 (en) * 2008-11-19 2013-02-12 Nec Laboratories America, Inc. Linear spatial pyramid matching using sparse coding
US8315465B1 (en) * 2009-01-12 2012-11-20 Google Inc. Effective feature classification in images
DE102009022834A1 (de) * 2009-05-27 2010-12-09 Siemens Aktiengesellschaft Verfahren zur automatischen Analyse von Bilddaten einer Struktur
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
CN102782708A (zh) * 2009-12-02 2012-11-14 高通股份有限公司 用于图像辨识的描述符小块的快速子空间投影
EP2507744A2 (en) * 2009-12-02 2012-10-10 QUALCOMM Incorporated Feature matching by clustering detected keypoints in query and model images
US8798377B2 (en) * 2010-02-08 2014-08-05 Telefonica, S.A. Efficient scale-space extraction and description of interest points
US8948515B2 (en) * 2010-03-08 2015-02-03 Sightera Technologies Ltd. Method and system for classifying one or more images
US9189137B2 (en) * 2010-03-08 2015-11-17 Magisto Ltd. Method and system for browsing, searching and sharing of personal video by a non-parametric approach
US9639949B2 (en) * 2010-03-15 2017-05-02 Analog Devices, Inc. Edge orientation for second derivative edge detection methods
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム

Also Published As

Publication number Publication date
US9530073B2 (en) 2016-12-27
JP2013525905A (ja) 2013-06-20
CN102859535B (zh) 2016-04-06
CN102859535A (zh) 2013-01-02
EP2561467A1 (en) 2013-02-27
US20110255781A1 (en) 2011-10-20
JP5602940B2 (ja) 2014-10-08
KR20130019430A (ko) 2013-02-26
WO2011133714A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
KR101470112B1 (ko) 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성
US10803554B2 (en) Image processing method and device
Fan et al. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT
KR101420550B1 (ko) 이미지 인식을 위한 기술자 패치들의 고속 서브스페이스 투영을 위한 방법, 디바이스 및 컴퓨터-판독가능 저장 매체
Sun et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry
JP5654127B2 (ja) インクリメントな特徴抽出を使用するオブジェクト認識
US10726580B2 (en) Method and device for calibration
US20160267349A1 (en) Methods and systems for generating enhanced images using multi-frame processing
Chen et al. Efficient extraction of robust image features on mobile devices
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN112990228B (zh) 图像特征匹配方法和相关装置、设备及存储介质
US20120076409A1 (en) Computer system and method of matching for images and graphs
US8687920B2 (en) Method and device for the invariant-affine recognition of shapes
US20190279022A1 (en) Object recognition method and device thereof
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
Roth et al. Wide-baseline image matching with projective view synthesis and calibrated geometric verification
Huang et al. Multimodal image matching using self similarity
Teixeira et al. Epipolar based light field key-location detector
Li et al. Subpixel image registration algorithm based on pyramid phase correlation and upsampling
AMAMI SPEEDING UP SIFT, PCA-SIFT AND SURF USING IMAGE PYRAMID
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN106570911B (zh) 一种基于daisy描述子的脸部卡通画合成方法
WO2018076137A1 (zh) 一种高光谱图像特征描述子的获取方法及装置
Sun et al. UAV image mosaic based on adaptive SIFT algorithm
CN114750147B (zh) 机器人的空间位姿确定方法、装置和机器人

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee