KR101611778B1 - 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 - Google Patents

국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101611778B1
KR101611778B1 KR1020147016516A KR20147016516A KR101611778B1 KR 101611778 B1 KR101611778 B1 KR 101611778B1 KR 1020147016516 A KR1020147016516 A KR 1020147016516A KR 20147016516 A KR20147016516 A KR 20147016516A KR 101611778 B1 KR101611778 B1 KR 101611778B1
Authority
KR
South Korea
Prior art keywords
feature
sub
local
region
dimension
Prior art date
Application number
KR1020147016516A
Other languages
English (en)
Other versions
KR20140091069A (ko
Inventor
고따 이와모또
료따 마세
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20140091069A publication Critical patent/KR20140091069A/ko
Application granted granted Critical
Publication of KR101611778B1 publication Critical patent/KR101611778B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 피사체 식별의 정밀도를 유지하면서 특징 기술자의 사이즈를 작게 한다. 국소 특징 기술자 추출 장치는 화상 내의 특징점들을 검출하도록 구성된 특징점 검출부; 각 특징점에 대한 국소 영역을 취득하도록 구성된 국소 영역 취득부; 각 국소 영역을 복수의 서브 영역으로 분할하도록 구성된 서브 영역 분할부; 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하도록 구성된 서브 영역 특징 벡터 생성부; 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 차원 선정부를 구비한다.

Description

국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체{LOCAL FEATURE DESCRIPTOR EXTRACTING APPARATUS, METHOD FOR EXTRACTING LOCAL FEATURE DESCRIPTOR, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING A PROGRAM}
본 발명은 국소 특징 기술자(local feature descriptor) 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램에 관한 것이다.
촬영 사이즈나 각도의 변화 또는 오쿨젼(occlusion)의 존재시 화상 내의 피사체를 강건하게 식별하도록 의도된 방식이 제안되었다. 이 방식은 화상 내의 다수의 특징적인 점(interest points)(특징점(feature points))을 검출하고 각 특징점 주변의 국소 영역의 특징 기술자(국소 특징 기술자)를 추출하는 것을 수반한다. 대표적인 방식으로서, 특허 문헌 1과 비특허 문헌 1은 SIFT(Scale Invariant Feature Transform) 특징 기술자들을 이용하는 국소 특징 기술자 추출 장치를 개시하고 있다.
도 31은 SIFT 특징 기술자를 이용하는 국소 특징 기술자 추출 장치의 일반적인 구성의 일례를 도시하는 도면이다. 또한, 도 32는 도 31에 도시한 국소 특징 기술자 추출 장치에서의 SIFT 특징 기술자의 추출의 이미지를 도시하는 도면이다.
도 31에 도시한 바와 같이, 국소 특징 기술자 추출 장치는 특징점 검출부(200), 국소 영역 취득부(210), 서브 영역 분할부(220), 및 서브 영역 특징 벡터 생성부(230)를 포함한다. 특징점 검출부(200)는 화상에서 다수의 특징적인 점(특징점)을 검출하고 각 특징점의 좌표 위치, 스케일(크기), 및 방향을 출력한다. 국소 영역 취득부(210)는 검출된 각 특징점의 좌표값, 스케일, 및 방향에 기초하여 특징 기술자가 추출되는 국소 영역을 취득한다. 서브 영역 분할부(220)는 국소 영역을 서브 영역으로 분할한다. 도 32에 나타내는 예에서, 서브 영역 분할부(220)는 국소 영역을 16블록(4×4블록)으로 분할한다. 서브 영역 특징 벡터 생성부(230)는 국소 영역의 서브 영역마다 구배 방향 히스토그램(gradient orientation histogram)을 생성한다. 구체적으로，서브 영역 특징 벡터 생성부(230)는 각 서브 영역의 화소마다 구배 방향을 산출하고 8방향을 얻기 위해 양자화를 행한다. 구해진 방향은 특징점 검출부(200)가 출력하는 특징점의 방향에 대해 상대적인 방향이다. 즉, 방향은 특징점 검출부(200)가 출력하는 방향에 대하여 정규화된 방향이다. 그리고, 서브 영역 특징 벡터 생성부(230)는 서브 영역마다 양자화된 8방향의 빈도를 집계하여 구배 방향 히스토그램을 생성한다. 이렇게 해서, 각 특징점에 대하여 생성되는 16블록×8방향의 구배 방향 히스토그램이 128차원의 국소 특징 기술자로서 출력된다.
특허 문헌 1: 미국 특허 제6711293호
비특허 문헌 1: David G. Lowe의 "Distinctive image features from scale-invariant keypoints"(미국), International Journal of Computer Vision, 60(2), 2004년，p.91-110
전술한 국소 특징 기술자는 그 사이즈가 커진다는 단점이 있다. 예를 들면, 각 차원의 히스토그램 값을 1바이트로 나타내기 위해서，SIFT 특징 기술자는 128차원×1바이트의 사이즈를 필요로 한다. 이렇게 국소 특징 기술자의 사이즈가 커지면, 화상의 대조(매칭)를 위해 국소 특징 기술자를 이용하는 경우에 문제가 생길 수 있다. 예를 들면, 유저 단말기(예를 들면, 카메라가 부착된 휴대 단말기)가 화상으로부터 국소 특징 기술자를 추출하고 국소 특징 기술자가 추출된 해당 화상과 유사한 화상을 검색하기 위해서 국소 특징 기술자를 서버에 송신하는 경우에, 국소 특징 기술자의 사이즈가 커지고 통신 시간이 길어진다. 그로 인해 화상의 검색 결과가 얻어질 때까지의 시간이 길어진다. 또한, 국소 특징 기술자의 사이즈가 커지면, 국소 특징 기술자에 기초하여 화상을 대조할 때의 처리 시간이 길어진다. 또한, 국소 특징 기술자를 이용한 화상 검색의 경우, 화상의 국소 특징 기술자를 메모리에 저장한다. 그러나, 국소 특징 기술자의 사이즈가 커지면 메모리에 국소 특징 기술자를 저장할 수 있는 화상 수가 적어진다. 그러므로, 국소 특징 기술자를 이용하는 것은 다수의 화상을 대상으로 하는 대규모 화상 검색에는 적합하지 않다.
따라서，본 발명의 목적은 피사체 식별의 정밀도를 유지하면서 특징 기술자의 사이즈를 작게 하는 것이다.
본 발명의 일측면에 따른 국소 특징 기술자 추출 장치는 화상 내의 특징점들을 검출하는 특징점 검출부, 각 특징점에 대한 국소 영역을 취득하는 국소 영역 취득부, 각 국소 영역을 복수의 서브 영역으로 분할하는 서브 영역 분할부, 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하는 서브 영역 특징 벡터 생성부, 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역 내의 특징 벡터 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 차원 선정부를 포함한다.
또한, 본 발명의 일측면에 따른 국소 특징 기술자 추출 방법에서는, 컴퓨터가 화상 내의 특징점들을 검출하고, 각 특징점에 대한 국소 영역을 취득하고, 각 국소 영역을 복수의 서브 영역으로 분할하고, 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하고, 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역 내의 특징 벡터 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력한다.
또한, 본 발명의 일측면에 따른 프로그램은, 컴퓨터가, 화상 내의 특징점들을 검출하는 기능, 각 특징점에 대한 국소 영역을 취득하는 기능, 각 국소 영역을 복수의 서브 영역으로 분할하는 기능, 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하는 기능, 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역 내의 특징 벡터 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 기능을 실현하도록 할 수 있다.
본 발명에 따르면, "부(unit)"는 간단히 물리적 수단을 의미하는 것이 아니라, 그 "부"의 기능을 소프트웨어에 의해 실현하는 경우도 포함한다. 또한, 1개의 "부"나 장치의 기능이 2개 이상의 물리적 수단이나 장치에 의해 실현될 수 있거나, 2개 이상의 "부"나 장치의 기능이 1개의 물리적 수단이나 장치에 의해 실현될 수 있다.
본 발명은 피사체 식별의 정밀도를 유지하면서 특징 기술자의 사이즈를 작게 할 수 있다.
도 1은 본 발명의 제1 실시예인 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 2는 128차원의 특징 벡터로부터의 차원 선정의 예를 도시하는 도면.
도 3은 차원 선정의 다른 예를 도시하는 도면.
도 4는 차원을 선정하기 위한 우선 순위의 일례를 도시하는 도면.
도 5는 150차원의 특징 벡터 요소의 번호의 예를 도시하는 도면.
도 6은 150차원의 특징 벡터 요소의 번호의 다른 예를 도시하는 도면.
도 7은 우선 순위에 따라서 출력되는 국소 특징 기술자의 구성의 일례를 도시하는 도면.
도 8의 a 및 b는 차원을 선정하기 위한 우선 순위의 일례를 도시하는 도면.
도 9의 a 및 b는 차원을 선정하기 위한 우선 순위의 다른 예를 도시하는 도면.
도 10은 원형의 국소 영역의 일례를 도시하는 도면.
도 11은 원형의 국소 영역에서의 차원 선정의 일례를 도시하는 도면.
도 12는 국소 특징 기술자 추출 장치에서의 처리의 일례를 도시하는 플로우차트.
도 13은 본 발명의 제2 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 14는 본 발명의 제3 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 15는 구배 방향 히스토그램의 각 차원을 바이너리로 양자화하는 일례를 도시하는 도면.
도 16은 본 발명의 제4 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 17은 본 발명의 제5 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 18은 특징 벡터의 확장의 일례를 도시하는 도면.
도 19는 특징 벡터의 확장의 일례를 도시하는 도면.
도 20은 후단의 차원 선정부에 의해 선정되는 차원과는 다른 차원을 이용하는 구배 방향 히스토그램의 확장의 일례를 도시하는 도면.
도 21은 차원을 선정하기 위한 우선 순위의 다른 예를 도시하는 도면.
도 22는 우선 순위에 따라서 출력되는 국소 특징 기술자의 구성 예를 도시하는 도면.
도 23은 차원을 선정하기 위한 우선 순위의 다른 예를 도시하는 도면.
도 24는 우선 순위에 따라서 출력되는 국소 특징 기술자의 구성 예를 도시하는 도면.
도 25는 본 발명의 제6 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 26은 본 발명의 제7 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 27은 본 발명의 제8 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 28은 본 발명의 제9 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면.
도 29는 국소 특징 기술자 추출 장치가 적용가능한 대조 시스템(matching system)의 일례를 도시하는 도면.
도 30은 대조 장치에서의 국소 특징 기술자를 이용한 대조의 일례를 도시하는 도면.
도 31은 SIFT 특징 기술자를 이용하는 국소 특징 기술자 추출 장치의 일반적인 구성의 일례를 도시하는 도면.
도 32는 국소 특징 기술자 추출 장치에서의 SIFT 특징 기술자의 추출의 이미지를 도시하는 도면.
이하, 도면을 참조해서 본 발명의 실시예에 대해서 설명한다.
제1 실시예
도 1은 본 발명의 제1 실시예인 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다. 국소 특징 기술자 추출 장치(1A)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 및 차원 선정부(18)를 포함하도록 구성된다. 국소 특징 기술자 추출 장치(1A)는, 예를 들면, 퍼스널 컴퓨터나 휴대 정보 단말기 등의 정보 처리 장치를 이용해서 구성할 수 있다. 국소 특징 기술자 추출 장치(1A)의 부들(units)은, 예를 들면, 메모리 등의 기억 영역을 이용하거나, 기억 영역에 저장되어 있는 프로그램을 프로세서가 실행함으로써 실현할 수 있다. 후술하는 다른 실시예에서의 구성 요소도 마찬가지로 실현할 수 있다.
특징점 검출부(10)는 화상에서 다수의 특징적인 점(특징점)을 검출하고, 각 특징점의 좌표 위치, 스케일(크기), 및 방향을 출력한다.
국소 영역 취득부(12)는 검출된 각 특징점의 좌표값, 스케일, 및 방향에 기초하여 특징 기술자가 추출되는 국소 영역을 취득한다.
서브 영역 분할부(14)는 국소 영역을 서브 영역으로 분할한다. 예를 들면, 서브 영역 분할부(14)는 도 32에 도시한 바와 같이 국소 영역을 16블록(4×4블록)으로 분할할 수 있다. 대안적으로, 서브 영역 분할부(14)는 국소 영역을 25블록(5×5블록)으로 분할할 수도 있다.
서브 영역 특징 벡터 생성부(16)는 국소 영역의 서브 영역마다 특징 벡터를 생성한다. 서브 영역의 특징 벡터로서는, 예를 들면, 구배 방향 히스토그램을 이용할 수 있다. 구체적으로，서브 영역 특징 벡터 생성부(16)는 각 서브 영역의 화소마다 구배 방향을 산출하고, 8방향을 얻기 위해 양자화를 행한다. 구해진 방향은 특징점 검출부(10)가 출력하는 각 특징점의 방향에 대한 상대적인 방향이다. 즉, 방향은 특징점 검출부(10)가 출력하는 방향에 대하여 정규화된 방향이다. 그리고, 서브 영역 특징 벡터 생성부(16)는 서브 영역마다 양자화된 8방향의 빈도를 집계하여 구배 방향 히스토그램을 생성한다. 이 경우에, 서브 영역 특징 벡터 생성부(16)는 각 특징점에 대하여 생성되는 16블록×8방향=128차원의 구배 방향 히스토그램을 포함하는 특징 벡터를 출력한다. 또한, 양자화에 기인하는 구배 방향의 수는 8에 한하지 않고, 4, 6, 또는 10 등의 임의의 양자화 수일 수 있다. D 구배 방향이 양자화에 의해 얻어지는 경우에, 양자화 전의 구배 방향을 G(0 내지 2π라이언)로 하면， 구배 방향의 양자화값 (i)(i=0,..., D-1)은, 예를 들면, 수학식 1 또는 수학식 2를 이용하여 구할 수 있다. 그러나, 제1 실시예는 이들 식에 한정되지 않는다.
Figure 112014056401342-pct00001
Figure 112014056401342-pct00002
여기서, floor()은 소수점 이하의 자리를 절사한 함수를 나타내고, round()은 반올림을 행하는 함수를 나타내고, mod는 잉여를 구하는 연산을 나타낸다. 또한, 구배 방향 히스토그램을 생성할 때, 단순한 빈도를 집계하는 대신, 집계를 위해 구배의 크기를 함께 가산할 수 있다. 또한, 구배 방향 히스토그램을 집계할 때, 화소가 속하는 서브 영역뿐만 아니라 서브 영역 간의 거리에 따라 근접하는 서브 영역(인접하는 블록 등)에 가중치를 가산할 수 있다. 또한, 양자화된 구배 방향의 전후의 구배 방향에도 가중치를 가산할 수 있다. 서브 영역의 특징 벡터는 구배 방향 히스토그램에 한정되지 않고, 색 정보 등, 복수의 차원(요소)을 갖는 것일 수 있다. 제1 실시예의 설명에서는，서브 영역의 특징 벡터로서 구배 방향 히스토그램을 이용한다.
차원 선정부(18)는 서브 영역의 위치 관계에 기초하여 근접하는 서브 영역의 특징 벡터 간의 상관이 적어지도록 국소 특징 기술자로서 출력하는 차원(요소)을 선정한다(선별한다(cull)). 보다 구체적으로，차원 선정부(18)는 인접하는 서브 영역 간에서 적어도 1개의 구배 방향이 상이하도록 차원을 선정한다. 제1 실시예에 따르면, 근접하는 서브 영역으로서 인접하는 서브 영역을 주로 이용한다. 그러나, 근접하는 서브 영역은 인접하는 서브 영역에 한정되지 않고, 예를 들면, 대상의 서브 영역으로부터 소정 거리 내에 있는 서브 영역일 수도 있다.
또한, 차원 선정부(18)는 간단히 차원을 선정할 뿐만 아니라 선정의 우선 순위를 결정할 수 있다. 즉, 차원 선정부(18)는 인접하는 서브 영역으로부터 선정된 차원은 동일한 구배 방향의 차원이 아니도록 차원 선정을 위한 우선 순위를 부여할 수 있다. 그리고, 차원 선정부(18)는 선정된 차원을 포함하는 특징 벡터를 국소 특징 기술자로서 출력한다. 차원 선정부(18)는 우선 순위에 기초하여 차원을 재배열한 상태에서 국소 특징 기술자를 출력할 수 있다.
도 2 내지 도 7을 참조하여, 차원 선정부(18)에서의 차원 선정의 구체예를 설명한다. 도 2는 국소 영역을 4×4블록에 대응하는 서브 영역으로 분할하고 8구배 방향을 얻기 위해 양자화를 행함으로써 생성된 128차원의 구배 방향 히스토그램의 특징 벡터로부터 차원들을 선정하는 일례를 도시하는 도면이다. 도 2에 나타내는 예에서는, SIFT 특징 기술자와 마찬가지의 128차원(4×4=16블록×8방향)의 특징 벡터로부터 차원들을 선정한다.
도 2에 도시한 바와 같이, 128차원의 반, 즉, 64차원을 선정하는 경우에, 차원 선정부(18)는 인접하는 좌우 또는 상하의 블록(서브 영역)으로부터 선정된 차원이 동일한 구배 방향이 아니도록 차원을 선정할 수 있다. 도 2는 구배 방향 히스토그램에서의 양자화된 방향을 "i"(i=0, 1, 2, 3, 4, 5, 6, 및 7)로 나타내는 경우에, i=0, 2, 4, 및 6의 요소를 선정하는 블록이 i=1, 3, 5, 및 7의 요소를 선정하는 블록과 교대로 배열된 예를 도시한다. 도 2는 또한 i=0, 3, 4, 및 7의 요소를 선정하는 블록이 i=1, 2, 5, 및 6의 요소를 선정하는 블록과 교대로 배열된 다른 예를 도시한다. 도 2에 나타내는 예에서는, 인접하는 블록으로부터 총 8구배 방향(차원)이 선정된다. 즉, 인접하는 블록 각각은 다른 블록에서의 특징 기술자를 보완한다.
또한, 도 2에 도시한 바와 같이, 차원 선정부(18)는 서로에 대해 45˚각도에 위치하는 블록으로부터 선정된 차원이 또한 동일한 구배 방향이 아니도록 차원을 선정할 수 있다. 도 2에 나타내는 예에서는, 인접하는 2×2블록으로부터 총 8구배 방향(차원)이 선정된다. 즉, 이 경우에도, 인접하는 블록 각각은 다른 블록에서의 특징 기술자를 보완한다.
이렇게, 인접하는 블록에서의 구배 방향이 중첩되지 않고 전 구배 방향이 균등하게 선정되도록 선정이 행해진다. 또한, 도 2에 나타내는 예의 경우와 같이 국소 영역의 전체로부터 균등하게 차원이 선정되는 것이 바람직하다. 도 2에 도시한 차원 선정 방법은 예시적인 것이며, 제1 실시예는 이 방법으로 한정되지 않는다.
도 3은 차원 선정의 다른 예를 도시하는 도면이다. 도 3에 나타내는 예에서는, 서브 영역 분할부(14)가 국소 영역을 5×5=25블록에 대응하는 서브 영역으로 분할한다. 그리고, 서브 영역 특징 벡터 생성부(16)가 각 서브 영역으로부터 6방향의 구배 방향 히스토그램을 생성한다. 즉, 도 3에 도시한 바와 같이, 서브 영역 특징 벡터 생성부(16)가 생성하는 특징 벡터는 150차원이다.
도 3에 도시한 바와 같이, 150차원의 반, 즉 75차원을 선정하는 경우에, 차원 선정부(18)는 인접하는 좌우 또는 상하의 블록으로부터 선정된 차원이 동일한 구배 방향이 아니도록 차원을 선정할 수 있다. 이 예에서는, 구배 방향 히스토그램에서의 양자화된 방향을 "i"(i=0, 1, 2, 3, 4, 및 5)로 나타내는 경우에, i=0, 2, 및 4의 요소를 선정하는 블록이 i=1, 3, 및 5의 요소를 선정하는 블록과 교대로 배열된다. 도 3에 나타내는 예에서는, 인접하는 블록으로부터 총 6 구배 방향이 선정된다.
또한, 75차원에서 50차원을 선정하는 경우에, 차원 선정부(18)는 서로에 대해 45˚각도에 위치하는 2개의 블록 중 하나의 블록에서의 구배 방향 중 하나만이 다른 블록에서의 구배 방향 중 하나와 동일하도록(블록 중 하나의 블록에서의 나머지 하나의 방향은 다른 블록에서의 나머지 하나의 방향과 다르다) 차원을 선정할 수 있다. 또한, 50차원에서 25차원을 선정하는 경우에, 차원 선정부(18)는 서로에 대해 45˚의 각도에 위치하는 2개의 블록 중 하나의 블록에서 선정된 구배 방향의 어느 것도 다른 블록에서 선정된 구배 방향과 동일하지 않도록 차원을 선정할 수 있다.
도 3에 나타내는 예에서는, 차원 선정부(18)는 제1차원 내지 제25차원의 각 서브 영역으로부터 1개의 구배 방향을 선정하고, 제26차원 내지 제50차원의 각 서브 영역으로부터 2개의 구배 방향을 선정하고, 제51차원 내지 제75차원의 서브 영역으로부터 3개의 구배 방향을 선정한다.
또한, 제1차원과 제25차원 사이, 제26차원과 제50차원 사이, 제51차원과 제75차원 사이에서, 차원 선정부(18)는, 예를 들면, 도 4에 도시한 바와 같은 그러한 블록의 순서로, 차원을 순차 추가함으로써 차원을 선정할 수 있다. 도 4에 도시한 우선 순위를 이용하는 경우에, 차원 선정부(18)는 중심에 가까운 블록의 우선 순위를 높게 하도록 구배 방향을 선정할 수 있다. 도 5는 150차원의 특징 벡터의 요소의 번호의 일례를 도시하는 도면이다. 이 예에서는, 5×5=25블록을 각각 래스터 스캔 순서에 따라 번호 "b"(b=0, 1, ..., 또는 24)로 나타내고 양자화된 방향을 "i"(i=0, 1, 2, 3, 4, 또는 5)로 나타내는 경우에, 특징 벡터의 각 요소의 번호 "k"(k=0, 1, ..., 또는 149)는 k=6×b+i이다. 도 5에 도시한 구배 방향과 대응하는 번호 "k"은 모식적으로 도시한 것으로 반드시 실제의 화상 상의 구배 방향과 일치할 필요는 없다. 예를 들면, 요소 번호 0은 도 5에서는 상향의 구배로서 도시하고 있지만 실제의 화상 상에서는 화상 좌표계에서의 0°방향의 구배에 연관되는 경우가 많다. 일례로서, 도 6은 도 5에 도시된 연관과는 다른 구배 방향의 연관을 도시한다. 도 6의 연관은 도 5의 연관보다, 실제의 화상 상에서의 화상 좌표계에서의 연관과 유사할 수 있지만, 도 5와 도 6의 연관 사이에 본질적인 차이는 없다.
또한, 도 7은 도 4에 도시한 우선 순위에 따라서 도 5 또는 도 6에 도시한 요소를 선정함으로써 얻어지는 국소 특징 기술자의 구성 예를 도시하는 도면이다. 예를 들면, 차원 선정부(18)는 도 7에 도시한 순서로 차원(요소)을 출력할 수 있다. 구체적으로，예를 들면, 150차원의 국소 특징 기술자를 출력하는 경우에, 차원 선정부(18)는 도 7에 도시한 순서로 모든 150차원의 요소를 출력할 수 있다. 또한, 예를 들면, 25차원의 국소 특징 기술자를 출력하는 경우에, 차원 선정부(18)는 도 7에 도시한 제1행(제76요소, 제45요소, 제83요소,..., 및 제120요소)의 요소를 도 7에 도시한 순서(좌측에서 우측으로)로 출력할 수 있다. 또한, 예를 들면, 50차원의 국소 특징 기술자를 출력할 경우, 차원 선정부(18)는 도 7에 도시한 제1행의 요소 외에，도 7에 도시한 제2행의 요소를 도 7에 도시한 순서(좌측에게 우측으로)로 출력할 수 있다.
도 7에 나타내는 예에서는, 국소 특징 기술자는 계층적인 구조를 갖는다. 즉, 예를 들면, 25차원의 국소 특징 기술자와 150차원의 국소 특징 기술자에서 선두의 25차원의 국소 특징 기술자의 요소의 배열은 동일하다. 이렇게, 계층적인(프로그레시브) 방식으로 차원을 선정함으로써, 차원 선정부(18)는 어플리케이션, 통신 용량, 단말기 스펙 등에 따라, 임의의 차원수의 국소 특징 기술자, 즉 임의의 사이즈의 국소 특징 기술자를 추출해서 출력할 수 있다. 또한, 계층적인 방식으로 차원을 선정하고, 우선 순위에 기초하여 차원을 재배열해서, 재배열된 차원을 출력함으로써, 차원 선정부(18)는 다른 차원수의 국소 특징 기술자를 이용하여 화상을 서로 대조할 수 있다. 예를 들면, 75차원의 국소 특징 기술자와 50차원의 국소 특징 기술자를 이용하여 화상을 서로 대조하는 경우에, 선두의 50차원만을 이용하여 국소 특징 기술자 간의 거리를 계산할 수 있다.
또한，도 4 내지 도 7에 도시한 우선 순위는 예시적인 것이며, 차원을 선정하는 순서는 이들 우선 순위에 한정되지 않는다. 예를 들면, 블록은 도 4의 예에 도시한 순서 대신에 도 8의 a 또는 b에 도시한 그러한 순서로 선정될 수 있다. 또한, 예를 들면, 모두의 서브 영역으로부터 균등하게 차원이 선정되도록 우선 순위가 정해질 수 있다. 대안적으로, 국소 영역의 중앙 부근에 부여된 중요도로서, 중앙 부근의 서브 영역의 선정 빈도가 높아지도록 우선 순위가 정해질 수 있다. 또한, 차원 선정의 순서에 관한 정보는, 예를 들면, 프로그램에 규정되어 있을 수 있거나 또는 프로그램의 실행시에 참조되는 테이블 등(선정 순서 기억부)에 기억되어 있을 수 있다.
또한, 차원 선정부(18)는 도 9의 a 또는 도 b에 도시한 바와 같은 그러한 선정을 행할 수 있다． 이 경우에, 어떤 서브 영역에서는 6차원이 선정되고, 해당 서브 영역에 근접하는 다른 서브 영역에서는 0차원이 선정된다. 이러한 경우에도, 근접하는 서브 영역들 간의 상관이 적어지도록 서브 영역마다 차원이 선정된다.
또한, 국소 영역 및 서브 영역의 형상은 도 2 및 도 3에 도시한 바와 같은 정방형에 한정되지 않고, 임의 형태로 할 수 있다. 예를 들면, 도 10에 도시한 바와 같이, 국소 영역 취득부(12)는 원형의 국소 영역을 취득할 수 있다. 이 경우에, 도 10에 도시한 바와 같이, 서브 영역 분할부(14)는 원형의 국소 영역, 예를 들면, 9서브 영역 또는 17서브 영역으로 분할할 수 있다. 이 경우에도, 차원 선정부(18)는, 각 서브 영역에서, 예를 들면, 도 11에 도시한 바와 같이, 차원을 선정할 수 있다. 도 11에 나타내는 예에서는, 72차원에서 40차원을 선정할 때, 중앙의 서브 영역에서는 차원의 선별(culling)이 이루어지지 않는다.
도 12는 국소 특징 기술자 추출 장치(1A)에서의 처리의 일례를 도시하는 플로우차트이다. 우선，특징점 검출부(10)는 화상 내의 특징점들을 검출하고, 각 특징점의 좌표 위치, 스케일(크기), 및 방향을 출력한다(S1101). 특징점이 검출되면，국소 영역 취득부(12)는 검출된 각 특징점의 좌표 위치, 스케일, 및 방향에 기초하여 특징 기술자가 추출되는 국소 영역을 취득한다(S1102). 그리고, 서브 영역 분할부(14)는 국소 영역을 서브 영역으로 분할한다(S1103). 서브 영역 특징 벡터 생성부(16)는 국소 영역의 서브 영역마다 구배 방향 히스토그램을 생성한다(S1104). 마지막으로, 차원 선정부(18)는 정해진 선정 순서에 따라서 국소 특징 기술자로서 출력하는 차원(요소)을 선정한다(S1105).
이렇게, 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에서는, 차원 선정부(18)가 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 국소 특징 기술자로서 출력하는 차원(요소)을 선정한다. 즉, 근접하는 서브 영역은 상관이 높은 것이 많으므로, 차원 선정부(18)는 근접하는 서브 영역으로부터는 동일한 특징 벡터의 차원(요소)이 선정되지 않도록 차원을 선정할 수 있다. 이에 따라, 피사체 식별의 정밀도를 유지하면서 특징 기술자의 사이즈를 작게 할 수 있다.
또한, 차원 선정부(18)는 도 7에 나타내는 바와 같이 국소 특징 기술자를 계층적인 방식(프로그레시브)으로 출력할 수 있다. 이에 따라, 선정된 소정의 차원수의 국소 특징 기술자를 다른 선정된 차원수(특징 기술자의 다른 사이즈)의 국소 특징 기술자와 대조(거리 계산)할 수 있다.
또한, 차원 선정부(18)는 서브 영역들 간의 위치 관계에 기초하여 차원을 선정하므로, 차원의 선정 시에 학습을 행할 필요가 없다. 즉, 데이터(화상)에 의존하지 않고 범용적인 국소 특징 기술자의 추출을 행할 수 있다.
국소 특징 기술자 추출 장치(1A)에서는, 서브 영역 특징 벡터 생성부(16)의 처리와 차원 선정부(18)의 처리의 순서를 서로 교체할 수 있다. 즉, 국소 특징 기술자 추출 장치(1A)는, 차원 선정부(18)가 차원을 선정한 후에, 서브 영역 특징 벡터 생성부(16)가 선정된 차원에 대한 특징 벡터를 생성하는 처리를 가능하게 할 수 있다.
제2 실시예
다음에, 제2 실시예에 대해서 설명한다. 도 13은 본 발명의 제2 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시한다． 제2 실시예에서는，선정되는 차원수를 변경하는 것이 가능하게 되어 있다. 도 13에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1B)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 차원수 결정부(20), 및 차원 선정부(18)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1B)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 차원수 결정부(20)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제2 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다.
차원수 결정부(20)는 차원 선정부(18)에 의해 선정되는 차원수를 결정할 수 있다. 예를 들면, 차원수 결정부(20)는 차원수를 나타내는 정보를 유저로부터 접수함으로써 차원수를 결정할 수 있다. 차원수를 나타내는 정보는 차원수 자체를 나타낼 필요는 없고, 예를 들면, 검색 정밀도나 검색 속도 등을 나타내는 정보일 수 있다． 구체적으로，예를 들면, 검색 정밀도를 높게 하는 것을 요구하는 입력을 접수할 시에, 차원수 결정부(20)는 차원수를 증가된 값으로 결정할 수 있다. 또한, 예를 들면, 검색 정밀도를 낮게 하는 것을 요구하는 입력을 접수할 시에, 차원수 결정부(20)는 차원수를 감소된 값으로 결정할 수 있다.
또한, 차원수 결정부(20)는 국소 특징 기술자 추출 장치(1B)가 이용되는 어플리케이션, 통신 용량, 단말기의 처리 스펙 등에 기초하여 차원수를 결정할 수 있다. 구체적으로，예를 들면, 통신 용량이 작은(통신 속도가 느린) 경우에는, 차원수 결정부(20)는 통신 용량이 큰(통신 속도가 빠른) 경우보다 작은 값으로 차원수를 결정할 수 있다. 대안적으로, 예를 들면, 단말기의 처리 스펙이 낮은 경우에는, 차원수 결정부(20)는 처리 스펙이 높은 경우보다 작은 값으로 차원수를 결정할 수 있다. 대안적으로, 차원수 결정부(20)는 단말기의 처리 부하에 따라 동적으로 차원수를 결정할 수 있다. 대안적으로, 예를 들면, 화상 전체에서 사용할 수 있는 국소 특징 기술자의 사이즈가 정해져 있는 경우에, 차원수 결정부(20)는 화상 전체에서 추출된 특징점 수를 역산함으로써 각 특징점에서 선정되는 차원수를 결정할 수 있다.
차원수 결정부(20)는 화상에서 검출되는 모든 특징점에 대하여 동일한 차원수를 결정할 수 있거나 특징점마다 다른 차원수를 결정할 수 있다. 예를 들면, 외부 정보를 통해 특징점의 중요도가 공급되는 경우에, 차원수 결정부(20)는 중요도가 보다 높은 특징점에 대해서 보다 많은 차원수를 결정하고, 중요도가 보다 낮은 특징점에 대해서는 보다 적은 차원수를 결정할 수 있다.
예를 들면, 차원수 결정부(20)는 화상 내의 영역에 따라 중요도를 판정할 수 있다. 구체적으로，차원수 결정부(20)는 화상의 중앙의 특징점이 화상의 주변부의 특징점보다도 중요한 것으로 간주하고, 화상의 중앙의 특징점에 대한 차원수가 많아지도록 차원수를 결정할 수 있다.
또한, 예를 들면, 차원수 결정부(20)는 특징 벡터에 기초하여 특징점의 중요도를 판단할 수 있다. 구체적으로，예를 들면, 차원수 결정부(20)는 특징 벡터의 값을 참조할 수 있는데, 특징 벡터가 빈번히 출현하는 패턴에 대응하는 것으로 판정가능한 경우에는, 특징 벡터가 식별을 위한 국소 특징 기술자로서는 매우 유용하지 않은 것으로 간주하고, 특징점이 중요도가 낮은 것으로 판단할 수 있다. 반대로, 이러한 경우에, 차원수 결정부(20)는 식별 능력을 높이기 위해서 차원수를 늘릴 수 있다.
대안적으로, 예를 들면, 차원수 결정부(20)는 화상 내의 다른 특징점의 특징 벡터의 값과의 관계성에 기초하여 각 특징점의 중요도를 판단할 수 있다. 구체적으로，예를 들면, 각 특징 벡터의 값을 다른 특징점의 특징 벡터의 값과 비교함으로써, 차원수 결정부(20)는 특징 벡터가 빈번히 출현하는 패턴에 대응하는지의 여부를 판정하고, 그 판정 결과에 기초하여 특징점의 중요도를 판단할 수 있다.
대안적으로, 예를 들면, 차원수 결정부(20)는 특징점 검출부(10)가 특징점을 검출할 때 얻어지는 정보에 기초하여 각 특징점의 중요도를 판단할 수 있다. 구체적으로，예를 들면, 차원수 결정부(20)는 특징점의 스케일에 관한 정보에 기초하여 특징점의 중요도를 판단할 수 있다. 예를 들면, 차원수 결정부(20)는 스케일 값이 큰 특징점은 중요도가 높은 것으로 판단할 수 있다.
차원수 결정부(20)에 의해 결정된 차원수에 기초하여, 차원 선정부(18)는 제1 실시예에 따른 차원 선정부(18)와 마찬가지로 특징 벡터의 차원을 선정하고 국소 특징 기술자로서 차원을 출력할 수 있다. 전술한 바와 같이, 선정되는 차원수는 화상에서 검출되는 모든 특징점에 대하여 동일할 수 있고 특징점마다 서로 다를 수 있다.
이렇게, 제2 실시예에 따른 국소 특징 기술자 추출 장치(1B)에서는, 차원수 결정부(20)가 차원 선정부(18)에서 선정되는 차원수를 결정할 수 있다. 이에 따라, 유저 입력, 통신 용량, 단말기의 처리 스펙 등에 기초하여 적절한 차원수를 결정할 수 있다.
제3 실시예
다음에, 제3 실시예에 대해서 설명한다. 도 14는 본 발명의 제3 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다. 제3 실시예에서는，특징 벡터를 양자화함으로써 국소 특징 기술자의 사이즈를 더욱 작게 하는 것이 가능하다. 도 14에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1C)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 차원 선정부(18), 및 양자화부(22)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1C)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 양자화부(22)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제2 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다.
양자화부(22)는 서브 영역 특징 벡터 생성부(16)에 의해 출력되는 구배 방향 히스토그램의 차원을 N값으로 양자화할 수 있다. 양자화부(22)에서 임의의 양자화 기술이 사용될 수 있다. 양자화부(22)는 벡터 양자화 등을 사용하여 복수의 차원을 통합해서 양자화하는 대신, 각 차원을 개별로 양자화할 수 있다. 이에 따라, 차원 선정부(18)는 양자화가 행해진 후에도, 제1 실시예의 경우와 같이 차원을 선정할 수 있다.
양자화의 구체예에 대해서 설명한다. 예를 들면, N=2의 경우, 양자화부(22)는 도 15에 도시한 바와 같이 구배 방향 히스토그램의 차원을 바이너리로 양자화할 수 있다. 여기서, 구배 방향 히스토그램에서의 구배 방향의 수를 D(예를 들면, D=6 또는 D=8)로 나타내고, 각 서브 영역의 구배 방향 히스토그램의 값을 hi(i=0, ..., D-1)로 나타낸다. 양자화부(22)는 hi의 양자화값 qi(i=0, ..., D-1)을 다음 수학식 3에 기초해서 구할 수 있다.
Figure 112014056401342-pct00003
또한, 양자화부(22)는 임계값 th를, 예를 들면, 다음 수학식 4를 이용하여 산출할 수 있다.
Figure 112014056401342-pct00004
여기서, α는 미리 결정된 계수를 나타낸다. α는 모든 서브 영역에 대하여 동일한 값일 수 있거나 서브 영역마다 다른 값일 수 있다.
또한, 수학식 4를 이용하여 산출된 임계값은 예시적인 것이며, 양자화부(22)는 다른 수학식에 기초하여 임계값 th를 산출할 수 있다. 예를 들면, 양자화부(22)는 임계값 th를 th=α·max(hi:i=0, ..., D-1)를 산출함으로써 구할 수 있다. 대안적으로, 양자화부(22)는 양자화값의 거의 반이 0 또는 1이 되도록 임계값을 정할 수 있다. 구체적으로，양자화부(22)는, hi(i=0, ..., D-1)를 오름차순으로 정렬한 것에 기인하는 전반 반의 양자화값을 0으로 정하고, 후반 반의 양자화값을 1로 정할 수 있다.
대안적으로, 양자화부(22)는 임계값 th를 서브 영역마다 또는 국소 영역 전체에서 정할 수 있다. 예를 들면, 양자화부(22)는 서브 영역마다의 값이 아니고, 국소 영역 전체의 구배 방향 히스토그램의 값을 이용해서 수학식 4에 따라 임계값 th를 계산하여, 임계값 th를 국소 영역 전체에서 정할 수 있다.
전술한 바와 같이, 제3 실시예에 따른 국소 특징 기술자 추출 장치(1C)에서는, 양자화부(22)가 특징 벡터를 양자화하여 국소 특징 기술자의 사이즈를 더욱 작게 할 수 있다.
제4 실시예
다음에, 제4 실시예에 대해서 설명한다. 도 16은 본 발명의 제4 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다. 제4 실시예에서는，차원이 선정된 후에 양자화를 행함으로써, 국소 특징 기술자의 사이즈를 더욱 작게 하는 것이 가능하다. 도 16에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1D)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 차원 선정부(18), 및 양자화부(24)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1D)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 양자화부(24)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제4 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다.
제3 실시예에 따른 양자화부(22)와 마찬가지로，양자화부(24)는 특징 벡터의 차원을 개별로 양자화할 수 있다. 또한，양자화부(24)는, 예를 들면, 벡터 양자화를 이용함으로써, 특징 벡터의 복수의 차원을 통합해서 양자화할 수 있다.
이렇게, 제4 실시예에 따른 국소 특징 기술자 추출 장치(1D)에서는, 양자화부(24)가 특징 벡터를 양자화함으로써, 국소 특징 기술자의 사이즈를 더욱 작게 할 수 있다. 또한, 양자화부(24)가 복수의 차원을 통합해서 양자화하는 경우에, 제3 실시예와 비교하여 양자화가 대상으로 되는 차원수를 적게 하고, 양자화에 필요한 처리량을 저감할 수 있다.
제5 실시예
다음에, 제5 실시예에 대해서 설명한다. 도 17은 본 발명의 제5 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다． 도 17에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1E)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 차원 선정부(18), 및 특징 벡터 확장부(26)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1E)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 특징 벡터 확장부(26)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제5 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다. 또한, 특징 벡터 확장부(26)는 제1 실시예에 따른 국소 특징 기술자 추출 장치에 한하지 않고, 다른 실시예에 따른 국소 특징 기술자 추출 장치에 대하여도 적용가능하다.
서브 영역 특징 벡터 생성부(16)에 의해 출력된 특징 벡터를 이용하여 보다 큰 스케일(확장 분할 영역)에서의 차원을 생성함으로써, 특징 벡터 확장부(26)는 특징 벡터를 확장할 수 있다. 특징 벡터 확장부(26)는 서브 영역 특징 벡터 생성부(16)에 의해 출력되는 특징 벡터에 관한 정보만 이용해서 특징 벡터를 확장할 수 있다. 특징 벡터를 확장하기 위한 추출을 행하기 위해서 원래의 화상으로 되돌아 갈 필요가 없다. 그러므로, 원래의 화상으로부터 특징 벡터를 생성하는데 필요한 처리 시간과 비교하면 특징 벡터를 확장하는데 필요한 처리 시간은 극히 짧다.
예를 들면, 특징 벡터 확장부(26)는 인접하는 서브 영역의 구배 방향 히스토그램을 새로운 구배 방향 히스토그램으로 합성할 수 있다. 예를 들면, 특징 벡터 확장부(26)는 서브 영역 분할부(14)에 의해 분할된 N×N블록의 구배 방향 히스토그램(N×N×D차원)에 기초하여 인접하는 2×2=4블록의 구배 방향 히스토그램을 총합하여(동일 구배의 요소를 총합하여), (N-1)×(N-1)블록의 구배 방향 히스토그램((N-1)×(N-1)×D차원)을 생성할 수 있다. 이에 따라, 특징 벡터 확장부(26)는 원래의 특징 벡터에 기초하여 (2×2블록)의 스케일에서의 구배 방향 히스토그램을 생성할 수 있다. 이렇게 생성되는 특징 벡터는 원래의 특징 벡터에는 없는 새로운 정보(보다 큰 스케일에서의 히스토그램 정보)이므로，식별 정밀도를 향상시키는 것이 가능하게 된다． 또한, 확장할 때에 고려하는 블록은 2×2블록에 한정되지 않는다. 예를 들면, 특징 벡터 확장부(26)는 3×3블록의 구배 방향 히스토그램을 (N-2)×(N-2)블록의 구배 방향 히스토그램((N-2)×(N-2)×D차원)으로 총합할 수 있다. 이렇게, 특징 벡터 확장부(26)는 순차적으로 블록 사이즈를 확장하여 계층적인 스케일의 구배 방향 히스토그램을 생성할 수 있다.
도 18은 2×2블록의 구배 방향 히스토그램의 총합(동일 구배의 요소의 총합)에 의해 특징 벡터를 확장하는 일례를 도시한다. 도 18에 도시한 바와 같이, 특징 벡터 확장부(26)는 5×5×6차원(150차원)의 구배 방향 히스토그램을 확장하여 4×4×6차원(96차원)의 구배 방향 히스토그램을 생성할 수 있다.
도 18에 나타내는 예에서는, 5×5=25블록의 계층(이후 계층 1이라고 부른다)의 블록을 래스터 스캔 순서에 따라 번호 b1(b1=0, 1, ..., 24)로 나타내고, 확장해서 생성되는 4×4=16블록의 계층(이후 계층 2라고 부른다)의 블록을 래스터 스캔 순서에 따라 번호 b2(b2=0, 1, ..., 15)로 나타내는 경우,
블록 b2=0의 히스토그램은 블록 b1=0, 1, 5,및 6으로부터 생성되고,
블록 b2=1은 블록 b1=1, 2, 6,및 7로부터 생성되고,
블록 b2=2은 블록 b1=2, 3, 7,및 8로부터 생성되고,
블록 b2=3은 블록b1=3, 4, 8,및 9로부터 생성되고,
블록 b2=4은 블록 b1=5, 6, 10,및 11로부터 생성되고,
블록 b2=5은 블록 b1=6, 7, 11,및 12로부터 생성되고,
블록 b2=6은 블록 b1=7, 8, 12,및 13으로부터 생성되고,
블록 b2=7은 블록 b1=8, 9, 13,및 14로부터 생성되고,
블록 b2=8은 블록 b1=10, 11, 15,및 16로부터 생성되고,
블록 b2=9은 블록 b1=11, 12, 16,및 17로부터 생성되고,
블록 b2=10은 블록 b1=12, 13, 17,및 18로부터 생성되고,
블록 b2=11은 블록b1=13, 14, 18,및 19로부터 생성되고,
블록 b2=12은 블록b1=15, 16, 20,및 21로부터 생성되고,
블록 b2=13은 블록b1=16, 17, 21,및 22로부터 생성되고,
블록 b2=14은 블록 b1=17, 18, 22,및 23으로부터 생성되고,
블록 b2=15은 블록 b1=18, 19, 23,및 24로부터 생성된다.
마찬가지로, 특징 벡터 확장부(26)는 5×5×6차원(150차원)의 구배 방향 히스토그램에 기초하여 인접하는 3×3블록의 구배 방향 히스토그램을 총합하여 3×3×6차원(54차원)의 구배 방향 히스토그램을 생성할 수 있다. 또한, 확장에 의해 생성된 4×4×6차원(96차원)의 구배 방향 히스토그램에 기초하여, 특징 벡터 확장부(26)는 더욱 확장된 구배 방향 히스토그램을 생성할 수 있다. 예를 들면, 확장에 의해 생성된 4×4×6차원(96차원)의 구배 방향 히스토그램에 기초하여 2×2블록의 구배 방향 히스토그램을 총합함으로써, 특징 벡터 확장부(26)는 도 18에 도시한 바와 같이, 3×3×6차원(54차원)의 구배 방향 히스토그램을 더 생성할 수 있다.
이 예에서는, 3×3=9블록의 계층(계층 3이라고 부른다)의 블록을 래스터 스캔 순서에 따라 번호 b3(b3=0, 1, ..., 8)로 나타내는 경우,
블록 b3=0의 히스토그램은 블록 b2=0, 1, 4, 및 5로부터 생성되고,
블록 b3=1은 블록 b2=1, 2, 5,및 6으로부터 생성되고,
블록 b3=2은 블록b2=2, 3, 6,및 7로부터 생성되고,
블록 b3=3은 블록 b2=4, 5, 8,및 9로부터 생성되고,
블록 b3=4은 블록b2=5, 6, 9,및 10으로부터 생성되고,
블록 b3=5은 블록 b2=6, 7, 10,및 11로부터 생성되고,
블록 b3=6은 블록 b2=8, 9, 12,및 13으로부터 생성되고,
블록 b3=7은 블록b2=9, 10, 13,및 14로부터 생성되고,
블록 b3=8은 블록 b2=10, 11, 14,및 15로부터 생성된다.
또한, 특징 벡터 확장부(26)는 후단의 차원 선정부(18)에 의해 선택되는 차원과는 다른 차원을 이용해서 구배 방향 히스토그램을 확장할 수 있다. 도 20은 구체예를 도시한다. 예를 들면, 차원 선정부(18)가 150차원의 구배 방향 히스토그램으로부터 75차원을 선택하는 경우에, 특징 벡터 확장부(26)는 남은(비선택된) 75차원을 확장하여 96차원의 구배 방향 히스토그램을 생성할 수 있다.
예를 들면, 계층 1에서, 도 7에 도시한 우선 순위에 따라서 75차원이 선정된다고 가정한다. 이 경우에, 구배 방향 히스토그램에서의 양자화된 구배 방향을 (i)(i=0, 1, 2, 3, 4, 또는 5)로 나타내면，블록 b1=짝수 번호의 블록에서는 i=0, 2, 및 4의 요소의 차원이 선정되고, 블록 b1=홀수 번호의 블록에서는 i=1, 3, 및 5의 요소의 차원이 선정된다.
따라서，확장된 계층 2의 96차원의 구배 방향 히스토그램을 생성할 때, 특징 벡터 확장부(26)는 계층 1의 블록 b1=짝수 번호의 블록에서는 비선택된 ｉ=1, 3, 및 5의 요소의 차원만을 이용하고 계층 1의 블록 b1=홀수 번호의 블록에서는 비선택된ｉ=0, 2, 및 4의 요소의 차원만을 이용해서 계층 2의 구배 방향 히스토그램을 생성할 수 있다.
예를 들면, 전술한 예에서, 블록 b2=0의 구배 방향 히스토그램을 계층 1의 블록 b1=0, 1, 5, 및 6의 구배 방향 히스토그램으로부터 생성할 때, 특징 벡터 확장부(26)는 블록 b1=0 및 6에서는 비선택된 i=1, 3, 및 5의 요소의 차원만을 이용할 수 있고 블록 b1=1 및 5에서는 비선택된 i=0, 2, 및 4의 요소의 차원만을 이용할 수 있다.
차원 선정부(18)는 이렇게 해서 생성된 96차원의 구배 방향 히스토그램으로부터, 계층 1의 패턴과 마찬가지의 패턴(i=0, 2, 및 4의 요소를 선정하는 블록은 i=1, 3, 및 5의 요소를 선정하는 블록과 교대로 배열된다)에 따라, 차원의 반, 즉, 48차원을 선택할 수 있다(합계로 75+48=123차원).
계층 2로부터 계층 3으로 확장할 때, 특징 벡터 확장부(26)는 마찬가지로 계층 2의 비선택된 48차원을 이용하여 계층 3의 54차원의 구배 방향 히스토그램을 생성할 수 있다. 그리고，차원 선정부(18)는 생성된 계층 3의 54차원의 구배 방향 히스토그램으로부터, 유사한 패턴(i=0, 2, 및 4의 요소를 선정하는 블록은 i=1, 3, 및 5의 요소를 선정하는 블록과 교대로 배열된다)에 따라, 차원의 반, 즉, 27차원을 선택할 수 있다(합계로 75+48+27=150차원).
이에 따라, 확장에 기인하는 구배 방향 히스토그램은 차원 선정부(18)에 의해 출력되는 특징 벡터에는 없는 새로운 정보이다. 결과적으로，식별 정밀도를 향상시킬 수 있다.
도 18의 우측에 도시한 바와 같이, 차원 선정부(18)는 각 스케일에서 생성된 구배 방향 히스토그램에 대해서, 인접하는 서브 영역으로부터 선정된 차원이 동일한 구배 방향이 아니도록 차원을 선정함으로써 국소 특징 기술자를 출력할 수 있다.
다음에, 계층 2에서 생성된 96차원의 구배 방향 히스토그램(4×4=16블록)으로부터 차원이 선정되는 차원 선정을 위한 우선 순위의 예를 나타낸다. 계층 2로부터 선정된 차원에 대해，차원 선정부(18)는 제1차원과 제16차원 사이, 제17차원과 제32차원 사이, 제33차원과 제48차원 사이에서, 예를 들면, 도 21에 도시한 바와 같은 그러한 블록의 순서로 차원을 순차 추가함으로써 차원을 선정할 수 있다.
도 21에 도시한 우선 순위를 이용하여 차원 선정부(18)가 중심에 가까운 블록의 우선 순위를 높게 해서 구배 방향을 선정하는 것을 가능하게 한다. 또한, 블록 번호를 b2로 나타내고, 구배 방향 히스토그램에서의 양자화된 방향을 (i) (i=0, 1, 2, 3, 4, 및 5)로 나타내고, 96차원의 구배 방향 히스토그램의 특징 벡터의 각 요소의 번호 k(k=0, 1, ..., 또는 95)를 k=6×b+i로 하는 경우에, 예를 들면, 도 22에 도시한 우선 순위에 따라서, 차원(요소)을 순서대로 선정할 수 있다.
다음에, 계층 3에서 생성된 54차원의 구배 방향 히스토그램(3×3=9블록)으로부터 차원이 선정되는 차원 선정을 위한 우선 순위의 예를 나타낸다. 계층 3으로부터 선택된 차원에 대해，차원 선정부(18)는, 제1차원과 제9차원 사이, 제10차원과 제18차원 사이, 제19차원과 제27차원 사이에서, 예를 들면, 도 23에 도시한 바와 같은 그러한 블록의 순서로 차원을 순차 추가함으로써 차원을 선정할 수 있다. 도 23에 도시한 우선 순위를 이용하는 경우에, 차원 선정부(18)가 중심에 가까운 블록의 우선 순위를 높게 해서 구배 방향을 선정하는 것을 가능하게 한다. 또한, 블록 번호를 b3으로 나타내고, 구배 방향 히스토그램에서의 양자화된 방향을 (i)(i=0, 1, 2, 3, 4, 및 5)로 나타내고, 54차원의 구배 방향 히스토그램의 특징 벡터의 각 요소의 번호 k (k=0, 1, ..., 53)을 k=6×b+i로 하는 경우에, 차원 선정부(18)는, 예를 들면, 도 24에 도시한 우선 순위에 따라서 차원(요소)을 순서대로 선정할 수 있다.
구체예로서, 차원 선정부(18)는 도 7에 도시한 계층 1의 우선 순위에 따라서 제1차원 내지 제75차원(150차원의 반)을 순서대로 선정하고, 그 다음, 도 22에 도시한 계층 2의 우선 순위에 따라서 제1차원 내지 제48차원(96차원의 반)을 순서대로 선정함으로써 제76차원 내지 제123차원을 구성할 수 있다(75차원+48차원=128차원). 또한，차원 선정부(18)는 그 다음 도 24에 도시한 계층 3의 우선 순위에 따라서 제1 차원 내지 제27 차원(54차원의 반)을 순서대로 선정함으로써 제124차원 내지 제150차원을 구성할 수 있다(75차원+48차원+27차원=150차원).
특징 벡터 확장부(26)에 의해 행해진 확장의 패턴은 전술한 예에 한정되지 않는다. 예를 들면, 특징 벡터 확장부(26)는 서브 영역(블록)마다 구배 방향 히스토그램을 양자화함으로써 확장된 특징 벡터를 생성할 수 있다. 구체적으로，예를 들면, 국소 영역 전체의 구배 방향 히스토그램의 총합에 계수 α를 곱하여 임계값을 얻고, 서브 영역의 구배 방향 히스토그램의 총합이 임계값 이하이면 0을 설정하고, 서브 영역의 구배 방향 히스토그램의 총합이 임계값 이상이면 1을 설정함으로써, 확장된 특징 벡터를 생성할 수 있다. 대안적으로, 특징 벡터 확장부(26)는 구배 방향 히스토그램의 총합 대신, 예를 들면, 차분에 기초하여 특징 벡터를 확장할 수 있다. 구체적으로，특징 벡터 확장부(26)는 다른 서브 영역 간의 구배 방향 히스토그램의 동일 차원의 값의 차분에 기초하여 특징 벡터를 확장할 수 있다.
제3 실시예와 제4 실시예의 조합을 이용하여 특징 벡터(구배 방향 히스토그램)를 양자화할 수 있다. 양자화는 계층마다(계층 1, 계층 2, 및 계층 3) 다른 파라미터를 이용해서 행할 수 있다． 예를 들면, 양자화를 수학식 1에 기초하여 행하고, 그 임계값 th를 수학식 2에 따라 산출하는 경우에, 계수 α의 값을 계층마다 다른 값으로 할 수 있다. 예를 들면, 계층 1에서는 α=0.063, 계층 2에서는 α=0.10, 계층 3에서는 α=0.12이다.
전술한 바와 같이, 제5 실시예에 따른 국소 특징 기술자 추출 장치(1E)에서는, 특징 벡터 확장부(26)는 특징 벡터를 확장할 수 있다. 이에 따라，원래의 특징 벡터에는 없는 새로운 정보를 포함하는 특징 벡터가 생성되고，식별 정밀도를 향상시킬 수 있다.
제6 실시예
다음에, 제6 실시예에 대해서 설명한다. 도 25는 본 발명의 제6 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다． 도 25에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1F)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 제1 서브 영역 특징 벡터 생성부(16), 제2 서브 영역 특징 벡터 생성부(28), 및 차원 선정부(18)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1F)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 제2 서브 영역 특징 벡터 생성부(28)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제6 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다. 또한, 제2 서브 영역 특징 벡터 생성부(28)는 제1 실시예에 따른 국소 특징 기술자 추출 장치에 한하지 않고, 다른 실시예에 따른 국소 특징 기술자 추출 장치에 대하여도 적용가능하다.
제2 서브 영역 특징 벡터 생성부(28)는 제1 서브 영역 특징 벡터 생성부(16)에 의해 제공된 구배 방향과는 다른 구배 방향의 구배 방향 히스토그램을 생성할 수 있다. 예를 들면, 제1 서브 영역 특징 벡터 생성부(16)가 45°의 간격으로 8방향의 구배 방향 히스토그램을 생성하면, 제2 서브 영역 특징 벡터 생성부(28)는 60°의 간격으로 6방향의 구배 방향 히스토그램을 생성할 수 있다.
그리고, 차원 선정부(18)는 제1 서브 영역 특징 벡터 생성부(16)에 의해 생성된 특징 벡터 및 제2 서브 영역 특징 벡터 생성부(28)에 의해 생성된 특징 벡터에 대해서, 인접하는 서브 영역으로부터 선정된 차원이 동일한 구배 방향이 아니도록 차원을 선정함으로써 국소 특징 기술자를 출력할 수 있다.
전술한 바와 같이, 제6 실시예에 따른 국소 특징 기술자 추출 장치(1F)에서는, 제2 서브 영역 특징 벡터 생성부(28)가 제1 서브 영역 특징 벡터 생성부(16)에 의해 제공된 구배 방향과는 다른 구배 방향의 구배 방향 히스토그램을 생성한다. 그럼으로써, 특징 벡터의 정보량이 증가하여, 식별 정밀도를 향상시키는 것이 가능하게 된다.
제6 실시예에서는, 제1 서브 영역 특징 벡터 생성부(16) 및 제2 서브 영역 특징 벡터 생성부(28)의 2개의 서브 영역 특징 벡터 생성부를 나타냈다. 그러나, 3개 이상의 특징 벡터 생성부가 제공될 수 있다.
제7 실시예
다음에, 제7 실시예에 대해서 설명한다. 도 26은 본 발명의 제7 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다． 도 26에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1G)는 특징점 검출부(10), 국소 영역 취득부(12), 제1 서브 영역 분할부(14), 제2 서브 영역 분할부(30), 제1 서브 영역 특징 벡터 생성부(16), 제2 서브 영역 특징 벡터 생성부(28), 및 차원 선정부(18)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1G)의 구성은 제6 실시예에 따른 국소 특징 기술자 추출 장치(1F)에 제2 서브 영역 분할부(30)를 추가한 것에 대응한다. 제6 실시예의 대응하는 구성 요소와 동일한 제7 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다.
제2 서브 영역 분할부(30)는 제1 서브 영역 분할부(14)가 이용한 기술과는 다른 기술을 이용하여 영역 분할을 행할 수 있다． 예를 들면, 제1 서브 영역 분할부(14)가 국소 영역을 4×4블록으로 분할하면, 제2 서브 영역 분할부(30)는 국소 영역을 5×5블록으로 분할할 수 있다.
그리고, 제1 서브 영역 특징 벡터 생성부(16)는 제1 서브 영역 분할부(14)에 의해 분할된 서브 영역마다 구배 방향 히스토그램을 생성한다. 또한, 제2 서브 영역 특징 벡터 생성부(28)는 제2 서브 영역 분할부(30)에 의해 분할된 서브 영역마다 구배 방향 히스토그램을 생성한다.
전술한 바와 같이, 제7 실시예에 따른 국소 특징 기술자 추출 장치(1G)에서는, 제2 서브 영역 분할부(30)가 제1 서브 영역 분할부(14)가 이용한 기술과는 다른 기술을 이용하여 국소 영역을 분할한다. 그럼으로써, 특징 벡터의 정보량이 증가하여, 식별 정밀도를 향상시키는 것이 가능하게 된다.
제7 실시예에서는, 제1 서브 영역 분할부(14) 및 제2 서브 영역 분할부(30)의 2개의 서브 영역 분할부를 나타냈다. 그러나, 3개 이상의 서브 영역 분할부가 제공될 수 있다.
제8 실시예
다음에, 제8 실시예에 대해서 설명한다. 도 27은 본 발명의 제8 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다. 도 27에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1H)는 특징점 검출부(10), 제1 국소 영역 취득부(12), 제2 국소 영역 취득부(32), 제1 서브 영역 분할부(14), 제2 서브 영역 분할부(30), 제1 서브 영역 특징 벡터 생성부(16), 제2 서브 영역 특징 벡터 생성부(28), 및 차원 선정부(18)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1H)의 구성은 제7 실시예에 따른 국소 특징 기술자 추출 장치(1G)에 제2 국소 영역 취득부(32)를 추가한 것에 대응한다. 제7 실시예의 대응하는 구성 요소와 동일한 제8 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다.
제2 국소 영역 취득부(32)는 제1 국소 영역 취득부(12)가 이용한 기술과는 다른 기술을 이용하여 국소 영역을 취득할 수 있다. 예를 들면, 제1 국소 영역 취득부(12)가 정방형의 국소 영역을 취득하면, 제2 국소 영역 취득부(32)는 원형의 국소 영역을 취득할 수 있다.
제1 서브 영역 분할부(14)는 제1 국소 영역 취득부(12)에 의해 취득된 국소 영역을 서브 영역으로 분할한다. 또한, 제2 서브 영역 분할부(30)는 제2 국소 영역 취득부(32)에 의해 취득된 국소 영역을 서브 영역으로 분할한다.
전술한 바와 같이, 제8 실시예에 따른 국소 특징 기술자 추출 장치(1H)에서는, 제2 국소 영역 취득부(32)가 제1 국소 영역 취득부(12)가 이용한 기술과는 다른 기술을 이용하여 국소 영역을 취득한다. 그럼으로써, 특징 벡터의 정보량이 증가하여, 식별 정밀도를 향상시키는 것이 가능하게 된다.
제8 실시예에서는, 제1 국소 영역 취득부(12) 및 제2 국소 영역 취득부(32)의 2개의 국소 영역 취득부를 나타냈다. 그러나, 3개 이상의 국소 영역 취득부가 제공될 수 있다.
제9 실시예
다음에, 제9 실시예에 대해서 설명한다. 도 28은 본 발명의 제9 실시예에 따른 국소 특징 기술자 추출 장치의 구성을 도시하는 도면이다. 도 28에 도시한 바와 같이, 국소 특징 기술자 추출 장치(1J)는 특징점 검출부(10), 국소 영역 취득부(12), 서브 영역 분할부(14), 서브 영역 특징 벡터 생성부(16), 차원 선정부(18), 및 부호화부(34)를 포함하도록 구성된다. 이렇게, 국소 특징 기술자 추출 장치(1J)의 구성은 제1 실시예에 따른 국소 특징 기술자 추출 장치(1A)에 부호화부(34)를 추가한 것에 대응한다. 제1 실시예의 대응하는 구성 요소와 동일한 제9 실시예의 구성 요소에 관해서는 동일한 참조 부호를 붙여서 설명을 생략한다. 또한, 부호화부(34)는 제1 실시예에 따른 국소 특징 기술자 추출 장치에 한하지 않고, 다른 실시예에 따른 국소 특징 기술자 추출 장치에 대하여도 적용가능하다.
부호화부(34)는 차원 선정부(18)에 의해 출력되고 우선 순위의 순서로 차원이 배열된 특징 벡터를 부호화하고 부호화된 벡터를 특징 기술자의 비트 스트림으로서 출력할 수 있다. 부호화부(34)는, 예를 들면, 특징 벡터를 고정 비트 길이를 사용하여 부호화할 수 있다. 또한, 부호화부(34)는, 예를 들면, 허프만 코드(Huffman code)나 산술 부호를 이용한 엔트로피 부호화 등의 무손실 부호화(가역 압축) 또는 손실 부호화(비가역 압축)에 기초한 부호화를 행할 수 있다.
구체적으로，예를 들면, 특징 벡터가 제3 실시예에서 나타낸 양자화부(22)에 의해 0 또는 1의 바이너리로 양자화된 바이너리 특징 기술자이면, 부호화부(34)는 N차원을 N비트(N/8바이트)와 연관시키고 고정 비트 길이를 사용하여 부호화를 행할 수 있다. 예를 들면, 부호화부(34)는 96차원의 특징 벡터(96비트)를 96/8=12바이트로 부호화할 수 있다. 또한, 예를 들면, 부호화부(34)는 허프만 코드나 산술 부호 등을 이용해서 엔트로피 부호화를 행할 수 있다. 또한, 예를 들면, 부호화부(34)는 산술 부호 등의 엔트로피 부호를 이용할 때, 부호화된 차원에 관한 정보를 사용하여 효율적인 부호화(콘텍스트 부호화)를 행할 수 있다.
또한, 부호화부(34)는 화상으로부터 추출된 특징 벡터 군에 관한 정보를 이용해서 부호화를 행할 수 있다. 예를 들면, 화상 중에는 반복하여 출현하는 패턴이 많으므로, 부호화부(34)는 이러한 유사한 특징 벡터를 그루핑함으로써 부호화를 행할 수 있다. 또한, 화상이 동화상의 프레임의 경우에는, 부호화부(34)는 연속하는 프레임 간에서 특징점을 추적하고，현재의 특징점을 과거의 프레임의 특징점과 연관시키고, 특징 벡터 간의 차분값만을 부호화할 수 있다. 이렇게, 부호화부(34)가 특징 벡터 군에 관한 정보를 이용해서 부호화를 행함으로써, 특징 벡터를 개별적으로 압축하는 것보다도 더욱 큰 스케일의 부호화 압축이 가능하게 된다.
또한, 부호화부(34)는 화상으로부터 추출된 특징 벡터 군을 임의의 순서로 부호화할 수 있다. 예를 들면, 부호화부(34)는 특징 벡터가 추출된 순서로 특징 벡터(특징점)를 부호화할 수 있다. 또한, 특징점의 특징 벡터와 함께, 특징점의 좌표 위치(X 좌표값, Y 좌표값)에 관한 정보도 부호화되는 경우도 있다. 이 경우에, 부호화부(34)는 특징점을 래스터 스캔 순서 등의 소정의 미리 결정된 순서로 재배열하고, 그 좌표값 간의 차분값만을 부호화할 수 있다. 이 경우에, 부호화부(34)는 특징 벡터를 이 순서로 부호화할 수 있다. 이에 따라, 좌표값을 고정 비트 길이를 사용하여 부호화하는 경우보다도 짧은 비트 길이를 사용하여 특정점의 좌표값에 관한 정보를 부호화할 수 있다.
또한, 특징점의 특징 벡터와 함께, 특징점 검출부(10)가 출력하는 특징점에 관한 스케일 정보도 부호화되는 경우도 있다. 이 경우에, 부호화부(34)는 특징 벡터를 스케일 값 순으로 재배열해서 부호화하고 스케일 값이 변화하는 번호와 대응하는 스케일 값만을 부호화할 수 있다. 이에 따라, 개개의 특징 벡터에 대하여 스케일 값을 모두 부호화할 필요가 없어진다. 또한, 스케일 정보와 좌표값의 양쪽을 부호화하는 경우에, 부호화부(34)는 특징 벡터를 스케일 값 순으로 재배열하고, 동일한 스케일 값의 특징점에 대해서는 래스터 스캔 순으로 부호화할 수 있다. 또한, 부호화부(34)는 스케일 정보의 경우와 같이 방향 정보를 부호화할 수 있다.
또한, 부호화부(34)는 특징 벡터 군을 중요도가 감소하는 순으로 부호화할 수 있다. 특징점의 중요도에 대한 기준은, 예를 들면, 제1 실시예의 기준과 마찬가지이다. 이에 따라, 특징 기술자의 대조를 행하는 장치는, 선두의 특징점로부터 (가장 중요한 특징점으로부터) 시작하는 순서로 특징 기술자의 대조를 행하고, 일치하는지의 여부를 성공적으로 판정할 수 있을 시에 대조를 중단하는 등의, 효율적인 대조를 행할 수 있다.
또한, 화상 전체에서 특징 벡터로부터 선정된 차원수가 동일한 경우에, 부호화부(34)는 그 차원수를 비트 스트림의 선두 위치에서 기술(부호화)할 수 있다． 특징점마다 차원수가 상이한 경우에, 부호화부(34)는 부호화된 정보가 개개의 특징점의 차원수를 분명히 표시하도록 대응하는 정보를 부호화할 필요가 있다． 이 경우에, 부호화부(34)는 특징점마다 차원수에 관한 정보를 부호화할 수 있다. 또한, 스케일 정보의 부호화를 행하는 경우와 같이，부호화부(34)는 특징 벡터를 차원수 순서로 재배열해서 부호화하고, 차원수가 변화하는 번호와 대응하는 차원수만을 부호화할 수 있다. 이에 따라, 개개의 특징 벡터에 대하여 차원수의 값을 모두 부호화할 필요가 없어진다.
전술한 바와 같이, 제9 실시예에 따른 국소 특징 기술자 추출 장치(1J)에서는, 부호화부(34)가 국소 특징 기술자의 부호화를 행하므로, 국소 특징 기술자의 사이즈를 더욱 작게 할 수 있다.
적용 예
도 29는 제1 내지 제9 실시예에 나타낸 국소 특징 기술자 추출 장치를 적용가능한 대조 시스템의 일례를 도시하는 도면이다. 도 29에 도시한 바와 같이, 대조 시스템은 대조 장치(100), 특징 기술자 데이터베이스(DB)(110), 및 국소 특징 기술자 추출 장치(120)를 포함하도록 구성되어 있다.
대조 장치(100)는 국소 특징 기술자 추출 장치(120)로부터 송신되는 검색 요구에 포함되는 국소 특징 기술자를 특징 기술자 DB(110)에 기억되어 있는 국소 특징 기술자와 대조함으로써 국소 특징 기술자 추출 장치(120)에 입력된 화상 내의 피사체와 유사한 피사체를 포함하는 화상을 검색할 수 있다.
특징 기술자 DB(110)는 복수의 화상으로부터 추출된 국소 특징 기술자를 국소 특징 기술자가 추출되는 화상과 연관시켜서 기억하고 있다. 특징 기술자 DB(110)에 기억되어 있는 국소 특징 기술자는, 예를 들면, 도 7에 도시한 순서로 출력된 150차원의 특징 벡터일 수 있다.
국소 특징 기술자 추출 장치(120)는 제1 내지 제9 실시예 중 어느 하나에 나타내진 국소 특징 기술자 추출 장치일 수 있다.
국소 특징 기술자 추출 장치(120)는 입력 화상에서 검출되는 특징점의 국소 특징 기술자를 포함하는 검색 요구를 생성하고, 이 검색 요구를 대조 장치(100)에 송신한다. 대조 장치(100)는 수신한 국소 특징 기술자를 특징 기술자 DB(110)에 기억되어 있는 국소 특징 기술자와 대조하여 입력 화상과 유사한 화상을 판정한다. 대조 장치(100)는 다음에 입력 화상과 유사하다고 판정한 화상을 나타내는 정보를 검색 결과로서 국소 특징 기술자 추출 장치(120)에 출력한다.
이러한 대조 시스템에서，국소 특징 기술자 추출 장치(120)는 제1 내지 제9 실시예에서 설명한 바와 같이, 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 국소 특징 기술자로서 출력되는 차원(요소)을 선정한다. 따라서，대조 시스템은 대조 장치(100)에 의해 행해지는 대조 정밀도를 유지하면서 국소 특징 기술자의 사이즈를 작게 할 수 있다.
따라서，국소 특징 기술자 추출 장치(120)로부터 대조 장치(100)에 국소 특징 기술자를 송신하는데 필요한 통신 시간을 짧게 할 수 있다. 또한, 국소 특징 기술자의 사이즈가 작기 때문에 대조 장치(100)에 의해 행해지는 대조의 처리 부하를 낮게 할 수 있다. 또한，국소 특징 기술자가 도 7에 도시한 바와 같이 계층적(프로그레시브)인 구조가 된다. 그러므로，국소 특징 기술자 추출 장치(120)에 의해 추출된 국소 특징 기술자의 차원수와 특징 기술자 DB(110)에 저장되어 있는 국소 특징 기술자의 차원수가 다른 경우에도, 대조 장치(100)는 특징 기술자 DB(110) 및 국소 특징 기술자 추출 장치(120)와 공통되는 차원수까지의 국소 특징 기술자를 이용하여 대조 처리를 행할 수 있다.
예를 들면, 도 30에 도시한 바와 같이, 특징 기술자 DB(110)에 기억되어 있는 국소 특징 기술자가 150차원이며, 국소 특징 기술자 추출 장치(120)에 의해 추출되는 국소 특징 기술자가 50차원인 경우를 생각한다. 이 경우에, 대조 장치(100)는 특징 기술자 DB(110)와 국소 특징 기술자 추출 장치(120) 쌍방의 50차원까지의 국소 특징 기술자를 이용하여 대조를 행할 수 있다. 즉, 예를 들면, 국소 특징 기술자 추출 장치(120)의 처리 능력에 따라 국소 특징 기술자의 차원수를 변경해도, 대조 장치(100)는 변경된 차원수의 국소 특징 기술자를 이용하여 대조 처리를 행할 수 있다.
본 실시 형태는 본 발명의 이해를 쉽게 하기 위한 것이고 본 발명의 해석을 한정하고자 하는 것은 아니다. 본 발명은 그 취지를 벗어나지 않고 변경 또는 개량될 수 있고 그 등가물도 포함한다.
본 출원은 2011년 11월 18일자로 출원된 일본 특허 출원 제2011-253257호를 기초로 하는 우선권을 주장하고, 그 개시의 모두가 여기에 병합된다.
실시예를 참조해서 본원 발명을 설명했다. 그러나, 본원 발명은 상기 실시예에 한정되는 것은 아니다. 본원 발명의 구성 또는 상세에 대해 본원 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 행할 수 있다.
본 실시 형태의 일부 또는 전부는 이하와 같이 기재될 수 있지만, 본 발명은 이들 이러한 특징들로 한정되지 않는다.
(특징 1) 화상 내의 특징점들을 검출하도록 구성된 특징점 검출부; 각 특징점에 대한 국소 영역을 취득하도록 구성된 제1 국소 영역 취득부; 각 국소 영역을 복수의 서브 영역으로 분할하도록 구성된 제1 서브 영역 분할부; 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하도록 구성된 제1 서브 영역 특징 벡터 생성부; 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성된 차원 선정부를 포함하는, 국소 특징 기술자 추출 장치.
(특징 2) 특징 1에 있어서, 상기 차원 선정부는 인접하는 서브 영역들이 상기 선정된 차원 중 적어도 하나가 서로 다르도록 상기 특징 벡터로부터 차원들을 선정하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 3) 특징 1 또는 2에 있어서, 상기 차원 선정부는 국소 영역 내의 복수의 서브 영역의 특징 벡터에서 차원을 선정하기 위한 선정 순위에 따라서 상기 특징 벡터로부터 차원들을 선정하도록 구성된，국소 특징 기술자 추출 장치.
(특징 4) 특징 3에 있어서, 상기 차원 선정부는 상기 선정 순위에 따라서 선정된 차원의 순서로 상기 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 5) 특징 1 내지 4 중 어느 하나에 있어서, 상기 차원 선정부에 의해 선정되는 차원수를 결정하도록 구성된 차원수 결정부를 더 포함하고, 상기 차원 선정부는 국소 영역의 특징 기술자의 차원수가 상기 결정된 차원수와 동일하도록 상기 특징 벡터로부터 차원들을 선정하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 6) 특징 5에 있어서, 상기 차원수 결정부는 상기 검출된 특징점의 수에 따라서, 각 특징점에 대한 국소 영역의 특징 기술자에 대해 선정되는 차원수를 결정하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 7) 특징 5에 있어서, 상기 차원수 결정부는 각 특징점의 중요도를 나타내는 정보에 기초하여, 각 특징점에 대한 국소 영역의 특징 기술자에 대해 선정되는 차원수를 결정하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 8) 특징 1 내지 7 중 어느 하나에 있어서, 서브 영역마다 상기 특징 벡터를 양자화하도록 구성된 양자화부를 더 포함하고, 상기 차원 선정부는 상기 양자화된 벡터로부터 차원을 선정하도록 구성된，국소 특징 기술자 추출 장치.
(특징 9) 특징 1 내지 7 중 어느 하나에 있어서，상기 국소 영역의 특징 기술자를 양자화하도록 구성된 양자화부를 더 포함하는, 국소 특징 기술자 추출 장치.
(특징 10) 특징 1 내지 9 중 어느 하나에 있어서，근접하는 복수의 서브 영역의 상기 특징 벡터에 기초하여, 상기 근접하는 복수의 서브 영역 각각보다 큰 서브 영역인 확장 서브 영역에서의 특징 벡터를 생성하도록 구성된 특징 벡터 확장부를 더 포함하고, 상기 차원 선정부는 각 국소 영역 내의 확장 서브 영역들 간의 위치 관계에 기초하여 근접하는 확장 서브 영역들 간의 상관이 적어지도록 확장 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성된, 국소 특징 기술자 추출 장치.
(특징 11) 특징 10에 있어서, 상기 특징 벡터의 요소는 방향에 의존하는 특징 기술자이며, 상기 특징 벡터 확장부는, 상기 차원 선정부에 의해 선정되지 않는, 서브 영역마다의 상기 특징 벡터의 차원의 요소에 기초하여 상기 확장 서브 영역에서의 특징 벡터를 생성하도록 구성된，국소 특징 기술자 추출 장치.
(특징 12) 특징 1 내지 제11 중 어느 하나에 있어서, 각 국소 영역 내의 서브 영역마다, 상기 제1 서브 영역 특징 벡터 생성부에 의해 생성되는 특징 벡터와는 적어도 하나의 요소의 방향이 상이한, 복수 차원의 특징 벡터를 생성하도록 구성된 제2 서브 영역 특징 벡터 생성부를 더 포함하는, 국소 특징 기술자 추출 장치.
(특징 13) 특징 12에 있어서, 각 국소 영역을 상기 제1 서브 영역 분할부에 의해 분할되는 복수의 서브 영역과는 상이한 복수의 서브 영역으로 분할하도록 구성된 제2 서브 영역 분할부를 더 포함하고, 상기 제2 서브 영역 특징 벡터 생성부는 상기 제2 서브 영역 분할부에 의해 분할된 서브 영역마다 상기 특징 벡터를 생성하도록 구성된，국소 특징 기술자 추출 장치.
(특징 14) 특징 13에 있어서, 각 특징점에 대하여, 상기 국소 영역 취득부에 의해 취득되는 국소 영역과는 상이한 국소 영역을 취득하도록 구성된 제2 국소 영역 취득부를 더 포함하고, 상기 제2 서브 영역 분할부는 상기 제2 국소 영역 취득부에 의해 취득되는 각 국소 영역을 복수의 서브 영역으로 분할하도록 구성된，국소 특징 기술자 추출 장치.
(특징 15) 컴퓨터에 실행되는, 화상 내의 특징점들을 검출하는 단계; 각 특징점에 대한 국소 영역을 취득하는 단계; 각 국소 영역을 복수의 서브 영역으로 분할하는 단계; 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하는 단계; 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 단계를 포함하는, 국소 특징 기술자 추출 방법.
(특징 16) 컴퓨터가, 화상 내의 특징점들을 검출하는 기능; 각 특징점에 대한 국소 영역을 취득하는 기능; 각 국소 영역을 복수의 서브 영역으로 분할하는 기능; 각 국소 영역 내의 서브 영역마다 복수 차원의 특징 벡터를 생성하는 기능; 및 각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 기능을 실현하게 하기 위한 프로그램.
(특징 17) 특징 1 내지 14 중 어느 하나에 있어서, 상기 국소 영역의 상기 특징 기술자를 부호화하도록 구성된 부호화부를 더 포함하는, 국소 특징 기술자 추출 장치.
1A 내지 1J: 국소 특징 기술자 추출 장치
10: 특징점 추출부
12: 국소 영역 취득부
14: 서브 영역 분할부
16: 서브 영역 특징 벡터 생성부
18: 차원 선정부
20: 차원수 결정부
22,24: 양자화부
26: 특징 벡터 확장부
34: 부호화부

Claims (16)

  1. 국소 특징 기술자 추출 장치(local feature descriptor extracting apparatus)로서,
    화상 내의 특징점들을 검출하도록 구성된 특징점 검출부;
    각 특징점에 대한 국소 영역을 취득하도록 구성된 제1 국소 영역 취득부;
    각 국소 영역을 복수의 서브 영역으로 분할하도록 구성된 제1 서브 영역 분할부;
    각 국소 영역 내의 각 서브 영역마다 복수 차원의 특징 벡터를 생성하도록 구성된 제1 서브 영역 특징 벡터 생성부; 및
    각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 각 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성된 차원 선정부
    를 포함하는 국소 특징 기술자 추출 장치.
  2. 제1항에 있어서, 상기 차원 선정부는, 인접하는 서브 영역들이 상기 선정된 차원들 중 적어도 하나에서 서로 다르도록, 상기 특징 벡터로부터 차원들을 선정하도록 구성되는 국소 특징 기술자 추출 장치.
  3. 제1항에 있어서, 상기 차원 선정부는 국소 영역 내의 복수의 서브 영역의 특징 벡터들로부터 차원들을 선정하기 위한 선정 순위에 따라서 상기 특징 벡터로부터 차원들을 선정하도록 구성되는 국소 특징 기술자 추출 장치.
  4. 제3항에 있어서, 상기 차원 선정부는 상기 선정 순위에 따라서 선정된 차원들의 순서로 상기 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성되는 국소 특징 기술자 추출 장치.
  5. 제1항에 있어서, 상기 차원 선정부에 의해 선정되는 차원수를 결정하도록 구성된 차원수 결정부를 더 포함하고, 상기 차원 선정부는 국소 영역의 특징 기술자의 차원수가 상기 결정된 차원수와 동일하도록 상기 특징 벡터로부터 차원들을 선정하도록 구성되는 국소 특징 기술자 추출 장치.
  6. 제5항에 있어서, 상기 차원수 결정부는 상기 검출된 특징점의 수에 따라서, 각 특징점에 대한 국소 영역의 특징 기술자에 대해 선정되는 차원수를 결정하도록 구성되는 국소 특징 기술자 추출 장치.
  7. 제5항에 있어서, 상기 차원수 결정부는 각 특징점의 중요도를 나타내는 정보에 기초하여, 각 특징점에 대한 국소 영역의 특징 기술자에 대해 선정되는 차원수를 결정하도록 구성되는 국소 특징 기술자 추출 장치.
  8. 제1항에 있어서, 각 서브 영역마다 상기 특징 벡터를 양자화하도록 구성된 양자화부를 더 포함하고,
    상기 차원 선정부는 상기 양자화된 특징 벡터로부터 차원들을 선정하도록 구성되는 국소 특징 기술자 추출 장치.
  9. 제1항에 있어서，상기 국소 영역의 특징 기술자를 양자화하도록 구성된 양자화부를 더 포함하는 국소 특징 기술자 추출 장치.
  10. 제1항에 있어서，근접하는 복수의 서브 영역의 상기 특징 벡터들에 기초하여, 상기 근접하는 복수의 서브 영역 각각보다 큰 서브 영역인 확장 서브 영역에 대한 특징 벡터를 생성하도록 구성된 특징 벡터 확장부를 더 포함하고,
    상기 차원 선정부는 각 국소 영역 내의 확장 서브 영역들 간의 위치 관계에 기초하여 근접하는 확장 서브 영역들 간의 상관이 적어지도록 각 확장 서브 영역마다 상기 확장 서브 영역에 대한 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하도록 구성되는 국소 특징 기술자 추출 장치.
  11. 제10항에 있어서, 상기 특징 벡터의 차원들의 요소는 방향에 의존하는 특징 기술자이며,
    상기 특징 벡터 확장부는, 상기 차원 선정부에 의해 선정되지 않는, 각 서브 영역마다의 상기 특징 벡터의 차원들의 요소에 기초하여 상기 확장 서브 영역에 대한 특징 벡터를 생성하도록 구성되는 국소 특징 기술자 추출 장치.
  12. 제1항에 있어서, 각 국소 영역 내의 각 서브 영역마다, 상기 제1 서브 영역 특징 벡터 생성부에 의해 생성되는 특징 벡터와는 적어도 하나의 요소의 방향이 상이한, 복수 차원의 특징 벡터를 생성하도록 구성된 제2 서브 영역 특징 벡터 생성부를 더 포함하는 국소 특징 기술자 추출 장치.
  13. 제12항에 있어서, 각 국소 영역을 상기 제1 서브 영역 분할부에 의해 분할되는 복수의 서브 영역과는 상이한 복수의 서브 영역으로 분할하도록 구성된 제2 서브 영역 분할부를 더 포함하고,
    상기 제2 서브 영역 특징 벡터 생성부는 상기 제2 서브 영역 분할부에 의해 분할된 각 서브 영역마다 상기 특징 벡터를 생성하도록 구성되는 국소 특징 기술자 추출 장치.
  14. 제13항에 있어서, 각 특징점에 대하여, 상기 제1 국소 영역 취득부에 의해 취득되는 국소 영역과는 상이한 국소 영역을 취득하도록 구성된 제2 국소 영역 취득부를 더 포함하고,
    상기 제2 서브 영역 분할부는 상기 제2 국소 영역 취득부에 의해 취득되는 각 국소 영역을 복수의 서브 영역으로 분할하도록 구성되는 국소 특징 기술자 추출 장치.
  15. 컴퓨터에 실행되는 국소 특징 기술자 추출 방법으로서,
    화상 내의 특징점들을 검출하는 단계;
    각 특징점에 대한 국소 영역을 취득하는 단계;
    각 국소 영역을 복수의 서브 영역으로 분할하는 단계;
    각 국소 영역 내의 각 서브 영역마다 복수 차원의 특징 벡터를 생성하는 단계; 및
    각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 각 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 단계
    를 포함하는 국소 특징 기술자 추출 방법.
  16. 컴퓨터로 하여금,
    화상 내의 특징점들을 검출하는 기능;
    각 특징점에 대한 국소 영역을 취득하는 기능;
    각 국소 영역을 복수의 서브 영역으로 분할하는 기능;
    각 국소 영역 내의 각 서브 영역마다 복수 차원의 특징 벡터를 생성하는 기능; 및
    각 국소 영역 내의 서브 영역들 간의 위치 관계에 기초하여 근접하는 서브 영역들 간의 상관이 적어지도록 각 서브 영역마다 상기 특징 벡터로부터 차원들을 선정하고, 선정된 차원들의 요소들을 국소 영역의 특징 기술자로서 출력하는 기능
    을 실현하도록 하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
KR1020147016516A 2011-11-18 2012-11-15 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 KR101611778B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011253257 2011-11-18
JPJP-P-2011-253257 2011-11-18
PCT/JP2012/079671 WO2013073621A1 (ja) 2011-11-18 2012-11-15 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20140091069A KR20140091069A (ko) 2014-07-18
KR101611778B1 true KR101611778B1 (ko) 2016-04-15

Family

ID=48429675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016516A KR101611778B1 (ko) 2011-11-18 2012-11-15 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Country Status (6)

Country Link
US (1) US9613287B2 (ko)
EP (1) EP2782066B1 (ko)
JP (1) JP6044547B2 (ko)
KR (1) KR101611778B1 (ko)
CN (1) CN104115189B (ko)
WO (1) WO2013073621A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073622A1 (ja) * 2011-11-18 2013-05-23 日本電気株式会社 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
AU2012261715B2 (en) * 2012-12-13 2015-06-25 Canon Kabushiki Kaisha Method, apparatus and system for generating a feature vector
JP6193779B2 (ja) * 2013-06-03 2017-09-06 株式会社デンソーアイティーラボラトリ 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム
ITTO20130629A1 (it) * 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus
US9594944B2 (en) * 2013-09-25 2017-03-14 Xerox Corporation Methods and systems for monitoring a worker performing a crowdsourced task
US9544655B2 (en) 2013-12-13 2017-01-10 Nant Holdings Ip, Llc Visual hash tags via trending recognition activities, systems and methods
US9508018B2 (en) * 2014-11-24 2016-11-29 Texas Instruments Incorporated Systems and methods for object detection
US9883183B2 (en) 2015-11-23 2018-01-30 Qualcomm Incorporated Determining neighborhood video attribute values for video data
US10043100B2 (en) 2016-04-05 2018-08-07 Omni Ai, Inc. Logical sensor generation in a behavioral recognition system
US10353950B2 (en) * 2016-06-28 2019-07-16 Google Llc Visual recognition using user tap locations
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN111275053B (zh) * 2020-01-16 2023-11-10 北京腾信软创科技股份有限公司 一种局部特征描述子的表示方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
US8374442B2 (en) 2008-11-19 2013-02-12 Nec Laboratories America, Inc. Linear spatial pyramid matching using sparse coding
US20100246969A1 (en) 2009-03-25 2010-09-30 Microsoft Corporation Computationally efficient local image descriptors
WO2011069023A2 (en) 2009-12-02 2011-06-09 Qualcomm Incorporated Fast subspace projection of descriptor patches for image recognition
CN101980250B (zh) * 2010-10-15 2014-06-18 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN102004916B (zh) 2010-11-15 2013-04-24 无锡中星微电子有限公司 图像特征提取系统及其方法
CN102169581A (zh) 2011-04-18 2011-08-31 北京航空航天大学 一种基于特征向量的快速高精度鲁棒性匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G r a d i e n t ベ-スの特徵抽出S I F T とHOG -
局所特徵量を用いた畵像照合による特定物體認識

Also Published As

Publication number Publication date
WO2013073621A1 (ja) 2013-05-23
JP6044547B2 (ja) 2016-12-14
EP2782066A1 (en) 2014-09-24
CN104115189B (zh) 2016-12-28
EP2782066A4 (en) 2016-03-16
JPWO2013073621A1 (ja) 2015-04-02
US20140321755A1 (en) 2014-10-30
KR20140091069A (ko) 2014-07-18
CN104115189A (zh) 2014-10-22
US9613287B2 (en) 2017-04-04
EP2782066B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
KR101611778B1 (ko) 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체
KR101612212B1 (ko) 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체
KR101759858B1 (ko) 2차 미분 에지 검출 방법의 에지 배향
CN106845341B (zh) 一种基于虚拟号牌的无牌车辆识别方法
US20020081033A1 (en) Visual attention system
US9792528B2 (en) Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
JP6168355B2 (ja) 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
US20140301647A1 (en) Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
JP6292454B2 (ja) 勾配ヒストグラムに基づいて画像記述子を変換する方法および関連する画像処理装置
JP6035173B2 (ja) 画像検索システム及び画像検索方法
JPWO2013073624A1 (ja) 特徴量符号化装置、特徴量符号化方法、及びプログラム
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
Gudavalli et al. Seetheseams: Localized detection of seam carving based image forgery in satellite imagery
JP2006060796A (ja) 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体
US9659227B2 (en) Detecting object from image data using feature quantities
JP4575356B2 (ja) アイデンティティのチェックのためのシステム、コンピュータ読み取り可能な記録媒体
JP6586852B2 (ja) 画像処理装置
Inoue et al. Neighbor-to-neighbor search for fast coding of feature vectors
JP5841418B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Dev et al. Searching a pattern in token scene image via multi-variant symmetric pattern matching technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4