JP6095559B2 - 特徴抽出装置、方法、及びプログラム - Google Patents

Description

本発明は、特徴抽出装置、方法、及びプログラムに係り、特に、入力された画像から、空間的特徴を抽出する特徴抽出装置、方法、及びプログラムに関する。

局所領域に基づく画像検索・認識に関する研究が盛んに行われたが、着目対象以外の領域から派生する雑音特徴から悪影響を受ける問題がある。この問題の対処法には、画像の局所領域間の空間的な文脈情報を抽出し検索・認識に用いる、空間文脈抽出法と呼ばれる方法がある。以下、空間文脈抽出法に関する先行技術を紹介する。

非特許文献１では、ドロネー図と呼ばれるグラフ構造法を拡張・駆使し、画像空間における近傍となる局所領域の三つ組を抽出し、各三つ組を構成した局所領域同士に対し、共起関係を表す文脈情報を抽出する方法が提案されている。

非特許文献２では、Fixed-Radius近傍法を駆使し、近傍となる局所領域のペアを抽出し、各ペアを構成した局所領域同士に対し、共起関係を表す文脈情報を抽出する方法が提案されている。

非特許文献３では、k近傍法を駆使し、画像空間における近傍となる局所領域のペアを抽出し、各ペアを構成した局所領域同士に対し、共起関係のみでなく、幾何学的な関連性を表す文脈情報も抽出する方法が提案されている。

Yannis Kalantidis, Lluis Garcia Pueyo, Michele Trevisiol, Roelof van Zwol, and Yannis S. Avrithis. Scalable triangulation-based logo recognition. In ICMR, p. 20, 2011. Yi Yang and Shawn Newsam. Spatial pyramid co-occurrence for image classification. In ICCV, pp.1465-1472, 2011. Zhen Liu, Houqiang Li, Wengang Zhou, and Qi Tian. Embedding spatial context information into inverted file for large-scale image retrieval. In ACM Multimedia, pp. 199-208, 2012.

上記の非特許文献１、２に記載の空間文脈抽出法は、共起情報しか考慮しないため、雑音特徴からの悪影響を回避する能力が比較的低い、という問題がある。上記の非特許文献３に記載の空間文脈抽出法は、共起情報を考慮する上で、更に局所領域間の幾何学的な関連性も抽出するため、上記の非特許文献１、２に記載の技術より雑音特徴に対する弁別力が高い。しかし、上記の非特許文献３に記載の方法により抽出した幾何学的な特徴は、平行移動、回転、拡大縮小に対する不変性を持つものの、不均等スケーリングや横ずれ変換等のアフィン写像を派生する撮影視点の変動に敏感である、という問題がある。

本発明では、上記問題点を解決するために成されたものであり、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる特徴抽出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る特徴抽出装置は、前記入力された画像について、特徴的な局所領域の各々を検出し、前記特徴的な局所領域の各々に対し、アフィン変換に対応する正規化を行うための正規化係数を検出する局所領域検出部と、前記特徴的な局所領域の各々について、局所特徴を計算する局所特徴計算部と、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの位置関係を示す位置ベクトルを計算する位置ベクトル計算部と、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの前記位置ベクトルを、前記局所領域に対して検出された前記正規化係数を用いて正規化するアフィン正規化部と、前記タプルの各々について、前記タプルに含まれる前記局所領域の各々について計算された前記局所特徴、及び前記アフィン正規化部によって正規化された前記タプルの前記位置ベクトルを合成して、前記画像に対応する空間的特徴として出力する特徴出力部と、を含んで構成されている。

本発明に係る特徴抽出方法は、局所領域検出部、局所特徴計算部、位置ベクトル計算部、アフィン正規化部、及び特徴出力部を含む特徴抽出装置における特徴抽出方法であって、前記局所領域検出部が、前記入力された画像について、特徴的な局所領域の各々を検出し、前記特徴的な局所領域の各々に対し、アフィン変換に対応する正規化を行うための正規化係数を検出し、前記局所特徴計算部が、前記特徴的な局所領域の各々について、局所特徴を計算し、位置ベクトル計算部が、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの位置関係を示す位置ベクトルを計算し、前記アフィン正規化部が、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの前記位置ベクトルを、前記局所領域に対して検出された前記正規化係数を用いて正規化し、前記特徴出力部が、前記タプルの各々について、前記タプルに含まれる前記局所領域の各々について計算された前記局所特徴、及び前記アフィン正規化部によって正規化された前記タプルの前記位置ベクトルを合成して、前記画像に対応する空間的特徴として出力する。

また、本発明のプログラムは、コンピュータを、上記の特徴抽出装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の特徴抽出装置、方法、及びプログラムによれば、特徴的な局所領域と他の局所領域との組み合わせであるタプルの各々に対し、タプルの位置ベクトルを、アフィン変換に対応する正規化を行うための正規化係数を用いて正規化し、タプルの各々について、タプルに含まれる局所領域の各々についての局所特徴、及び正規化された位置ベクトルを合成することにより、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる。

本発明の第１の実施の形態に係る特徴抽出装置の機能的構成を示すブロック図である。 本発明の第１の実施の形態に係る特徴抽出装置における特徴抽出処理ルーチンを示すフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜第１の実施の形態に係る特徴抽出装置の構成＞
次に、本発明の第１の実施の形態に係る特徴抽出装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る特徴抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する特徴抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この特徴抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。

入力部１０は、画像の入力を受け付ける。

演算部２０は、局所領域検出部３０と、局所特徴計算部４０と、位置ベクトル計算部５０と、アフィン正規化部６０と、特徴出力部７０とを含んで構成されている。

局所領域検出部３０は、入力部１０において受け付けた画像から、特徴的な局所領域（楕円領域）を検出し、検出された局所領域の各々について、アフィン変換に対応する正規化を行うための正規化係数を検出する。例えば、特徴的な局所領域の各々について、局所領域の中心座標、及びアフィン形状や方向等の情報を表す正規化係数を検出する。局所領域ｔの正規化係数の一例として、アフィン適応第二モーメント行列と呼ばれる行列と呼ばれる２×２の実数行列Ｍ（ｔ）と、局所領域の方向を表す角度θとが検出され、角度θをもとに、回転行列Ｒ（ｘ）が計算される。

なお、特徴的な局所領域（楕円領域）の検出方法、及び正規化係数の検出方法は、非特許文献４に記載のＨｅｓｓｉａｎ Ａｆｆｉｎｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｏｒを用いればよく、説明を省略する。

非特許文献４：Krystian Mikolajczyk and Cordelia Schmid. Scale & affine invariant interest point detectors. International Journal of Computer Vision, Vol. 60, No. 1, pp. 63-86, 2004.

なお、アフィン変換に対応する正規化を行うための正規化係数を検出できる手法であれば、Ｈｅｓｓｉａｎ Ａｆｆｉｎｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｏｒ以外の手法を用いて、特徴的な局所領域（楕円領域）及び正規化係数を検出してもよい。

局所特徴計算部４０は、局所領域検出部３０によって検出された局所領域の各々について、当該局所領域について検出された正規化係数を用いて、当該局所領域の局所特徴を計算する。例えば、当該局所領域について検出された正規化係数Ｒ（ｘ）、Ｍ（ｘ）を用いて、当該局所領域の各画素を正規化して、当該局所領域を変換し、変換された局所領域から局所特徴を計算する。局所特徴の一例として、ＳＩＦＴ特徴、又はＳＵＲＦ特徴を計算する。ＳＩＦＴ特徴の計算方法、及びＳＵＲＦ特徴の計算方法については、従来既知の手法を用いればよいため、説明を省略する。

位置ベクトル計算部５０は、局所領域検出部３０によって検出された局所領域の各々について、当該局所領域（中核領域）と、他の局所領域（衛星領域）との組み合わせであるタプルに着目し、中核領域から衛星領域への相対位置（位置関係）を指す位置ベクトルを計算し、出力する。具体的には、入力画像Iにある任意の二つの局所領域x∈Iとy∈Iが構成したタプルt=(x，y)に着目し、xを中核領域と呼ぶことにし、yを衛星領域と呼ぶことにする。各局所領域の中心座標をc_xとc_yで示す。この場合、中核領域xから衛星領域yへの相対位置を指す位置ベクトルξ(t)は、以下のように計算される。

上記局所領域のタプルを処理対象にする際に、ある中核領域に対し、他のどのような局所領域を衛星領域と見なすかによって、実施形態が異なる。以下、実施形態の例を挙げる。

位置ベクトルを計算する一例として、入力画像にある各局所領域に対し、局所領域を中核領域と呼ぶことにし、他の全ての局所領域を衛星領域と呼ぶことにし、該中核領域と衛星領域が構成した全てのタプルを処理対象にし、上記（１）式により、局所領域間の位置ベクトルを計算し、出力する。この場合、局所領域のタプルの集合Ｎは、以下のように表現する。

位置ベクトルを計算する他の例として、入力画像にある各局所領域に対し、局所領域を中核領域と呼ぶことにし、画像空間における該中核領域の近傍となる局所領域のみを衛星領域と呼ぶことにし、該中核領域と近傍となる衛星領域との組み合わせであるタプルのみを処理対象にし、上記（１）式により、局所領域間の位置ベクトルを計算し、出力する。画像空間における中核領域の近傍となる局所領域を求める方法には、ｋ近傍法やFixed-Radius近傍法等がある。中核領域xの近傍となる衛星領域の集合をN(x)にした場合、局所領域のタプルの集合Ｎは、以下のように表現される。

アフィン正規化部６０は、局所領域検出部３０によって検出された局所領域の各々について、中核領域と衛星領域との組み合わせであるタプルの各々に対し、位置ベクトル計算部５０によって計算された当該タプルの位置ベクトルを、局所領域検出部３０によって当該中核領域に対して検出された正規化係数を用いて正規化し、当該タプルの幾何学的特徴として出力する。

位置ベクトルを正規化する一例として、局所領域検出部３０によって検出された各局所領域ｘの正規化係数Ｍ（ｘ）、Ｒ（ｘ）を用いて、タプルの局所領域間の位置ベクトルξ(t)を、以下のように正規化する。

上記のように正規化された位置ベクトルξ_φ(t)を、幾何学的特徴として出力する。

特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、当該タプルに含まれる局所領域の各々について局所特徴計算部４０により計算された局所特徴、及びアフィン正規化部６０によって出力された当該タプルの幾何学的特徴を合成して、入力された画像に対応する空間的特徴として出力する。

各局所領域のタプルｔに対応する空間的特徴をh(t)にし、局所領域のタプルの集合をＮにした場合、入力画像に対応する空間的特徴Ｈは、以下のとおりになる。

局所特徴と幾何学的特徴とを合成する方法の一例として、局所特徴と幾何学的特徴とをありのままに合成して出力する。局所特徴をu(・)にし、幾何学的特徴をξ_φ(t) にした場合、タプルｔに対する空間的特徴ｈ（ｔ）は、以下のとおりになる。

＜第１の実施の形態に係る特徴抽出装置の作用＞
次に、本発明の第１の実施の形態に係る特徴抽出装置１００の作用について説明する。入力部１０において画像を受け付けると、特徴抽出装置１００は、図２に示す特徴抽出処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０において受け付けた画像について、特徴的な局所領域の各々を抽出すると共に、検出された局所領域の各々について、アフィン変換に対応する正規化を行うための正規化係数を検出する。

次に、ステップＳ１０２では、上記ステップＳ１００において検出した局所領域の各々について、当該局所領域について検出された正規化係数を用いて、局所特徴を計算する。

次に、ステップＳ１０４では、上記ステップＳ１００において検出した局所領域の各々について、当該局所領域を、中核領域として、他の局所領域である衛星領域とのタプルの各々に対し、位置ベクトルを計算する。

次に、ステップＳ１０６では、上記ステップＳ１００において検出した局所領域の各々について、タプルの各々に対し、当該タプルの中核領域について上記ステップＳ１００で検出された正規化係数を用いて、上記ステップＳ１０４で計算された位置ベクトルを正規化する。

そして、ステップＳ１０８では、上記ステップＳ１００において検出した局所領域の各々について、タプルの各々に対し、当該タプルに含まれる局所領域の各々について上記ステップＳ１０２で計算された局所特徴、及び上記ステップＳ１０６で正規化された当該タプルの位置ベクトルを合成して、入力された画像に対応する空間的特徴として出力し、特徴抽出処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る特徴抽出装置によれば、特徴的な局所領域の組み合わせであるタプルの各々に対し、タプルの位置ベクトルを、正規化係数を用いて正規化し、タプルの各々について、タプルに含まれる局所領域の各々についての局所特徴、及び正規化された位置ベクトルを合成することにより、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる。

また、上記の非特許文献１、２に記載の空間文脈抽出法と比べ、雑音特徴に対する弁別力のより高い文脈情報を抽出することができる。また、上記の非特許文献３に記載の空間文脈抽出法と比べ、平行移動、回転、拡大縮小等のみでなく、不均等スケーリングや横ずれ変換等、より多くのアフィン写像に頑強な文脈情報を抽出することができる。

＜第２の実施の形態に係る特徴抽出装置の構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る特徴抽出装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第２の実施の形態では、局所特徴に対応するＶｉｓｕａｌ Ｗｏｒｄを、局所特徴の代わりに用いて、入力された画像に対応する空間的特徴を構成している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る特徴抽出装置の特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、当該タプルに含まれる局所領域の各々について局所特徴計算部４０により計算された局所特徴に対し、事前に学習したＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙを使用し、対応するＶｉｓｕａｌ Ｗｏｒｄを当該局所領域に与え、該Ｖｉｓｕａｌ Ｗｏｒｄを局所特徴の代わりに、アフィン正規化部６０によって出力された当該タプルの幾何学的特徴と合成して、入力された画像に対応する空間的特徴として出力する。

局所特徴をu(・) に対応するＶｉｓｕａｌ Ｗｏｒｄを^u(・)にし、幾何学的特徴をξ_φ(t)にした場合、タプルｔに対する空間的特徴ｈ（ｔ）は、以下のとおりになる。

なお、Ｖｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙとは、局所特徴毎に対応して定義されているユニークなＶｉｓｕａｌ Ｗｏｒｄの集合のことである。Ｖｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙの学習では、複数の学習用画像から計算された各局所領域の各々の局所特徴に基づいて、近似Ｋ−ＭｅａｎｓやＶｏｃａｂｕｌａｒｙ Ｔｒｅｅ等の方法を用いて、局所特徴の各々に対応するＶｉｓｕａｌ Ｗｏｒｄを学習し、局所特徴とＶｉｓｕａｌ Ｗｏｒｄとのペアの集合をＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙとする。

なお、第２の実施の形態に係る特徴抽出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、本発明の第２の実施の形態に係る特徴抽出装置によれば、特徴的な局所領域の組み合わせであるタプルの各々に対し、タプルの位置ベクトルを、正規化係数を用いて正規化し、タプルの各々について、タプルに含まれる局所領域の各々についての局所特徴に対応するＶｉｓｕａｌ Ｗｏｒｄ、及び正規化された位置ベクトルを合成することにより、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる。

＜第３の実施の形態に係る特徴抽出装置の構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る特徴抽出装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第３の実施の形態では、幾何学的特徴に対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを用いて、入力された画像に対応する空間的特徴を構成している点が、第２の実施の形態と異なっている。

第３の実施の形態に係る特徴抽出装置の特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、当該タプルに含まれる局所領域の各々について局所特徴計算部４０により計算された局所特徴に対し、事前に学習したＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙを使用し、対応するＶｉｓｕａｌ Ｗｏｒｄを当該局所領域に与える。

また、特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、アフィン正規化部６０によって出力された当該タプルの幾何学的特徴に対し、ハフ変換を行い、幾何学的特徴に対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを、当該タプルに与える。具体的に、幾何学的特徴ξ_φ = (x_φ; y_φ) を以下のように極座標系に変換する。

ここで、ρ_φとα_φ は、極座標の動径と偏角を表す。ξ_φに対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄの計算には、さまざまな方法が存在するが、以下に一例を挙げる。

ここで、^ρ_φは、動径ρ_φに対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄであり、ε_ρは、ハフ変換のための閾値である。また、偏角α_φに対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄは、以下のように計算する。

特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、与えられたＶｉｓｕａｌ Ｗｏｒｄを局所特徴の代わりにし、計算されたＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを幾何学的特徴の代わりにし、両方を合成して、入力された画像に対応する空間的特徴として出力する。

局所特徴u(・) に対応するＶｉｓｕａｌ Ｗｏｒｄを^u(・) にし、幾何学的特徴ξ_φ(t) に対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを^ρ_φ(t) と^α_φ(t) にした場合、タプルｔに対する空間的特徴ｈ（ｔ）は、以下のとおりになる。

なお、第３の実施の形態に係る特徴抽出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、本発明の第３の実施の形態に係る特徴抽出装置によれば、特徴的な局所領域の組み合わせであるタプルの各々に対し、タプルの位置ベクトルを、正規化係数を用いて正規化し、タプルの各々について、タプルに含まれる局所領域の各々についての局所特徴に対応するＶｉｓｕａｌ Ｗｏｒｄ、及び正規化された位置ベクトルに対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを合成することにより、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる。

＜第４の実施の形態に係る特徴抽出装置の構成＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る特徴抽出装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第４の実施の形態では、局所特徴に対応するＶｉｓｕａｌ Ｗｏｒｄと、幾何学的特徴に対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄと、幾何学的特徴とを合成して、入力された画像に対応する空間的特徴を構成している点が、第３の実施の形態と異なっている。

第４の実施の形態に係る特徴抽出装置の特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、当該タプルに含まれる局所領域の各々について局所特徴計算部４０により計算された局所特徴に対し、上記の第２の実施の形態と同様に、対応するＶｉｓｕａｌ Ｗｏｒｄを当該局所領域に与え、アフィン正規化部６０によって出力された当該タプルの幾何学的特徴に対し、上記の第３の実施の形態と同様に、対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを与える。

特徴出力部７０は、中核領域と衛星領域との組み合わせであるタプルの各々について、与えられたＶｉｓｕａｌ Ｗｏｒｄと、計算されたＧｅｏｍｅｔｒｉｃ Ｗｏｒｄと、幾何学的特徴とを合成して、入力された画像に対応する空間的特徴として出力する。

局所特徴u(・)に対応するＶｉｓｕａｌ Ｗｏｒｄ を^u(・) にし、幾何学的特徴ξ_φ(t) に対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄを^ρ_φ(t) と^α_φ(t) にし、幾何学的特徴をξ_φ(t) にした場合、タプルｔに対する空間的特徴ｈ（ｔ）は、以下のとおりになる。

なお、第４の実施の形態に係る特徴抽出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、本発明の第４の実施の形態に係る特徴抽出装置によれば、特徴的な局所領域の組み合わせであるタプルの各々に対し、タプルの位置ベクトルを、正規化係数を用いて正規化し、タプルの各々について、タプルに含まれる局所領域の各々についての局所特徴に対応するＶｉｓｕａｌ Ｗｏｒｄ、正規化された位置ベクトルに対応するＧｅｏｍｅｔｒｉｃ Ｗｏｒｄ、及び正規化された位置ベクトルを合成することにより、雑音特徴に対する弁別力が高く、かつ、アフィン写像に頑強な空間的特徴を抽出することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、局所特徴計算部４０は、局所領域検出部３０によって検出された局所領域の各々について、当該局所領域について検出された正規化係数を用いずに、当該局所領域の局所特徴を計算するようにしてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０ 入力部
２０ 演算部
３０ 局所領域検出部
４０ 局所特徴計算部
５０ 位置ベクトル計算部
６０ アフィン正規化部
７０ 特徴出力部
１００ 特徴抽出装置

Claims (7)

1. 入力された画像について、特徴的な局所領域の各々を検出し、前記特徴的な局所領域の各々に対し、アフィン変換に対応する正規化を行うための正規化係数を検出する局所領域検出部と、
   前記特徴的な局所領域の各々について、局所特徴を計算する局所特徴計算部と、
   前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの位置関係を示す位置ベクトルを計算する位置ベクトル計算部と、
   前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの前記位置ベクトルを、前記局所領域に対して検出された前記正規化係数を用いて正規化するアフィン正規化部と、
   前記タプルの各々について、前記タプルに含まれる前記局所領域の各々について計算された前記局所特徴、及び前記アフィン正規化部によって正規化された前記タプルの前記位置ベクトルを合成して、前記画像に対応する空間的特徴として出力する特徴出力部と、
   を含む、特徴抽出装置。
2. 前記特徴出力部は、タプルｔの各々について、前記タプルｔに含まれる局所領域ｘ、ｙの各々について計算された局所特徴ｕ（ｘ）、ｕ（ｙ）、及び前記アフィン正規化部によって正規化された前記タプルｔの位置ベクトルξ_φ（ｔ）を合成した空間的特徴ｈ（ｔ）＝｛ｕ（ｘ）、ｕ（ｙ）、ξ_φ（ｔ）｝を、前記画像に対応する空間的特徴として出力する請求項１記載の特徴抽出装置。
3. 前記特徴出力部は、タプルｔの各々について、前記タプルｔに含まれる局所領域ｘ、ｙの各々について計算された局所特徴ｕ（ｘ）、ｕ（ｙ）に対し、前記局所特徴とＶｉｓｕａｌ Ｗｏｒｄとの対応関係が予め求められたＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙを用いて、対応するＶｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）を与え、
   前記タプルｔの各々について、前記タプルｔに含まれる前記局所領域ｘ、ｙの各々について計算された前記局所特徴ｕ（ｘ）、ｕ（ｙ）に対して与えられた、Ｖｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）、及び前記アフィン正規化部によって正規化された前記タプルｔの位置ベクトルξ_φ（ｔ）を合成した空間的特徴ｈ（ｔ）＝｛＾ｕ（ｘ）、＾ｕ（ｙ）、ξ_φ（ｔ）｝を、前記画像に対応する空間的特徴として出力する請求項１記載の特徴抽出装置。
4. 前記特徴出力部は、タプルｔの各々について、前記タプルｔに含まれる局所領域ｘ、ｙの各々について計算された局所特徴ｕ（ｘ）、ｕ（ｙ）に対し、前記局所特徴とＶｉｓｕａｌ Ｗｏｒｄとの対応関係が予め求められたＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙを用いて、対応するＶｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）を与え、
   前記タプルｔの各々について、前記アフィン正規化部によって正規化された前記タプルｔの位置ベクトルξ_φ（ｔ）に対し、ハフ変換を用いて、極座標の動径に応じた値＾ρ_φ（ｔ）及び偏角に応じた値＾α_φ（ｔ）を与え、
   前記タプルｔの各々について、前記タプルｔに含まれる前記局所領域ｘ、ｙの各々について計算された前記局所特徴ｕ（ｘ）、ｕ（ｙ）に対して与えられた、Ｖｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）、並びに前記アフィン正規化部によって正規化された前記タプルｔの前記位置ベクトルξ_φ（ｔ）に対して与えられた、前記動径に応じた値＾ρ_φ（ｔ）及び偏角に応じた値＾α_φ（ｔ）を合成した空間的特徴ｈ（ｔ）＝｛＾ｕ（ｘ）、＾ｕ（ｙ）、＾ρ_φ（ｔ）、＾α_φ（ｔ）｝を、前記画像に対応する空間的特徴として出力する請求項１記載の特徴抽出装置。
5. 前記特徴出力部は、タプルｔの各々について、前記タプルｔに含まれる局所領域ｘ、ｙの各々について計算された局所特徴ｕ（ｘ）、ｕ（ｙ）に対し、前記局所特徴とＶｉｓｕａｌ Ｗｏｒｄとの対応関係が予め求められたＶｉｓｕａｌ Ｖｏｃａｂｕｌａｒｙを用いて、対応するＶｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）を与え、
   前記タプルｔの各々について、前記アフィン正規化部によって正規化された前記タプルｔの位置ベクトルξ_φ（ｔ）に対し、ハフ変換を用いて、極座標の動径に応じた値＾ρ_φ（ｔ）及び偏角に応じた値＾α_φ（ｔ）を与え、
   前記タプルｔの各々について、前記タプルｔに含まれる前記局所領域ｘ、ｙの各々について計算された前記局所特徴ｕ（ｘ）、ｕ（ｙ）に対して与えられた、Ｖｉｓｕａｌ Ｗｏｒｄ＾ｕ（ｘ）、＾ｕ（ｙ）、前記アフィン正規化部によって正規化された前記タプルｔの前記位置ベクトルξ_φ（ｔ）に対して与えられた、前記動径に応じた値＾ρ_φ（ｔ）及び偏角に応じた値＾α_φ（ｔ）、並びに前記アフィン正規化部によって正規化された前記タプルｔの前記位置ベクトルξ_φ（ｔ）を合成した空間的特徴ｈ（ｔ）＝｛＾ｕ（ｘ）、＾ｕ（ｙ）、＾ρ_φ（ｔ）、＾α_φ（ｔ）、ξ_φ（ｔ）｝を、前記画像に対応する空間的特徴として出力する請求項１記載の特徴抽出装置。
6. 局所領域検出部、局所特徴計算部、位置ベクトル計算部、アフィン正規化部、及び特徴出力部を含む特徴抽出装置における特徴抽出方法であって、
   前記局所領域検出部が、入力された画像について、特徴的な局所領域の各々を検出し、前記特徴的な局所領域の各々に対し、アフィン変換に対応する正規化を行うための正規化係数を検出し、
   前記局所特徴計算部が、前記特徴的な局所領域の各々について、局所特徴を計算し、
   位置ベクトル計算部が、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの位置関係を示す位置ベクトルを計算し、
   前記アフィン正規化部が、前記特徴的な局所領域の各々について、前記局所領域と他の局所領域との組み合わせであるタプルの各々に対し、前記タプルの前記位置ベクトルを、前記局所領域に対して検出された前記正規化係数を用いて正規化し、
   前記特徴出力部が、前記タプルの各々について、前記タプルに含まれる前記局所領域の各々について計算された前記局所特徴、及び前記アフィン正規化部によって正規化された前記タプルの前記位置ベクトルを合成して、前記画像に対応する空間的特徴として出力する、
   特徴抽出方法。
7. コンピュータを、請求項１〜５の何れか１項記載の特徴抽出装置を構成する各部として機能させるためのプログラム。

Images