JP6044547B2 - 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム - Google Patents

Description

本発明は、局所特徴量抽出装置、局所特徴量抽出方法、及びプログラムに関する。

画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。

図３１は、ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。また、図３２は、図３１に示した局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。

図３１に示すように、局所特徴量抽出装置は、特徴点検出部２００、局所領域取得部２１０、サブ領域分割部２２０、及びサブ領域特徴ベクトル生成部２３０を備えている。特徴点検出部２００は、画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する。局所領域取得部２１０は、検出された各特徴点の座標値、スケール、及び角度から、特徴量抽出を行う局所領域を取得する。サブ領域分割部２２０は、局所領域をサブ領域に分割する。図３２に示す例では、サブ領域分割部２２０は、局所領域を１６ブロック（４×４ブロック）に分割している。サブ領域特徴ベクトル生成部２３０は、局所領域のサブ領域ごとに勾配方向ヒストグラムを生成する。具体的には、サブ領域特徴ベクトル生成部２３０は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。なお、ここで求める勾配方向は、特徴点検出部２００が出力する各特徴点の角度に対する相対的な方向である。すなわち、特徴点検出部２００が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部２３０は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。こうして、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムが、１２８次元の局所特徴量として出力される。

米国特許第６７１１２９３号明細書

David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110

上述した局所特徴量は、そのサイズが大きくなってしまうという問題点がある。例えば、ＳＩＦＴ特徴量の場合、各次元のヒストグラム値を１バイトであらわすこととすると、１２８次元×１バイトのサイズが必要となる。このように局所特徴量のサイズが大きくなってしまうと、画像の照合（マッチング）のために局所特徴量を用いる場合に問題が生じることがある。例えば、ユーザ端末（例えばカメラ付きの携帯端末など）が、画像から局所特徴量を抽出し、当該画像に類似する画像を検索するために局所特徴量をサーバに送信する場合、局所特徴量のサイズが大きいと通信時間が長くなってしまう。そのため、画像の検索結果が得られるまでの時間が長くなってしまう。また、局所特徴量のサイズが大きいと、画像の局所特徴量を照合する際の処理時間が長くなってしまう。また、局所特徴量を用いた画像検索の場合、画像の局所特徴量をメモリ上に格納することとなるが、局所特徴量のサイズが大きいとメモリ上に局所特徴量を格納可能な画像数が少なくなってしまう。そのため、大量の画像を対象とする大規模検索には適さないこととなる。

そこで、本発明は、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることを目的とする。

本発明の一側面に係る局所特徴量抽出装置は、画像内の特徴点を検出する特徴点検出部と、各特徴点に対する局所領域を取得する局所領域取得部と、各局所領域を複数のサブ領域に分割するサブ領域分割部と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、を備える。

また、本発明の一側面に係る局所特徴量抽出方法では、コンピュータが、画像内の特徴点を検出し、各特徴点に対する局所領域を取得し、各局所領域を複数のサブ領域に分割し、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する。

また、本発明の一側面に係るプログラムは、コンピュータに、画像内の特徴点を検出する機能と、各特徴点に対する局所領域を取得する機能と、各局所領域を複数のサブ領域に分割する機能と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、を実現させるためのものである。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることが可能となる。

本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。 １２８次元の特徴ベクトルから次元を選定する場合の一例を示す図である。 次元選定の別の一例を示す図である。 次元を選定する際の優先順位の一例を示す図である。 １５０次元の特徴ベクトルの要素の番号の一例を示す図である。 １５０次元の特徴ベクトルの要素の番号の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 次元を選定する際の優先順位の一例を示す図である。 次元選定の別の一例を示す図である。 円状の局所領域の一例を示す図である。 円状の局所領域における次元選定の一例を示す図である。 局所特徴量抽出装置における処理の一例を示すフローチャートである。 本発明の第２の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第３の実施形態における局所特徴量抽出装置の構成を示す図である。 勾配方向ヒストグラムの各次元を２値に量子化する一例を示す図である。 本発明の４の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第５の実施形態における局所特徴量抽出装置の構成を示す図である。 特徴ベクトルを拡張する場合の一例を示す図である。 特徴ベクトルを拡張する場合の一例を示す図である。 後段の次元選定部において選択される次元とは異なる次元を用いて勾配方向ヒストグラムを拡張する場合の一例を示す図である。 次元を選定する際の優先順位の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 次元を選定する際の優先順位の別の一例を示す図である。 優先順位に従って出力される局所特徴量の構成例を示す図である。 本発明の第６の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第７の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第８の実施形態における局所特徴量抽出装置の構成を示す図である。 本発明の第９の実施形態における局所特徴量抽出装置の構成を示す図である。 局所特徴量抽出装置を適用可能な照合システムの一例を示す図である。 照合装置における、局所特徴量を用いた照合の一例を示す図である。 ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。 局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。

以下、図面を参照して本発明の実施形態について説明する。

＝＝第１の実施形態＝＝
図１は、本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。局所特徴量抽出装置１Ａは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、及び次元選定部１８を含んで構成される。局所特徴量抽出装置１Ａは、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、局所特徴量抽出装置１Ａを構成する各部は、例えば、メモリ等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。なお、後述する他の実施形態における構成要素についても同様に実現することができる。

特徴点検出部１０は、画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する。

局所領域取得部１２は、検出された各特徴点の座標値、スケール、及び角度から、特徴量抽出を行う局所領域を取得する。

サブ領域分割部１４は、局所領域をサブ領域に分割する。例えば、サブ領域分割部１４は、図３２に示したように、局所領域を１６ブロック（４×４ブロック）に分割することができる。また例えば、サブ領域分割部１４は、局所領域を２５ブロック（５×５ブロック）に分割することもできる。

サブ領域特徴ベクトル生成部１６は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、サブ領域特徴ベクトル生成部１６は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。ここで求める勾配方向は、特徴点検出部１０が出力する各特徴点の角度に対する相対的な方向である。すなわち、特徴点検出部１０が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１６は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１６は、各特徴点に対して生成される１６ブロック×８方向＝１２８次元の勾配方向ヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を８方向に量子化するだけに限らず、４方向、６方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値ｉ（ｉ＝０，・・・，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

ここでfloor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、勾配方向ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、勾配方向ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

次元選定部１８は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１８は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

また、次元選定部１８は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１８は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１８は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１８は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

図２〜図７を参照して、次元選定部１８における次元選定の具体例を説明する。図２は、局所領域を４×４ブロックのサブ領域に分割し、勾配方向を８方向に量子化して生成された１２８次元の勾配方向ヒストグラムの特徴ベクトルから次元を選定する場合の一例を示す図である。図２の例では、ＳＩＦＴ特徴量と同様の１２８次元（４×４＝１６ブロック×８方向）の特徴ベクトルから次元の選定が行われている。

図２に示すように、次元選定部１８は、１２８次元から半分の次元数である６４次元を選定する場合、隣接する左右、上下のブロック（サブ領域）では、同一の勾配方向の次元が選定されないように、次元を選定することができる。図２では、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５，６，７）とした場合に、ｉ＝０，２，４，６の要素を選定するブロックと、ｉ＝１，３，５，７の要素を選定するブロックとが交互に並んでいる例が示されている。また、図２では、別の例として、ｉ＝０，３，４，７の要素を選定するブロックと、ｉ＝１，２，５，６の要素を選定するブロックとが交互に並んでいる例が示されている。そして、図２の例では、隣接するブロックで選定された勾配方向（次元）を合わせると、全８方向となっている。すなわち、隣接するブロック間で特徴量を補完し合う関係となっている。

また、図２に示すように、次元選定部１８は、３２次元を選定する場合、斜め４５°に位置するブロック間でも、同一の勾配方向の次元が選定されないように、次元を選定することができる。そして、図２の例では、隣接する２×２ブロックで選定された勾配方向（次元）を合わせると、全８方向となっている。すなわち、この場合においても、隣接するブロック間で特徴量を補完し合う関係となっている。

このように、隣接するブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図２に示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図２に示した次元選定方法は一例であり、この選定方法に限らない。

図３は、次元選定の別の一例を示す図である。図３の例では、サブ領域分割部１４が、局所領域を５×５＝２５ブロックのサブ領域に分割し、サブ領域特徴ベクトル生成部１６が、各サブ領域から６方向の勾配方向ヒストグラムを生成している。すなわち、図３に示すように、サブ領域特徴ベクトル生成部１６が生成する特徴ベクトルは１５０次元である。

図３に示すように、次元選定部１８は、１５０次元から半分の７５次元を選定する場合に、隣接する左右、上下のブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とした場合に、ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並んでいる。そして、図３の例では、隣接するブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部１８は、７５次元から５０次元を選定する場合は、斜め４５°に位置するブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。また、次元選定部１８は、５０次元から２５次元を選定する場合は、斜め４５°に位置するブロック間で、選定される勾配方向が一致しないように次元を選定することができる。

図３に示す例では、次元選定部１８は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

また、次元選定部１８は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図４に示すようなブロックの順番で次元を追加するように選定していってもよい。図４に示す優先順位を用いる場合、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。図５は、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｂ（ｂ＝０，１，・・・，２４）で表し、量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，１４９）をｋ＝６×ｂ＋ｉとしている。なお、図５に示した勾配方向とそれに対応する番号ｋは模式的に示したもので、必ずしも実際の画像上の勾配方向と一致している必要はない。例えば要素番号０は、図５では上方向の勾配として図示しているが、実際の画像上では画像座標系における０度方向の勾配に対応させることが多い。一例として、図６に、図５とは異なる勾配方向の対応付けを示す。図５と比較すると、図６のほうが実際の画像上での画像座標系における対応付けに近い場合があるが、本質的な差はない。

また、図７は、図４に示した優先順位に従って図５または図６に示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１８は、例えば、図７に示す順序で次元（要素）を出力することができる。具体的には、次元選定部１８は、例えば１５０次元の局所特徴量を出力する場合、図７に示す順序で全１５０次元の要素を出力することができる。また、次元選定部１８は、例えば２５次元の局所特徴量を出力する場合、図７に示す１行目（７６番目、４５番目、８３番目、・・・、１２０番目）の要素を図７に示す順（左から右）に出力することができる。また、次元選定部１８は、例えば５０次元の局所特徴量を出力する場合、図７に示す１行目に加えて、図７に示す２行目の要素を図７に示す順（左から右）に出力することができる。

ところで、図７に示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素の並びは同一となっている。このように、次元選定部１８は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１８が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図４〜図７に示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４の例の他に、図８（ａ）や図８（ｂ）に示すような順番でもよい。また例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部１８は、図９（ａ）や図９（ｂ）に示すような選定を行ってもよい。この場合、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定されている。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、図２や図３に示したような正方形に限られず、任意の形状とすることができる。例えば、図１０に示すように、局所領域取得部１２は、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部１４は、図１０に示すように、円状の局所領域を例えば９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１８は、各サブ領域において、例えば図１１に示すように、次元を選定することができる。なお、図１１に示す例では、７２次元から４０次元を選定する際に、中央のサブ領域では次元の間引きが行われていない。

図１２は、局所特徴量抽出装置１Ａにおける処理の一例を示すフローチャートである。まず、特徴点検出部１０は、画像内の特徴点を検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する（Ｓ１１０１）。特徴点が検出されると、局所領域取得部１２は、検出された各特徴点の座標値、スケール、及び角度に基づいて、特徴量抽出を行う局所領域を取得する（Ｓ１１０２）。そして、サブ領域分割部１４は、局所領域をサブ領域に分割する（Ｓ１１０３）。サブ領域特徴ベクトル生成部１６は、局所領域のサブ領域ごとに、勾配方向ヒストグラムを生成する（Ｓ１１０４）。最後に、次元選定部１８は、定められた選定順序に従って、局所特徴量として出力する次元（要素）を選定する（Ｓ１１０５）。

このように、第１の実施形態の局所特徴量抽出装置１Ａでは、次元選定部１８が、サブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する。つまり、近接するサブ領域は相関が高いことが多いため、次元選定部１８は、近接するサブ領域からは同じ特徴ベクトルの次元（要素）が選定されないように、次元の選定を行うことができる。これにより、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることが可能となる。

また、次元選定部１８は、図７に例示したように、局所特徴量を階層的（プログレッシブ）に出力することができる。これにより、選定された次元数（特徴量のサイズ）が異なる局所特徴量の間であっても、相互に照合（距離計算）を行うことができる。

また、次元選定部１８は、サブ領域の位置関係に基づいて次元の選定を行うため、次元の選定の際に学習を行う必要がない。つまり、データ（画像）に依存せずに汎用的な局所特徴量の抽出を行うことができる。

なお、局所特徴量抽出装置１Ａでは、サブ領域特徴ベクトル生成部１６と次元選定部１８の処理の順序を入れ替えてもよい。すなわち、局所特徴量抽出装置１Ａでは、次元選定部１８において次元を選定した後に、サブ領域特徴ベクトル生成部１６において、選定された次元に対する特徴ベクトルが生成されることとしてもよい。

＝＝第２の実施形態＝＝
次に第２の実施形態について説明する。図１３は、本発明の第２の実施形態における局所特徴量抽出装置の構成を示す図である。第２の実施形態においては、選定される次元数を変更することが可能となっている。図１３に示すように、局所特徴量抽出装置１Ｂは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元数決定部２０、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｂは、第１の実施形態の局所特徴量抽出装置１Ａに次元数決定部２０を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

次元数決定部２０は、次元選定部１８において選定される次元数を決定することができる。例えば、次元数決定部２０は、次元数を示す情報をユーザから受け付けることにより、次元数を決定することができる。なお、次元数を示す情報は、次元数そのものを示すものである必要はなく、例えば、検索精度や検索速度などを示す情報であってもよい。具体的には、次元数決定部２０は、例えば、検索精度を高くすることを要求する入力を受け付けた場合には、次元数が多くなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、検索速度を速くすることを要求する入力を受け付けた場合には、次元数が少なくなるように次元数を決定することとしてもよい。

また、例えば、次元数決定部２０は、局所特徴量抽出装置１Ｂが用いられるアプリケーションや通信容量、端末の処理スペックなどに基づいて次元数を決定することとしてもよい。具体的には、次元数決定部２０は、例えば、通信容量が小さい（通信速度が遅い）場合には、通信容量が大きい（通信速度が速い）場合と比較して次元数が少なくなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、端末の処理スペックが低い場合には、処理スペックが高い場合と比較して次元数が少なくなるように次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、端末の処理負荷に応じて動的に次元数を決定することとしてもよい。また、次元数決定部２０は、例えば、画像全体で使用できる局所特徴量のサイズが決められている場合に、画像全体で抽出された特徴点数から逆算して、各特徴点において選定される次元数を決定してもよい。

なお、次元数決定部２０は、画像から検出される全ての特徴点に対して同じ次元数を決定することとしてもよいし、特徴点ごとに異なる次元数を決定してもよい。例えば、次元数決定部２０は、外部情報によって特徴点の重要度が与えられた場合に、重要度の高い特徴点は次元数を多くし、重要度の低い特徴点は次元数を少なくしてもよい。

例えば、次元数決定部２０は、画像内の領域に応じて重要度を判定することとしてもよい。具体的には、次元数決定部２０は、例えば、画像の中央の特徴点は、画像の周辺部の特徴点よりも重要とみなして、画像の中央の特徴点に対する次元数が多くなるように次元数を決定してもよい。

また、例えば、次元数決定部２０は、特徴ベクトルに基づいて特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴ベクトルの値を参照し、頻繁に出現するパターンであると判定可能である場合には、識別のための局所特徴量としてはあまり役立たないとみなし、重要度が低いと判断することとしてもよい。逆に、次元数決定部２０は、このような場合に、識別能力を高めるために次元数を増やすこととしてもよい。

また、例えば、次元数決定部２０は、画像内の他の特徴点の特徴ベクトルの値との関係性に基づいて特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴ベクトルの値を他の特徴点の特徴ベクトルの値と比較することにより、特徴ベクトルが頻繁に出現するパターンであるかどうかを判定し、その判定結果に基づいて重要度を判断することとしてもよい。

また、例えば、次元数決定部２０は、特徴点検出部１０による特徴点検出時の情報に基づいて各特徴点の重要度を判断することとしてもよい。具体的には、次元数決定部２０は、例えば、特徴点のスケールの情報に基づいて特徴点の重要度を判断してもよい。例えば、次元数決定部２０は、スケール値が大きい特徴点は重要度が高いと判断することとしてもよい。

次元選定部１８は、次元数決定部２０により決定された次元数に基づいて、第１の実施形態の次元選定部１８と同様に特徴ベクトルの次元を選定し、局所特徴量として出力することができる。なお、上述したように、選定される次元数は、画像から検出される全ての特徴点に対して同じであってもよいし、特徴点ごとに異なっていてもよい。

このように、第２の実施形態の局所特徴量抽出装置１Ｂでは、次元数決定部２０が、次元選定部１８において選定される次元数を決定することができる。これにより、ユーザ入力や通信容量、端末の処理スペックなどに基づいて、適切な次元数を決定することが可能となる。

＝＝第３の実施形態＝＝
次に第３の実施形態について説明する。図１４は、本発明の第３の実施形態における局所特徴量抽出装置の構成を示す図である。第３の実施形態においては、特徴ベクトルを量子化することにより、局所特徴量のサイズをさらに小さくすることが可能である。図１４に示すように、局所特徴量抽出装置１Ｃは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び量子化部２２を含んで構成される。このように、局所特徴量抽出装置１Ｃは、第１の実施形態の局所特徴量抽出装置１Ａに量子化部２２を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

量子化部２２は、サブ領域特徴ベクトル生成部１６から出力される勾配方向ヒストグラムの各次元をＮ値に量子化することができる。なお、量子化部２２における量子化手法は任意である。量子化部２２は、ベクトル量子化などによって複数の次元をまとめて量子化するのではなく、各次元を個別に量子化することができる。これにより、次元選定部１８は、量子化が行われた後においても、第１の実施形態の場合と同様に次元の選定を行うことができる。

量子化の具体例について説明する。例えば、Ｎ＝２の場合、量子化部２２は図１５に示すように勾配方向ヒストグラムの各次元を２値に量子化することができる。ここで、勾配方向ヒストグラムにおける勾配方向の数をＤ（例えば、Ｄ＝６や、Ｄ＝８）、各サブ領域の勾配方向ヒストグラムの値をｈi（ｉ＝０，・・・，Ｄ−１）とあらわすこととする。量子化部２２は、ｈiの量子化値ｑi（ｉ＝０，・・・，Ｄ−１）を次式（３）に基づいて求めることができる。

また、量子化部２２は、閾値ｔｈを例えば次式（４）により算出することができる。

ここで、αはあらかじめ決められた係数である。なお、αは全てのサブ領域に対して同じ値であってもよいし、サブ領域ごとに異なる値であってもよい。

また、式（４）による閾値は一例であり、量子化部２２は、他の式に基づいて閾値ｔｈを算出することとしてもよい。例えば、量子化部２２は、閾値ｔｈを、ｔｈ＝α・ｍａｘ（ｈi：ｉ＝０，・・・，Ｄ−１）として算出してもよい。また、量子化部２２は、量子化値０と１とがほぼ半数となるように閾値を定めることとしてもよい。具体的には、量子化部２２は、例えば、ｈi（ｉ＝０，・・・，Ｄ−１）を昇順にソートした前半半分の量子化値を０、後半半分の量子化値を１とすることができる。

また、量子化部２２は、閾値ｔｈをサブ領域ごとに定めてもよいし、局所領域全体で定めてもよい。例えば、量子化部２２は、式（４）による閾値ｔｈの計算を、サブ領域ごとではなく、局所領域全体の勾配方向ヒストグラムの値を用いて行うことにより、閾値ｔｈを局所領域全体で定めることができる。

このように、第３の実施形態の局所特徴量抽出装置１Ｃでは、量子化部２２によって特徴ベクトルの量子化を行うことにより、局所特徴量のサイズをさらに小さくすることができる。

＝＝第４の実施形態＝＝
次に第４の実施形態について説明する。図１６は、本発明の４の実施形態における局所特徴量抽出装置の構成を示す図である。第４の実施形態においては、次元選定が行われた後に量子化を行うことにより、局所特徴量のサイズをさらに小さくすることが可能である。図１６に示すように、局所特徴量抽出装置１Ｄは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び量子化部２４を含んで構成される。このように、局所特徴量抽出装置１Ｄは、第１の実施形態の局所特徴量抽出装置１Ａに量子化部２４を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

量子化部２４は、第３の実施形態における量子化部２２と同様に、特徴ベクトルの各次元を個別に量子化することができる。さらに、量子化部２４は、例えばベクトル量子化の手法を用いることにより、特徴ベクトルの複数の次元をまとめて量子化することも可能である。

このように、第４の実施形態の局所特徴量抽出装置１Ｄでは、量子化部２４によって特徴ベクトルの量子化を行うことにより、局所特徴量のサイズをさらに小さくすることができる。また、量子化部２４が特徴ベクトルの複数の次元をまとめて量子化する場合、第３の実施形態と比較して、量子化の対象となる次元数を少なくし、量子化に必要な処理量を低減することができる。

＝＝第５の実施形態＝＝
次に第５の実施形態について説明する。図１７は、本発明の第５の実施形態における局所特徴量抽出装置の構成を示す図である。図１７に示すように、局所特徴量抽出装置１Ｅは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び特徴ベクトル拡張部２６を含んで構成される。このように、局所特徴量抽出装置１Ｅは、第１の実施形態の局所特徴量抽出装置１Ａに特徴ベクトル拡張部２６を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、特徴ベクトル拡張部２６は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。

特徴ベクトル拡張部２６は、サブ領域特徴ベクトル生成部１６から出力された特徴ベクトルを用いて、より大きなスケール（拡張分割領域）における次元を生成することにより、特徴ベクトルを拡張することができる。なお、特徴ベクトル拡張部２６は、サブ領域特徴ベクトル生成部１６から出力される特徴ベクトルのみの情報を用いて特徴ベクトルを拡張することができる。したがって、特徴ベクトルを拡張するために元の画像に戻って特・BR>・抽出を行う必要がないため、元の画像から特徴ベクトルを生成する処理時間と比較すると、特徴ベクトルの拡張にかかる処理時間はごくわずかである。

例えば、特徴ベクトル拡張部２６は、隣接するサブ領域の勾配方向ヒストグラムを合成することにより、新たな勾配方向ヒストグラムを生成してもよい。例えば、特徴ベクトル拡張部２６は、サブ領域分割部１４で分割されたＮ×Ｎブロックの勾配方向ヒストグラム（Ｎ×Ｎ×Ｄ次元）から、隣接する２×２＝４ブロックの勾配方向ヒストグラムの総和をとる（同一勾配の要素の総和をとる）ことにより、（Ｎ−１）×（Ｎ−１）ブロックの勾配方向ヒストグラム（（Ｎ−１）×（Ｎ−１）×Ｄ次元）を生成してもよい。これにより、特徴ベクトル拡張部２６は、元の特徴ベクトルに基づいて、スケール（２×２ブロック）での勾配方向ヒストグラムを生成することができる。このように生成される特徴ベクトルは、元の特徴ベクトルには無い新たな情報（より大きなスケールでのヒストグラム情報）であるため、識別精度を向上させることが可能となる。また、拡張する際に考慮するブロックは２×２ブロックに限られない。例えば、特徴ベクトル拡張部２６は、３×３ブロックの勾配方向ヒストグラムの総和をとることにより、（Ｎ−２）×（Ｎ−２）ブロックの勾配方向ヒストグラム（（Ｎ−２）×（Ｎ−２）×Ｄ次元）を生成してもよい。このように、特徴ベクトル拡張部２６は、順次ブロックサイズを拡張することにより、階層的なスケールの勾配方向ヒストグラムを生成していくことができる。

図１８は、２×２ブロックの勾配方向ヒストグラムの総和をとる（同一勾配の要素の総和をとる）ことにより特徴ベクトルを拡張する場合の一例を示す図である。図１８に示すように、特徴ベクトル拡張部２６は、例えば、５×５×６次元（１５０次元）の勾配方向ヒストグラムを拡張することにより、４×４×６次元（９６次元）の勾配方向ヒストグラムを生成することができる。

図１８の例では、５×５＝２５ブロックの階層（階層１と呼ぶ）のブロックをラスタスキャン順に番号ｂ１（ｂ１＝０，１，・・・，２４）で表し、拡張して生成される４×４＝１６ブロックの階層（階層２と呼ぶ）のブロックをラスタスキャン順に番号ｂ２（ｂ２＝０，１，・・・，１５）で表すと、
ブロックｂ２＝０のヒストグラムは、ブロックｂ１＝０、１、５、６から生成され、
ブロックｂ２＝１は、ブロックｂ１＝１、２、６、７から生成され、
ブロックｂ２＝２は、ブロックｂ１＝２、３、７、８から生成され、
ブロックｂ２＝３は、ブロックｂ１＝３、４、８、９から生成され、
ブロックｂ２＝４は、ブロックｂ１＝５、６、１０、１１から生成され、
ブロックｂ２＝５は、ブロックｂ１＝６、７、１１、１２から生成され、
ブロックｂ２＝６は、ブロックｂ１＝７、８、１２、１３から生成され、
ブロックｂ２＝７は、ブロックｂ１＝８、９、１３、１４から生成され、
ブロックｂ２＝８は、ブロックｂ１＝１０、１１、１５、１６から生成され、
ブロックｂ２＝９は、ブロックｂ１＝１１、１２、１６、１７から生成され、
ブロックｂ２＝１０は、ブロックｂ１＝１２、１３、１７、１８から生成され、
ブロックｂ２＝１１は、ブロックｂ１＝１３、１４、１８、１９から生成され、
ブロックｂ２＝１２は、ブロックｂ１＝１５、１６、２０、２１から生成され、
ブロックｂ２＝１３は、ブロックｂ１＝１６、１７、２１、２２から生成され、
ブロックｂ２＝１４は、ブロックｂ１＝１７、１８、２２、２３から生成され、
ブロックｂ２＝１５は、ブロックｂ１＝１８、１９、２３、２４から生成される。

同様に、特徴ベクトル拡張部２６は、５×５×６次元（１５０次元）の勾配方向ヒストグラムから、隣接する３×３ブロックの勾配方向ヒストグラムの総和をとることにより、３×３×６次元（５４次元）の勾配方向ヒストグラムを生成することも可能である。また、特徴ベクトル拡張部２６は、拡張により生成された４×４×６次元（９６次元）の勾配方向ヒストグラムをもとにして、さらに拡張された勾配方向ヒストグラムを生成することも可能である。例えば、特徴ベクトル拡張部２６は、図１８に示すように、拡張により生成された４×４×６次元（９６次元）の勾配方向ヒストグラムをもとにして、２×２ブロックの勾配方向ヒストグラムの総和をとることにより、さらに３×３×６次元（５４次元）の勾配方向ヒストグラムを生成することができる。

この例では、３×３＝９ブロックの階層（階層３と呼ぶ）のブロックをラスタスキャン順に番号ｂ３（ｂ３＝０，１，・・・，８）で表すと、
ブロックｂ３＝０のヒストグラムは、ブロックｂ２＝０、１、４、５から生成され、
ブロックｂ３＝１は、ブロックｂ２＝１、２、５、６から生成され、
ブロックｂ３＝２は、ブロックｂ２＝２、３、６、７から生成され、
ブロックｂ３＝３は、ブロックｂ２＝４、５、８、９から生成され、
ブロックｂ３＝４は、ブロックｂ２＝５、６、９、１０から生成され、
ブロックｂ３＝５は、ブロックｂ２＝６、７、１０、１１から生成され、
ブロックｂ３＝６は、ブロックｂ２＝８、９、１２、１３から生成され、
ブロックｂ３＝７は、ブロックｂ２＝９、１０、１３、１４から生成され、
ブロックｂ３＝８は、ブロックｂ２＝１０、１１、１４、１５から生成される。

また、特徴ベクトル拡張部２６は、後段の次元選定部１８において選択される次元とは異なる次元を用いて勾配方向ヒストグラムを拡張することも可能である。図２０に具体例を示す。例えば、次元選定部１８において、１５０次元の勾配方向ヒストグラムから７５次元が選択される場合、特徴ベクトル拡張部２６は、残りの（非選択の）７５次元を拡張することにより９６次元の勾配方向ヒストグラムを生成することとしてもよい。

例えば、階層１において図７に示した優先順位に従って７５次元が選択されたとする。ここで、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）とすると、ブロックｂ１＝偶数番号のブロックではｉ＝０，２，４の要素の次元が選択され、ブロックｂ１＝奇数番号のブロックではｉ＝１，３，５の要素の次元が選択される。

したがって、特徴ベクトル拡張部２６は、拡張された階層２の９６次元の勾配方向ヒストグラムを生成するときは、階層１のブロックｂ１＝偶数番号のブロックでは非選択のｉ＝１，３，５の要素の次元、ブロックｂ１＝奇数番号のブロックでは非選択のｉ＝０，２，４の要素の次元、のみを用いて階層２の勾配方向ヒストグラムを生成することができる。

例えば、上述の例で、階層２のブロックｂ２＝０の勾配方向ヒストグラムを、階層１のブロックｂ１＝０、１、５、６の勾配方向ヒストグラムから生成するときに、特徴ベクトル拡張部２６は、ブロックｂ１＝０、６では非選択のｉ＝１，３，５の要素の次元のみ、ブロックｂ１＝１、５では非選択のｉ＝０，２，４の要素の次元のみを用いてもよい。

次元選定部１８は、こうして生成された階層２の９６次元の勾配方向ヒストグラムから、階層１と同様のパターン（ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並ぶ）で半分の４８次元を選択してもよい（合計で７５＋４８＝１２３次元）。

そして、特徴ベクトル拡張部２６は、階層２から階層３へ拡張する際は、同様に階層２の非選択の４８次元を用いて、階層３の５４次元の勾配方向ヒストグラムを生成してもよい。そしてさらに、次元選定部１８は、生成された階層３の５４次元の勾配方向ヒストグラムから、同様のパターン（ｉ＝０，２，４の要素を選定するブロックと、ｉ＝１，３，５の要素を選定するブロックとが交互に並ぶ）で半分の２７次元を選択してもよい（合計で７５＋４８＋２７＝１５０次元）。

これにより、拡張により生成される勾配方向ヒストグラムは、次元選定部１８から出力される特徴ベクトルには無い新たな情報であるため、識別精度を向上させることが可能となる。

そして、次元選定部１８は、図１８の右側に示すように、各スケールで生成された勾配方向ヒストグラムについて、隣接するサブ領域間で、同一の勾配方向を選定しないように次元を選定することにより局所特徴量を出力することができる。

次に、階層２で生成された９６次元の勾配方向ヒストグラム（４×４＝１６ブロック）から、次元選択する優先順位の例を示す。階層２から選択する次元のうち、１〜１６次元、１７次元〜３２次元、３３次元〜４８次元の間は、次元選定部１８は、例えば図２１に示すようなブロックの順番で次元を追加するように選定していってもよい。

図２１に示す優先順位を用いることにより、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。また、ブロック番号をｂ２、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）、９６次元の勾配方向ヒストグラムの特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，９５）をｋ＝６×ｂ＋ｉとした場合に、例えば図２２に示した優先順位に従って次元（要素）を順に選択していってもよい。

次に、階層３で生成された５４次元の勾配方向ヒストグラム（３×３＝９ブロック）から、次元選択する優先順位の例を示す。階層３から選択する次元のうち、１〜９次元、１０次元〜１８次元、１９次元〜２７次元の間は、次元選定部１８は、例えば図２３に示すようなブロックの順番で次元を追加するように選定していってもよい。図２３に示す優先順位を用いる場合、次元選定部１８は、中心に近いブロックの優先順位を高くして、勾配方向を選定していくことができる。また、ブロック番号をｂ３、勾配方向ヒストグラムにおける量子化された勾配方向をｉ（ｉ＝０，１，２，３，４，５）、５４次元の勾配方向ヒストグラムの特徴ベクトルの要素の番号ｋ（ｋ＝０，１，・・・，５３）をｋ＝６×ｂ＋ｉとした場合に、次元選定部１８は、例えば図２４に示した優先順位に従って次元（要素）を順に選択していってもよい。

また具体例として、次元選定部１８は、図７に示した階層１の優先順位に従って１〜７５次元（１５０次元の半分）を順に選択していき、次に図２２に示した階層２の優先順位に従って１〜４８次元（９６次元の半分）を順に選択していき、７６〜１２３次元を構成してもよい（７５次元＋４８次元＝１２８次元）。またさらに、次元選定部１８は、次に図２４に示した階層３の優先順位に従って１〜２７次元（５４次元の半分）を順に選択していき、１２４〜１５０次元を構成してもよい（７５次元＋４８次元＋２７次元＝１５０次元）。

なお、特徴ベクトル拡張部２６における拡張のパターンは上述の例に限られない。例えば、特徴ベクトル拡張部２６は、サブ領域（ブロック）ごとの勾配方向ヒストグラムを量子化することにより、拡張された特徴ベクトルを生成することとしてもよい。具体的には、例えば、局所領域全体の勾配方向ヒストグラムの総和量に係数αを掛けた値を閾値として、各サブ領域の勾配方向ヒストグラムの総和量が閾値以下であれば０、閾値以上であれば１とすることにより、拡張された特徴ベクトルを生成することができる。また、特徴ベクトル拡張部２６は、勾配方向ヒストグラムの総和ではなく、例えば差分によって特徴ベクトルを拡張することも可能である。具体的には、例えば、特徴ベクトル拡張部２６は、異なるサブ領域間の勾配方向ヒストグラムの同一次元の値の差分に基づいて特徴ベクトルを拡張することとしてもよい。

また、第３の実施形態や第４の実施形態との組み合わせで、特徴ベクトル（勾配方向ヒストグラム）を量子化してもよい。なお、量子化は、階層ごと（階層１、階層２、階層３）に、異なるパラメータを用いて行ってもよい。例えば、量子化を式（１）に基づいて行い、その閾値ｔｈを式２で算出する場合に、係数αを階層ごとに異なる値にしてもよい。例えば階層１ではα＝0.063、階層２ではα＝0.10、階層３ではα＝0.12などである。

このように、第５の実施形態の局所特徴量抽出装置１Ｅでは、特徴ベクトル拡張部２６によって特徴ベクトルを拡張することができる。これにより、元の特徴ベクトルには無い新たな情報を含む特徴ベクトルが生成され、識別精度を向上させることができる。

＝＝第６の実施形態＝＝
次に第６の実施形態について説明する。図２５は、本発明の第６の実施形態における局所特徴量抽出装置の構成を示す図である。図２５に示すように、局所特徴量抽出装置１Ｆは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｆは、第１の実施形態の局所特徴量抽出装置１Ａに第２のサブ領域特徴ベクトル生成部２８を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、第２のサブ領域特徴ベクトル生成部２８は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。

第２のサブ領域特徴ベクトル生成部２８は、第１のサブ領域特徴ベクトル生成部１６とは異なる勾配方向の勾配方向ヒストグラムを生成することができる。例えば、第１のサブ領域特徴ベクトル生成部１６が４５°間隔の８方向の勾配方向ヒストグラムを生成する場合であれば、第２のサブ領域特徴ベクトル生成部２８は、６０°間隔の６方向の勾配方向ヒストグラムを生成することとしてもよい。

そして、次元選定部１８は、第１のサブ領域特徴ベクトル生成部１６および第２のサブ領域特徴ベクトル生成部２８のそれぞれで生成された特徴ベクトルについて、隣接するサブ領域間で、同一の勾配方向を選定しないように次元を選定することにより局所特徴量を出力することができる。

このように、第６の実施形態の局所特徴量抽出装置１Ｆでは、第２のサブ領域特徴ベクトル生成部２８が、第１のサブ領域特徴ベクトル生成部１６とは異なる勾配方向の勾配方向ヒストグラムを生成するため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。

なお、第６の実施形態では第１のサブ領域特徴ベクトル生成部１６および第２のサブ領域特徴ベクトル生成部２８の２つを示したが、特徴ベクトル生成部は３つ以上であってもよい。

＝＝第７の実施形態＝＝
次に第７の実施形態について説明する。図２６は、本発明の第７の実施形態における局所特徴量抽出装置の構成を示す図である。図２６に示すように、局所特徴量抽出装置１Ｇは、特徴点検出部１０、局所領域取得部１２、第１のサブ領域分割部１４、第２のサブ領域分割部３０、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｇは、第６の実施形態の局所特徴量抽出装置１Ｆに第２のサブ領域分割部３０を追加した構成となっている。なお、第６の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

第２のサブ領域分割部３０は、第１のサブ領域分割部１４とは異なる手法により領域分割を行うことができる。例えば、第１のサブ領域分割部１４が局所領域を４×４ブロックに分割する場合であれば、第２のサブ領域分割部３０は５×５ブロックに分割することとしてもよい。

そして、第１のサブ領域特徴ベクトル生成部１６は、第１のサブ領域分割部１４により分割されたサブ領域ごとに勾配方向ヒストグラムを生成する。また、第２のサブ領域特徴ベクトル生成部２８は、第２のサブ領域分割部３０により分割されたサブ領域ごとに勾配方向ヒストグラムを生成する。

このように、第７の実施形態の局所特徴量抽出装置１Ｇでは、第２のサブ領域分割部３０が、第１のサブ領域分割部１４とは異なる手法により局所領域の分割を行うため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。

なお、第７の実施形態では第１のサブ領域分割部１４および第２のサブ領域分割部３０の２つを示したが、サブ領域分割部は３つ以上であってもよい。

＝＝第８の実施形態＝＝
次に第８の実施形態について説明する。図２７は、本発明の第８の実施形態における局所特徴量抽出装置の構成を示す図である。図２７に示すように、局所特徴量抽出装置１Ｈは、特徴点検出部１０、第１の局所領域取得部１２、第２の局所領域取得部３２、第１のサブ領域分割部１４、第２のサブ領域分割部３０、第１のサブ領域特徴ベクトル生成部１６、第２のサブ領域特徴ベクトル生成部２８、及び次元選定部１８を含んで構成される。このように、局所特徴量抽出装置１Ｈは、第７の実施形態の局所特徴量抽出装置１Ｇに第２の局所領域取得部３２を追加した構成となっている。なお、第７の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

第２の局所領域取得部３２は、第１の局所領域取得部１２とは異なる手法により局所領域を取得することができる。例えば、第１の局所領域取得部１２が正方形の局所領域を取得する場合であれば、第２の局所領域取得部３２は円形の局所領域を取得することとしてもよい。

そして、第１のサブ領域分割部１４は、第１の局所領域取得部１２により取得された局所領域をサブ領域に分割する。また、第２のサブ領域分割部３０は、第２の局所領域取得部３２により取得された局所領域をサブ領域に分割する。

このように、第８の実施形態の局所特徴量抽出装置１Ｈでは、第２の局所領域取得部３２が、第１の局所領域取得部１２とは異なる手法により局所領域の取得を行うため、特徴ベクトルの情報量が増加し、識別精度を向上させることが可能となる。

なお、第８の実施形態では第１の局所領域取得部１２および第２の局所領域取得部３２の２つを示したが、局所領域取得部は３つ以上であってもよい。

＝＝第９の実施形態＝＝
次に第９の実施形態について説明する。図２８は、本発明の第９の実施形態における局所特徴量抽出装置の構成を示す図である。図２８に示すように、局所特徴量抽出装置１Ｊは、特徴点検出部１０、局所領域取得部１２、サブ領域分割部１４、サブ領域特徴ベクトル生成部１６、次元選定部１８、及び符号化部３４を含んで構成される。このように、局所特徴量抽出装置１Ｊは、第１の実施形態の局所特徴量抽出装置１Ａに符号化部３４を追加した構成となっている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。また、符号化部３４は、第１の実施形態に限らず、他の実施形態の特徴量抽出装置に対しても適用可能である。

符号化部３４は、次元選定部１８から出力される、優先順位順に次元が並んでいる特徴ベクトルを符号化し、特徴量のビットストリームとして出力することができる。符号化部３４は、例えば、特徴ベクトルを固定ビット長で符号化してもよい。また、符号化部３４は、例えば、ハフマン符号や算術符号を用いたエントロピー符号化等のロスレス符号化（可逆圧縮）による符号化を行ってもよいし、ロッシー符号化（非可逆圧縮）による符号化を行ってもよい。

具体的には、例えば、特徴ベクトルが第３の実施形態に示した量子化部２２によって０・１の２値に量子化されたバイナリ特徴量の場合であれば、符号化部３４は、Ｎ次元をＮビット（Ｎ／８バイト）として固定ビット長で符号化してもよい。例えば、符号化部３４は、９６次元の特徴ベクトル（９６ビット）を９６／８＝１２バイトとして符号化することとしてもよい。また例えば、符号化部３４は、ハフマン符号や算術符号などを用いてエントロピー符号化してもよい。また例えば、符号化部３４は、算術符号などのエントロピー符号を用いる際に、すでに符号化済みの次元の情報を用いることで効率的な符号化（コンテキスト符号化）を行うこととしてもよい。

また、符号化部３４は、画像から抽出された特徴ベクトル群の情報を用いて符号化を行うことも可能である。例えば、画像の中には繰り返し出現するパターンが多いため、符号化部３４は、それらの類似した特徴ベクトルをグルーピングすることにより符号化することとしてもよい。また、画像が動画のフレームの場合は、符号化部３４は、連続するフレーム間で特徴点のトラッキング（追跡）を行って、過去のフレームの特徴点から対応を取り、特徴ベクトルの差分値だけを符号化することとしてもよい。このように、符号化部３４が特徴ベクトル群の情報を用いて符号化を行うことにより、特徴ベクトルを個々に圧縮するよりも更に大きな符号化圧縮が可能となる。

また、符号化部３４は、画像から抽出された特徴ベクトル群について、任意の順番で符号化を行うことができる。例えば、符号化部３４は、特徴ベクトル（特徴点）の抽出された順に符号化していくこととしてもよい。また、特徴点の特徴ベクトルと共に、特徴点の座標位置（Ｘ座標値、Ｙ座標値）の情報も符号化したい場合がある。この場合、符号化部３４は、特徴点をラスタスキャン順などのある決められた順序に並び替え、その座標値の差分値だけを符号化することとしてもよい。この場合、符号化部３４は、特徴ベクトルの符号化をこの順序に符号化することができる。これにより、特徴点の座標値を固定ビット長で符号化する場合よりも短いビット長で座標値の情報を符号化することができる。

また、特徴点の特徴ベクトルと共に、特徴点検出部１０が出力する特徴点のスケール情報も符号化したい場合がある。この場合、符号化部３４は、特徴ベクトルをスケール値順に並び替えて符号化し、スケール値が変化する番号とそのスケール値のみを符号化することができる。これにより、個々の特徴ベクトルに対してスケール値を全て符号化する必要がなくなる。また、スケール情報と座標値の両方を符号化する場合、符号化部３４は、特徴ベクトルをスケール値順に並び替え、同じスケール値の特徴点に対してはラスタスキャン順で符号化していくことも可能である。また、符号化部３４は、スケール情報と同様に角度情報についても符号化することができる。

また、符号化部３４は、特徴ベクトル群を特徴点の重要度順に符号化していくこともできる。なお、特徴点の重要度は、例えば、第１の実施形態の場合と同様の基準とすることができる。これにより、特徴量のマッチング（照合）を行う装置は、先頭から（重要な特徴点から）順に特徴量のマッチングを行っていき、マッチングの可否（マッチするか否か）が判定できた段階でマッチングを打ち切るなど、効率的なマッチングを行うことができる。

また、画像全体で選定された特徴ベクトルの次元数が同じである場合、符号化部３４は、その次元数をビットストリームの先頭などに記述（符号化）すればよい。また、特徴点ごとに次元数が異なる場合、符号化部３４は、個々の特徴点の次元数がわかるようにその情報を符号化する必要がある。この場合、符号化部３４は、特徴点ごとに次元数の情報を符号化してもよい。また、符号化部３４は、スケール情報の符号化を行う場合と同様に、特徴ベクトルを次元数順に並び替えて符号化し、次元数が変化する番号とその次元数の値のみを符号化することとしてもよい。これにより、個々の特徴ベクトルに対して次元数の値を全て符号化する必要がなくなる。

このように、第９の実施形態の局所特徴量抽出装置１Ｊでは、符号化部３４が、局所特徴量の符号化を行うため、特徴量のサイズをさらに小さくすることができる。

＝＝適用例＝＝
図２９は、第１〜第９の実施形態に示した局所特徴量抽出装置を適用可能な照合システムの一例を示す図である。図２９に示すように、照合システムは、照合装置１００、特徴量データベース（ＤＢ：Ｄａｔａｂａｓｅ）１１０、及び局所特徴量抽出装置１２０を含んで構成されている。

照合装置１００は、局所特徴量抽出装置１２０から送信される検索要求に含まれる局所特徴量を特徴量ＤＢ１１０に記憶されている局所特徴量と照合することにより、局所特徴量抽出装置１２０に入力された画像内の被写体と類似する被写体を含む画像を検索することができる。

特徴量ＤＢ１１０は、複数の画像から抽出された局所特徴量を抽出元の画像と対応づけて記憶している。特徴量ＤＢ１１０に記憶されている局所特徴量は、例えば図７に示した順序で出力された１５０次元の特徴ベクトルとすることができる。

局所特徴量抽出装置１２０は、第１〜第９のいずれかの実施形態において示された局所特徴量抽出装置を用いることができる。

局所特徴量抽出装置１２０は、入力画像において検出される特徴点の局所特徴量を含む検索要求を生成して照合装置１００に送信する。照合装置１００では、受信した局所特徴量を特徴量ＤＢ１１０に記憶されている局所特徴量と照合することにより、入力画像に類似する画像を判定する。そして、照合装置１００は、入力画像に類似していると判定した画像を示す情報を検索結果として局所特徴量抽出装置１２０に出力する。

このような照合システムにおいて、局所特徴量抽出装置１２０では、第１〜第９の実施形態で説明したように、サブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるように、局所特徴量として出力する次元（要素）が選定されている。したがって、照合装置１００での照合精度を維持しつつ、局所特徴量のサイズを小さくすることができる。

したがって、局所特徴量抽出装置１２０から照合装置１００に局所特徴量を送信する際の通信時間を短くすることができる。また、局所特徴量のサイズが小さいため、照合装置１００での照合の処理負荷を低くすることができる。さらに、図７に示したように、局所特徴量が階層的（プログレッシブ）な構造となっているため、局所特徴量抽出装置１２０で抽出された局所特徴量の次元数と、特徴量ＤＢ１１０に記憶１１０に格納されている局所特徴量の次元数とが異なる場合であっても、照合装置１００は、互いに共通する次元数までの局所特徴量を用いることにより照合処理を実行することができる。

例えば、図３０に示すように、特徴量ＤＢ１１０に記憶されている局所特徴量が１５０次元であり、局所特徴量抽出装置１２０で抽出される局所特徴量が５０次元である場合を考える。この場合、照合装置１００は、双方の５０次元までの局所特徴量を用いることにより照合を行うことができる。つまり、例えば局所特徴量抽出装置１２０の処理能力に応じて局所特徴量の次元数を変更しても、変更された次元数の局所特徴量を用いて、照合装置１００において照合処理を実行することが可能である。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

この出願は、２０１１年１１月１８日に出願された日本出願特願２０１１−２５３２５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画像内の特徴点を検出する特徴点検出部と、各特徴点に対する局所領域を取得する局所領域取得部と、各局所領域を複数のサブ領域に分割するサブ領域分割部と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、を備える局所特徴量抽出装置。
（付記２）付記１に記載の局所特徴量抽出装置であって、前記次元選定部は、隣接するサブ領域間において、選定される次元が少なくとも１つは異なるように前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記３）付記１または２に記載の局所特徴量抽出装置であって、前記次元選定部は、局所領域内の複数のサブ領域の特徴ベクトルにおいて次元を選定するための選定順位に従って、前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記４）付記３に記載の局所特徴量抽出装置であって、前記次元選定部は、前記選定順位に従って選定された次元の順に、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出装置。
（付記５）付記１〜４の何れか一項に記載の局所特徴量抽出装置であって、前記次元選定部において選定される次元数を決定する次元数決定部をさらに備え、前記次元選定部は、局所領域の特徴量の次元数が前記決定された次元数となるように、前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記６）付記５に記載の局所特徴量抽出装置であって、前記次元数決定部は、検出された前記特徴点の数に応じて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、局所特徴量抽出装置。
（付記７）付記５に記載の局所特徴量抽出装置であって、前記次元数決定部は、各特徴点の重要度を示す情報に基づいて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、局所特徴量抽出装置。
（付記８）付記１〜７の何れか一項に記載の局所特徴量抽出装置であって、サブ領域ごとの前記特徴ベクトルを量子化する量子化部をさらに備え、前記次元選定部は、量子化された前記特徴ベクトルから次元を選定する、局所特徴量抽出装置。
（付記９）付記１〜７の何れか一項に記載の局所特徴量抽出装置であって、前記局所領域の特徴量を量子化する量子化部をさらに備える、局所特徴量抽出装置。
（付記１０）付記１〜９の何れか一項に記載の局所特徴量抽出装置であって、近接する複数のサブ領域の前記特徴ベクトルに基づいて、前記サブ領域より大きいサブ領域である拡張サブ領域における特徴ベクトルを生成する特徴ベクトル拡張部をさらに備え、前記次元選定部は、さらに、各局所領域内の拡張サブ領域の位置関係に基づいて、近接する拡張サブ領域間の相関が低くなるように拡張サブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出装置。
（付記１１）付記１０に記載の局所特徴量抽出装置であって、前記特徴ベクトルの要素は方向に依存した特徴量であり、前記特徴ベクトル拡張部は、サブ領域ごとの前記特徴ベクトルにおける、前記次元選定部で選定されない次元の要素に基づいて、前記拡張サブ領域における特徴ベクトルを生成する、局所特徴量抽出装置。
（付記１２）付記１〜１１の何れか一項に記載の局所特徴量抽出装置であって、各局所領域内のサブ領域ごとに、前記サブ領域特徴ベクトル生成部により生成される特徴ベクトルとは少なくとも１つの要素の方向が異なる、複数次元の特徴ベクトルを生成する第２のサブ領域特徴ベクトル生成部をさらに備える、局所特徴量抽出装置。
（付記１３）付記１２に記載の局所特徴量抽出装置であって、各局所領域を、前記サブ領域分割部により分割される複数のサブ領域とは異なる、複数のサブ領域に分割する第２のサブ領域分割部をさらに備え、前記第２のサブ領域特徴ベクトル生成部は、前記第２のサブ領域分割部により分割されたサブ領域ごとに前記特徴ベクトルを生成する、局所特徴量抽出装置。
（付記１４）付記１３に記載の局所特徴量抽出装置であって、各特徴点に対して、前記局所領域取得部により取得される局所領域とは異なる局所領域を取得する第２の局所領域取得部をさらに備え、前記第２のサブ領域分割部は、前記第２の局所領域取得部により取得される各局所領域を複数のサブ領域に分割する、局所特徴量抽出装置。
（付記１５）コンピュータが、画像内の特徴点を検出し、各特徴点に対する局所領域を取得し、各局所領域を複数のサブ領域に分割し、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、局所特徴量抽出方法。
（付記１６）コンピュータに、画像内の特徴点を検出する機能と、各特徴点に対する局所領域を取得する機能と、各局所領域を複数のサブ領域に分割する機能と、各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、を実現させるためのプログラム。
（付記１７）付記１〜１４の何れか一項に記載の局所特徴量抽出装置であって、前記局所領域の特徴量を符号化する符号化部をさらに備える、局所特徴量抽出装置。

１Ａ〜１Ｊ 局所特徴量抽出装置
１０ 特徴点抽出部
１２ 局所領域取得部
１４ サブ領域分割部
１６ サブ領域特徴ベクトル生成部
１８ 次元選定部
２０ 次元数決定部
２２，２４ 量子化部
２６ 特徴ベクトル拡張部
３４ 符号化部

Claims (16)

1. 画像内の特徴点を検出する特徴点検出部と、
   各特徴点に対する局所領域を取得する局所領域取得部と、
   各局所領域を複数のサブ領域に分割するサブ領域分割部と、
   各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成するサブ領域特徴ベクトル生成部と、
   各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する次元選定部と、
   を備える局所特徴量抽出装置。
2. 請求項１に記載の局所特徴量抽出装置であって、
   前記次元選定部は、隣接するサブ領域間において、選定される次元が少なくとも１つは異なるように前記特徴ベクトルから次元を選定する、
   局所特徴量抽出装置。
3. 請求項１または２に記載の局所特徴量抽出装置であって、
   前記次元選定部は、局所領域内の複数のサブ領域の特徴ベクトルにおいて次元を選定するための選定順位に従って、前記特徴ベクトルから次元を選定する、
   局所特徴量抽出装置。
4. 請求項３に記載の局所特徴量抽出装置であって、
   前記次元選定部は、前記選定順位に従って選定された次元の順に、選定された次元の要素を局所領域の特徴量として出力する、
   局所特徴量抽出装置。
5. 請求項１〜４の何れか一項に記載の局所特徴量抽出装置であって、
   前記次元選定部において選定される次元数を決定する次元数決定部をさらに備え、
   前記次元選定部は、局所領域の特徴量の次元数が前記決定された次元数となるように、前記特徴ベクトルから次元を選定する、
   局所特徴量抽出装置。
6. 請求項５に記載の局所特徴量抽出装置であって、
   前記次元数決定部は、検出された前記特徴点の数に応じて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、
   局所特徴量抽出装置。
7. 請求項５に記載の局所特徴量抽出装置であって、
   前記次元数決定部は、各特徴点の重要度を示す情報に基づいて、各特徴点に対する局所領域の特徴量において選定される次元数を決定する、
   局所特徴量抽出装置。
8. 請求項１〜７の何れか一項に記載の局所特徴量抽出装置であって、
   サブ領域ごとの前記特徴ベクトルを量子化する量子化部をさらに備え、
   前記次元選定部は、量子化された前記特徴ベクトルから次元を選定する、
   局所特徴量抽出装置。
9. 請求項１〜７の何れか一項に記載の局所特徴量抽出装置であって、
   前記局所領域の特徴量を量子化する量子化部をさらに備える、
   局所特徴量抽出装置。
10. 請求項１〜９の何れか一項に記載の局所特徴量抽出装置であって、
    近接する複数のサブ領域の前記特徴ベクトルに基づいて、前記サブ領域より大きいサブ領域である拡張サブ領域における特徴ベクトルを生成する特徴ベクトル拡張部をさらに備え、
    前記次元選定部は、さらに、各局所領域内の拡張サブ領域の位置関係に基づいて、近接する拡張サブ領域間の相関が低くなるように拡張サブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、
    局所特徴量抽出装置。
11. 請求項１０に記載の局所特徴量抽出装置であって、
    前記特徴ベクトルの要素は方向に依存した特徴量であり、
    前記特徴ベクトル拡張部は、サブ領域ごとの前記特徴ベクトルにおける、前記次元選定部で選定されない次元の要素に基づいて、前記拡張サブ領域における特徴ベクトルを生成する、
    局所特徴量抽出装置。
12. 請求項１〜１１の何れか一項に記載の局所特徴量抽出装置であって、
    各局所領域内のサブ領域ごとに、前記サブ領域特徴ベクトル生成部により生成される特徴ベクトルとは少なくとも１つの要素の方向が異なる、複数次元の特徴ベクトルを生成する第２のサブ領域特徴ベクトル生成部をさらに備える、
    局所特徴量抽出装置。
13. 請求項１２に記載の局所特徴量抽出装置であって、
    各局所領域を、前記サブ領域分割部により分割される複数のサブ領域とは異なる、複数のサブ領域に分割する第２のサブ領域分割部をさらに備え、
    前記第２のサブ領域特徴ベクトル生成部は、前記第２のサブ領域分割部により分割されたサブ領域ごとに前記特徴ベクトルを生成する、
    局所特徴量抽出装置。
14. 請求項１３に記載の局所特徴量抽出装置であって、
    各特徴点に対して、前記局所領域取得部により取得される局所領域とは異なる局所領域を取得する第２の局所領域取得部をさらに備え、
    前記第２のサブ領域分割部は、前記第２の局所領域取得部により取得される各局所領域を複数のサブ領域に分割する、
    局所特徴量抽出装置。
15. コンピュータが、
    画像内の特徴点を検出し、
    各特徴点に対する局所領域を取得し、
    各局所領域を複数のサブ領域に分割し、
    各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成し、
    各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する、
    局所特徴量抽出方法。
16. コンピュータに、
    画像内の特徴点を検出する機能と、
    各特徴点に対する局所領域を取得する機能と、
    各局所領域を複数のサブ領域に分割する機能と、
    各局所領域内のサブ領域ごとに複数次元の特徴ベクトルを生成する機能と、
    各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域ごとに前記特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量として出力する機能と、
    を実現させるためのプログラム。

Images