JP6103243B2 - 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム - Google Patents

Description

本発明は、局所特徴量抽出装置、局所特徴量抽出方法、及びプログラムに関する。

画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。

図１５は、ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。また、図１６は、図１５に示した局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。

図１５に示すように、局所特徴量抽出装置は、特徴点検出部２００、局所領域取得部２１０、サブ領域分割部２２０、及びサブ領域特徴ベクトル生成部２３０を備えている。特徴点検出部２００は、画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、及び角度を出力する。局所領域取得部２１０は、検出された各特徴点の座標値、スケール、及び角度から、特徴量抽出を行う局所領域を取得する。サブ領域分割部２２０は、局所領域をサブ領域に分割する。図１６に示す例では、サブ領域分割部２２０は、局所領域を１６ブロック（４×４ブロック）に分割している。サブ領域特徴ベクトル生成部２３０は、局所領域のサブ領域ごとに勾配方向ヒストグラムを生成する。具体的には、サブ領域特徴ベクトル生成部２３０は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。そして、サブ領域特徴ベクトル生成部２３０は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。こうして、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムが、１２８次元の局所特徴量として出力される。

また、特許文献２には、局所特徴量を用いた検索精度や認識精度を向上させるために、画像の回転や拡大、縮小等が行われても抽出される再現性が高い特徴点に、局所特徴量の算出対象を絞る手法が開示されている。

米国特許第６７１１２９３号明細書 特開２０１０−７９５４５号公報

David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110

しかしながら、特許文献１や非特許文献１に開示されている手法では、入力画像から抽出される全ての特徴点に対し局所特徴量の生成が行われている。そのため、検出された特徴点の数が増加するにつれて、生成される局所特徴量のサイズが大きくなってしまうこととなる。このように局所特徴量のサイズが大きくなってしまうと、画像の照合（マッチング）のために局所特徴量を用いる場合に問題が生じることがある。例えば、ユーザ端末（例えばカメラ付きの携帯端末など）が、画像から局所特徴量を抽出し、当該画像に類似する画像を検索するために局所特徴量をサーバに送信する場合、局所特徴量のサイズが大きいと通信時間が長くなってしまう。そのため、画像の検索結果が得られるまでの時間が長くなってしまう。また、局所特徴量のサイズが大きいと、画像の局所特徴量を照合する際の処理時間が長くなってしまう。また、局所特徴量を用いた画像検索の場合、画像の局所特徴量をメモリ上に格納することとなるが、局所特徴量のサイズが大きいとメモリ上に局所特徴量を格納可能な画像数が少なくなってしまう。そのため、大量の画像を対象とする大規模検索には適さないこととなる。

また、特許文献２に開示されている手法では、局所特徴量の算出対象を、再現性の高い特徴点に絞ることはできるものの、再現性の高い特徴点の数が多い場合には、特許文献１や非特許文献１に開示されている手法と同様の問題が生じることとなる。

そこで、本発明は、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることを目的とする。

本発明の一側面に係る局所特徴量抽出装置は、画像内の複数の特徴点を検出し、各特徴点に関する情報である特徴点情報を出力する特徴点検出部と、特徴点情報に基づいて、検出された複数の特徴点の中から、重要度順に所定数の特徴点を選定する特徴点選定部と、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する局所特徴量生成部と、を備える。

また、本発明の一側面に係る局所特徴量抽出方法では、コンピュータが、画像内の複数の特徴点を検出し、各特徴点に関する情報である特徴点情報を出力し、特徴点情報に基づいて、検出された複数の特徴点の中から、重要度順に所定数の特徴点を選定し、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する。

また、本発明の一側面に係るプログラムは、コンピュータに、画像内の複数の特徴点を検出する機能と、各特徴点に関する情報である特徴点情報を出力する機能と、特徴点情報に基づいて、検出された複数の特徴点の中から、重要度順に所定数の特徴点を選定する機能と、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する機能と、を実現させるためのものである。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。

本発明によれば、被写体識別の精度を維持しつつ、特徴量のサイズを小さくすることが可能となる。

本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。 特徴点選定部の構成例を示す図である。 特徴点選定部の構成例を示す図である。 特徴点選定部の構成例を示す図である。 特徴点選定部の構成例を示す図である。 局所特徴量生成部の構成例を示す図である。 第１の実施形態の局所特徴量抽出装置における処理の一例を示すフローチャートである。 本発明の第２の実施形態である局所特徴量抽出装置の構成を示す図である。 本発明の第３の実施形態である局所特徴量抽出装置の構成を示す図である。 第３の実施形態の局所特徴量抽出装置における処理の一例を示すフローチャートである。 本発明の第４の実施形態である局所特徴量抽出装置の構成を示す図である。 本発明の第５の実施形態である局所特徴量抽出装置の構成を示す図である。 第５の実施形態の局所特徴量抽出装置における処理の一例を示すフローチャートである。 本発明の第６の実施形態である局所特徴量抽出装置の構成を示す図である。 ＳＩＦＴ特徴量を用いる局所特徴量抽出装置の一般的な構成の一例を示す図である。 局所特徴量抽出装置におけるＳＩＦＴ特徴量の抽出のイメージを示す図である。

以下、図面を参照して本発明の実施形態について説明する。

＝＝第１の実施形態＝＝
図１は、本発明の第１の実施形態である局所特徴量抽出装置の構成を示す図である。局所特徴量抽出装置１Ａは、特徴点検出部１０、特徴点選定部１２、及び局所特徴量生成部１４を含んで構成される。局所特徴量抽出装置１Ａは、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、局所特徴量抽出装置１Ａを構成する各部は、例えば、メモリ等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。なお、後述する他の実施形態における構成要素についても同様に実現することができる。

特徴点検出部１０は、画像から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である「特徴点番号」等を示すものである。

なお、特徴点検出部１０は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、特徴点検出部１０は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力することとしてもよいし、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力することとしてもよい。また、特徴点検出部１０は、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。

特徴点の検出対象となる画像は、静止画または動画（ショートクリップを含む。）の何れであってもよく、例えば、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。

また、画像は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のように圧縮された画像であってもよいし、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように圧縮されていない画像であってもよい。

また、画像は、圧縮された動画あるいはそれを復号した動画でも良い。なお、画像が動画である場合、特徴点検出部１０は、動画を構成するフレーム画像毎に特徴点の検出を行うことができる。また、画像が、圧縮された動画である場合、その圧縮形式は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＯＴＩＯＮ ＪＰＥＧ、ＷＩＮＤＯＷＳ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＩＮＤＯＷＳ、ＷＩＮＤＯＷＳ Ｍｅｄｉａは登録商標）等、復号可能な形式であれば何でもよい。

特徴点検出部１０は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）処理を用いることができる。具体的には、特徴点検出部１０は、ＤｏＧ処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに特徴点検出部１０は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、特徴点検出部１０は、画像から特徴点を検出して特徴点情報を抽出する際に、ＤｏＧではなく、Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｏｒ等の他の手法を用いてもよい。

特徴点選定部１２は、特徴点検出部１０から出力される特徴点情報に基づいて、検出された特徴点の中から重要度順に指定数（所定数）の特徴点を選定する。そして、特徴点選定部１２は、選定した特徴点の特徴点番号や重要度の順序を示す情報などを、特徴点の選定結果として出力する。

特徴点選定部１２は、例えば、選定される特徴点の「指定数」を示す指定数情報をあらかじめ保持しておくことができる。指定数情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムが参照するテーブル等に記憶されていることとしてもよい。また、指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における、局所特徴量のトータルサイズを示す情報である場合、特徴点選定部１２は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。

図２〜図５を参照して、特徴点選定部１２の構成例について説明する。図２に示すように、特徴点選定部１２は、高スケール順特徴点選定部２０を含む構成とすることができる。高スケール順特徴点選定部２０は、特徴点検出部１０から出力される特徴点情報に基づいて、スケールの高い順に指定数の特徴点を選定することができる。

具体的には、高スケール順特徴点選定部２０は、特徴点情報に基づいて、全特徴点のスケール順に特徴点を並び替え、スケールの大きな特徴点から順に重要度を付与する。そして、高スケール順特徴点選定部２０は、重要度が高い順に特徴点を選定していき、指定数分だけ特徴点を選定した時点で、選定した特徴点に関する情報を選定結果として出力する。高スケール順特徴点選定部２０は、例えば、各特徴点に固有で割り当てられている特徴点番号を選定結果として出力することができる。

一般的に、画像から検出される特徴点は、小さなスケールに多数分布し、スケールが大きくなるほどその数は少なくなる。そのため、高スケール順特徴点選定部２０が、スケールの大きな順に特徴点を選定することにより、結果的に、幅広いスケールの特徴点を選定することが可能となる。このように幅広いスケールの特徴点が選定されることにより、画像中に写る物体の大きさの変動に幅広く対応することが可能となる。その結果、画像検索や物体検出等のアプリケーションにおける精度をほとんど劣化させる事なく、特徴量記述の対象となる特徴点数を少なくすることが可能となる。

図３に示すように、特徴点選定部１２は、特徴点分類部２２及び代表特徴点選定部２４を含む構成とすることができる。特徴点分類部２２は、特徴点情報に基づいて、検出された複数の特徴点を複数のグループに分類することができる。そして、代表特徴点選定部２４は、各グループから少なくとも１つの特徴点を選定することにより、指定数の特徴点を選定することができる。

具体的には、特徴点分類部２２は、例えば、特徴点情報に含まれる特徴点の座標位置に関する情報を用いて、空間方向の特徴点の密集度を算出する。そして、特徴点分類部２２は、座標位置が近い特徴点をグルーピングし、グループ毎に固有の識別子を割当てることで、各特徴点がどの識別子を持つグループに属しているかを表す情報を空間方向特徴点密集度情報として出力することができる。

代表特徴点選定部２４は、空間方向特徴点密集度情報に基づいて、指定数の特徴点を選定することで、選定した特徴点に関する情報を選定結果として出力することができる。例えば、代表特徴点選定部２４は、各特徴点がどのグループに属しているかを示す情報を空間方向特徴点密集度情報として受け取った場合、各グループの中で最もスケールが大きい特徴点を選定してもよいし、各グループ内で最も孤立している特徴点（例えば、グループ内に存在する全特徴点との距離の和が最大となる特徴点）を選定してもよい。

また、代表特徴点選定部２４は、特徴点数の少ないグループから選定された特徴点は重要度が高く、特徴点数の多いグループから選定された特徴点は重要度が低いと判断してもよい。

そして、各グループから選定された特徴点の数が指定数よりも多い場合、代表特徴点選定部２４は、例えば、重要度に基づいて特徴点を指定数まで削減し、選定した特徴点に関する情報を選定結果として出力することができる。このとき、代表特徴点選定部２４は、重要度が高い順に特徴点を選定すればよい。

一方、各グループから選定された特徴点の数が指定数よりも少ない場合、代表特徴点選定部２４は、例えば、特徴点数が少ないグループから順に、さらに１点ずつ特徴点を選定していってもよい。

一般的に、画像から検出される特徴点は、画像中の特定の領域に集中することがあり、それらの特徴点の持つ情報には冗長性が含まれている可能性がある。図３に示す構成では、代表特徴点選定部２４が、空間方向の特徴点の密集度を考慮することにより、画像中から満遍なく特徴点を選定することができる。したがって、画像検索や物体検出等のアプリケーションにおける精度をほとんど劣化させることなく、特徴量記述の対象となる特徴点数を少なくすることが可能となる。

なお、特徴点の分類手法は空間方向の特徴点の密集度によるものに限られない。例えば、特徴点分類部２２は、空間方向の特徴点の密集度に加えて、グループ内の特徴点の持つオリエンテーションの類似度に基づいて特徴点をさらに分類することとしてもよい。例えば、特徴点分類部２２は、空間方向の特徴点の密集度により分類したグループ内の特徴点の中で最も隣接する（距離が最も近い）特徴点同士のオリエンテーションを見て、それが非常に類似している場合は同一のグループにし、類似していない場合は別々のグループにすることとしてもよい。

なお、特徴点分類部２２は、空間方向の特徴点の密集度に基づいて特徴点を分類した後に、特徴点のオリエンテーションに基づいて分類を行うという二段階の処理ではなく、空間方向の特徴点の密集度及びオリエンテーションの類似度を同時に考慮して特徴点の分類を行ってもよい。

図４に示すように、特徴点選定部１２は、特徴点無作為選定部２６を含む構成とすることができる。特徴点無作為選定部２６は、全特徴点に対してランダムに重要度を付与し、重要度が高い順に特徴点を選定することができる。そして、特徴点無作為選定部２６は、指定数の特徴点を選定した時点で、選定した特徴点に関する情報を選定結果として出力することができる。

一般的に、画像から検出される特徴点は、小さなスケールに多数分布し、スケールが大きくなるほどその数は少なくなる。そのため、特徴点無作為選定部２６が、特徴点に対して重要度をランダムに付与し、重要度順に特徴点を選定していくことにより、理想的には前述の分布の形状を保持して特徴点を選定することができる。結果的に、幅広いスケールの特徴点が選定され、画像中に写る物体の大きさの変動に幅広く対応することが可能となる。その結果、画像検索や物体検出等のアプリケーションにおける精度をほとんど劣化させることなく、特徴量記述の対象となる特徴点数を少なくすることが可能となる。

図５に示すように、特徴点選定部１２は、特定スケール領域特徴点選定部２８を含む構成とすることができる。特定スケール領域特徴点選定部２８は、特徴点情報に基づいて、全特徴点のスケールの中で、特定のスケール領域に含まれる特徴点のみを選定することができる。

そして、選定された特徴点が指定数よりも多い場合、特定スケール領域特徴点選定部２８は、例えば、重要度に基づいて特徴点を指定数まで削減し、選定した特徴点に関する情報を選定結果として出力することができる。このとき、特定スケール領域特徴点選定部２８は、重要度が高い順に特徴点を選定すればよい。

例えば、特定スケール領域特徴点選定部２８は、選定対象とするスケール領域の中心に近いスケールを持つ特徴点ほどその重要度が高いと判断し、重要度順に特徴点の選定を行うこととしてもよい。また、特定スケール領域特徴点選定部２８は、選定対象とするスケール領域の中で、スケールの大きい特徴点ほど重要度が高いと判断し、その重要度順に特徴点の選定を行ってもよい。

一方、特定のスケール領域に含まれる特徴点が指定数よりも少ない場合、特定スケール領域特徴点選定部２８は、例えば、このスケール領域に近い特徴点ほど重要度が高いと判断し、このスケール領域の前後のスケール領域から順番に特徴点を新たに選定していってもよい。

画像検索や物体検出等のアプリケーションにおいて、データベース側に登録されている画像上の物体のサイズが既知であり、かつクエリ側の画像とデータベース側の画像との間で、写っている物体のサイズ比が想定可能な場合がある。この場合、データベース側の特徴点の中で重要度が高い特徴点を知ることができれば、それらの特徴点の持つスケールに対し、クエリ側の画像とデータベース側の画像の物体サイズ比に相当する補正をかけたスケール領域から集中的に特徴点を選定することが効果的である。なお、データベース側の特徴点の中で重要度が高い特徴点を知るための手法は任意である。例えば、顕著性マップ（Ｓａｌｉｅｎｃｙ Ｍａｐ）等を用いて事前にデータベース側の画像中の注視領域を特定し、その領域から検出されている特徴点を重要度が高いと定義してもよい。また例えば、スケールの大きい特徴点を重要であると定義しても良い。

図１に戻り、局所特徴量生成部１４は、特徴点検出部１０から出力される特徴点情報と、特徴点選定部１２から出力される選定結果とを受け取る。そして、局所特徴量生成部１４は、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成（記述）する。なお、局所特徴量生成部１４は、ＺＩＰやＬＺＨ等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。

局所特徴量生成部１４は、特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部１４は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。なお、特徴点の重要度順に局所特徴量が生成されることにより、選定された全ての特徴点の局所特徴量を利用せずに、一部の特徴点の局所特徴量だけを用いて照合処理を行うことが可能となる。

局所特徴量生成部１４は、例えば、選定された特徴点の重要度順を示す情報及びその特徴点番号情報を選定結果として受け取る場合、その特徴点番号に相当する特徴点を特徴量生成の対象とすることができる。

図６は、局所特徴量生成部１４の構成例を示す図である。図６に示すように、局所特徴量生成部１４は、局所領域取得部４０、サブ領域分割部４２、及びサブ領域特徴ベクトル生成部４４を含んで構成することができる。

局所領域取得部４０は、特徴量情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、局所領域取得部４０は、１つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、各特徴点情報に対して局所領域を取得することができる。

サブ領域分割部４２は、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、サブ領域分割部４２は、図１６に示したように、局所領域を１６ブロック（４×４ブロック）に分割することができる。

サブ領域特徴ベクトル生成部４４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、サブ領域特徴ベクトル生成部４４は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化する。そして、サブ領域特徴ベクトル生成部４４は、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部４４は、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。

また、サブ領域特徴量生成部４４は、特徴点の座標位置情報を局所特徴量に含めて出力することができる。さらに、サブ領域特徴量生成部４４は、選定された特徴点のスケール情報を局所特徴量に含めて出力してもよい。

画像検索や物体検出等のアプリケーションにおいて、クエリ（検索要求）側の画像とデータベース側の画像に同一物体が写っている場合、画像間で対応する特徴点のスケール比率がほぼ一定になる。そのため、局所特徴量にスケール情報を含ませることにより、特徴量の照合精度を向上させることが可能になる。

図７は、局所特徴量抽出装置１Ａにおける処理の一例を示すフローチャートである。まず、特徴点検出部１０は、局所特徴量の生成対象となる画像を受け付ける（Ｓ７０１）。特徴点検出部１０は、受け付けた画像から特徴点を検出し、特徴点の座標位置、スケール、特徴点のオリエンテーション、特徴点番号等を含む特徴点情報を出力する（Ｓ７０２）。そして、特徴点選定部１２は、特徴点情報に基づいて、検出された特徴点の中から重要度順に特徴点を指定数だけ選定し、その選定結果を出力する（Ｓ７０３）。最後に、局所特徴量生成部１４は、選定された特徴点についての局所特徴量を生成し、重要度順に局所特徴量を出力する（Ｓ７０４）。

このように、局所特徴量抽出装置１Ａにおいては、特徴点選定部１２が、特徴点情報に基づいて、検出された複数の特徴点の中から重要度順に所定数の特徴点を選定する。そして、局所特徴量生成部１４が、選定された各特徴点に対する局所特徴量を生成する。これにより、検出された全ての特徴点に対する局所特徴量を生成する場合と比較して局所特徴量のサイズを小さくすることができる。換言すると、局所特徴量のサイズを、指定数に応じたサイズに制御することができる。さらに、局所特徴量の生成対象となる特徴点が、重要度順に選定されているため、被写体識別の精度を維持することが可能である。また、局所特徴量のサイズが小さくなることにより、局所特徴量を用いて画像検索を行う場合にいおいて、通信時間や処理時間を低減させることが可能となる。

＝＝第２の実施形態＝＝
次に第２の実施形態について説明する。図８は、本発明の第２の実施形態である局所特徴量抽出装置の構成を示す図である。図８に示すように、局所特徴量抽出装置１Ｂは、特徴点検出部１０、特徴点選定部５０、及び局所特徴量生成部１４を含んで構成される。このように、局所特徴量抽出装置１Ｂでは、第１の実施形態の局所特徴量抽出装置１Ａの特徴点選定部１２が、特徴点選定部５０に変更されている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

特徴点選定部５０は、特徴点を選定する際の指定数を決定するための情報である指定数情報を受け付ける点が、第１の実施形態の局所特徴量抽出装置１Ａの特徴点選定部１２とは異なっている。特徴点選定部５０は、指定数情報に基づいて指定数を決定し、第１の実施形態と同様に指定数の特徴点を選定する。指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における局所特徴量のトータルサイズを示す情報である場合、特徴点選定部５０は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。

このように、局所特徴量抽出装置１Ｂにおいては、特徴点選定部５０は、外部から入力される指定数情報に基づいて指定数を決定することができる。つまり、特徴点選定部５０によって選定される特徴点の数を、局所特徴量抽出装置１Ｂの外部からの入力により制御することができる。これにより、被写体識別の精度を維持しつつ、特徴量のサイズを所望のサイズに制御することが可能となる。

＝＝第３の実施形態＝＝
次に第３の実施形態について説明する。図９は、本発明の第３の実施形態である局所特徴量抽出装置の構成を示す図である。図９に示すように、局所特徴量抽出装置１Ｃは、特徴点検出部５２、特徴点選定部５４、及び局所特徴量生成部１４を含んで構成される。このように、局所特徴量抽出装置１Ｃでは、第１の実施形態の局所特徴量抽出装置１Ａの特徴点検出部１０及び特徴点選定部１２が、特徴点検出部５２及び特徴点選定部５４に変更されている。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

特徴点検出部５２は、第１の実施形態と同様に、画像内の特徴点を検出し、特徴点情報を出力する。また、特徴点検出部５２は、特徴点選定部５４から追加検出指示を受けると、さらに多くの特徴点が検出されるように、特徴点を検出するためのパラメータを変更し、特徴点の追加検出を行う。ここで、特徴点を検出するためのパラメータとしては、各特徴点の持つオリエンテーションの許容数や、ＤｏＧ処理を用いてスケールスペースにおける極値探索をした時に特徴点として検出される点のＤｏＧ値、特徴点として検出される点の周辺画素との差分値等が考えられる。

特徴点選定部５４は、特徴点検出部５２で検出された特徴点の中から特徴点を選定する。特徴点選定部５４は、特徴点検出部５２で検出された特徴点の全てを選定してもよいし、第１の実施形態と同様に、重要度順に一部の特徴点を選定することとしてもよい。そして、特徴点選定部５４は、選定した特徴点の数が指定数未満である場合、特徴点検出部５２に特徴点をさらに検出させるための追加検出指示を出力する。

特徴点検出部５２におけるパラメータの初期値は、例えば、検出される特徴点が少数になるように設定しておくことができる。この場合、特徴点選定部５４は、パラメータの初期値を用いて検出された特徴点の重要度は高いと判定することとしてもよい。また、パラメータの変更時には、検出パラメータの初期値を使った場合よりも多数の特徴点が検出されるようにすることができる。そして、特徴点選定部５４は、変更されたパラメータを用いて検出された特徴点の重要度は、パラメータの初期値を用いて検出された特徴点よりも低いと判定してもよい。

図１０は、局所特徴量抽出装置１Ｃにおける処理の一例を示すフローチャートである。まず、特徴点検出部５２は、局所特徴量の生成対象となる画像を受け付ける（Ｓ１００１）。特徴点検出部５２は、特徴点を検出するためのパラメータを初期値に設定する（Ｓ１００２）。また、特徴点選定部５４は、特徴点の選定数を示す変数を初期化する（Ｓ１００３）。ここで、特徴点の全選定数を示す変数をＮ_ALLとし、初期化によりＮ_ALLにゼロが設定されることとする。

特徴点検出部５２は、パラメータに従って画像中の特徴点を検出する（Ｓ１００４）。ここでは、特徴点の検出数を示す変数をＮで表すこととする。特徴点選定部５４は、検出された特徴点の中から特徴点を選定する（Ｓ１００５）。ここでは、新たに選定された特徴点の数を示す変数をＮ_Aで表すこととする。特徴点選定部５４は、新たに選定された特徴点の数を用いて、特徴点の全選定数を更新する（Ｓ１００６）。具体的には、Ｎ_ALL＝Ｎ_ALL＋Ｎ_Aの計算により全選定数が更新される。

特徴点選定部５４は、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀以上であるかどうか確認する（Ｓ１００７）。そして、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀未満である場合（Ｓ１００７：ＮＯ）、特徴点選定部５４は、特徴点検出部５２に対して特徴点の追加検出指示を出力する（Ｓ１００８）。特徴点検出部５２は、追加検出指示を受信すると、追加で特徴点が検出されるようにパラメータを変更し（Ｓ１００９）、前回同様に特徴点の検出を行う（Ｓ１００４）。そして、特徴点選定部５４は、新たに選定された特徴点の中から特徴点を選定する（Ｓ１００５）。このように、特徴点の全選定数が指定数以上となるまで、パラメータの変更が繰り返されることとなる。

特徴点の全選定数Ｎ_ALLが指定数Ｎ₀以上になると（Ｓ１００７：ＹＥＳ）、特徴点選定部５４は、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀に一致しているかどうか確認する（Ｓ１０１０）。特徴点の全選定数Ｎ_ALLが指定数Ｎ₀に一致していない場合（Ｓ１０１０：ＮＯ）、特徴点選定部５４は、特徴点の全選定数が指定数Ｎ₀に一致するように、不要な特徴点を削除する（Ｓ１０１１）。例えば、特徴点選定部５４は、選定されている特徴点の中から重要度の低い順に特徴点を削除していくことにより、特徴点の全選定数を指定数Ｎ₀に一致させることができる。そして、特徴点選定部５４は、特徴点の選定結果を局所特徴量生成部１４に出力する（Ｓ１０１２）。最後に、局所特徴量生成部１４は、選定された特徴点についての局所特徴量を生成し、重要度順に局所特徴量を出力する（Ｓ１０１３）。

このように、局所特徴量抽出装置１Ｃにおいては、特徴点選定部５４が、検出された特徴点の中から選定した特徴点の数が指定数未満である場合、特徴点検出部５２に特徴点をさらに検出させる。そのため、例えば、特徴点検出部５２が最初は少しの特徴点のみを検出するようにパラメータを設定しておき、特徴点選定部５４において選定される特徴点の数が指定数となるまで段階的にパラメータを変更していくことができる。これにより、検出される多数の特徴点の全てに対する局所特徴量を生成する場合と比較して、局所特徴量のサイズを小さくすることができる。さらに、局所特徴量の生成対象となる特徴点が、重要度順に選定されているため、被写体識別の精度を維持することが可能である。

＝＝第４の実施形態＝＝
次に第４の実施形態について説明する。図１１は、本発明の第４の実施形態である局所特徴量抽出装置の構成を示す図である。図１１に示すように、局所特徴量抽出装置１Ｄは、特徴点検出部５２、特徴点選定部６０、及び局所特徴量生成部１４を含んで構成される。このように、局所特徴量抽出装置１Ｄでは、第３の実施形態の局所特徴量抽出装置１Ｃの特徴点選定部５４が、特徴点選定部６０に変更されている。なお、第３の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

特徴点選定部６０は、特徴点を選定する際の指定数を決定するための情報である指定数情報を受け付ける点が、第３の実施形態の局所特徴量抽出装置１Ｃの特徴点選定部５４とは異なっている。特徴点選定部６０は、指定数情報に基づいて指定数を決定する。そして、特徴点選定部６０は、第３の実施形態と同様に特徴点を選定し、必要に応じて特徴点検出部５２に対して特徴点の追加検出指示を出力する。指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における局所特徴量のトータルサイズを示す情報である場合、特徴点選定部６０は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。

このように、局所特徴量抽出装置１Ｄにおいては、特徴点選定部６０は、外部から入力される指定数情報に基づいて指定数を決定することができる。つまり、特徴点選定部６０によって選定される特徴点の数を、局所特徴量抽出装置１Ｄの外部からの入力により制御することができる。これにより、被写体識別の精度を維持しつつ、特徴量のサイズを所望のサイズに制御することが可能となる。

＝＝第５の実施形態＝＝
次に第５の実施形態について説明する。図１２は、本発明の第５の実施形態である局所特徴量抽出装置の構成を示す図である。図１２に示すように、局所特徴量抽出装置１Ｅは、検出範囲決定部６２、特徴点検出部６４、特徴点選定部６６、及び局所特徴量生成部１４を含んで構成される。なお、第１の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

検出範囲決定部６２は、特徴点検出部６４において特徴点の検出を行う範囲を決定し、決定した範囲を示す情報を特徴点検出部６４に出力する。また、検出範囲決定部６２は、特徴点選定部６６から検出範囲再決定指示を受けると、特徴点を検出する範囲が広くなるように、検出範囲を再決定する。なお、特徴点検出部６４における特徴点検出の際にＤｏＧ処理によるスケールスペースの極値探索が用いられる場合、検出範囲決定部６２は、例えば、ある閾値以上のスケールで生成されたＤｏＧ画像だけを特徴点検出範囲として決定することができる。また、検出範囲決定部６２は、例えば、顕著性マップ等を用いて画像中の注視領域を特定し、その領域を特徴点検出範囲として決定することとしてもよい。

特徴点検出部６４は、検出範囲決定部６２において決定された範囲において、第１の実施形態と同様に画像中の特徴点を検出する。

特徴点選定部６６は、特徴点検出部６４で検出された特徴点の中から特徴点を選定する。なお、特徴点選定部６６は、特徴点検出部６４で検出された特徴点の全てを選定してもよいし、第１の実施形態と同様に、重要度順に一部の特徴点を選定することとしてもよい。そして、特徴点選定部６６は、選定した特徴点の数が指定数未満である場合、検出範囲決定部６２に検出範囲をさらに決定させるための検出範囲再決定指示を出力する。

なお、最初の検出範囲は、例えば、検出される特徴点が少数になるように設定しておくことができる。この場合、特徴点選定部６６は、最初の検出範囲で検出された特徴点の重要度は高いと判定することとしてもよい。また、検出範囲の変更時には、最初の検出範囲よりも多数の特徴点が検出されるようにすることができる。そして、特徴点選定部６６は、変更された検出範囲で検出された特徴点の重要度は、最初の検出範囲で検出された特徴点よりも低いと判定してもよい。

図１３は、局所特徴量抽出装置１Ｅにおける処理の一例を示すフローチャートである。まず、検出範囲決定部６２は、局所特徴量の生成対象となる画像を受け付ける（Ｓ１３０１）。特徴点選定部６６は、特徴点の選定数を示す変数を初期化する（Ｓ１３０２）。ここで、特徴点の全選定数を示す変数をＮ_ALLとし、初期化によりＮ_ALLにゼロが設定されることとする。

検出範囲決定部６２は、特徴点の検出範囲を決定する（Ｓ１３０３）。前述したように、検出範囲決定部６２は、最初は検出される特徴点が少数になるように特徴点の検出範囲を決定することができる。特徴点検出部６４は、決定された範囲において、画像中の特徴点を検出する（Ｓ１３０４）。ここでは、特徴点の検出数を示す変数をＮで表すこととする。特徴点選定部６６は、検出された特徴点の中から特徴点を選定する（Ｓ１３０５）。ここでは、新たに選定された特徴点の数を示す変数をＮ_Aで表すこととする。特徴点選定部６６は、新たに選定された特徴点の数を用いて、特徴点の全選定数を更新する（Ｓ１３０６）。具体的には、Ｎ_ALL＝Ｎ_ALL＋Ｎ_Aの計算により全選定数が更新される。

特徴点選定部６６は、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀以上であるかどうか確認する（Ｓ１３０７）。そして、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀未満である場合（Ｓ１３０７：ＮＯ）、特徴点選定部６６は、検出範囲決定部６２に対して検出範囲再決定指示を出力する（Ｓ１３０８）。検出範囲決定部６２は、検出範囲再決定指示を受信すると、検出範囲が広くなるように、特徴点の検出範囲を決定する（Ｓ１３０３）。そして、特徴点検出部６４は、再決定された検出範囲において、前回同様に特徴点の検出を行う（Ｓ１３０４）。そして、特徴点選定部６６は、新たに選定された特徴点の中から特徴点を選定する（Ｓ１３０５）。このように、特徴点の全選定数が指定数以上となるまで、パラメータの変更が繰り返されることとなる。

特徴点の全選定数Ｎ_ALLが指定数Ｎ₀以上になると（Ｓ１３０７：ＹＥＳ）、特徴点選定部６６は、特徴点の全選定数Ｎ_ALLが指定数Ｎ₀に一致しているかどうか確認する（Ｓ１３０９）。特徴点の全選定数Ｎ_ALLが指定数Ｎ₀に一致していない場合（Ｓ１３０９：ＮＯ）、特徴点選定部６６は、特徴点の全選定数が指定数Ｎ₀に一致するように、不要な特徴点を削除する（Ｓ１３１０）。例えば、特徴点選定部６６は、選定されている特徴点の中から重要度の低い順に特徴点を削除していくことにより、特徴点の全選定数を指定数Ｎ₀に一致させることができる。そして、特徴点選定部６６は、特徴点の選定結果を局所特徴量生成部１４に出力する（Ｓ１３１１）。最後に、局所特徴量生成部１４は、選定された特徴点についての局所特徴量を生成し、重要度順に局所特徴量を出力する（Ｓ１３１２）。

このように、局所特徴量抽出装置１Ｅにおいては、特徴点選定部６６が、検出された特徴点の中から選定した特徴点の数が指定数未満である場合、検出範囲決定部６２にさらに検出範囲を決定させる。そのため、例えば、検出範囲決定部６２が、最初は少しの特徴点のみが検出されるように検出範囲を決定しておき、特徴点選定部６６において選定される特徴点の数が指定数となるまで段階的に検出範囲を広くしていくことができる。これにより、検出される多数の特徴点の全てに対する局所特徴量を生成する場合と比較して、局所特徴量のサイズを小さくすることができる。また、検出範囲がスケール方向や空間方向において限定されると、極値探索を行って特徴点を検出する処理の対象範囲を最低限に留めることができる。これにより、重要な特徴点を選定する時間を短縮することが可能となる。さらに、局所特徴量の生成対象となる特徴点が、重要度順に選定されているため、被写体識別の精度を維持することが可能である。

＝＝第６の実施形態＝＝
次に第６の実施形態について説明する。図１４は、本発明の第６の実施形態である局所特徴量抽出装置の構成を示す図である。図１４に示すように、局所特徴量抽出装置１Ｆは、検出範囲決定部６２、特徴点検出部６４、特徴点選定部７０、及び局所特徴量生成部１４を含んで構成される。このように、局所特徴量抽出装置１Ｆでは、第５の実施形態の局所特徴量抽出装置１Ｅの特徴点選定部６６が、特徴点選定部７０に変更されている。なお、第５の実施形態と同一の構成要素については同一の符号を付して説明を省略する。

特徴点選定部７０は、特徴点を選定する際の指定数を決定するための情報である指定数情報を受け付ける点が、第５の実施形態の局所特徴量抽出装置１Ｅの特徴点選定部６６とは異なっている。特徴点選定部７０は、指定数情報に基づいて指定数を決定する。そして、特徴点選定部７０は、第５の実施形態と同様に特徴点を選定し、必要に応じて検出範囲決定部６２に対して検出範囲再決定指示を出力する。指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における局所特徴量のトータルサイズを示す情報である場合、特徴点選定部７０は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。

このように、局所特徴量抽出装置１Ｆにおいては、特徴点選定部７０は、外部から入力される指定数情報に基づいて指定数を決定することができる。つまり、特徴点選定部７０によって選定される特徴点の数を、局所特徴量抽出装置１Ｆの外部からの入力により制御することができる。これにより、被写体識別の精度を維持しつつ、特徴量のサイズを所望のサイズに制御することが可能となる。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

この出願は、２０１１年１１月１８日に出願された日本出願特願２０１１−２５３２６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画像内の複数の特徴点を検出し、各特徴点に関する情報である特徴点情報を出力する特徴点検出部と、前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定する特徴点選定部と、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する局所特徴量生成部と、を備える局所特徴量抽出装置。
（付記２）付記１に記載の局所特徴量抽出装置であって、前記特徴点情報は、各特徴点のスケールを示すスケール情報を含み、前記特徴点選定部は、前記スケール情報に基づいて、検出された前記複数の特徴点の中から、スケールに応じた重要度順に前記所定数の特徴点を選定する、局所特徴量抽出装置。
（付記３）付記１に記載の局所特徴量抽出装置であって、前記特徴点選定部は、前記特徴点情報に基づいて、検出された前記複数の特徴点を複数のグループに分類する特徴点分類部と、各グループから少なくとも１つの特徴点を選定することにより、前記所定数の特徴点を選定する代表特徴点選定部と、を備える局所特徴量抽出装置。
（付記４）付記１〜３の何れか一項に記載の局所特徴量抽出装置であって、前記特徴点選定部は、前記所定数を決定するための情報である指定数情報を受け付け、該指定数情報に基づいて前記所定数を決定する、局所特徴量抽出装置。
（付記５）付記１〜４の何れか一項に記載の局所特徴量抽出装置であって、前記特徴点選定部は、検出された前記複数の特徴点の中から重要度順に選定した特徴点の数が前記所定数未満である場合、前記特徴点検出部に特徴点をさらに検出させる、局所特徴量抽出装置。
（付記６）付記１〜４の何れか一項に記載の局所特徴量抽出装置であって、前記画像から特徴点の検出を行う範囲である検出範囲を決定する検出範囲決定部をさらに備え、前記特徴点検出部は、決定された前記検出範囲において前記複数の特徴点を検出し、前記特徴点選定部は、検出された前記複数の特徴点の中から重要度順に選定した特徴点の数が前記所定数未満である場合、前記検出範囲決定部に検出範囲をさらに決定させる、局所特徴量抽出装置。
（付記７）コンピュータが、画像内の複数の特徴点を検出し、各特徴点に関する情報である特徴点情報を出力し、前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定し、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する、局所特徴量抽出方法。
（付記８）コンピュータに、画像内の複数の特徴点を検出する機能と、各特徴点に関する情報である特徴点情報を出力する機能と、前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定する機能と、選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する機能と、を実現させるためのプログラム。

１Ａ〜１Ｆ 局所特徴量抽出装置
１０，５２，６４ 特徴点検出部
１２，５０，５４，６０，６６，７０ 特徴点選定部
１４ 局所特徴量生成部
２０ 高スケール順特徴点選定部
２２ 特徴点分類部
２４ 代表特徴点選定部
２６ 特徴点無作為選定部
２８ 特定スケール領域特徴点選定部
４０ 局所領域取得部
４２ サブ領域分割部
４４ サブ領域特徴ベクトル生成部
６２ 検出範囲決定部

Claims (6)

1. 画像から特徴点の検出を行う範囲である検出範囲を決定する検出範囲決定部と、
   決定された前記検出範囲において、前記画像内の複数の特徴点を検出し、各特徴点に関する情報である特徴点情報を出力する特徴点検出部と、
   前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定し、前記選定した特徴点の数が前記所定数未満である場合、前記検出範囲決定部に前記検出範囲をさらに決定させて前記特徴点をさらに選定する特徴点選定部と、
   選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する局所特徴量生成部と、
   を備える局所特徴量抽出装置。
2. 請求項１に記載の局所特徴量抽出装置であって、
   前記特徴点情報は、各特徴点のスケールを示すスケール情報を含み、
   前記特徴点選定部は、前記スケール情報に基づいて、検出された前記複数の特徴点の中から、スケールに応じた重要度順に前記所定数の特徴点を選定する、
   局所特徴量抽出装置。
3. 請求項１に記載の局所特徴量抽出装置であって、
   前記特徴点選定部は、
   前記特徴点情報に基づいて、検出された前記複数の特徴点を複数のグループに分類する特徴点分類部と、
   各グループから少なくとも１つの特徴点を選定することにより、前記所定数の特徴点を選定する代表特徴点選定部と、
   を備える局所特徴量抽出装置。
4. 請求項１〜３の何れか一項に記載の局所特徴量抽出装置であって、
   前記特徴点選定部は、前記所定数を決定するための情報である指定数情報を受け付け、該指定数情報に基づいて前記所定数を決定する、
   局所特徴量抽出装置。
5. 画像から特徴点の検出を行う範囲である検出範囲を決定し、
   決定された前記検出範囲において、前記画像内の複数の特徴点を検出し、
   各特徴点に関する情報である特徴点情報を出力し、
   前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定し、前記選定した特徴点の数が前記所定数未満である場合、前記検出範囲をさらに決定して前記特徴点をさらに選定し、
   選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する、
   局所特徴量抽出方法。
6. コンピュータに、
   画像から特徴点の検出を行う範囲である検出範囲を決定する検出範囲決定部と、
   決定された前記検出範囲において、前記画像内の複数の特徴点を検出する機能と、
   各特徴点に関する情報である特徴点情報を出力する機能と、
   前記特徴点情報に基づいて、検出された前記複数の特徴点の中から、重要度順に所定数の特徴点を選定し、前記選定した特徴点の数が前記所定数未満である場合、前記検出範囲をさらに決定して前記特徴点をさらに選定する機能と、
   選定された各特徴点に対する局所領域の特徴量である局所特徴量を生成する機能と、
   を実現させるためのプログラム。

Images