JP5289412B2 - 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 - Google Patents

Description

本発明は、画像の局所特徴量を算出するための局所特徴量算出装置及び局所特徴量算出方法、並びに局所特徴量算出装置を用いた対応点探索装置及び局所特徴量算出方法を用いた対応点探索方法に関する。

従来、画像処理の分野では、２つの画像の間の対応点を探索する対応点探索処理が多用されている。図２２は、２つの画像の間の対応点を示す図である。このように、複数の画像の間の対応点を探索することで、入力画像に対応する画像を画像データベースの中から検索したり、異なる視点で撮影された被写体の複数の画像を対応付けてその被写体の三次元形状を復元したりすることが可能となる。

２つの画像の間の対応点を探索するために、局所特徴量を用いることができる。局所特徴量とは、注目ピクセルの周辺領域のテクスチャパターンを特徴付ける量であり、Ｄ次元のベクトルで表される。周辺のテクスチャパターンが似ているピクセルは、類似する局所特徴量を持つことになる。このため、例えば、第１及び第２の画像のそれぞれのピクセルについて局所特徴量を求めて、それらの局所特徴量を比較することで、第１の画像の当該ピクセルと第２の画像の当該ピクセルとが対応するピクセル（対応点）であるか否かを判断できる。

図２３は、局所特徴量を用いた画像検索を説明するための図である。局所特徴量を用いた対応点探索によって、以下のように画像検索を行うことができる（例えば、非特許文献１を参照）。画像検索の目的は、入力画像に対応する画像を画像データベースから検索することである。まず、画像データベースに登録されている複数の画像の各々について、特徴点を抽出して、各特徴点の局所特徴量を求めておく。検索の対象となる画像（入力画像）が入力されると、その入力画像からも特徴点を抽出して、各特徴点について局所特徴量を求める。そして、入力画像の複数の特徴点のうちの１つに注目し、この注目特徴点が有する局所特徴量に最も近い局所特徴量を画像データベース内から検索する。そして、見つかった局所特徴量が属する画像に一票を投じる。この処理を入力画像中のすべての特徴点について繰り返し、最も多くの投票を受けた画像を検索結果とする。

また、局所特徴量を用いた対応点探索によって、以下のように、異なる視点で撮影された複数の画像から三次元形状を復元できる（例えば、非特許文献２を参照）。まず、撮影対象を複数の撮影位置から撮影して得られた複数の画像から２つを選択し、その２つの画像の間の対応点を求める。この対応点探索を複数の画像のすべての組み合わせについて行なう。次に、対応点の情報を手がかりとして、各画像の撮影位置パラメータと、撮影対象の形状パラメータをバンドル調整により求める。

局所特徴量を求める代表的な手法として、ＳＩＦＴ（Scale Invariant Feature Transform）（例えば、非特許文献３及び特許文献１を参照）やＳＵＲＦ（Speeded Up Robust Features）（例えば、非特許文献４を参照）が知られている。ＳＩＦＴ及びＳＵＲＦでは、画像が回転していても、また、画像のスケールが異なっていても、これらの変化に不変な（影響されない）局所特徴量を計算できる。従って、２つの画像の間の対応点を探索する際に、画像が回転していても、また、画像のスケールが異なっていても、適切に画像間の対応点を求めることができる。

以下、ＳＩＦＴを例に、局所特徴量の算出手法を説明する。図２４は、ＳＩＦＴによる局所特徴量の算出処理のフロー図である。また、図２５〜２８は、ＳＩＦＴによる局特徴量の算出処理を説明するための図である。局所特徴量算出処理では、まず、図２５（ａ）に示すように、画像ＴＰから特徴点ｐ及びその特徴点を中心として設定される近傍領域ＮＲが抽出される（ステップＳ７１）。特徴点ｐが複数ある場合には、それぞれの特徴点ｐに対して、近傍領域ＮＲが設定される。この特徴点ｐ及び近傍領域ＮＲの抽出処理では、ＤｏＧフィルタにより、特徴点ｐの位置とともに、画像のスケール情報を出力する。このスケール情報に応じて特徴点ｐを中心とする近傍領域ＮＲを切り出すことで、スケール不変性を実現する。

次に、主軸の方向を求める（ステップＳ７２）。主軸の計算処理では、各特徴点ｐについて設定されたそれぞれの近傍領域ＮＲに対して、以下の処理を適用する。まず、図２５（ｃ）、（ｄ）に示すように、近傍領域ＮＲ内の各ピクセルについて、ｘ方向及びｙ方向の微分値を計算して、エッジ強度ｍ（ｘ，ｙ）とエッジ勾配方向θ（ｘ，ｙ）を求める。ここで、エッジ強度ｍ（ｘ，ｙ）には、特徴点ｐを中心とするガウス窓Ｇ（ｘ，ｙ，σ）（図２５（ｂ）参照）によって重み付けをして、重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）を得る。これにより、近傍領域ＮＲ中の中央のピクセルほど重要な情報を持つとみなされる。

次に、エッジ勾配方向ヒストグラムを生成する。具体的には、各ピクセルのエッジ勾配方向を３６通りに量子化し、該当する方向に重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）投票する。このようにして、近傍領域ＮＲ中のすべてのピクセルについて、エッジ勾配方向の量子化及び重み付けエッジ強度の投票をすることで、図２５（ｅ）に示すようなエッジ勾配方向ヒストグラムを得る。次に、この勾配方向ヒストグラムから最大値を検出して、最大値を有する方向の左右の値を用いて二次関数をフィッティングして、その極大に対応する方向を主軸の方向ｖとする。

次に、近傍領域内のテクスチャパターンを回転補正する（ステップＳ７３）。この回転補正では、ステップＳ７２で求めた主軸方向ｖが基準方向ＲＤと一致するように、近傍領域ＮＲ内のテクスチャパターンを回転させる。図２６は、基準方向が水平右方向である例を示している。近傍領域ＮＲを回転した後の各ピクセルの値は、周辺ピクセルを線形補間することで求める。回転されたテクスチャパターンに対しては、新たな近傍領域ＮＲ’を設定する。

次に、局所特徴量を算出する（ステップＳ７４）。局所特徴量を算出するために、まず、回転補正されたテクスチャパターンに対して新たに設定された近傍領域ＮＲ’の各ピクセルについて、再度、ｘ方向及びｙ方向の微分値を計算し、図２７（ａ）に示すように、エッジ勾配方向及びエッジ強度を求める。なお、図２７において、矢印の方向はエッジ勾配方向を表しており、矢印の長さはエッジ強度を表している。

次に、各ピクセルのエッジ勾配方向を８通りに量子化するとともに、図２７（ｂ）に示すように、近傍領域を４×４に分割して、１６の投票セルＶＣを定義する。図２７（ｂ）の例では、２×２のピクセルで１つの投票セルＶＣを形成している。そして、各投票セルＶＣについて、８方向の勾配方向ヒストグラムを求める。以上の演算より、１６×８＝１２８次元の特徴ベクトルが得られる。この特徴ベクトルの長さを１に正規化すると、局所特徴量が得られる。

以上のようにして、回転不変性及びスケール不変性を有する局所特徴量を得ることができる。なお、上記はＳＩＦＴによる局所特徴量の算出処理であるが、ＳＵＲＦも同様の考え方に基づいている。

米国特許第６７１１２９３号公報 "Improving bag-of-features for large scale image search", International Journal of computer vision, 2010 "Unsupervised 3D object recognition and reconstruction in unordered datasets," International Conference on 3-D Digital Imaging and Modeling (3DIM 2005) "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004) Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346-359, 2008

ＳＩＦＴは、局所特徴量の実行速度が遅いという問題がある。また、ＳＵＲＦはＳＩＦＴの計算速度を改善した手法であるが、それでも携帯端末のような低スペックのハードウェアで動作させられるほどのパフォーマンスは得られない。このように実行速度が遅いのには、次の２つの要因があると考えられる。

１つ目の要因は、ＳＩＦＴやＳＵＲＦによる局所特徴量算出処理では、主軸方向ｖを求めるために近傍領域ＮＲの各ピクセルについて微分計算を行い、求めた主軸方向ｖに基づいてテクスチャパターンを回転補正して、回転補正された後の新たな近傍領域ＮＲ’の各ピクセルついて、局所特徴量を算出するために、再び微分計算を行っていることである。即ち、主軸を求めるための微分計算と局所特徴量を求めるための微分計算とは、類似した処理であるにもかかわらず、それぞれが独立に行われている。

２つの目の要因は、テクスチャパターンを回転補正するための計算が膨大な量になっていることである。テクスチャパターンの回転補正の計算にはサブピクセル単位での線形補間処理が必要であり、膨大な浮動小数点計算を伴うので、計算量は多くなる。

そこで、本発明は、局所特徴量を高速に算出できる局所特徴量算出装置及び方法、並びにそれらを利用した対応点探索装置及び方法を提供することを目的とする。

本発明の局所特徴量算出装置は、画像の局所特徴量を算出する局所特徴量算出装置であって、前記画像から特徴点及び前記特徴点の近傍に設定される近傍領域を抽出する特徴点近傍領域抽出部と、前記近傍領域内の各ピクセルの方向及びその方向の強度をそれぞれ算出する方向強度計算部と、前記近傍領域の主軸方向を検出する主軸方向検出部と、前記各ピクセルについて、基準投票セルパターンを前記主軸方向に応じた角度で回転させて得られる回転済投票セルパターンの投票セルのうちの当該ピクセルが属する投票セルに対して、前記方向強度計算部にて算出された当該ピクセルの方向を前記主軸方向に応じて補正して得られる補正済方向に従って、前記方向強度計算部にて算出された当該ピクセルの方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出部とを備えた構成を有している。

この構成により、回転不変性を実現するために、特徴点の近傍領域のテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、投票セルパターンを回転させて、その回転した投票セルパターン（回転済投票セルパターン）の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。なお、特徴点近傍領域抽出部は、画像を構成するピクセルのうちの所定の条件を満たすピクセルのみを特徴点として抽出してもよいし、画像のすべてのピクセルを特徴点としてもよい。また、主軸方向検出部は、画像を生成する際の撮像装置に備えられたジャイロセンサ、地磁気センサ、重力センサ等の検出値に基づいて検出してよい。

また、上記の局所特徴量算出装置において、前記主軸方向検出部は、前記方向強度計算部にて算出された前記近傍領域中の複数のピクセルの方向及びその方向の強度に基づいて、前記近傍領域の主軸方向を検出する。

上述のように、本発明の局所特徴量算出装置は、回転不変性を実現するために、テクスチャパターンを回転させるのではなく、投票セルパターンを回転させて、各ピクセルの方向を補正した上で投票を行なうので、回転後のテクスチャパターンについて再度各ピクセルの方向及びその方向の強度を計算することが不要になり、方向強度計算部で算出された各ピクセルの方向及びその方向の強度は、主軸方向の検出にも利用でき、かつ局所特徴量の算出にも利用できる。これにより、各ピクセルの方向及びその方向の強度を算出するための微分計算は一度で済み、局所特徴量の算出を高速化できる。

また、上記の局所特徴量算出装置は、さらに、前記ピクセルの方向を量子化する方向量子化部を備え、前記主軸方向検出部は、前記方向量子化部にて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムのピーク近傍を曲線近似して、当該曲線の極大に対応する方向を前記主軸方向として検出する。

この構成により、量子化された方向ごとに強度を累積して、強度の累積値が最も大きい方向を主軸方向として検出できる。また、ヒストグラムのピークを曲線近似してその極大を主軸方向とするので、実数の主軸方向を得ることができる。なお、主軸方向は、ピクセルの方向を量子化した際の量子化数（整数）で表現されてもよいし、ラジアンで表現されてもよい。

また、上記の局所特徴量算出装置は、さらに、前記基準投票セルパターンを、前記主軸方向に応じた角度だけ回転させることで、前記回転済投票セルパターンを生成する投票セルパターン生成部を備える。

この構成によれば、主軸方向に対応して回転された回転済投票セルパターンを生成できる。

また、上記の局所特徴量算出装置は、さらに、前記方向強度計算部にて算出されたピクセルの方向を、前記主軸方向に応じて補正するための方向補正パターンを生成する方向補正パターン生成部を備え、前記局所特徴量算出部は、前記方向補正パターンを用いて、各ピクセルの方向を補正することで、前記補正済方向を得る。

この構成により、主軸方向に対応してピクセルの方向を補正するので、回転済投票セルパターンに投票するための適切な方向を取得できる。

また、上記の局所特徴量算出装置は、さらに、前記ピクセルの方向を量子化する方向量子化部を備え、前記主軸方向検出部は、前記方向量子化部にて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムにて極大値を有する方向を前記主軸方向として検出する。

この構成によれば、量子化された方向ごとにその方向の強度を累積して、強度の累積値が最も大きい方向を主軸方向として検出できる。また、ヒストグラムにて極大値を有する方向を主軸方向とするので、離散化された主軸方向を得ることができる。なお、主軸方向は、ピクセルの方向を量子化した際の量子化数（整数）で表現されてもよいし、ラジアンで表現されてもよい。

また、上記の局所特徴量算出装置は、さらに、前記主軸方向検出部にて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で前記基準投票セルパターンを回転させて得られた複数の投票セルパターンを記憶した投票セルパターンテーブルを備え、前記局所特徴量算出部は、前記投票セルパターンテーブルに記憶された投票セルパターンのうちの前記主軸方向に対応する投票セルパターンを前記回転済投票セルパターンとして使用して、前記局所特徴量を算出する。

上記のように、主軸方向が離散化された値として得られる場合には、各主軸方向に対応する回転済投票セルパターンを予め用意しておいてテーブル化することができる。上記の構成により、そのようなテーブルを用いて、主軸方向が得られたときに、その主軸方向に対応する回転済投票セルパターンをテーブルから選択することで、投票セルパターンをその都度計算で求める必要がなくなるので、処理を高速化できる。また、投票セルパターンに記憶させておく回転済投票セルパターンを近傍領域と同じ大きさとすれば、各ピクセルが投票すべき投票セルを、それぞれ１度のメモリアクセス（テーブルのルックアップ）だけで得ることができる。

また、上記の局所特徴量算出装置は、さらに、前記主軸方向検出部にて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で前記基準投票セルパターンを回転させて得られた複数の投票セルパターンのうちの、パターンの形状が互いに重複しない複数の代表投票セルパターンを記憶した代表投票セルパターンテーブルと、前記主軸方向に従って前記代表投票セルパターンのセル番号を変換するためのセル番号変換テーブルとを備え、前記局所特徴量算出部は、前記投票セルパターンテーブルに記憶された前記代表投票セルパターンのうちの前記主軸方向に対応する代表投票セルパターンのセル番号を、前記セル番号変換テーブルを参照して、前記主軸方向に従って変換することで、前記方向の強度を投票する投票セルを決定する。

基準投票セルパターンが点対称の形状を有する場合には、それを回転させると、パターン形状が同じである回転済投票セルパターンが周期的に出現する。上記の構成は、この周期性を利用して、投票セルパターンテーブルの圧縮を図ったものである。即ち、パターン形状が重複する複数の回転済投票セルパターンについては、その１つのみを代表投票セルパターンとして投票セルパターンテーブルに記憶しておき、代表投票セルパターンとパターン形状が同じであるがセルの番号が異なる主軸方向については、代表投票セルパターンの投票セル番号を変換することで、当該主軸方向の回転済セルパターンを得ることができる。

また、上記の局所特徴量算出装置は、さらに、前記主軸方向検出部にて検出され得る複数の主軸方向の各々について、前記方向量子化部にて量子化された方向に対する前記補正済方向が規定された方向補正テーブルを備え、前記局所特徴量算出部は、前記方向補正テーブルを参照することで、前記主軸方向に従って、前記方向量子化部にて量子化された方向に対応する前記補正済方向を取得する。

ピクセルの方向についても、主軸方向が離散的に得られる場合には、テーブルを用意しておくことができる。上記の構成により、そのようなテーブルを用いて各ピクセルの方向を補正するので、各ピクセルについて、それぞれ１度のメモリアクセス（テーブルのルックアップ）だけで補正済方向を得ることができ、処理を高速化できる。

また、上記の局所特徴量算出装置は、さらに、前記主軸方向検出部にて検出され得る複数の主軸方向のうちの、前記方向量子化部にて量子化された方向に対する前記補正済方向が同一の周期を有する主軸方向を１グループとして、各グループについて、前記方向量子化部にて量子化された方向に対する代表補正済方向が規定された代表方向補正テーブルと、前記主軸方向に従って前記代表方向補正テーブルの前記代表補正済方向を変換するための方向変換テーブルと、前記局所特徴量算出部は、前記代表方向補正テーブルに規定された前記代表補正済方向のうちの、前記主軸方向及び前記方向量子化部にて量子化された方向に対応する代表補正済方向を、前記方向変換テーブルを参照して、前記主軸方向に従って変換することで、前記補正済方向を取得する。

方向補正テーブルにおいても、補正済方向が周期性を有する場合には、テーブルを圧縮できる。上記の構成により、補正済方向が同一の周期を有する主軸方向を１グループとして、各グループにつき代表の補正済方向のみを記憶しておき、実際に方向を補正する場合には、代表補正方向テーブルを参照して、主軸方向に従って代表補正方向を求めるとともに、主軸方向に従って、得られた代表補正方向を変換することで、補正済方向を得ることができる。

また、上記の局所特徴量算出装置において、前記局所特徴量算出部は、前記各ピクセルについて、当該ピクセルが複数の前記投票セルに属する場合に、当該ピクセルにおいて各投票セルが占める割合に応じて、当該複数の前記投票セルに当該ピクセルの方向の強度を投票する。

投票セルパターンにおいては、各ピクセルがいずれか１つの投票セルのみに属するように投票セルを設定することができるが、そうすると、回転済投票セルパターンの回転角の違いによって、投票セルの境界付近では誤差が生じることになる。上記の構成により、１つのピクセルを複数の投票セルに属するようにすることで、回転済投票セルパターンの回転角によらずに正確な投票値を得ることができる。

また、上記の局所特徴量算出装置において、前記方向は、ピクセルのエッジ勾配方向であり、前記方向の強度は、ピクセルのエッジ強度である。

この構成により、方向及びその強度は、ピクセルを微分することで得ることができる。

また、上記の局所特徴量算出装置において、前記局所特徴量算出部は、前記方向の強度を投票する投票セルの大きさに応じて前記方向の強度に重み付けをして投票する。

上述のように、投票セルパターンにおいては、各ピクセルがいずれか１つの投票セルのみに属するように投票セルを設定することができるが、そうすると、同じ投票セルの面積が回転済投票セルパターンの回転角の違いによって異なることが生じる。上記の構成により、投票セルの大きさに応じて投票する強度に重み付けをするので、上記のように回転済投票セルパターンの回転角の違いによる同一の投票セルへの投票の累積値の誤差を緩和できる。

また、上記の局所特徴量算出装置において、前記方向強度計算部は、前記特徴点に近いピクセルほど重みを重くした重み付けをして前記方向の強度を算出する。

この構成により、近傍領域において、特徴点に近いピクセルほど重要なピクセルであるとみなされる。

本発明の別の態様は、複数の画像の間の対応点を探索する対応点探索装置であって、上記のいずれかに記載の局所特徴量算出装置と、前記局所特徴量算出装置を用いて算出した前記複数の画像のそれぞれの局所特徴量を互いに比較することで前記複数の画像の間の対応点を探索する対応点探索部とを備えた構成を有している。

この構成により、複数の画像の間の対応点を探索するために、高速に局所特徴量を算出できる。

本発明のさらに別の態様は、画像の局所特徴量を算出する局所特徴量算出方法であって、前記画像から特徴点を抽出する特徴点抽出ステップと、前記特徴点の近傍に近傍領域を設定する近傍領域設定ステップと、前記近傍領域内の各ピクセルの方向を算出する方向算出ステップと、前記近傍領域内の各ピクセルの方向の強度を算出する強度算出ステップと、前記近傍領域内の複数のピクセルの前記方向及び前記方向の強度に基づいて、当該近傍領域の主軸方向を検出する主軸方向検出ステップと、基準投票セルパターンを前記主軸方向に応じた角度で回転させて回転済投票セルパターンを取得する投票セルパターン回転ステップと、各ピクセルの前記方向を前記主軸方向に応じて補正して補正済方向を取得する方向補正ステップと、前記近傍領域内の各ピクセルについて、前記回転済投票セルパターンの投票セルのうちの当該ピクセルが属する投票セルに対して、前記補正済方向に従って、当該ピクセルの前記方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出ステップとを含む構成を有している。

この構成によっても、回転不変性を実現するために、特徴点の近傍領域のテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、投票セルパターンを回転させて、その回転した投票セルパターン（回転済投票セルパターン）の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。なお、上記の各ステップは、必ずしも記載の順に実行されなくてもよい。上記のステップの一部が並行して実行され、又は、上記のステップの一部が記載の順とは異なる順に実行されてもよい。

本発明のさらに別の態様は、画像の局所特徴量を算出する局所特徴量算出方法であって、前記画像から特徴点を抽出する特徴点抽出ステップと、前記特徴点の近傍に近傍領域を設定する近傍領域設定ステップと、前記近傍領域内の各ピクセルの方向を算出する方向算出ステップと、前記近傍領域内の各ピクセルの前記方向を量子化する方向量子化ステップと、前記近傍領域内の各ピクセルの方向の強度を算出する強度算出ステップと、前記方向量子化ステップにて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムにて極大値を有する方向を前記近傍領域の主軸方向として検出する主軸方向検出ステップと、前記近傍領域内の各ピクセルについて、前記主軸方向検出ステップにて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で基準投票セルパターンを回転させて得られた複数の投票セルパターンを記憶した投票セルパターンテーブルを参照して、前記主軸方向に対応する投票セルパターンにおける、当該ピクセルが属する投票セルを決定する投票セル決定ステップと、前記近傍領域内の各ピクセルについて、前記主軸方向検出ステップにて検出され得る複数の主軸方向の各々について、前記方向量子化ステップにて量子化された方向に対する補正済方向が規定された方向補正テーブルを参照して、前記主軸方向及び前記方向量子化ステップにて量子化された方向に対応する補正済方向を取得する方向補正ステップと、前記近傍領域内の各ピクセルについて、前記投票セル決定ステップにて決定された投票セルに対して、前記補正済方向に従って、当該ピクセルの前記方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出ステップとを含む構成を有している。

この構成によっても、回転不変性を実現するために、特徴点の近傍領域のテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、投票セルパターンを回転させて、その回転した投票セルパターン（回転済投票セルパターン）の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。また、主軸方向が離散的な値としてえられるので、回転済投票セルパターンはテーブルを利用することにより取得でき、また、各ピクセルの方向もテーブルを用いて補正できるので、局所特徴量の算出をより高速化できる。なお、投票セルパターンテーブル及び方向補正テーブルは、圧縮されたテーブルと変換テーブルとの組合せであってもよい。また、上記の各ステップは、必ずしも記載の順に実行されなくてもよい。上記のステップの一部が並行して実行され、又は、上記のステップの一部が記載の順とは異なる順に実行されてもよい。

本発明のさらに別の態様は、複数の画像の間の対応点を探索する対応点探索方法であって、上記の局所特徴量算出方法で前記複数の画像のそれぞれの局所特徴量を算出する局所特徴量算出ステップと、前記局所特徴量算出ステップで算出された前記複数の画像のそれぞれの局所特徴量を互いに比較することで前記複数の画像の間の対応点を探索する対応点探索ステップとを含む構成を有している。

この構成によっても、複数の画像の間の対応点を探索するために、高速に局所特徴量を算出できる。なお、上記の各ステップは、必ずしも記載の順に実行されなくてもよい。上記のステップの一部が並行して実行され、又は、上記のステップの一部が記載の順とは異なる順に実行されてもよい。

本発明のさらに別の態様は、上記のいずれかの方法を演算処理装置に実行させるためのプログラムである。

本発明によれば、回転不変性を実現するために、特徴点の近傍領域のテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、投票セルパターンを回転させて、その回転した投票セルパターンの投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。

本発明の第１の実施の形態の局所特徴量算出装置の構成を示すブロック図 本発明の第１の実施の形態の入力画像における特徴点及び近傍領域を示す図 本発明の第１の実施の形態の入力画像を多段階に縮小したピラミッド画像を示す図 本発明の第１の実施の形態のエッジ勾配方向の量子化を説明するグラフ 本発明の第１の実施の形態のエッジ勾配方向のヒストグラムを示すグラフ 本発明の第１の実施の形態の投票セルパターン（主軸方向０度）を示す図 本発明の第１の実施の形態の投票セルパターン（主軸方向２２．５度）を示す図 本発明の第１の実施の形態の投票セルパターンを入力画像に重ねた様子を示す図 本発明の第１の実施の形態の局所特徴量を示すベクトルを説明するための図 本発明の第１の実施の形態の局所特徴量算出方法のフロー図 本発明の第２の実施の形態の局所特徴量算出装置の構成を示すブロック図 本発明の第２の実施の形態の主軸の各方向に対応する各投票セルパターンを示す図 本発明の第２の実施の形態の投票セルパターンテーブルを示す図 本発明の第２の実施の形態の圧縮された投票セルパターンテーブルを示す図 本発明の第２の実施の形態の投票セルパターンを決定するための圧縮用変換テーブルを示す図 本発明の第２の実施の形態の方向補正テーブルを示す図 本発明の第２の実施の形態の圧縮された方向補正テーブルを示す図 本発明の第２の実施の形態の方向補正を行うための圧縮用変換テーブルを示す図 本発明の第２の実施の形態の局所特徴量算出方法のフロー図 本発明の第２の実施の形態の１つのピクセルについて複数の投票セルに投票をする処理を説明する図 本発明の第３の実施の形態の対応点探索装置の構成を示すブロック図 本発明の第３の実施の形態の対応点探索方法のフロー図 ２つの画像の間の対応点を示す図 局所特徴量を用いた画像検索を説明するための図 ＳＩＦＴによる局特徴量の算出処理のフロー図 ＳＩＦＴによる局特徴量の算出処理を説明するための図 ＳＩＦＴによる局特徴量の算出処理を説明するための図 ＳＩＦＴによる局特徴量の算出処理を説明するための図

以下、本発明の実施の形態について図面を参照しながら説明する。以下に説明する実施の形態は、単なる例示であって、発明を限定するものではない。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の局所特徴量算出装置１の構成を示すブロック図である。局所特徴量算出装置１は、特徴点近傍領域抽出部１１と、方向強度計算部１２と、主軸方向検出部１３と、投票セルパターン生成部１４と、方向補正パターン生成部１５と、局所特徴量算出部１６とを備えている。局所特徴量算出装置１は、ハードウェアとして図１に示す構成が実現されてもよいし、演算処理装置にソフトウェア（コンピュータプログラム）が実装されることで図１に示す構成が実現されてもよい。局所特徴量算出装置１は、画像を入力して、その画像中の局所特徴量を出力する。

特徴点近傍領域抽出部１１には、画像ＴＰが入力される。特徴点近傍領域抽出部１１は、対象画像を構成するピクセルの中から所定の条件を満たすピクセルを特徴点ｐとして抽出する。特徴点を抽出するための条件は、再現性の高い抽出が行えるように決定される。例えば、コーナー点（角）を抽出するアルゴリズム（コーナディテクタ）を用いて、特徴点を抽出できる。

このように、入力画像を構成する複数のピクセルのうちの一部のピクセルのみを特徴点として抽出することで、入力画像のうちの一部のピクセルのみについて局所特徴量が求められるので、局所特徴量を用いた対応点探索では、高速に対応点を探索できる。一方、入力画像のすべてのピクセルを特徴点として抽出してもよい。この場合には、画像間の密な対応を得られることが期待できる。

特徴点近傍領域抽出部１１は、抽出された特徴点ｐの近傍の所定の領域を近傍領域ＮＲとして設定してこれを抽出する。本実施の形態では、特徴点を中心とするＷ×Ｗピクセルの正方形の領域を近傍領域ＮＲとする。図２は、特徴点近傍領域抽出部１１によって、抽出された特徴点ｐ_１〜ｐ_６及び特徴点ｐ_１の近傍領域をＮＲ_１を示す図である。なお、近傍領域の形状は、正方形に限らず、円、長方形等の他の形状であってもよい。

特徴点近傍領域抽出部１１は、図３に示すように、画像ＴＰを多段階に縮小したピラミッド画像を求め、各縮尺の画像に対して同一の条件で、それぞれ独立に特徴点を抽出して近傍領域を定義してもよい。図３は、縮尺をｓ分の１として多段階に縮小したピラミッド画像を示している。こうすることで、スケール不変性を有し、スケールの相違に影響を受けない局所特徴量を求めることができる。また、特徴点近傍領域抽出部１１は、ＤｏＧフィルタにより、特徴点とともにスケール情報を取得して、このスケール情報に応じて近傍領域を切り出してもよい。これによってもスケール不変性を有する局所特徴量を求めることができる。

上記のようにして、特徴点近傍領域抽出部１１は、１つの入力画像から、一般的には複数の特徴点ｐ_１〜ｐ_Ｎを抽出し、各特徴点について近傍領域ＮＲを設定する。そして、局所特徴量算出装置１は、各特徴点について、それぞれ局所特徴量を算出する。以下、方向強度計算部１２、主軸方向検出部１３、投票セルパターン生成部１４、方向補正パターン生成部１５、及び局所特徴量算出部１６について説明するが、特徴点近傍領域抽出部１１にて複数の特徴点ｐ_１〜ｐ_Ｎが抽出された場合には、複数の特徴点ｐ_１〜ｐ_Ｎの各々に対して、上記各部１２〜１６が以下に説明する処理を行う。以下の説明では、１つの特徴点について、その局所特徴量を求めるための処理を説明する。

方向強度計算部１２は、近傍領域ＮＲ内の各ピクセルの方向及びその方向の強度を算出する。ここで、本発明において、ピクセルの「方向」は、当該ピクセルの周辺を含めた小領域における画素値の分布の偏りを表す。また、「方向の強度」は、その偏りの度合い、即ち「方向」の信頼度を表す。「方向」及び「方向の強度」は、典型的には、ピクセルの画素値を微分することでそのピクセルのエッジ情報を求め、そのエッジ情報に基づいて求めることができる。即ち、ピクセルをｘ方向及びｙ方向に微分することで、エッジ情報としてエッジ勾配方向及びエッジ強度を求めることができ、このエッジ勾配方向を当該ピクセルの「方向」とし、このエッジ強度を当該ピクセルの「方向の強度」とすることができる。本実施の形態では、ピクセルの「方向」及び「方向の強度」として、それぞれエッジ勾配方向及びエッジ強度を採用する。具体的には、以下の通りである。以下、（ｘ，ｙ）^Ｔは、画像上の座標を表す。

まず、座標（ｘ，ｙ）のピクセルのｘ方向微分ｆ_ｘ（ｘ，ｙ）及びｙ方向微分ｆ_ｙ（ｘ，ｙ）を、それぞれ式（１）及び式（２）によって求める。

そして、これらのｘ方向微分ｆ_ｘ（ｘ，ｙ）及びｙ方向微分ｆ_ｙ（ｘ，ｙ）を用いて、エッジ勾配方向θ（ｘ，ｙ）及びエッジ強度ｍ（ｘ，ｙ）を、それぞれ式（３）及び式（４）によって求める。
但し、式（３）によれば、エッジ勾配方向は、第一象限と第三象限、及び第二象限と第四象限とを区別できないことになる。従って、ｘ方向微分ｆ_ｘ（ｘ，ｙ）及びｙ方向微分ｆ_ｙ（ｘ，ｙ）の符号を参照して、適切に補正をすることで、エッジ勾配方向として０〜２πの方向を求める。以下、記載を簡略化するために、アークタンジェントはすべて０〜２πの値を出力するものとする。

方向強度計算部１２は、式（４）で求めたエッジ強度を用いて、式（５）により重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を求める。なお、ｐ＝（ｐ_ｘ，ｐ_ｙ）^Ｔは特徴点の位置である。また、「ｈａｔ」は、式中の「＾」を表している。
ここで、関数ｗ（ｘ，ｙ）は重みであり、例えば、平均を（０，０）^Ｔ、共分散行列を
とする二次元ガウス分布を用いることができる。これにより、中心のピクセルほど重要であるとみなされることになる。

なお、方向強度計算部１２で求めた重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）は、後段の主軸方向検出部１３及び局所特徴量算出部１６にてそれぞれ用いられるが、主軸方向検出用と局所特徴量算出用とで、それぞれ異なる重みｗ（ｘ，ｙ）を用いて、主軸方向検出用の重み付きエッジ強度と局所特徴量算出用の重み付きエッジ強度とをそれぞれ別々に求めてもよい。また、重み付けをしていないエッジ強度ｍ（ｘ，ｙ）をそのまま用いて主軸方向を検出し、局所特徴量を算出することももちろん可能である。

方向強度計算部１２は、近傍領域ＮＲの各ピクセルについて、上記のようにしてエッジ勾配方向θ（ｘ，ｙ）及び重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）を算出し、それらを主軸方向検出部１３及び局所特徴量算出部１６に出力する。

主軸方向検出部１３は、主軸方向を検出する。このために、主軸方向検出部１３は、まず、エッジ勾配方向θ（ｘ，ｙ）を式（６）によって量子化する。
ここで、式（６）の右辺は、エッジ勾配方向θ（ｘ，ｙ）を０からＮ−１にスカラー量子化する関数であり、例えば、式（７）を採用することができる。
この式（７）を例えばＮ＝４の場合についてグラフに表すと、図４のようになる。なお、実験の結果、Ｎ＝４０程度が好適であることがわかっている。

主軸方向検出部１３は、近傍領域ＮＲ内の各ピクセルのエッジ勾配方向θ（ｘ，ｙ）を量子化すると、その量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）と、方向強度計算部１２から得た重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）とを用いて、式（８）に従って、エッジ勾配方向のヒストグラムｈ（ｋ）を求める。
なお、式（８）において、Ｓ_ｋは、式（９）で与えられる。
式（８）に示すように、エッジ勾配方向ヒストグラムの投票値には、重み付けエッジ強度ｈａｔ（ｘ，ｙ）が用いられる。図５は、式（８）によって得られたエッジ勾配方向ヒストグラムの例を示すグラフである。

主軸方向検出部１３は、このエッジ勾配方向ヒストグラムｈ（ｋ）から主軸を求める。本実施の形態では、主軸方向検出部１３は、ヒストグラムｈ（ｋ）のピーク近傍を放物線近似し、その放物線のピークをラジアンで表したものを主軸ｖとする。主軸ｖは実数であり、従ってこれをｖ_ｒｅａｌと表記する。なお、後述するように、別の実施の形態では、ヒストグラムのピークをそのまま主軸ｖとする。この場合、主軸ｖは、離散的な値、即ち０〜Ｎ−１の整数値又はそれをラジアンに変換した値であるので、これをｖ_{ｉｎｔｅｇｅｒ}と表記して、ｖ_ｒｅａｌと区別する。

主軸方向検出部１３は、エッジ勾配方向ヒストグラムｈ（ｋ）にピークが複数存在する場合には、複数の主軸方向を検出してもよい。この場合には、主軸方向の数だけ局所特徴量が与えられることになり、局所特徴量を用いた対応点探索において探索性能が向上する。主軸方向検出部１３は、検出した主軸方向ｖ_ｒｅａｌを投票セルパターン生成部１４及び方向補正パターン生成部１５出力する。

投票セルパターン生成部１４は、基準セルパターンＣＰを主軸方向ｖ_ｒｅａｌに応じた角度で回転させる。換言すると、投票セルパターン生成部１４は、基準投票セルパターンＣＰの基準方向ＥＤが主軸方向ｖ_ｒｅａｌの方向と一致するように投票セルパターンＣＰを回転させる。回転後の投票セルパターンを回転済投票セルパターンという。投票セルパターンとしては、上記の背景技術で説明したＳＩＦＴの場合と同様に、４×４のグリッド上に区分けされた投票セルからなるものを採用することもできるが、本実施の形態では、図６Ａ及び図６Ｂに示すように、円を円周に沿って３つの領域に区分けして、更にそうしてできた２つのドーナツ状の領域を半径方向に８等分して区分して投票セルを形成した投票セルパターンを採用する。投票セルパターンＣＰの各投票セルＶＣには順に投票セル番号が与えられている。

基準投票セルパターンは、その中心が特徴点の位置になるように設定され、回転済投票セルパターンは、基準投票セルパターンをその中心を視点として回転することで得られる。中心のセルには投票セル番号「０」が与えられ、その外側のドーナツ状領域では、基準投票セルパターンの右側の投票セルから反時計回りに順に「１」〜「８」の投票セル番号が与えられ、最外側のドーナツ状領域では、基準投票セルパターンの右側の投票セルから反時計回りに順に「９」〜「１６」の投票セル番号が与えられる。換言すれば、外側のドーナツ状領域において投票セル番号が右側の投票セルから反時計回りに順に「１」〜「８」となり、最外側のドーナツ状領域において投票セル番号が基準投票セルパターンの右側の投票セルから反時計回りに順に「９」〜「１６」となる投票セルパターンが本実施の形態の基準投票セルパターンであり、これを回転させたものが回転済投票セルパターンである。基準投票セルパターンの基準方向ＲＤは、投票セル０、投票セル１、及び投票セル９の中心を通る方向とされる。

図６Ａは、主軸方向ｖ_ｒｅａｌが水平右方向である場合に、基準方向ＲＤが主軸ｖ_ｒｅａｌに重なるようにされた回転済投票セルパターンＣＰ’（即ち、基準投票セルパターンから回転されていない）であり、図６Ｂは、主軸方向ｖ_ｒｅａｌが２２．５度であるときに、その主軸方向ｖ_ｒｅａｌに基準方向ＲＤが一致するよう回転させられた回転済投票セルパターンＣＰ’である。

図７は、回転済投票セルパターンＣＰ’を画像ＴＰ上に重ねた様子を示す図である。図７の例では、主軸方向ｖ_ｒｅａｌは２０度であり、回転済投票セルパターンＣＰ’は、その基準方向ＲＤが主軸ｖ_ｒｅａｌの方向に一致するように回転されている。各ピクセルについて投票を行う場合には、当該ピクセルが属する投票セルに投票をすることになる。

主軸方向ｖ_ｒｅａｌがラジアン表現されている場合には、基準投票セルパターンＣＰの基準方向ＲＤが主軸方向ｖ_ｒｅａｌの方向に一致するよう回転された回転済投票セルパターンＣＰ’は、式（１０）で表される。即ち、投票セルパターン生成部１４は、式（１０）に主軸ｖ_ｒｅａｌを代入することで、主軸ｖ_ｒｅａｌに従って回転された投票セルパターンＣＰ’を生成する。なお、（ｐ_ｘ，ｐ_ｙ）^Ｔは、特徴点ｐの位置である。

この式（１０）にピクセルの座標（ｘ，ｙ）を代入することで、当該ピクセルが投票すべき投票セルが決定される。なお、式（１０）において、ｒ_１、ｒ_２、ｒ_３は、それぞれ、図６Ａ及び図６Ｂに示した投票セルパターンにおける投票セル０の半径、投票セル１〜８の外周の半径（投票セル９〜１６の内周の半径）、投票セル９〜１６の外周の半径である。例えば、近傍領域ＮＲのサイズが２５×２５のサイズであるときは、ｒ_１＝３、ｒ_２＝８、ｒ_３＝１２などを選べばよい。投票セルパターン生成部１４は、生成した回転済投票セルパターンＣＰ’を局所特徴量算出部１６に出力する。

方向補正パターン生成部１５は、主軸方向ｖ_ｒｅａｌに応じて、エッジ勾配方向θ（ｘ，ｙ）を補正するための方向補正パターンを生成する。方向補正パターンは、式（１１）で表される。
式（１１）から明らかなように、方向補正パターンは、主軸方向ｖ_ｒｅａｌの基準方向ＲＤからの傾きを打ち消すように、エッジ勾配方向θ（ｘ，ｙ）を補正するための補正パターンである。方向補正パターン生成部１５は、生成した方向補正パターンを局所特徴量算出部１６に出力する。

局所特徴量算出部１６は、方向強度計算部１２で算出された近傍領域内の各ピクセルのエッジ勾配方向θ（ｘ，ｙ）と重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）、投票セルパターン生成部１４で生成された回転済投票セルパターンＣＰ’、及び方向補正パターン生成部１５で生成された方向補正パターンを入力して、これらを用いて局所特徴量ｄを求める。具体的には、局所特徴量算出部１６は、近傍領域ＮＲ内の各ピクセルのエッジ勾配方向θ（ｘ，ｙ）を方向補正パターンで補正して補正済エッジ勾配方向を得る。そして、補正済エッジ勾配方向に従って、回転済投票セルパターンＣＰ’に重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を投票することで局所特徴量ｄを求める。

局所特徴量算出部６０は、投票に際して、まず、各ピクセルのエッジ勾配方向θ（ｘ，ｙ）を方向補正パターンで補正して補正済エッジ勾配方向を得て、それを８通りに量子化する。図６Ａ及び図６Ｂに示すように、本実施の形態の回転済投票セルパターンＣＰ’は、合計１７個の投票セルを有する。よって、各投票セルにおいて８方向のヒストグラムを生成し、それらを連結して局所特徴量ｄとすると、局所特徴量は、１７×８＝１３６次元となる。なお、ヒストグラムの生成において投票するのは、各ピクセルの重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）である。

局所特徴量をｄ＝（ｄ_０，ｄ_１，・・・，ｄ_１３５）^Ｔというベクトル表記で記載すると、ｄ_iは式（１２）で求められる。
このＳ_iは、式（１３）で与えられる。
また、式（１３）のｉｎｄｅｘ（ｘ，ｙ）は、式（１４）で求められる。

なお、式（１４）のｖｏｔｉｎｇ＿ｃｅｌｌ＿ｐａｔｔｅｒｎ_{ｖｒｅａｌ}（ｘ，ｙ）は、式（１０）で示したものである。また、式（１４）のｄｉｒｅｃｔｉｏｎ＿ｏｆｆｓｅｔ_{ｖｒｅａｌ}（θ（ｘ，ｙ））は、式（１１）で示したものであり、関数ｑｕａｎｔｉｚｅ（θ，８）には、式（７）を採用する。

式（１４）によれば、局所特徴量ｄ＝（ｄ_０，ｄ_１，・・・，ｄ_１３５）において、ｄ_０，ｄ_１，・・・，ｄ_７は、投票セル０に投票された８つの方向のそれぞれの投票累積値であり、ｄ_８，ｄ_９，・・・，ｄ_１５は、投票セル１に投票された８つの方向のそれぞれの投票累積値であり、ｄ_１６，ｄ_１７，・・・，ｄ_２３は、投票セル２に投票された８つの方向のそれぞれの投票累積値であり、以下同様である。これを図で説明すると、図８の通りである。

次に、局所特徴量算出装置１にて実行される局所特徴量算出方法を説明する。局所特徴量算出方法は、ハードウェアで構成された局所特徴量算出装置１が実行するものであってもよいし、演算処理装置に実装されて局所特徴量算出装置１を構成するソフトウェア（コンピュータプログラム）が実行するものであってもよい。図９は、本実施の形態の局所特徴量算出方法のフロー図である。本実施の形態の局所特徴量算出方法は、入力された画像から局所特徴量を算出する。

まず、特徴点近傍領域抽出部１１は、画像ＴＰから特徴点ｐを抽出する（ステップＳ１１）。次に、特徴点近傍領域抽出部１１は、特徴点ｐの近傍に近傍領域ＮＲを設定する（ステップＳ１２）。そして、特徴点近傍領域抽出部１１は、特徴点ｐ及び近傍領域ＮＲを方向強度計算部１２に出力する。方向強度計算部１２は、近傍領域ＮＲ内の各ピクセルをｘ方向及びｙ方向にそれぞれ微分することで、近傍領域ＮＲ内の各ピクセルについて、エッジ勾配方向θ（ｘ，ｙ）を算出し（ステップＳ１３）、重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を算出する（ステップＳ１４）。なお、ステップＳ１３とステップＳ１４は、いずれが先に行なわれてもよく、並行して行なわれてもよい。

次に、主軸方向検出部１３は、エッジ勾配方向θ（ｘ，ｙ）を量子化する（ステップＳ１５）。そして、主軸方向検出部１３は、近傍領域ＮＲ内のピクセルの量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）に重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を投票することで、エッジ勾配方向ヒストグラムを生成する（ステップＳ１６）。主軸方向検出部１３は、その勾配方向ヒストグラムのピーク付近において曲線フィッティングを行い、その曲線の極大に対応する方向（実数）を近傍領域ＮＲの主軸方向ｖ_ｒｅａｌとして検出する（ステップＳ１７）。

投票セルパターン生成部１４は、主軸方向検出部１３から主軸方向ｖ_ｒｅａｌを取得して、基準投票セルパターンＰＣを主軸方向ｖ_ｒｅａｌに応じた角度で回転させて、回転済投票セルパターンＰＣを生成する（ステップＳ１８）。また、方向補正パターン生成部１５は、主軸方向ｖ_ｒｅａｌに応じた方向補正パターンを生成する（ステップＳ１９）。なお、ステップＳ１８とステップＳ１９は、いずれが先に行なわれてもよく、並行して行なわれてもよい。

局所特徴量算出部１６には、方向強度計算部１２からエッジ勾配方向θｈａｔ（ｘ，ｙ）及び重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）が入力され、投票セルパターン生成部１４から回転済投票セルパターンＰＣ’が入力され、方向補正パターン生成部１５から方向補正パターンが入力される。局所特徴量算出部１６は、近傍領域ＮＲ内の各ピクセルについて、エッジ勾配方向θｈａｔ（ｘ，ｙ）を方向補正パターンに従って補正して、補正済エッジ勾配方向を取得する（ステップＳ２０）。局所特徴量算出部１６は、近傍領域ＮＲ内の各ピクセルについて、回転済投票セルパターンＰＣ’の投票セルのうちの、当該ピクセルが属する投票セルに対して、補正済エッジ勾配方向に従って、当該ピクセルの重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を投票する（ステップＳ２１）。これにより、特徴点ｐの局所特徴量ｄが求まる。

以上説明したように、本実施の形態では、回転不変性を実現するために、従来技術のように、特徴点ｐの近傍領域ＮＲのテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、基準投票セルパターンＣＰを回転させて、その回転した投票セルパターン（回転済投票セルパターンＣＰ’）の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。

また、上述のように、回転不変性を実現するために、テクスチャパターンを回転させるのではなく、基準投票セルパターンを回転させて、かつ、各ピクセルの方向を補正した上で投票を行なうので、従来技術のように回転後のテクスチャパターンについて再度各ピクセルの方向及びその方向の強度を計算することが不要になり、方向強度計算部１２で算出された各ピクセルのエッジ勾配方向及びエッジ強度は、主軸方向ｖ_ｒｅａｌの検出にも、局所特徴量の算出にも利用できる。これにより、各ピクセルの方エッジ勾配方向及びエッジ強度を算出するための微分計算は一度で済み、局所特徴量の算出を高速化できる。

（第２の実施の形態）
図１０は、本発明の第２の実施の形態の局所特徴量算出装置の構成を示すブロック図である。本実施の形態の局所特徴量算出装置２は、特徴点近傍領域抽出部２１と、方向強度計算部２２と、主軸方向検出部２３と、局所特徴量算出部２６とを備えている。局所特徴量算出装置２は、ハードウェアとして図１０に示す構成が実現されてもよいし、演算処理装置にソフトウェアが実装されることで図１０に示す構成が実現されてもよい。

特徴点近傍領域抽出部２１は第１の実施の形態の特徴点近傍領域抽出部１１と同様にして、入力された画像ＴＰから特徴点ｐを抽出して、各特徴点ｐに対して近傍領域ＮＲを設定する。方向強度計算部２２も第１の実施の形態の方向強度計算部１２と同様に、近傍領域ＮＲ内の各ピクセルについて、ｘ方向及びｙ方向に微分をすることで、「方向」及び「方向の強度」として、エッジ勾配方向θ（ｘ，ｙ）及びエッジ強度ｍ（ｘ，ｙ）を算出する。

第１の実施の形態では、主軸方向検出部１３が、方向強度計算部２２にて求められた、近傍領域ＮＲ内のピクセルのエッジ勾配方向θ（ｘ，ｙ）を式（６）により量子化したが、本実施の形態では、方向強度計算部２２がこの量子化を行い、方向強度計算部２２は、量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）を主軸方向検出部２３及び局所特徴量算出部２６に出力する。方向強度計算部２２は、エッジ強度については、第１の実施の形態の方向強度計算部１２と同様に、重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）を求めて、主軸方向検出部２３及び局所特徴量算出部２６に出力する。

主軸方向検出部２３は、方向強度計算部２２から量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）及び重み付けエッジ強度ｍｈａｔ（ｘ，ｙ）を取得して、式（８）、（９）によりエッジ勾配方向のヒストグラムｈ（ｋ）を求める。そして、ヒストグラムｈ（ｋ）のピークを主軸方向ｖ_{ｉｎｔｅｇｅｒ}とする（図５参照）。この主軸方向ｖ_{ｉｎｔｅｇｅｒ}は、０〜Ｎ−１のいずれかの整数値、即ち離散的な値である。なお、主軸方向検出部３０は、この整数値をラジアンに変換してもよい。この場合にも、主軸ｖ_{ｉｎｔｅｇｅｒ}としてのラジアンは離散的な値をとる。主軸方向検出部２３は、離散的な値である主軸ｖ_{ｉｎｔｅｇｅｒ}を局所特徴量算出部２６に出力する。

本実施の形態の局所特徴量算出装置２は、第１の実施の形態の局所特徴量算出装置１と比較すると、第１の実施の形態の投票セルパターン生成部１４及び方向補正パターン生成部１５を備えていない。これは、本実施の形態では、主軸方向検出部２３にて、主軸方向が離散的な値として検出されるので、回転された投票セルパターンや方向補正パターンはテーブル化することができ、第１の実施の形態のように、検出された主軸方向に基づいてその都度回転済投票セルパターンや方向補正パターンを生成（計算）する必要がないからである。本実施の形態の局所特徴量算出部２６は、その中に投票セル決定部２４及び方向補正部２５を備えている。

まず、投票セル決定部２４について説明する。投票セル決定部２４は、主軸方向検出部２３から得た主軸ｖ_{ｉｎｔｅｇｅｒ}に従って投票セルパターンを決定し、決定した投票セルパターンを参照して、注目ピクセルの位置に対応する投票セル番号を取得する。

図１１は、基準投票セルパターンＰＣと、各主軸方向ｖ_{ｉｎｔｅｇｅｒ}に対応する回転済投票セルパターンＰＣ’を示している。投票セルパターンは、図６Ａ及び図６Ｂに示した投票セルパターンと同じ形状であり、投票セルは０〜１６までの１７個である。セル番号の付与の仕方も図６Ａ及び図６Ｂと同じである。

上述のように、主軸方向ｖ_{ｉｎｔｅｇｅｒ}は０〜Ｎ−１に離散化されており、その種類は有限（０〜Ｎ−１）であるので、それに対応する回転済投票セルパターンの種類も有限（０〜Ｎ−１）である。よって、これらの有限の回転済投票セルパターンをテーブル化しておけば、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が与えられたときに、テーブルから投票セルパターンを読み出すことで、当該主軸方向ｖ_{ｉｎｔｅｇｅｒ}に対応する角度で回転された回転済投票セルパターンを取得できる。

図１２は、投票セルパターンテーブルの例を示す図である。図１２は、Ｎ＝４０、Ｗ＝２５である場合を示している。各回転済投票セルパターンＰＣ’は、近傍領域ＮＲの大きさＷ×Ｗ（＝２５×２５）と同じ大きさを有する。即ち、Ｗ×Ｗ内の各ピクセルに、当該ピクセルが所属する投票セルの番号が与えられている。なお、円の外側には、セル番号「−１」が与えられ、投票はされない。図１２の例では、１つのピクセルに対して１つの投票セルが割り当てられている。

投票セル決定部２４に、図１２に示す投票セルパターンテーブルを保存しておくことで、主軸方向検出部２３から主軸方向ｖ_{ｉｎｔｅｇｅｒ}が与えられると、投票セル決定部２４は、その主軸方向ｖ_{ｉｎｔｅｇｅｒ}に対応する回転済投票セルパターンを選択して、各ピクセルの座標に従って、投票セルを決定する。

基準投票セルパターンが点対称の形状を有する場合は、それを所定のステップ幅で回転させると、パターン形状が同じである回転済投票セルパターンが周期的に出現する。従って、この場合には、セル番号変換テーブルを用いることで、投票セルパターンテーブルを圧縮できる。

本実施の形態では、投票セルパターンは点対象であり、ステップ数はＮ＝４０であるので、パターン形状が同じである回転済投票セルパターンが、４５度ごと（５ステップごと）に周期的に出現する。よって、投票セルパターンテーブルを圧縮できる。即ち、主軸ｖ_{ｉｎｔｅｇｅｒ}＝５〜３９の投票セルパターンは、主軸ｖ_{ｉｎｔｅｇｅｒ}＝０〜４の投票セルパターンを用いて表現でき、これにより、投票セルパターンのテーブルを８分の１圧縮できる。例えば、主軸ｖ_{ｉｎｔｅｇｅｒ}＝５〜９の投票セルパターンは、主軸ｖ_{ｉｎｔｅｇｅｒ}＝０〜４の投票セルパターンを用いて、式（１５）で表現できる。

そこで、本実施の形態では、投票セル決定部２４には、実際には、図１０に示すように、代表投票セルパターンテーブル２４１が設けられ、図１３に示すように、図１１の主軸ｖ_{ｉｎｔｅｇｅｒ}＝０〜４の投票セルパターンのみが代表投票セルパターンとして記憶されている。換言すれば、代表セルパターンテーブル２４１には、パターンの形状が互いに重複しない複数の代表投票セルパターンのみが記憶されている。本実施の形態では、主軸方向Ｖ_{ｉｎｔｅｇｅｒ}＝０、１、２、３、４に対応する５種類の回転済投票セルパターンが代表投票セルパターンとなる。そして、投票セル決定部２４には、さらに図１４に示すセル番号変換テーブル（ｃｏｍｐｒｅｓｓ_Ａ）２４２が保存されている。

投票セル決定部２４は、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が与えられると、まず、図１３の代表投票セルパターンテーブル２４１を参照して、５種類の代表投票セルパターンのうちの当該主軸方向ｖ_{ｉｎｔｅｇｅｒ}に該当する代表投票セルパターンを選択する。そして、その代表投票セルパターンにおいて、注目ピクセルの座標が属する投票セルのセル番号を得る。次に、図１３の圧縮用変換テーブル２４２を参照して、得られた投票セルのセル番号を変換する。

例えば、主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝１８である近傍領域において、特徴点を中心とする座標が（−４，２）である注目ピクセルについては、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が「１８」であるので、図１３の左から４番目の代表投票セルパターンが選択され、注目ピクセルの座標が（−４，２）であるので、セル番号「４」が得られる。このセル番号「４」を、図１４に示すセル番号変換テーブル２４２の第４行第５列を参照することで、「１」に変換する。これにより、この注目ピクセルの投票セルは、投票セル１であると決定される。

なお、さらに、投票セルパターンの第１象限、第２象限、第３象限及び第４象限が相似形である場合は、これに着目して、図１２に示す投票セルパターンテーブルをさらに４分の１に圧縮できる。

次に、方向補正部２５について説明する。方向補正部２５は、方向強度計算部２２から得た、近傍領域内の各ピクセルについての、量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）と、主軸方向検出部２３から得た主軸方向ｖ_{ｉｎｔｅｇｅｒ}を用いて、そのエッジ勾配方向を補正する。

上述のように、本実施の形態では、主軸方向ｖ_{ｉｎｔｅｇｅｒ}は０〜Ｎ−１に離散化されており、その種類は有限（０〜Ｎ−１）であり、また、エッジ勾配方向θｈａｔ（ｘ，ｙ）も離散的な値であるので、主軸方向ｖ_{ｉｎｔｅｇｅｒ}とエッジ勾配方向θｈａｔ（ｘ，ｙ）の組合せに対応する補正済エッジ勾配方向をテーブル化することができる。このようなテーブルを用意しておくことで、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が与えられたときに、テーブルからエッジ勾配方向を読み出すことで、当該主軸方向ｖ_{ｉｎｔｅｇｅｒ}に応じて補正された補正済エッジ勾配方向を取得できる。

図１５は、方向補正テーブルの例を示す図である。図１５は、Ｎ＝４０の場合を示している。方向補正部２５に、図１５に示す方向補正テーブルを保存しておくことで、方向補正部２５は、主軸方向ｖ_{ｉｎｔｅｇｅｒ}と量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）が与えられると、図１５の方向補正テーブルを参照することで、０〜７の８方向のいずれかを補正済エッジ勾配方向として求めることができる。

図１５から分かるように、方向補正テーブルにおいて、エッジ勾配方向θｈａｔ（ｘ，ｙ）に対する補正済エッジ勾配方向の変化は、周期性を有する。従って、この周期性を利用して、テーブルを圧縮することができる。本実施の形態では、Ｎ＝４０であるので、圧縮用変換テーブルを用いることで、図１５の方向補正テーブルを８分の１に圧縮できる。即ち、主軸ｖ_{ｉｎｔｅｇｅｒ}＝５〜４０の場合のエッジ勾配方向（０〜７）は、主軸ｖ_{ｉｎｔｅｇｅｒ}＝０〜４の部分のテーブルから求めることができる。例えば、主軸ｖ_{ｉｎｔｅｇｅｒ}＝５〜９の場合は、主軸ｖ_{ｉｎｔｅｇｅｒ}＝０〜４の部分の方向補正テーブルを用いて、式（１６）で表現できる。

そこで、本実施の形態では、方向補正部２５には、実際には、図１０に示すように、代表方向補正テーブル２５１が設けられ、この代表方向補正テーブル２５１では、図１６に示すように、図１５のテーブルのうちのｖ_{ｉｎｔｅｇｅｒ}＝０〜４の部分のみが、代表補正済エッジ勾配方向として規定されている。換言すれば、代表方向補正テーブル２５１では、エッジ勾配方向θｈａｔ（ｘ，ｙ）に対する補正済エッジ勾配方向が同一の周期を有する主軸方向（例えば、主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝０、５、１０、１５、２０、２５、３０、３５）で１グループとされ、各グループについて、１行の代表補正済エッジ勾配方向のみが規定されている。本実施の形態では、主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝０、１、２、３、４に対応する補正済エッジ勾配方向（図１５の第１行〜第５行）が代表補正済エッジ勾配方向として代表方向補正テーブル２５１に規定されている。そして、方向補正部２５には、さらに図１７に示す方向変換テーブル（ｃｏｍｐｒｅｓｓ_Ｂ）２５２が保存されている。

方向補正部２５は、主軸ｖ_{ｉｎｔｅｇｅｒ}と量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）が与えられると、図１６に示す代表方向補正テーブル２５１を参照することで０〜８のいずれかの方向を取得し、次に、図１７に示す方向変換テーブル２５２でそれを変換することで、補正済エッジ勾配方向を取得する。例えば、主軸ｖ_{ｉｎｔｅｇｅｒ}＝１８、エッジ勾配方向θｈａｔ（ｘ，ｙ）＝１０である注目ピクセルについては、図１６の代表方向補正テーブル２５１の第４行第１１列から「１」が得られ、次に図１６の方向変換テーブル２５２の第４行第２列から、補正済エッジ方向勾配として「６」を得る。方向補正部２５は、上記のようにして、近傍領域ＮＲの各ピクセルに対して、補正済エッジ勾配方向として０〜７のいずれかの方向を取得する。

局所特徴量算出部２６は、投票セル決定部２４にて投票セルが決定され、方向補正部２５にて補正済エッジ勾配方向が得られると、そのピクセルのエッジ強度を投票する。局所特徴量算出部２６は、このような投票処理を近傍領域ＮＲのすべてのピクセルについて行うことで、局所特徴量ｄ＝（ｄ_０，ｄ_１，・・・，ｄ_１３５）^Ｔを得る。局所特徴量ｄ_iは、式で表すと式（１７）の通りである。

ここで、式（１７）のＳ_ｉは、式（１８）で与えられる。
また、式（１８）のiｎｄｅｘ（ｘ，ｙ）は、式（１９）で与えられる。

次に、本実施の形態の局所特徴量算出方法を説明する。本実施の形態の局所特徴量算出方法は、入力された画像から局所特徴量を算出する。局所特徴量算出方法は、ハードウェアで構成された局所特徴量算出装置２が実行するものであってもよいし、演算処理装置に実装されて局所特徴量算出装置２を構成するソフトウェア（コンピュータプログラム）が実行するものであってもよい。図１８は、本実施の形態の局所特徴量算出方法のフロー図である。

特徴点近傍領域抽出部２１は、画像ＴＰから特徴点ｐを抽出する（ステップＳ３１）。次に、特徴点近傍領域抽出部２１は、特徴点ｐの近傍に近傍領域ＮＲを設定する（ステップＳ３２）。そして、特徴点近傍領域抽出部２１は、特徴点ｐ及び近傍領域ＮＲを方向強度計算部２２に出力する。方向強度計算部２２は、近傍領域ＮＲ内の各ピクセルをｘ方向及びｙ方向にそれぞれ微分することで、近傍領域ＮＲ内の各ピクセルについて、エッジ勾配方向θ（ｘ，ｙ）を算出し（ステップＳ３３）、それを量子化して、量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）を求める（ステップＳ３４）。方向強度計算部２２は、また、近傍領域ＮＲ内の各ピクセルについて、重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を算出する（ステップＳ３５）。 なお、ステップＳ３３及びそれに続くステップＳ３４と、ステップＳ３５とは、いずれが先に行なわれてもよく、並行して行なわれてもよい。

次に、主軸方向検出部２３は、近傍領域ＮＲ内のピクセルの量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）に重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を投票することで、エッジ勾配方向ヒストグラムを生成する（ステップＳ３６）。主軸方向検出部２３は、その勾配方向ヒストグラムにて極大値を有するエッジ勾配方向（離散化された値）を近傍領域ＮＲの主軸方向ｖ_{ｉｎｔｅｇｅｒ}として検出し、局所特徴量算出部２６に出力する（ステップＳ３７）。

局所特徴量算出部２６には、方向強度計算部２２から量子化されたエッジ勾配方向θｈａｔ（ｘ，ｙ）及び重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）が入力され、主軸方向検出部２３から主軸方向ｖ_{ｉｎｔｅｇｅｒ}が入力される。局所特徴量算出部２６は、近傍領域ＮＲ内の各ピクセルについて、投票セルパターンテーブルを参照して、主軸方向ｖ_{ｉｎｔｅｇｅｒ}に対応する投票セルパターンにおける、注目ピクセルが属する投票セルを決定する（ステップＳ３８）。

なお、局所特徴量算出部２６において、投票セル決定部２４に図１２に示す投票セルパターンテーブルが記憶されている場合には、ステップＳ３８では、その投票セルパターンテーブルを参照して投票セルを決定する。一方、投票セル決定部２４に、図１３に示す代表投票セルパターンテーブル２４１及び図１４に示すセル番号変換テーブル２４２が記憶されている場合（図１０の場合）には、ステップＳ３８では、投票セルパターンテーブルとして、代表セルパターンテーブル２４１とセル番号変換テーブル２４２を参照して、投票セルを決定する。

局所特徴量算出部２６は、近傍領域ＮＲ内の各ピクセルについて、方向補正テーブルを参照して、主軸方向ｖ_{ｉｎｔｅｇｅｒ}及び量子化されたエッジ勾配方向θｈａｔ（ｘ，）に対応する補正済エッジ勾配方向を取得する（ステップＳ３９）。

なお、局所特徴量算出部２６において、方向補正部２５に図１５に示す方向補正テーブルが記憶される場合には、ステップＳ３９では、その方向補正テーブルを参照して、補正済エッジ勾配方向を取得する。一方、方向補正部２５に図１６に示す代表方向補正テーブル２５１及び図１７に示す方向変換テーブル２５２が記憶される場合（図１０の場合）には、ステップＳ３９では、代表方向補正テーブル２５１及び方向変換テーブル２５２を参照して、補正済エッジ勾配方向を取得する。なお、ステップＳ３８とステップＳ３９とは、いずれが先に行なわれてもよく、並行して行なわれてもよい。

次に、局所特徴量算出部２６は、近傍領域ＮＲ内の各ピクセルについて、ステップＳ３８にて決定された投票セルに対して、ステップＳ３９で得られた補正済エッジ勾配方向に従って、注目ピクセルの重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を投票する（ステップＳ４０）これにより、特徴点ｐの局所特徴量ｄが求まる。

以上説明したように、本実施の形態においても、回転不変性を実現するために、従来技術のように、特徴点ｐの近傍領域ＮＲのテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、主軸方向に応じて回転された回転済投票セルパターンＣＰ’の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、局所特徴量の算出を高速化できる。

また、上述のように、回転不変性を実現するために、テクスチャパターンを回転させるのではなく、回転済基準投票セルパターンに対して、各ピクセルの方向を補正した上で投票を行なうので、従来技術のように回転後のテクスチャパターンについて再度各ピクセルの方向及びその方向の強度を計算することが不要になり、方向強度計算部２２で算出された各ピクセルのエッジ勾配方向及びエッジ強度は、主軸方向ｖ_{ｉｎｔｅｇｅｒ}の検出にも、局所特徴量の算出にも利用できる。これにより、各ピクセルの方エッジ勾配方向及びエッジ強度を算出するための微分計算は一度で済み、局所特徴量の算出を高速化できる。

また、本実施の形態では、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が離散化された値として得られるので、各主軸方向に対応する回転済投票セルパターンを予め用意しておいてテーブル化することができ、そのようなテーブルを用いて、主軸方向ｖ_{ｉｎｔｅｇｅｒ}が得られたときに、その主軸方向ｖ_{ｉｎｔｅｇｅｒ}に対応する回転済投票セルパターンをテーブルから選択することで、投票セルパターンをその都度計算で求める必要がなくなるので、処理を高速化できる。

さらに、本実施の形態では、基準投票セルパターンが点対称の形状を有するので、この周期性を利用して、投票セルパターンテーブルの圧縮でき、必要なメモリ容量を小さくできる。本実施の形態で示した程度のテーブルであれば、ＣＰＵのキャッシュに入れることができ、処理を一段と高速化できる。

また、本実施の形態では、ピクセルのエッジ勾配方向についても、テーブルを用意しておくことができ、そのようなテーブルを用いて各ピクセルのエッジ勾配方向を補正するので、処理を高速化できる。

さらに、本実施の形態では、補正済エッジ勾配方向が周期性を有するので、方向補正テーブルも圧縮でき、必要なメモリ容量を小さくできる。本実施の形態で示した程度のテーブルであれば、ＣＰＵのキャッシュに入れることができ、処理を一段と高速化できる。

なお、上記の第２の実施の形態の投票セルパターンでは、各ピクセルがいずれか１つの投票セルのみに属するように投票セルが設定されているので、回転済投票セルパターンの回転角の違いによって同じ投票セルの面積が異なることが生じる。例えば、図１２を参照すると、主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝０のときの投票セル１の面積は２１ピクセルであるが、主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝０のときの投票セル１の面積は２０ピクセルであり、同じ投票セルであるにもかかわらず、回転済投票セルパターンの回転角の違いによって、両面積は僅かに異なっている。そうすると、同じ画像であっても、主軸方向が異なることで、同一のセルにエッジ強度を投票するピクセルの数が、一方は多くなり、他方は少なくなるので、その投票セルの累積値にも誤差が生じる。

この点を考慮して、局所特徴量算出部２６は、投票セルの大きさに応じて重み付きエッジ強度にさらに重み付けをして投票してもよい。例えば、面積の逆数をこの重みとすることができる。これにより、回転角の違いによる投票セルの面積の相違の影響を受けることのない局所特徴量を求めることができる。

また、上記の第２の実施の形態の投票セルパターンは、各ピクセルがいずれか１つの投票セルのみに属するように投票セルが設定されていたので、回転済投票セルパターンの回転角の違いによって、投票セルの境界付近では誤差が生じることになる。

この点を考慮して、局所特徴量算出部２６は、投票セルの境界に位置するピクセルについては、図１９（ｃ）に示すように、投票セルパターンを実線で引いて、その実線に掛かるピクセルについては、実践によって分けられた面積に応じて、複数の投票セルに投票をしてもよい。図１９（ａ）は、図１２に示す主軸方向ｖ_{ｉｎｔｅｇｅｒ}＝０の回転済投票セルパターンであり、図１９（ｂ）及び（ｃ）は、その一部（投票セル１５と投票セル１６との境界部分）を拡大した図である。図１９（ｂ）は、誤差を考慮しない例であり、図１９（ｃ）は誤差を緩和する例である。

図１９（ｃ）において、例えば左上のピクセルについては、その６０％が投票セル１５に属しており、その４０％が投票セル１６に属している。よって、このセルについては、その重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）の６０％を投票セル１５に投票し、４０％を投票セル１６に投票する。このように、１つのピクセルを複数の投票セルに属するようにすることで、回転済投票セルパターンの回転角によらずに正確な投票値を得ることができる。

（第３の実施の形態）
次に、上記の第１又は第２の実施の形態の局所特徴量算出装置を採用した対応点探索装置を第３の実施の形態として説明する。図２０は、第３の実施の形態の対応点探索装置３の構成を示すブロック図である。図２０に示すように、対応点探索装置３は、局所特徴量算出装置１００と対応点探索部３１とを備えている。対応点探索装置３は、ハードウェアとして図２０に示す構成が実現されてもよいし、演算処理装置にソフトウェアが実装されることで図２０に示す構成が実現されてもよい。

局所特徴量算出装置１００として、第１の実施の形態の局所特徴量算出装置１又は第２の実施の形態の局所特徴量算出装置２のいずれかを採用する。局所特徴量算出装置１００には、第１の画像及び第２の画像が入力され、それぞれについて局所特徴量を算出して、対応点探索部３１に出力する。対応点探索部３１は、第１の画像の局所特徴量と第２の画像の局所特徴量とを比較して、特徴点を探索する。

なお、対応点探索装置３は、画像を検索するシステムにおいて、入力画像と画像データベースに保存された画像との対応点を探索する装置として応用でき、また、異なる視点で撮影された第１画像と第２の画像から三次元形状を復元するシステムにおいて、第１画像と第２の画像の対応点を探索する装置としても応用でき、さらに別のシステムにも応用可能である。

図２１は、本実施の形態の対応点探索方法のフロー図である。対応点探索方法は、ハードウェアで構成された対応点探索装置３が実行するものであってもよいし、演算処理装置に実装されて対応点探索装置３を構成するソフトウェア（コンピュータプログラム）が実行するものであってもよい。

対応点の探索では、まず、局所特徴量算出装置１００が、第１の画像の局所特徴量を算出し（ステップＳ５１）、次に、第２の画像の局所特徴量を算出する（ステップＳ５２）。ステップＳ５１及びステップＳ５２には、第１の実施の形態の局所特徴量算出方法又は第２の実施の形態の局所特徴量算出方法のいずれかを採用することができる。次に、対応点探索部３１は、第１の画像の局所特徴量と第２の画像の局所特徴量とを比較して、対応点を探索する（ステップＳ５３）。

以上のように、第１ないし第３の実施の形態によれば、局所特徴量の算出において、回転不変性を実現するために、特徴点の近傍領域のテクスチャパターンを回転させた上で新たに設定した投票セルパターンのセルに投票をするのではなく、投票セルパターンを回転させて、その回転した投票セルパターン（回転済投票セルパターン）の投票セルに投票を行なうので、テクスチャパターンを回転させるための膨大な浮動小数点計算を伴うサブピクセル単位の線形補間処理が不要となり、処理を高速化でき、その結果、対応点検索の処理も高速化できる。

また、第１ないし第３の実施の形態によれば、従来の局所特徴量算出アルゴリズムであるＳＩＦＴやＳＵＲＦよりもアルゴリズムが簡素になるので、局所特徴量算出装置をハードウェア化するときに、回路規模を小さくでき、コストを削減できる。また、ソフトウェアとして実装する場合にも、実行バイナリ大きさを小さくできるので、様々なアプリケーションに組み込み易いという利点がある。よって、上記の実施の形態の局所特徴量算出装置をハードウェア化する場合もソフトウェア実装する場合も、モバイル機器やローエンドの機器に好適に実装できる。

なお、上記の実施の形態において、ピクセルの「方向」及び「方向の強度」は、エッジ情報に基づくものには限られない。「方向」及び「方向の強度」は、ウェーブレット変換やガボール変換によって求めることもできる。また、大量の画像について、エッジ勾配方向やエッジ強度をデータベースス化して学習させることで、新たな画像が入力された場合に、このデータベースを用いてエッジ勾配方向やエッジ強度を求めてもよい。

また、上記の実施の形態において、重み付きエッジ強度ｍｈａｔ（ｘ，ｙ）を求める際の重みは、ｗ（ｘ，ｙ）＝１として複数の画像について局所特徴量を求めておき、そこから得られた統計量に応じて、重みｗ（ｘ，ｙ）を決め直してもよい。例えば、特定の投票セルに強い値が集中する傾向がある場合には、その部分の重みを小さくすることで、各投票セルの寄与率を調整できる。

また、上記の実施の形態において、主軸方向は、画像情報（エッジ勾配方向及びエッジ強度画像）に基づいて検出されたが、主軸方向は、これに限られず、生成する際の撮像装置に備えられたジャイロセンサ、地磁気センサ、又は重力センサの検出値に基づいて検出されてもよく、また、大量の画像について、主軸方向をデータベースス化して学習させることで、新たな画像が入力された場合に、このデータベースを用いて主軸方向が検出されてもよい。

本発明は、局所特徴量の算出を高速化できるという効果を有し、画像の局所特徴量を算出するための局所特徴量算出装置及び局所特徴量算出方法、並びに局所特徴量算出装置を用いた対応点探索装置及び局所特徴量算出方法を用いた対応点探索方法等として有用である。

１ 局所特徴量算出装置
１１ 特徴点近傍領域抽出部
１２ 方向強度計算部
１３ 主軸方向検出部
１４ 投票セルパターン生成部
１５ 方向補正パターン生成部
１６ 局所特徴量算出部
２ 局所特徴量算出装置
２１ 特徴点近傍領域抽出部
２２ 方向強度計算部
２３ 主軸方向検出部
２４ 投票セル決定部
２４１ 代表投票セルパターンテーブル
２４２ セル番号変換テーブル
２５ 方向補正部
２５１ 代表方向補正部
２５２ 方向変換テーブル
２６ 局所特徴量算出部
３ 対応点探索装置
１００ 局所特徴量算出装置
３１ 対応点探索部

Claims (20)

1. 画像の局所特徴量を算出する局所特徴量算出装置であって、
   前記画像から特徴点及び前記特徴点の近傍に設定される近傍領域を抽出する特徴点近傍領域抽出部と、
   前記近傍領域内の各ピクセルの方向及びその方向の強度をそれぞれ算出する方向強度計算部と、
   前記近傍領域の主軸方向を検出する主軸方向検出部と、
   前記各ピクセルについて、基準投票セルパターンを前記主軸方向に応じた角度で回転させて得られる回転済投票セルパターンの投票セルのうちの当該ピクセルが属する投票セルに対して、前記方向強度計算部にて算出された当該ピクセルの方向を前記主軸方向に応じて補正して得られる補正済方向に従って、前記方向強度計算部にて算出された当該ピクセルの方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出部と、
   を備えたことを特徴とする局所特徴量算出装置。
2. 前記主軸方向検出部は、前記方向強度計算部にて算出された前記近傍領域中の複数のピクセルの方向及びその方向の強度に基づいて、前記近傍領域の主軸方向を検出することを特徴とする請求項１に記載の局所特徴量算出装置。
3. さらに、前記ピクセルの方向を量子化する方向量子化部を備え、
   前記主軸方向検出部は、前記方向量子化部にて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムのピーク近傍を曲線近似して、当該曲線の極大に対応する方向を前記主軸方向として検出することを特徴とする請求項１又は２に記載の局所特徴量算出装置。
4. さらに、前記基準投票セルパターンを、前記主軸方向に応じた角度だけ回転させることで、前記回転済投票セルパターンを生成する投票セルパターン生成部を備えることを特徴とする請求項１ないし３のいずれかに記載の局所特徴量算出装置。
5. さらに、前記方向強度計算部にて算出されたピクセルの方向を、前記主軸方向に応じて補正するための方向補正パターンを生成する方向補正パターン生成部を備え、
   前記局所特徴量算出部は、前記方向補正パターンを用いて、各ピクセルの方向を補正することで、前記補正済方向を得ることを特徴とする請求項１ないし４のいずれかに記載の局所特徴量算出装置。
6. さらに、前記ピクセルの方向を量子化する方向量子化部を備え、
   前記主軸方向検出部は、前記方向量子化部にて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムにて極大値を有する方向を前記主軸方向として検出することを特徴とする請求項１又は２に記載の局所特徴量算出装置。
7. さらに、前記主軸方向検出部にて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で前記基準投票セルパターンを回転させて得られた複数の投票セルパターンを記憶した投票セルパターンテーブルを備え、
   前記局所特徴量算出部は、前記投票セルパターンテーブルに記憶された投票セルパターンのうちの前記主軸方向に対応する投票セルパターンを前記回転済投票セルパターンとして使用して、前記局所特徴量を算出することを特徴とする請求項６に記載の局所特徴量算出装置。
8. さらに、前記主軸方向検出部にて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で前記基準投票セルパターンを回転させて得られた複数の投票セルパターンのうちの、パターンの形状が互いに重複しない複数の代表投票セルパターンを記憶した代表投票セルパターンテーブルと、
   前記主軸方向に従って前記代表投票セルパターンのセル番号を変換するためのセル番号変換テーブルと、
   を備え、
   前記局所特徴量算出部は、前記投票セルパターンテーブルに記憶された前記代表投票セルパターンのうちの前記主軸方向に対応する代表投票セルパターンのセル番号を、前記セル番号変換テーブルを参照して、前記主軸方向に従って変換することで、前記方向の強度を投票する投票セルを決定することを特徴とする請求項６に記載の局所特徴量算出装置。
9. さらに、前記主軸方向検出部にて検出され得る複数の主軸方向の各々について、前記方向量子化部にて量子化された方向に対する前記補正済方向が規定された方向補正テーブルを備え、
   前記局所特徴量算出部は、前記方向補正テーブルを参照することで、前記主軸方向に従って、前記方向量子化部にて量子化された方向に対応する前記補正済方向を取得することを特徴とする請求項６ないし８のいずれかに記載の局所特徴量算出装置。
10. さらに、前記主軸方向検出部にて検出され得る複数の主軸方向のうちの、前記方向量子化部にて量子化された方向に対する前記補正済方向が同一の周期を有する主軸方向を１グループとして、各グループについて、前記方向量子化部にて量子化された方向に対する代表補正済方向が規定された代表方向補正テーブルと、
    前記主軸方向に従って前記代表方向補正テーブルの前記代表補正済方向を変換するための方向変換テーブルと、
    前記局所特徴量算出部は、前記代表方向補正テーブルに規定された前記代表補正済方向のうちの、前記主軸方向及び前記方向量子化部にて量子化された方向に対応する代表補正済方向を、前記方向変換テーブルを参照して、前記主軸方向に従って変換することで、前記補正済方向を取得することを特徴とする請求項６ないし８のいずれかに記載の局所特徴量算出装置。
11. 前記局所特徴量算出部は、前記各ピクセルについて、当該ピクセルが複数の前記投票セルに属する場合に、当該ピクセルにおいて各投票セルが占める割合に応じて、当該複数の前記投票セルに当該ピクセルの方向の強度を投票することを特徴とする請求項１ないし１０のいずれかに記載の局所特徴量算出装置。
12. 前記方向は、ピクセルのエッジ勾配方向であり、前記方向の強度は、ピクセルのエッジ強度であることを特徴とする請求項１ないし１１のいずれかに記載の局所特徴量算出装置。
13. 前記局所特徴量算出部は、前記方向の強度を投票する投票セルの大きさに応じて前記方向の強度に重み付けをして投票することを特徴とする請求項１ないし１２のいずれかに記載の局所特徴量算出装置。
14. 前記方向強度計算部は、前記特徴点に近いピクセルほど重みを重くした重み付けをして前記方向の強度を算出することを特徴とする請求項１ないし１３のいずれかに記載の局所特徴量算出装置。
15. 複数の画像の間の対応点を探索する対応点探索装置であって、
    請求項１ないし１４のいずれかに記載の局所特徴量算出装置と、
    前記局所特徴量算出装置を用いて算出した前記複数の画像のそれぞれの局所特徴量を互いに比較することで前記複数の画像の間の対応点を探索する対応点探索部と、
    を備えたことを特徴とする対応点探索装置。
16. 画像の局所特徴量を算出する局所特徴量算出方法であって、
    前記画像から特徴点を抽出する特徴点抽出ステップと、
    前記特徴点の近傍に近傍領域を設定する近傍領域設定ステップと、
    前記近傍領域内の各ピクセルの方向を算出する方向算出ステップと、
    前記近傍領域内の各ピクセルの方向の強度を算出する強度算出ステップと、
    前記近傍領域内の複数のピクセルの前記方向及び前記方向の強度に基づいて、当該近傍領域の主軸方向を検出する主軸方向検出ステップと、
    基準投票セルパターンを前記主軸方向に応じた角度で回転させて回転済投票セルパターンを取得する投票セルパターン回転ステップと、
    各ピクセルの前記方向を前記主軸方向に応じて補正して補正済方向を取得する方向補正ステップと、
    前記近傍領域内の各ピクセルについて、前記回転済投票セルパターンの投票セルのうちの当該ピクセルが属する投票セルに対して、前記補正済方向に従って、当該ピクセルの前記方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出ステップと、
    を含むことを特徴とする局所特徴量算出方法。
17. 画像の局所特徴量を算出する局所特徴量算出方法であって、
    前記画像から特徴点を抽出する特徴点抽出ステップと、
    前記特徴点の近傍に近傍領域を設定する近傍領域設定ステップと、
    前記近傍領域内の各ピクセルの方向を算出する方向算出ステップと、
    前記近傍領域内の各ピクセルの前記方向を量子化する方向量子化ステップと、
    前記近傍領域内の各ピクセルの方向の強度を算出する強度算出ステップと、
    前記方向量子化ステップにて量子化されたピクセルの方向に従って当該ピクセルの方向の強度を投票することで、方向ヒストグラムを生成し、前記方向ヒストグラムにて極大値を有する方向を前記近傍領域の主軸方向として検出する主軸方向検出ステップと、
    前記近傍領域内の各ピクセルについて、前記主軸方向検出ステップにて検出され得る複数の主軸方向にそれぞれ対応する複数の角度で基準投票セルパターンを回転させて得られた複数の投票セルパターンを記憶した投票セルパターンテーブルを参照して、前記主軸方向に対応する投票セルパターンにおける、当該ピクセルが属する投票セルを決定する投票セル決定ステップと、
    前記近傍領域内の各ピクセルについて、前記主軸方向検出ステップにて検出され得る複数の主軸方向の各々について、前記方向量子化ステップにて量子化された方向に対する補正済方向が規定された方向補正テーブルを参照して、前記主軸方向及び前記方向量子化ステップにて量子化された方向に対応する補正済方向を取得する方向補正ステップと、
    前記近傍領域内の各ピクセルについて、前記投票セル決定ステップにて決定された投票セルに対して、前記補正済方向に従って、当該ピクセルの前記方向の強度を投票することで、前記特徴点の局所特徴量を求める局所特徴量算出ステップと、
    を含むことを特徴とする局所特徴量算出方法。
18. 請求項１６又は１７に記載の局所特徴量算出方法を演算処理装置に実行させるためのプログラム。
19. 複数の画像の間の対応点を探索する対応点探索方法であって、
    請求項１６又は１７に記載の局所特徴量算出方法で前記複数の画像のそれぞれの局所特徴量を算出する局所特徴量算出ステップと、
    前記局所特徴量算出ステップで算出された前記複数の画像のそれぞれの局所特徴量を互いに比較することで前記複数の画像の間の対応点を探索する対応点探索ステップと、
    を含むことを特徴とする対応点探索方法。
20. 請求項１９に記載の対応点探索方法を演算処理装置に実行させるためのプログラム。