JP6908843B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

生体認証では特徴点を用いた照合が一般的に利用されている。特徴点を用いた照合では、画像の中で特徴的な点（特徴点）を抽出し、特徴点近傍の画像から算出した特徴量をもとに照合を行う。図７（Ａ）に一例を示すように、指紋や静脈等の生体画像７００において分岐点７０１や端点７０２、７０３等を特徴点として抽出し、特徴点近傍の画像から特徴量を算出する（図７（Ｂ）参照）。特徴量としては、例えばＬＰＱ（Local Phase Quantization）等がある（例えば、非特許文献１参照）。

照合処理では、例えば登録データに含まれる特徴量と照合データに含まれる特徴量との比較を行い、登録画像の特徴点に対して、ペアとなる照合画像の特徴点を探索する。ペアの相手としては、登録画像の注目している特徴点との空間的な距離が閾値以下となる照合画像の各特徴点との比較において特徴量が最も似ている特徴点が選ばれる。

特徴点のペアの探索について図８を参照して説明する。例えば、登録画像８００の特徴点８０１に対してペアとなる特徴点を照合画像８１０から探索する場合、特徴点８０１と照合画像８１０の各特徴点８１１〜８１４との空間的な距離が閾値以下であれば、特徴点８０１と各特徴点８１１〜８１４との特徴量がどの程度似ているかを示す特徴量スコアを算出し、最大のスコアを与える特徴点をペアの相手とする。このような特徴点のペアの探索を、登録画像８００の他の特徴点８０２、８０３、８０４についてもそれぞれ実行する。そして、得られたすべての特徴点のペアの探索結果から照合処理での判定に用いる最終スコアを求める。例えば、図９に示すように特徴点のペアの探索結果を特徴量スコアでソートし、特徴量スコアの上位側から数個の平均やメディアン等を求めて最終スコアとして認証を行う。

また、照合処理では登録画像と照合画像とを位置合わせするために、照合画像に適用する回転角及び平行移動量の位置合わせ用パラメータを特徴点のペアをもとに求める。例えば、図１０（Ａ）に示すように登録画像１０００の特徴点１００１と照合画像１０１０の特徴点１０１１とがペアであるとし、特徴点１００１の座標が（Ｘ_ri，Ｙ_ri）、特徴点１０１１の座標が（Ｘ_ii，Ｙ_ii）であるとする。なお、各座標の添え字における２文字目のｉは、位置合わせ用パラメータの算出に用いる特徴点のペアを表すインデックスである。

照合画像に適用する位置合わせ用パラメータの回転角をθ、Ｘ方向及びＹ方向の平行移動量を（ｃ_x，ｃ_y）とすると、照合画像の特徴点の座標変換は図１０（Ｂ）に示すようになる。すなわち、照合画像１０１０の特徴点１０１１の変換後の座標（Ｘ'_ii，Ｙ'_ii）は、（Ｘ'_ii，Ｙ'_ii）＝（Ｘ_iicosθ−Ｙ_iisinθ＋ｃ_x，Ｘ_iisinθ＋Ｙ_iicosθ＋ｃ_y）となる。そして、下記式で示される評価関数Ｅ、つまり最小二乗法により特徴点のペアとして対応する登録画像の特徴点（Ｘ_ri，Ｙ_ri）と照合画像の座標変換後の特徴点（Ｘ'_ii，Ｙ'_ii）との位置差が最小となる位置合わせ用パラメータの組（θ、ｃ_x，ｃ_y）を取得する。

ここで、位置合わせ用パラメータを取得する際に用いる特徴点のペアには、誤った対応の特徴点のペアが含まれている可能性があり、単純に特徴量スコアが上位のペアを利用すると正しい結果が得られないことがある。そこで、特徴量スコアの上位Ｍ個の内からＮ個（Ｍ＞Ｎ）の特徴点のペアを選択して、位置合わせ用パラメータを求める。Ｎ個の特徴点のペアの選択方法は、例えばランダム（Random sample consensus：ＲＡＮＳＡＣ）や総当たりで選択する。Ｎ個の特徴点のペアの選び方によって複数の位置合わせ用パラメータが取得されるが、最良の最終スコアを与える位置合わせ用パラメータを採用することで、誤った対応の特徴点のペアが含まれている場合でも精度良い位置合わせが可能となる。

また、複数の画像間の位置合わせにおいて、優先して位置合わせする優先特徴点及び低い優先順位で位置合わせする非優先特徴点を作業者が指示して、非優先特徴点の重みよりも大きい値の優先特徴点の重みを設定して、優先特徴点と優先特徴点の重み及び非優先特徴点と非優先特徴点の重みに基づき画像の位置合わせを行う技術が提案されている（例えば、特許文献１参照）。

特開２０１６−１４７０２６号公報

Ojansivu V and Heikkila, "Blur insensitive texture classification using local phase quantization," Proc. Image and Signal Processing (ICISP 2008), Vol.5099, 2008, pp.236-243

高精度な認証を実現するには、登録画像と照合画像との位置合わせ精度が重要である。前述した位置合わせ用パラメータの算出においては、特徴点のペアのすべてを均等に扱い、位置合わせ用パラメータを取得していた。しかし、実際には特徴点のペア毎に重要性や信頼度が異なる。しかし、このような点を考慮せずに、特徴点のペアをもとに位置合わせ用パラメータを取得し、登録画像と照合画像との位置合わせを行っていた。１つの側面では、本発明の目的は、登録画像と照合画像との位置合わせ精度を向上させることにある。

画像処理装置の一態様は、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定する重み設定部と、設定される重みを用いて複数の特徴点のペアの特徴点間の位置差を算出し、算出した特徴点間の位置差に基づいて登録画像と照合画像とを位置合わせする位置合わせ部とを有する。

発明の一態様においては、登録画像と照合画像との位置合わせ精度を向上させることができる。

図１は、本実施形態における画像処理装置の構成例を示す図である。 図２は、図１に示した画像処理装置の照合処理の例を示すフローチャートである。 図３は、本実施形態における重み設定の例を示す図である。 図４は、本実施形態における重み設定を説明する図である。 図５（Ａ）及び図５（Ｂ）は、本実施形態における重み設定を説明する図である。 図６は、本実施形態における画像処理装置を実現可能なコンピュータの機能ブロック図である。 図７（Ａ）及び図７（Ｂ）は、特徴点及び特徴量を説明する図である。 図８は、特徴点のペアの探索を説明する図である。 図９は、特徴点のペアの探索結果の例を示す図である。 図１０（Ａ）及び図１０（Ｂ）は、位置合わせ処理を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。
以下では、本発明の一実施形態における画像処理装置を生体認証装置に適用した場合を例に説明する。図１は、本実施形態における画像処理装置の構成例を示すブロック図であり、図２は、図１に示した画像処理装置の照合処理の例を示すフローチャートである。

本実施形態では、登録画像と照合画像とを位置合わせするために照合画像に適用する位置合わせ用パラメータの算出の精度を向上させるため、特徴点のペアに対してペアの信頼度を表す重みを設定し、重み付きの最小二乗演算を行って位置合わせ用パラメータを取得する。例えば、図３に示すように探索された特徴点のペア毎に重みＷを設定し、下記式で示される重みを反映した評価関数Ｅを用いて位置合わせ用パラメータの回転角θ、Ｘ方向及びＹ方向の平行移動量（ｃ_x，ｃ_y）を算出する。なお、ｉは位置合わせ用パラメータの算出に用いる特徴点のペアを表すインデックスである。

図１に示すように、本実施形態における画像処理装置１００は、制御部１０１、画像入力部１０２、撮影部１０３、データベース部１０４、記憶部１０５、特徴抽出部１０６、及び照合処理部１０７を有する。制御部１０１は、画像処理装置１００全体の制御を行い、画像処理装置１００が有する各機能部を統括的に制御する。

画像入力部１０２は、被写体に係る生体画像を入力する。撮影部１０３は、被写体に係る生体画像の撮影処理を実行し、撮影した生体画像を画像入力部１０２に出力する。撮影部１０３は、例えば指紋センサや静脈センサである。例えば、撮影部１０３が静脈センサであれば、照明部により被写体に近赤外線を照射し、その反射光をＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子部で撮影することで、生体画像を撮影する。ここでは、撮影部１０３は照合処理部１０７やデータベース部１０４と一体で画像処理装置１００内に内蔵されているが、インターネットやＵＳＢ等のインタフェースを介して画像入力部１０２に接続されてもよい。

データベース部１０４は、登録データ（テンプレート）やＩＤ情報等の生体認証に使用するデータを記憶する。記憶部１０５は、生体画像を保持する画像バッファ等として利用される。データベース部１０４は、例えば、ハードディスクドライブ（ＨＤＤ）等の不揮発性の記憶装置であり、記憶部１０５は、例えば、いわゆるワークメモリとして利用される半導体メモリである。

特徴抽出部１０６は、生体画像の中で特徴的な点（特徴点）を抽出し、特徴点近傍の画像から認証に使用する特徴量を算出する。照合処理部１０７は、登録データと照合データ（入力データ）との照合処理を行う。照合処理部１０７は、特徴抽出部１０６が抽出した特徴量（特徴データ）を用い、登録データと照合データ（入力データ）とがどの程度似ているかを示す類似度（スコア）を算出する。照合処理部１０７は、算出した類似度（スコア）に基づいて、本人であるか他人であるかを判定する。

照合処理部１０７は、スコア計算部１０８、重み設定部１０９、位置合わせ部１１０、最終スコア算出部１１１、及び判定部１１２を有する。スコア計算部１０８は、特徴点のペアの探索を実行し、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の何れかの特徴点に対応付けて特徴点のペアを生成する。スコア計算部１０８は、登録画像の特徴点と照合画像の特徴点との比較を行い、特徴点の特徴量を基に特徴量スコア（特徴量の類似度）を算出して、図３に示したような特徴点のペアの情報を取得する。スコア計算部１０８は、生成部の一例である。なお、特徴量スコアとしては、例えばハミング距離やベクトル相関係数等を適用できる。

重み設定部１０９は、登録画像と照合画像とを位置合わせするための位置合わせ用パラメータを算出する際に用いる重みＷを設定する。前述したように位置合わせ用パラメータを算出する際、特徴点のペアが持つ位置合わせに関する情報量は、隣接するペアへの距離が大きいほうが相対的に大きくなる。一般的に、位置合わせパラメータの算出に用いるペアの特徴点の近傍では位置合わせ誤差は小さいが、それら特徴点から離れるに従って位置合わせ誤差は大きくなる。そのため、画像全体の位置合わせ誤差を小さくするには、位置合わせパラメータの算出に用いるペア同士はなるべく離れていることが望ましい。このことから、他のペアからの距離が小さいペアが持つ位置合わせに関する情報量は、他のペアからの距離が大きいペアが持つ位置合わせに関する情報量よりも相対的に小さいといえる。そこで、本実施形態では、重み設定部１０９は、位置合わせ用パラメータを算出する際に用いる重みＷとして、特徴点のペア毎に他の特徴点のペアとの位置の離散度（最も近い他のペアまでの距離）に応じた重みＷ_Dを設定する。

図４を参照して、重み設定部１０９が設定する重みＷ_Dについて説明する。図４には、登録画像４００及び照合画像４１０において特徴点のペアが３つ存在する例を示しており、特徴点４０１と特徴点４１１がペアとなり、特徴点４０２と特徴点４１２がペアとなり、特徴点４０３と特徴点４１３がペアとなっている。

特徴点４０１と特徴点４１１のペアと、特徴点４０２と特徴点４１２のペアは、距離（Ｌ１）が離れているため、位置合わせ用パラメータの算出における情報量は大きい。一方、特徴点４０２と特徴点４１２のペアと、特徴点４０３と特徴点４１３のペアは、距離（Ｌ２）が非常に小さく、位置合わせ用パラメータの算出における有効な情報量としては少ない。

この場合、例えば、特徴点４０１と特徴点４１１のペアの重みＷ_Dが大きい値となり、特徴点４０２と特徴点４１２のペア及び、特徴点４０３と特徴点４１３のペアの重みＷ_Dが小さい値となるように設定する。このように重みＷ_Dを設定することで、位置合わせ用パラメータに対する特徴点のペアの寄与を、特徴点のペア毎に他の特徴点のペアとの離散度（隣接する他のペアまでの距離）に応じて変化させることができ、位置合わせ用パラメータの算出の精度を高め、登録画像と照合画像との位置合わせ精度を向上させることが可能となる。

本例では、距離の範囲毎に予め重みが設定されており、各ペアに対し、最も近い他のペアまでの距離に対応する重みが付与されるものとする。図４に示した例では、特徴点４０１と特徴点４１１のペアから最も近い他のペアは、特徴点４０２と特徴点４１２のペアであり、距離はＬ₁である。特徴点４０２と特徴点４１２のペアから最も近い他のペアは、特徴点４０３と特徴点４１３のペアであり、距離はＬ₂である。特徴点４０３と特徴点４１３のペアから最も近い他のペアは、特徴点４０２と特徴点４１２のペアであり、距離はＬ₂である。ここでは、最も近い他の特徴点のペアまでの距離が長いペアほど離散度が高いとみなし、より大きい重みが設定されている。特徴点４０１と特徴点４１１のペアの重みＷ_Dを１．０に設定し、特徴点４０２と特徴点４１２のペア及び、特徴点４０３と特徴点４１３のペアの重みＷ_Dを０．５に設定している。回転角θや平行移動量（ｃ_x，ｃ_y）等の位置合わせ用パラメータを求める際、重みを反映した評価関数Ｅを用いて、登録画像及び照合画像の特徴点間の位置差が最小となるようにパラメータを求める。この際、位置差として特徴点４０１と特徴点４１１のペアの誤差は１．０分の値を持ち、特徴点４０２と特徴点４１２のペア及び、特徴点４０３と特徴点４１３のペアの誤差はそれぞれ０．５分の値を持つという条件でパラメータを求めることを意味する。

図４に示した例では、説明のために重みＷ_Dとして１．０や０．５を設定する例を示したが、重み設定部１０９は、例えば重みＷ_DをＷ_D＝ｅ^αXに従って設定することで、隣接する他のペアまでの距離が近い場合に重みＷ_Dが小さい値となるように設定する。なお、ｅはネイピア数であり、αは正の定数であり、Ｘは着目している特徴点のペアに最も近い特徴点のペアまでの距離である。距離Ｘとしては、登録画像での距離を用いてもよいし、照合画像での距離を用いてもよい。また、図４に示した例では、各ペアは互いに平行であるが、非平行の場合も想定できる。非平行の場合のペア間距離は、例として、登録側の特徴点間距離、照合側の特徴点間距離、登録側の特徴点間距離と照合側の特徴点間距離の最小値、又は登録側の特徴点間距離と照合側の特徴点間距離の平均値が挙げられる。

図１に戻り、位置合わせ部１１０は、重み設定部１０９により特徴点のペア毎に設定される重みＷを用いて特徴点のペアの特徴点間の位置差を算出し、算出した特徴点間の位置差に基づいて登録画像と照合画像とを位置合わせする。本例では、位置合わせ部１１０は、特徴点のペア毎に設定された他の特徴点のペアとの離散度に応じた重みＷ_Dを用いて、前述した重みを反映した評価関数Ｅにより回転角θや平行移動量（ｃ_x，ｃ_y）等の位置合わせ用パラメータを取得する。

最終スコア算出部１１１は、照合処理での判定に用いる最終的なスコア（最終スコア）を算出する。最終スコア算出部１１１は、算出部の一例である。最終スコア算出部１１１は、位置合わせ部１１０により取得した位置合わせ用パラメータに従って位置合わせした後の特徴点のペアを求め、特徴量スコアの上位側の数個の平均やメディアン等を登録画像と照合画像との類似度を表す最終スコアとして出力する。判定部１１２は、最終スコア算出部１１１が算出した最終スコアに基づいて、生体画像が入力された被写体が本人であるか他人であるかを判定する。

次に、図２を参照して本実施形態における画像処理装置の照合処理について説明する。照合処理を開始すると、ステップＳ２０１にて、照合処理部１０７のスコア計算部１０８は、登録データと照合データの対応関係を求める。スコア計算部１０８は、登録データに含まれる特徴量と照合データに含まれる特徴量との比較を行い、登録画像の特徴点に対して、ペアとなる照合画像の特徴点を探索する。このとき、スコア計算部１０８は、特徴点のペアにおける特徴量スコアを計算する。

次に、ステップＳ２０２にて、照合処理部１０７の重み設定部１０９は、特徴点のペア毎に、登録画像と照合画像とを位置合わせするための位置合わせ用パラメータを算出する際に用いる重みＷを、特徴点のペアの信頼度に基づいて計算して設定する。そして、照合処理部１０７は、ステップＳ２０３〜Ｓ２０７のループ処理を実行する。

ステップＳ２０４にて、照合処理部１０７の位置合わせ部１１０は、複数の特徴点のペアの内からＮ個の特徴点のペアを選択し、ステップＳ２０２において設定された重みＷを用いて、登録画像と照合画像とを位置合わせするための位置合わせ用パラメータを算出する。位置合わせ部１１０は、特徴点のペア毎に設定された重みＷで重み付けしたＮ個のペアの特徴点間の位置差に基づいて、重みを反映した評価関数Ｅにより位置合わせ用パラメータを算出する。

続いて、ステップＳ２０５にて、照合処理部１０７の最終スコア算出部１１１は、ステップＳ２０４において算出した位置合わせ用パラメータに従って登録画像と照合画像との位置合わせを行った後の特徴点のペアに基づいて最終スコアを算出する。そして、ステップＳ２０６にて、最終スコア算出部１１１は、ステップＳ２０５において算出した最終スコアが、記録済みの最終スコアより高い場合、記録する最終スコアをステップＳ２０５において算出した最終スコアで更新する。このようにして最良の最終スコアを記録する。

その後、照合処理部１０７は、ステップＳ２０３〜Ｓ２０７のループ処理を所定回数繰り返す。例えば、図３に示した例では７個の特徴点のペアが求まっているが、ステップＳ２０４において、この中からＮ＝３個の特徴点のペアをランダムに選択し、３個の特徴点のペアの情報から位置合わせ用パラメータを算出する。このような処理を所定回数行う。なお、求まっている特徴点のペアからＮ個の特徴点のペアをランダムに選択するのではなく、Ｎ個の特徴点のペアの可能な組み合わせの総当りでステップＳ２０３〜Ｓ２０７のループ処理を繰り返し行うようにしてもよい。

ステップＳ２０３〜Ｓ２０７のループ処理を所定回数繰り返して実行した後、ステップＳ２０８にて、最終スコア算出部１１１が記録されている最終スコアを出力し、判定部１１２が、出力された最終スコアに基づいて本人であるか他人であるかを判定し、照合処理を終了する。

以上のようにして本実施形態における画像処理装置は、特徴点のペアの信頼度に応じた重みを設定して位置合わせ用パラメータを求めることで、登録画像と照合画像との位置合わせ精度を向上させることができ、認証精度を改善することができる。位置合わせ用パラメータを算出する際に用いる重みＷとして、特徴点のペア毎に他の特徴点のペアとの離散度（隣接する他のペアまでの距離）に応じた重みＷ_Dを設定することで位置合わせに必要な適切な重み情報を設定することが可能となる。

なお、前述した説明では、位置合わせ用パラメータを算出する際に用いる重みＷとして、特徴点のペア毎に他の特徴点のペアとの位置の離散度（最も近い他のペアまでの距離）に応じた重みＷ_Dを設定するようにしているが、重みＷ_Dに加えて、他の重みを設定して重み付けを行うようにしてもよい。他の重みとしては、例えば画像の明るさに応じた重みや、特徴点のペアの生成時の特徴量スコアの差に応じた重みや、特徴量スコアに応じた重みがある。

・画像の明るさに応じた重みＷ_I1、Ｗ_I2
例えば、手のひら静脈認証のように自照明を使って撮影した画像では、撮影条件（手のひらまでの距離や照明の当たり方）によって撮影画像の明るさが変わる。例えば、画像中心部は明るいが、画像中心から離れた画像周辺部は照明が当たり難く、画像が暗くなる。そのため、画像周辺部の特徴点の特徴量は信頼性が低い場合があり、結果として画像周辺部に位置する特徴点のペアの信頼度が低下する。

そこで、重みＷとして、重みＷ_Dに加えて、画像中心からの距離に応じた重みＷ_I1、Ｗ_I2を設定するようにしてもよい。すなわち、Ｗ＝Ｗ_D×Ｗ_I1×Ｗ_I2に従って算出された重みＷを設定するようにしてもよい。なお、重みＷ_I1が登録画像における画像の明るさに応じた重みであるとし、重みＷ_I2が照合画像における画像の明るさに応じた重みであるとする。

登録画像における画像の明るさに応じた重みＷ_I1は、例えばＷ_I1＝ｅ^-βΔに従って算出される。ここで、βは正の定数であり、Δは画像中心からの距離である。このように画像中心からの距離Δに応じた重みを設定することで、手のひら静脈認証センサのように自照明を用いて画像を撮影する場合において照明が当たり難い特徴点のペアに対する重みを低くすることが可能となり、位置合わせ用パラメータの算出精度を高め、結果として認証精度を改善することができる。なお、照合画像における画像の明るさに応じた重みＷ_I2も同様にして算出すればよい。

また、画像中心からの距離ではなく、直接的に特徴量を抽出する生体画像の輝度値を基に重みＷ_I1、Ｗ_I2を計算しても良い。例えば、被写体（例：手のひら）が傾いている場合、傾いている領域の輝度値が下がる。このような領域から算出した特徴点のペアに対する重みを下げるため、特徴量を計算する領域である特徴点領域の平均輝度を基に重みを設定するようにしてもよい。

この場合、登録画像における画像の明るさに応じた重みＷ_I1は、例えばＷ_I1＝γ＜Ｉ１＞に従って算出される。ここで、γは正の定数であり、＜Ｉ１＞は登録画像の特徴点領域の平均輝度値である。定数γが正である場合、平均輝度値が高い方が重みＷ_I1は大きくなる。なお、照合画像における画像の明るさに応じた重みＷ_I2も同様にして算出すればよい。

例えば、手のひら静脈認証装置は非接触で認証できる利点がある一方、被写体である手のひらの姿勢変動（高さや傾きなどの変化）が他のモダリティよりも大きくなる場合がある。そのため、姿勢変動が存在する場合でも認証精度を維持することが必要であり、登録画像と照合画像との位置合わせ精度が重要である。また、手のひら静脈認証センサを小型化すると照明が不均一になる傾向があり、画像周辺部が暗くなり易い。位置合わせ用パラメータを算出する際に用いる重みＷとして、他の特徴点のペアとの離散度に応じた重みＷ_Dや画像の明るさに応じた重みＷ_I1、Ｗ_I2を適用することで、登録画像と照合画像との位置合わせ精度を向上させることができ、認証精度を改善することが可能となる。

・特徴点のペアの生成時の特徴量スコアの差に応じた重みＷ_Df
特徴点のペアの生成時には、登録画像のある特徴点に対して、照合画像の比較対象の特徴点の内で特徴点の類似度を示す特徴量スコアが最も良い特徴点をペアとなる特徴点として採用する。ここで、第１位と第２位以下の特徴量スコアの差に着目すると、１位と２位との特徴量スコアが大きく離れている場合は問題ないが、１位と２位の特徴量スコアの差が僅少である場合、誤ってペアとなっている可能性が相対的に高くなる。なお、１位の特徴量スコアとは、注目する特徴点に対する特徴点のペアの生成時に算出される特徴点のペアの特徴量スコア（特徴量の類似度）であり、２位の特徴量スコアとは、注目する特徴点に対して特徴点のペアではないとされた特徴点との特徴量スコア（特徴量の類似度）の内で最も高いものである。そこで、重みＷとして、重みＷ_Dに加えて、１位と２位との特徴量スコアの差に応じた重みＷ_Dfを設定するようにしてもよい。すなわち、Ｗ＝Ｗ_D×Ｗ_Dfに従って算出された重みＷを設定するようにしてもよい。

例えば、図５（Ａ）に示すように、登録画像５００の特徴点５０１と照合画像５１０の特徴点５０２との特徴量スコアが８０であり、登録画像５００の特徴点５０１と照合画像５１０の特徴点５０３との特徴量スコアが３０である場合、照合画像５１０の特徴点５０２が登録画像５００の特徴点５０１に対応している可能性が高い。このように１位と２位との特徴量スコアの差が大きい場合、特徴量スコアの差に応じた重みＷ_Dfを大きい値に設定する。

一方、図５（Ｂ）に示すように、登録画像５００の特徴点５０４と照合画像５１０の特徴点５０５との特徴量スコアが８０であり、登録画像５００の特徴点５０４と照合画像５１０の特徴点５０６との特徴量スコアが７８である場合、誤ってペアとなっている可能性が高くなる。このように１位と２位との特徴量スコアの差が小さい場合、特徴量スコアの差に応じた重みＷ_Dfを小さい値に設定する。このように特徴点のペアの生成時における１位と２位の特徴量スコアの差に応じた重みを設定することで、１位と２位の特徴量スコアの差が小さく誤ってペアとなっている可能性がある特徴点のペアに対する重みを低くすることが可能となり、位置合わせ用パラメータの算出精度を高め、結果として認証精度を改善することができる。

・特徴量スコアに応じた重みＷ_S
特徴点のペアの特徴量スコア（特徴量の類似度）が高いほど特徴点のペアの信頼性が高いと考えらえるため、重みＷとして、重みＷ_Dに加えて、特徴量スコアに応じた重みＷ_Sを設定するようにしてもよい。すなわち、Ｗ＝Ｗ_D×Ｗ_Sに従って算出された重みＷを設定するようにしてもよい。特徴量スコアに応じた重みＷ_Sは、特徴量スコアが高いほど大きい値となるように設定する。

なお、これらの重みを組み合わせて、位置合わせ用パラメータを算出する際に用いる重みＷを設定しても良く、例えばＷ＝Ｗ_D×Ｗ_I1×Ｗ_I2×Ｗ_Df×Ｗ_Sに従って算出された重みＷを設定するようにしてもよい。なお、適用しない重みについては値１として重みＷを算出すればよい。

前述した実施形態による画像処理装置は、例えばコンピュータがプログラムを実行することによって実現することができる。また、かかるプログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の実施形態として適用することができる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータがプログラムを実行し処理を行うことにより、前述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態として適用することができる。プログラムプロダクトとしては、例えば前述の実施形態の機能を実現するプログラム自体、プログラムが読み込まれたコンピュータがある。また、プログラムプロダクトとして、ネットワークを介して通信可能に接続されたコンピュータにプログラムを提供可能な送信装置、前記送信装置を備えるネットワークシステム等がある。

また、供給されたプログラムとコンピュータにおいて稼動しているオペレーティングシステム（ＯＳ）又は他のアプリケーション等とにより前述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態として適用することができる。また、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ユニットにより行われて前述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態として適用することができる。また、本実施形態をネットワーク環境で利用するべく、全部又は一部のプログラムが他のコンピュータで実行されるようになっていてもよい。

例えば、前述した実施形態による画像処理装置は、図６に示すようなコンピュータにより実現することができる。図６に示すコンピュータは、記憶部１０５の一例としてのメモリ６０１、制御部１０１、特徴抽出部１０６及び照合処理部１０７の実行主体の一例としてのＣＰＵ（Central Processing Unit）６０２、データベース部１０４の一例としてのハードディスクドライブ（ＨＤＤ）６０３、出力装置６０４、記録媒体６０５用のドライブ装置６０６、撮影部１０３の一例としての入力装置６０７、及びネットワークに接続するための通信制御部６０８がバス６０９で接続されている。オペレーティングシステム（ＯＳ）及び前述した実施形態における処理を実施するためのアプリケーションプログラムは、ＨＤＤ６０３に格納されており、ＣＰＵ６０２により実行される際にはＨＤＤ６０３からメモリ６０１に読み出される。ＣＰＵ６０２は、アプリケーションプログラムの処理内容に応じて出力装置６０４、ドライブ装置６０６、通信制御部６０８等を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ６０１に格納されるが、ＨＤＤ６０３に格納されるようにしてもよい。本例では、前述した処理を実施するためのアプリケーションプログラムは、例えばコンピュータ読み取り可能な可搬型の記録媒体６０５に格納されて頒布され、ドライブ装置６０６からＨＤＤ６０３にインストールされる。インターネット等のネットワーク及び通信制御部６０８を経由して、ＨＤＤ６０３にインストールされる場合もある。このようなコンピュータは、前述したＣＰＵ６０２、メモリ６０１等のハードウェアとＯＳ及びアプリケーションプログラム等のソフトウェアとが有機的に協働することにより、前述した実施形態の各種機能を実現する。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
以上の本実施形態を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定する重み設定部と、
前記重み設定部により設定される重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせする位置合わせ部とを有することを特徴とする画像処理装置。
（付記２）
前記位置合わせ部により位置合わせされた前記登録画像と前記照合画像の特徴点のペアの前記特徴量の類似度から、前記登録画像と前記照合画像との類似度を算出する算出部を有することを特徴とする付記１記載の画像処理装置。
（付記３）
前記登録画像の特徴点と前記照合画像の特徴点とを前記特徴量の類似度に基づいて対応付け前記特徴点のペアを生成する生成部を有することを特徴とする付記１又は２記載の画像処理装置。
（付記４）
前記重み設定部は、さらに前記特徴点のペア毎に、前記複数の特徴点の内の第１の特徴点に対する前記特徴点のペアの生成時に算出される前記特徴点のペアの前記特徴量の類似度と、第１の特徴点に対して前記特徴点のペアではないとされた前記特徴点の前記特徴量との類似度との差に応じた重みを設定することを特徴とする付記１〜３の何れか１項に記載の画像処理装置。
（付記５）
前記重み設定部は、さらに前記特徴点のペア毎に、前記登録画像及び前記照合画像の明るさに応じた重みを設定することを特徴とする付記１〜４の何れか１項に記載の画像処理装置。
（付記６）
前記重み設定部は、さらに前記特徴点のペア毎に、前記特徴点のペアの前記特徴量の類似度に応じた重みを設定することを特徴とする付記１〜５の何れか１項に記載の画像処理装置。
（付記７）
前記他の特徴点のペアとの離散度は、最も近い他の特徴点のペアまでの距離であることを特徴とする付記１〜６の何れか１項に記載の画像処理装置。
（付記８）
前記位置合わせ部は、生成された複数の前記特徴点のペアの中から選択した複数の前記特徴点のペアの特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせすることを特徴とする付記１〜７の何れか１項に記載の画像処理装置。
（付記９）
前記位置合わせ部は、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像との位置合わせに用いるパラメータを取得することを特徴とする付記１〜８の何れか１項に記載の画像処理装置。
（付記１０）
前記パラメータは、画像に対する回転角及び平行移動量の情報を含むことを特徴とする付記９記載の画像処理装置。
（付記１１）
画像処理装置の重み設定部が、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定し、
前記画像処理装置の位置合わせ部が、設定された前記重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせすることを特徴とする画像処理方法。
（付記１２）
画像処理装置の重み設定部が、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定するステップと、
前記画像処理装置の位置合わせ部が、設定された前記重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせするステップとをコンピュータに実行させるための画像処理プログラム。
（付記１３）
画像処理装置の重み設定部が、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定するステップと、
前記画像処理装置の位置合わせ部が、設定された前記重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせするステップとをコンピュータに実行させるための画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

１００ 画像処理装置
１０１ 制御部
１０２ 画像入力部
１０３ 撮影部
１０４ データベース部
１０５ 記憶部
１０６ 特徴抽出部
１０７ 照合処理部
１０８ スコア計算部
１０９ 重み設定部
１１０ 位置合わせ部
１１１ 最終スコア算出部
１１２ 判定部

Claims (10)

1. 登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定する重み設定部と、
   前記重み設定部により設定される重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせする位置合わせ部とを有することを特徴とする画像処理装置。
2. 前記位置合わせ部により位置合わせされた前記登録画像と前記照合画像の特徴点のペアの前記特徴量の類似度から、前記登録画像と前記照合画像との類似度を算出する算出部を有することを特徴とする請求項１記載の画像処理装置。
3. 前記登録画像の特徴点と前記照合画像の特徴点とを前記特徴量の類似度に基づいて対応付け前記特徴点のペアを生成する生成部を有することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記重み設定部は、さらに前記特徴点のペア毎に、前記複数の特徴点の内の第１の特徴点に対する前記特徴点のペアの生成時に算出される前記特徴点のペアの前記特徴量の類似度と、第１の特徴点に対して前記特徴点のペアではないとされた前記特徴点の前記特徴量との類似度との差に応じた重みを設定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記重み設定部は、さらに前記特徴点のペア毎に、前記登録画像及び前記照合画像の明るさに応じた重みを設定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記重み設定部は、さらに前記特徴点のペア毎に、前記特徴点のペアの前記特徴量の類似度に応じた重みを設定することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記他の特徴点のペアとの離散度は、最も近い他の特徴点のペアまでの距離であることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記位置合わせ部は、生成された複数の前記特徴点のペアの中から選択した複数の前記特徴点のペアの特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせすることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 画像処理装置の重み設定部が、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定し、
   前記画像処理装置の位置合わせ部が、設定された前記重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせすることを特徴とする画像処理方法。
10. 画像処理装置の重み設定部が、登録画像の複数の特徴点のそれぞれを照合画像の複数の特徴点の内の何れかの特徴点に特徴量の類似度に基づいて対応付け生成された特徴点のペアに対し、前記特徴点のペア毎に他の特徴点のペアとの位置の離散度に応じた重みを設定するステップと、
    前記画像処理装置の位置合わせ部が、設定された前記重みを用いて複数の前記特徴点のペアの特徴点間の位置差を算出し、算出した前記特徴点間の位置差に基づいて前記登録画像と前記照合画像とを位置合わせするステップとをコンピュータに実行させるための画像処理プログラム。

Images