JP4645198B2 - 画像照合装置、画像照合方法、およびプログラム - Google Patents

Description

本発明は、例えば、血管画像、指紋画像、静止画像、動画像等の２つの画像の照合を行う画像照合方法、画像照合装置、およびプログラムに関するものである。

従来、画像情報に基づいて照合を行う装置として、種々の画像照合装置が知られている。
例えば、第１の画像と照合対象の第２の画像との照合を行う際に、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度を基に画像照合を行う装置が知られている。

しかし、上述した装置では、第１の画像と照合対象の第２の画像との照合を行う際に、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度が同じ場合にその線形状パターンが同じであると判断してしまう場合があり、充分な判定精度が得られないときがある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、第１の画像と照合対象の第２の画像との照合を行う際に、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度を基に照合する場合であっても、高精度に照合を行うことができる画像照合方法、画像照合装置、およびプログラムを提供することにある。

前記目的を達成するために、本発明の画像照合装置は、第１の画像と照合対象の第２の画像とを照合する画像照合装置であって、前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第１の相関値生成手段と、第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第２の相関値生成手段と、前記第１の相関値生成手段が生成した第１の相関値と前記第２の相関値生成手段が生成した前記第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う照合手段とを有し、前記第１の相関値生成手段は、前記第２の相関値生成手段が生成した前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行った結果に基づいて前記第１の相関値を生成し、前記照合手段は、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断し、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する。

本発明の画像照合方法は、第１の相関値生成手段と、第２の相関値生成手段と、照合手段と、を有し、第１の画像と照合対象の第２の画像とを照合する画像照合装置の画像照合方法であって、前記第２の相関値生成手段が、第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第１のステップと、前記第１の相関値生成手段が、前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行う第２の工程と、前記第１の相関値生成手段が、前記第２の工程において位置合わせを行った結果に基づいて、前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第３のステップと、前記照合手段が、前記第３のステップにおいて生成した第１の相関値と前記第１のステップにおいて生成した第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う第４のステップと、を有し、前記第４のステップは、前記照合手段が、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断する、第５のステップと、前記照合手段が、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する第６のステップと、を有する。

本発明のプログラムは、第１の画像と照合対象の第２の画像とを照合する画像照合装置が含むコンピュータの実行するプログラムであって、第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第１の手順と、前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行う第２の工程と、前記第２の工程において位置合わせを行った結果に基づいて、前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第３の手順と、前記第３の手順において生成した第１の相関値と前記第１の手順において生成した第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う第４の手順と、を有し、前記第４の手順は、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断する、第５の手順と、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する第６の手順と、を前記コンピュータに実行させる。

本発明によれば、第１の画像と照合対象の第２の画像との照合を行う際に、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度を基に照合する場合であっても、高精度に照合を行うことができる画像照合方法、画像照合装置、およびプログラムを提供することができる。

本発明に係る照合装置は、第１の画像および照合対象の第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および基準位置を通って線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、第１の画像および第２の画像内の線形状パターンが同じであるか否かを判断する場合に、同じ角度と距離である場合に同じ線形状パターンであると判断する第１の判断と、上述したように同じ角度と同じ距離の場合に第１の判断により同じ線形状パターンと判断されるような場合であっても、異なる線形状パターンについては、異なると判断する第２の判断とを行い、第１の判断の結果により第１の画像と第２の画像が同じであると判断される場合であっても、第２の判断の結果により第１の画像と第２の画像が異なると判断する。

例えば、具体的には、第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および基準位置を通って線形状パターンへ垂直な直線と基準位置を含む基準軸との角度に基づいて、第１および第２の画像内の直線成分に応じた第１の相関値を生成し、第１の画像および第２の画像内の線形状パターンにおいて距離および角度が同じであっても、異なる線形状パターンについては第１の相関値と異なる第２の相関値を生成し、第１の相関値と第２の相関値とに基づいて、第１の画像と前記第２の画像間の照合を行う。

以下、図面を参照しながら本発明に係る画像照合装置を説明する。

図１は、本発明に係る画像照合装置の一実施形態のハードウェア的な機能ブロック図である。
本実施形態に係る画像照合装置１は、図１に示すように、画像入力部１１、メモリ１２、高速フーリエ変換（ＦＦＴ：Fast Fourier transform）処理部１３、位置合わせ処理部１４、ハフ（Hough）変換処理部１５、マスク処理部１６、類似度演算部１７、制御部（ＣＰＵ：Central processing unit）１８、および動作処理部１９を有する。

各構成要素、具体的には画像入力部１１、メモリ１２、ＦＦＴ処理部１３、位置合わせ処理部１４、ハフ変換処理部１５、マスク処理部１６、類似度演算部１７、ＣＰＵ１８、および動作処理部１９は、バスＢＳ１により接続されている。

画像入力部１１は、例えば外部からの画像を入力するための入力部である。例えば、画像入力部１１には、登録画像ＡＩＭ、および登録画像ＡＩＭの照合対象である画像（照合画像ＲＩＭともいう）が入力される。

メモリ１２は、例えば画像入力部１１から入力された画像等を記憶する。また、例えばメモリ１２には、図１に示すように登録画像ＡＩＭ、照合画像ＲＩＭ、およびプログラムＰＲＧ等が記憶されている。
プログラムＰＲＧは、例えばＣＰＵ１８で実行され、本発明に係る相関処理、照合処理等に関する機能を実現させる手順を含む。

ＦＦＴ処理部１３は、例えばＣＰＵ１８の制御により、メモリ１２が記憶する画像等に基づいてフーリエ変換処理や逆フーリエ変換を行い、処理結果を位置合わせ処理部１４やＣＰＵ１８等に出力する。

位置合わせ処理部１４は、例えばＣＰＵ１８の制御により、ＦＦＴ処理部１３が処理したフーリエ変換処理の結果のずれ情報に基づいて、登録画像ＡＩＭと照合画像ＲＩＭに位置合わせを行った結果をＣＰＵ１８に出力する。

ハフ変換処理部１５は、ＣＰＵ１８の制御により後述するハフ変換処理を行い、処理結果をＣＰＵ１８に出力する。ハフ変換処理部１５は、例えば高速にハフ変換処理を行うために、ハードウェアで構成された専用回路を用いることが好ましい。

マスク処理部１６は、例えばハフ変換処理部１５により登録画像ＡＩＭおよび照合画像ＲＩＭについてハフ変換が施された変換画像のうち、１つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出し、その結果をＣＰＵ１８に出力する。

類似度演算部１７は、例えば登録画像ＡＩＭと照合画像ＲＩＭについて後述する所定の比較処理の結果に基づいて相関値としての類似度を生成する。

ＣＰＵ１８は、例えばメモリ１２に記憶されているプログラムＰＲＧを実行することにより、装置の各構成要素を統括的に制御して本発明に係る機能を実現する。
例えばＣＰＵ１８は、登録画像ＡＩＭ、および照合画像ＲＩＭに基づいて、本発明の実施形態に係る照合処理などを行う。

動作処理部１９は、後述するＣＰＵ１８の処理の結果に基づいて、例えば登録画像ＡＩＭと照合画像ＲＩＭが一致した場合には、電子鍵を解除する等の所定処理を行う。

図２は、図１に示した画像照合装置のソフトウェア的な機能ブロック図である。
例えば、ＣＰＵ１８がプログラムＰＲＧを実行することにより、図２に示すように、第１の相関値生成部１８１、第２の相関値生成部１８２、照合部１８３を有する。

第１の相関値生成部１８１は本発明に係る第１の相関値生成手段の一例に相当する。第２の相関値生成部１８２は本発明に係る第２の相関値生成手段の一例に相当する。照合部１８３は本発明に係る照合手段の一例に相当する。

第１の相関値生成部１８１は、第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および基準位置を通って線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、第１および第２の画像内の直線成分に応じた第１の相関値を生成し、その第１の相関値を示す信号Ｓ１８１を、照合部１８３に出力する。

また、第１の相関値生成部１８１は、例えば後述するように、第２の相関値生成部１８２により生成されたずれ情報に基づいて登録画像ＡＩＭと照合画像ＲＩＭの位置合わせ処理を行う。

第１の相関値生成部１８１は、例えば図２に示すように、位置補正部１８１１、ハフ変換部１８１２、抽出部１８１３、および類似度生成部１８１４を有する。
位置補正部１８１１は、例えばメモリ１２が記憶する登録画像ＡＩＭおよび照合画像ＲＩＭの内の画像パターンに基づいて、２つの画像それぞれの左右上下方向の位置ずれを補正し、補正した画像をハフ変換部１６２に出力する。
位置補正部１８１１は、例えば後述するように、第１の相関値生成部１８１により生成されたずれ情報を示す信号Ｓ１８２３ｂに基づいて登録画像ＡＩＭと照合画像ＲＩＭの位置合わせ処理を行う。

具体的には、位置補正部１８１１は、登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれに位置合わせ処理を施した結果を示す信号Ｓ１８１１ａ，Ｓ１８１１ｂをハフ変換部１８１２に出力する。

ハフ変換部１８１２は、例えばハードウェア的に専用のハフ変換処理を行うハフ変換部１５に、ハフ変換処理を実行させる。
詳細には、例えばハフ変換部１８１２は、位置合わせ処理が施された登録画像ＡＩＭである信号Ｓ１８１１ａ，Ｓ１８１１ｂに、ハフ変換処理を施して、処理結果を信号Ｓ１８１２ａ，Ｓ１８１２ｂとして出力する。

図３は、図２に示したハフ変換部の動作を説明するための図である。
ハフ変換部１８１２は、第１の画像および第２の画像それぞれについて、基準位置Ｏから、画像内の線形状パターンＬ０への最短の距離ρ０、および基準位置Ｏを通って線形状パターンＬ０へ垂直な直線ｎ０と基準位置Ｏを含む基準軸（ｘ軸）との角度θ０に基づいて、曲線のパターンに変換し、画像内の直線成分を、複数の重なり合った曲線のパターンに変換する画像処理を行い、第１の変換画像および第２の変換画像を生成する。
本実施形態では図３において原点Ｏは、基準位置Ｏに相当する。

説明を簡略化するため、例えば図３（ａ）に示すように、ｘ−ｙ平面上に、直線Ｌ０、直線Ｌ０上の点Ｐ（ｘ１，ｙ１），点Ｐ２（ｘ２，ｙ２），点Ｐ３（ｘ３，ｙ３）があるとする。

原点０を通り直線Ｌ０に垂直な直線をｎ０とすると、例えば直線ｎ０と基準軸としてのｘ軸とは角度θ０の関係があり、原点Ｏから直線Ｌ０まで距離｜ρ０｜の関係があるとする。ここで｜ρ０｜はρ０の絶対値を示す。直線Ｌ０は、（ρ０，θ０）というパラメータで表現できる。
ｘ−ｙ平面上の座標（ｘ，ｙ）に対するハフ（Ｈｏｕｇｈ）変換は、例えば数式（１）により定義される。

[数１]
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ …（１）

例えば点Ｐ１，Ｐ２，Ｐ３それぞれについて数式（１）に示すハフ変換を行うと、図３（ｂ）に示すようにρ−θ空間上の曲線に変換される。詳細にはハフ変換は、点Ｐ１（ｘ１，ｙ１）は曲線ＰＬ１（ｘ１・ｃｏｓθ＋ｙ１・ｓｉｎθ）に、点Ｐ２（ｘ２，ｙ２）は曲線ＰＬ２（ｘ２・ｃｏｓθ＋ｙ２・ｓｉｎθ）に、点Ｐ３（ｘ３，ｙ３）は曲線ＰＬ３（ｘ３・ｃｏｓθ＋ｙ３・ｓｉｎθ）に変換する。
この曲線ＰＬ１，ＰＬ２，ＰＬ３のパターンは、ρ−θ空間上で交点ＣＰ（ρ０，θ０）で交わる。ρ−θ空間上では交点Ｐ（ρ０，θ０）は、ｘ−ｙ空間上では直線成分Ｌ０に相当する。
逆に、図３（ａ）に示すようにｘ−ｙ平面上の直線成分Ｌ０は、ρ−θ空間では曲線ＰＬ１，ＰＬ２，ＰＬ３のパターンの交点ＣＰに相当する。

上述したように、２値化した画像にハフ変換処理を行い、処理結果のρ−θ空間上での曲線のパターンの重なりの度合いにより、変換前のｘ−ｙ平面においてどのような直線成分が支配的であるかを判別することができる。

図４は、図２に示したハフ変換部の動作を説明するための図である。
ハフ変換部１６２は、例えば図４（ａ）に示す位置合わせ処理が施された登録画像ＡＩＭ（Ｓ１８１１ａ）にハフ変換処理を行い、図４（ｃ）に示す画像Ｓ１８１２ａを生成し、図４（ｂ）に示す位置合わせ処理が施された照合画像ＲＩＭ（Ｓ１８１１ｂ）にハフ変換処理を行い、画像Ｓ１８１２ｂを生成する。
画像Ｓ１８１２ａ，Ｓ１８１２ｂの内の各画素には、曲線のパターンの重なりの度合いに応じた値が設定される。本実施形態では所定の階調で示される画像の内、曲線のパターンの重なりの度合いが高いほど白く表示されている。

抽出部１８１３は、第１の変換画像Ｓ１８１２ａおよび第２の変換画像Ｓ１８１２ｂそれぞれについて、１つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出する。
詳細には、例えば抽出部１８１３は、図４（ｃ）に示す第１の変換画像としての信号Ｓ１８１２ａに基づいて、１つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、図４（ｅ）に示す画像Ｓ１８１３ａを生成し照合部１８３に出力する。
また、例えば抽出部１８１３は、図４（ｄ）に示す第２の変換画像としての信号Ｓ１８１２ｂに基づいて、１つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、図４（ｆ）に示す画像Ｓ１８１３ｂを生成し照合部１８３に出力する。
この抽出処理を行うことにより、例えば登録画像ＡＩＭおよび照合画像ＲＩＭのｘ−ｙ空間上の直線成分と異なるノイズ成分、例えば点成分を除去する。

類似度生成部１８１４は、例えば、第１の変換画像および第２の変換画像の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果に基づいて相関値としての類似度を生成する。
詳細には、類似度生成部１８１４は、例えば信号Ｓ１８１３ａ信号Ｓ１８１３ｂに基づいて２つの画像の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果に基づいて相関値としての類似度を生成する。

例えば類似度生成部１８１４は、処理対象の２つの画像それぞれをｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）とすると、例えば第１の相関値である類似度Ｓｉｍ（類似度Ｂともいう）を数式（２）により演算し、演算結果をＳ１８１として照合部１８３に出力する。

…（２）

図５（ａ）〜（ｃ）は、ハフ変換処理後の変換画像が一致する場合を説明するための図である。図５（ａ）は線形状パターンとして直線ｌ１を含む画像の一具体例である。図５（ｂ）は、線形状パターンとして直線ｌ２および直線ｌ３を含む画像の一具体例である。図５（ｃ）は、図５（ａ）および図５（ｂ）に示した画像にハフ変換処理が施された変換画像を示す図である。

例えば図５（ａ）および図５（ｂ）に示した画像にハフ変換を施すと、図５（ｃ）に示すようにハフ変換空間（θ，ρ）上では一致してしまう。
つまり、第１の画像と照合対象の第２の画像との照合を行う際に、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度が同じ場合には、その線形状パターンが同じであると判断してしまう場合がある。

このため、本実施形態に係る画像照合装置１は、第１の画像および第２の画像内の線形状パターンにおいて距離および角度が同じであっても、異なる線形状パターンについて適正に区別するような判断を行う手段を設ける。

第２の相関値生成部１８２は、第１の画像および第２の画像内の線形状パターンにおいて距離および角度が同じであっても、異なる線形状パターンについては前記第１の相関値生成手段による前記第１の相関値と異なる第２の相関値を生成し、生成した第２の相関値を示す信号Ｓ１８２を照合部１８３に出力する。

また、第２の相関値生成部１８２は、第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて第２の相関値を生成する。
また、第２の相関値生成部１８２は、登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて第１の画像と前記第２の画像間の相対的なずれ情報を生成し、そのずれ情報を示す信号Ｓ１８２３ｂを位置補正部１８１１に出力する。
以下、第２の相関値生成部１８２の一具体例を説明する。

第２の相関値生成部１８２は、例えば図２に示すように、フーリエ変換部１８２１、合成部１８２２、逆フーリエ変換部１８２３、および類似度生成部１８２４を有する。

フーリエ変換部１８２１は、例えば登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれの画像データにフーリエ変換処理、例えば２次元フーリエ変換処理を施して、処理結果を信号Ｓ１８２１ａ，Ｓ１８２１ｂとして出力する。

図６（ａ）は例えば登録画像ＡＩＭ：〔ｆ１（ｍ，ｎ）〕の一具体例を示す図である。図６（ｂ）は照合画像ＲＩＭ〔ｆ２（ｍ，ｎ）〕の一具体例を示す図である。

詳細には、図６（ａ）に示した登録画像ＡＩＭ：〔ｆ１（ｍ，ｎ）〕に、例えば数式（３）に示すような２次元フーリエ変換処理を施すと、フーリエ画像データＦ１（ｕ，ｖ）は、数式（３）に示すように振幅スペクトルＡ（ｕ，ｖ）および位相スペクトルΘ（ｕ，ｖ）で構成され、簡略化してＡ・ｅ＾（ｊΘ）と表す
また、図６（ｂ）に示した照合画像ＲＩＭ：〔ｆ２（ｍ，ｎ）〕に、例えば数式（４）に示すような２次元フーリエ変換処理を施すと、フーリエ画像データＦ２（ｕ，ｖ）は、数式（４）に示すように、振幅スペクトルＢ（ｕ，ｖ）および位相スペクトルΦ（ｕ，ｖ）で構成され、簡略化してＢ・ｅ＾（ｊΦ）と表す。

…（３）

…（４）

合成部１８２２は、合成部１８２２から出力されたフーリエ変換処理が施された登録画像ＡＩＭおよび照合画像ＲＩＭを示す信号Ｓ１８２１ａ，Ｓ１８２１ｂを合成し、その処理結果を示す信号Ｓ１８２２を逆フーリエ変換部１８２３に出力する。

合成部１８２２は、詳細には、数式（５）に示すように、登録画像ＡＩＭおよび照合画像ＲＩＭを示す信号Ｓ１８２１ａ，Ｓ１８２１ｂを合成し、その処理結果を示す信号Ｓ１８２２を類似度生成部１８２４に出力する。

…（５）

逆フーリエ変換部１８２３は、合成部１８２２から出力された信号Ｓ１８２２に逆フーリエ変換処理を施して、登録画像ＡＩＭと照合画像ＲＩＭとの相互相関の結果を示す相関強度画像Ｇ（ｘ，ｙ）を生成し、その結果を示す信号Ｓ１８２３ａを類似度生成部１８２４に出力する。

詳細には、逆フーリエ変換部１８２３は、数式（６）に示すように信号Ｓ１８２２に逆フーリエ変換処理を施して、相関強度画像Ｇ（ｘ，ｙ）を生成する。

…（６）

類似度生成部１８２４は、逆フーリエ変換部１８２３から出力された信号Ｓ１８２３ａに基づいて第２の相関値である類似度Ａを生成し、それを示す信号Ｓ１８２を照合部１８３に出力する。

図７は、図２に示した逆フーリエ変換部１８２３により得られた相関強度画像Ｇ（ｘ，ｙ）の一具体例を示す図である。
図７に示す相関強度画像Ｇ（ｘ，ｙ）のｚ軸方向の値は、登録画像ＡＩＭと照合画像ＲＩＭとのそれぞれの位置関係における相関度合を示すものであり相関度合の最大値を、各画像データの画素数で正規化することにより、その値を登録画像ＡＩＭと照合画像ＲＩＭとの相関値としての類似度（Ｒ＿max ）とする。たとえば、類似度（Ｒ＿max ）は、数式（７）に示すような演算により求める。

…（７）

図８は、図７に示した相関強度画像Ｇ（ｘ，ｙ）のｘｙ平面の一具体例を示す図である。
また、図８に示すように、上述した相関強度画像Ｇ（ｘ，ｙ）において、画像相関度合いの最大値ＰＰの座標は、登録画像ＡＩＭと照合画像ＲＩＭ間の相対的なずれ情報に相当するので、逆フーリエ変換部１８２３は、そのずれ情報を示す信号Ｓ１８２３ｂを第１の相関値生成部１８１の位置補正部１８１１に出力する。
位置補正部１８１１は、そのずれ情報を示す信号Ｓ１８２３ｂに基づいて、登録画像ＡＩＭと照合画像ＲＩＭの位置合わせ処理を行う。

照合部１８３は、第１の相関値生成部１８１が生成した第１の相関値と、第２の相関値生成部１８２が生成した第２の相関値とに基づいて、登録画像ＡＩＭと照合画像ＲＩＭ間の照合を行う。

また、照合部１８３は、第１の相関値生成部１８１が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、第２の相関値生成部１８２が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、登録画像ＡＩＭと照合画像ＲＩＭとが異なると判断する。

また、照合部１８３は、第１の相関値生成部１８１が生成した第１の相関値が予め規定された第１の閾値より大きい場合および第２の相関値生成部１８２が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、第１の画像と第２の画像とが同じであると判断する。

図９は、図２に示した照合部１８３の動作を説明するための図である。
照合部１８３は、具体的には第２の相関値（類似度Ａ）、および第１の相関値（類似度Ｂ）を基に、例えば図９に示すように、類似度ＡをＹ軸、類似度ＢをＸ軸とする２次元平面に類似度（Ｂ，Ａ）を展開し、予め設定された領域内にプロット結果が納まる場合には登録画像と照合画像とが一致したものと判断する。
例えば上述した閾値は、図９に示す直線ｌ０に相当し、予め設定された領域は、２次元平面内において直線ｌ０よりも大きい領域に相当する。

より具体的には、例えば静脈パターンについて、本人同士で照合を行なった場合と、他人同士で照合を行なった場合とでそれぞれ類似度Ａ、Ｂを算出し、類似度ＡをＹ軸、類似度ＢをＸ軸とする２次元平面に展開すると、図９に示すように類似度Ａ、類似度Ｂそれぞれ単独で判定を行なった場合には、本人同士による分布と他人同士による分布との間で明確に区分けすることができないが、２次元平面で見ると直線l0を境界として本人同士による分布と他人同士による分布とを区分することができるため、結果として判定精度の向上につなげることが可能となる。

また、図９の場合には、算出した類似度（Ｂ，Ａ）を２次元平面に展開したときに、直線l0よりも上側の領域に納まれば、照合した画像同士が同一のものであると判定することができる。

以上の構成の動作を簡単に説明する。
第１のステップＳＴにおいて、登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれにおいて、基準位置Ｏから、画像内の線形状パターンへの最短の距離ρ０、および基準位置Ｏを通って線形状パターンへ垂直な直線ｎ０と基準位置Ｏを含む基準軸（ｘ軸）との角度θ０に基づいて、登録画像ＡＩＭおよび照合画像ＲＩＭ内の直線成分に応じた第１の相関値を生成する。

第２のステップにおいて、登録画像ＡＩＭおよび照合画像ＲＩＭ内の線形状パターンにおいて距離および角度が同じであっても、異なる線形状パターンについては第１のステップによる第１の相関値と異なる第２の相関値を生成する。

第３のステップにおいて、第１のステップにより生成した第１の相関値と第２のステップにより生成した第２の相関値とに基づいて登録画像ＡＩＭと、照合画像ＲＩＭ間の照合を行う。

例えば、第３のステップにおいて、第１のステップにより生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、第２のステップにより生成した第２の相関値が予め規定された第２の閾値より小さい場合には、第１の画像と前記第２の画像とが異なると判断する。
また、第３のステップにおいて、第１のステップにより生成した第１の相関値が予め規定された第１の閾値より大きい場合および第２のステップにより生成した第２の相関値が予め規定された第２の閾値より大きい場合に、第１の画像と第２の画像とが同じであると判断する。

図１０は、図１に示した画像照合装置１の動作の一具体例を説明するためのフローチャートである。
図１０を参照しながら、画像照合装置１の照合処理を、ＣＰＵ１８の動作を中心に説明する。

以下、例えば、予めメモリ１２に格納された登録画像ＡＩＭと、外部から入力した照合対象の照合画像ＲＩＭを照合する場合を説明する。

ステップＳＴ１において、ＣＰＵ１８は、画像入力部１１により、登録画像ＡＩＭと比較照合を行なうための画像（以下照合画像ＲＩＭと呼ぶ）を取り込む。

ステップＳＴ２において、フーリエ変換部１８２１は、取り込んだ照合画像ＲＩＭにＦＦＴ処理部１３の処理により、フーリエ変換処理を施して、処理結果を信号Ｓ１８２１ｂとして合成部１８２２に出力する。

ステップＳＴ３において、ＣＰＵ１８は、メモリ１２から登録画像ＡＩＭを読み出す。

ステップＳＴ４において、フーリエ変換部１８２１は、登録画像ＡＩＭにＦＦＴ処理部１３の処理により、フーリエ変換処理を施して、処理結果を信号Ｓ１８２１ａとして合成部１８２２に出力する。

ステップＳＴ５において、相互相関を利用した類似度を算出するために、合成部１８２２は、信号Ｓ１８２１ａ，Ｓ１８２１ｂを合成して、信号＾Ｓ１８２２として逆フーリエ変換部１８２３に出力する。

ステップＳＴ６において、逆フーリエ変換部１８２３は、信号Ｓ１８２２に逆フーリエ変換を施して、上述したように信号Ｓ１８２３ａとして類似度生成部１８２４に出力する。
また、逆フーリエ変換部１８２３は、上述したように逆フーリエ変換の結果に基づいて、信号Ｓ１８２３ｂを第１の相関値生成部１８１の位置補正部１８１１に出力する。

ステップＳＴＳＴ７において、類似度生成部１８２４は、信号Ｓ１８２３ａによる相関強度画像データにおけるピーク値を基に、類似度演算部１７により第２の相関値に相当する類似度Ａを演算により求めて、その演算結果を示す信号Ｓ１８２を照合部１８３に出力する。

ステップＳＴ８において、位置補正部１８１１は、信号Ｓ１８２３ｂに示されるように、相関強度画像Ｇ（ｘ，ｙ）のピーク位置ＰＰを基に、位置合わせ処理部１４により、登録画像ＡＩＭおよび照合画像ＲＩＭの位置合わせ処理を施して、図４（ａ），（ｂ）に示すように信号Ｓ１８１１ａ，Ｓ１８１１ｂとしてハフ変換部１８１２に出力する。

ステップＳＴ９において、ハフ変換部１８１２は、ハフ変換処理部１５の処理により、信号Ｓ１８１１ａ，Ｓ１８１１ｂに上述したようにハフ変換処理を施して、図４（ｃ），（ｄ）に示すように信号Ｓ１８１２ａ，Ｓ１８１２ｂとして抽出部１８１３に出力する。

ステップＳＴ１０において、抽出部１８１３は、信号Ｓ１８１１ａ，Ｓ１８１１ｂに、マスク処理部１６の処理により、規定された閾値を超えるパラメータのみが抽出されるようマスク処理を施して処理結果を図４（ｅ），（ｆ）に示すように信号Ｓ１８１３ａ，Ｓ１８１３ｂとして出力する。

ステップＳＴ１１において、類似度生成部１８１４は、類似度演算部１７の処理により、信号Ｓ１８１３ａ，Ｓ１８１３ｂに基づいて、例えば数式（２）に示すように、第１の相関値に相当する類似度Ｂを算出して、その結果を示す信号Ｓ１８１を照合部１８３に出力する。

ステップＳＴ１２において、照合部１８３は、信号Ｓ１８１，Ｓ１８２に基づいて、例えば図９に示すように、類似度ＡをＹ軸、類似度ＢをＸ軸とする２次元平面に算出した類似度（Ｂ，Ａ）を展開する。

ステップＳＴ１３において、照合部１８３は、予め設定された領域内に納まるか否かを判断し、判断の結果、設定領域内に納まる場合には登録画像ＡＩＭと照合画像ＲＩＭとが一致した（同じ）ものと判断して（ＳＴ１４）、ＣＰＵ１８は動作処理部１９により様々な処理を行なう。
例えばセキュリティ分野における静脈パターン照合装置に応用した場合には、動作処理部１９は電子錠を解除するといった処理を行う。

一方、ステップＳＴ１３の判断において、予め設定された領域内から外れた場合は、登録画像ＡＩＭと照合画像ＲＩＭとが一致しない（異なる）ものと判断する（ＳＴ１５）。

以上説明したように、登録画像ＡＩＭと照合画像ＲＩＭそれぞれにおいて、基準位置Ｏから、画像内の線形状パターンへの最短の距離ρ０、および基準位置Ｏを通って線形状パターンへ垂直な直線ｎ０と基準位置Ｏを含む基準軸（ｘ軸）との角度θ０に基づいて、登録画像ＡＩＭと照合画像ＲＩＭ内の直線成分に応じた第１の相関値を生成する第１の相関値生成部１８１と、登録画像ＡＩＭおよび照合画像ＲＩＭ内の線形状パターンにおいて距離ρ０および角度θ０が同じであっても、異なる線形状パターンについては第１の相関値生成部１８１による第１の相関値と異なる第２の相関値を生成する第２の相関値生成部１８２と、第１の相関値生成部１８１が生成した第１の相関値と第２の相関値生成部１８２が生成した第２の相関値とに基づいて登録画像ＡＩＭと照合画像ＲＩＭ間の照合を行う照合部１８３とを設けたので、高精度に照合を行うことができる。

つまり、ハフ変換により、画像中の線形状パターンについて基準座標と基準軸に応じた距離および角度が同じ場合にその線形状パターンが同じであると判断してしまう場合であっても、高精度な照合を行うことができる。

また、比較照合を行なう２つの画像データに対して、相互相関を基に算出した類似度と、両者についてハフ変換処理を施した変換画像同士から算出した類似度とで２次元平面に展開し、予め設定された領域内に包含されるかどうかで両者の一致・不一致を判定することにより、ハフ変換による類似度単独で判定を行なった場合に比べ判定精度が向上する。

詳細には、照合部１８３は、第１の相関値生成部１８１が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、第２の相関値生成部１８２が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、登録画像ＡＩＭと照合画像ＲＩＭとが異なると判断するので、ハフ変換処理のみの結果に基づいて照合を行う場合と比べて、判定精度が向上する。

また、照合部１８３は、第１の相関値生成部１８１が生成した第１の相関値が予め規定された第１の閾値より大きい場合および第２の相関値生成部１８２が予め規定された第２の閾値より大きい場合に、登録画像ＡＩＭと照合画像ＲＩＭとが同じであると判断するのでハフ変換処理のみの結果に基づいて照合を行う場合と比べて、判定精度が向上する。

また、第２の相関値生成部１８２は、登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて第２の相関値を生成するので、簡単な処理によりかつ高速に本発明に係る機能を実現することができる。

また、第２の相関値生成部１８２は、登録画像ＡＩＭと照合画像ＲＩＭそれぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて登録画像ＡＩＭと照合画像ＲＩＭ像間の相対的なずれ情報を生成して、第１の相関値生成部１８１は、そのずれ情報に基づいて登録画像ＡＩＭおよび照合画像ＲＩＭに位置合わせを行った結果に基づいて第１の相関値を生成するので、位置合わせ処理を施さない場合と比べて、照合の高精度に行うことができる。また、第２の相関値生成部１８２による結果を用いて位置合わせ処理を行うので、高速に処理を行うことができる。

なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、本実施形態では、第１の相関値生成部１８１としてハフ変換処理を行い、第２の相関値生成部１８２として登録画像ＡＩＭと照合画像ＲＩＭそれぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて第２の相関値を生成したがこの形態に限られるものではない。

また、本実施形態では、フーリエ変換処理および逆フーリエ変換処理を行ったがこの形態に限られるものではない。たとえば、直交変換処理およびその逆変換処理を行ってもよい。

本発明は、例えば、血管画像、指紋画像、静止画像、動画像等の２つの画像の照合を行う画像照合方法、画像照合装置、およびプログラム適応することができる。

本発明に係る画像照合装置の一実施形態のハードウェア的な機能ブロック図である。 図１に示した画像照合装置のソフトウェア的な機能ブロック図である。 図２に示したハフ変換部の動作を説明するための図である。 図２に示したハフ変換部の動作を説明するための図である。 （ａ）〜（ｃ）は、ハフ変換処理後の変換画像が一致する場合を説明するための図である。（ａ）は線形状パターンとして直線ｌ１を含む画像の一具体例である。（ｂ）は、線形状パターンとして直線ｌ２および直線ｌ３を含む画像の一具体例である。（ｃ）は、（ａ）および（ｂ）に示した画像にハフ変換処理が施された変換画像を示す図である。 登録画像ＡＩＭおよび照合画像ＲＩＭの一具体例を示す図である。（ａ）は例えば登録画像ＡＩＭ：〔ｆ１（ｍ，ｎ）〕の一具体例を示す図である。（ｂ）は照合画像ＲＩＭ〔ｆ２（ｍ，ｎ）〕の一具体例を示す図である。 図２に示した逆フーリエ変換部１８２３により得られた相関強度画像Ｇ（ｘ，ｙ）の一具体例を示す図である。 図７に示した相関強度画像Ｇ（ｘ，ｙ）のｘｙ平面の一具体例を示す図である。 図２に示した照合部１８３の動作を説明するための図である。 図１に示した画像照合装置１の動作の一具体例を説明するためのフローチャートである。

符号の説明

１…画像照合装置、１１…画像入力部、１２…メモリ、１３…高速フーリエ変換（ＦＦＴ）処理部、１４…位置合わせ処理部、１５…ハフ（Hough）変換処理部、１６…マスク処理部、１７…類似度演算部、１８…制御部（ＣＰＵ）、１９…動作処理部、１８１…第１の相関値生成部、１８２…第２の相関値生成部、１８３…照合部、１８１１…位置補正部、１８１２…ハフ変換部、１８１３…抽出部、１８１４…類似度生成部、１８２１…フーリエ変換部、１８２２…合成部、１８２３…逆フーリエ変換部、１８２４…類似度生成部。

Claims (5)

1. 第１の画像と照合対象の第２の画像とを照合する画像照合装置であって、
   前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第１の相関値生成手段と、
   第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第２の相関値生成手段と、
   前記第１の相関値生成手段が生成した第１の相関値と前記第２の相関値生成手段が生成した前記第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う照合手段と
   を有し、
   前記第１の相関値生成手段は、前記第２の相関値生成手段が生成した前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行った結果に基づいて前記第１の相関値を生成し、
   前記照合手段は、
   前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断し、
   前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する
   画像照合装置。
2. 前記第１の相関値生成手段は、前記第１の画像及び前記第２の画像を二値化してハフ変換を行うことにより前記第１の相関値を生成する
   請求項１に記載の画像照合装置。
3. 前記照合手段は、前記第１の相関値生成手段が生成した第１の相関値と、前記第２の相関値生成手段が生成した第２の相関値とを２次元平面にプロットし、予め設定された領域内にプロット結果が収まる場合に、前記第１の画像と前記第２の画像とが同じであると判断する
   請求項１に記載の画像照合装置。
4. 第１の相関値生成手段と、第２の相関値生成手段と、照合手段と、を有し、第１の画像と照合対象の第２の画像とを照合する画像照合装置の画像照合方法であって、
   前記第２の相関値生成手段が、第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第１のステップと、
   前記第１の相関値生成手段が、前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行う第２の工程と、
   前記第１の相関値生成手段が、前記第２の工程において位置合わせを行った結果に基づいて、前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第３のステップと、
   前記照合手段が、前記第３のステップにおいて生成した第１の相関値と前記第１のステップにおいて生成した第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う第４のステップと、
   を有し、
   前記第４のステップは、
   前記照合手段が、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断する、第５のステップと、
   前記照合手段が、前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する第６のステップと、
   を有する画像照合方法。
5. 第１の画像と照合対象の第２の画像とを照合する画像照合装置が含むコンピュータの実行するプログラムであって、
   第１の画像および第２の画像それぞれにフーリエ変換処理を施して合成し、当該合成の結果に逆フーリエ変換を施した結果に基づいて前記第１の画像と前記第２の画像間の第２の相関値及び相対的なずれ情報を生成する第１の手順と、
   前記ずれ情報に基づいて前記第１の画像および第２の画像に位置合わせを行う第２の工程と、
   前記第２の工程において位置合わせを行った結果に基づいて、前記第１の画像および第２の画像それぞれにおいて、基準位置から、画像内の線形状パターンへの最短の距離、および前記基準位置を通って前記線形状パターンへ垂直な直線と前記基準位置を含む基準軸との角度に基づいて、前記第１および第２の画像内の直線成分に応じた第１の相関値を生成する第３の手順と、
   前記第３の手順において生成した第１の相関値と前記第１の手順において生成した第２の相関値とに基づいて、前記第１の画像と前記第２の画像間の照合を行う第４の手順と、
   を有し、
   前記第４の手順は、
   前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合であっても、前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より小さい場合には、前記第１の画像と前記第２の画像とが異なると判断する、第５の手順と、
   前記第１の相関値生成手段が生成した第１の相関値が予め規定された第１の閾値より大きい場合および前記第２の相関値生成手段が生成した第２の相関値が予め規定された第２の閾値より大きい場合に、前記第１の画像と前記第２の画像とが同じであると判断する第６の手順と、
   を前記コンピュータに実行させるプログラム。

Images