JP4622477B2 - 照合方法、コンピュータ、およびプログラム - Google Patents

Description

本発明は、例えば、画像を照合する照合方法、コンピュータ、およびプログラムに関するものである。

画像処理の分野において、ユーザ固有の生体特徴を撮像して得られた画像を利用してバイオメトリクス認証を行なう照合装置が知られている。
例えば上述した装置では、データベース内に複数の登録画像を記憶し、照合時には、入力された画像とデータベースに記憶されている複数の登録画像を、逐次比較することで画像照合処理を行う。

しかし、上述した装置では、複数の登録画像と入力された画像とを逐次比較するので、データベースに記憶する登録画像の個数が増えるほど、照合時間が著しく増大する。このため、高速に画像照合を行うことができる装置が望まれている。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、登録画像の個数が多い場合であっても高速に照合処理を行うことができる照合方法、コンピュータ、およびプログラムを提供することにある。

本発明の照合方法は、画像照合を行うコンピュータの照合方法であって、入力された複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を生成する第１のステップと、前記第１のステップにおいて生成した前記複数の第１の相関値の平均値及び標準偏差を生成する第２のステップと、前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を生成する第３のステップと、前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を生成する第４のステップと、前記基準画像と入力された被照合画像との間の第４の相関値を生成する第５のステップと、前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を生成する第６のステップと、前記第４のステップにおいて生成された前記第３の相関値、および前記第６のステップにおいて生成された前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する第７のステップと、を有する。
本発明のコンピュータは、画像照合を行うコンピュータであって、複数の参照画像と、少なくとも１つの基準画像とを記憶する記憶部と、２つの画像間の相関値を生成する相関値演算部と、制御部と、を有し、前記制御部は、入力された複数の登録画像を前記記憶部に記憶させ、前記複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を前記相関値演算部に生成させ、生成された前記複数の第１の相関値の平均値及び標準偏差を生成し、前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を前記相関値演算部に生成させ、前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を前記相関値演算部に生成させ、前記基準画像と入力された被照合画像との間の第４の相関値を前記相関値演算部に生成させ、前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を前記相関値演算部に生成させ、前記第３の相関値及び前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する。
本発明のプログラムは、画像照合を行うコンピュータの実行するプログラムであって、入力された複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を生成する第１の手順と、前記第１の手順において生成した前記複数の第１の相関値の平均値及び標準偏差を生成する第２の手順と、前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を生成する第３の手順と、前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を生成する第４の手順と、前記基準画像と入力された被照合画像との間の第４の相関値を生成する第５の手順と、前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を生成する第６の手順と、前記第４の手順において生成された前記第３の相関値、および前記第６の手順において生成された前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する第７の手順と、を前記コンピュータに実行させる。

本発明によれば、登録画像の個数が多い場合であっても高速に照合処理を行うことができる照合方法、コンピュータ、およびプログラムを提供することができる。

図１は、本発明の一実施形態に係る照合装置１の機能ブロック図である。
本実施形態に係る照合装置１は、基準画像と被照合画像（単に照合画像ともいう）との間の第１の相関値を生成する第１のステップと、基準画像と複数の登録画像それぞれとの間の複数の第２の相関値であって、第１のステップよりも前に生成された第２の相関値、および第１のステップにより生成された第１の相関値に基づいて、複数の登録画像のうち被照合画像との照合に用いる一部の登録画像を特定し、または登録画像の照合に用いる順番を決定し、その照合に用いる登録画像と被照合画像ＲＩＭを照合する。

本実施形態に係る照合装置１は、例えば図１に示すように、画像入力部１０、データベース１１、位置合わせ処理部１２、ハフ（Hough）変換処理部１３、マスク処理部１４、マハラノビス距離（相関値）演算部１５、検索順位決定部１６、メモリ１７、制御回路（ＣＰＵ：Central processing unit）１８、および動作処理部１９を有する。
各構成要素間はデータ線ＢＳ１により接続されている。

照合装置１は本発明に係るコンピュータの一例に相当する。位置合わせ処理部１２、ハフ変換処理部１３、マスク処理部１４、マハラノビス距離（相関値）演算部１５、検索順位決定部１６、および制御回路１８は、本発明に係る制御手段の一例に相当する。

画像入力部１０は、例えば制御回路１８の制御により、外部からの画像を入力するための入力部である。例えば画像入力部１０には、登録時には登録画像ＡＩＭが入力され、照合時には照合画像ＲＩＭが入力され、その画像を制御回路１８に出力する。

例えば画像入力部１０は、ＣＣＤ（Charge coupled device）や、ＣＭＯＳ（Complementary metal-oxide semiconductor）等の撮像素子や、外部装置から画像信号を入力するためのインタフェース等により構成される。

データベース１１には、複数の画像、例えば複数の登録画像ＡＩＭや、基準画像ＢＩ１，基準画像ＢＩ２、後述する登録画像ＡＩＭに対応付けられた相関値（マハラノビス距離）、参照画像ＤＩ１、テーブルＴ等が記憶されている。例えばデータベース１１はハードディスク装置や光磁気ディスク、半導体記憶装置等の記憶装置を含む。

位置合わせ処理部１２は、制御回路１８の制御により、例えば画像入力部１０から入力された画像と、データベース１１から読み出された画像に対して位置合わせを行う。

ハフ変換処理部１３は、制御回路１８の制御により、例えば画像入力部１０から入力された画像や、データベース１１から読み出された画像に、後述する画像変換処理、例えばハフ（Hough ）変換処理を行い、処理結果を制御回路１８に出力する。
ハフ変換処理部１３は、例えば高速に画像変換処理を行うために、ハードウェアで構成された専用回路を用いることが好ましい。

マスク処理部１４は、制御回路１８の制御により、例えばハフ変換処理部１３で処理された画像に対して、予め設定された値より大きい部分を抽出する処理（マスク処理ともいう）を行い、処理結果を制御回路１８に出力する。マスク処理部１４は、例えば高速に抽出処理を行うために、ハードウェアで構成された専用回路を用いることが好ましい

相関値演算部１５は、制御回路１８の制御により、例えば入力された画像や登録画像と、基準画像ＢＩ１との相関値を生成し、その結果を制御回路１８に出力する。
また、相関値演算部１５は、後述するマハラノビス距離を演算により生成する。

検索順位決定部１６は、制御回路１８の制御により、例えば入力された照合画像ＲＩＭと基準画像ＢＩ１との間の相関値と、基準画像ＢＩ１と複数の登録画像ＡＩＭそれぞれとの間の複数の相関値に基づいて、複数の登録画像ＡＩＭのうち照合に用いるための一部の登録画像ＡＩＭを特定し、または照合に用いる登録画像ＡＩＭの順番を決定する。

メモリ１７は、例えば制御回路１８のワークスペースとして用いられる。メモリ１７は、例えば図１に示すように本発明に係る機能を含むプログラムＰＲＧ等が記憶されている。プログラムＰＲＧは、例えば制御回路１８により実行され、本発明に係る機能を実現する手順を含む。

制御回路（ＣＰＵ）１８は、装置全体を制御する。制御回路１８は、例えばプログラムＰＲＧを実行することにより本発明に係る機能を実現する。
制御回路１８は、上述した構成要素による処理結果を基に照合処理を行う。

動作処理部１９は、後述する制御回路１８の処理の結果に基づいて、例えば登録画像ＡＩＭと照合画像ＲＩＭが一致した場合には、電子鍵を解除する等の所定処理を行う。

図２は、図１に示した照合装置１のハフ変換処理部１３の動作を説明するための図である。図３は、図２に示したハフ変換処理を説明するための図である。

本実施形態では画像処理としてハフ変換処理を行う。以下図面を参照しながら説明する。

ハフ変換処理部１３は、例えば画像内の基準位置からの距離、および基準位置を通る直線と基準位置を含む基準軸との角度に基づいて画像変換処理を行い、距離および角度で規定される２次元空間の変換登録画像および変換照合画像を生成する。

詳細には、ハフ変換処理部１３は、登録画像ＡＩＭおよび照合画像ＲＩＭそれぞれについて、基準位置から画像内の点を通る直線Ｌ０への最短の点Ｐ０までの距離ρ０、および、基準位置Ｏと最短の点Ｐ０を通る直線ｎ０と基準位置Ｏを含む基準軸との角度θ０に基づいて、画像内の点を曲線のパターンに変換し、画像内の直線成分を、複数の重なり合った曲線のパターンに変換する画像処理を行い、変換登録画像および変換照合画像を生成する。

簡単に説明するため、例えば図２に示すように、ｘ−ｙ平面上に、直線Ｌ０、直線Ｌ０上の点Ｐ１（ｘ１，ｙ１），点Ｐ２（ｘ２，ｙ２），点Ｐ３（ｘ３，ｙ３）があるとする。
原点（基準位置）Ｏを通り直線Ｌ０に垂直な直線をｎ０とすると、例えば直線ｎ０と基準軸としてのｘ軸とは角度θ０の関係があり、原点Ｏから直線Ｌ０まで距離｜ρ０｜の関係があるとする。ここで｜ρ０｜はρ０の絶対値を示す。直線Ｌ０は、（ρ０，θ０）というパラメータで表現できる。
ｘ−ｙ平面上の座標（ｘ，ｙ）に対する、本発明に係る画像変換処理は、例えば数式（１）により定義される。

例えば点Ｐ１，Ｐ２，Ｐ３それぞれについて数式（１）に示す変換処理を行うと、図３に示すようにρ−θ空間上の曲線に変換される。詳細には変換処理は、点Ｐ１（ｘ１，ｙ１）は曲線ＰＬ１（ｘ１・ｃｏｓθ＋ｙ１・ｓｉｎθ）に、点Ｐ２（ｘ２，ｙ２）は曲線ＰＬ２（ｘ２・ｃｏｓθ＋ｙ２・ｓｉｎθ）に、点Ｐ３（ｘ３，ｙ３）は曲線ＰＬ３（ｘ３・ｃｏｓθ＋ｙ３・ｓｉｎθ）に変換する。
この曲線ＰＬ１，ＰＬ２，ＰＬ３のパターンは、ρ−θ空間上で交点ＣＰ（ρ０，θ０）で交わる。ρ−θ空間上では交点ＣＰ（ρ０，θ０）は、ｘ−ｙ平面上では直線成分Ｌ０に相当する。
逆に、図３に示すようにｘ−ｙ平面上の直線成分Ｌ０は、ρ−θ空間では曲線ＰＬ１，ＰＬ２，ＰＬ３のパターンの交点ＣＰに相当する。

上述したように、２値化した画像変換処理を行い、処理結果のρ−θ空間上での曲線のパターンの重なりの度合いにより、変換前のｘ−ｙ平面上においてどのような直線成分が支配的であるかを判別することができる。
このｘ−ｙ平面における画像の回転、平行移動は、画像変換処理後のρ−θ空間において、それぞれθ方向、ρ方向の平行移動に相当する。

図４は、図１に示した照合装置１の画像変換処理を説明するための図である。
マスク処理部１４は、例えば図４（ａ）に示す照合画像ＲＩＭに画像変換処理を施して、図４（ｃ）に示す画像Ｓ１３１１を生成し、図４（ｂ）に示す登録画像ＡＩＭに画像変換処理を施し、図４（ｄ）に示す画像Ｓ１３１２を生成する。
画像Ｓ１３１１，Ｓ１３１２の内の各画素には，曲線のパターンの重なりの度合いに応じた値が設定される。本実施形態では所定の階調で示される画像の内、曲線のパターンの重なりの度合いが高いほど白くなるように表示されている。

マスク処理部１４は、変換登録画像および変換照合画像それぞれについて、１つの画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出する。
具体的には、マスク処理部１４は、図４（ｃ）に示す画像Ｓ１３１１に基づいて、１つの画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、図４（ｅ）に示す画像Ｓ１３２１を生成し、制御回路１８に出力する。

また、マスク処理部１４は、図４（ｄ）に示す画像Ｓ１３１２に基づいて、１つの画像内の曲線の重なりの度合いが予め設定された閾値以上の領域を抽出して、図４（ｆ）に示す画像Ｓ１３２２を生成し、制御回路１８に出力する。

本実施形態では、照合画像ＲＩＭおよび登録画像ＡＩＭをハフ変換処理部１３およびマスク処理部１４により画像Ｓ１３２１、および画像Ｓ１３２２を生成したが、マスク処理部１４の処理は、必要に応じて行う。

この抽出処理（マスク処理）を行うことにより、例えば登録画像ＡＩＭおよび照合画像ＲＩＭのｘ−ｙ空間上の直線成分と異なるノイズ成分、例えば点成分を除去し、画素単位で相関値を生成する場合と比べノイズの影響を受けにくい。

相関値演算部１５は、画像間の相関値を生成する。
具体的には、相関値演算部１５は、例えば画像間の類似度を生成する。

図５は、図１に示した相関値演算部１５の動作の一実施形態を説明するための図である。
具体的には、相関値演算部１５は、２つの画像それぞれをｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）とすると、例えば類似度Ｓｉｍを数式（２）により算出し、算出結果を制御回路１８に出力する。

相関値演算部１５は、例えば図５（ａ），（ｂ）に示す線成分（線形状ともいう）を含む２つの画像の相関度（類似度）を生成する場合には、図５（ｃ）に示すように、２つの画像の交点ＣＰの数に応じた類似度を生成する。ここでは、簡単な説明のために、線成分をビット値’１’の黒画素を示し、その他をビット値’０’の白画素で示した。

図６は、本発明に係るマハラノビス距離を説明するための図である。図６（ａ）は、例えば基準画像ＢＩ１と、複数の参照画像ＤＩ１との相関度を生成した場合の度数分布パターンを示す図である。図６（ｂ）は、例えば基準画像ＢＩ２と、複数の参照画像ＤＩ１との相関度を生成した場合の度数分布パターンを示す図である。

相関値演算部１５は、例えば血管を撮像した画像パターンを利用した個人認証の場合に、ある血管パターンデータを基準画像として、異なる複数の血管パターンデータを参照用画像として相関度を生成した場合の相関度分布パターンを生成する。
相関値演算部１５は、例えば数式（２）に示すような類似度ＳＩＭを生成する。

図６（ａ），（ｂ）に示すように、基準画像ＢＩ１，ＢＩ２に対してある画像データとの類似度を算出した結果がそれぞれ閾値ｔｈ１、ｔｈ２を超えた場合に、同一の画像データと判定することができる。

しかし基準画像によって閾値が変化するため、統一的な値を閾値として利用することができない。
本実施形態に係る照合装置１は、各度数分布の平均値と分散を考慮したマハラノビス距離を用いる。

相関値演算部１５は、マハラノビス距離Ｄとして、例えば数式（３）に示すように、類似度（ＳＩＭ）の平均値μ、および類似度の度数分布の標準偏差値σにより演算により生成する。

[数３]
Ｄ＝（ｒ−μ）／σ …（３）

図６（ａ），（ｂ）に示すように、例えば演算により生成された類似度ｒの値が０．５５であった場合、それぞれの度数分布の平均値μ、および分散値σによりマハラノビス距離Ｄを演算により生成すると例えばマハラノビス距離Ｄは４．４４、１．４３となる。

図７は、マハラノビス距離と標準正規分布との関係を示す図である。
図７に示すように、参照画像と基準画像に基づいて生成した度数分布を標準正規分布へと正規化することにより、求められたマハラノビス距離を統一的な指標として評価することができる。

図８は、図１に示した照合装置１の動作の一具体例を説明するためのフローチャートである。図８を参照しながら、照合装置１の動作の一具体例を、制御回路１８の動作を中心に説明する。
ステップＳＴ１において、制御回路１８は、基準画像ＢＩ１と複数の登録画像ＡＩＭそれぞれとの間の複数の第２の相関値を生成して、データベース１１に記憶する。

ステップＳＴ２において、制御回路１８は、基準画像ＢＩ１と被照合画像（照合画像ＲＩＭ）との間の第１の相関値を生成する。

ステップＳＴ３において、制御回路１８は、ステップＳＴ２よりも前に生成された第２の相関値、および第１の相関値に基づいて、複数の登録画像ＡＩＭのうち被照合画像（照合画像ＲＩＭ）との照合に用いる一部の登録画像ＡＩＭを特定する。
この際、制御回路１８は、第１の相関値と第２の相関値との差が小さい順に設定個数だけ、第２の相関値に対応する複数の登録画像ＡＩＭのうち照合に用いる一部の登録画像ＡＩＭを特定する。

ステップＳＴ４において、制御回路１８は、特定された登録画像ＡＩＭと被照合画像とを比較して照合処理を行う。

以上、説明したように、制御回路１８は、登録時に予め基準画像ＢＩ１と複数の登録画像ＡＩＭそれぞれとの間の複数の相関値を生成してデータベース１１に記憶し、照合時に、特定された登録画像ＡＩＭと被照合画像とを比較して照合処理を行うので、データベース１１に記憶されている登録画像ＡＩＭの個数が多い場合であっても、複数の登録画像ＡＩＭと遂次照合を行う場合と比べて高速に照合処理を行うことができる。

図９は、図１に示した照合装置１の動作の他の具体例を説明するためのフローチャートである。図８に示した照合装置１の動作との大きな相違点は、ステップＳＴ３ａにおいて、登録画像ＡＩＭの照合に用いる順番を決定する点である。

ステップＳＴ１において、制御回路１８は、基準画像ＢＩ１と複数の登録画像ＡＩＭそれぞれとの間の複数の第２の相関値を生成して、データベース１１に記憶する。

ステップＳＴ２において、制御回路１８は、基準画像ＢＩ１と被照合画像（照合画像ＲＩＭ）との間の第１の相関値を生成する。

ステップＳＴ３ａにおいて、制御回路１８は、ステップＳＴ２よりも前に生成された第２の相関値、および第１の相関値に基づいて、複数の登録画像ＡＩＭの照合に用いる順番を決定する。
この際、制御回路１８は、第１の相関値および第２の相関値との差が小さい順に、照合に用いる登録画像ＡＩＭの順番を決定する。

ステップＳＴ４において、制御回路１８は、決定された順番で登録画像ＡＩＭと被照合画像（照合画像ＲＩＭ）を比較して照合処理を行う。

ステップＳＴ５において、制御回路１８は、ステップＳＴ４にて順番に照合処理を行っている際に、規定された条件を満たしているか否かを判断し、条件を満たしていないと判断した場合には、ステップＳＴＳＴ４ａに戻り、次の順番の登録画像ＡＩＭと照合画像ＲＩＭとの照合を行う。
一方、条件を満たしていると判断した場合には、制御回路１８は、条件を満たした登録画像ＡＩＭ以降の順番の登録画像ＡＩＭについて照合を行わない。
例えば、上述の既定された条件は、順に照合を行っている場合に照合の結果が確定した場合や、全ての登録画像について照合を行った場合などである。

以上、説明したように、第１および第２の相関値に基づいて、複数の登録画像ＡＩＭのうち、被照合画像（照合画像ＲＩＭ）との照合に用いる登録画像ＡＩＭの照合に用いる順番を決定し、決定した順番で照合を行うので、遂次照合を行う場合と比べて、早い段階で照合ＯＫの場合があり、照合時間が低減する。
また、規定された条件を満たしていると判断した場合には、制御回路１８は、条件を満たした登録画像ＡＩＭ以降の順番の登録画像ＡＩＭについて照合を行わないので、遂次全ての登録画像ＡＩＭと照合画像ＲＩＭとの間で照合を行う場合と比べて、処理時間が低減する。

次に、より具体的な照合装置１の動作を説明する。
〔登録時〕
図１０は、図１に示した照合装置１の登録時の動作を説明するためのフローチャートである。
以下、図１０を参照しながら、画像登録時の動作を、制御回路１８の動作を中心に説明する。

なお、本実施例では、予め基準画像ＢＩ１，ＢＩ２を用いて、照合処理時に階層的に検索順位を決定する場合を説明する。

ステップＳＴ１０１において、制御回路１８は、画像入力部１０から、登録を行なうための画像データ（以下登録画像ＡＩＭと呼ぶ）を取り込む。

ステップＳＴ１０２において、制御回路１８は、登録画像ＡＩＭに対して例えば図６（ａ），（ｂ）に示すような度数分布を求めるため、例えば予めデータベース１１に記憶されている複数の参照画像ＤＩ１の中から参照画像ＤＩ１を読み出す。

ステップＳＴ１０３において、制御回路１８は、位置合わせ処理部１２により、入力された登録画像ＡＩＭと読み出した参照用画像の位置合わせを行う。

ステップＳＴ１０４において、制御回路１８は、ハフ変換処理部１３に、位置合わせが施された登録画像ＡＩＭと参照画像ＤＩ１それぞれにハフ変換処理を施させる。

ステップＳＴ１０５において、制御回路１８は、ハフ変換処理が施された登録画像ＡＩＭおよび参照画像ＤＩ１それぞれに、マスク処理部１４に、規定された閾値よりも大きいパラメータのみが抽出されるようマスク処理を行わせる。

ステップＳＴ１０６において、制御回路１８は、相関値演算部１５に、マスク処理が施された登録画像ＡＩＭおよび参照画像ＤＩ１間の相関値を演算させる。

相関値の算出には、例えば数式（３）に示したような類似度（ＳＩＭ）ｒを用いる。

ステップＳＴ１０７において、制御回路１８は、登録画像ＡＩＭに対して、例えば複数の参照画像ＤＩ１の全てを読み出してステップＳＴ１０２〜ＳＴ１０６の処理を行ったか否かを判断する。制御回路１８は、判断の結果、例えば複数の参照画像ＤＩ１の全てを読み出していないと判断した場合には、ステップＳＴ１０２の処理に戻り、一方複数の参照画像ＤＩ１の全てを読み出したと判断した場合には、ステップＳＴ１０８の処理に進む。

ステップＳＴ１０８において、制御回路１８は、例えば、複数の参照画像ＤＩ１と登録画像ＡＩＭとの相関値の平均値μと標準偏差値σを演算により生成する。
この平均値μと標準偏差値σは、照合処理時に判定基準として用いるためのマハラノビス距離を生成する際に利用される。

ステップＳＴ１０９において、制御回路１８は、データベース１１から基準画像ＢＩ１，ＢＩ２を読み出す。

ステップＳＴ１１０において、制御回路１８は、相関値演算部１５に、基準画像ＢＩ１，ＢＩ２それぞれと登録画像ＡＩＭとの相関値を演算により生成させる。

ステップＳＴ１１１において、制御回路１８は、相関値演算部１５に、例えば数式（３）により、登録画像ＡＩＭに対して基準画像ＢＩ１，ＢＩ２それぞれに応じたマハラノビス距離Ｄ１、Ｄ２を演算により生成する。

ここで登録画像ＡＩＭと、基準画像ＢＩ１，ＢＩ２とに応じたマハラノビス距離算出時に使用する平均値μ、および標準偏差値σは、上述したＳＴ１０２〜ＳＴ１０７の処理と同様に、予め基準画像ＢＩ１，ＢＩ２それぞれに対して、複数の参照画像との間で演算により生成した相関値の平均値（μｃ１、μｃ２）および標準偏差値（σｃ１、σｃ２）を使用する。

生成したマハラノビス距離Ｄ１、Ｄ２は、照合処理時に検索順序を決定する際の指標として利用する。

図１１は、図１に示した照合装置１が記憶するテーブルＴの一具体例を示す図である。

制御回路１８は、上述した登録処理を行なった結果を基に、基準画像ＢＩ１，ＢＩ２、および各登録画像ＡＩＭ、マハラノビス距離Ｄ１，Ｄ２とを関連付けるテーブルＴを生成し、データベース１１に記憶する。

詳細には、図１１に示すように、テーブルＴは、複数の参照画像ＤＩ１（参照画像群）の画像データに応じて生成された平均値μおよび標準偏差値σ、ならびに、基準画像ＢＩ１を基に生成されたマハラノビス距離Ｄ１（平均値μｃ１および標準偏差値σｃ１を使用），基準画像ＢＩ２を基に生成されたマハラノビス距離Ｄ２（平均値μｃ２および標準偏差値σｃ２を使用）が、基準画像ＢＩ１，ＢＩ２，および登録画像ＡＩＭ（１，２，…，Ｎ）が関連付けて記憶する。

より詳細には、図１１に示すように、データベースに記憶されている登録画像ＡＩＭの個数がＮ個の場合には、登録画像ＡＩＭ（１）〜ＡＩＭ（Ｎ）に対して、テーブルＴの各行は、左列から順に（ＡＩＭ（１），μ１，σ１，ｄ１１，ｄ２１），（ＡＩＭ（２），μ２，σ２，ｄ１２，ｄ２２），（ＡＩＭ（３），μ３，σ３，ｄ１３，ｄ２３），…，（ＡＩＭ（Ｎ），μＮ，σＮ，ｄ１Ｎ，ｄ２Ｎ）である。

〔照合処理〕
図１２は、図１に示した照合装置１の照合時の動作を説明するための図である。図１２を参照しながら、照合装置１の照合時の動作を制御回路１８の動作を中心に説明する。

ステップＳＴ２０１において、制御回路１８は、例えば画像入力部１０から、登録画像ＡＩＭと比較照合を行うための画像（以下照合画像ＲＩＭという）を入力する。

ステップＳＴ２０２において、制御回路１８は、データベース１１から予め規定された基準画像ＢＩ１を読み出す。

ステップＳＴ２０３において、制御回路１８は、位置合わせ処理部１２に、照合画像ＲＩＭと基準画像ＢＩ１との位置合わせを行わせる。

ステップＳＴ２０４において、制御回路１８は、ハフ変換処理部１３に、位置合わせ処理が施された照合画像ＲＩＭと基準画像ＢＩ１にハフ変換処理を施させる。

ステップＳＴ２０５において、制御回路１８は、マスク処理部１４に、ハフ変換処理が施された照合画像ＲＩＭと基準画像ＢＩ１に、規定された閾値をより大きいパラメータのみが抽出されるようマスク処理を行わせる。

ステップＳＴ２０６において、制御回路１８は、相関値演算部１５に、マスク処理後の照合画像ＲＩＭと基準画像ＢＩ１の相関値を演算により生成させる。
例えば相関値の生成には、例えば数式（２）に示すような類似度（ＳＩＭ）ｒを用いる。

ステップＳＴ２０７において、制御回路１８は、ステップＳＴ２０６で生成された相関値を基に、照合画像ＲＩＭと基準画像ＢＩ１とのマハラノビス距離Ｄ'１を演算により生成する。

ここでマハラノビス距離Ｄ'１の生成には、例えば図１０に示すように、基準画像ＢＩ１と複数の参照画像ＤＩ１（参照画像群ともいう）の画像データから求めた相関値の平均値μｃ１、および標準偏差値σｃ１を用いる。

ステップＳＴ２０８において、制御回路１８は、生成したマハラノビス距離を基に、検索順位決定部１６にマハラノビス距離Ｄ'１に近いマハラノビス距離Ｄ１を有するＭ個の相関値を特定し、特定された相関値に対応し、照合に用いる一部の登録画像ＡＩＭを特定する。
制御回路１８は、その特定した登録画像ＡＩＭを、データベース１１から読み出す。

ステップＳＴ２０９において、制御回路１８は、基準画像ＢＩ２に関してステップＳＴＳＴ２０２〜ＳＴ２０７と略同様の処理を行い、照合画像ＲＩＭとのマハラノビス距離Ｄ'２を演算により生成する（ＳＴ２０９〜ＳＴ２１４）。

ステップＳＴ２１５において、制御回路１８は、ステップＳＴ２０８により抽出した複数の登録画像ＡＩＭの中からマハラノビス距離Ｄ'２に近いマハラノビス距離Ｄを有するＮ個の相関値を照合対象として特定する。
マハラノビス距離Ｄ'２の生成には、例えば図１１に示すように、基準画像ＢＩ２と複数の参照画像ＤＩ１（参照画像群）の画像データから求めた相関値の平均値μｃ２、および標準偏差値σｃ２を用いる。

ここで制御回路１８は、基準画像ＢＩ２と複数の参照画像ＤＩ１（参照画像群）の画像データから求めた相関値の平均値μｃ２、標準偏差値σｃ２の値を用いてマハラノビス距離Ｄ’２を演算により生成する。

また、照合の順番の決定には、類似した複数の画像データと基準画像ＢＩ１との間でそれぞれ生成した相関値は近い値を示すという特徴を利用している。

ステップＳＴ２１６において、制御回路１８は、ステップＳＴ２１５で特定された各登録画像ＡＩＭに、前述の手順と同様に位置合わせ処理、ハフ変換処理、マスク処理を施し、照合画像ＲＩＭとの相関値およびマハラノビス距離を演算により生成する。
ここでのマハラノビス距離の生成には、例えば図１１に示すように、照合対象として特定された各登録画像を登録する際に生成した平均値、標準偏差値を用いる。

例えば、登録画像ＡＩＭ（１）が照合対象として特定された場合、平均値μ１、標準偏差値σ１を基に、照合画像ＲＩＭとのマハラノビス距離を生成する。

ステップＳＴ２１７において、制御回路１８は、ステップＳＴ２１６で生成したマハラノビス距離が、予め設定された閾値よりも大きいか否か判断する。閾値よりも大きいと判断した場合にステップＳＴ２２０の処理に進む。一方、閾値以下である判断した場合にステップＳＴ２１８の処理に進む。

ステップＳＴ２１８において、制御回路１８は、閾値以下と判断した場合に、ステップＳＴ２１５で照合対象として特定したＮ個の登録画像ＡＩＭ全てに照合処理を行ったか否かを判断し、判断の結果、
特定した全てのＮ個の登録画像ＡＩＭに照合処理を施していないと判断した場合に、ステップＳＴ２１６の処理に戻り、次の照合対象の登録画像ＡＩＭに対して前述と同様に照合処理を行う。一方、制御回路１８は、特定した全てのＮ個の登録画像ＡＩＭに照合処理を施したと判断した場合に、ステップＳＴ２１９の処理に進む。

ステップＳＴ２１９において、制御回路１８は、照合対象として特定した全ての登録画像ＡＩＭに対して照合処理が終わっていると判断した場合に、照合画像ＲＩＭと登録画像ＡＩＭとが一致しないと判断する。

ステップＳＴ２２０において、制御回路１８は、閾値を超えている場合は検索対象として特定された登録画像ＡＩＭと照合画像ＲＩＭとが一致したと判断し、例えば動作処理部１９に所定処理を行わせる。
例えば本発明に係る照合装置１をセキュリティ分野における静脈パターン照合装置に応用した場合には、制御回路１８は、動作処理部１９により電子錠を解除させる等の処理を行わせる。

以上、説明したように、相関値の度数分布パターンの平均値μと標準偏差値σを基に、相関値を正規化するマハラノビス距離を用いて照合処理を行うので、より高精度に照合処理を行うことができる。

また、ハフ変換処理を施した登録画像ＡＩＭや照合画像ＲＩＭ、基準画像ＢＩ１等を基に各相関値を生成したので、線形状パターンを含む画像を照合する場合に、より高精度に照合処理を行うことができる。

また、入力された被照合画像とデータベース１１に記憶された複数の登録画像との照合を行なう際に、入力された画像データから抽出した特徴量と予め用意された基準画像データから抽出された特徴量との相関度を算出し、データベース内に格納されている各画像データと基準画像データによって同様に算出された相関度とを比較して、相関度が近い画像データのみ照合処理を行なうことにより、データベースに格納された全画像データと逐次照合処理を行なう場合に比べ、処理時間を大幅に短縮することが可能となる。

なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
例えば、本実施形態では、２個の基準画像ＢＩ１，ＢＩ２を用いて、照合処理時に階層的に照合に用いる登録画像を特定したが、この形態に限られるものではない。基準画像を３つ以上用いて照合対象の登録画像を絞り込んでもよいし、基準画像を１つとする構成としてもよい。

また、照合の順番を決定する指標としてマハラノビス距離を導入したが、マハラノビス距離を算出する前段の相関値（類似度）の段階で照合の順位を決定してもよい。

また、本実施形態では、相関値として、予め規定された複数の参照画像と基準画像との間の複数の相関値に基づいて、第１および第２の相関値を正規化して生成されるマハラノビス距離を用いたが、この形態に限られるものではない。

また、本実施形態では制御回路１８がプログラムＰＲＧを実行することにより本発明に係る機能を実現したが、この形態に限られるものではない。例えば、ハードワイヤドにより実現してもよい。
また、上述した実施形態を組み合わせてもよい。

本発明は、画像を照合する照合システムに適用できる。

本発明の一実施形態に係る照合装置１の機能ブロック図である。 図１に示した照合装置１のハフ変換処理部１３の動作を説明するための図である。 図２に示したハフ変換処理を説明するための図である。 図１に示した照合装置１の画像変換処理を説明するための図である。 図１に示した相関値演算部１５の動作の一実施形態を説明するための図である。 本発明に係るマハラノビス距離を説明するための図である。（ａ）は、例えば基準画像ＢＩ１と、複数の参照画像ＤＩ１との相関度を生成した場合の度数分布パターンを示す図である。（ｂ）は、例えば基準画像ＢＩ２と、複数の参照画像ＤＩ１との相関度を生成した場合の度数分布パターンを示す図である。 マハラノビス距離と標準正規分布との関係を示す図である。 図１に示した照合装置１の動作の一具体例を説明するためのフローチャートである。 図１に示した照合装置１の動作の他の具体例を説明するためのフローチャートである。 図１に示した照合装置１の登録時の動作を説明するためのフローチャートである。 図１に示した照合装置１が記憶するテーブルＴの一具体例を示す図である。 図１に示した照合装置１の照合時の動作を説明するための図である。

符号の説明

１…照合装置、１０…画像入力部、１１…データベース、１２…位置合わせ処理部、１３…ハフ（Hough）変換処理部、１４…マスク処理部、１５…マハラノビス距離（相関値）演算部、１６…検索順位決定部、１７…メモリ、１８…制御回路（ＣＰＵ）、１９…動作処理部。

Claims (6)

1. 画像照合を行うコンピュータの照合方法であって、
   入力された複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を生成する第１のステップと、
   前記第１のステップにおいて生成した前記複数の第１の相関値の平均値及び標準偏差を生成する第２のステップと、
   前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を生成する第３のステップと、
   前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を生成する第４のステップと、
   前記基準画像と入力された被照合画像との間の第４の相関値を生成する第５のステップと、
   前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を生成する第６のステップと、
   前記第４のステップにおいて生成された前記第３の相関値、および前記第６のステップにおいて生成された前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する第７のステップと、
   を有する照合方法。
2. 前記第７のステップは、前記第３の相関値と前記第５の相関値との差が小さい順に設定個数だけ、前記第５の相関値に対応する前記複数の登録画像のうち前記照合に用いる一部の前記登録画像を特定する
   請求項１に記載の照合方法。
3. 前記第７のステップは、前記第３の相関値および前記第５の相関値との差が小さい順に、前記照合に用いる前記登録画像の順番を決定し、
   照合時に、規定された条件を満たしたことを条件に、前記条件を満たした登録画像以降の順番の前記登録画像について前記照合を行わない
   請求項１記載の照合方法。
4. 前記第５のステップにおいて、ハフ変換処理が施された前記基準画像と被照合画像との間の第４の相関値を生成し、
   前記第３のステップにおいて、前記ハフ変換処理が施された前記基準画像と複数の登録画像それぞれとの間の複数の第２の相関値を生成する
   請求項１に記載の照合方法。
5. 画像照合を行うコンピュータであって、
   複数の参照画像と、少なくとも１つの基準画像とを記憶する記憶部と、
   ２つの画像間の相関値を生成する相関値演算部と、
   制御部と、
   を有し、
   前記制御部は、
   入力された複数の登録画像を前記記憶部に記憶させ、前記複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を前記相関値演算部に生成させ、
   生成された前記複数の第１の相関値の平均値及び標準偏差を生成し、
   前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を前記相関値演算部に生成させ、
   前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を前記相関値演算部に生成させ、
   前記基準画像と入力された被照合画像との間の第４の相関値を前記相関値演算部に生成させ、
   前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を前記相関値演算部に生成させ、
   前記第３の相関値及び前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する
   コンピュータ。
6. 画像照合を行うコンピュータの実行するプログラムであって、
   入力された複数の登録画像のそれぞれに対して、複数の参照画像との間の相関値である複数の第１の相関値を生成する第１の手順と、
   前記第１の手順において生成した前記複数の第１の相関値の平均値及び標準偏差を生成する第２の手順と、
   前記複数の登録画像のそれぞれと、少なくとも１つの基準画像との間の相関値である複数の第２の相関値を生成する第３の手順と、
   前記第１の相関値の平均値及び標準偏差と、前記複数の第２の相関値とを基に、第３の相関値を生成する第４の手順と、
   前記基準画像と入力された被照合画像との間の第４の相関値を生成する第５の手順と、
   前記第１の相関値の平均値及び標準偏差と、前記第４の相関値とを基に、第５の相関値を生成する第６の手順と、
   前記第４の手順において生成された前記第３の相関値、および前記第６の手順において生成された前記第５の相関値に基づいて、前記複数の登録画像のうち前記被照合画像との照合に用いる登録画像を特定し、または前記登録画像の前記照合に用いる順番を決定する第７の手順と、
   を前記コンピュータに実行させるプログラム。

Images