JPWO2009131209A1 - 画像照合装置、画像照合方法および画像照合用プログラム - Google Patents

Abstract

本発明の画像照合装置３００は、局所的な構造特徴を含む１以上の部分対象画像を対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を各参照画像から抽出する特徴画像抽出部３０３，３０４と、部分対象画像の各々を着目画像とし、部分参照画像の集合から着目画像と最も類似する第１部分画像を検出する第１画像検出部３０６と、部分対象画像の集合から第１部分画像と最も類似する第２部分画像を検出する第２画像検出部３０７と、着目画像が第２部分画像と一致するか否かを判定し、その判定結果を出力する判定処理部３０５とを有する。

Description

本発明は、画像照合技術に関する。

画像照合技術は、対象画像を１以上の参照画像と照合して、対象画像が参照画像と一致するか否かを判定する技術である。この種の画像照合技術は、例えば、撮像デバイスで撮像した顔画像や指紋画像を、予めデータベースに記録された登録画像と照合する際に利用される。この例では、顔画像や指紋画像が対象画像に相当し、登録画像が参照画像に相当する。従来の生体画像を照合する技術では、生体に固有の大域的な構造特徴（例えば、目、眉、口）の照合が行われている。大域的な構造特徴は、予め決まった数であり、また、およそ定まった位置にあるため、大域的な構造特徴に基づいた照合は比較的容易である。

しかしながら、この照合技術では、大域的な構造特徴が酷似した双子などの生体同士の画像を高い精度で照合することが難しい。そこで、大域的な構造特徴に加えて、後天的に生ずる局所的な構造特徴（例えば、肌文様のほくろ、そばかす、しわ、指紋）に基づいた照合技術が提案されている。

画像照合技術に関する先行技術文献としては、例えば、特開２００６−１０７２８８号公報（以下では、特許文献１と称する）、特開平６−２８４６１号公報（以下では、特許文献２と称する）および特表２００５−５２１９７５号公報（以下では、特許文献３と称する）が挙げられる。

特許文献１には、ホクロ、シミ、ソバカスなどの皮膚テキスチャを検出し、その検出パターンを、データベースに登録された特徴パターンと照合する個人認証技術が開示されている。特許文献２には、指紋画像中の大域的な構造特徴を基準として窓画像を抽出し、この窓画像に現れる指紋の分岐点や端点などの特徴点（マニューシャ）に対して照合を実行する指紋照合技術が開示されている。そして、特許文献３には、参照画像を探索して対象画像（取得画像）内の画素群と最も良く適合する画素群を参照画像から選択し、当該選択された画素群と対象画像内の画素群との間の相対位置がランダムに出現する確率を決定する個人認証技術が開示されている。

しかしながら、局所的な構造特徴が常に安定しているとは限らない。外的要因により局所的な構造特徴（例えば、ホクロ、シミ、ソバカスなどの特徴点）の位置や形状がずれることがあり、これが照合精度を低下させる場合がある。例えば、撮像デバイスが被写体を撮像して対象画像を取得しようとするとき、被写体の表情が通常の表情から変化したり、撮影条件に起因して被写体の外観が通常の外観から変化したりすると、その対象画像に対する照合精度が低下してしまう。

この問題に対して、特許文献３に開示された技術では、照合精度の向上のため、対象画像中の画素群に適合する画素群を参照画像の中から選択することにより、参照画像を探索することができる。特許文献３の技術を使用すれば、前述の外的要因による照合精度の低下を防止することができる。しかしながら、その探索にかかる処理負荷は大きく、照合速度を低下させるという問題がある。

本発明の目的の一つは、局所的な構造特徴に基づく画像照合処理を小さな演算量で高精度に実行し得る画像照合装置、画像照合方法および画像照合用プログラムを提供することにある。

本発明の一側面の画像照合装置は、対象画像を１以上の参照画像と照合する画像照合装置であって、局所的な構造特徴を含む１以上の部分対象画像を対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を各参照画像から抽出する特徴画像抽出部と、部分対象画像の各々を着目画像とし、部分参照画像の集合から着目画像と最も類似する第１部分画像を検出する第１画像検出部と、部分対象画像の集合から第１部分画像と最も類似する第２部分画像を検出する第２画像検出部と、着目画像が第２部分画像と一致するか否かを判定し、その判定結果を出力する判定処理部と、有する。

また、本発明の一側面の画像照合方法は、対象画像を１以上の参照画像と照合する画像照合方法であって、局所的な構造特徴を含む１以上の部分対象画像を対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を各参照画像から抽出する特徴画像抽出処理を行い、部分対象画像の各々を着目画像とし、部分参照画像の集合から着目画像と最も類似する第１部分画像を検出する第１画像検出処理を行い、部分対象画像の集合から第１部分画像と最も類似する第２部分画像を検出する第２画像検出処理を行い、着目画像が前記第２部分画像と一致するか否かを判定し、その判定結果を出力する判定処理を行うものである。

さらに、本発明の一側面の画像照合用プログラムは、対象画像を１以上の参照画像と照合する画像照合処理をコンピュータに実行させる画像照合用プログラムであって、局所的な構造特徴を含む１以上の部分対象画像を対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を各参照画像から抽出する特徴画像抽出処理と、部分対象画像の各々を着目画像とし、部分参照画像の集合から着目画像と最も類似する第１部分画像を検出する第１画像検出処理と、部分対象画像の集合から第１部分画像と最も類似する第２部分画像を検出する第２画像検出処理と、着目画像が第２部分画像と一致するか否かを判定し、その判定結果を与える判定処理と、を有する。

図１は本発明に係る一実施形態の画像照合システムを概略的に示す機能ブロック図である。 図２は画像照合装置による処理手順を概略的に示すフローチャートである。 図３は判定処理の具体的な手順の一例を示すフローチャートである。 図４は画像照合処理を説明するための特徴量空間を示す図である。 図５は画像照合処理を説明するための特徴量空間を示す図である。 図６は実施形態の変形例に係る画像照合装置による処理手順を概略的に示すフローチャートである。

１００ 計測装置
１０１ 撮像部
２００ 記憶装置
２０１ 画像記憶部
２０２ 画像対応テーブル
３００ 画像照合装置
３０１ 被照合画像抽出部
３０１Ａ 第１画像抽出部
３０１Ｂ 第２画像抽出部
３０２ 正規化部
３０３ 特徴量算出部
３０３Ａ 第１特徴量算出部
３０３Ｂ 第２特徴量算出部
３０４ 領域抽出部
３０４Ａ 第１領域抽出部
３０４Ｂ 第２領域抽出部
３０５ 判定処理部
３０６ 第１画像検出部
３０７ 第２画像検出部
３０８ 画像照合部

以下、本発明の種々の実施の形態について図面を参照しつつ説明する。なお、すべての図面において、同様な構成要素には同一符号が付され、その詳細な説明は重複しないように適宜省略される。

図１は、本発明に係る一実施形態の画像照合システムを概略的に示す機能ブロック図である。この画像照合システムは、計測装置１００、記憶装置２００および画像照合装置３００を有している。

計測装置１００は、撮像部１０１を含む。撮像部１０１は、ＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などの固体撮像素子と、この固体撮像素子に被写体からの入射光を集光させるフォーカスシステムと、固体撮像素子の出力に画像処理を施す信号処理部とを有する。撮像部１０１は、画像データを画像記憶部２０１または画像照合装置３００に出力することができる。記憶装置２００は、揮発性メモリまたは不揮発性メモリなどの記録媒体（例えば、半導体メモリや磁気記録媒体）と、この記録媒体に対してデータの書き込みと読み出しを行うための制御回路やプログラムとで構成される。この記憶装置２００は、撮像部１０１から入力された画像データを記憶する画像記憶部２０１と、画像対応テーブル２０２とを含む。

画像照合装置３００は、被照合画像抽出部３０１、特徴量算出部３０３、領域抽出部３０４、判定処理部３０５、第１画像検出部３０６、第２画像検出部３０７および画像照合部３０８を含む。これら機能ブロック３０１，３０３〜３０８の全部または一部は、半導体集積回路などのハードウェアで実現されてもよいし、あるいは、不揮発性メモリや光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。このようなプログラムまたはプログラムコードは、機能ブロック３０１，３０３〜３０８の画像照合処理を、ＣＰＵ（Central Processing Unit）などのプロセッサを有するコンピュータに実行させるものである。

この画像照合装置３００の構成および動作を図２および図３を参照しつつ以下に説明する。図２は、画像照合装置３００による処理手順を概略的に示すフローチャートである。図３は、判定処理部３０５による判定処理（図２に示すステップＳ１０８）の手順の一例を概略的に示すフローチャートである。

被照合画像抽出部３０１は、第１画像抽出部３０１Ａ、第２画像抽出部３０１Ｂおよび正規化部３０２を有する。第１画像抽出部３０１Ａは、撮像部１０１で撮像され転送された入力画像から第１の対象領域画像を抽出し、この第１の対象領域画像を正規化部３０２に与える（ステップＳ１０１）。第２画像抽出部３０１Ｂは、画像記憶部２０１から読み出され転送された入力画像（この画像は予め画像記憶部２０１に登録された登録画像に相当する）から第２の対象領域画像を抽出し、この第２の対象領域画像を正規化部３０２に与える（ステップＳ１０２）。第１画像抽出部３０１Ａと第２画像抽出部３０１Ｂのそれぞれは、入力画像の大域的な構造特徴、色領域あるいは輪郭形状を基準として、第１および第２の対象領域画像のそれぞれを抽出してもよい。

なお、画像照合装置３００に転送される入力画像は、画素値が２次元配列された２次元画像である。画素値は、任意の色空間上の値であればよく、特に限定されるものではない。例えば、画素値は、ＲＧＢ色空間上の値でもよいし、または、ＹＣｂＣｒ色空間上の輝度値（Ｙ）もしくは色差値（Ｃｂ，Ｃｒ）であってもよい。

正規化部３０２は、第１の対象領域画像の大域的な構造特徴（例えば、生体の目や鼻や耳などの特徴）に基づいて、当該第１の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行することにより第１の対象領域画像を正規化して対象画像ＳＯを生成する（ステップＳ１０３）。同時に、正規化部３０２は、第２の対象領域画像の大域的な構造特徴（例えば、生体の目や鼻や耳などの特徴）に基づいて、当該第２の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行することにより第２の対象領域画像を正規化して参照画像ＳＲを生成する（ステップＳ１０３）。検査対象が顔画像あるいは指紋画像の場合、大域的な構造特徴として、例えば、目、眉、鼻孔、口、輪郭、指紋の渦文様の中心を用いればよい。検査対象が人工物の場合には、大域的な構造特徴として、立方体や長方形といった形状やロゴマークの特徴を用いてもよい。

特徴量算出部３０３は、第１特徴量算出部３０３Ａおよび第２特徴量算出部３０３Ｂを含む。領域抽出部３０４は、第１領域抽出部３０４Ａおよび第２領域抽出部３０４Ｂを含む。第１特徴量算出部３０３Ａは、対象画像ＳＯに関する局所的な構造特徴量を算出し（ステップＳ１０４）、第２特徴量算出部３０３Ｂは、参照画像ＳＲに関する局所的な構造特徴量を算出する（ステップＳ１０５）。これら構造特徴量の算出方法は後述する。

第１特徴量算出部３０３Ａと第１領域抽出部３０４Ａは、連携して、正規化部３０２により供給された対象画像ＳＯから、局所的な構造特徴（例えば、顔の肌文様に現れたほくろ、しみ、そばかす、毛穴および肌の凹凸）を含む部分対象画像ＰＯ１〜ＰＯＮ（Ｎは２以上の整数）を抽出する（ステップＳ１０６）。ここで、部分対象画像ＰＯ１〜ＰＯＮの各々は、局所的な構造特徴を示す一点を基準として対象画像ＳＯ内に設定された部分領域として抽出されればよい。例えば、局所的な構造特徴を示す一点を中心位置とする部分領域（例えば、円形領域や多角形領域）を各部分対象画像として抽出することができる。後述する局所座標位置は、部分対象画像ＰＯ１〜ＰＯＮの各々において設定され得る。

一方、第２特徴量算出部３０３Ｂと第２領域抽出部３０４Ｂは、連携して、正規化部３０２により供給された参照画像ＳＲから、局所的な構造特徴（例えば、顔の肌文様に現れたほくろ、しみ、そばかす、毛穴および肌の凹凸）を含む部分参照画像ＰＲ１〜ＰＲＭ（Ｍは２以上の整数）を抽出する（ステップＳ１０７）。特徴量算出部３０３と領域抽出部３０４とで本発明に係る特徴画像抽出部を構成することができる。ここで、部分対象画像ＰＯ１〜ＰＯＮの場合と同様に、部分参照画像ＰＲ１〜ＰＲＭの各々は、局所的な構造特徴を示す一点を基準として参照画像ＳＲ内に設定された部分領域として抽出されればよい。例えば、局所的な構造特徴を示す一点を中心位置とする部分領域（例えば、円形領域や多角形領域）を各部分参照画像として抽出することができる。後述する局所座標位置は、部分参照画像ＰＲ１〜ＰＲＭの各々において設定され得る。

なお、部分対象画像ＰＯ１〜ＰＯＮの数は常に２以上であるとは限らず、ゼロまたは１であることもあり得る。部分参照画像ＰＲ１〜ＰＲＭの数についても、２以上であるとは限らず、ゼロまたは１であってもよい。また、対象画像ＳＯから部分対象画像ＰＯ１〜ＰＯＮを抽出する処理、および参照画像ＳＲから部分参照画像ＰＲ１〜ＰＲＭを抽出する処理を、特徴画像抽出処理と総称する。

ステップＳ１０４からステップＳ１０７までの処理を、より具体的に説明する。第１特徴量算出部３０３Ａは、対象画像ＳＯの各画素を着目画素Ｐ１（ｐ，ｑ）とする。続いて、第１特徴量算出部３０３Ａは、この着目画素Ｐ１（ｐ，ｑ）を含む局所領域ΔＳ１内の画素値ｆ１（ｘ，ｙ）の集合を近似的に表す関数ｚ１である第１の近似平面を決定する。ここで、ｘ，ｙは、当該画素値の局所領域ΔＳ１内の座標位置を示す変数である。第１特徴量算出部３０３Ａは更に、対象画像ＳＯの画素値ｆ１（ｐ，ｑ）とこれに対応する第１の近似平面の値ｚ１（ｐ，ｑ）との間の差分Δ１（ｐ，ｑ）（＝ｆ１（ｐ，ｑ）−ｚ１（ｐ，ｑ））に比例する値を、対象画像ＳＯに関する構造特徴量ｇ１（ｐ，ｑ）として算出する（ステップＳ１０４）。構造特徴量ｇ１（ｐ，ｑ）は、対象画像ＳＯ内の全ての画素について算出される。

構造特徴量ｇ１（ｐ，ｑ）の配列は、局所的な構造特徴が強調された画像情報を含む。第１領域抽出部３０４Ａは、これら構造特徴量ｇ１（ｐ，ｑ）の配列の中から、局所的な構造特徴を表す領域を部分対象画像ＰＯ１〜ＰＯＮとして抽出することができる（ステップＳ１０６）。

ここで、外的要因による画素値のズレを補償するために、構造特徴量ｇ１（ｐ，ｑ）は、差分Δ１（ｐ，ｑ）を当該差分の統計的誤差ｓ１で除算した値（＝Δ１／ｓ１）であることが望ましい。統計的誤差は、例えば、標準偏差とすることができる。

一方、第２特徴量算出部３０３Ｂは、参照画像ＳＲの各画素を着目画素Ｐ２（ｐ，ｑ）とし、この着目画素Ｐ２（ｐ，ｑ）を含む局所領域ΔＳ２内の画素値ｆ２（ｘ，ｙ）の集合を近似的に表す関数ｚ２である第２の近似平面を決定する。第２特徴量算出部３０３Ｂは更に、参照画像ＳＲの画素値ｆ２（ｐ，ｑ）とこれに対応する第２の近似平面の値ｚ２（ｐ，ｑ）との間の差分Δ２（ｐ，ｑ）（＝ｆ２（ｐ，ｑ）−ｚ２（ｐ，ｑ））に比例する値を、参照画像ＳＲに関する構造特徴量ｇ２（ｐ，ｑ）として算出する（ステップＳ１０５）。構造特徴量ｇ２（ｐ，ｑ）は、参照画像ＳＲ内の全ての画素について算出される。

構造特徴量ｇ２（ｐ，ｑ）の配列は、局所的な構造特徴が強調された画像情報を含む。第２領域抽出部３０４Ｂは、これら構造特徴量ｇ２（ｐ，ｑ）の配列の中から、局所的な構造特徴を表す領域を部分参照画像ＰＲ１〜ＰＲＭとして抽出することができる（ステップＳ１０７）。

外的要因による画素値のズレを補償するために、構造特徴量ｇ２（ｐ，ｑ）は、差分Δ２（ｐ，ｑ）を当該差分の統計的誤差ｓ２で除算した値（＝Δ２／ｓ２）であることが望ましい。統計的誤差は、例えば、標準偏差とすることができる。

上記第１および第２の近似平面は、重回帰分析の手法を適用して求めることができる。今、画素値ｆ（ｘ，ｙ）を、対象画像ＳＯの画素値ｆ１（ｘ，ｙ）または参照画像ＳＲのｆ２（ｘ，ｙ）を表すものとする。このとき、第１または第２の近似平面を表す関数は、変数ｘ，ｙの一次関数であるｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃ、で表現される。関数のパラメータａ，ｂ，ｃは、関数値ｚ（ｘ，ｙ）と画素値ｆ（ｘ，ｙ）との差の２乗を算出し、局所領域ΔＳ１またはΔＳ２内の全てのｘ，ｙについての当該２乗の合計が最小になるように定めることができる。

構造特徴量ｇ（ｐ，ｑ）は、次式（１）に従って算出することが可能である。

ここで、構造特徴量ｇ（ｐ，ｑ）は、上記ｇ１（ｐ，ｑ）またはｇ２（ｐ，ｑ）を表している。ｓは、局所領域ΔＳ１内の差分Δ１（ｘ，ｙ）の標準偏差、または局所領域ΔＳ２内の差分Δ２（ｘ，ｙ）の標準偏差である。

局所的な構造特徴を示す点は、構造特徴量が局所的に低い点とすることができる。例えば、構造特徴量の配列からなる画像上の注目画素について、注目画素を中心とする一定半径の円周上の構造特徴量の最小値と注目画素の構造特徴量と間の差分を算出し、その差分値がしきい値以上となる条件を満たす注目画素を特徴点としてもよい。これにより、例えば、顔画像の照合では、肌文様上のほくろやそばかすや毛穴などを特徴点として抽出することができる。

判定処理部３０５は、第１画像検出部３０６および第２画像検出部３０７を用いた判定処理を行う（ステップＳ１０８）。すなわち、第１画像検出部３０６は、部分対象画像ＰＯ１〜ＰＯＮの各々を着目画像とし、上記部分参照画像ＰＲ１〜ＰＲＭの集合Ｒｇから着目画像と最も類似する第１部分画像Ａｒを検出する（この処理を「第１画像検出処理」と称する）。次に、第２画像検出部３０７は、部分対象画像ＰＯ１〜ＰＯＮの集合Ｏｇから第１部分画像Ａｒと最も類似する第２部分画像Ａｏを検出する（この処理を「第２画像検出処理」と称する）。そして、判定処理部３０５は、着目画像が第２部分画像Ａｏと一致するか否かを判定し、その判定結果を画像照合部３０８に出力する（この処理を「判定処理」と称する。）。着目画像が第２部分画像Ａｏと一致すると判定したとき、判定処理部３０５は、更に、第２部分画像Ａｏに最も類似する第１部分画像Ａｒと着目画像との間の対応関係を画像対応テーブル２０２に記録する（この処理を「記録処理」と称する）。

以上の第１画像検出処理、第２画像検出処理、判定処理および記録処理は、部分対象画像ＰＯ１〜ＰＯＮの全てについて実行される。

図３は、判定処理のより具体的な手順の一例を示すフローチャートである。最初に、判定処理部３０５は、ステップＳ２０１を飛び越して、部分対象画像ＰＯ１〜ＰＯＮの集合Ｏｇから未処理の部分画像の１つを着目画像として選択する（ステップＳ２０２）。次に、第１画像検出部３０６は、部分参照画像ＰＲ１〜ＰＲＭの集合Ｒｇから、着目画像と座標位置が近い部分参照画像群（部分集合）Ｒｐｇを選択する（ステップＳ２０３）。更に、第１画像検出部３０６は、部分参照画像群Ｒｐｇの中から、着目画像と最も類似する第１部分画像Ａｒを検出する（ステップＳ２０４）。

その後、第２画像検出部３０７は、部分対象画像ＰＯ１〜ＰＯＮの集合Ｏｇから、第１部分画像Ａｒと座標位置が近い部分対象画像群Ｏｐｇを選択する（ステップＳ２０５）。更に、第２画像検出部３０７は、部分対象画像群Ｏｐｇの中から、第１部分画像Ａｒと最も類似する第２部分画像Ａｏを検出する（ステップＳ２０６）。

そして、判定処理部３０５は、着目画像が第２部分画像Ａｏと一致するか否かを判定し、その判定結果を画像照合部３０８に出力する（ステップＳ２０７）。着目画像が第２部分画像Ａｏと一致しないと判定したとき（ステップＳ２０７のＮＯ）、判定処理部３０５は、処理をステップＳ２０１に戻し、部分対象画像ＰＯ１〜ＰＯＮの全てについての照合処理が終了したか否かを判定する（ステップＳ２０１）。全てについての照合処理が終了していないと判定したとき（ステップＳ２０１のＮＯ）、判定処理部３０５は処理をステップＳ２０２に移行させ、全てについての照合処理が終了したと判定したとき（ステップＳ２０１のＹＥＳ）、判定処理部３０５は、以上の処理を終了させる。

一方、着目画像が第２部分画像Ａｏと一致すると判定したとき（ステップＳ２０７のＹＥＳ）、判定処理部３０５は、更に、第２部分画像Ａｏに最も類似する第１部分画像Ａｒと着目画像との間の対応関係を画像対応テーブル２０２に記録する（ステップＳ２０８）。その後、判定処理部３０５は、処理をステップＳ２０１に戻す。

第１画像検出部３０６は、着目画像と部分参照画像ＰＲ１〜ＰＲＭとの間の類似尺度として、着目画像の画素値分布と部分参照画像ＰＲ１〜ＰＲＭの画素値分布との間の統計的相関を表す値を算出し、これらの値を利用することができる。第２画像検出部３０７も、第１部分画像Ａｒと部分対象画像ＰＯ１〜ＰＯＮとの間の類似尺度として、第１部分画像Ａｒの画素値分布と部分対象画像ＰＯ１〜ＰＯＮの画素値分布との間の統計的相関を表す値を利用することができる。「統計的相関を表す値」としては相関係数が挙げられる。

ｉ番目の部分対象画像ＰＯｉとｊ番目の部分参照画像ＰＲｊとの間の類似尺度をｓ（ｉ，ｊ）で表すものとする。上記ステップＳ２０４（図３参照）において、着目画像である部分対象画像ＰＯｉと最も類似する部分参照画像ＰＲＪ（Ｊは１〜Ｍのいずれか）は、次式（２）に従って検出することが可能である。

この式は、類似尺度ｓ（ｉ，ｊ）の値を最大にする部分参照画像ＰＲｊの番号ｊ（＝Ｊ）を出力するものである。Ａ１は、部分参照画像群Ｒｐｇに属する部分参照画像の番号ｊの集合である。

類似尺度ｓ（ｉ，ｊ）が相関係数である場合、類似尺度ｓ（ｉ，ｊ）を次式（３）で表すことができる。

ここで、ａ，ｂは、部分対象画像または部分参照画像上に設定された局所座標位置である。ｇｉ（ａ，ｂ）は、部分対象画像ＰＯｉ内の局所座標位置（ａ，ｂ）の構造特徴量であり、ｇｊ（ａ，ｂ）は、部分参照画像ＰＲｊ内の局所座標位置（ａ，ｂ）の構造特徴量である。＜ｇｉ＞は、部分対象画像ＰＯｉ内の構造特徴量ｇｉ（ａ，ｂ）の平均値であり、＜ｇｊ＞は部分参照画像ＰＲｊ内の構造特徴量ｇｊ（ａ，ｂ）の平均値である。

あるいは、第１画像検出部３０６は、次のようにして類似尺度ｓ（ｉ，ｊ）を算出してもよい。第１画像検出部３０６は、着目画像ＰＯｉに含まれる局所的な構造特徴を示す点ｐ１（ｍ）と各部分参照画像ＰＲｊに含まれる局所的な構造特徴を示す点ｐ２（ｎ）との間のノルム（距離）||ｐ１（ｍ）−ｐ２（ｎ）||を算出する。そして、第１画像検出部３０６は、当該算出された距離が所定のしきい値（threshold）以下となる条件を満たす当該点の組み合わせ（ｐ１（ｍ），ｐ２（ｎ））の数を、着目画像ＰＯｉと各部分参照画像ＰＲｊとの間の類似尺度ｓ（ｉ，ｊ）として算出することができる。ここで、点ｐ１（ｍ）は、着目画像ＰＯｉ内の局所座標位置を表す位置ベクトル（ａｉ，ｂｉ）、点ｐ２（ｎ）は、部分参照画像ＰＲｊ内の局所座標位置を表す位置ベクトル（ａｊ，ｂｊ）である。

このとき、類似尺度ｓ（ｉ，ｊ）は次式（４）で与えられる。

ここで、Ｂｉは、着目画像ＰＯｉに含まれる局所的な構造特徴を示す点ｐ１（ｍ）の番号ｍの集合であり、Ｂｊは、部分参照画像ＰＲｊに含まれる局所的な構造特徴を示す点ｐ２（ｎ）の番号ｎの集合である。

第１画像検出部３０６は、Ｌ（ｍ，ｎ）を、次式（５）に従って算出すればよい。

この式は、点ｐ１（ｍ）と点ｐ２（ｎ）との間のノルム||ｐ１（ｍ）−ｐ２（ｎ）||がしきい値以下であれば、Ｌ（ｍ，ｎ）は「１」の値となり、それ以外のときはゼロの値となる。

第１画像検出部３０６と同様に、第２画像検出部３０７も、次のように処理すればよい。第２画像検出部３０７は、第１部分画像Ａｒに含まれる局所的な構造特徴を示す点と各部分対象画像に含まれる局所的な構造特徴を示す点との間の距離を算出する。そして、第２画像検出部３０７は、当該算出された距離が所定のしきい値以下となる条件を満たす当該点の組み合わせの数を、第１部分画像Ａｒと各部分対象画像との間の類似尺度として利用することができる。

類似尺度ｓ（ｉ，ｊ）として、例えば、上式（３）と式（４）とでそれぞれ求めた類似度を乗算した値を採用してもよい。

上記ステップＳ２０６（図３参照）においては、第１部分画像Ａｒ（＝ＰＲＪ）と最も類似する第２部分画像Ａｏ（＝ＰＯＫ）は、次式（６）に従って検出することが可能である。

ここで、Ａ２は、部分対象画像群Ｏｐｇに属する部分対象画像の番号ｋの集合である。

上記判定処理（図２のステップＳ１０８）が終了した後、画像照合部３０８は、画像対応テーブル２０２に記録された対応関係にある部分対象画像ＰＯｉと部分参照画像ＰＲｊとの間の類似尺度ｓ（ｉ，ｊ）を合計する。続いて、画像照合部３０８は、その合計値Ｓを照合度（照合スコア）として出力する（ステップＳ１０９）。合計値Ｓは、次式（７）に従って算出される。

ここで、集合Ｃは、画像対応テーブル２０２に記録された対応関係にある部分対象画像ＰＯｉと部分参照画像ＰＲｊとの組み合わせ（ｉ，ｊ）からなる。

図４および図５は、上記画像照合処理を説明するための特徴量空間を示す図である。それらの図に示される特徴量空間において、丸印は部分参照画像の集合Ｒｇに属する画像の特徴量を示し、四角印は部分対象画像の集合Ｏｇに属する画像の特徴量を示す。図４に示されるように、ｉ番目の部分対象画像ＰＯｉとｊ番目の部分参照画像ＰＲｊとが同一となる場合、部分対象画像ＰＯｉと検出された第１部分画像ＰＲｊとの間の差分は小さい。結果として、ステップＳ２０７（図３参照）において着目画像ＰＯｉと符合（ｉ＝ｋ）する第２部分画像ＰＯｋが検出される可能性が高い。

一方、図５に示されるように、部分対象画像と部分参照画像とが同一とならない場合、着目画像ＰＯｉと符合する部分参照画像が存在しないため、部分対象画像ＰＯｉと、検出された第１部分画像ＰＲｊとの間の差分は大きい。結果として、着目画像ＰＯｉと符合しない第２部分画像ＰＯｋが検出される可能性が高い。

上記の通り、本実施形態の画像照合装置３００は、たとえ、外的要因により局所的な構造特徴の位置や形状や輝度がずれたとしても、対象画像と参照画像とを高精度に照合することが可能である。また、実質的に被照合対象を、局所的な構造特徴を含む部分対象画像ＰＯ１〜ＰＯＮと、局所的な構造特徴を含む部分参照画像ＰＲ１〜ＰＲＭとに限定しているので、比較的小さな演算量で照合処理を行うことが可能である。

次に、上記実施形態の変形例を説明する。図６は、変形例に係る画像照合装置３００による処理手順を概略的に示すフローチャートである。図６のフローチャートは、ステップＳ１０８とステップＳ１０９との間にステップＳ１１０を有する点を除いて、図２のフローチャートと同じである。

ステップＳ１１０では、画像照合部３０８は、画像対応テーブル２０２に記録された対応関係にある部分対象画像と部分参照画像との間の類似尺度ｓ（ｉ，ｊ）に対してそれぞれ対応する係数ｗ（ｉ，ｊ）を重み付けする。そして、画像照合部３０８は、当該重み付けされた類似尺度ｗ（ｉ，ｊ）・ｓ（ｉ，ｊ）を合計し、その合計値Ｓを照合度（照合スコア）として出力する（ステップＳ１０９）。

係数ｗ（ｉ，ｊ）は、各部分対象画像に含まれる局所的な構造特徴を示す点ｐ１（ｍ）と、各部分参照画像に含まれる局所的な構造特徴を示す点ｐ２（ｎ）の組み合わせのうち、次に述べる二つの条件を同時に満たす組み合わせの数である。一つめの条件は、当該点ｐ１（ｍ）とｐ２（ｎ）の間の距離が所定のしきい値より小さいことである。二つ目の条件は、当該点の組み合わせが、画像対応テーブル２０２に記録された対応関係にあることである。この係数ｗ（ｉ，ｊ）は、次式（８）で表すことが可能である。

ここで、Ｌ（ｍ，ｎ）は、次式（９）に従って算出される。

したがって、照合スコアＳは、次式（１０）に従って算出されることとなる。

この変形例によれば、上式（８）の集合Ｄｉと集合Ｄｊに含まれる特徴点は、判定処理部３０５で安定して対応すると判定された部分画像の組み合わせに対応するため、抽出や対応が不安定な特徴点の影響を除外することができる。したがって、より高精度に照合することが可能となる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、上記実施形態では、第１画像抽出部３０１Ａと第２画像抽出部３０１Ｂとは分離しているが、これら機能ブロックの代わりに、第１の対象領域画像と第２の対象領域画像とを順に生成する単一の画像抽出部が使用されてもよい。このように、分離した構成を用いる代わりに組み合わせの構成を用いてもよいのは、第１特徴量算出部３０３Ａと第２特徴量算出部３０３Ｂの組み合わせや、第１領域抽出部３０４Ａと第２領域抽出部３０４Ｂの組み合わせについても同様である。

また、上記実施形態の画像照合装置は、生体情報を用いた本人認証装置といった用途だけでなく、画像群から特定の人物の画像を探し出す画像検索装置といった用途に適用できる。

本発明の効果の一例を説明する。本発明による画像照合装置、画像照合方法および画像照合用プログラムは、局所的な構造特徴を含む１以上の部分対象画像が対象画像から抽出され、局所的な構造特徴を含む１以上の部分参照画像が各参照画像から抽出される。これら部分対象画像の各々を着目画像として、部分参照画像の集合から着目画像と最も類似する第１部分画像が検出され、更に、部分対象画像の集合から第１部分画像と最も類似する第２部分画像が検出される。画像照合装置、画像照合方法および画像照合用プログラムは、この着目画像が第２部分画像と一致するか否かを判定するので、その判定結果を用いて、部分対象画像と符合する部分参照画像を矛盾無く見つけ出すことができる。したがって、たとえ、外的要因により局所的な構造特徴の位置や形状や輝度がずれたとしても、対象画像と参照画像とを高精度に照合することが可能である。

また、実質的に被照合対象を、局所的な構造特徴を含む部分対象画像と、局所的な構造特徴を含む部分参照画像とに限定しているので、比較的小さな演算量で照合処理を行うことが可能である。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００８年４月２４日に出願された日本出願の特願２００８−１１４３９５の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。

Claims (60)

1. 対象画像を１以上の参照画像と照合する画像照合装置であって、
   局所的な構造特徴を含む１以上の部分対象画像を前記対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を前記各参照画像から抽出する特徴画像抽出部と、
   前記部分対象画像の各々を着目画像とし、前記部分参照画像の集合から前記着目画像と最も類似する第１部分画像を検出する第１画像検出部と、
   前記部分対象画像の集合から前記第１部分画像と最も類似する第２部分画像を検出する第２画像検出部と、
   前記着目画像が前記第２部分画像と一致するか否かを判定し、その判定結果を出力する判定処理部と、
   を有する画像照合装置。
2. 請求の範囲第１項記載の画像照合装置であって、
   前記対象画像は画素値の２次元配列からなり、
   前記特徴画像抽出部は、
   前記対象画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第１の近似平面を決定し、前記局所領域内の画素値とこれに対応する前記第１の近似平面の値との間の第１の差分に比例する値を前記対象画像に関する構造特徴量として算出する特徴量算出部と、
   前記対象画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分対象画像として抽出する領域抽出部と、
   を含む、画像照合装置。
3. 請求の範囲第２項記載の画像照合装置であって、
   前記特徴量算出部は、前記対象画像の各画素について前記局所領域内の全ての画素値に関する前記第１の差分の統計的誤差を算出し、前記第１の差分を当該第１の差分の統計的誤差で除算することにより前記対象画像に関する構造特徴量を算出する、画像照合装置。
4. 請求の範囲第３項記載の画像照合装置であって、前記第１の差分の統計的誤差は標準偏差である、画像照合装置。
5. 請求の範囲第２項から第４項のうちのいずれか１項に記載の画像照合装置であって、
   前記参照画像は画素値の２次元配列からなり、
   前記特徴量算出部は、前記参照画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第２の近似平面を決定し、前記局所領域内の画素値とこれに対応する前記第２の近似平面の値との間の第２の差分に比例する値を前記参照画像に関する構造特徴量として算出するものであり、
   前記領域抽出部は、前記参照画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分参照画像として抽出する、画像照合装置。
6. 請求の範囲第５項記載の画像照合装置であって、
   前記特徴量算出部は、前記参照画像の各画素について前記局所領域内の全ての画素値に関する前記第２の差分の統計的誤差を算出し、前記第２の差分を当該第２の差分の統計的誤差で除算することにより前記参照画像に関する構造特徴量を算出する、画像照合装置。
7. 請求の範囲第６項記載の画像照合装置であって、前記第２の差分の統計的誤差は標準偏差である、画像照合装置。
8. 請求の範囲第１項から第７項のうちのいずれか１項に記載の画像照合装置であって、
   前記第１画像検出部は、前記着目画像と前記部分参照画像との間の類似尺度として、前記着目画像の画素値分布と前記部分参照画像の画素値分布との間の統計的相関を表す値を算出する、画像照合装置。
9. 請求の範囲第８項記載の画像照合装置であって、
   前記第２画像検出部は、前記第１部分画像と前記部分対象画像との間の類似尺度として、前記第１部分画像の画素値分布と前記部分対象画像の画素値分布との間の統計的相関を表す値を利用する、画像照合装置。
10. 請求の範囲第８項または第９項記載の画像照合装置であって、前記統計的相関を表す値は相関係数である、画像照合装置。
11. 請求の範囲第８項から第１０項のうちのいずれか１項に記載の画像照合装置であって、
    前記部分対象画像の全てについて前記判定処理部により与えられた判定結果に基づいて、前記対象画像と前記各参照画像との間の照合度を算出する画像照合部をさらに有し、
    前記判定処理部は、前記着目画像が前記第２部分画像と一致すると判定したとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記画像照合部は、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記照合度として出力する、画像照合装置。
12. 請求の範囲第１項から第７項のうちのいずれか１項に記載の画像照合装置であって、
    前記第１画像検出部は、前記着目画像に含まれる前記局所的な構造特徴を示す第１の点と前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離を算出し、当該算出された距離が所定のしきい値以下となる条件を満たす当該第１および第２の点の組み合わせの数を、前記着目画像と前記各部分参照画像との間の類似尺度として算出する、画像照合装置。
13. 請求の範囲第１２項記載の画像照合装置であって、
    前記第２画像検出部は、前記第１部分画像に含まれる前記局所的な構造特徴を示す第３の点と前記各部分対象画像に含まれる前記局所的な構造特徴を示す第４の点との間の距離を算出し、当該算出された距離が所定のしきい値以下となる条件を満たす当該第３および第４の点の組み合わせの数を、前記第１部分画像と前記各部分対象画像との間の類似尺度として利用する、画像照合装置。
14. 請求の範囲第１２項または第１３項記載の画像照合装置であって、
    前記部分対象画像の全てについて前記判定処理部により与えられた判定結果に基づいて、前記対象画像と前記各参照画像との間の照合度を算出する画像照合部をさらに有し、
    前記判定処理部は、前記着目画像が前記第２部分画像と一致すると判定したとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記画像照合部は、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記照合度として出力する、画像照合装置。
15. 請求の範囲第８項から第１０項のうちのいずれか１項に記載の画像照合装置であって、
    前記部分対象画像の全てについて前記判定処理部により与えられた判定結果に基づいて、前記対象画像と前記各参照画像との間の照合度を算出する画像照合部をさらに有し、
    前記判定処理部は、前記着目画像が前記第２部分画像と一致すると判定したとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記画像照合部は、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度に対してそれぞれ対応する係数を重み付け、当該重み付けされた類似尺度を合計し、その合計値を前記照合度として出力するものであり、
    前記係数は、前記各部分対象画像に含まれる前記局所的な構造特徴を示す第１の点と、前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離が所定のしきい値以下となる条件を満たし、更に前記画像対応テーブルに記録された対応関係にある当該第１および第２の点の組み合わせの数である、画像照合装置。
16. 請求の範囲第１項から第１５項のうちのいずれか１項に記載の画像照合装置であって、前記局所的な構造特徴は、画素値が局所的に低い点である、画像照合装置。
17. 請求の範囲第１６項記載の画像照合装置であって、前記局所的な構造特徴は、顔の肌文様に現れた、ほくろ、しみ、そばかす、毛穴および肌の凹凸の中から選択された少なくとも１つである、画像照合装置。
18. 請求の範囲第１項から第１７項のうちのいずれか１項に記載の画像照合装置であって、
    入力画像から第１の対象領域画像を抽出し、前記第１の対象領域画像の大域的な構造特徴に基づいて、当該第１の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記対象画像を生成する被照合画像抽出部をさらに有する画像照合装置。
19. 請求の範囲第１８項記載の画像照合装置であって、
    前記被照合画像抽出部は、登録画像から第２の対象領域画像を抽出し、前記第２の対象領域画像の大域的な構造特徴に基づいて、当該第２の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記参照画像を生成する、画像照合装置。
20. 請求の範囲第１８項または第１９項記載の画像照合装置であって、前記大域的な構造特徴が顔の肌文様に現れた特徴である、画像照合装置。
21. 対象画像を１以上の参照画像と照合する画像照合方法であって、
    局所的な構造特徴を含む１以上の部分対象画像を前記対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を前記各参照画像から抽出する特徴画像抽出処理を行い、
    前記部分対象画像の各々を着目画像とし、前記部分参照画像の集合から前記着目画像と最も類似する第１部分画像を検出する第１画像検出処理を行い、
    前記部分対象画像の集合から前記第１部分画像と最も類似する第２部分画像を検出する第２画像検出処理を行い、
    前記着目画像が前記第２部分画像と一致するか否かを判定し、その判定結果を出力する判定処理を行う、画像照合方法。
22. 請求の範囲第２１項記載の画像照合方法であって、
    前記対象画像は画素値の２次元配列からなり、
    前記特徴画像抽出処理は、
    前記対象画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第１の近似平面を決定し、前記局所領域内の画素値とこれに対応する前記第１の近似平面の値との間の第１の差分に比例する値を前記対象画像に関する構造特徴量として算出し、
    前記対象画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分対象画像として抽出する処理を含む、画像照合方法。
23. 請求の範囲第２２項記載の画像照合方法であって、
    前記対象画像に関する構造特徴量は、前記対象画像の各画素について前記局所領域内の全ての画素値に関する前記第１の差分の統計的誤差を算出し、前記第１の差分を当該第１の差分の統計的誤差で除算することにより算出される、画像照合方法。
24. 請求の範囲第２３項記載の画像照合方法であって、前記第１の差分の統計的誤差は標準偏差である、画像照合方法。
25. 請求の範囲第２１項から第２４項のうちのいずれか１項に記載の画像照合方法であって、
    前記参照画像は画素値の２次元配列からなり、
    前記特徴画像抽出処理は、
    前記参照画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第２の近似平面を決定し、前記局所領域内の画素値とこれに対応する前記第２の近似平面の値との間の第２の差分に比例する値を前記参照画像に関する構造特徴量として算出し、
    前記参照画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分参照画像として抽出する処理を含む、画像照合方法。
26. 請求の範囲第２５項記載の画像照合方法であって、
    前記参照画像に関する構造特徴量は、前記参照画像の各画素について前記局所領域内の全ての画素値に関する前記第２の差分の統計的誤差を算出し、前記第２の差分を当該第２の差分の統計的誤差で除算することにより算出される、画像照合方法。
27. 請求の範囲第２６項記載の画像照合方法であって、前記第２の差分の統計的誤差は標準偏差である、画像照合方法。
28. 請求の範囲第２１項から第２７項のうちのいずれか１項に記載の画像照合方法であって、
    前記第１画像検出処理は、前記着目画像と前記部分参照画像との間の類似尺度として、前記着目画像の画素値分布と前記部分参照画像の画素値分布との間の統計的相関を表す値を算出する処理を含む、画像照合方法。
29. 請求の範囲第２８項記載の画像照合方法であって、
    前記第２画像検出処理は、前記第１部分画像と前記部分対象画像との間の類似尺度として、前記第１部分画像の画素値分布と前記部分対象画像の画素値分布との間の統計的相関を表す値を利用する処理を含む、画像照合方法。
30. 請求の範囲第２８項または第２９項記載の画像照合方法であって、前記統計的相関を表す値は相関係数である、画像照合方法。
31. 請求の範囲第２８項から第３０項のうちのいずれか１項に記載の画像照合方法であって、
    前記判定処理で前記着目画像が前記第２部分画像と一致すると判定されたとき、さらに、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、さらに、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記対象画像と前記各参照画像との間の照合度として出力する、画像照合方法。
32. 請求の範囲第２１から第２７項のうちのいずれか１項に記載の画像照合方法であって、
    前記第１画像検出処理は、
    前記着目画像に含まれる前記局所的な構造特徴を示す第１の点と前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離を算出し、
    当該算出された距離が所定のしきい値以下となる条件を満たす当該第１および第２の点の組み合わせの数を、前記着目画像と前記各部分参照画像との間の類似尺度として算出する処理を含む、画像照合方法。
33. 請求の範囲第３２項記載の画像照合方法であって、
    前記第２画像検出処理は、
    前記第１部分画像に含まれる前記局所的な構造特徴を示す第３の点と前記各部分対象画像に含まれる前記局所的な構造特徴を示す第４の点との間の距離を算出し、
    当該算出された距離が所定のしきい値以下となる条件を満たす当該第３および第４の点の組み合わせの数を、前記第１部分画像と前記各部分対象画像との間の類似尺度として利用する処理を含む、画像照合方法。
34. 請求の範囲第３２項または第３３項記載の画像照合方法であって、
    前記判定処理で前記着目画像が前記第２部分画像と一致すると判定されたとき、さらに、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、さらに、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記照合度として出力する、画像照合方法。
35. 請求の範囲第２８項から第３０項のうちのいずれか１項に記載の画像照合方法であって、
    前記判定処理で前記着目画像が前記第２部分画像と一致すると判定されたとき、さらに、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録し、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、さらに、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度に対してそれぞれ対応する係数を重み付け、当該重み付けされた類似尺度を合計し、その合計値を前記照合度として出力し、
    前記係数は、前記各部分対象画像に含まれる前記局所的な構造特徴を示す第１の点と、前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離が所定のしきい値以下となる条件を満たし、更に前記画像対応テーブルに記録された対応関係にある当該第１および第２の点の組み合わせの数である、画像照合方法。
36. 請求の範囲第２１項から第３５項のうちのいずれか１項に記載の画像照合方法であって、前記局所的な構造特徴は、画素値が局所的に低い点である、画像照合方法。
37. 請求の範囲第３６項記載の画像照合方法であって、前記局所的な構造特徴は、顔の肌文様に現れた、ほくろ、しみ、そばかす、毛穴および肌の凹凸の中から選択された少なくとも１つである、画像照合方法。
38. 請求の範囲第２１項から第３７項のうちのいずれか１項に記載の画像照合方法であって、
    さらに、入力画像から第１の対象領域画像を抽出し、前記第１の対象領域画像の大域的な構造特徴に基づいて、当該第１の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記対象画像を生成する、画像照合方法。
39. 請求の範囲第３８項記載の画像照合方法であって、
    さらに、登録画像から第２の対象領域画像を抽出し、前記第２の対象領域画像の大域的な構造特徴に基づいて、当該第２の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記参照画像を生成する、画像照合方法。
40. 請求の範囲第３８項または第３９項記載の画像照合方法であって、前記大域的な構造特徴が顔の肌文様に現れた特徴である、画像照合方法。
41. 対象画像を１以上の参照画像と照合する処理をコンピュータに実行させる画像照合用プログラムであって、
    局所的な構造特徴を含む１以上の部分対象画像を前記対象画像から抽出するとともに、局所的な構造特徴を含む１以上の部分参照画像を前記各参照画像から抽出する特徴画像抽出処理と、
    前記部分対象画像の各々を着目画像とし、前記部分参照画像の集合から前記着目画像と最も類似する第１部分画像を検出する第１画像検出処理と、
    前記部分対象画像の集合から前記第１部分画像と最も類似する第２部分画像を検出する第２画像検出処理と、
    前記着目画像が前記第２部分画像と一致するか否かを判定し、その判定結果を与える判定処理と、
    を有する画像照合用プログラム。
42. 請求の範囲第４１項記載の画像照合用プログラムであって、
    前記対象画像は画素値の２次元配列からなり、
    前記特徴画像抽出処理は、
    前記対象画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第１の近似平面を決定し、前記局所領域内の画素値とこれに対応する前記第１の近似平面の値との間の第１の差分に比例する値を前記対象画像に関する構造特徴量として算出する第１特徴量算出処理と、
    前記対象画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分対象画像として抽出する第２領域抽出処理と、
    を含む、画像照合用プログラム。
43. 請求の範囲第４２項記載の画像照合用プログラムであって、
    前記対象画像に関する構造特徴量は、前記対象画像の各画素について前記局所領域内の全ての画素値に関する前記第１の差分の統計的誤差を算出し、前記第１の差分を当該第１の差分の統計的誤差で除算することにより算出される、画像照合用プログラム。
44. 請求の範囲第４３項記載の画像照合用プログラムであって、前記第１の差分の統計的誤差は標準偏差である、画像照合用プログラム。
45. 請求の範囲第４１項から第４４項のうちのいずれか１項に記載の画像照合用プログラムであって、
    前記参照画像は画素値の２次元配列からなり、
    前記特徴画像抽出処理は、
    前記参照画像の各画素を着目画素とし、当該着目画素を含む局所領域内の画素値の集合を近似的に表す関数である第２の近似平面を決定し、前記参照画像の画素値とこれに対応する前記第２の近似平面の値との間の第２の差分に比例する値を前記参照画像に関する構造特徴量として算出する第２特徴量算出処理と、
    前記参照画像に関する構造特徴量の配列の中から前記局所的な構造特徴を表す領域を前記部分参照画像として抽出する第２領域抽出処理と、
    を含む、画像照合用プログラム。
46. 請求の範囲第４５項記載の画像照合用プログラムであって、
    前記参照画像に関する構造特徴量は、前記参照画像の各画素について前記局所領域内の全ての画素値に関する前記第２の差分の統計的誤差を算出し、前記第２の差分を当該第２の差分の統計的誤差で除算することにより算出される、画像照合用プログラム。
47. 請求の範囲第４６項記載の画像照合用プログラムであって、前記第２の差分の統計的誤差は標準偏差である、画像照合用プログラム。
48. 請求の範囲第４１項から第４７項のうちのいずれか１項に記載の画像照合用プログラムであって、
    前記第１画像検出処理は、前記着目画像と前記部分参照画像との間の類似尺度として、前記着目画像の画素値分布と前記部分参照画像の画素値分布との間の統計的相関を表す値を算出する処理を含む、画像照合用プログラム。
49. 請求の範囲第４８項記載の画像照合用プログラムであって、
    前記第２画像検出処理は、前記第１部分画像と前記部分対象画像との間の類似尺度として、前記第１部分画像の画素値分布と前記部分対象画像の画素値分布との間の統計的相関を表す値を利用する処理を含む、画像照合用プログラム。
50. 請求の範囲第４８項または第４９項記載の画像照合用プログラムであって、前記統計的相関を表す値は相関係数である、画像照合用プログラム。
51. 請求の範囲第４８から第５０項のうちのいずれか１項に記載の画像照合用プログラムであって、
    前記判定処理により前記着目画像が前記第２部分画像と一致すると判定されたとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録する処理と、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記対象画像と前記各参照画像との間の照合度として出力する処理と、
    をさらに有する、画像照合用プログラム。
52. 請求の範囲第４１項から第４７項のうちのいずれか１項に記載の画像照合用プログラムであって、
    前記第１画像検出処理は、前記着目画像に含まれる前記局所的な構造特徴を示す第１の点と前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離を算出し、当該算出された距離が所定のしきい値以下となる条件を満たす当該第１および第２の点の組み合わせの数を、前記着目画像と前記各部分参照画像との間の類似尺度として算出する処理を含む、画像照合用プログラム。
53. 請求の範囲第５２項記載の画像照合用プログラムであって、
    前記第２画像検出処理は、前記第１部分画像に含まれる前記局所的な構造特徴を示す第３の点と前記各部分対象画像に含まれる前記局所的な構造特徴を示す第４の点との間の距離を算出し、当該算出された距離が所定のしきい値以下となる条件を満たす当該第３および第４の点の組み合わせの数を、前記第１部分画像と前記各部分対象画像との間の類似尺度として利用する処理を含む、画像照合用プログラム。
54. 請求の範囲第５２項または第５３項記載の画像照合用プログラムであって、
    前記判定処理により前記着目画像が前記第２部分画像と一致すると判定されたとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録する処理と、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度を合計し、その合計値を前記照合度として出力する処理と、
    をさらに有する、画像照合用プログラム。
55. 請求の範囲第４８項から第５０項のうちのいずれか１項に記載の画像照合用プログラムであって、
    前記判定処理により前記着目画像が前記第２部分画像と一致すると判定されたとき、前記着目画像と前記第２部分画像に最も類似する第１部分画像との間の対応関係を画像対応テーブルに記録する処理と、
    前記部分対象画像の全てについて前記判定結果が与えられたとき、前記画像対応テーブルに記録された対応関係にある前記部分対象画像と前記部分参照画像との間の前記類似尺度に対してそれぞれ対応する係数を重み付け、当該重み付けされた類似尺度を合計し、その合計値を前記照合度として出力する処理と、
    をさらに有し、
    前記係数は、前記各部分対象画像に含まれる前記局所的な構造特徴を示す第１の点と、前記各部分参照画像に含まれる前記局所的な構造特徴を示す第２の点との間の距離が所定のしきい値以下となる条件を満たし、更に前記画像対応テーブルに記録された対応関係にある当該第１および第２の点の組み合わせの数である、画像照合用プログラム。
56. 請求の範囲第４１項から第５５項のうちのいずれか１項に記載の画像照合用プログラムであって、前記局所的な構造特徴は、画素値が局所的に低い点である、画像照合用プログラム。
57. 請求の範囲第５６項記載の画像照合用プログラムであって、前記局所的な構造特徴は、顔の肌文様に現れた、ほくろ、しみ、そばかす、毛穴および肌の凹凸の中から選択された少なくとも１つである、画像照合用プログラム。
58. 請求の範囲第４１項から第５７項のうちのいずれか１項に記載の画像照合用プログラムであって、
    入力画像から第１の対象領域画像を抽出し、前記第１の対象領域画像の大域的な構造特徴に基づいて、当該第１の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記対象画像を生成する第１画像抽出処理をさらに有する、画像照合用プログラム。
59. 請求の範囲第５８項記載の画像照合用プログラムであって、
    登録画像から第２の対象領域画像を抽出し、前記第２の対象領域画像の大域的な構造特徴に基づいて、当該第２の対象領域画像内の被写体画像の位置調整、回転、拡大および縮小のうち少なくとも１つを実行して前記参照画像を生成する第２画像抽出処理をさらに有する、画像照合用プログラム。
60. 請求の範囲第５８項または第５９項記載の画像照合用プログラムであって、前記大域的な構造特徴が顔の肌文様に現れた特徴である、画像照合用プログラム。

Images