JP4068889B2

JP4068889B2 - 複合照合装置

Info

Publication number: JP4068889B2
Application number: JP2002129340A
Authority: JP
Inventors: 正宏岩崎; 健司長尾; 啓介早田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-09-25
Filing date: 2002-04-30
Publication date: 2008-03-26
Anticipated expiration: 2022-04-30
Also published as: JP2003173444A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力顔画像およびアイリス領域画像と、サンプルの入力顔画像およびアイリス領域画像との一致を調べる複合照合装置に関する。
【０００２】
【従来の技術】
入力パターンから特定のパラメタを抽出する処理は、パターン情報処理において非常に一般的な処理である。例えば、人物顔画像から目や鼻の位置を取り出す処理や、車両画像からナンバープレートの位置を抽出する処理である。
【０００３】
従来、このような処理に対して最も一般的な方法は、以下に要約されるような照合フィルター法と言われるもので、非常に多くの使用例が提案されている。顔の特徴抽出方法を例に、図１７を用いて説明する。
【０００４】
図１７のフローチャートに示すように、まず目や鼻の部分のテンプレートをテンプレートデータベース１６０１に用意しておく。テンプレートデータベース１６０１には図１８に示すように目のテンプレート１７０１が複数格納される。
【０００５】
まず、カメラから入力画像が与えられると（Ｓ８１）、テンプレートデータベース１６０１から１つのテンプレート画像１７０１を得る（Ｓ８２）。次に、図１９に示すように、入力画像２００１を探索窓２００２で探索し、探索窓２００２内画像とテンプレート１７０１との類似度を求める（Ｓ８３）。類似度の算出には、探索窓２００２内の画像とテンプレート１７０１との正規化相関などを用いることが多い。
【０００６】
そして、この処理を入力画像２００１全体について行ったか判断し（Ｓ８４）、入力画像２００１全体について行うまで、入力画像２００１を探索窓２００２でスキャンし（Ｓ８５）、Ｓ８３の処理を行う。
【０００７】
次に、テンプレートデータベース１６０１に含まれる全てのテンプレート１７０１について、上述した探索を行ったか判断し（Ｓ８６）、全てのテンプレート１７０１について処理を行っていない場合は、処理対象のテンプレート１７０１を変更し（Ｓ８７）、Ｓ８３の処理に移行し、全てのテンプレートに対してＳ８３〜Ｓ８７の処理をする。
【０００８】
次に、Ｓ８３〜Ｓ８７の処理によって求めた探索窓２００２内画像とテンプレート１７０１の類似度をもとに、入力画像２００１からもっともテンプレート１７０１に類似した局所エリア（探索窓２００２領域）位置を見出し、その局所エリアに対応する位置を出力する（Ｓ８８）。
【０００９】
このような方法に基づく方法の一例が文献、Ｒ．Ｂｒｕｎｅｌｌｉ，Ｔ．Ｐｏｇｇｉｏ，“ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ：ＦｅａｔｕｒｅｓｖｅｒｓｕｓＴｅｍｐｌａｔｅ”，ＩＥＥＥＴｒａｎｓ．Ｐａｔｔ．Ａｎａｌ．ＭａｃｈｉｎｅＩｎｔｅｌｌ．，ｖｏｌ．ＰＡＭＩ−８，ｐｐ．３４−４３，１９９３、に詳しく報告されている。
【００１０】
【発明が解決しようとする課題】
上記のような従来方法における課題は、コンピュータの処理コストである。探索対象とする入力画像のサイズをＳ、テンプレートサイズをＴとし、正規化相関を類似度基準とする場合、時間計算量は乗算を単位演算とすると２×Ｔ×Ｓ回の演算回数を必要とする。例えば、典型的な顔画像の特徴点抽出問題では、Ｔ＝５０×２０＝１０００（ｐｅｌ）、Ｓ＝１５０×１５０＝２２５００（ｐｅｌ）の場合を考えてみても、乗算だけで２×１０００×２２５００＝４５×１００万回＝４５００万回となり、いくらコンピュータの演算速度が向上したといえ、莫大な演算コストを要するものとなる。
【００１１】
また、処理に用いるテンプレートは、全学習データの平均等の典型的データを用いるものが多く、環境よって照合がうまくいかない場合が多い。このため入力パターンに応じてテンプレートを複数用意して、複数のテンプレートによる類似度計算を行う手法がある。しかしながら、テンプレートの数に応じて処理数が増大するため、コンピュータの処理コストからみても負荷が大きいものになってしまう。
【００１２】
本発明は、少ない処理コストで入力データの特徴点を正確に求めることを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、サンプルのデータとこのデータ内における特徴点の位置との相関を予め学習しておき、この学習により求めた相関を用いて、入力されたデータの特徴点がどこであるかを推定するようにしたものである。
【００１４】
同じ種類のデータと、このデータ内における特徴点とは、一定の相関があるので、この相関を用いることで、データの特徴点がどこであるかを少ない処理コストで、かつ正確に求めることができる。
【００１５】
【発明の実施の形態】
本発明の第１の態様にかかる複合照合装置は、サンプルとなるサンプル顔画像を入力するサンプル顔画像入力手段と、前記サンプル顔画像の特徴点を入力する特徴点入力手段と、新たに前記特徴点を推定する照合対象顔画像を入力する照合顔画像入力手段と、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と前記サンプル顔画像と前記特徴点との顔画像相互相関情報を前記顔画像分布毎に求める顔画像学習手段と、前記顔画像分布毎に求めた前記顔画像自己相関情報と前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定する顔画像パラメタ推定手段と、前記推定した前記照合対象顔画像の前記特徴点を用いて前記照合対象画像内の特徴を表す部分領域を決定する部分領域決定手段と、サンプルとなるサンプル眼領域画像を入力するサンプル眼画像入力手段と、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力する眼画像パラメタ入力手段と、アイリスの輪郭を推定する眼領域画像を入力する眼画像入力手段と、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼領域画像の眼画像自己相関情報と前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報を前記眼画像分布毎に求める眼画像学習手段と、前記分布毎に求めた前記眼画像自己相関情報と前記眼画像相互相関情報を用いて前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定する眼画像パラメタ推定手段と、前記推定した前記点の集合を用いて前記眼領域画像から照合対象アイリス領域画像を推定するアイリス推定手段と、推定した前記部分顔画像領域を用いて前記照合対象顔画像と、推定した前記照合対象アイリス領域画像が、あらかじめ登録された前記サンプル顔画像およびサンプルアイリス画像と一致するかを複合的に照合する照合手段とを具備した構成を採る。
【００１６】
これにより、抽出した部分領域顔画像およびアイリス領域画像を用いて、あらかじめ登録したデータベースの画像と照合対象画像と複合的に照合することによって、顔画像のみの場合やアイリス画像のみの場合に比べてより頑健かつ高精度な照合を行うことができる。
【００１７】
本発明の第２の態様は、第１の態様にかかる複合照合装置において、眼画像入力手段は、前記推定した前記照合対象顔画像の特徴点を用いて、前記照合対象顔画像から前記眼領域画像を抽出するものである。
【００１８】
このように、推定した特徴点を用いて、眼領域画像を抽出することで、正確にアイリス照合を行うための眼画像領域画像を抽出できる。
【００１９】
本発明の第３の態様は、第１の態様または第２の態様にかかる複合照合装置において、前記顔画像学習手段は、前記サンプル顔画像をベクトル化した第１の教示ベクトルおよび前記サンプル顔画像の特徴点をベクトル化した第２の教示ベクトルの顔画像合成ベクトルを構成し、前記顔画像合成ベクトルの複数の顔画像要素分布を集合した顔画像混合分布モデルを推定し、前記顔画像要素分布毎に属する前記顔画像自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記顔画像相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、前記顔画像パラメタ推定手段は、前記顔画像要素分布毎に属する前記顔画像自己相関情報および前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定し、前記眼画像学習手段は、前記サンプル眼領域画像をベクトル化した第３の教示ベクトルおよび前記アイリス領域を形成する前記点の集合をベクトル化した第４の教示ベクトルの眼画像合成ベクトルを構成し、前記眼画像合成ベクトルの複数の眼画像要素分布を集合した眼画像混合分布モデルを推定し、前記眼画像要素分布毎に属する前記眼画像自己相関情報を前記第３の教示ベクトルの共分散行列を求めることで求め、前記眼画像相互相関情報を前記第３の教示ベクトルと前記第４の教示ベクトルとの共分散行列を求めることで求め、前記眼画像パラメタ推定手段は、前記眼画像要素分布毎に属する前記眼画像自己相関情報および前記眼画像相互相関情報を用いて前記アイリス領域を構成する前記点の集合を推定する。
【００２０】
これにより、単純に行列演算だけ、つまり乗算だけで顔画像相互相関情報および眼画像相互相関情報が求められる。
【００２１】
本発明の第４の態様は、サンプルとなるサンプル顔画像を入力するステップと、前記サンプル顔画像の特徴点を入力するステップと、新たに前記特徴点を推定する照合対象顔画像を入力するステップと、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と前記サンプル顔画像と前記特徴点との顔画像相互相関情報を前記顔画像分布毎に求めるステップと、前記顔画像分布毎に求めた前記顔画像自己相関情報と前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて前記照合対象画像内の特徴を表す部分領域を決定するステップと、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する眼領域画像を入力するステップと、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼領域画像の眼画像自己相関情報と前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報を前記眼画像分布毎に求めるステップと、前記分布毎に求めた前記眼画像自己相関情報と前記眼画像相互相関情報を用いて前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて前記眼領域画像から照合対象アイリス領域画像を推定するステップと、推定した前記部分顔画像領域を用いて前記照合対象顔画像と、推定した前記照合対象アイリス領域画像が、あらかじめ登録された前記サンプル顔画像およびサンプルアイリス画像と一致するかを複合的に照合するステップとを具備したことを特徴とする複合照合方法である。
【００２２】
本発明の第５の態様は、コンピュータに、サンプルとなるサンプル顔画像を入力するステップと、前記サンプル顔画像の特徴点を入力するステップと、新たに前記特徴点を推定する照合対象顔画像を入力するステップと、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と前記サンプル顔画像と前記特徴点との顔画像相互相関情報を前記顔画像分布毎に求めるステップと、前記顔画像分布毎に求めた前記顔画像自己相関情報と前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて前記照合対象画像内の特徴を表す部分領域を決定するステップと、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する眼領域画像を入力するステップと、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼領域画像の眼画像自己相関情報と前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報を前記眼画像分布毎に求めるステップと、前記分布毎に求めた前記眼画像自己相関情報と前記眼画像相互相関情報を用いて前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて前記眼領域画像から照合対象アイリス領域画像を推定するステップと、推定した前記部分顔画像領域を用いて前記照合対象顔画像と、推定した前記照合対象アイリス領域画像が、あらかじめ登録された前記サンプル顔画像およびサンプルアイリス画像と一致するかを複合的に照合するステップとを行わせることを特徴としたプログラムである。
【００２３】
（実施の形態１）
本発明の実施の形態１では、パラメタ推定装置を顔画像照合装置に応用した場合について説明する。
【００２４】
図１は、本発明の実施の形態１における顔画像照合装置のブロック図である。実施の形態１にかかる顔画像照合装置１００は、コンピュータシステム１７で実現したものである。
【００２５】
図１において、コンピュータシステム１７には、人物の顔画像を直接撮影しコンピュータシステム１７に画像を入力するためのビデオカメラ（カメラ）１が接続されている。また、コンピュータシステム１７には、システムコンソールとしてのディスプレイ８と、画像パターン情報など大規模なデータを保存するための二次記憶装置（ハードディスクや光磁気ディスクなど）９と、ディスプレイ８上で推定の対象となる固有なパラメタである特徴点パラメタを手動で入力するためのマウス１０が接続されている。
【００２６】
また、コンピュータシステム１７には、ビデオカメラ１からの映像信号を記憶する画像メモリ２と、プログラムの格納やワーク用のメモリ３と、メモリ３に格納されたプログラムに基づいた処理を行うＣＰＵ４と、画像パターンや特徴抽出の実行によって計算された特徴パターンを記憶するパターンメモリ５、６と、計算された特徴抽出行列を格納するための特徴抽出行列格納メモリ７と、あらかじめ登録された人物の顔画像を集めた登録画像データベース１１と、外部機器とのデータのやりとりを行うインターフェース（Ｉ／Ｆ）１２〜１５と、が設けられている。また、コンピュータシステム１７に設けられた各ブロックはシステムバス１６で接続されている。
【００２７】
顔画像照合装置１００は、顔画像（例えば濃淡パターン）と顔画像内における固有なパラメタである特徴点（例えば眼、鼻、眉、口など）の位置に相関関係があることに着目したものである。すなわち、予めサンプルである顔画像とこの顔画像の特徴点との相関を学習しておき、この学習結果を用いてサンプルと照合するためにカメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定するようにしたものである。そして、上述したように推定した特徴点より照合する顔画像から照合に用いる顔領域を求め、求めた顔領域の画像と予め用意してある顔画像データベース内の画像と比較することで、照合する画像の人物と登録された顔画像データベース内の顔画像の人物とが一致するかの照合を行うものである。
【００２８】
さらに、本実施の形態では、サンプルである人の顔画像とこれらの顔画像内における特徴点の位置の相関を複数学習しておくことで、サンプルと照合するためにカメラ１で撮影した顔画像の特徴点の推定精度を向上している。
【００２９】
具体的には、顔画像照合装置１００は、複数のサンプルの顔画像とこの顔画像の特徴点との相関を予め計算するオフライン処理と、この計算した相関を用いてカメラ１から入力された画像から特徴点の座標値を推定し、特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行うオンライン処理に大別される。
【００３０】
オフライン処理は、サンプルとして予め撮影された顔画像より得られる第１の教示ベクトルと、サンプルの顔画像における特徴点の座標より得られる第２の教示ベクトルと、これらの教示ベクトルにおける平均ベクトルの計算と、第１の教示ベクトルの自己相関情報である共分散行列の擬似逆行列の計算と、第１の教示ベクトルと第２の教示ベクトルの相互相関情報である共分散行列の計算と、を行う。
【００３１】
さらに詳細に、オフライン処理の目的は、まず、画像メモリ２に一旦蓄えられた教示用の画像から得られる教示ベクトルＶ₁と、教示ベクトルＶ₁の特徴点の座標より得られる教示ベクトルＶ₂と、教示ベクトルＶ₁の平均ベクトルＭ₁と、教示ベクトルＶ₂の平均ベクトルＭ₂とを計算しておき、そして、これらの計算結果を用いて、教示ベクトルＶ₁の分布を示す教示ベクトルＶ₁の共分散行列およびこの擬似逆行列と、教示ベクトルＶ₁と教示ベクトルＶ₂との相関である教示ベクトルＶ₁と教示ベクトルＶ₂との共分散行列と、を求めることである。
【００３２】
ここで、教示ベクトルＶ₁は、想定される入力画像（サンプル画像）をベクトル化した入力ベクトルの学習サンプルであり、想定される入力画像と同一種類の画像をベクトル化したベクトルの学習サンプルである。例えば、想定される入力画像が日本人男性の顔画像であれば、日本人男性の顔画像をベクトル化したベクトルの学習サンプルをとる。
【００３３】
また、教示ベクトルＶ₂は教示ベクトルＶ₁に対して想定される特徴点の座標をベクトル化した出力ベクトルの学習サンプルである。（数１）に、教示ベクトルＶ₁、教示ベクトルＶ₂の具体的な形式を示す。
【００３４】
【数１】

次に、顔画像照合装置１００が行うオフライン処理について、図２を用いて説明する。図２は、実施の形態１にかかる顔画像照合装置１００のオフライン処理の動作フロー図である。なお、以下の説明で顔画像照合装置１００が行う処理は、実際にはＣＰＵ４がメモリ３に格納されたプログラムを実行することで行う。
【００３５】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１０）。
【００３６】
次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ₁を求める（Ｓ１１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１２）。
【００３７】
図３に、ユーザにより入力された顔の特徴点の例を示す。顔画像１２０１の原点Ｏ１２０８を基準に、右眉１２０２、右目１２０３、左眉１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が、特徴点としてユーザにより入力される。
【００３８】
次に、顔画像照合装置１００は、（数１）を用いて、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ₂とする（Ｓ１３）。次に、顔画像照合装置１００は、教示ベクトルＶ₁をパターンメモリ５に、教示ベクトルＶ₂をパターンメモリ６に記憶する（Ｓ１４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１５）、終了したら処理（Ｓ１６）に進み、終了していない場合は処理（Ｓ１１）に進む。
【００３９】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ₁、Ｖ₂の集合｛Ｖ₁｝および｛Ｖ₂｝より（数２）、（数３）に従って平均ベクトルＭ₁、Ｍ₂を計算し、特徴抽出行列格納メモリ７に保存する（Ｓ１６）。
【００４０】
【数２】

【数３】

次に、顔画像照合装置１００は、Ｎ人分の教示ベクトルＶ₁の集合｛Ｖ₁｝より（数４）に従って共分散行列Ｃ₁を計算することで、教示ベクトルＶ₁の分布、つまり、カメラ１から入力したＮ人の顔画像パターンの分布を算出する。そして、顔画像照合装置１００は、求めた共分散行列Ｃ₁を特徴抽出行列格納メモリ７に格納する（Ｓ１７）。ここで顔画像パターンの分布を求めるのは、顔画像パターンの分布が顔画像パターンの特性を表すからであり、顔画像パターンの特性を求めるためである。
【００４１】
【数４】

次に、顔画像照合装置１００は、Ｎ人分の教示ベクトルＶ₁、Ｖ₂の集合｛Ｖ₁｝および｛Ｖ₂｝より（数５）に従って共分散行列Ｃ₂を計算することで、教示ベクトルＶ₁、Ｖ₂の相関、つまりＮ人の顔画像パターンと顔画像パターンの特徴点の相関を算出する。顔画像照合装置１００は、求めた共分散行列Ｃ₂を特徴抽出行列格納メモリ７に格納する（Ｓ１７）。
【００４２】
【数５】

次に、顔画像照合装置１００は、Ｓ１７において求めた共分散行列Ｃ₁と共分散行列Ｃ₂から、オンライン処理で入力される顔画像から特徴点を抽出するために使用するパラメタである特徴抽出行列Ｃ₃を、（数６）に従って計算する（Ｓ１８）。そして、顔画像照合装置１００は、求めた特徴抽出行列Ｃ₃を特徴抽出行列格納メモリ７に格納する。
【００４３】
【数６】

以上が、顔画像照合装置１００が、オフラインで実行する処理であり、特徴抽出行列格納メモリ７には、上述した処理で求めた、平均ベクトルＭ₁、Ｍ₂、パラメタとして共分散行列Ｃ₁と共分散行列Ｃ₂、及び特徴抽出行列Ｃ₃が格納されている。
【００４４】
次に、オンライン処理について、図４を用いて説明する。図４は、実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図である。
【００４５】
オンライン処理の目的は、入力された顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから顔領域の画像を求め、画像データベースに登録された画像と照合することにある。
【００４６】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ２０）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積した入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ２１）。
【００４７】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフライン処理で求めた特徴抽出行列Ｃ₃および平均ベクトルＭ₁、Ｍ₂から、（数７）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ２２）。（数７）は、オフラインで求めた、教示ベクトルＶ₁、Ｖ₂の相関、つまりＮ人の顔画像パターンと顔画像パターンの特徴点の相互相関を示す共分散行列Ｃ₂を用いて、入力ベクトルデータＸつまり入力画像の特徴点を算出する式である。
【００４８】
【数７】

次に、顔画像照合装置１００は、求めた特徴点座標値の期待値ベクトルＥが各特徴点の座標値の合成ベクトルとなっているので、入力ベクトルデータの特徴点の座標値を期待値ベクトルＥより得る（Ｓ２３）。次に、顔画像照合装置１００は、Ｓ２３で求めた特徴点の座標値を用いて、入力画像から、あらかじめ登録された顔画像データベースの顔画像との照合を行う顔領域を決定する（Ｓ２４）。
【００４９】
検出された照合用の顔領域の例を図５に示す。本実施の形態では、顔画像１３０１から、鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を照合用の顔領域１３０２として決定する。
【００５０】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ２５）、結果をディスプレイ８に表示すると共に二次記憶装置９に転送する（Ｓ２６）。なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する。そして、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００５１】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上には、入力された入力顔画像１５０２と、顔領域枠１５０３と、照合結果１５０４、１５０５が表示される。
【００５２】
ここで、（数７）を用いた計算によって特徴点位置情報の推定が可能な理由を説明する。
【００５３】
（数７）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ₁と教示ベクトルＶ₂の関係を、２つのベクトルの分布が正規分布であるという仮定の元でベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数７）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００５４】
以上のように実施の形態１によれば、予め学習したサンプルの顔画像とこの特徴点との相関を用いて、カメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定することができる。そして、上述したように推定した特徴点より照合用の顔領域を求め、求めた照合用の顔領域画像とあらかじめ登録しておいた顔画像データベース内の顔画像を比較することで、照合用の顔画像の人物とあらかじめ登録された顔画像の人物とが一致するかの照合を行うことができる。これにより、従来法に比べ格段に少ない演算で所望のパラメタを推定することができ、少ない演算で顔画像の照合ができる。
【００５５】
具体的には、実施の形態１によれば、入力ベクトルに対して固有なパラメタを、３回の行列演算で推定することが出来る。つまり、従来のテンプレートマッチングを用いた探索に比べ格段に小さな計算コストで推定できるため、その効果は非常に大きい。ここで、前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数７）にあてはめると特徴抽出行列Ｃ₃は縦２２５００×横４の行列、（Ｘ−Ｍ₁）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００５６】
また、実施の形態１によれば、第１の教示ベクトルの共分散行列から自己相関情報を求め、第１の教示ベクトルと第２の教示ベクトルとの共分散行列から相互相関情報を求めることができる。これにより、単純に行列演算だけ、つまり乗算だけで固有なパラメタの計算や、相互相関情報や自己相関情報の計算ができるため、コンピュータの処理コストが非常に小さくなる。
【００５７】
また、実施の形態１によれば、複数の人の顔画像とこれらの顔画像内における特徴点の位置の相関を学習しておくことにより、より精度の高い相関を求めることができるので、精度の高い推定ができるという作用を有する。
【００５８】
また、実施の形態１では、上述した（数１）〜（数７）を用いて、パラメタの推定を行ったが、予めサンプルとなる顔画像と特徴点の相関を求め、求めた相関を使ってパラメタの推定を行う式であれば（数１）〜（数７）以外の式を使ってもよい。
【００５９】
（実施の形態２）
本発明の実施の形態２は、サンプルの入力画像（入力ベクトル）の分布にバラツキを持たせたものであり、いろいろな分布を持つ照合用の入力画像に対応できるようにしたものである。具体的には、サンプルの入力画像を複数の分布に分け、それぞれの分布毎に入力画像と入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を求めるようにしたものである。
【００６０】
以下、実施の形態２にかかる顔画像照合装置について説明する。実施の形態２にかかる顔画像照合装置のブロック構成図は、実施の形態１の顔画像照合装置と同じコンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００６１】
実施の形態２にかかる顔画像照合装置は、大きく分けてオフライン処理と、オンライン処理を行う。
【００６２】
オフライン処理は、撮影された顔画像より得られる第１の教示ベクトルと撮影された顔画像における特徴点の座標より得られる第２の教示ベクトルの集合を入力し、第１および第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、同じく第２の教示ベクトルの平均ベクトルを求める処理である。
【００６３】
また、オフライン処理は、カメラから入力された画像からその特徴点の座標値を推定し、推定した特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行う。
【００６４】
まず、実施の形態２にかかるオフライン処理について、図７のオフライン処理の動作フローを用いて説明する。
【００６５】
オフライン処理の目的は、画像メモリに一旦蓄えられた教示用の画像から、第１、第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルにおける共分散行列の擬似逆行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、要素分布ｋに属する教示ベクトルの平均ベクトルを計算することにある。
【００６６】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１６００）。
【００６７】
次に、顔画像照合装置１００は、二次記憶装置９に記憶した顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで、教示ベクトルＶ₁を求める（Ｓ１６０１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点の座標点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１６０２）。図３に入力する顔の特徴点の例を示すが、顔画像１２０１の原点Ｏを基準に右眉１２０２、右目１２０３、左目１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が入力される。
【００６８】
次に、顔画像照合装置１００は、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ₂とする（Ｓ１６０３）。そして、顔画像照合装置１００は、教示ベクトルＶ₁はパターンメモリ５に、教示ベクトルＶ₂はパターンメモリ６に記憶する（Ｓ１６０４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１６０５）、終了したら処理（Ｓ１６０６）に進み、終了していない場合は処理（Ｓ１６０１）に進む。
【００６９】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ₁、Ｖ₂の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合における確率分布を混合ガウシアンモデル（以下ＧＭＭと呼ぶ）で複数（Ｍ個）の分布を持つ要素分布にモデル化し、モデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを計算する。即ち、顔画像照合装置１００は、ｋ番目の要素分布に属するベクトルＶ₁、Ｖ₂の平均ベクトルＭ₁ ^k、Ｍ₂ ^k、ベクトルＶ₁の共分散行列Ｃ₁ ^k、ベクトルＶ₁、Ｖ₂の相互相関行列Ｃ₁₂ ^kを計算する（Ｓ１６０６）。
【００７０】
この計算には、通常ＥＭ（ＥｘｐｅｃｔａｔｉｏｎＭａｘｉｍｉｚａｔｉｏｎ）アルゴリズムが用いられるが、これは文献：ＣｈｒｉｓｔｏｐｈｅｒＭ．Ｂｉｓｈｏｐ，Ｏｘｆｏｒｄ出版“ＮｅｕｒａｌＮｅｔｗｏｒｋｓｆｏｒＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ”５９〜７３頁（１９９５）に詳細に記述されている。
【００７１】
次に、顔画像照合装置１００は、Ｓ１６０６において、求めたベクトルＶ₁の共分散行列Ｃ₁ ^kの逆行列（より一般的には擬似逆行列）Ｃ₁ ^k*を計算する。
【００７２】
次に、顔画像照合装置１００は、求めたベクトルＶ₁の共分散行列の逆行列Ｃ₁ ^k*と相互相関行列Ｃ₁₂ ^kから（数８）に従って特徴抽出行列Ｃ₃ ^kを計算する（Ｓ１６０７）。そして、顔画像照合装置１００は、求めた特徴抽出行列Ｃ₃ ^kを特徴抽出行列格納メモリ７に格納する（Ｓ１６０８）。
【００７３】
【数８】

以上が、実施の形態２におけるオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋについて、平均ベクトルＭ₁ ^k、Ｍ₂ ^k、及び、特徴抽出行列Ｃ₃ ^kを求め、特徴抽出行列格納メモリにするものである。
【００７４】
次に、実施の形態２におけるオンライン処理について、図８に示すフローチャートを用いて説明する。オンライン処理の目的は、入力された照合対象の顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから照合に用いる顔領域を決定し、決定した顔領域内の画像を求め、この画像と画像データベースに登録された画像と照合することにある。
【００７５】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ１７００）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積された入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１７０１）。
【００７６】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ₃ ^kおよび平均ベクトルＭ₁ ^k、Ｍ₂ ^kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１７０２）。
【００７７】
【数９】

次に、求めた特徴点座標値の期待値ベクトルＥが各特徴点の座標値の合成ベクトルとなっているので、顔画像照合装置１００は、特徴点の座標値の期待値ベクトルＥより各特徴点の座標値を得る（Ｓ１７０３）。そして、顔画像照合装置１００は、Ｓ１７０３において得た各特徴点の座標値をもとに、照合に用いる顔領域を決定する（Ｓ１７０４）。検出された顔領域の例を図５に示すが、例えば鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を顔領域１３０２として決定する。
【００７８】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ１７０５）、結果をディスプレイ８に表示し、二次記憶装置９に転送する（Ｓ１７０６）。
【００７９】
なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する方法である。つまり、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００８０】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上に入力された入力顔画像１５０２と照合結果１５０４、１５０５が表示される。
【００８１】
ここで、上述した計算によって特徴点位置情報の推定が可能な理由を説明する。
【００８２】
（数８）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ₁と教示ベクトルＶ₂の関係を、２つのベクトルの合成ベクトルにおける分布が混合正規分布であるという仮定の下で、ベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数９）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００８３】
以上のように実施の形態２によれば、サンプルの入力画像を複数の分布に分け、それぞれの分布毎にサンプルの入力画像とこの入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を推定することができる。これにより、照合用の入力画像の分布、つまり特性にバラツキがあっても、正確に特徴点を推定できる。
【００８４】
また、実施の形態２によれば、（数９）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数９）にあてはめると特徴抽出行列Ｃ₃ ^kは縦２２５００×横４の行列、（Ｘ−Ｍ₁）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００８５】
また、実施の形態２によれば、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【００８６】
（実施の形態３）
本発明の実施の形態３は、照合対象の顔画像から特徴点を求め、この特徴点を用いて、照合用の顔領域の決定と、眼の中心位置の検出を通して眼領域の決定を行い、さらに、眼領域から照合用のアイリス領域画像を抽出するものである。そして、決定した顔領域を用いて照合対象の顔画像と登録してある顔画像の人物、および抽出したアイリス領域画像と登録しているアイリス領域画像の人物とが一致するかどうかの照合を複合的に行うものである。
【００８７】
以下、実施の形態３について説明する。まず、図９を用いて実施の形態３にかかる複合照合装置の構成について説明する。図９は、実施の形態３にかかる複合照合装置の構成図である。なお、既に説明した部分には同一の符号を付与し説明を省略する。
【００８８】
実施の形態３の複合照合装置９００は、人物の顔画像を直接撮影するためのビデオカメラ１ａと、アイリス領域画像を直接撮影するためのビデオカメラ１ｂと、を具備した点が、実施の形態１の顔画像照合装置１００と異なる。
【００８９】
複合照合装置９００は、図１０のフローチャートに示すように、カメラ１ａにより画像を撮影し（Ｓ１００１）、撮影した入力画像から特徴点座標を得て（Ｓ１００２）、その特徴点座標に基づいて顔画像照合領域を決定する（Ｓ１００３）。また、複合照合装置９００は、Ｓ１００３で求めた特徴点の一部である眼位置の座標に基づいて、カメラ１ｂの焦点を決定し眼領域画像を得る（Ｓ１００４）。次に、複合照合装置９００は、カメラ１ｂから入力した眼領域画像からアイリス輪郭点座標を得て（Ｓ１００５）、これに基づいて照合対象のアイリス領域画像を決定する（Ｓ１００６）。そして、複合照合装置９００は、このようにして決定した顔画像照合領域の画像および照合対象のアイリス領域画像をあらかじめ登録したデータベース内の画像とを複合的に照合し（Ｓ１００７）、結果を出力する（Ｓ１００８）。
【００９０】
複合照合装置９００の、照合用の顔画像領域の決定は、予め多くの人の顔画像（例えば濃淡パターン）と顔画像内における特徴点（例えば眼、鼻、眉、口など）の位置の相関を学習しておき、これを用いてカメラ１ａで撮影した顔画像において特徴点の座標がどこであるかを推定し、推定された特徴点より顔領域を求めることによって実現される。以下に、具体的に説明をする。
【００９１】
複合照合装置９００の行う処理は、撮影された顔画像より得られる第１の教示ベクトルと撮影された顔画像における特徴点の座標より得られる第２の教示ベクトルの集合を入力し、第１および第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、同じく第２の教示ベクトルの平均ベクトルを求めておくオフライン処理と、カメラ１ａから入力された画像から特徴点の座標値を推定し、特徴点の座標値から照合用の顔画像領域の決定を行うオンライン処理に大別される。
【００９２】
まず、実施の形態３のオフライン処理について図１１に示すフローを用いて説明する。実施の形態３のオフライン処理の目的は、画像メモリに一旦蓄えられた教示用の画像から、第１、第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列の擬似逆行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、要素分布ｋに属する教示ベクトルの平均ベクトルを計算することにある。
【００９３】
ここで、教示ベクトルＶ₁は、想定される入力ベクトルの学習サンプルであり、教示ベクトルＶ₂は教示ベクトルＶ₁に対して想定される出力ベクトルの学習サンプルである。（数１）に、教示ベクトルＶ₁、教示ベクトルＶ₂の具体的な形式を示す。
【００９４】
まず、複合照合装置９００は、カメラ１ａからサンプル用のＮ人の顔画像パターンを入力し（Ｓ１１００）、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送する（Ｓ１１００）。
【００９５】
次に、複合照合装置９００は、二次記憶装置９に記憶したサンプル用の顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ₁を求める（Ｓ１１０１）。次に、複合照合装置９００は、それぞれの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、これを見たユーザがマウス１０を用いて手動で顔の特徴点を入力すると、複合照合装置９００はユーザが入力した特徴点を入力する（Ｓ１１０２）。
【００９６】
図３に入力する顔の特徴点の例を示すが、複合照合装置９００は、顔画像１２０１の原点Ｏを基準に右眉１２０２、右目１２０３、左目１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）を入力する。
【００９７】
次に、複合照合装置９００は、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ₂とする（Ｓ１１０３）。次に、複合照合装置９００は、教示ベクトルＶ₁をパターンメモリ５に、教示ベクトルＶ₂をパターンメモリ６に記憶する（Ｓ１１０４）。そして、複合照合装置９００は、Ｎ人分の処理が終了したかを判定し、終了したら処理（Ｓ１１０６）に進み、終了していない場合は処理（Ｓ１１０１）に進む。
【００９８】
次に、複合照合装置９００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ₁、Ｖ₂の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合の確率分布をＧＭＭでモデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを推定する。即ち、複合照合装置９００は、ｋ番目の要素分布に属するベクトルＶ₁、Ｖ₂の平均ベクトルＭ₁ ^k、Ｍ₂ ^k、ベクトルＶ₁の共分散行列Ｃ₁ ^k、ベクトルＶ₁、Ｖ₂の相互相関行列Ｃ₁₂ ^kを計算する（Ｓ１１０６）。この計算には、通常ＥＭアルゴリズムが用いられる。
【００９９】
次に、複合照合装置９００は、求めたベクトルＶ₁の共分散行列Ｃ₁ ^kの逆行列（より一般的には擬似逆行列）Ｃ₁ ^k*を計算する。次に複合照合装置９００は、求めたベクトルＶ₁の共分散行列の逆行列Ｃ₁ ^k*と相互相関行列Ｃ₁₂ ^kから（数８）に従って特徴抽出行列Ｃ₃ ^kを計算する（Ｓ１１０７）。そして、複合照合装置９００は、求めた特徴抽出行列Ｃ₃ ^kを特徴抽出行列格納メモリ７に格納する（Ｓ１１０８）。
【０１００】
以上が、実施の形態３におけるオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋについて、平均ベクトルＭ₁ ^k、Ｍ₂ ^k、及び、特徴抽出行列Ｃ₃ ^kを求め、特徴抽出行列格納メモリにするものである。
【０１０１】
次に、実施の形態３にかかるオンライン処理について、図１２に示すフローチャートを用いて説明する。オンライン処理の目的は、入力された照合対象の顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから照合用の顔画像領域を切り出すことにある。
【０１０２】
まず、複合照合装置９００は、カメラ１ａから照合対象の画像を入力し（Ｓ１２０１）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積された入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１２０２）。
【０１０３】
次に、複合照合装置９００は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ₃ ^kおよび平均ベクトルＭ₁ ^k、Ｍ₂ ^kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１２０３）。
【０１０４】
次に、複合照合装置９００は、求めた特徴点の座標値の期待値ベクトルＥは各特徴点の座標値の合成ベクトルとなっているので、特徴点の座標値の期待値ベクトルＥより各特徴点の座標値を得て（Ｓ１２０４）、これをもとに照合用の顔領域を決定する（Ｓ１２０５）。
【０１０５】
このように、行列演算による直接計算によって、照合対象の入力画像の特徴点を推定することが出来る。これにより、従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。
【０１０６】
次に、実施の形態３にかかる照合対象のアイリス領域画像の決定について説明する。照合対象のアイリス領域画像の決定は、カメラ１ａにより撮影された画像から眼を含む特徴点を抽出し、その眼を含む特徴点に基づいてカメラ１ｂの焦点を決定し得られた眼領域画像（例えば濃淡パターン）からアイリスの輪郭を構成する座標点集合を検出し、アイリス領域画像を切り出すものである。
【０１０７】
アイリス領域の切り出し処理は、撮影された眼領域の画像より得られる第３の教示ベクトルと、眼領域画像内においてテンプレートマッチ処理での検出対象となるアイリスの輪郭点集合よりなる第４の教示ベクトルとの合成ベクトルを構成し、合成ベクトルの集合を混合分布（要素分布数Ｍ’）モデルでモデル化した際の分布のパラメタを推定し、混合分布の各要素分布ｋ’（ｋ’＝１．．Ｍ’）に属する第３の教示ベクトルの共分散行列の擬似逆行列を計算し、同じく第３の教示ベクトルの平均ベクトルを計算し、同じく要素分布ｋ’に属する第３および第４の教示ベクトルの相互相関行列を計算し、要素分布ｋ’に属する教示ベクトルの平均ベクトルを計算するオフライン処理と、カメラ１ｂから入力された眼領域画像からアイリスの輪郭点を構成する座標値の集合を推定し、輪郭点の座標値集合から決定されるアイリス領域を抽出するオンライン処理の２つに分かれる。
【０１０８】
オフライン処理について、図１３のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、画像メモリに一旦蓄えられた教示用（サンプル用）の画像から、第３、第４の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ’）モデルのパラメタを推定し、混合分布の各要素分布ｋ’（ｋ’＝１．．Ｍ’）に属する第３の教示ベクトルの共分散行列の擬似逆行列と、同じく第３の教示ベクトルの平均ベクトルと、同じく要素分布ｋ’に属する第３および第４の教示ベクトルの相互相関行列と、要素分布ｋ’に属する教示ベクトルの平均ベクトルを計算することにある。
【０１０９】
まず、複合照合装置９００は、カメラ１ｂからサンプル用のＮ’人の眼領域画像パターンを入力し（Ｓ９００）、Ｉ／Ｆ１２を介して一旦画像メモリ２に蓄積した後に、全て二次記憶装置９に転送する。
【０１１０】
次に、複合照合装置９００は、二次記憶装置９に記憶したサンプル用の眼領域画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換し教示ベクトルＶ’₁を求める（Ｓ９０１）。次に、複合照合装置９００は、それぞれの眼領域画像パターンをディスプレイ８に一枚ずつ表示し、ユーザがマウス１０を用いて手動で指定したアイリス領域の輪郭を構成する座標点の集合を入力する（Ｓ９０２）。
【０１１１】
図１４にユーザが指定するアイリス領域を示す。図に示すように、ディスプレイ８には、眼領域画像１０００が表示される。そして、眼領域画像１０００には、眼画像１００５ａ、１００５ｂが含まれている。そして、ユーザは、眼画像１００５ａ、１００５ｂ内のアイリス領域１００１を認識し、マウスカーソル１００４を操作することで眼画像１００５ａ、１００５ｂに対してアイリスの外側の輪郭１００２およびアイリスの内側の輪郭１００３を指定する。
【０１１２】
次に、複合照合装置９００は、入力したアイリスの各輪郭点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ’₂とする（Ｓ９０３）。次に、複合照合装置９００は、教示ベクトルＶ’₁をパターンメモリ５に、教示ベクトルＶ’₂をパターンメモリ６に記憶する（Ｓ９０４）。そして、複合照合装置９００は、Ｎ’人分の処理が終了したかを判定し（Ｓ９０５）、終了したら処理（Ｓ９０６）に進み、終了していない場合は処理（Ｓ９０１）に進む）。
【０１１３】
次に、複合照合装置９００は、パターンメモリ５およびパターンメモリ６に格納されたＮ’人分の教示ベクトルＶ’₁、Ｖ’₂の合成ベクトルを構成し、Ｎ’人分の合成ベクトルの集合の確率分布をＧＭＭでモデル化した際のｋ’番目の要素分布（要素分布数はＭ’）のパラメタを推定する。即ち、複合照合装置９００は、ｋ’番目の要素分布に属するベクトルＶ’₁、Ｖ’₂の平均ベクトルＭ’₁ ^k、Ｍ’₂ ^k、ベクトルＶ’₁の共分散行列Ｃ’₁ ^k、ベクトルＶ’₁、Ｖ’₂の相互相関行列Ｃ’₁₂ ^kを計算する（Ｓ９０６）。この計算には、通常ＥＭアルゴリズムが用いられる。
【０１１４】
次に、複合照合装置９００は、求めたベクトルＶ’₁の共分散行列Ｃ’₁ ^kの逆行列（より一般的には擬似逆行列）Ｃ’₁ ^k*を計算する。次に、複合照合装置９００は、求めたベクトルＶ’₁の共分散行列の逆行列Ｃ’₁ ^k*と相互相関行列Ｃ’₁₂ ^kから（数８）に従って特徴抽出行列Ｃ’₃ ^kを計算し（Ｓ９０７）、求めた特徴抽出行列Ｃ’₃ ^kを特徴抽出行列格納メモリ７に格納する（Ｓ９０８）。
【０１１５】
以上がオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋ’について、平均ベクトルＭ’₁ ^k、Ｍ’₂ ^k、及び、特徴抽出行列Ｃ’₃ ^kを求め、特徴抽出行列格納メモリにするものである。
【０１１６】
次に、オンライン処理について、図１５に示すフローチャートを用いて説明する。オンライン処理の目的は、入力された眼領域画像から、入力に対して固有なパラメタであるアイリスの輪郭点の座標値集合を推定し、これから照合対象のアイリス領域画像を求めることにある。
【０１１７】
まず、複合照合装置９００は、上述した処理で求めた照合対象の顔画像の特徴点のから眼を含む特徴点を抽出し、その眼を含む特徴点に基づいてカメラ１ｂの焦点を決定し、得られた眼領域画像を入力し（Ｓ１５００）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積された入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸ’に変換し、パターンメモリ５に転送する（Ｓ１５０１）。
【０１１８】
次に、複合照合装置９００は、入力ベクトルデータＸ’に対して、オフラインで求めた特徴抽出行列Ｃ’₃ ^kおよび平均ベクトルＭ’₁ ^k、Ｍ’₂ ^kから、（数９）に従って入力ベクトルデータＸ’に対する特徴点の座標値の期待値ベクトルＥ’を計算する（Ｓ１５０２）。
【０１１９】
期待値ベクトルＥ’は、入力ベクトルＸ’に対する、アイリスの輪郭を構成する点の座標値の集合の期待値に等しい。よって、複合照合装置９００は、期待値ベクトルＥ’からアイリスの輪郭を構成する点の座標値の集合を決定する（Ｓ１５０３）。そして、複合照合装置９００は、決定したアイリスの輪郭を構成する点の集合からアイリスの領域画像を決定する（Ｓ１５０４）。
【０１２０】
検出されたアイリス領域の例を図１６に示す。例えば、複合照合装置９００は、アイリスの外側の輪郭１２０１とアイリスの内側の輪郭１２０２を構成する点集合１２０３を連結し、得られた２つの曲線の内側を取り出すことで、アイリス領域画像１２０４を決定する。
【０１２１】
このようにして、サンプルの眼領域画像とこれに対するアイリスの輪郭を構成する点の集合との相関を点集合の分布毎に求め、この相関を用いることで、眼領域画像からこれに対するアイリスの輪郭を構成する点の集合を推定できる。これにより、少ない処理コストでアイリスの輪郭を構成する点の集合を推定でき、照合対象のアイリス領域画像を抽出できる。
【０１２２】
そして、次に、複合照合装置９００は、抽出した照合用の顔領域の画像を用いてあらかじめ登録した顔画像データベースの顔画像と、照合用のアイリス領域画像を用いてあらかじめ登録したアイリス画像データベースのアイリス領域画像とを複合的に照合する（Ｓ１５０５）。
【０１２３】
以上のようにして実施の形態３によれば、抽出した顔領域画像およびアイリス領域画像を用いて、あらかじめ登録した顔画像データベースおよびアイリス画像データベースの画像と複合的に照合することによって、顔画像のみの場合やアイリス画像のみを照合する場合に比べてより頑健かつ高精度な照合を行うことができるため、その効果は大きい。また、この動作はオンラインで行うことが可能である。
【０１２４】
また、実施の形態３によれば、推定した照合対象の顔画像の特徴点を用いて、照合対象の顔画像から照合対象であるアイリス領域画像を含む眼領域画像を抽出できる。これにより、少ない処理コストで、かつ正確に照合アイリス領域画像を抽出できる。
【０１２５】
本発明は、上述の実施の形態に限定されるものではない。本発明では、ＣＰＵ４がプログラムを読み込むことで、ＣＰＵ４が第１の教示ベクトルの自己相関情報と、第１の教示ベクトルと第２教示ベクトルの相互相関情報と、第１の教示ベクトルの平均ベクトルおよび第２の教示ベクトルの平均ベクトルを計算する学習手段と、計算した自己相関情報、相互相関情報、第１の教示ベクトルの平均ベクトル、および第２の教示ベクトルの平均ベクトルを用いて入力画像の特徴点（パラメタ）を推定するパラメタ推定手段と、推定した特徴点を用いて画像内の特徴を表す部分領域を決定する部分領域決定手段と、決定した部分領域画像を用いて入力画像の対象物と予め登録された対象物との一致を照合する照合手段とてして動作する形態で説明したが、学習手段、パラメタ推定手段、部分領域決定手段、および照合手段を専用のプロセッサを具備する形態であっても良い。
【０１２６】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭおよび磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【０１２７】
【発明の効果】
以上説明したように本発明によれば、少ない処理コストで入力画像の特徴点を正確に求めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における顔画像照合装置のブロック図
【図２】実施の形態１にかかる顔画像照合装置のオフライン処理の動作フロー図
【図３】実施の形態１においてユーザにより入力される顔の特徴点を示す図
【図４】実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図
【図５】実施の形態１において検出された顔領域を示す図
【図６】実施の形態１においてディスプレイへ出力される図
【図７】本発明の実施の形態２にかかる顔画像照合装置のオフライン処理の動作フロー図
【図８】実施の形態２にかかる顔画像照合装置のオンライン処理の動作フロー図
【図９】本発明の実施の形態３における複合照合装置のブロック図
【図１０】実施の形態３による複合照合装置の処理を説明するためのフロー図
【図１１】実施の形態３にかかる複合照合装置のオフライン処理の動作フロー図
【図１２】実施の形態３にかかる複合照合装置のオンライン処理の動作フロー図
【図１３】実施の形態３にかかる複合照合装置のオフライン処理の動作フロー図
【図１４】実施の形態３においてユーザにより入力されるアイリスの特徴点を示す図
【図１５】実施の形態３にかかる複合照合装置のオンライン処理の動作フロー図
【図１６】実施の形態３においてディスプレイへ出力される図
【図１７】従来の顔の特徴抽出方法の動作フロー図
【図１８】目のテンプレートを示す図
【図１９】テンプレートによる探索を説明するための図
【符号の説明】
１、１ａ、１ｂビデオカメラ
２画像メモリ
３メモリ
４ＣＰＵ
５、６パターンメモリ
７特徴抽出行列格納メモリ
８ディスプレイ
９二次記憶装置（ＨＤＤ、光磁気ディスクなど）
１０マウス
１１登録画像データベース
１２〜１５インターフェース
１６システムバス
１７コンピュータシステム
１００顔画像照合装置
９００複合照合装置

Claims

サンプルとなるサンプル顔画像を入力するサンプル顔画像入力手段と、前記サンプル顔画像の特徴点を入力する特徴点入力手段と、新たに前記特徴点を推定する照合対象顔画像を入力する照合対象顔画像入力手段と、前記サンプル顔画像および前記サンプル顔画像の特徴点の平均化情報をそれぞれ求めるとともに、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と、前記サンプル顔画像と前記特徴点との顔画像相互相関情報とを前記顔画像分布毎に求める顔画像学習手段と、前記それぞれ求めた平均化情報ならびに前記顔画像分布毎に求めた前記顔画像自己相関情報および前記顔画像相互相関情報を用いて、前記照合対象顔画像の前記特徴点を推定する顔画像パラメタ推定手段と、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定する部分領域決定手段と、
サンプルとなるサンプル眼領域画像を入力するサンプル眼画像入力手段と、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力する眼画像パラメタ入力手段と、アイリスの輪郭を推定する照合対象眼領域画像を入力する照合対象眼画像入力手段と、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記サンプル眼領域画像の眼画像自己相関情報と、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報とを前記眼画像分布毎に求める眼画像学習手段と、前記それぞれ求めた平均化情報ならびに前記眼画像分布毎に求めた前記眼画像自己相関情報および前記眼画像相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定する眼画像パラメタ推定手段と、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するアイリス推定手段と、
推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合する照合手段とを具備したことを特徴とする複合照合装置。
前記照合対象眼画像入力手段は、前記推定した前記照合対象顔画像の特徴点を用いて、前記照合対象顔画像から前記照合対象眼領域画像を抽出することを特徴とする請求項１記載の複合照合装置。
前記顔画像学習手段は、前記サンプル顔画像をベクトル化した第１の教示ベクトルの平均ベクトルおよび前記サンプル顔画像の特徴点をベクトル化した第２の教示ベクトルの平均ベクトルを求めるとともに、前記第１の教示ベクトルおよび前記第２の教示ベクトルの顔画像合成ベクトルを構成し、前記顔画像合成ベクトルの複数の顔画像要素分布を集合した顔画像混合分布モデルを推定し、前記顔画像要素分布毎に属する前記顔画像自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記顔画像相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、
前記顔画像パラメタ推定手段は、前記第１の教示ベクトルおよび前記第２の教示ベクトルの平均ベクトルならびに前記顔画像要素分布毎に属する前記顔画像自己相関情報および前記顔画像相互相関情報を用いて、前記照合対象顔画像の前記特徴点を推定し、
前記眼画像学習手段は、前記サンプル眼領域画像をベクトル化した第３の教示ベクトルの平均ベクトルおよび前記アイリスの輪郭を形成する前記点の集合をベクトル化した第４の教示ベクトルの平均ベクトルを求めるとともに、前記第３の教示ベクトルおよび前記第４の教示ベクトルの眼画像合成ベクトルを構成し、前記眼画像合成ベクトルの複数の眼画像要素分布を集合した眼画像混合分布モデルを推定し、前記眼画像要素分布毎に属する前記眼画像自己相関情報を前記第３の教示ベクトルの共分散行列を求めることで求め、前記眼画像相互相関情報を前記第３の教示ベクトルと前記第４の教示ベクトルとの共分散行列を求めることで求め、
前記眼画像パラメタ推定手段は、前記第３の教示ベクトルおよび前記第４の教示ベクトルの平均ベクトルならびに前記眼画像要素分布毎に属する前記眼画像自己相関情報および前記眼画像相互相関情報を用いて、前記アイリスの輪郭を構成する前記点の集合を推定することを特徴とする請求項１または請求項２記載の複合照合装置。
サンプルとなるサンプル顔画像を入力するステップと、前記サンプル顔画像の特徴点を入力するステップと、新たに前記特徴点を推定する照合対象顔画像を入力するステップと、前記サンプル顔画像および前記サンプル顔画像の特徴点の平均化情報をそれぞれ求めるとともに、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と、前記サンプル顔画像と前記特徴点との顔画像相互相関情報とを前記顔画像分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記顔画像分布毎に求めた前記顔画像自己相関情報および前記顔画像相互相関情報を用いて、前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定するステップと、
サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記サンプル眼領域画像の眼画像自己相関情報と、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報とを前記眼画像分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記眼画像分布毎に求めた前記眼画像自己相関情報および前記眼画像相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するステップと、
推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合するステップとを具備したことを特徴とする複合照合方法。
コンピュータに、サンプルとなるサンプル顔画像を入力するステップと、前記サンプル顔画像の特徴点を入力するステップと、新たに前記特徴点を推定する照合対象顔画像を入力するステップと、前記サンプル顔画像および前記サンプル顔画像の特徴点の平均化情報をそれぞれ求めるとともに、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と、前記サンプル顔画像と前記特徴点との顔画像相互相関情報とを前記顔画像分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記顔画像分布毎に求めた前記顔画像自己相関情報および前記顔画像相互相関情報を用いて、前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定するステップと、
サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記サンプル眼領域画像の眼画像自己相関情報と、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報とを前記眼画像分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記眼画像分布毎に求めた前記眼画像自己相関情報および前記眼画像相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するステップと、
推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合するステップとを行わせることを特徴としたプログラム。
新たに顔画像の特徴点を推定する照合対象顔画像を入力する照合対象顔画像入力手段と、予めそれぞれ求めておいた、サンプルとなるサンプル顔画像および前記サンプル顔画像の特徴点の平均化情報、ならびに、前記サンプル顔画像と前記サンプル顔画像の特徴点との合成情報を複数の顔画像分布に分け、前記顔画像分布毎に予め求めておいた、前記サンプル顔画像と前記特徴点との顔画像相互相関情報および前記サンプル顔画像の顔画像自己相関情報を用いて、前記照合対象顔画像の前記特徴点を推定する顔画像パラメタ推定手段と、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定する部分顔画像領域決定手段と、アイリスの輪郭を推定する照合対象眼領域画像を入力する照合対象眼画像入力手段と、予めそれぞれ求めておいた、サンプルとなるサンプル眼領域画像および前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合の平均化情報、ならびに、前記サンプル眼領域画像と前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼画像分布毎に予め求めておいた、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報および前記サンプル眼領域画像の眼画像自己相関情報を用いて、前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定する眼画像パラメタ推定手段と、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するアイリス推定手段と、推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合する照合手段とを具備したことを特徴とする複合照合装置。
新たに顔画像の特徴点を推定する照合対象顔画像を入力するステップと、予めそれぞれ求めておいた、サンプルとなるサンプル顔画像および前記サンプル顔画像の特徴点の平均化情報、ならびに、前記サンプル顔画像と前記サンプル顔画像の特徴点との合成情報を複数の顔画像分布に分け、前記顔画像分布毎に予め求めておいた、前記サンプル顔画像と前記特徴点との顔画像相互相関情報および前記サンプル顔画像の顔画像自己相関情報を用いて、前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、予めそれぞれ求めておいた、サンプルとなるサンプル眼領域画像および前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合の平均化情報、ならびに、前記サンプル眼領域画像と前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼画像分布毎に予め求めておいた、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報および前記サンプル眼領域画像の眼画像自己相関情報を用いて、前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するステップと、推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合するステップとを具備したことを特徴とする複合照合方法。
コンピュータに、新たに顔画像の特徴点を推定する照合対象顔画像を入力するステップと、予めそれぞれ求めておいた、サンプルとなるサンプル顔画像および前記サンプル顔画像の特徴点の平均化情報、ならびに、前記サンプル顔画像と前記サンプル顔画像の特徴点との合成情報を複数の顔画像分布に分け、前記顔画像分布毎に予め求めておいた、前記サンプル顔画像と前記特徴点との顔画像相互相関情報および前記サンプル顔画像の顔画像自己相関情報を用いて、前記照合対象顔画像の前記特徴点を推定するステップと、前記推定した前記照合対象顔画像の前記特徴点を用いて、前記照合対象顔画像内の特徴を表す部分顔画像領域を決定するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、予めそれぞれ求めておいた、サンプルとなるサンプル眼領域画像および前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合の平均化情報、ならびに、前記サンプル眼領域画像と前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合との合成情報を複数の眼画像分布に分け、前記眼画像分布毎に予め求めておいた、前記サンプル眼領域画像と前記点の集合との眼画像相互相関情報および前記サンプル眼領域画像の眼画像自己相関情報を用いて、前記眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像から照合対象アイリス領域画像を推定するステップと、推定した前記部分顔画像領域を用いて前記照合対象顔画像があらかじめ登録された前記サンプル顔画像と一致するか、および、推定した前記照合対象アイリス領域画像があらかじめ登録されたサンプルアイリス画像と一致するかを複合的に照合するステップとを行わせることを特徴とするプログラム。