JP4068888B2 - アイリス推定装置およびアイリス照合装置 - Google Patents
アイリス推定装置およびアイリス照合装置 Download PDFInfo
- Publication number
- JP4068888B2 JP4068888B2 JP2002129323A JP2002129323A JP4068888B2 JP 4068888 B2 JP4068888 B2 JP 4068888B2 JP 2002129323 A JP2002129323 A JP 2002129323A JP 2002129323 A JP2002129323 A JP 2002129323A JP 4068888 B2 JP4068888 B2 JP 4068888B2
- Authority
- JP
- Japan
- Prior art keywords
- region image
- iris
- eye region
- sample
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Description
【０００１】
【発明の属する技術分野】
本発明は、入力アイリスパターンからアイリス領域画像を推定するアイリス推定装置および、これを用いて入力アイリスパターンの照合を行うアイリス照合装置に関する。
【０００２】
【従来の技術】
入力パターンから特定のパラメタを抽出する処理は、パターン情報処理において非常に一般的な処理である。例えば、人物顔画像から目や鼻の位置を取り出す処理や、車両画像からナンバープレートの位置を抽出する処理がそれにあたる。
【０００３】
従来、このような処理に対してもっとも一般的な方法は、以下に要約されるような照合フィルター法と言われるもので、非常に多くの使用例が提案されている。顔の特徴抽出方法を例に、図１３を用いて説明する。
【０００４】
図１３のフローチャートに示すように、まず目や鼻の部分のテンプレートをテンプレートデータベース１６０１に用意しておく。テンプレートデータベース１６０１には図１４に示すように目のテンプレート１７０１が複数格納される。
【０００５】
まず、カメラから入力画像が与えられると（Ｓ８１）、テンプレートデータベース１６０１から１つのテンプレート画像１７０１を得る（Ｓ８２）。次に、図１５に示すように、入力画像２００１を探索窓２００２で探索し、探索窓２００２内画像とテンプレート１７０１との類似度を求める（Ｓ８３）。類似度の算出には、探索窓２００２内の画像とテンプレート１７０１との正規化相関などを用いることが多い。
【０００６】
そして、この処理を入力画像２００１全体について行ったか判断し（Ｓ８４）、入力画像２００１全体について行うまで、入力画像２００１を探索窓２００２でスキャンし（Ｓ８５）、Ｓ８３の処理を行う。
【０００７】
次に、テンプレートデータベース１６０１に含まれる全てのテンプレート１７０１について、上述した探索を行ったか判断し（Ｓ８６）、全てのテンプレート１７０１について処理を行っていない場合は、処理対象のテンプレート１７０１を変更し（Ｓ８７）、Ｓ８３の処理に移行し、全てのテンプレートに対してＳ８３〜Ｓ８７の処理をする。
【０００８】
次に、Ｓ８３〜Ｓ８７の処理によって求めた探索窓２００２内画像とテンプレート１７０１との類似度をもとに、入力画像２００１からもっともテンプレート１７０１に類似した局所エリア（探索窓２００２領域）位置を見出し、その局所エリアに対応する位置を出力する（Ｓ８８）。
【０００９】
このような方法に基づく方法の一例が文献、Ｒ． Ｂｒｕｎｅｌｌｉ， Ｔ．Ｐｏｇｇｉｏ，“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｆｅａｔｕｒｅｓ ｖｅｒｓｕｓ Ｔｅｍｐｌａｔｅ”，ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔ． Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌ．， ｖｏｌ． ＰＡＭＩ−８， ｐｐ．３４−４３， １９９３、に詳しく報告されている。
【００１０】
【発明が解決しようとする課題】
上記のような従来法における課題は、コンピュータの処理コストである。探索対象とする入力画像のサイズをＳ、テンプレートサイズをＴとし、正規化相関を類似度基準とする場合、時間計算量は乗算を単位演算とすると２×Ｔ×Ｓ回の演算回数を必要とする。例えば、典型的な顔画像の特徴点抽出問題では、Ｔ＝５０×２０＝１０００（ｐｅｌ）、Ｓ＝１５０×１５０＝２２５００（ｐｅｌ）の場合を考えてみても、乗算だけで２×１０００×２２５００＝４５×１００万回＝４５００万回となり、いくらコンピュータの演算速度が向上したといえ、莫大な演算コストを要するものとなる。
【００１１】
また、処理に用いるテンプレートは、全学習データの平均等の典型的データを用いるものが多く、環境よって照合がうまくいかない場合が多い。このため入力パターンに応じてテンプレートを複数用意して、複数のテンプレートによる類似度計算を行う手法がある。しかしながら、テンプレートの数に応じて処理数が増大するため、コンピュータの処理コストからみても負荷が大きいものになってしまう。
【００１２】
本発明は、少ない処理コストで入力データの特徴点を正確に求めることを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、サンプルのデータとこのデータ内における特徴点の位置との相関を予め学習しておき、この学習により求めた相関を用いて、入力されたデータの特徴点がどこであるかを推定するようにしたものである。
【００１４】
同じ種類のデータと、このデータ内における特徴点とは、一定の相関があるので、この相関を用いることで、データの特徴点がどこであるかを少ない処理コストで、かつ正確に求めることができる。
【００１５】
【発明の実施の形態】
本発明の第１の態様にかかるアイリス推定装置は、サンプルとなるサンプル眼領域画像を入力するサンプル入力手段と、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するパラメタ入力手段と、アイリスの輪郭を推定する照合対象眼領域画像を入力する照合データ入力手段と、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求める学習手段と、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するパラメタ推定手段と、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するアイリス推定手段と、を具備した構成を採る。
【００１６】
これにより、サンプル眼領域画像とこれに対するアイリスの輪郭を構成する点の集合との相関を点集合の分布毎に求められ、この相関を用いることで、照合対象眼領域画像からこれに対するアイリスの輪郭を構成する点の集合を推定できる。これにより、少ない処理コストでアイリスの輪郭を構成する点の集合を推定でき、アイリス領域画像を抽出できる。
【００１７】
本発明の第２の態様は、第１の態様にかかるアイリス推定装置において、前記学習手段は、前記サンプル眼領域画像をベクトル化した第１の教示ベクトルの平均ベクトルおよび前記アイリスの輪郭を形成する前記点の集合をベクトル化した第２の教示ベクトルの平均ベクトルを求めるとともに、前記第１の教示ベクトルおよび前記第２の教示ベクトルの合成ベクトルを構成し、前記合成ベクトルの複数の要素分布を集合した混合分布モデルを推定し、前記要素分布毎に属する前記自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、前記パラメタ推定手段は、前記第１の教示ベクトルおよび前記第２の教示ベクトルの平均ベクトルならびに前記要素分布毎に属する前記相互相関情報を用いて、前記照合対象眼領域画像の前記点の集合を推定する。
【００１８】
これにより、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【００１９】
本発明の第３の態様は、第１の態様または第２の態様にかかるアイリス推定装置と、前記アイリス推定装置により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合する照合手段とを具備した構成を採る。
【００２０】
これにより、少ない処理コストでアイリスの照合ができる。
【００２１】
本発明の第４の態様は、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、を具備したことを特徴とするアイリス推定方法である。
【００２２】
本発明の第５の態様は、第４の態様のアイリス推定方法により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合することを特徴とするアイリス照合方法である。
【００２３】
本発明の第６の態様は、コンピュータに、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、を行わせることを特徴としたプログラムである。
【００２４】
本発明の第７の態様は、コンピュータに、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、推定した前記照合対象眼領域画像の前記アイリス領域画像を用いて、前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合するステップと、を行わせることを特徴としたプログラムである。
【００２５】
（実施の形態１）
本発明の実施の形態１では、パラメタ推定装置を顔画像照合装置に応用した場合について説明する。
【００２６】
図１は、本発明の実施の形態１における顔画像照合装置のブロック図である。実施の形態１にかかる顔画像照合装置１００は、コンピュータシステム１７で実現したものである。
【００２７】
図１において、コンピュータシステム１７には、人物の顔画像を直接撮影し、コンピュータシステム１７に画像を入力ためのビデオカメラ（カメラ）１が接続されている。また、コンピュータシステム１７には、システムコンソールとしてのディスプレイ８と、画像パターン情報など大規模なデータを保存するための二次記憶装置（ハードディスクや光磁気ディスクなど）９と、ディスプレイ８上で推定の対象となる固有なパラメタである特徴点パラメタを手動で入力するためのマウス１０が接続されている。
【００２８】
また、コンピュータシステム１７には、ビデオカメラ１からの映像信号を記憶する画像メモリ２と、プログラムの格納やワーク用のメモリ３と、メモリ３に格納されたプログラムに基づいた処理を行うＣＰＵ４と、画像パターンや特徴抽出の実行によって計算された特徴パターンを記憶するパターンメモリ５、６と、計算された特徴抽出行列を格納するための特徴抽出行列格納メモリ７と、あらかじめ登録された人物の顔画像を集めた登録画像データベース１１と、外部機器とのデータのやりとりを行うインターフェース（Ｉ／Ｆ）１２〜１５と、が設けられている。また、コンピュータシステム１７に設けられた各ブロックはシステムバス１６で接続されている。
【００２９】
顔画像照合装置１００は、顔画像（例えば濃淡パターン）と顔画像内における固有なパラメタである特徴点（例えば眼、鼻、眉、口など）の位置に相関関係があることに着目したものである。すなわち、予めサンプルである顔画像とこの顔画像の特徴点との相関を学習しておき、この学習結果を用いてサンプルと照合するためにカメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定するようにしたものである。そして、上述したように推定した特徴点より照合する顔画像から照合に用いる顔領域を求め、求めた顔領域の画像と予め用意してある顔画像データベース内の画像と比較することで、照合する画像の人物と登録された顔画像データベース内の顔画像の人物とが一致するかの照合を行うものである。
【００３０】
さらに、本実施の形態では、サンプルである人の顔画像とこれらの顔画像内における特徴点の位置の相関を複数学習しておくことで、サンプルと照合するためにカメラ１で撮影した顔画像の特徴点の推定精度を向上している。
【００３１】
具体的には、顔画像照合装置１００は、複数のサンプルの顔画像とこの顔画像の特徴点との相関を予め計算するオフライン処理と、この計算した相関を用いてカメラ１から入力された画像から特徴点の座標値を推定し、特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行うオンライン処理に大別される。
【００３２】
オフライン処理は、サンプルとして予め撮影された顔画像より得られる第１の教示ベクトルと、サンプルの顔画像における特徴点の座標より得られる第２の教示ベクトルと、これらの教示ベクトルにおける平均ベクトルの計算と、第１の教示ベクトルの自己相関情報である共分散行列の擬似逆行列の計算と、第１の教示ベクトルと第２の教示ベクトルの相互相関情報である共分散行列の計算とを行う。
【００３３】
さらに詳細に、オフライン処理の目的は、まず、画像メモリ２に一旦蓄えられた教示用の画像から得られる教示ベクトルＶ1と、教示ベクトルＶ1の特徴点の座標より得られる教示ベクトルＶ2と、教示ベクトルＶ1の平均ベクトルＭ1と、教示ベクトルＶ2の平均ベクトルＭ2とを計算しておき、そして、これらの計算結果を用いて、教示ベクトルＶ1の分布を示す教示ベクトルＶ1の共分散行列およびこの擬似逆行列と、教示ベクトルＶ1と教示ベクトルＶ2との相関である教示ベクトルＶ1と教示ベクトルＶ2との共分散行列とを求めることである。
【００３４】
ここで、教示ベクトルＶ1は、想定される入力画像（サンプル画像）をベクトル化した入力ベクトルの学習サンプルであり、想定される入力画像と同一種類の画像をベクトル化したベクトルの学習サンプルである。例えば、想定される入力画像が日本人男性の顔画像であれば、日本人男性の顔画像をベクトル化したベクトルの学習サンプルをとる。
【００３５】
また、教示ベクトルＶ2は教示ベクトルＶ1に対して想定される特徴点の座標をベクトル化した出力ベクトルの学習サンプルである。（数１）に、教示ベクトルＶ1、教示ベクトルＶ2の具体的な形式を示す。
【００３６】
【数１】
次に、顔画像照合装置１００が行うオフライン処理について、図２を用いて説明する。図２は、実施の形態１にかかる顔画像照合装置１００のオフライン処理の動作フロー図である。なお、以下の説明で顔画像照合装置１００が行う処理は、実際にはＣＰＵ４がメモリ３に格納されたプログラムを実行することで行う。
【００３７】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１０）。
【００３８】
次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ1を求める（Ｓ１１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１２）。
【００３９】
図３に、ユーザにより入力された顔の特徴点の例を示す。顔画像１２０１の原点Ｏ１２０８を基準に、右眉１２０２、右目１２０３、左眉１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が、特徴点としてユーザにより入力される。
【００４０】
次に、顔画像照合装置１００は、（数１）を用いて、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ１３）。次に、顔画像照合装置１００は、教示ベクトルＶ1をパターンメモリ５に、教示ベクトルＶ2をパターンメモリ６に記憶する（Ｓ１４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１５）、終了したら処理（Ｓ１６）に進み、終了していない場合は処理（Ｓ１１）に進む。
【００４１】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の集合｛Ｖ1｝および｛Ｖ2｝より（数２）、（数３）に従って平均ベクトルＭ1、Ｍ2を計算し、特徴抽出行列格納メモリ７に保存する（Ｓ１６）。
【００４２】
【数２】
【数３】
次に、顔画像照合装置１００は、Ｎ人分の教示ベクトルＶ1の集合｛Ｖ1｝より（数４）に従って共分散行列Ｃ1を計算することで、教示ベクトルＶ1の分布、つまり、カメラ１から入力したＮ人の顔画像パターンの分布を算出する。そして、顔画像照合装置１００は、求めた共分散行列Ｃ1を特徴抽出行列格納メモリ７に格納する（Ｓ１７）。ここで顔画像パターンの分布を求めるのは、顔画像パターンの分布が顔画像パターンの特性を表すからであり、顔画像パターンの特性を求めるためである。
【００４３】
【数４】
次に、顔画像照合装置１００は、Ｎ人分の教示ベクトルＶ1、Ｖ2の集合｛Ｖ1｝および｛Ｖ2｝より（数５）に従って共分散行列Ｃ2を計算することで、教示ベクトルＶ1、Ｖ2の相関、つまりＮ人の顔画像パターンと顔画像パターンの特徴点の相関を算出する。顔画像照合装置１００は、求めた共分散行列Ｃ2を特徴抽出行列格納メモリ７に格納する（Ｓ１７）。
【００４４】
【数５】
次に、顔画像照合装置１００は、Ｓ１７において求めた共分散行列Ｃ1と共分散行列Ｃ2から、オンライン処理で入力される顔画像から特徴点を抽出するために使用するパラメタである特徴抽出行列Ｃ3を、（数６）に従って計算する（Ｓ１８）。そして、顔画像照合装置１００は、求めた特徴抽出行列Ｃ3を特徴抽出行列格納メモリ７に格納する。
【００４５】
【数６】
以上が、顔画像照合装置１００が、オフラインで実行する処理であり、特徴抽出行列格納メモリ７には、上述した処理で求めた、平均ベクトルＭ1、Ｍ2、パラメタとして共分散行列Ｃ1と共分散行列Ｃ2、及び特徴抽出行列Ｃ3が格納されている。
【００４６】
次に、オンライン処理について、図４を用いて説明する。図４は、実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図である。
【００４７】
オンライン処理の目的は、入力された顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから顔領域の画像を求め、画像データベースに登録された画像と照合することにある。
【００４８】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ２０）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積した入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ２１）。
【００４９】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフライン処理で求めた特徴抽出行列Ｃ3および平均ベクトルＭ1、Ｍ2から、（数７）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ２２）。（数７）は、オフラインで求めた、教示ベクトルＶ1、Ｖ2の相関、つまりＮ人の顔画像パターンと顔画像パターンの特徴点の相互相関を示す共分散行列Ｃ2を用いて、入力ベクトルデータＸつまり入力画像の特徴点を算出する式である。
【００５０】
【数７】
次に、顔画像照合装置１００は、求めた特徴点座標値の期待値ベクトルＥが各特徴点の座標値の合成ベクトルとなっているので、入力ベクトルデータの特徴点の座標値を期待値ベクトルＥより得る（Ｓ２３）。次に、顔画像照合装置１００は、Ｓ２３で求めた特徴点の座標値を用いて、入力画像から、あらかじめ登録された顔画像データベースの顔画像との照合を行う顔領域を決定する（Ｓ２４）。
【００５１】
検出された照合用の顔領域の例を図５に示す。本実施の形態では、顔画像１３０１から、鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を照合用の顔領域１３０２として決定する。
【００５２】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ２５）、結果をディスプレイ８に表示すると共に二次記憶装置９に転送する（Ｓ２６）。なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する。そして、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００５３】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上には、入力された入力顔画像１５０２と、顔領域枠１５０３と、照合結果１５０４、１５０５が表示される。
【００５４】
ここで、（数７）を用いた計算によって特徴点位置情報の推定が可能な理由を説明する。
【００５５】
（数７）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2の関係を、２つのベクトルの分布が正規分布であるという仮定の元でベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数７）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００５６】
以上のように実施の形態１によれば、予め学習したサンプルの顔画像とこの特徴点との相関を用いて、カメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定することができる。そして、上述したように推定した特徴点より照合用の顔領域を求め、求めた照合用の顔領域画像とあらかじめ登録しておいた顔画像データベース内の顔画像を比較することで、照合用の顔画像の人物とあらかじめ登録された顔画像の人物とが一致するかの照合を行うことができる。これにより、従来法に比べ格段に少ない演算で所望のパラメタを推定することができ、少ない演算で顔画像の照合ができる。
【００５７】
具体的には、実施の形態１によれば、入力ベクトルに対して固有なパラメタを、３回の行列演算で推定することが出来る。つまり、従来のテンプレートマッチングを用いた探索に比べ格段に小さな計算コストで推定できるため、その効果は非常に大きい。ここで、前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数７）に当てはめると特徴抽出行列Ｃ3は縦２２５００×横４の行列、（Ｘ−Ｍ1）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００５８】
また、実施の形態１によれば、第１の教示ベクトルの共分散行列から自己相関情報を求め、第１の教示ベクトルと第２の教示ベクトルとの共分散行列から相互相関情報を求めることができる。これにより、単純に行列演算だけ、つまり乗算だけで固有なパラメタの計算や、相互相関情報や自己相関情報の計算ができるため、コンピュータの処理コストが非常に小さくなる。
【００５９】
また、実施の形態１によれば、複数の人の顔画像とこれらの顔画像内における特徴点の位置の相関を学習しておくことにより、より精度の高い相関を求めることができるので、精度の高い推定ができるという作用を有する。
【００６０】
また、実施の形態１では、上述した（数１）〜（数７）を用いて、パラメタの推定を行ったが、予めサンプルとなる顔画像と特徴点の相関を求め、求めた相関を使ってパラメタの推定を行う式であれば（数１）〜（数７）以外の式を使ってもよい。
【００６１】
（実施の形態２）
本発明の実施の形態２は、サンプルの入力画像（入力ベクトル）の分布にバラツキを持たせたものであり、いろいろな分布を持つ照合用の入力画像に対応できるようにしたものである。具体的には、サンプルの入力画像を複数の分布に分け、それぞれの分布毎に入力画像と入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を求めるようにしたものである。
【００６２】
以下、実施の形態２にかかる顔画像照合装置について説明する。実施の形態２にかかる顔画像照合装置のブロック構成図は、実施の形態１の顔画像照合装置と同じコンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００６３】
実施の形態２にかかる顔画像照合装置は、大きく分けてオフライン処理と、オンライン処理を行う。
【００６４】
オフライン処理は、撮影された顔画像より得られる第１の教示ベクトルと撮影された顔画像における特徴点の座標より得られる第２の教示ベクトルの集合を入力し、第１および第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、同じく第２の教示ベクトルの平均ベクトルを求める処理である。
【００６５】
また、オフライン処理は、カメラから入力された画像からその特徴点の座標値を推定し、推定した特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行う。
【００６６】
まず、実施の形態２にかかるオフライン処理について、図７のオフライン処理の動作フローを用いて説明する。
【００６７】
オフライン処理の目的は、画像メモリに一旦蓄えられた教示用の画像から、第１、第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルにおける共分散行列の擬似逆行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、要素分布ｋに属する教示ベクトルの平均ベクトルを計算することにある。
【００６８】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１６００）。
【００６９】
次に、顔画像照合装置１００は、二次記憶装置９に記憶した顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで、教示ベクトルＶ1を求める（Ｓ１６０１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点の座標点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１６０２）。図３に入力する顔の特徴点の例を示すが、顔画像１２０１の原点Ｏを基準に右眉１２０２、右目１２０３、左目１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が入力される。
【００７０】
次に、顔画像照合装置１００は、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ１６０３）。そして、顔画像照合装置１００は、教示ベクトルＶ1はパターンメモリ５に、教示ベクトルＶ2はパターンメモリ６に記憶する（Ｓ１６０４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１６０５）、終了したら処理（Ｓ１６０６）に進み、終了していない場合は処理（Ｓ１６０１）に進む。
【００７１】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合における確率分布を混合ガウシアンモデル（以下ＧＭＭと呼ぶ）で複数（Ｍ個）の分布を持つ要素分布にモデル化し、モデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを計算する。即ち、顔画像照合装置１００は、ｋ番目の要素分布に属するベクトルＶ1、Ｖ2の平均ベクトルＭ1 k、Ｍ2 k、ベクトルＶ1の共分散行列Ｃ1 k、ベクトルＶ1、Ｖ2の相互相関行列Ｃ12 kを計算する（Ｓ１６０６）。
【００７２】
この計算には、通常ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムが用いられるが、これは文献：Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｂｉｓｈｏｐ， Ｏｘｆｏｒｄ出版“Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ”５９〜７３頁（１９９５）に詳細に記述されている。
【００７３】
次に、顔画像照合装置１００は、Ｓ１６０６において、求めたベクトルＶ1の共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算する。
【００７４】
次に、顔画像照合装置１００は、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから（数８）に従って特徴抽出行列Ｃ3 kを計算する（Ｓ１６０７）。そして、顔画像照合装置１００は、求めた特徴抽出行列Ｃ3 kを特徴抽出行列格納メモリ７に格納する（Ｓ１６０８）。
【００７５】
【数８】
以上が、実施の形態２におけるオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋについて、平均ベクトルＭ1 k、Ｍ2 k、及び、特徴抽出行列Ｃ3 kを求め、特徴抽出行列格納メモリにするものである。
【００７６】
次に、実施の形態２におけるオンライン処理について、図８に示すフローチャートを用いて説明する。オンライン処理の目的は、入力された照合対象の顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから照合に用いる顔領域を決定し、決定した顔領域内の画像を求め、この画像と画像データベースに登録された画像と照合することにある。
【００７７】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ１７００）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積された入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１７０１）。
【００７８】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ3 kおよび平均ベクトルＭ1 k、Ｍ2 kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１７０２）。
【００７９】
【数９】
次に、求めた特徴点座標値の期待値ベクトルＥが各特徴点の座標値の合成ベクトルとなっているので、顔画像照合装置１００は、特徴点の座標値の期待値ベクトルＥより各特徴点の座標値を得る（Ｓ１７０３）。そして、顔画像照合装置１００は、Ｓ１７０３において得た各特徴点の座標値をもとに、照合に用いる顔領域を決定する（Ｓ１７０４）。検出された顔領域の例を図５に示すが、例えば鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を顔領域１３０２として決定する。
【００８０】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ１７０５）、結果をディスプレイ８に表示し、二次記憶装置９に転送する（Ｓ１７０６）。
【００８１】
なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する方法である。つまり、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００８２】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上に入力された入力顔画像１５０２と照合結果１５０４、１５０５が表示される。
【００８３】
ここで、上述した計算によって特徴点位置情報の推定が可能な理由を説明する。
【００８４】
（数８）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2の関係を、２つのベクトルの合成ベクトルにおける分布が混合正規分布であるという仮定の下で、ベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数９）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００８５】
以上のように実施の形態２によれば、サンプルの入力画像を複数の分布に分け、それぞれの分布毎にサンプルの入力画像とこの入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を推定することができる。これにより、照合用の入力画像の分布、つまり特性にバラツキがあっても、正確に特徴点を推定できる。
【００８６】
また、実施の形態２によれば、（数９）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数９）に当てはめると特徴抽出行列Ｃ3 kは縦２２５００×横４の行列、（Ｘ−Ｍ1）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００８７】
また、実施の形態２によれば、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【００８８】
（実施の形態３）
本発明の実施の形態３は、実施の形態２のパラメタ推定装置を、人の眼を撮影した画像からのアイリスの輪郭点を検出し、この輪郭点を用いてアイリス領域画像を抽出し、抽出したアイリス領域画像と登録しているアイリスデータと照合するアイリス照合装置に応用したものである。このようにして、少ない処理コストで、人それぞれ模様が違うといわれているアイリスを安定して抽出することができ、少ない処理コストでアイリスを用いた人の照合ができるというものである。以下、実施の形態３について説明する。実施の形態３におけるアイリス照合装置のブロック構成図は、実施の形態１の顔画像照合装置と同じコンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００８９】
アイリス照合装置は、カメラ１により撮影した眼領域画像（例えば濃淡パターン）からアイリスの輪郭を構成する座標点集合を検出し、アイリス領域画像を切り出し、登録画像と照合するものである。切り出したアイリス領域画像の照合は、実施の形態１による顔画像の照合と同様であるため、以下、アイリス領域の切り出しについて説明する。
【００９０】
アイリス領域の切り出し処理は、撮影した眼領域の画像より得られる第１の教示ベクトルと、眼領域画像内において検出対象となるアイリスの輪郭点集合よりなる第２の教示ベクトルとの合成ベクトルを構成し、合成ベクトルの集合を混合分布（要素分布数Ｍ）モデルでモデル化した際の分布のパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列の擬似逆行列を計算し、同じく第１の教示ベクトルの平均ベクトルを計算し、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列を計算し、要素分布ｋに属する教示ベクトルの平均ベクトルを計算するオフライン処理と、カメラから入力した眼領域画像からアイリスの輪郭点を構成する座標値の集合を推定し、輪郭点の座標値集合から決定されるアイリス領域を抽出するオンライン処理の２つの処理に分かれる。
【００９１】
まず、オフライン処理について、図９のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、画像メモリに一旦蓄えられた教示用（サンプル）の画像から、共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算し、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから特徴抽出行列Ｃ3 kを計算することにある。
【００９２】
まず、アイリス照合装置は、カメラ１からＮ人の眼領域画像パターンを入力し、Ｉ／Ｆ１２を介して一旦画像メモリ２に蓄積した後に、全て二次記憶装置９に転送する（Ｓ９００）。
【００９３】
次に、アイリス照合装置は、二次記憶装置９に記憶した眼領域画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ1を求める（Ｓ９０１）。次に、アイリス照合装置は、それぞれの眼領域画像パターンをディスプレイ８に一枚ずつ表示する。そして、これを見たユーザがマウス１０を用いて手動でアイリス領域の輪郭を構成する座標点の集合を指定すると、アイリス照合装置は、指定されたアイリス領域の輪郭をメモリ３に入力する（Ｓ９０２）。
【００９４】
図１０にユーザが指定するアイリス領域を示す。図に示すように、ディスプレイ８には、眼領域画像１０００が表示される。そして、眼領域画像１０００には、眼画像１００５ａ、１００５ｂが含まれている。そして、ユーザは、眼画像１００５ａ、１００５ｂ内のアイリス領域１００１を認識し、マウスカーソル１００４を操作することで眼画像１００５ａ、１００５ｂに対してアイリスの外側の輪郭１００２およびアイリスの内側の輪郭１００３を指定する。
【００９５】
次に、アイリス照合装置は、入力したアイリスの各輪郭点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ９０３）。次に、アイリス照合装置は、教示ベクトルＶ1をパターンメモリ５に、教示ベクトルＶ2をパターンメモリ６に記憶する（Ｓ９０４）。そして、アイリス照合装置は、Ｎ人分の処理が終了したかを判定し（Ｓ９０５）、終了したら処理（Ｓ９０６）に進み、終了していない場合は処理（Ｓ９０１）に進む。
【００９６】
次に、アイリス照合装置は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合の確率分布をＧＭＭでモデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを推定する。即ち、アイリス照合装置は、ｋ番目の要素分布に属するベクトルＶ1、Ｖ2の平均ベクトルＭ1 k、Ｍ2 k、ベクトルＶ1の共分散行列Ｃ1 k、ベクトルＶ1、Ｖ2の相互相関行列Ｃ12 kを計算する（Ｓ９０６）。この計算には、通常ＥＭアルゴリズムが用いられる。
【００９７】
次に、アイリス照合装置は、求めたベクトルＶ1の共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算する。そして、アイリス照合装置は、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから（数８）に従って特徴抽出行列Ｃ3 kを計算する（Ｓ９０７）。そして、アイリス照合装置は、求めた特徴抽出行列Ｃ3 kを特徴抽出行列格納メモリ７に格納する（Ｓ９０８）。
【００９８】
以上が、実施の形態３においてオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋについて、平均ベクトルＭ1 k、Ｍ2 k、及び、特徴抽出行列Ｃ3 kを求め、特徴抽出行列格納メモリに格納する処理である。
【００９９】
次に、実施の形態３のオンライン処理について、図１１に示すフローチャートを用いて説明する。実施の形態３にかかるオンライン処理の目的は、入力された眼領域画像から、入力に対して固有なパラメタであるアイリスの輪郭点の座標値集合を推定し、これからアイリス領域の画像を求めることにある。
【０１００】
まず、アイリス照合装置は、カメラ１から眼領域画像を入力し（Ｓ１１０１）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積した入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１１０２）。
【０１０１】
次に、アイリス照合装置は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ3 kおよび平均ベクトルＭ1 k、Ｍ2 kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１１０３）。
【０１０２】
期待値ベクトルＥは、入力ベクトルＸに対する、アイリスの輪郭を構成する点の座標値の集合の期待値に等しい。よって、アイリス照合装置は、期待値ベクトルＥからアイリスの輪郭を構成する点の座標値の集合を決定する（Ｓ１１０４）。そして、アイリス照合装置は、決定したアイリスの輪郭を構成する点の集合からアイリスの領域画像を決定する（Ｓ１１０５）。
【０１０３】
検出されたアイリス領域の例を図１２に示す。例えば、アイリス照合装置は、アイリスの外側の輪郭１２０１とアイリスの内側の輪郭１２０２を構成する点集合１２０３を連結し、得られた２つの曲線の内側を取り出すことで、アイリス領域画像１２０４を抽出する。
【０１０４】
次に、アイリス照合装置は、Ｓ１１０５において求めたアイリス領域内の画像と、予め登録画像データベース１１に登録してあるアイリスの領域画像との照合を行い（Ｓ１１０６）、結果をディスプレイ８に表示し、二次記憶装置９に転送する（Ｓ１１０６）。この照合方法については、実施の形態１、実施の形態２と同じなので説明を省略する。
【０１０５】
以上のように実施の形態３によれば、サンプルの眼領域画像とこれに対するアイリスの輪郭を構成する点の集合との相関を点集合の分布毎に求め、この相関を用いることで、照合対象の眼領域画像からこれに対するアイリスの輪郭を構成する点の集合を推定できる。これにより、少ない処理コストでアイリスの輪郭を構成する点の集合を推定でき、アイリスの領域画像を抽出できる。
【０１０６】
また、実施の形態３によれば、（数９）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。これにより、従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。
【０１０７】
なお、特徴抽出行列及び期待値ベクトルは、実施の形態１のように特徴抽出行列Ｃ3および平均ベクトルＭ1、Ｍ2から、（数７）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算しても良い。
【０１０８】
本発明は、上述の実施の形態に限定されるものではない。本発明では、ＣＰＵ４がプログラムを読み込むことで、ＣＰＵ４が第１の教示ベクトルの自己相関情報と、第１の教示ベクトルと第２教示ベクトルの相互相関情報と、第１の教示ベクトルの平均ベクトルおよび第２の教示ベクトルの平均ベクトルを計算する学習手段と、計算した自己相関情報、相互相関情報、第１の教示ベクトルの平均ベクトル、および第２の教示ベクトルの平均ベクトルを用いて入力画像の特徴点（パラメタ）を推定するパラメタ推定手段と、推定した特徴点を用いて画像内の特徴を表す部分領域を決定する部分領域決定手段と、決定した部分領域画像を用いて入力画像の対象物と予め登録された対象物との一致を照合する照合手段として動作する形態で説明したが、学習手段、パラメタ推定手段、部分領域決定手段、および照合手段を専用のプロセッサを具備する形態であっても良い。
【０１０９】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭおよび磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【０１１０】
【発明の効果】
以上説明したように本発明によれば、少ない処理コストで入力画像の特徴点を正確に求めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における顔画像照合装置のブロック図
【図２】実施の形態１にかかる顔画像照合装置のオフライン処理の動作フロー図
【図３】実施の形態１においてユーザにより入力される顔の特徴点を示す図
【図４】実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図
【図５】実施の形態１において検出された顔領域を示す図
【図６】実施の形態１においてディスプレイへ出力される図
【図７】本発明の実施の形態２にかかる顔画像照合装置のオフライン処理の動作フロー図
【図８】実施の形態２にかかる顔画像照合装置のオンライン処理の動作フロー図
【図９】本発明の実施の形態３にかかるアイリス照合装置のオフライン処理の動作フロー図
【図１０】実施の形態３においてユーザにより入力されるアイリスの特徴点を示す図
【図１１】実施の形態３にかかるアイリス照合装置のオンライン処理の動作フロー図
【図１２】実施の形態３においてディスプレイへ出力される図
【図１３】従来の顔の特徴抽出方法の動作フロー図
【図１４】目のテンプレートを示す図
【図１５】テンプレートによる探索を説明するための図
【符号の説明】
１ ビデオカメラ
２ 画像メモリ
３ メモリ
４ ＣＰＵ
５、６ パターンメモリ
７ 特徴抽出行列格納メモリ
８ ディスプレイ
９ 二次記憶装置（ＨＤＤ、光磁気ディスクなど）
１０ マウス
１１ 登録画像データベース
１２〜１５ インターフェース
１６ システムバス
１７ コンピュータシステム
１００ 顔画像照合装置
【発明の属する技術分野】
本発明は、入力アイリスパターンからアイリス領域画像を推定するアイリス推定装置および、これを用いて入力アイリスパターンの照合を行うアイリス照合装置に関する。
【０００２】
【従来の技術】
入力パターンから特定のパラメタを抽出する処理は、パターン情報処理において非常に一般的な処理である。例えば、人物顔画像から目や鼻の位置を取り出す処理や、車両画像からナンバープレートの位置を抽出する処理がそれにあたる。
【０００３】
従来、このような処理に対してもっとも一般的な方法は、以下に要約されるような照合フィルター法と言われるもので、非常に多くの使用例が提案されている。顔の特徴抽出方法を例に、図１３を用いて説明する。
【０００４】
図１３のフローチャートに示すように、まず目や鼻の部分のテンプレートをテンプレートデータベース１６０１に用意しておく。テンプレートデータベース１６０１には図１４に示すように目のテンプレート１７０１が複数格納される。
【０００５】
まず、カメラから入力画像が与えられると（Ｓ８１）、テンプレートデータベース１６０１から１つのテンプレート画像１７０１を得る（Ｓ８２）。次に、図１５に示すように、入力画像２００１を探索窓２００２で探索し、探索窓２００２内画像とテンプレート１７０１との類似度を求める（Ｓ８３）。類似度の算出には、探索窓２００２内の画像とテンプレート１７０１との正規化相関などを用いることが多い。
【０００６】
そして、この処理を入力画像２００１全体について行ったか判断し（Ｓ８４）、入力画像２００１全体について行うまで、入力画像２００１を探索窓２００２でスキャンし（Ｓ８５）、Ｓ８３の処理を行う。
【０００７】
次に、テンプレートデータベース１６０１に含まれる全てのテンプレート１７０１について、上述した探索を行ったか判断し（Ｓ８６）、全てのテンプレート１７０１について処理を行っていない場合は、処理対象のテンプレート１７０１を変更し（Ｓ８７）、Ｓ８３の処理に移行し、全てのテンプレートに対してＳ８３〜Ｓ８７の処理をする。
【０００８】
次に、Ｓ８３〜Ｓ８７の処理によって求めた探索窓２００２内画像とテンプレート１７０１との類似度をもとに、入力画像２００１からもっともテンプレート１７０１に類似した局所エリア（探索窓２００２領域）位置を見出し、その局所エリアに対応する位置を出力する（Ｓ８８）。
【０００９】
このような方法に基づく方法の一例が文献、Ｒ． Ｂｒｕｎｅｌｌｉ， Ｔ．Ｐｏｇｇｉｏ，“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｆｅａｔｕｒｅｓ ｖｅｒｓｕｓ Ｔｅｍｐｌａｔｅ”，ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔ． Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌ．， ｖｏｌ． ＰＡＭＩ−８， ｐｐ．３４−４３， １９９３、に詳しく報告されている。
【００１０】
【発明が解決しようとする課題】
上記のような従来法における課題は、コンピュータの処理コストである。探索対象とする入力画像のサイズをＳ、テンプレートサイズをＴとし、正規化相関を類似度基準とする場合、時間計算量は乗算を単位演算とすると２×Ｔ×Ｓ回の演算回数を必要とする。例えば、典型的な顔画像の特徴点抽出問題では、Ｔ＝５０×２０＝１０００（ｐｅｌ）、Ｓ＝１５０×１５０＝２２５００（ｐｅｌ）の場合を考えてみても、乗算だけで２×１０００×２２５００＝４５×１００万回＝４５００万回となり、いくらコンピュータの演算速度が向上したといえ、莫大な演算コストを要するものとなる。
【００１１】
また、処理に用いるテンプレートは、全学習データの平均等の典型的データを用いるものが多く、環境よって照合がうまくいかない場合が多い。このため入力パターンに応じてテンプレートを複数用意して、複数のテンプレートによる類似度計算を行う手法がある。しかしながら、テンプレートの数に応じて処理数が増大するため、コンピュータの処理コストからみても負荷が大きいものになってしまう。
【００１２】
本発明は、少ない処理コストで入力データの特徴点を正確に求めることを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、サンプルのデータとこのデータ内における特徴点の位置との相関を予め学習しておき、この学習により求めた相関を用いて、入力されたデータの特徴点がどこであるかを推定するようにしたものである。
【００１４】
同じ種類のデータと、このデータ内における特徴点とは、一定の相関があるので、この相関を用いることで、データの特徴点がどこであるかを少ない処理コストで、かつ正確に求めることができる。
【００１５】
【発明の実施の形態】
本発明の第１の態様にかかるアイリス推定装置は、サンプルとなるサンプル眼領域画像を入力するサンプル入力手段と、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するパラメタ入力手段と、アイリスの輪郭を推定する照合対象眼領域画像を入力する照合データ入力手段と、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求める学習手段と、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するパラメタ推定手段と、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するアイリス推定手段と、を具備した構成を採る。
【００１６】
これにより、サンプル眼領域画像とこれに対するアイリスの輪郭を構成する点の集合との相関を点集合の分布毎に求められ、この相関を用いることで、照合対象眼領域画像からこれに対するアイリスの輪郭を構成する点の集合を推定できる。これにより、少ない処理コストでアイリスの輪郭を構成する点の集合を推定でき、アイリス領域画像を抽出できる。
【００１７】
本発明の第２の態様は、第１の態様にかかるアイリス推定装置において、前記学習手段は、前記サンプル眼領域画像をベクトル化した第１の教示ベクトルの平均ベクトルおよび前記アイリスの輪郭を形成する前記点の集合をベクトル化した第２の教示ベクトルの平均ベクトルを求めるとともに、前記第１の教示ベクトルおよび前記第２の教示ベクトルの合成ベクトルを構成し、前記合成ベクトルの複数の要素分布を集合した混合分布モデルを推定し、前記要素分布毎に属する前記自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、前記パラメタ推定手段は、前記第１の教示ベクトルおよび前記第２の教示ベクトルの平均ベクトルならびに前記要素分布毎に属する前記相互相関情報を用いて、前記照合対象眼領域画像の前記点の集合を推定する。
【００１８】
これにより、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【００１９】
本発明の第３の態様は、第１の態様または第２の態様にかかるアイリス推定装置と、前記アイリス推定装置により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合する照合手段とを具備した構成を採る。
【００２０】
これにより、少ない処理コストでアイリスの照合ができる。
【００２１】
本発明の第４の態様は、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、を具備したことを特徴とするアイリス推定方法である。
【００２２】
本発明の第５の態様は、第４の態様のアイリス推定方法により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合することを特徴とするアイリス照合方法である。
【００２３】
本発明の第６の態様は、コンピュータに、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、を行わせることを特徴としたプログラムである。
【００２４】
本発明の第７の態様は、コンピュータに、サンプルとなるサンプル眼領域画像を入力するステップと、前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、推定した前記照合対象眼領域画像の前記アイリス領域画像を用いて、前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合するステップと、を行わせることを特徴としたプログラムである。
【００２５】
（実施の形態１）
本発明の実施の形態１では、パラメタ推定装置を顔画像照合装置に応用した場合について説明する。
【００２６】
図１は、本発明の実施の形態１における顔画像照合装置のブロック図である。実施の形態１にかかる顔画像照合装置１００は、コンピュータシステム１７で実現したものである。
【００２７】
図１において、コンピュータシステム１７には、人物の顔画像を直接撮影し、コンピュータシステム１７に画像を入力ためのビデオカメラ（カメラ）１が接続されている。また、コンピュータシステム１７には、システムコンソールとしてのディスプレイ８と、画像パターン情報など大規模なデータを保存するための二次記憶装置（ハードディスクや光磁気ディスクなど）９と、ディスプレイ８上で推定の対象となる固有なパラメタである特徴点パラメタを手動で入力するためのマウス１０が接続されている。
【００２８】
また、コンピュータシステム１７には、ビデオカメラ１からの映像信号を記憶する画像メモリ２と、プログラムの格納やワーク用のメモリ３と、メモリ３に格納されたプログラムに基づいた処理を行うＣＰＵ４と、画像パターンや特徴抽出の実行によって計算された特徴パターンを記憶するパターンメモリ５、６と、計算された特徴抽出行列を格納するための特徴抽出行列格納メモリ７と、あらかじめ登録された人物の顔画像を集めた登録画像データベース１１と、外部機器とのデータのやりとりを行うインターフェース（Ｉ／Ｆ）１２〜１５と、が設けられている。また、コンピュータシステム１７に設けられた各ブロックはシステムバス１６で接続されている。
【００２９】
顔画像照合装置１００は、顔画像（例えば濃淡パターン）と顔画像内における固有なパラメタである特徴点（例えば眼、鼻、眉、口など）の位置に相関関係があることに着目したものである。すなわち、予めサンプルである顔画像とこの顔画像の特徴点との相関を学習しておき、この学習結果を用いてサンプルと照合するためにカメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定するようにしたものである。そして、上述したように推定した特徴点より照合する顔画像から照合に用いる顔領域を求め、求めた顔領域の画像と予め用意してある顔画像データベース内の画像と比較することで、照合する画像の人物と登録された顔画像データベース内の顔画像の人物とが一致するかの照合を行うものである。
【００３０】
さらに、本実施の形態では、サンプルである人の顔画像とこれらの顔画像内における特徴点の位置の相関を複数学習しておくことで、サンプルと照合するためにカメラ１で撮影した顔画像の特徴点の推定精度を向上している。
【００３１】
具体的には、顔画像照合装置１００は、複数のサンプルの顔画像とこの顔画像の特徴点との相関を予め計算するオフライン処理と、この計算した相関を用いてカメラ１から入力された画像から特徴点の座標値を推定し、特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行うオンライン処理に大別される。
【００３２】
オフライン処理は、サンプルとして予め撮影された顔画像より得られる第１の教示ベクトルと、サンプルの顔画像における特徴点の座標より得られる第２の教示ベクトルと、これらの教示ベクトルにおける平均ベクトルの計算と、第１の教示ベクトルの自己相関情報である共分散行列の擬似逆行列の計算と、第１の教示ベクトルと第２の教示ベクトルの相互相関情報である共分散行列の計算とを行う。
【００３３】
さらに詳細に、オフライン処理の目的は、まず、画像メモリ２に一旦蓄えられた教示用の画像から得られる教示ベクトルＶ1と、教示ベクトルＶ1の特徴点の座標より得られる教示ベクトルＶ2と、教示ベクトルＶ1の平均ベクトルＭ1と、教示ベクトルＶ2の平均ベクトルＭ2とを計算しておき、そして、これらの計算結果を用いて、教示ベクトルＶ1の分布を示す教示ベクトルＶ1の共分散行列およびこの擬似逆行列と、教示ベクトルＶ1と教示ベクトルＶ2との相関である教示ベクトルＶ1と教示ベクトルＶ2との共分散行列とを求めることである。
【００３４】
ここで、教示ベクトルＶ1は、想定される入力画像（サンプル画像）をベクトル化した入力ベクトルの学習サンプルであり、想定される入力画像と同一種類の画像をベクトル化したベクトルの学習サンプルである。例えば、想定される入力画像が日本人男性の顔画像であれば、日本人男性の顔画像をベクトル化したベクトルの学習サンプルをとる。
【００３５】
また、教示ベクトルＶ2は教示ベクトルＶ1に対して想定される特徴点の座標をベクトル化した出力ベクトルの学習サンプルである。（数１）に、教示ベクトルＶ1、教示ベクトルＶ2の具体的な形式を示す。
【００３６】
【数１】
【００３７】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１０）。
【００３８】
次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ1を求める（Ｓ１１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１２）。
【００３９】
図３に、ユーザにより入力された顔の特徴点の例を示す。顔画像１２０１の原点Ｏ１２０８を基準に、右眉１２０２、右目１２０３、左眉１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が、特徴点としてユーザにより入力される。
【００４０】
次に、顔画像照合装置１００は、（数１）を用いて、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ１３）。次に、顔画像照合装置１００は、教示ベクトルＶ1をパターンメモリ５に、教示ベクトルＶ2をパターンメモリ６に記憶する（Ｓ１４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１５）、終了したら処理（Ｓ１６）に進み、終了していない場合は処理（Ｓ１１）に進む。
【００４１】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の集合｛Ｖ1｝および｛Ｖ2｝より（数２）、（数３）に従って平均ベクトルＭ1、Ｍ2を計算し、特徴抽出行列格納メモリ７に保存する（Ｓ１６）。
【００４２】
【数２】
【００４３】
【数４】
【００４４】
【数５】
【００４５】
【数６】
【００４６】
次に、オンライン処理について、図４を用いて説明する。図４は、実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図である。
【００４７】
オンライン処理の目的は、入力された顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから顔領域の画像を求め、画像データベースに登録された画像と照合することにある。
【００４８】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ２０）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積した入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ２１）。
【００４９】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフライン処理で求めた特徴抽出行列Ｃ3および平均ベクトルＭ1、Ｍ2から、（数７）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ２２）。（数７）は、オフラインで求めた、教示ベクトルＶ1、Ｖ2の相関、つまりＮ人の顔画像パターンと顔画像パターンの特徴点の相互相関を示す共分散行列Ｃ2を用いて、入力ベクトルデータＸつまり入力画像の特徴点を算出する式である。
【００５０】
【数７】
【００５１】
検出された照合用の顔領域の例を図５に示す。本実施の形態では、顔画像１３０１から、鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を照合用の顔領域１３０２として決定する。
【００５２】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ２５）、結果をディスプレイ８に表示すると共に二次記憶装置９に転送する（Ｓ２６）。なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する。そして、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００５３】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上には、入力された入力顔画像１５０２と、顔領域枠１５０３と、照合結果１５０４、１５０５が表示される。
【００５４】
ここで、（数７）を用いた計算によって特徴点位置情報の推定が可能な理由を説明する。
【００５５】
（数７）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2の関係を、２つのベクトルの分布が正規分布であるという仮定の元でベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数７）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００５６】
以上のように実施の形態１によれば、予め学習したサンプルの顔画像とこの特徴点との相関を用いて、カメラ１で撮影した照合用の顔画像における特徴点の座標がどこであるかを推定することができる。そして、上述したように推定した特徴点より照合用の顔領域を求め、求めた照合用の顔領域画像とあらかじめ登録しておいた顔画像データベース内の顔画像を比較することで、照合用の顔画像の人物とあらかじめ登録された顔画像の人物とが一致するかの照合を行うことができる。これにより、従来法に比べ格段に少ない演算で所望のパラメタを推定することができ、少ない演算で顔画像の照合ができる。
【００５７】
具体的には、実施の形態１によれば、入力ベクトルに対して固有なパラメタを、３回の行列演算で推定することが出来る。つまり、従来のテンプレートマッチングを用いた探索に比べ格段に小さな計算コストで推定できるため、その効果は非常に大きい。ここで、前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数７）に当てはめると特徴抽出行列Ｃ3は縦２２５００×横４の行列、（Ｘ−Ｍ1）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００５８】
また、実施の形態１によれば、第１の教示ベクトルの共分散行列から自己相関情報を求め、第１の教示ベクトルと第２の教示ベクトルとの共分散行列から相互相関情報を求めることができる。これにより、単純に行列演算だけ、つまり乗算だけで固有なパラメタの計算や、相互相関情報や自己相関情報の計算ができるため、コンピュータの処理コストが非常に小さくなる。
【００５９】
また、実施の形態１によれば、複数の人の顔画像とこれらの顔画像内における特徴点の位置の相関を学習しておくことにより、より精度の高い相関を求めることができるので、精度の高い推定ができるという作用を有する。
【００６０】
また、実施の形態１では、上述した（数１）〜（数７）を用いて、パラメタの推定を行ったが、予めサンプルとなる顔画像と特徴点の相関を求め、求めた相関を使ってパラメタの推定を行う式であれば（数１）〜（数７）以外の式を使ってもよい。
【００６１】
（実施の形態２）
本発明の実施の形態２は、サンプルの入力画像（入力ベクトル）の分布にバラツキを持たせたものであり、いろいろな分布を持つ照合用の入力画像に対応できるようにしたものである。具体的には、サンプルの入力画像を複数の分布に分け、それぞれの分布毎に入力画像と入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を求めるようにしたものである。
【００６２】
以下、実施の形態２にかかる顔画像照合装置について説明する。実施の形態２にかかる顔画像照合装置のブロック構成図は、実施の形態１の顔画像照合装置と同じコンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００６３】
実施の形態２にかかる顔画像照合装置は、大きく分けてオフライン処理と、オンライン処理を行う。
【００６４】
オフライン処理は、撮影された顔画像より得られる第１の教示ベクトルと撮影された顔画像における特徴点の座標より得られる第２の教示ベクトルの集合を入力し、第１および第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、同じく第２の教示ベクトルの平均ベクトルを求める処理である。
【００６５】
また、オフライン処理は、カメラから入力された画像からその特徴点の座標値を推定し、推定した特徴点の座標値から決定される顔領域の画像と、あらかじめ登録された顔画像データベースの顔画像との照合処理を行う。
【００６６】
まず、実施の形態２にかかるオフライン処理について、図７のオフライン処理の動作フローを用いて説明する。
【００６７】
オフライン処理の目的は、画像メモリに一旦蓄えられた教示用の画像から、第１、第２の教示ベクトルの合成ベクトルを構成し、合成ベクトルの集合の混合分布（要素分布数Ｍ）モデルのパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルにおける共分散行列の擬似逆行列と、同じく第１の教示ベクトルの平均ベクトルと、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列と、要素分布ｋに属する教示ベクトルの平均ベクトルを計算することにある。
【００６８】
まず、顔画像照合装置１００は、サンプルとしてカメラ１からＮ人の顔画像パターンを入力する。そして、顔画像照合装置１００は、この入力されたサンプルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモリ２に一旦記憶した後に、全て二次記憶装置９に転送し、格納する（Ｓ１６００）。
【００６９】
次に、顔画像照合装置１００は、二次記憶装置９に記憶した顔画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで、教示ベクトルＶ1を求める（Ｓ１６０１）。次に、顔画像照合装置１００は、二次記憶装置９に記憶したサンプルの顔画像パターンをディスプレイ８に一枚ずつ表示する。そして、このサンプルの顔画像パターンを見たユーザがマウス１０を用いて手動で顔の特徴点の座標点を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を介してメモリ３に入力する（Ｓ１６０２）。図３に入力する顔の特徴点の例を示すが、顔画像１２０１の原点Ｏを基準に右眉１２０２、右目１２０３、左目１２０４、左目１２０５、鼻１２０６および口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が入力される。
【００７０】
次に、顔画像照合装置１００は、入力した各特徴点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ１６０３）。そして、顔画像照合装置１００は、教示ベクトルＶ1はパターンメモリ５に、教示ベクトルＶ2はパターンメモリ６に記憶する（Ｓ１６０４）。そして、顔画像照合装置１００は、Ｎ人分の処理が終了したかを判定し（Ｓ１６０５）、終了したら処理（Ｓ１６０６）に進み、終了していない場合は処理（Ｓ１６０１）に進む。
【００７１】
次に、顔画像照合装置１００は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合における確率分布を混合ガウシアンモデル（以下ＧＭＭと呼ぶ）で複数（Ｍ個）の分布を持つ要素分布にモデル化し、モデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを計算する。即ち、顔画像照合装置１００は、ｋ番目の要素分布に属するベクトルＶ1、Ｖ2の平均ベクトルＭ1 k、Ｍ2 k、ベクトルＶ1の共分散行列Ｃ1 k、ベクトルＶ1、Ｖ2の相互相関行列Ｃ12 kを計算する（Ｓ１６０６）。
【００７２】
この計算には、通常ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムが用いられるが、これは文献：Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｂｉｓｈｏｐ， Ｏｘｆｏｒｄ出版“Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ”５９〜７３頁（１９９５）に詳細に記述されている。
【００７３】
次に、顔画像照合装置１００は、Ｓ１６０６において、求めたベクトルＶ1の共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算する。
【００７４】
次に、顔画像照合装置１００は、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから（数８）に従って特徴抽出行列Ｃ3 kを計算する（Ｓ１６０７）。そして、顔画像照合装置１００は、求めた特徴抽出行列Ｃ3 kを特徴抽出行列格納メモリ７に格納する（Ｓ１６０８）。
【００７５】
【数８】
【００７６】
次に、実施の形態２におけるオンライン処理について、図８に示すフローチャートを用いて説明する。オンライン処理の目的は、入力された照合対象の顔画像から、入力に対して固有なパラメタである特徴点の座標値を推定し、これから照合に用いる顔領域を決定し、決定した顔領域内の画像を求め、この画像と画像データベースに登録された画像と照合することにある。
【００７７】
まず、顔画像照合装置１００は、カメラ１から画像を入力し（Ｓ１７００）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積された入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１７０１）。
【００７８】
次に、顔画像照合装置１００は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ3 kおよび平均ベクトルＭ1 k、Ｍ2 kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１７０２）。
【００７９】
【数９】
【００８０】
次に、顔画像照合装置１００は、顔領域１３０２の画像とあらかじめ登録した顔画像データベース１１との画像を例えば統計的手法である主成分分析を利用した固有顔法などの照合手法を用いて照合し（Ｓ１７０５）、結果をディスプレイ８に表示し、二次記憶装置９に転送する（Ｓ１７０６）。
【００８１】
なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔部分空間を主成分分析という統計的手法により生成する方法である。つまり、入力画像から顔のありそうな領域を正規化して顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【００８２】
ディスプレイ８への出力例を図６に示す。ディスプレイ１５０１上に入力された入力顔画像１５０２と照合結果１５０４、１５０５が表示される。
【００８３】
ここで、上述した計算によって特徴点位置情報の推定が可能な理由を説明する。
【００８４】
（数８）で得られる特徴点の座標値の期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2の関係を、２つのベクトルの合成ベクトルにおける分布が混合正規分布であるという仮定の下で、ベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数９）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【００８５】
以上のように実施の形態２によれば、サンプルの入力画像を複数の分布に分け、それぞれの分布毎にサンプルの入力画像とこの入力画像の特徴点との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点を推定することができる。これにより、照合用の入力画像の分布、つまり特性にバラツキがあっても、正確に特徴点を推定できる。
【００８６】
また、実施の形態２によれば、（数９）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。前記のテンプレートマッチによる計算コスト算出の場合と同じ例で本発明の計算コストを算出してみる。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗算を単位演算とした場合、（数９）に当てはめると特徴抽出行列Ｃ3 kは縦２２５００×横４の行列、（Ｘ−Ｍ1）は４次元のベクトルより乗算回数は４×２２５００＝９００００（ｐｅｌ）となり、乗算だけでテンプレートマッチの５００分の１の計算コストとなりその効果は大きい。
【００８７】
また、実施の形態２によれば、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【００８８】
（実施の形態３）
本発明の実施の形態３は、実施の形態２のパラメタ推定装置を、人の眼を撮影した画像からのアイリスの輪郭点を検出し、この輪郭点を用いてアイリス領域画像を抽出し、抽出したアイリス領域画像と登録しているアイリスデータと照合するアイリス照合装置に応用したものである。このようにして、少ない処理コストで、人それぞれ模様が違うといわれているアイリスを安定して抽出することができ、少ない処理コストでアイリスを用いた人の照合ができるというものである。以下、実施の形態３について説明する。実施の形態３におけるアイリス照合装置のブロック構成図は、実施の形態１の顔画像照合装置と同じコンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００８９】
アイリス照合装置は、カメラ１により撮影した眼領域画像（例えば濃淡パターン）からアイリスの輪郭を構成する座標点集合を検出し、アイリス領域画像を切り出し、登録画像と照合するものである。切り出したアイリス領域画像の照合は、実施の形態１による顔画像の照合と同様であるため、以下、アイリス領域の切り出しについて説明する。
【００９０】
アイリス領域の切り出し処理は、撮影した眼領域の画像より得られる第１の教示ベクトルと、眼領域画像内において検出対象となるアイリスの輪郭点集合よりなる第２の教示ベクトルとの合成ベクトルを構成し、合成ベクトルの集合を混合分布（要素分布数Ｍ）モデルでモデル化した際の分布のパラメタを推定し、混合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共分散行列の擬似逆行列を計算し、同じく第１の教示ベクトルの平均ベクトルを計算し、同じく要素分布ｋに属する第１および第２の教示ベクトルの相互相関行列を計算し、要素分布ｋに属する教示ベクトルの平均ベクトルを計算するオフライン処理と、カメラから入力した眼領域画像からアイリスの輪郭点を構成する座標値の集合を推定し、輪郭点の座標値集合から決定されるアイリス領域を抽出するオンライン処理の２つの処理に分かれる。
【００９１】
まず、オフライン処理について、図９のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、画像メモリに一旦蓄えられた教示用（サンプル）の画像から、共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算し、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから特徴抽出行列Ｃ3 kを計算することにある。
【００９２】
まず、アイリス照合装置は、カメラ１からＮ人の眼領域画像パターンを入力し、Ｉ／Ｆ１２を介して一旦画像メモリ２に蓄積した後に、全て二次記憶装置９に転送する（Ｓ９００）。
【００９３】
次に、アイリス照合装置は、二次記憶装置９に記憶した眼領域画像パターンを、各画素の値をラスタスキャン順に並べたベクトルパターンに変換することで教示ベクトルＶ1を求める（Ｓ９０１）。次に、アイリス照合装置は、それぞれの眼領域画像パターンをディスプレイ８に一枚ずつ表示する。そして、これを見たユーザがマウス１０を用いて手動でアイリス領域の輪郭を構成する座標点の集合を指定すると、アイリス照合装置は、指定されたアイリス領域の輪郭をメモリ３に入力する（Ｓ９０２）。
【００９４】
図１０にユーザが指定するアイリス領域を示す。図に示すように、ディスプレイ８には、眼領域画像１０００が表示される。そして、眼領域画像１０００には、眼画像１００５ａ、１００５ｂが含まれている。そして、ユーザは、眼画像１００５ａ、１００５ｂ内のアイリス領域１００１を認識し、マウスカーソル１００４を操作することで眼画像１００５ａ、１００５ｂに対してアイリスの外側の輪郭１００２およびアイリスの内側の輪郭１００３を指定する。
【００９５】
次に、アイリス照合装置は、入力したアイリスの各輪郭点の座標値を順に並べて連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とする（Ｓ９０３）。次に、アイリス照合装置は、教示ベクトルＶ1をパターンメモリ５に、教示ベクトルＶ2をパターンメモリ６に記憶する（Ｓ９０４）。そして、アイリス照合装置は、Ｎ人分の処理が終了したかを判定し（Ｓ９０５）、終了したら処理（Ｓ９０６）に進み、終了していない場合は処理（Ｓ９０１）に進む。
【００９６】
次に、アイリス照合装置は、パターンメモリ５およびパターンメモリ６に格納されたＮ人分の教示ベクトルＶ1、Ｖ2の合成ベクトルを構成し、Ｎ人分の合成ベクトルの集合の確率分布をＧＭＭでモデル化した際のｋ番目の要素分布（要素分布数はＭ）のパラメタを推定する。即ち、アイリス照合装置は、ｋ番目の要素分布に属するベクトルＶ1、Ｖ2の平均ベクトルＭ1 k、Ｍ2 k、ベクトルＶ1の共分散行列Ｃ1 k、ベクトルＶ1、Ｖ2の相互相関行列Ｃ12 kを計算する（Ｓ９０６）。この計算には、通常ＥＭアルゴリズムが用いられる。
【００９７】
次に、アイリス照合装置は、求めたベクトルＶ1の共分散行列Ｃ1 kの逆行列（より一般的には擬似逆行列）Ｃ1 k*を計算する。そして、アイリス照合装置は、求めたベクトルＶ1の共分散行列の逆行列Ｃ1 k*と相互相関行列Ｃ12 kから（数８）に従って特徴抽出行列Ｃ3 kを計算する（Ｓ９０７）。そして、アイリス照合装置は、求めた特徴抽出行列Ｃ3 kを特徴抽出行列格納メモリ７に格納する（Ｓ９０８）。
【００９８】
以上が、実施の形態３においてオフラインで実行される処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要素分布ｋについて、平均ベクトルＭ1 k、Ｍ2 k、及び、特徴抽出行列Ｃ3 kを求め、特徴抽出行列格納メモリに格納する処理である。
【００９９】
次に、実施の形態３のオンライン処理について、図１１に示すフローチャートを用いて説明する。実施の形態３にかかるオンライン処理の目的は、入力された眼領域画像から、入力に対して固有なパラメタであるアイリスの輪郭点の座標値集合を推定し、これからアイリス領域の画像を求めることにある。
【０１００】
まず、アイリス照合装置は、カメラ１から眼領域画像を入力し（Ｓ１１０１）、Ｉ／Ｆ１２を介して画像メモリ２に蓄積し、蓄積した入力画像を各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し、パターンメモリ５に転送する（Ｓ１１０２）。
【０１０１】
次に、アイリス照合装置は、入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ3 kおよび平均ベクトルＭ1 k、Ｍ2 kから、（数９）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算する（Ｓ１１０３）。
【０１０２】
期待値ベクトルＥは、入力ベクトルＸに対する、アイリスの輪郭を構成する点の座標値の集合の期待値に等しい。よって、アイリス照合装置は、期待値ベクトルＥからアイリスの輪郭を構成する点の座標値の集合を決定する（Ｓ１１０４）。そして、アイリス照合装置は、決定したアイリスの輪郭を構成する点の集合からアイリスの領域画像を決定する（Ｓ１１０５）。
【０１０３】
検出されたアイリス領域の例を図１２に示す。例えば、アイリス照合装置は、アイリスの外側の輪郭１２０１とアイリスの内側の輪郭１２０２を構成する点集合１２０３を連結し、得られた２つの曲線の内側を取り出すことで、アイリス領域画像１２０４を抽出する。
【０１０４】
次に、アイリス照合装置は、Ｓ１１０５において求めたアイリス領域内の画像と、予め登録画像データベース１１に登録してあるアイリスの領域画像との照合を行い（Ｓ１１０６）、結果をディスプレイ８に表示し、二次記憶装置９に転送する（Ｓ１１０６）。この照合方法については、実施の形態１、実施の形態２と同じなので説明を省略する。
【０１０５】
以上のように実施の形態３によれば、サンプルの眼領域画像とこれに対するアイリスの輪郭を構成する点の集合との相関を点集合の分布毎に求め、この相関を用いることで、照合対象の眼領域画像からこれに対するアイリスの輪郭を構成する点の集合を推定できる。これにより、少ない処理コストでアイリスの輪郭を構成する点の集合を推定でき、アイリスの領域画像を抽出できる。
【０１０６】
また、実施の形態３によれば、（数９）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。これにより、従来のテンプレートマッチングを用いた探索（即ち、繰り返し演算）に比べ格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。
【０１０７】
なお、特徴抽出行列及び期待値ベクトルは、実施の形態１のように特徴抽出行列Ｃ3および平均ベクトルＭ1、Ｍ2から、（数７）に従って入力ベクトルデータＸに対する特徴点の座標値の期待値ベクトルＥを計算しても良い。
【０１０８】
本発明は、上述の実施の形態に限定されるものではない。本発明では、ＣＰＵ４がプログラムを読み込むことで、ＣＰＵ４が第１の教示ベクトルの自己相関情報と、第１の教示ベクトルと第２教示ベクトルの相互相関情報と、第１の教示ベクトルの平均ベクトルおよび第２の教示ベクトルの平均ベクトルを計算する学習手段と、計算した自己相関情報、相互相関情報、第１の教示ベクトルの平均ベクトル、および第２の教示ベクトルの平均ベクトルを用いて入力画像の特徴点（パラメタ）を推定するパラメタ推定手段と、推定した特徴点を用いて画像内の特徴を表す部分領域を決定する部分領域決定手段と、決定した部分領域画像を用いて入力画像の対象物と予め登録された対象物との一致を照合する照合手段として動作する形態で説明したが、学習手段、パラメタ推定手段、部分領域決定手段、および照合手段を専用のプロセッサを具備する形態であっても良い。
【０１０９】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭおよび磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【０１１０】
【発明の効果】
以上説明したように本発明によれば、少ない処理コストで入力画像の特徴点を正確に求めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における顔画像照合装置のブロック図
【図２】実施の形態１にかかる顔画像照合装置のオフライン処理の動作フロー図
【図３】実施の形態１においてユーザにより入力される顔の特徴点を示す図
【図４】実施の形態１にかかる顔画像照合装置のオンライン処理の動作フロー図
【図５】実施の形態１において検出された顔領域を示す図
【図６】実施の形態１においてディスプレイへ出力される図
【図７】本発明の実施の形態２にかかる顔画像照合装置のオフライン処理の動作フロー図
【図８】実施の形態２にかかる顔画像照合装置のオンライン処理の動作フロー図
【図９】本発明の実施の形態３にかかるアイリス照合装置のオフライン処理の動作フロー図
【図１０】実施の形態３においてユーザにより入力されるアイリスの特徴点を示す図
【図１１】実施の形態３にかかるアイリス照合装置のオンライン処理の動作フロー図
【図１２】実施の形態３においてディスプレイへ出力される図
【図１３】従来の顔の特徴抽出方法の動作フロー図
【図１４】目のテンプレートを示す図
【図１５】テンプレートによる探索を説明するための図
【符号の説明】
１ ビデオカメラ
２ 画像メモリ
３ メモリ
４ ＣＰＵ
５、６ パターンメモリ
７ 特徴抽出行列格納メモリ
８ ディスプレイ
９ 二次記憶装置（ＨＤＤ、光磁気ディスクなど）
１０ マウス
１１ 登録画像データベース
１２〜１５ インターフェース
１６ システムバス
１７ コンピュータシステム
１００ 顔画像照合装置
Claims (7)
- サンプルとなるサンプル眼領域画像を入力するサンプル入力手段と、
前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するパラメタ入力手段と、
アイリスの輪郭を推定する照合対象眼領域画像を入力する照合データ入力手段と、
前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求める学習手段と、
前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するパラメタ推定手段と、
前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するアイリス推定手段と、
を具備したことを特徴とするアイリス推定装置。 - 前記学習手段は、前記サンプル眼領域画像をベクトル化した第１の教示ベクトルの平均ベクトルおよび前記アイリスの輪郭を形成する前記点の集合をベクトル化した第２の教示ベクトルの平均ベクトルを求めるとともに、前記第１の教示ベクトルおよび前記第２の教示ベクトルの合成ベクトルを構成し、前記合成ベクトルの複数の要素分布を集合した混合分布モデルを推定し、前記要素分布毎に属する前記自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、
前記パラメタ推定手段は、前記第１の教示ベクトルおよび前記第２の教示ベクトルの平均ベクトルならびに前記要素分布毎に属する前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記点の集合を推定すること特徴とする請求項１記載のアイリス推定装置。 - 請求項１または請求項２に記載のアイリス推定装置と、前記アイリス推定装置により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて、前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合する照合手段とを具備したことを特徴とするアイリス照合装置。
- サンプルとなるサンプル眼領域画像を入力するステップと、
前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、
アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、
前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、
前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、
前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、
を具備したことを特徴とするアイリス推定方法。 - 請求項４に記載のアイリス推定方法により推定された前記照合対象眼領域画像の前記アイリス領域画像を用いて前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合することを特徴とするアイリス照合方法。
- コンピュータに、
サンプルとなるサンプル眼領域画像を入力するステップと、
前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、
アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、
前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、
前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、
前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、
を行わせることを特徴としたプログラム。 - コンピュータに、
サンプルとなるサンプル眼領域画像を入力するステップと、
前記サンプル眼領域画像のアイリスの輪郭を形成する点の集合を入力するステップと、
アイリスの輪郭を推定する照合対象眼領域画像を入力するステップと、
前記サンプル眼領域画像および前記アイリスの輪郭を形成する点の集合の平均化情報をそれぞれ求めるとともに、前記サンプル眼領域画像と前記アイリスの輪郭を形成する点の集合とを合成した情報を複数の分布に分け、前記サンプル眼領域画像の自己相関情報と、前記サンプル眼領域画像と前記点の集合との相互相関情報とを前記分布毎に求めるステップと、
前記それぞれ求めた平均化情報ならびに前記分布毎に求めた前記自己相関情報および前記相互相関情報を用いて、前記照合対象眼領域画像の前記アイリスの輪郭を構成する前記点の集合を推定するステップと、
前記推定した前記点の集合を用いて、前記照合対象眼領域画像からアイリス領域画像を推定するステップと、
推定した前記照合対象眼領域画像の前記アイリス領域画像を用いて、前記照合対象眼領域画像があらかじめ登録された前記サンプル眼領域画像と一致するかを照合するステップと、
を行わせることを特徴としたプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002129323A JP4068888B2 (ja) | 2001-09-25 | 2002-04-30 | アイリス推定装置およびアイリス照合装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-291620 | 2001-09-25 | ||
| JP2001291620 | 2001-09-25 | ||
| JP2002129323A JP4068888B2 (ja) | 2001-09-25 | 2002-04-30 | アイリス推定装置およびアイリス照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003173443A JP2003173443A (ja) | 2003-06-20 |
| JP4068888B2 true JP4068888B2 (ja) | 2008-03-26 |
Family
ID=26622815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002129323A Expired - Lifetime JP4068888B2 (ja) | 2001-09-25 | 2002-04-30 | アイリス推定装置およびアイリス照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4068888B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084980A (ja) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | 顔画像付きカード用データ生成装置および方法並びにプログラム |
| JP6904434B2 (ja) * | 2017-11-29 | 2021-07-14 | 日本電気株式会社 | 情報処理システム、情報処理方法及び記憶媒体 |
-
2002
- 2002-04-30 JP JP2002129323A patent/JP4068888B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003173443A (ja) | 2003-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1760635B1 (en) | Image processing apparatus and method and program | |
| JP4946730B2 (ja) | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム | |
| US6430307B1 (en) | Feature extraction system and face image recognition system | |
| Jesorsky et al. | Robust face detection using the hausdorff distance | |
| CN100367311C (zh) | 人脸元数据生成与人脸相似度计算 | |
| US20070053590A1 (en) | Image recognition apparatus and its method | |
| Li et al. | Efficient 3D face recognition handling facial expression and hair occlusion | |
| JP2005327076A (ja) | パラメタ推定方法、パラメタ推定装置および照合方法 | |
| KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| Mayer et al. | Adjusted pixel features for robust facial component classification | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| Perronnin et al. | A probabilistic model of face mapping with local transformations and its application to person recognition | |
| Sharma et al. | 3D face recognition techniques-a review | |
| JP4068888B2 (ja) | アイリス推定装置およびアイリス照合装置 | |
| WO2003030087A1 (en) | Face recognition through warping | |
| Luque et al. | Audio, video and multimodal person identification in a smart room | |
| JP4068889B2 (ja) | 複合照合装置 | |
| Sithara et al. | A survey on face recognition technique | |
| Mok et al. | Lip features selection with application to person authentication | |
| Pramadihanto et al. | Integrated person identification and expression recognition from facial images | |
| JP2003168113A (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
| Srivastava et al. | Face Verification System with Liveness Detection | |
| JP3841482B2 (ja) | 顔画像認識装置 | |
| Hahmann et al. | Model interpolation for eye localization using the Discriminative Generalized Hough Transform | |
| CN111353353A (zh) | 跨姿态的人脸识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4068888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |