JP4153691B2 - 顔画像照合装置及び顔画像照合方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、重要施設（部屋、フロア、建物など）の出入り管理コンピュータ及び端末装置のアクセス管理に利用される顔画像照合装置及び顔画像照合方法に関する。
【０００２】
【従来の技術】
従来、生体情報（バイオメトリクス）を利用した個人認証装置としては、指紋、手形、声紋、サイン、網膜、虹彩などの生体情報を利用したものが提案されている。これらの生体情報は、接触型と非接触型に分類される。接触型の生体情報とは、本人が装置に触れることにより得られる生体情報である。また、非接触型の生体情報とは、本人が装置に触れることなく得られる生体情報である。上記の例では、指紋、手形、サインなどが接触型に属する。ただし、サインは本人が署名するという行動を起こさなければならないという点で指紋などとは多少異なる。このような接触型の生体情報は、ユーザが意識して装置に触れるという行為を行わなければならないので、利便性の面で非接触型に劣る。
【０００３】
また、声紋、網膜、虹彩などは、非接触型に属する。しかしながら、声紋（音声）照合は、非接触型に属するが本人が意識して声を発する必要があるため、ユーザの利便性の面では接触型と同様であるといえる。また、網膜、虹彩は、カメラから対象部位の詳細な画像を取り込んで処理するため、ユーザが意識してカメラに接近しなければならない。このため、ユーザの利便性の面では接触型に近い。例えば、網膜は眼球の奥に位置するため、網膜を撮影するには眼をレンズにほとんど接触に近い位置にする必要があり、接触型に近い。また、虹彩は、微細パターンであり、眼球の表面に現れている。このため、虹彩を撮影するには、離れた位置からのカメラで入力可能であるが、眼とレンズとの離せる距離にはおのずと限界があり、接触型に近い。
【０００４】
これらの生体情報に対して、最近、非接触型のバイオメトリクスとして顔画像を用いた顔画像照合による個人認証技術が注目を集めている。顔画像照合による個人認証に用いられる顔画像は、例えば、虹彩のパターンよりもスケールが大きいため、比較的離れた位置からでも撮影が可能ある。また、顔画像による個人認証は、通常、人間が個人を識別する際に、使われている方法であるため、人間系との親和性が良く、ユーザに違和感なく受入れられやすいという点が大きな特徴である。
【０００５】
従来、顔画像を使った顔画像照合装置では、ビデオカメラを適当な位置に設置し、正面または正面に近いユーザの顔画像を取り込んで、あらかじめ同様な条件で登録した顔画像とのパターン照合を行うものである。例えば、従来では、「「顔画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７年６月；山口、福井、前田著」（文献１）、あるいは、「「形状抽出とパターン照合の組合せによる顔特徴点抽出」、信学論Ｄ−ＩＩ、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ．８、１９９７年８月；福井、山口著」（文献２）に記載されているように、やや下方に設置したカメラから顔画像を取り込んで登録及び照合を行うものが提案されている。
【０００６】
しかしながら、従来の顔画像による顔画像照合装置は、ユーザにとって親しみ易く、利便性に優れている反面、以下のような問題がある。
（１）顔画像からの顔パターンにおいて、あるレベルで類似する人どうしが存在する可能性がある。この典型例が双子や兄弟などとである。
（２）顔画像からの顔パターンは、メガネなしの場合、メガネをかけた場合、メガネの種類を変えた場合などでは、明かにパターンが異なっている。このため、これらすべてを辞書登録したとしても照合が複雑になる。
（３）顔画像の入力は非常に容易であるので、未登録者のいたずらや故意の不正アクセスが発生する可能性がある。
（４）顔を用いる最大のメリットは、顔を見せるだけで本人認証（いわゆる「顔パス」）ができる点にあり、このためには、あらかじめ登録されたすべての顔パターンとの総当り照合が必要である。しかしながら、登録者の人数が多くなると照合時間が増える供に、他人とまちがえる確率が増える。
（５）顔パターン照合方式の利点である１対Ｎの照合モードを優先させながら、１対１の照合モード（グループモードを含む）を混在して、顔パターンの照合を実行させることは、従来、実現されていない。
（６）顔パターン照合を行うためには、あらかじめ利用者の顔パターンデータを登録しておく必要があり、通常は、設置場所において照合時と同様な照明環境で登録を行っている。立ち位置や姿勢などの変動が予想される場合は、所定の試行期間を設け辞書の追加・更新などのフェーズを経た後に、本格稼動とすることもある。しかしながら、登録人数が多くなって来るに従い、登録にかかる手間／時間も増える。
【０００７】
【発明が解決しようとする課題】
この発明は、上記のような問題点を解決するもので、ユーザへの負担が非常に小さく、利便性が高いという顔照合による認証処理の長所をそこなうことなく、照合性能及びセキュリティレベルを向上させ、かつ、利便性を一層向上させることをができる顔画像照合装置及び顔画像照合方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この発明の顔照合装置は、利用者の顔画像と各利用者ごとに与えられている識別情報とが対応して記憶され、さらに、類似した顔画像が存在する顔画像には類似する顔画像を示す情報が記憶されている記憶手段と、利用者の識別情報が入力される入力手段と、この入力手段により入力された識別情報に対応する利用者の顔画像を撮影する撮影手段と、前記入力手段により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されていない場合、前記撮影手段により撮影された顔画像と前記入力手段により入力された識別情報に対応した前記記憶手段に記憶されている顔画像との照合度を算出し、算出した類似度が所定の閾値以上であるか否かにより照合の成否を判定する第１の顔照合手段と、前記入力手段により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されている場合、前記撮影手段により撮影された顔画像と前記記憶手段に記憶されている前記識別情報に対応する顔画像に類似する各顔画像との照合度を算出し、前記入力手段により入力された識別情報に対応した顔画像との照合度が最大で、かつ、次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２の顔照合手段とを有する。
【０００９】
この発明の顔照合装置は、利用者の顔画像が記憶され、さらに、類似する顔画像が存在する顔画像には類似する顔画像を示す情報が記憶されている記憶手段と、利用者の顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像と前記記憶手段に記憶されている各顔画像との照合度を算出する算出手段と、前記算出手段により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されていない場合、前記最大の照合度が所定の閾値以上であるか否かにより前記撮影手段により撮影された顔画像との照合度が最大となった前記記憶手段に記憶されている顔画像との照合の成否を判定する第１の顔照合手段と、前記算出手段により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されている場合、前記最大の照合度が所定の閾値以上で、かつ、最大の照合度となった顔画像に類似する各顔画像との照合度のうち次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２に顔照合手段とを有する。
【００１５】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
図１、及び図２は、個人認証装置としての顔画像照合装置のユーザインターフェース部１０の外観構成例を示す正面図である。図１に示す顔画像照合装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４が設けられている。また、図２に示す顔画像照合装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４に加えて、操作部５が設けられている。
【００１６】
上記表示部１は、上記カメラ２が撮影中の画像を表示したり、及び利用者に対する案内などを表示する。上記カメラ２は、動画像あるいは連続画像を撮影するものである。このカメラ２は、表示部１の下方に設けられ、表示部１を目視している利用者の顔をやや下側から撮影するようになっている。上記線光源３は、カメラ２の正面に位置する利用者の顔に対して横方向から光を照射するものである。上記線光源４は、カメラ２の正面に位置する利用者の顔に対して斜め下方向から光を照射するものである。なお、上記線光源３及び線光源４などの照明は、顔画像照合装置の設置場所の照明環境が良好な場合、不要である。
【００１７】
また、図２に示す顔画像照合装置では、表示部１、カメラ２、線光源３、及び線光源４に加えて、操作部５が設けられている。この操作部５は、テンキーなどで構成される。この操作部５は、例えば、利用者が個人を特定するために各利用者ごとに与えられている識別情報としてのＩＤコード、あるいは後述するパスワードなどを入力するものである。
【００１８】
図３、図４は、顔画像照合装置の設置例を示す側面図である。
図３は、壁掛けタイプのユーザインターフェース部１０を有する顔画像照合装置の設置例を示す側面図である。図３では、図１あるいは図２に示すように構成されたユーザインターフェース部１０が壁に掛けて設置されている。このユーザインターフェース部１０の正面に立つ利用者Ｈの顔は、下方からカメラ２によって撮影されるようになっている。
【００１９】
図４は、据え置きタイプのユーザインターフェース部１０を有する顔画像照合装置の設置例を示す側面図である。図４では、ユーザインターフェース部１０の正面に立った利用者Ｈに対して斜め下方にカメラ２が設置される。これにより、利用者Ｈは、カメラ２を上から覗き込むようになっている。また、図４に示す設置例では、図１あるいは図２に示すように構成される顔画像照合装置のユーザインターフェース部１０がケーブル１１で接続される処理部１２に接続されている。
【００２０】
図５は、ドア２３、２４などの複数の箇所にユーザインターフェース部１０が設けられる場合の構成例を示すブロック図である。図５に示す構成例では、ドア２３及びドア２４に設置されたユーザインターフェース部１０が処理部２１に接続されている。また、上記処理部２１には、保守用のパーソナルコンピュータ（保守パソコン）２２が通信ケーブルを介して接続されている。なお、保守パソコンが顔画像照合装置に接続される構成については、後述する第３の実施の形態で詳細に説明する。
【００２１】
図６は、顔画像照合装置の制御系統としての全体構成を示す図である。
図６に示すように、顔画像照合装置の処理部３０（１２、２１）は、処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、画像メモリ３４、キャプチャボード３５、記録装置インターフェース３６、顔照合用辞書３７、記録装置３８、表示制御部３９、及び照明制御部４０を有している。
【００２２】
上記処理プロセッサ３１は、顔画像照合装置全体の制御を行う。また、上記処理プロセッサ３１は、図１あるいは図２に示すユーザインターフェース部１０に設けられる表示部１、カメラ２、線光源３、及び線光源４等が接続され、これらの制御を行うようになっている。なお、図２に示すように、ユーザインターフェース部１０に操作部５が設けられる場合、操作部５は、処理プロセッサ３１に接続される。上記操作部５で入力された情報は処理プロセッサ３１に供給されるようになっている。
【００２３】
上記ワークメモリ３２は、処理中の画像などを一時的に記憶するメモリである。上記プログラムメモリ３３は、制御用のプログラムなどが記憶されるメモリである。上記画像メモリ３４は、画像データを記憶するメモリである。この画像メモリ３４は、例えば、カメラ２で撮影され、上記キャプチャボード３５を介して処理部３０内に供給された顔画像を記憶する。上記キャプチャボード３５は、上記カメラ２で撮影された画像を処理部３０内に取り込む際のインターフェースである。
【００２４】
上記記録装置インターフェース３６は、上記顔照合用辞書（辞書）３７及び上記記録装置３８のデータの読出し、書込みを行うものである。上記顔照合用辞書（辞書）３７は、上記カメラ２で撮影した顔画像との照合用のデータが記憶されるものである。また、上記辞書３７には、照合用のデータとして顔画像、ユーザ情報、及び顔の特徴量としての顔の特徴パターン（顔パターン）が各ユーザ毎に登録される。以下の説明では、辞書３７に登録される各ユーザ分のデータを顔データとも称するものとする。上記記録装置３８は、履歴データとして顔画像や履歴情報を記録するものである。なお、上記顔照合用辞書３７及び記録装置３８は、処理部３０の外に設けられるようにしても良いし、インターフェースを介して通信可能なネットワーク上の他の外部機器に設けられるようにしても良い。
【００２５】
上記表示制御部３９は、表示部（ディスプレイ）１の表示画面を制御するものである。なお、上記表示部１をタッチパネル内蔵の表示装置で構成する場合、上記表示制御部３９は、表示部１に表示する表示画面を制御するとともに、タッチパネルによりユーザが入力した内容を上記処理プロセッサ３１へ供給する機能を有するものとなる。上記照明制御部４０は、光源３，４を制御するものであり、上記光源３，４にて発光させる光を制御するものである。表示する画面を
ここで、上記カメラ２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いたモノクロのビデオカメラを使用するものとする。また、上記カメラ２として、カラーカメラを用いる場合、カラー画像からモノクロ画像に変換する処理が追加される。上記キャプチャボード３５は、ビデオ信号（アナログデータ）をディジタルデータに変換し（Ａ／Ｄ変換）、画像メモリ３４に送る（バッファリング）。これにより、画像メモリ３４に蓄積された画像データに対しては、処理プロセッサ３１がワークメモリ３２を使いながら、画像データを順次取り込んで種々の処理を行う。また、上記カメラ２がＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを備えている場合、上記キャプチャボード３５には、Ａ／Ｄ変換回路が不要であり、ＵＳＢインタフェースを持たせればよい。また、上記カメラ２がＩＥＥＥ１３９４などの他のディジタルインタフェースを備えている場合も同様に、上記キャプチャボード３５には、対応するインタフェースをもたせればよい。
【００２６】
また、以下の説明では、カメラ２が撮影する１つの顔画像（静止画）を処理対象として説明するが、これに限らず、カメラ２が撮影する複数の顔画像を処理対象としても良い。これは、被撮影者の位置や動き、あるいは照明等の環境変動による撮影条件の変動を考慮して複数の顔画像から良好なデータを得ようとするものである。複数の顔画像は、例えば、一定時間間隔で連続した顔画像（動画像）を取込んで図２のキャプチャーボードの画像メモリにバッファリングするようにする。また、このような動画像は、顔画像の登録処理にのみ用いる場合と、顔画像の登録処理と照合処理との両方において用いる場合の２通りが可能である。また、動画像を処理対象とする場合、顔画像の登録処理あるいは照合処理の流れとしては、複数の顔画像から得られる複数の特徴ベクトル（後述する）から主成分分析などの統計的処理を行って利用者の顔パターン（後述する）を生成し、この顔パターンを登録・照合するようにする。この複数の顔画像からの顔パターンの抽出方法は、例えば文献２に示されている従来方法で良い。
【００２７】
また、図５に示すように、ユーザインターフェース部１０がドアに設けられる場合、処理部３０には、上記ドアの開閉あるいはドアの施錠を開閉するドア制御機構が設けられ、このドア制御機構が処理プロセッサ３１に接続される。これにより、顔画像照合装置をドアの開閉を制御する入退出管理システムに適用することが可能となる。
【００２８】
次に、上記のように構成される顔画像照合装置の基本的な顔画像の登録処理及び認証処理について説明する。
図７は、処理プロセッサ３１が行う顔画像の登録処理の流れを示すフローチャートである。図７に示すように、まず、顔画像照合装置３０では、管理者などの操作員が図示しないキーボード等の操作部によりユーザのＩＤコードとユーザのパスワードとの入力を行う（ステップＳ１１）。なお、通常、ＩＤコードは、装置の管理者側が提供し、パスワードは、ユーザが自由に設定するようになっているものとする。
【００２９】
ＩＤコード及びパスワードが入力されると、顔画像照合装置３０は、ユーザの顔画像の入力処理を行う（ステップＳ１２）。この顔画像の入力処理では、処理プロセッサ３１の制御によりカメラ２がユーザの顔画像を撮影し、撮影した画像をキャプチャボード３５６によって取り込む。撮影した顔画像を取り込むと、処理プロセッサ３１は、取り込んだ画像全体から顔画像の領域を探索する（ステップ１３）。この際、顔画像の領域が検出できなった場合には、顔画像の入力処理へ戻り、再度、顔画像領域の検出処理を行う。顔画像領域を検出すると、処理プロセッサ３１は、検出した顔画像領域から特徴点の抽出処理を行う（ステップＳ１４）。この特徴点の抽出処理は、まず、検出された顔画像領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、これらの検出した領域の中心位置を顔画像の特徴点として抽出する処理である。
【００３０】
上記特徴点を抽出すると、処理プロセッサ３１は、順番に特徴点の位置を基準とした照合領域の切出しを行う（ステップＳ１５）。これにより照合領域を切り出すと、処理プロセッサ３１は、各照合領域に対して幾何補正による大きさの正規化を行う（ステップＳ１６）。また、処理プロセッサ３１は、各照合領域に対して濃度補正による濃度分布の正規化を行う（ステップＳ１７）。これらの処理が完了すると、処理プロセッサ３１は、抽出された特徴点に基づいて顔の特徴量としての特徴ベクトル（顔パターン）を算出（生成）する（ステップＳ１８）。特徴ベクトルを算出すると、処理プロセッサ３１は、算出した特徴ベクトルを顔画像及びユーザ情報等に対応させて顔照合用辞書３７に登録する（ステップＳ１９）。以上の処理により、ユーザ１人分の登録処理が完了し、上記の処理を各ユーザ分行うことにより登録作業が全て完了する。
【００３１】
次に、顔画像の照合処理について説明する。
図８は、処理プロセッサが行う顔画像の照合処理を説明するためのフローチャートである。なお、この照合処理は、図７に示すような登録処理と類似しており、図７のステップＳ１２〜Ｓ１８の処理と図８のステップＳ２２〜Ｓ２８の処理は同様な処理でるため詳細な説明を省略する。また、ここでは、ユーザがＩＤコードにより指定する辞書３７内の顔データとの照合を行う１対１の照合モード（以下の説明では、単に「１対１照合モード」と呼ぶ）の動作について説明する。
【００３２】
すなわち、ユーザは、まず、操作部５によりＩＤコードを入力する（ステップＳ２１）。これにより、処理プロセッサ３１は、入力されたＩＤコードに対応する辞書３７内に登録されている顔画像を特定する。ＩＤコードが入力されると、処理プロセッサ３１は、ステップＳ２２〜Ｓ２８の処理として、ＩＤコードを入力したユーザの顔画像を撮影し、その撮影した顔画像から顔画像の特徴量しての特徴ベクトル（顔パターン）を生成する。撮影した顔画像から顔パターンを生成すると、処理プロセッサ３１は、辞書３７との照合処理を行う（ステップＳ２９）。
【００３３】
この照合処理では、まず、処理プロセッサ３１が上記ステップＳ２８で生成した特徴ベクトルと上記ステップＳ２１で入力されたＩＤコードに対応する顔画像の特徴ベクトルとの照合度（類似度）を算出する。この算出した照合度が所定のしきい値より大きい場合、処理プロセッサ３１は、「照合成功」とし、それ以外の場合は「照合失敗」とする。また、照合が失敗した場合、この顔画像照合装置では、パスワードの照合等の代替手段にてユーザの認証処理を行うものとする。なお、顔画像の照合の可否を判定する閾値は、プログラム上で固定するようにしても良いし、辞書３７内で各顔パターンに対応させて記憶しておくようにしても良い。
【００３４】
次に、ＩＤコード入力を行わない照合処理について説明する。つまり、ここでは、ユーザがＩＤコードにより辞書内の顔画像を指定することなく、撮影した顔画像と辞書内の全ての顔画像（ここでは、辞書３７内に登録されている顔画像の個数をＮとする）との照合を行う１対Ｎの照合モード（以下の説明では、単に「１対Ｎ照合モード」と呼ぶ）の動作について説明する。
図９は、１：Ｎ照合モードの動作を説明するためのフローチャートである。図９に示すように、まず、顔画像照合装置では、図示しない人間検知センサによりユーザの存在を検出した際に（ステップＳ３１、ＹＥＳ）、ユーザの顔画像の撮影を開始する。以下、撮影した画像を取り込んで顔パターンを生成するまでの処理は、上記ステップＳ２２〜Ｓ２８と同様である（ステップＳ３２〜Ｓ３８）。撮影した顔画像から顔パターンを生成すると、処理プロセッサ３１は、撮影した顔画像からの顔パターンと辞書３７内に登録された全ての顔パターン（総数をＮとする）との総当りで照合処理を行う。
【００３５】
この照合処理の結果に基づき、処理プロセッサ３１は、撮影した顔画像との照合度が最大となり、かつ、この時の照合度が所定の閾値以上のとき照合成功とし、最大の照合度となった顔パターンのＩＤコードを出力する。これ以外の場合、処理プロセッサ３１は、照合失敗とする。また、照合が失敗した場合、この顔画像照合装置では、ＩＤコード及びパスワードの入力を受けつけて本人であるか否かを認証するなどの代替手段にて認証処理を行う。
【００３６】
また、上記図８及び図９に示す動作例では、１対１照合モードと１対Ｎ照合モードとの動作例について説明したが、これらの照合モードの中間的なモードとして、「グループ照合モード」がある。この「グループ照合モード」では、顔画像の登録時に、いくつかのグループごとに辞書を作成しておくか、各顔画像がどのグループに属するかを示す識別情報を付与しておく。そして、照合処理時の最初のステップで、個人のＩＤコードではなくグループＩＤコードを入力し、処理プロセッサ３１が、照合対象とする顔画像を絞り込む。そして、処理プロセッサ３１は、撮影した顔画像と絞り込んだ顔画像との総当り照合を実行する。これにより、グループ照合モードでは、登録される顔画像がどんなに多くなっても、照合対象とする顔画像を絞り込むことが可能となるので、一定の照合精度を維持することが可能となる。
【００３７】
以下、上記のように構成される顔画像照合装置を用いた第１〜第６の実施の形態について説明する。
まず、第１の実施の形態について説明する。
この第１の実施の形態では、辞書登録および辞書照合の処理に特徴があり、その詳細な処理の流れを図１０に示す。以下、第１の実施の形態としての辞書の登録処理について図１０に示すフローチャートを参照しつつ説明する。また、辞書３７への登録処理は、基本的には図７に示す手順で行われるものとし、この図１０を用いて説明する処理は、図７のステップＳ１９に対応する処理である。
【００３８】
すなわち、上記処理プロセッサ３１は、上記ステップＳ１１〜１８での処理により得られた、ＩＤコード、パスワード及び、顔画像の特徴ベクトルを１つの組として辞書３７に書き込む（ステップＳ４１）。これにより、ユーザ１人分（あるいは１つの顔画像分）の辞書３７への登録が行われる。処理プロセッサ３１は、全ての登録者に対する辞書３７への登録が完了したことを判断するまで（ステップＳ４２、ＮＯ）、上記ステップＳ１１へ戻り、他の未登録ユーザに対する登録処理を繰返し行う。
【００３９】
全ての登録者に対する辞書３７への登録処理が完了したと判断した場合（ステップＳ４２、ＹＥＳ）、処理プロセッサ３１は、辞書３７内に登録されている全ての顔パターン同士の照合度を判定する（ステップＳ４３）。この判定処理による判定結果に基づいて、処理プロセッサ３１は、所定の閾値以上の照合度が存在するか否かを判断する。
【００４０】
この判断により所定の閾値以上の照合度が存在すると判断した場合、所定の閾値以上の照合度となった顔パターン同士をペアとして組み合わせていく（ステップＳ４４）。所定の閾値以上の照合度となった顔パターンのペアを全て抽出すると、処理プロセッサ３１は、さらに、顔パターンが重なるペア同士をグループとしてまとめることにより類似した顔パターンのグループを抽出する（ステップＳ４５）。
【００４１】
例えば、図１１に示すように、辞書３７に登録された複数の顔データとして、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、…という顔データを想定する。これらの顔データの顔パターンに対して、処理プロセッサ３１が、所定の閾値以上の照合度のペアとして、ＡとＢ、ＢとＣ、ＤとＥ、ＥとＦ、をそれぞれ抽出したとする（ステップＳ４４）。すると、処理プロセッサ３１は、（Ａ、Ｂ、Ｃ）のグループと、（Ｄ、Ｅ、Ｆ）のグループを類似グループとして抽出する（ステップＳ４５）。
【００４２】
このように、類似グループを抽出すると、処理プロセッサ３１は、各類似グループに対してＩＤ番号（類似顔パターンが有ることを示す情報）を発行する。各類似グループに対するＩＤ番号を発行すると、処理プロセッサ３１は、各類似グループに対するＩＤ番号を各顔データに付与して登録処理を終了する（ステップＳ４６）。また、どの類似グループにも属さない顔データに対しては、類似する顔データが無いことを示す情報を付与するようにしても良い。
なお、ここでは、全てのユーザに対する登録作業がすべて完了した後に、顔パターンが類似する類似グループを抽出するようにしたが、これに限らず、上記のような類似クループの抽出と登録は、どのタイミングで行うようにしても良い。例えば、一定期間ごとに適宜、類似グループを抽出して登録する処理を行うようにしても良い。
【００４３】
次に、図１０に示すような登録処理により辞書３７に登録された顔データに対する照合処理について図１２に示すフローチャートを参照しつつ説明する。
ここで説明する撮影した顔データと辞書３７に登録されている顔データとの照合処理は、上記ステップＳ２９に対応する処理であるものとする。すなわち、上記処理プロセッサ３１は、上記ステップＳ２１でユーザにより入力されたＩＤコードに対応する顔パターンを辞書３７から読み出す。そして、処理プロセッサ３１は、上記ステップＳ２２〜２８の処理によって、撮影した顔画像から得られた顔パターンと、辞書３７から読み出した顔パターンとの照合度を算出する（ステップＳ５１）。
【００４４】
照合度を算出すると、処理プロセッサ３１は、ユーザが入力したＩＤコードに対応する顔パターンに類似する他の顔パターンが辞書３７内に存在するか否かを判断する（ステップＳ５２）。この判断は、各顔パターンに付与されている類似パターンが有ることを示す情報の有無により判断されるものである。この判断により類似する顔パターンが存在しないと判断した場合（ステップＳ５２、ＮＯ）、処理プロセッサ３１は、通常の照合処理（第１の照合処理）を行う。
【００４５】
この通常の照合処理において、処理プロセッサ３１は、算出した照合度が所定の閾値以上か否かを判断する（ステップＳ５３）。この判断により算出した照合度が所定の閾値以上であると判断した場合、処理プロセッサ３１は、照合が成功したものとして、ユーザが本人であることを認証する（ステップＳ５４）。
【００４６】
また、算出した照合度が所定の閾値以上でないと判断した場合、処理プロセッサ３１は、照合が失敗したと判断する。照合が失敗したと判断した処理プロセッサ３１は、顔照合処理の代替手段として、ユーザにパスワードの入力を促し、ユーザからのパスワード入力を受付ける（ステップＳ５５）。これにより、ユーザがパスワードを入力すると、処理プロセッサ３１は、入力されたパスワードがＩＤコードに対応して予め設定されているパスワードと一致するか否かを判断する（ステップＳ５６）。この判断によりパスワードが一致すると判断した場合、処理プロセッサ３１は、ユーザが本人であることを認証する（ステップＳ５４）。また、パスワードが一致しないと判断した場合、処理プロセッサ３１は、ユーザが本人であることが認証できなかったものとする（ステップＳ５７）。
【００４７】
また、上記ステップＳ５２で、類似パターンが存在すると判断した場合、処理プロセッサ３１は、通常の照合処理とは異なる特別処理（第２の照合処理）を行う。この特別処理は、類似する顔パターンが辞書３７内に存在する顔パターンに対する特別な処理である。この図１２に示す例では、上記特別処理として以下のような処理を行う。
【００４８】
すなわち、上記ステップＳ５２で、類似パターンが存在すると判断した場合、処理プロセッサ３１は、類似した顔パターンが有ること示すＩＤ情報に基づいて、当該顔パターンと同一の類似グループに属する全ての顔パターンを検索する。処理プロセッサ３１は、検索した類似グループに属する全ての顔パターンと当該顔パターンとの照合度をそれぞれ算出する（ステップＳ５８）。
【００４９】
この算出結果に基づき、処理プロセッサ３１は、ユーザが入力したＩＤコードに対応する顔パターンとの照合度が最大で、かつ、その照合度と次に照合度の高かった顔パターン（第２位）との照合度の差が所定の閾値以上か否かを判断する（ステップＳ５９）。この判断により当該顔パターンとの照合度が最大で、かつ、第２位の照合度との差が所定の閾値以上であった場合、処理プロセッサ３１は、照合が成功したのとして、ユーザが本人であることを認証する（ステップＳ５４）。
【００５０】
上記例では、１対１照合モードでの動作例について説明したが、１対Ｎ照合モードにも応用可能である。例えば、１対Ｎ照合モードの場合、処理プロセッサ３１は、辞書３７内の全ての顔パターンとの照合度をそれぞれ算出し、これらの照合度のうち最大照合度となった顔パターンを判定する。この最大照合度となった顔パターンに対して類似パターンの有りが設定されている場合、処理プロセッサ３１は、上記のような特別処理を行うようにする。これにより、１：Ｎ照合モードであっても１：１照合モードの場合と同様に、特別処理を含めた照合処理が可能となる。
【００５１】
上記のように、第１の実施の形態によれば、類似した顔パターンが辞書に複数登録されている場合、類似した顔パターン同士を類似グループとしてグループ分けし、類似グループに属する顔パターンに対しては、通常の照合処理とは異なる特別処理によって照合の可否を判断するようにしたものである。これにより、辞書内に類似する顔パターンが存在する場合であっても、一定の照合性能及びセキュリティレベルを維持することが可能となる。
【００５２】
次に、第１の実施の形態の変形例について説明する。
上記の図１２を用いて説明した動作例では、特別処理として、類似顔パターンが存在する場合、当該顔パターンとの照合度が最大で、かつ、当該顔パターンとの照合度と第２位の顔パターンとの照合度との差が所定の閾値以上であるか否かを判断するようにしたが、特別処理は上記例に限られるものではない。例えば、類似パターンが存在しない場合の照合処理に用いられる通常の閾値よりも高い閾値を設定しておき、類似パターンが存在する場合、特別処理として、当該顔パターンとの照合度が上記通常の閾値よりも高い閾値以上か否かを判断するようにしても良い。また、逆に、他のどの顔パターンとの照合度も低い場合（類似顔パターンが存在しない場合）に、通常の閾値よりも低い閾値との比較を行うようにしても良い。
【００５３】
すなわち、この変形例では、類似パターンの存在の有無に応じて照合処理の閾値を変更するものであり、辞書３７に登録している各顔パターンに対して、他の顔パターンとの照合度の差に応じて各顔パターンごとに照合処理の閾値が設定される場合の動作例について説明する。
【００５４】
図１３は、上記変形例の動作を説明するためのフローチャートである。この図１３に示す動作例では、通常の閾値とは異なる閾値で照合を行う顔パターンに対して閾値を設定しておき、通常の閾値とは異なる閾値が設定されている顔パターンに対しては、設定された閾値で照合処理を行うようにしたものである。なお、図１３のステップＳ６１及びステップＳ６３〜Ｓ６７は、図１２のステップＳ５１及びステップＳ５３〜Ｓ５７と同様であるので説明を省略する。
【００５５】
すなわち、図１３に示すように、ＩＤコードに対応する辞書３７内の顔パターンに通常の閾値とは異なる閾値が設定されている場合（ステップＳ６２、ＹＥＳ）、処理プロセッサ３１は、特別処理を行う。ここでの特別処理としては、まず、処理プロセッサ３１が、当該顔パターンに対して設定されている閾値を読出す（ステップＳ６８）。
【００５６】
そして、処理プロセッサ３１は、撮影したユーザの顔パターンとＩＤコードに対応する辞書３７内の顔パターンとの照合度が、当該顔パターンに対して設定されている閾値以上であるか否かを判断する（ステップＳ６９）。この判断により閾値以上と判断した場合、処理プロセッサ３１は、照合成功とし、ユーザが認証されたものとする（ステップＳ６４）。また、上記判断により閾値以上と判断しなかった場合、処理プロセッサ３１は、照合を失敗とし、ステップＳ６５へ進む。
【００５７】
上記のように、第１の実施の形態の変形例では、顔パターンを登録する際に、辞書内の他の顔パターンとの類似度の差異に基づいて各顔パターンに対してそれぞれ照合度の閾値を設定するようにしたため、一定の照合性能を維持しつつ、効率の良い照合処理を行うことが可能となる。
【００５８】
次に、第２の実施の形態について説明する。
この第２の実施の形態では、同一ユーザに対して、顔パターンを辞書３７内に複数登録（追加する）ことを特徴としている。このような辞書３７を以下では「マルチエントリ辞書」と呼ぶものとする。このマルチエントリ辞書には、同一ユーザに対して、複数の顔データを登録するため、ＩＤコードの他に付加コードをユーザ情報として登録する。この付加コードは、各顔データにそれぞれ付与される情報であり、顔データを特定するために用いられる。
【００５９】
図１４は、辞書３７に同一ユーザの顔パターンを追加する際の処理の流れを説明するためのフローチャートである。まず、顔画像照合装置３０では、管理者などの操作員が図示しないキーボード等の操作部によりＩＤコード、パスワード及び付加コード等のユーザ情報を入力する（ステップＳ７１）。この際、付加コード以外のＩＤコードとパスワードは、ユーザが同一人物であるため、初期登録時に入力したもの（既に登録済みのデータ）と同じである必要がある。また、付加ＩＤコードは、ユーザが自由に決めても良いし、管理者が決めても良い。付加コードとしては、例えば、メガネ有りの場合に「ｍｅｇａｎｅ」というようにあらかじめ決めておくようにしても良い。
【００６０】
ＩＤコード、付加コード、及びパスワード等のユーザ情報が入力されると、顔画像照合装置３０は、上記ステップＳ１２〜Ｓ１８と同様に、ユーザの顔画像の入力処理（ステップＳ７２）、顔画像の領域を探索（ステップＳ７３）、特徴点の抽出処理（ステップＳ７４）、照合領域の切出し（ステップＳ７５）、大きさの正規化（ステップＳ７６）、濃度分布の正規化（ステップＳ７７）、特徴ベクトルの生成（ステップＳ７８）等の処理を行う。特徴ベクトル（顔パターン）を生成すると、処理プロセッサ３１は、生成した顔パターンと上記ユーザ情報とを対応させて顔照合用辞書３７に追加登録する（ステップＳ７９）。以上の処理により、同一ユーザに対する顔パターンが追加される。つまり、上記のような追加登録によって、辞書３７には、同一ユーザに対して複数の顔データが登録される。
【００６１】
図１５は、マルチエントリ辞書に対する照合処理の流れを説明するためのフローチャートである。図１５に示すように、まず最初に、ユーザは、操作部５によりＩＤコードと付加コードを入力する（ステップＳ８１）。これにより、処理プロセッサ３１は、入力されたＩＤコードと付加コードとに対応する辞書３７内に登録されている顔パターンを特定する。辞書３７内の顔パターンが特定されると、処理プロセッサ３１は、上記ステップＳ１２〜Ｓ１８、あるいは上記ステップＳ２２〜Ｓ２８の処理と同様に、ＩＤコード及び付加コードを入力したユーザの顔画像を撮影し、その撮影した顔画像から特徴ベクトル（顔パターン）を生成する。撮影した顔画像から顔パターンを生成すると、処理プロセッサ３１は、上記ステップＳ８１で入力されたＩＤコード及び付加コードで特定される辞書３７内の顔パターンとの照合処理を行う（ステップＳ８９）。
【００６２】
なお、同一ユーザに対して複数の顔データを登録する場合、各ユーザに対してデフォルトで使用する顔データを予め設定するようにしても良い。例えば、上記ステップＳ８１で、付加コードが入力されなかった場合、処理プロセッサ３１は、デフォルトとして初期登録された顔パターンを選ぶようにするものとする。また、ＩＤコードに対してデフォルトとして用いられる顔パターンは、辞書３７内に登録された顔パターンに対する変更処理、削除処理などの従来方法により容易に変更できるものとする。また、同一ユーザに対して複数の顔パターンが登録されている場合、どの顔パターンをデフォルトで用いるかを設定できるようにしても良い。
【００６３】
また、上記例では、１：１照合モードでの処理について説明したが、１；Ｎ照合モードであっても、辞書３７内に登録されている全ての顔パターンに対して照合処理を行うことにより、同一ユーザに対して複数の顔パターンを登録することが可能である。
【００６４】
上記のように、ＩＤコードの加えて付加コードを付与することにより、同一ユーザに対して複数の顔パターンを追加登録し、照合処理の際にＩＤコードとともに付加コードを指定することにより辞書３７内の顔パターンを一意に特定し、撮影したユーザの顔画像から生成される顔パターンとの１対１の照合を行う。これにより、例えば、めがねの有無、めがねの種類等の外的な要因によりユーザの顔パターンが変動してしまうことにも対応でき、各ユーザに対する照合性能及びセキュリティレベル等を一定に保つことが可能となる。
【００６５】
次に、第２の実施の形態の変形例について説明する。
第２の実施の形態では、同一ユーザに対して複数の顔パターンを登録することが大きな特徴である。辞書への顔パターンの登録は、ユーザ及び管理者の利便性を考慮すると、できるだけ簡単に行えるものが好ましい。特に、同一ユーザの顔パターンを追加登録する場合、実際に運用されている中でユーザあるいは管理者が特に意識することなく、追加登録されるのが望ましい。以下に説明する変形例では、顔画像照合装置の運用中（照合処理中）にユーザの顔パターンを追加登録する処理を説明する。
【００６６】
図１６は、第２の実施の形態の変形例を説明するためのフローチャートである。なお、ここで説明する撮影した顔画像と辞書３７との照合処理は、例えば、図１５の上記ステップＳ８９に対応する処理であるものとする。まず、上記処理プロセッサ３１は、上記ステップＳ８１でユーザにより入力されたＩＤコード及び付加コードに対応する顔パターンが辞書３７に存在するか否かを判断する（ステップＳ９０）。ここでは、ＩＤコードが存在しない場合、リジェクトされ、ＩＤコードは存在するが付加コードが存在しない場合にステップＳ９４へ進むものとする。
【００６７】
上記ステップＳ９０の判断によりユーザにより入力されたＩＤコード及び付加コードが存在すると判断した際、上記処理プロセッサ３１は、上記ステップＳ８１でユーザにより入力されたＩＤコード及び付加コードに対応する顔パターンを辞書３７から読み出す。そして、処理プロセッサ３１は、上記ステップＳ８２〜８８の処理によって、撮影した顔画像から得られた顔パターンと、辞書３７から読み出した顔パターンとの照合度を算出する（ステップＳ９１）。
【００６８】
照合度を算出すると、処理プロセッサ３１は、算出した照合度が所定の閾値以上か否かを判断する（ステップＳ９２）。この判断により算出した照合度が所定の閾値以上であると判断した場合、処理プロセッサ３１は、照合が成功したものとして、ユーザが本人であることを認証する（ステップＳ９３）。
【００６９】
また、算出した照合度が所定の閾値以上でないと判断した場合、処理プロセッサ３１は、照合が失敗したと判断する。照合が失敗したと判断した処理プロセッサ３１は、顔照合処理の代替手段として、ユーザにパスワードの入力を促し、ユーザからのパスワード入力を受付ける（ステップＳ９４）。これにより、ユーザがパスワードを入力すると、処理プロセッサ３１は、入力されたパスワードがＩＤコードに対応して予め設定されているパスワードと一致するか否かを判断する（ステップＳ９５）。
【００７０】
この判断によりパスワードが一致しないと判断した場合、処理プロセッサ３１は、ユーザが本人であることが認証できなかったものとする（ステップＳ９６）。また、上記判断によりパスワードが一致すると判断した場合、処理プロセッサ３１は、上記ステップＳ９０で付加コードが存在すると判断されていれば、当該ＩＤコード及び付加コードに対応する辞書３７内の顔パターンの更新処理を行うとともに（ステップＳ９７）、ユーザが本人であることを認証する（ステップＳ９３）。
【００７１】
また、上記ステップＳ９０でＩＤコードは存在するが付加コードが存在しないと判断した場合、上記同様、ユーザからのパスワード入力を受付け（ステップＳ９４）、入力されたパスワードがＩＤコードに対応して予め設定されているパスワードと一致するか否かを判断する（ステップＳ９５）。この判断によりパスワードが一致しないと判断した場合、処理プロセッサ３１は、ユーザが本人であることが認証できなかったものとする（ステップＳ９６）。また、パスワードが一致すると判断した場合、処理プロセッサ３１は、上記ステップＳ９０でＩＤコードは存在するが付加コードが存在しないと判断されていれば、撮影した顔画像から生成した顔パターンを、入力された付加コードに対応する顔データとして辞書３７に追加登録するとともに（ステップＳ９７）、ユーザが本人であることを認証する（ステップＳ９３）。
【００７２】
次に、上記ステップＳ９７での辞書の更新処理について詳細に説明する。辞書３７内の顔パターンの更新処理は、例えば、撮影した顔画像の顔パターンを辞書に登録済みの顔パターンにマージ（融合）することにより更新用の顔パターンを生成し、辞書３７内の顔パターンを書き換える。つまり、撮影した顔画像の顔パターンをパターンｉとし、辞書に登録済みの顔パターンをパターンｄとすると、更新用の顔パターンｄ´は、ｄ´＝αｉ＋βｄ（０≦α、β≦１、かつ、α＋β＝１）となる。ここで、α及びβの値は、更新用の顔パターンに対して、撮影した顔画像の顔パターンと辞書に登録済みの顔パターンとをどのように反映させるかを決めるものである。
【００７３】
上記のような更新用の顔パターンｄ´は、αの値をβの値よりも大きくすれば、撮影した顔画像の顔パターンｉの影響が強くなり、βの値をαの値よりも大きくすれば、辞書に登録済みの顔パターンｄの影響が強くなるものである。従って、α及びβの値を１／２とすれば、顔パターンｉと顔パターンｄと平均的な更新用の顔パターンｄ´が得られるので、辞書３７内は顔パターンｉと顔パターンｄとの平均的な顔パターンで書き換えられる。また、αの値を１とし、βの値を０とすれば、ｉ＝ｄ´となるため、辞書３７内は顔パターンｉに書き換えられる。
【００７４】
なお、上記変形例では、１対１照合モードでの処理について説明したが、１対Ｎ照合モードにも応用可能である。例えば、１対Ｎ照合モードの場合、処理プロセッサ３１は、まず、１：Ｎ照合モードでの照合処理を行い、この照合処理の結果、ユーザが認証できなかった場合に、ＩＤコードとパスワードによる認証処理を行う。このＩＤコードとパスワードとによる認証ができた場合、処理プロセッサ３１は、入力されたＩＤコードの顔パターンに対する辞書の更新処理を行うようにする。これにより、１：Ｎ照合モードであっても１：１照合モードの場合と同様に、照合処理の流れの中で辞書の更新処理が可能となる。
【００７５】
上記のように、この第２の実施の形態の変形例では、顔画像による辞書照合が失敗になり、認証処理の代替手段としてのパスワード入力により認証された場合に、顔照合用辞書の顔データの更新あるいは追加登録を行うものである。これにより、ユーザあるいは管理者が意識することなく、辞書に登録済みの顔パターンの更新処理あるいは登録済みの顔パターンとは異なる同一ユーザの他の顔パターンの追加登録を容易に行うことができる。
【００７６】
次に、第３の実施の形態について説明する。
この第３の実施の形態では、特定の不正アクセス者（未登録者）に対するアラームなどの警報を発するようにするものである。これは、顔画像照合装置が入退出管理システムに適用される場合などに用いられるものである。以下の説明では、入退室を行うドアなどに顔画像照合装置が設けられている場合を想定するものとする。
【００７７】
この第３の実施の形態では、図１７に示すように、顔画像照合装置３０に、履歴データベース３８ａ、特殊辞書３８ｂ、スピーカ４１、無線通信ボード４２、及びＬＡＮボード４３が追加される。さらに、上記ＬＡＮボードを介して接続されるＬＡＮには、保守用のパーソナルコンピュータ（保守用ＰＣ）４４が設けられるものとする。上記履歴データベース３８ａ及び特殊辞書３８ｂは、ハードディスクドライブ（ＨＤＤ）等で構成される記録装置３８内に設けられる。なお、上記以外の構成は、図６に示す顔画像照合装置と同様であるため同一箇所に同一符号を付して説明を省略する。
【００７８】
上記履歴データベース３８ａには、照合が失敗した際に、撮影した顔画像、撮影した顔画像から抽出した顔パターン、及び場所や日時などの属性データが履歴データとして記憶される。また、上記特殊辞書３８ｂには、辞書３７に登録されていない特定の人物の顔画像から抽出された顔パターンが登録される。上記スピーカ４１は、上記処理プロセッサ３１からの指示に従ってアラームなどを発するものである。上記無線通信ボード４２は、管理者が所持する無線端末などの情報端末へ警報などを報知するための無線通信機能を有している。上記ＬＡＮボード４３は、ＬＡＮなどを介して保守用ＰＣ４４と接続するものである。上記保守用ＰＣ４４は、ディスプレイ４４ａなどを有し、顔画像照合装置の保守及び管理を行う端末機器である。この保守用ＰＣ４４は、例えば、管理センサなどに設置され、管理者（監視員）が顔画像照合装置を制御したり、処理状況や動作状態などを監視するようになっている。
【００７９】
図１８は、履歴データベース３８ａに履歴データを記憶する処理を説明するためのフローチャートである。なお、図１８に示すステップＳ１０１〜Ｓ１０５の処理は、図１６に示すステップＳ９１〜Ｓ９５と同様であるための詳細な説明を省略する。
すなわち、顔画像による照合が失敗し、かつ、パスワードも一致しなかった場合（ステップＳ１０５、ＮＯ）、処理プロセッサ３１は、撮影した顔画像、撮影した顔画像から抽出された顔パターン、及び日時等の履歴データを１つの組として履歴データベース３８ａに記憶する（ステップＳ１０６）。この場合、処理プロセッサ３１は、当該ユーザが認証されなかったものとする（ステップＳ１０７）。
【００８０】
ここでは、撮影した顔画像からの特徴ベクトル（顔パターン）の生成処理が成功した場合を前提としているが、実際には、顔パターンを生成するまでの段階で処理に失敗してしまうことがある。このような場合、例えば、以下に示す３つの処理を行う。
（１）顔画像領域の検出に失敗した場合、顔画像及び顔パターンが無いため、履歴を記憶しない。
（２）顔画像領域の検出が成功し、特徴点の検出の段階で失敗した場合、顔パターンは無しとし、検出された顔画像のみを履歴として記憶する。
（３）顔パターンの生成に成功した場合、その顔パターンと特徴点検出が成功した顔画像の両方を履歴データとする。
【００８１】
また、上記例では、パスワードによる認証が不成功の場合のみ履歴データを残すようにしているが、成功時にも履歴データを残すようにしても良い。また、パスワードの入力時に立ち去ってしまう可能性があるので、照合が失敗した時点で、ただちに履歴データを記録するようにしても良い。さらに、顔照合では、顔領域の検知または顔画像からの特徴点の抽出を照合の前段で行っているので、これらの処理が失敗した場合に、パスワードの入力さえも受けつけないようにすることによりセキュリティレベルを上げることも可能である。
【００８２】
次に、アラーム出力用の特殊辞書３８ｂの作成について説明する。上記のような処理により履歴データベース３８ａに記憶された履歴データからアラーム出力用の特殊辞書は作成される。すなわち、アラーム出力用辞書の作成は、保守用ＰＣ４４のディスプレイ４４ａに履歴データに基づく顔画像を表示させ、管理者が不審者や不正アクセスのいたずらの常習者を選別することにより作成される。これは、通常の辞書登録と同様な処理を管理者が手動で実行させることにより実現可能である。また、保守用ＰＣ４４が履歴データに基づく顔パターン同士の照合処理を行って、何度も履歴として記録されている者を保守用ＰＣ４４が判断し、この判断結果に基づいて保守用ＰＣ４４が特殊辞書３８ｂに登録すべき人物を選別するようにしても良い。なお、特殊辞書３８ｂへの登録は、保守用ＰＣ４４を用いずに、顔画像照合装置で行うことも可能である。
【００８３】
図１９は、アラーム出力用の特殊辞書３８ｂによる照合処理を加えた場合の照合処理の流れを説明するためのフローチャートである。すなわち、上記処理プロセッサ３１は、ユーザにより入力されたＩＤコードに対応する顔パターンを辞書３７から読み出し、撮影した顔画像からの顔パターン（入力顔パターン）との照合度を算出する（ステップＳ１１１）。
【００８４】
照合度を算出すると、処理プロセッサ３１は、算出した照合度が所定の閾値以上か否かを判断する（ステップＳ１１２）。この判断により照合度が所定の閾値以上であると判断した場合、処理プロセッサ３１は、照合が成功したものとして、ユーザが本人であることを認証する（ステップＳ１１３）。
【００８５】
また、照合度が所定の閾値以上でないと判断した場合、処理プロセッサ３１は、入力顔パターンと、アラーム出力用の特殊辞書３８ｂ内の全ての顔パターンとの照合度を算出する（ステップＳ１１４）。特殊辞書３８ｂ内の各顔パターンとの照合度を算出すると、処理プロセッサ３１は、所定の閾値以上の顔パターンが特殊辞書３８ｂ内に存在するか否かを判断する（ステップＳ１１５）。
【００８６】
この判断により所定の閾値以上の顔パターンが存在しないと判断した場合、処理プロセッサ３１は、顔照合処理の代替手段として、上記ステップＳ５５、Ｓ５６と同様に、パスワードによる認証処理を行う（ステップＳ１１６、Ｓ１１７）。また、上記判断により所定の閾値以上の顔パターンが存在すると判断した場合、処理プロセッサ３１は、ユーザが認証できなかったものとし（ステップＳ１１８）、スピーカ４１によりアラームを発するとともに、ディスプレイ４４ａにユーザに対する警告文を表示する（ステップＳ１１９）。
【００８７】
また、上記例では、スピーカ４１によるアラームとともに、ディスプレイ４４ａにユーザに対する警告文を表示するようにしたが、上記無線通信ボード４２あるいは上記ＬＡＮボード４３を介して別の場所にいる管理者に不正アクセスである旨を報知するようにしても良い。例えば、保守用ＰＣ４４にて管理者に不正アクセスを報知する場合、ＬＡＮを介して保守用ＰＣ４４に不正アクセスである旨と撮影した顔画像と送信し、ディスプレイ４４ａ上に表示させる。これにより、保守用ＰＣ４４を監視している管理者が居る場合には、直に、管理者に不正アクセスを報知できる。また、上記無線通信ボード４２を介して管理者に不正アクセスを報知する場合、処理プロセッサ３１は、無線通信ボード４２により携帯電話など無線端末へ不正アクセスである旨と撮影した顔画像と送信するようにする。これにより、管理者が特定の場所に居なくとも、遠隔の管理者に対して不正アクセスを報知できる。
【００８８】
また、上記例では、アラーム出力用の特殊辞書３８ｂとの照合結果に基づいて不正アクセスを報知するようにしたが、顔照合用辞書３７に登録されている全ての顔パターンとの照合に失敗した場合に管理者へ知らせるようにしても良い。この場合、アラーム出力用の特殊辞書３８ｂを通常の顔照合用辞書３７と別に作成する必要がないため、顔画像照合装置全体としての処理を減らすことが可能となる。
【００８９】
また、上記例では、通常の顔照合用辞書３７に登録されている顔パターンとの照合処理が失敗した場合に、アラーム出力用の特殊辞書３８ｂとの照合を行うようにしたが、変形例として処理プロセッサ３１を２台設けて、通常の顔照合用辞書３７による照合処理と、アラーム出力用の特殊辞書３８ｂによる照合処理を並行して行うようにしても良い。この場合、装置の基本構成を単純化したり、処理時間の短縮を図ることが可能となる。
【００９０】
また、上記例では、不正アクセスを検出するための特殊辞書３８ｂを作成して、不正アクセスを報知するようにしたが、他の用途で特定の人物を顔画像で検索するようにしても良い。例えば、顔画像照合装置での利用に有効期限が設定されている場合、有効期限切れ、あるいは有効期限切れが間近の人物の顔パターンを特殊辞書３８ｂに登録しておき、有効期限切れ（あるいは有効期限切れ間近）の人物が検出された際に、ディスプレイ４４ａに有効期限切れ（有効期限切れが間近）である旨を報知するようにしても良い。これにより、ユーザが有効期限切れ（あるいは有効期限切れ間近）であることを容易に認識することができるようになる。
【００９１】
上記のように、第３の実施の形態では、通常の顔照合用辞書とは異なる特殊辞書を作成し、照合処理時に、上記特殊辞書に登録されている人物が検出された場合、当該人物あるいは管理者に所定のメッセージを報知するようにしたものである。これにより、登録者以外の人物による不正アクセスなどを管理者や当該人物に報知することができ、不審者への迅速な対応等が可能となり、セキュリティレベルを向上できる。
【００９２】
次に、第４の実施の形態について説明する。
この第４の実施の形態は、図５に示すように、顔画像照合装置を入退室管理システムに適用する場合に、入退室管理と顔画像の照合処理とを連動させて照合性能及びセキュリティレベルの向上を実現するものである。
【００９３】
この第４の実施の形態では、図５に示すように、入退室管理を行う１つのドアに対してエリア外側とエリア内側の両面に顔画像照合装置が設置された入退室管理システムを想定するものとする。この入退室管理システムでは、エリア外からのユーザに対して入室の管理を行い、エリア内からのユーザに対して退室の管理を行う。さらに、このような入退室管理に基づき在室者を示す在室者リスト５０が、例えば、ワークメモリ３２、辞書３７あるいは記憶装置３８内に作成されるものとする。この在室者リスト５０は、ユーザの入退室が有るごとに更新されるものとする。
【００９４】
また、入退出管理システムを利用するユーザは、エリア外に設置された顔画像照合装置あるいはエリア内に設置されて顔画像照合装置の何れかで登録を行う。また、顔パターンの辞書３７への登録処理は、例えば、図７に示すような通常の登録処理で辞書３７にユーザの顔パターンが登録されるものとする。
【００９５】
図２０は、上記のような入退出管理システムにおける入退出時の照合処理を説明するためのフローチャートである。ここでは、１対Ｎ照合モードでの照合処理について説明する。また、この照合処理は、図９に示すような１：Ｎ照合モードでの辞書との照合処理に対応するものであり、ユーザの顔画像を撮影し、撮影した顔画像から顔パターンを生成するまでの処理は、図９と同様であるため説明を省略する。
【００９６】
すなわち、図２０に示すように、処理プロセッサ３１は、入室時の照合処理の照合対象、及び退出時の照合処理の照合対象を上記在室者リスト５０に基づいて絞り込むものである。例えば、入室の場合（ステップＳ１２１）、処理プロセッサ３１は、上記在室者リスト５０に基づいて在室者以外の顔パターンを全て照合対象として検索する（ステップＳ１２２）。また、退出の場合（ステップＳ１２１）、処理プロセッサ３１は、在室者のみを照合対象とし、在室者の顔パターンを全て検索する（ステップＳ１２３）。
【００９７】
このような検索処理により照合対象を全て抽出すると、処理プロセッサ３１は、取込んだ顔画像からの顔パターンと全ての照合対象の顔パターンとの照合度を算出する（ステップＳ１２４）。全ての照合対象との照合度を算出すると、処理プロセッサ３１は、最大の照合度が所定の閾値以上であるか否かを判断する（ステップＳ１２５）。この判断により最大の照合度が所定の閾値以上であると判断した場合（ステップＳ１２５、ＹＥＳ）、処理プロセッサ３１は、顔照合が成功したと判定し、ユーザの入室あるいは退室を許可する（ステップＳ１２９）。
【００９８】
また、上記判断により最大の照合度が所定の閾値に満たないと判断した場合（ステップＳ１２５、ＮＯ）、処理プロセッサ３１は、顔照合が失敗であると判定し、代替手段としてのパスワード入力を受付ける（ステップＳ１２６）。ユーザによりパスワードが入力されると、処理プロセッサ３１は、前記検索処理により検索した照合対象の中に、入力されたパスワードと一致するパスワードが存在するか否かを判断する（ステップＳ１２７）。
【００９９】
この判断により一致するパスワードが存在しなかった場合（ステップＳ１２７、ＮＯ）、処理プロセッサ３１は、ユーザが認証できなかったものとして、ユーザの入室を不可とする（ステップＳ１２８）。また、上記判断により一致するパスワードが存在すると判断した場合（ステップＳ１２７、ＹＥＳ）、処理プロセッサ３１は、ユーザを認証し、当該ユーザの入室あるいは退室を許可する（ステップＳ１２９）。
【０１００】
ユーザの入室あるいは退室を許可すると、処理プロセッサ３１は、図示しない検知センサにて実際にユーザが入室あるいは退室したか否かを監視し、ユーザの入退室を検知した際に、上記在室者リスト５０を変更する（ステップＳ１３０）。例えば、ユーザが入室した場合、処理プロセッサ３１は、当該ユーザを在室者に追加することにより在室者リスト５０を変更する。また、ユーザが退室した場合、処理プロセッサ３１は、当該ユーザを在室者から削除することにより在室者リスト５０を変更する。
【０１０１】
また、上記例では、１つのドアに対して入退室管理を行う例について説明したが、あるエリアヘの出入り口が複数ある場合に、各出入口にそれぞれ顔画像照合装置を設置し、これらの顔画像照合装置をＬＡＮなどでネットワーク接続して１つの在室者リストで当該エリアの入退室を管理することも可能である。
【０１０２】
また、上記例では、１対Ｎ照合モードの場合の動作について説明したが、１対１照合モードであっても同様に実現できる。この場合、ユーザがＩＤコードを入力した時点で、ＩＤコードに基づいてユーザが照合対象であるか否かを判断できる。つまり、入室時にユーザが入力したＩＤコードが既に在室している者のＩＤコードであれば入室を不可とし、退室時にユーザが入力したＩＤコードが在室者のＩＤコードでなければ退室を不可とすることができる。このように、１：１照合モードでは、ＩＤコードが入力された時点でユーザが照合対象でないと判断される場合、当該ユーザに対する顔照合を行うことなく入室あるいは退室を不可とすることが可能となる。
【０１０３】
また、上記例では、入室と退室の両方に顔画像照合装置を設置したが、片方を無線ＩＤカードリーダなど他の個人認証装置にすることも可能である。例えば、入室時にＩＤカード等の顔照合以外の個人認証を行って、退出時に顔照合による個人認証を行うようにすれば、退出時に照合対象となる顔パターンを大幅に絞り込むことが可能となり、顔照合処理を効率的に行うことが可能となる。また、このようなシステムを、ＩＤカードなどにより入室のみをチェックしているような管理システムに適用すれば、ユーザの利便性を低下させることなく、セキュリティレベルを向上させることができる。
【０１０４】
上記のように、管理するエリア内の入退室状況を示す情報に基づいて、入室時あるいは退室時の照合対象とする顔パターンを絞り込んで照合処理を行うようにしたものである。これにより、辞書と照合する際の対象人数を限定でき、顔照合処理の効率化、及びセキュリティレベルの向上化を図ることができる。
【０１０５】
次に、第５の実施の形態について説明する。
この第５の実施の形態では、１：１照合モードと１：Ｎ照合モードとを混在させる場合の動作例を示すものである。ここでは、１：Ｎ照合モードを優先させながら、１：１照合モードあるいはグループ照合モードを行うものについて説明する。
【０１０６】
図２１は、１：Ｎ照合モードを優先させながら１：１照合モードでの照合処理を行う場合の動作例を説明するためのフローチャートである。図２１に示すように、まず、処理プロセッサ３１は１：Ｎ照合モードで動作し、指定キーが押下された場合（ステップＳ１４１）、あるいは１：Ｎ照合モードでの照合が失敗した場合（ステップＳ１４５、ＮＯ）、１：Ｎ照合モードから１：１照合モードへ移行するようになっている。
【０１０７】
すなわち、処理プロセッサ３１は、図示しない検知センサによりカメラ前の人間（ユーザ）を検知すると、ユーザの顔画像を撮影する。処理プロセッサ３１は、前記カメラが撮影した画像から顔画像の領域が検出すると、検出した顔画像から顔パターン（入力顔パターン）を生成する。入力顔パターンを生成すると、処理プロセッサ３１は、１：１照合への移行を指定する指定キーが押下されるまで、１：Ｎ照合モードで動作する。
【０１０８】
つまり、前記指定キーが押下されなければ、処理プロセッサ３１は、辞書３７に登録してある顔パターン（登録顔パターン）を１つずつ抽出し、抽出した登録顔パターンと前記入力顔パターンとの照合度を算出する（ステップＳ１４２）。前記指定キーが押下されることなく、全ての登録顔パターンと入力顔パターンとの照合度の算出処理が完了すると（ステップＳ１４３、ＹＥＳ）、処理プロセッサ３１は、算出した照合度のうち最大照合度が１：Ｎ照合用の所定の閾値以上か否かを判断する（ステップＳ１４４）。この判断により最大照合度が１：Ｎ照合用の閾値以上であると判断すると、処理プロセッサ３１は、ユーザが認証されたものとする（ステップＳ１４５）。
【０１０９】
また、上記ステップＳ１４４で最大照合度が１：Ｎ照合用の閾値以上でないと判断した場合（ステップＳ１４４、ＮＯ）、あるいは、全ての登録顔パターンとの照合が完了する前に前記指定キーが押下された場合（ステップＳ１４１、ＹＥＳ）、処理プロセッサ３１は、１：１照合モードへと移行する。１：１照合モードに移行すると、処理プロセッサ３１は、まず、ユーザによるＩＤコードの入力を受付ける（ステップＳ１４６）。ユーザによりＩＤコードが入力されると、処理プロセッサ３１は、辞書３７からＩＤコードに対応する登録顔パターンを検索し、入力顔パターンとＩＤコードに対応する登録顔パターンとの照合度を算出する（ステップＳ１４７）。
【０１１０】
入力顔パターンとＩＤコードに対応する登録顔パターンとの照合度を算出すると、処理プロセッサ３１は、算出した照合度が１：１照合用の所定の閾値以上であるか否かを判断する（ステップＳ１４８）。ここで、ＩＤコードに対応する登録顔パターンが１：Ｎ照合モードでも照合対象になっていたならば、１：１照合モードでの照合度の算出方法及び閾値が１：Ｎ照合モードと同じでは照合結果が同じになってしまう。従って、例えば、１：１照合用の閾値を前記１：Ｎ照合用の閾値よりも低くしたり、１：１照合モードでの照合度の算出方法を１：Ｎ照合の場合とは異なる方法で行うものとする。なお、後述するように、ＩＤコードに対応する登録顔パターンが１：Ｎ照合モードでは照合対象にならない場合は、１：１照合モードでの照合度の算出方法及び閾値が１：Ｎ照合モードと同じであっても良い。
【０１１１】
上記ステップＳ１４８で、算出した照合度が１：１照合用の所定の閾値以上であると判断すると、処理プロセッサ３１は、ユーザが認証されたものとする。また、上記ステップＳ１４８で、算出した照合度が１：１照合用の所定の閾値以上でないと判断すると、処理プロセッサ３１は、顔照合によるユーザ認証が失敗したものとし、顔照合の代替手段としてのパスワードによる認証処理を行う（ステップＳ１４９、Ｓ１５０）。これにより、処理プロセッサ３１は、パスワードにより認証された場合、ユーザを認証し、パスワードでも認証されなかった場合、ユーザが認証できなかったものと判定する。
【０１１２】
上記のように、１：Ｎ照合モードを優先しながら、指定キーが押下された場合あるいは１：Ｎ照合モードで照合が失敗した場合に、１：１照合モードあるいはグループ照合モードへ移行して照合処理を行うようにしたものである。これにより、複数の照合モードを混在することができ、セキュリティレベルを維持させながら利便性を向上させることが可能となる。
【０１１３】
また、上記例では、１対Ｎ照合モードを優先させながら、１対１照合モードへ移行するものについて説明したが、１対Ｎ照合モードを優先させながら、グループ照合モードへ移行するものも同様に実施することが可能である。この場合、１対Ｎ照合用の一つの辞書（この辞書も一つのグループ照合用辞書であり、ディフォルト辞書とみなせる）と、複数のグループごとの複数の辞書をあらかじめ登録しておく。
【０１１４】
そして、各グループのユーザには、グループを示すＩＤコード（グループコード）を与える。これにより、クループ照合モードでは、１：１照合モードの際にユーザごとに与えられるＩＤコード（ユーザコード）の代わりに、グループごとに与えられるＩＤコード（グループコード）によってユーザがどのグループかを特定するようにする。
【０１１５】
また、グループ照合モードへ切換えた後、照合に失敗した場合は、ユーザパスワードであってもよいが、同じグループ内で同一のグループパスワードの一致判定を行うように実施できる。また、指定キーをグループＩＤと対応づけておくことにより、グループＩＤコードの入力の手間を省いてもよい。なお、指定キーとしては、切換えるモードが一意である場合、任意のキーであってもよい。
【０１１６】
また、１：Ｎ照合モードで照合処理を行うユーザと、１：１照合モードで照合処理を行うユーザとを分けて管理するようにしても良い。この場合、１：Ｎ照合用の辞書と１：１照合用の辞書とを設け、１：Ｎ照合用の辞書に１：Ｎ照合モードで照合処理を行うユーザの顔パターンを登録しておき、かつ、１：１照合用の辞書に１：１照合モードで照合処理を行うユーザの顔パターンを登録しておく。
【０１１７】
これにより、顔画像照合装置は、１：Ｎ照合モードで起動し、１：Ｎ照合モードで照合できなかったユーザに対しては、１：１照合モードで照合処理を行うようになる。つまり、１：Ｎ照合モードで照合処理を行うユーザは、１：Ｎ照合モードで照合されるが、１：１照合モードで照合処理を行うユーザは、１：Ｎ照合モードで照合が失敗した際、あるいは１：Ｎ照合モードの実行中に指定キーを押下した際に、１：１照合モードで照合されるようになる。
【０１１８】
例えば、顔照合処理を入退室管理システムに適用する場合、管理者、あるいは日常的に利用するユーザを１：Ｎ照合モードで照合処理を行うようにし、入退室の権限は有するが日常的に利用しないユーザを１：１照合モードで照合処理を行うようにする。これにより、管理者あるいは日常的に利用するユーザに対しては、キーなどを接触することなく、いわゆる顔パスで入退室を行うことができ、かつ、日常的に利用しないユーザに対しては、１：１照合による高精度な照合処理を行うことができるようになる。
【０１１９】
次に、第６の実施の形態について説明する。
この第６の実施の形態では、各ユーザが使用可能なパーソナルコンピュータ（パソコン）あるいは携帯電話などの情報端末で顔画像照合装置で利用する辞書へ登録する顔画像や顔パターンを作成することを特徴する。すなわち、この第６の実施の形態では、各ユーザが自身の顔画像をインターネット等を介して遠隔地から辞書へ登録することに特徴がある。
【０１２０】
図２２は、各ユーザがインターネット等のネットワークを介して顔画像を辞書へ登録するための顔画像登録システム６０の構成例を示す図である。
図２２に示すように、顔画像登録システム６０は、各登録者（ユーザ）が利用可能な複数の情報端末（パソコン、ＰＣ１、ＰＣ２、ＰＣ３、…）６１、…、登録サーバ６２、保守用ＰＣ４４及び顔画像照合装置３０により構成されている。
【０１２１】
上記情報端末６１は、ユーザに操作案内などを表示するディスプレイ６１ａ、ユーザによる操作を受付ける操作部６１ｂ、及びユーザの顔画像を撮影するカメラ６１ｃを有し、インターネットに接続する機能、及び後述する辞書作成プログラムが動作するものであれば良い。
【０１２２】
以下の説明では、情報端末６１が自宅やオフィスの机上などに設置されたカメラ付きパソコンであるものとして説明するが、カメラとインターネット接続機能を有するものであれば、携帯用パソコン、携帯電話あるいは携帯端末などの情報端末であっても良い。
【０１２３】
また、カメラ付きパソコンや携帯情報機器は、ユーザが所有するものでなく、辞書作成用にレンタルされたものであってもよい。例えば、パーソナルコンピュータに接続可能なカメラなどからなる顔画像取込みシステム一式をレンタルする場合も有り得る。
【０１２４】
なお、顔画像を撮影するためのカメラ６１ｃは、被撮影画像との相対的な距離、高さ、及び向きなどは、実際の装置でのものとできるだけ同じに設定し、顔画像照合装置の運用時に撮影する顔画像とできるだけ幾何的関係が同等となるようにマニュアル等でユーザに指導するものとする。
【０１２５】
上記登録サーバ６２は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバもしくはＦＴＰ（Ｆｉｌｅ Ｔｒａｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバなどのサーバコンピュータである。この登録サーバ６２は、インターネットを介して転送される顔画像及び顔パターンなどの顔データを記憶する記憶部を有している。上記保守用ＰＣ４４は、例えば、図１７に示す保守用ＰＣ４４と同様に構成され、上記登録サーバ６２に記憶された顔データから辞書を作成、編集するものである。
【０１２６】
さらに、上記パソコン６１と登録サーバ６２とのデータ通信の際、セキュリティ性をより高くするためＰＫＩ（Ｐｕｂｌｉｃ Ｋｅｙ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）を併用したり、専用の回線を利用するようにしても良い。
【０１２７】
次に、上記のように構成される顔画像登録システムでの動作について説明する。
図２３は、顔画像登録システムの動作例を説明するためのフローチャートである。まず、ユーザは、登録サーバ６２から顔データの初期登録、照合、及び更新を行うプログラム（以下、辞書作成プログラムと称する）を自分のパソコン６１にダウンロードする（ステップＳ１６１）。この際、ユーザは、自分のパソコン６１でＷＷＷブラウザを起動し、ＷＷＷプラウザを通じて、上記登録サーバ６２によりＷＷＷ上に公開される上記辞書作成プログラムをダウンロードするようになっている。
なお、ここでは、プログラムの送付及びインストールをインターネットを介してユーザのパソコンに送信するようにしたが、物理的にＣＤなどの記録媒体に納め、各登録者に送付するようにしても良い。
【０１２８】
上記辞書作成プログラムをダウンロードする際、ユーザのパソコン６１のディスプレイ６１ａには、図２４に示すようなＷＷＷプラウザの画面が表示される。この画面では、ＩＤ番号（ＩＤコード）、氏名、年齢、性別、身長、めがねの有無、パスワード、及びその他などのユーザ情報をユーザが入力されるようになっている。なお、以下の説明では、１つの顔パターンを登録するものとして説明するが、上記第２の実施の形態のように、例えば、メガネ有り／無しを選択することにより、ユーザの顔パターンを複数登録するようにしても良い。この場合、上記第２の実施の形態と同様な方法により、マルチエントリ辞書としてユーザ辞書を作成する。また、上記ＩＤコードは、登録サーバ６２が提供するものであっても良いし、ユーザが任意のＩＤコードを入力し、ユーザが入力したＩＤコードを登録サーバ６２が承認するようにしても良い。
【０１２９】
上記のようなユーザ情報を入力した後に、ユーザがプログラムのダウンロードを指示するキー７１を選択することにより辞書作成プログラムがダウンロードされるようになっている。また、上記のようなユーザ情報の入力は、ユーザのパソコンで作成した辞書をアップロードする際にのみ行うようにしても良い。
【０１３０】
上記辞書作成プログラムをダウンロードすると、ユーザは、パソコン６１で上記辞書作成プログラムを起動させてユーザの顔データ（ユーザ辞書）を作成する（ステップＳ１６２）。この辞書作成プログラムが起動すると、パソコン６１は、例えば、図２５に示すようなメニュー画面のキー選択によるユーザとの対話形式で種々の処理を実行する。すなわち、パソコン６１の制御部は、初期辞書の登録処理（ステップＳ１６３）、照合処理の試行（ステップＳ１６４）、辞書の更新処理（ステップＳ１６５）を行って、一定期間内に登録サーバ６２へ登録するためのユーザの顔データ（ユーザ辞書）を作成する。
【０１３１】
この辞書作成プログラムでは、一定期間内で顔照合を繰返し行い、その照合結果に基づいて辞書の更新を繰り返す。これは、照合処理を繰返し行って辞書の更新を繰り返すことにより安定した照合が可能な照合用の顔データが生成されるからである。従って、ユーザが安定した照合が行えるようになったと判断したら、図２５に示すようなユーザ辞書の作成を終了するキー８４を押下することによりユーザ辞書の作成を完了させる。
【０１３２】
また、ユーザ辞書が安定した照合が可能か否かは、辞書作成プログラムに基づいてパソコン６１の制御部で判定するようにして良い。この場合、ユーザ辞書に対して安定した照合が可能か否かを判断する基準としては、一定期間以上、一定頻度で継続して試行することを前提として、照合失敗率（顔照合の失敗回数／試行回数）が一定値以下になったか否かを判断するようにする。また、照合度が一定値以上になり、それが所定期間（あるいは所定回数）継続したか否かによりユーザ辞書の安定性を判断するようにしても良い。
【０１３３】
ユーザ辞書の作成が完了すると、ユーザは、図２４に示すような画面よりユーザ辞書のアップロードを指示するキー７２を押下する。これにより、パソコン６１の制御部は、ＷＷＷブラウザを通じて作成したユーザ辞書を上記登録サーバ６２へアップロードする（ステップＳ１６６）。また、ユーザ辞書の作成が完了した時点で、ユーザによる指示が無くとも、パソコン６１の制御部が辞書作成プログラムに基づいてユーザ辞書のアップロードを行うようにしても良い。
【０１３４】
上記登録サーバ６２では、パソコンからアップロードされたユーザ辞書を、そのユーザ情報と供に辞書ファイルとして記憶部に蓄積する。これにより、登録サーバ６２には、各ユーザからの顔データとユーザ情報とからなる辞書ファイルが記憶部に蓄積される。登録サーバ６２では、記憶部に蓄積した各辞書ファイルを統合して辞書を生成する。全てのユーザからのユーザ辞書を統合した辞書を生成した際に、登録サーバ６２は、最終の辞書をＬＡＮを介して保守用ＰＣ４４に送る。この保守用ＰＣ４４は図１７の保守用ＰＣ４４と同様な構成を有するものである。
【０１３５】
ここでは、全てのユーザの辞書が収集できた時点で、一括して保守用パソコンに転送するようにしたが、ユーザの一部が経時的、経年的に変化する場合、その都度、保守用パソコンに追加して、パソコン上で辞書編集を行うようにすれば良い。
【０１３６】
次に、辞書作成プログラムによるユーザ辞書の作成処理について詳細に説明する。
図２６は、ユーザのパソコン６１によるユーザ辞書の作成処理を説明するためのフローチャートである。図２６に示すように、パソコン６１に辞書作成プログラムをダウンロードした後、ユーザは、辞書作成プログラムを起動させる。この辞書作成プログラムには、ユーザの顔データの初期登録を行う初期登録プログラム、顔照合の試行を行う顔照合プログラム、辞書の更新を行う辞書更新プログラムなどが含まれており、ユーザの選択に応じて各プログラムが起動するようになっている。上記辞書作成プログラムが起動すると、パソコン６１のディスプレイ６１ａには、例えば、図２５に示すようなメニュー画面が表示される（ステップＳ１７３）。このメニュー画面では、辞書の初期登録を指定するキー８１、顔照合の試行を指定するキー８２、辞書の更新を指定するキー８３、及びユーザ辞書の作成終了を指定するキー８４などが表示されている。
【０１３７】
例えば、上記のようなメニューが画面よりユーザが辞書の初期登録を指示するキー８１を選択すると、パソコン６１の制御部は、ユーザ辞書への顔パターンの初期登録プログラムを起動させる（ステップＳ１７４）。初期登録プログラムが起動すると、パソコン６１の制御部は、ユーザの顔データのユーザ辞書への初期登録処理を行う（ステップＳ１７５）。この初期登録処理は、パソコン６１の制御部の制御に基づいて行われる。すなわち、初期登録処理では、カメラ６１ｃにてユーザの顔画像を撮影し、この撮影した顔画像から顔パターンを生成し、パソコン６１内の記憶部にユーザ辞書を作成して登録するものである。この初期登録処理は、図７に示す登録処理と同様であるため、詳細な説明は省略する。
【０１３８】
なお、初期登録処理は、辞書作成プログラムの最初に行うべき処理であるので、ダウンロードした辞書作成プログラムを最初に起動させた際に、自動的に初期登録プログラムが起動するようにしても良い。この場合、初期登録が完了しなければ、メニュー画面が表示されずに、他の処理が行われないようにすれば良い。例えば、図２６に示すように、初期登録済みが完了していなけば（ステップＳ１７１、ＮＯ）、初期登録の案内を表示し（ステップＳ１７２）、ユーザ辞書の初期登録を行うようにする。
【０１３９】
上記メニュー画面よりユーザが顔照合の試行を指定するキー８２を選択すると、パソコン６１の制御部は、顔照合プログラムを起動させる（ステップＳ１７６）。この顔照合プログラムが起動すると、パソコン６１の制御部は、記憶部内に記憶しているユーザ辞書との顔照合処理を行う（ステップＳ１７７）。この顔照合処理は、パソコン６１の制御部の制御に基づいて行われる。すなわち、顔照合処理では、カメラ６１ｃにてユーザの顔画像を撮影し、この撮影した顔画像から顔パターンを生成し、撮影した顔画像から生成された顔パターンとパソコン内の記憶部に登録されているユーザ辞書の顔パターンとの照合度を判定するものである。この顔照合処理は、図８に示す照合処理からステップＳ２１のＩＤコード入力を省いたものと同様であるため、詳細な説明は省略する。
【０１４０】
また、顔照合処理を行った際に、照合結果に基づいて案内表示を行うようにしても良い。つまり、顔照合処理は、一定期間内で安定した照合結果が得られるようなユーザ辞書を作成するために繰返し行われるので、照合結果に基づいて辞書の更新あるいはユーザ辞書の作成終了を案内するようする。例えば、図２６に示すように、顔照合処理を行う度に、ユーザ辞書の安定性を判断し（ステップＳ１７８）、ユーザ辞書が安定するまでユーザ辞書の更新案内を表示し（ステップＳ１７９）、ユーザ辞書が安定したらユーザ辞書の作成終了を案内する（ステップＳ１８０）。また、ユーザ辞書の安定性は、上述のように、照合失敗率（顔照合の失敗回数／試行回数）、あるいは、所定値以上の照合度の継続性に基づいて判断される。
【０１４１】
上記メニュー画面よりユーザが辞書の更新を指示するキー８３を選択すると、パソコン６１の制御部は、辞書更新プログラムを起動させる（ステップＳ１８１）。この辞書更新プログラムが起動すると、パソコン６１の制御部は、記憶部内に記憶しているユーザ辞書の更新処理を行う（ステップＳ１８２）。この辞書更新処理は、パソコン６１の制御部の制御に基づいて行われる。
【０１４２】
例えば、照合処理の結果が照合失敗であった場合に、パソコン６１の制御部は、ディスプレイ６１ａに辞書更新を促す旨のメッセージを表示する。このメッセージを見てユーザは、辞書の更新を行うか否かを判断する。ユーザが辞書の更新を行うと判断した場合、ユーザは、辞書更新の開始を指示するキー８３を押下する。これにより、パソコン６１の制御部は、辞書更新プログラムが起動させる。
【０１４３】
また、照合が失敗した際に辞書更新メッセージを表示する代わりに、自動的に辞書更新を実行させるように実施することもできる。この場合、照合結果に基づいて辞書更新プログラムを起動させる機能を顔照合プログラムに組み込む。これにより、ユーザが何もしなくとも照合結果に基づいて辞書が更新される。
【０１４４】
辞書更新処理では、上記顔照合処理の結果に基づいてユーザがユーザ辞書に登録してある辞書を更新する判断した場合に、照合処理時に撮影した顔画像から生成した顔パターンに基づいて辞書を更新するものである。この辞書の更新処理は、例えば、上記第２の実施の形態の他の例で説明した更新方法が用いられる。従って、辞書の更新処理については、図１６のステップＳ９７で説明した更新処理と同様であるため、詳細な説明は省略する。
【０１４５】
上記メニュー画面よりユーザが辞書作成の終了を指示するキー８４を選択すると、パソコン６１の制御部は、ユーザ辞書の作成を終了し、ユーザ辞書の作成終了案内やユーザ辞書の登録サーバ６２のアップロードの案内を表示する（ステップＳ１８３）。このような案内に従って、ユーザは、作成したユーザ辞書のアップロードを行うようになっている。
【０１４６】
また、図２６に示すような動作では、辞書登録、照合、辞書更新、及び辞書のアップロード等のすべての機能が統合された辞書作成プログラムの動作について説明としてが、照合プログラム及び辞書更新プログラムを切り離し、例えば、スクリーンセーバのロックの解除などの応用プログラムとして実現するようにしても良い。これによれば、照合処理を試行するユーザの手間が省け、一定の頻度で照合処理を試行することが容易になる。
【０１４７】
また、ユーザ辞書は、情報端末６１あるいは登録サーバ６２に接続されるネットワーク上のどこに設置しても良い。つまり、情報端末６１ではユーザの顔画像の取り込み処理を行い、登録サーバ６２では各ユーザ辞書の統合及び編集を行うものであれば、照合や辞書の更新等の処理は、ネットワーク上のどの装置が行うようにしても良い。従って、辞書登録システムの構成は、ネットワークを構成する各機器の処理能力、あるいはネットワーク回線の通信能力等に基づいて総合的に設計されるものが好ましい。
【０１４８】
例えば、情報端末６１として携帯電話のような処理能力の低いものを用いる場合、ユーザ辞書との照合、ユーザ辞書の更新、登録サーバへのユーザ辞書のアップロードなどの処理を携帯電話で行うようにすると、携帯電話に大きな負荷がかかってしまう。このため、携帯電話が顔画像の取り込みのみを行い、画像圧縮処理を付加して登録サーバ６２に画像を転送し、以後の処理は、登録サーバ６２側で行うようにしても良い。
【０１４９】
この場合、ユーザ辞書は、常に登録サーバ６２側に置かれる。携帯電話には、顔画像の取り込みプログラムが登録サーバ６２からダウンロードされる。顔画像の取り込みプログラムをダウンロードした携帯電話側では、ユーザの顔画像を取込む度に、顔画像のみを登録サーバ６２に送信する。携帯電話から顔画像が送信されると、登録サーバ６２は、ユーザ辞書との照合処理を行い、照合結果などのメッセージのみを携帯電話へ返送する。この場合、辞書の更新処理は登録サーバ６２が行う。この結果、携帯電話での照合処理及び登録サーバ６２へのユーザ辞書のアップロード処理も省かれる。このような処理を行うことにより、携帯電話等の処理能力の低い情報端末であっても、ユーザ辞書の作成及び登録等の処理が効率的に行うことができる。
【０１５０】
上記のように、各ユーザのユーザ辞書を作成するためのプログラムを供給し、各ユーザが作成したユーザ辞書に基づいて顔画像照合装置に用いる辞書を作成するようにしたものである。これにより、登録者数が多数の場合にも効率的かつ低コストに辞書照合が行える。また、装置を設置する以前に辞書登録が完了しているので、すぐに運用開始が行える。
【０１５１】
また、各ユーザが作成したユーザ辞書をネットワークを介して収集し、各ユーザからのユーザ辞書を登録用のサーバで統合し、保守ＰＣ等を介して顔画像照合装置で利用する辞書として登録するようにしたものである。これにより、顔画像照合装置の管理者側あるいは運用者側では、辞書の登録に手間がかからず効率的な辞書の作成が可能となる。
なお、上記した６つの実施の形態は、それぞれが独立した機能および効果をもつが、互いに組み合わせて実施可能であることは言うまでもない。
【０１５２】
【発明の効果】
以上詳述したように、この発明によれば、ユーザへの負担が非常に小さく、利便性が高いという顔照合による認証処理の長所をそこなうことなく、照合性能及びセキュリティレベルを向上させ、かつ、利便性を一層向上させることが可能な顔画像照合装置及び顔画像照合方法を提供できる。
【図面の簡単な説明】
【図１】この発明の各実施の形態に係る顔画像照合装置のユーザインターフェース部の外観構成例を示す正面図。
【図２】顔画像照合装置のユーザインターフェース部の外観構成例を示す正面図。
【図３】顔画像照合装置の設置例を示す側面図。
【図４】顔画像照合装置の設置例を示す側面図。
【図５】ドアなどにユーザインターフェース部が設けられる場合の構成例を示すブロック図。
【図６】顔画像照合装置の制御系統としての全体構成を示す図。
【図７】処理プロセッサ３１が行う顔画像の登録処理の流れを示すフローチャート。
【図８】処理プロセッサが行う顔画像の照合処理を説明するためのフローチャート。
【図９】１：Ｎ照合モードの動作を説明するためのフローチャート。
【図１０】第１の実施の形態としての辞書の登録処理について説明するためのフローチャート。
【図１１】この発明の実施の形態を説明するための概略構成を示す図。
【図１２】図１０の登録処理により辞書に登録された顔データに対する照合処理について説明するためのフローチャート。
【図１３】第１の実施の形態に係る変形例を説明するためのフローチャート。
【図１４】辞書に同一ユーザの顔パターンを追加する際の処理の流れを説明するためのフローチャート。
【図１５】マルチエントリ辞書に対する照合処理の流れを説明するためのフローチャート。
【図１６】第２の実施の形態に係る変形例を説明するためのフローチャート。
【図１７】第３の実施の形態に係る顔画像照合装置３０の構成例を概略的に示す図。
【図１８】履歴データベースに履歴データを記憶する処理を説明するためのフローチャート。
【図１９】アラーム出力用の特殊辞書による照合処理を加えた場合の照合処理の流れを説明するためのフローチャート。
【図２０】入退出管理システムにおける入退出時の照合処理を説明するためのフローチャート。
【図２１】１：Ｎ照合モードを優先させながら１：１照合モードでの照合処理を行う場合の動作例を説明するためのフローチャート。
【図２２】各ユーザがインターネット等のネットワークを介して顔画像を辞書へ登録するための顔画像登録システムの構成例を示す図。
【図２３】第６の実施の形態に係る顔画像登録システムの動作例を説明するためのフローチャート。
【図２４】ＷＷＷプラウザの表示例を示す図。
【図２５】辞書作成プログラムによるメニュー画面が表示例を示す図
【図２６】辞書作成プログラムの動作例を説明するためのフローチャート。
【符号の説明】
１…表示部、２…カメラ、３、４…光源、５…入力部、１０…ユーザインターフェース部、３０（１２、２１）…顔画像照合装置、３１…処理プロセッサ、３２…ワークメモリ、３３…プログラムメモリ、３４…画像メモリ、３５…キャプチャボード、３６…記録装置インターフェース、３７…顔照合用辞書、３８…記録装置、３９…表示制御部、４０…照明制御部、４１…スピーカ、４４…保守用ＰＣ、６１…情報端末（パソコン）、６２…登録サーバ

Claims (6)

1. 利用者の顔画像と各利用者ごとに与えられている識別情報とが対応して記憶され、さらに、類似した顔画像が存在する顔画像には類似する顔画像を示す情報が記憶されている記憶手段と、
   利用者の識別情報が入力される入力手段と、
   この入力手段により入力された識別情報に対応する利用者の顔画像を撮影する撮影手段と、
   前記入力手段により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されていない場合、前記撮影手段により撮影された顔画像と前記入力手段により入力された識別情報に対応した前記記憶手段に記憶されている顔画像との照合度を算出し、算出した類似度が所定の閾値以上であるか否かにより照合の成否を判定する第１の顔照合手段と、
   前記入力手段により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されている場合、前記撮影手段により撮影された顔画像と前記記憶手段に記憶されている前記識別情報に対応する顔画像に類似する各顔画像との照合度を算出し、前記入力手段により入力された識別情報に対応した顔画像との照合度が最大で、かつ、次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２の顔照合手段と、
   を有することを特徴とする顔画像照合装置。
2. 利用者の顔画像が記憶され、さらに、類似する顔画像が存在する顔画像には類似する顔画像を示す情報が記憶されている記憶手段と、
   利用者の顔画像を撮影する撮影手段と、
   この撮影手段により撮影された顔画像と前記記憶手段に記憶されている各顔画像との照合度を算出する算出手段と、
   前記算出手段により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されていない場合、前記最大の照合度が所定の閾値以上であるか否かにより前記撮影手段により撮影された顔画像との照合度が最大となった前記記憶手段に記憶されている顔画像との照合の成否を判定する第１の顔照合手段と、
   前記算出手段により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されている場合、前記最大の照合度が所定の閾値以上で、かつ、最大の照合度となった顔画像に類似する各顔画像との照合度のうち次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２に顔照合手段と、
   を有することを特徴とする顔画像照合装置。
3. さらに、前記記憶手段に記憶されている顔画像同士の照合度を算出し、算出した照合度のうち所定値以上の照合度となった顔画像同士が類似する顔画像のグループであることを示す情報を前記記憶手段に登録する登録手段を有する、
   ことを特徴とする前記請求項１又は２に記載の顔画像照合装置。
4. 利用者の顔画像と各利用者ごとに与えられている識別情報とが対応して記憶され、さらに、類似した顔画像が存在する顔画像には類似する顔画像を示す情報が記憶手段に記憶される登録工程と、
   利用者の識別情報が入力される入力工程と、
   この入力工程により入力された識別情報に対応する利用者の顔画像を撮影する撮影工程と、
   前記入力工程により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されていない場合、前記撮影工程により撮影された顔画像と前記入力工程により入力された識別情報に対応した前記記憶手段に記憶されている顔画像との照合度を算出し、算出した類似度が所定の閾値以上であるか否かにより照合の成否を判定する第１の顔照合工程と、
   前記入力工程により入力された識別情報に対応する前記記憶手段に記憶されている顔画像に類似する顔画像を示す情報が記憶されている場合、前記撮影工程により撮影された顔 画像と前記記憶手段に記憶されている前記識別情報に対応する顔画像に類似する各顔画像との照合度を算出し、前記入力工程により入力された識別情報に対応した顔画像との照合度が最大で、かつ、次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２の顔照合工程と、
   ことを特徴とする顔画像照合方法。
5. 利用者の顔画像が記憶され、さらに、類似する顔画像が存在する顔画像には類似する顔画像を示す情報が記憶手段に記憶される登録工程と、
   利用者の顔画像を撮影する撮影工程と、
   この撮影工程により撮影された顔画像と前記記憶手段に記憶されている各顔画像との照合度を算出する算出工程と、
   前記算出工程により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されていない場合、前記最大の照合度が所定の閾値以上であるか否かにより前記撮影工程により撮影された顔画像との照合度が最大となった前記記憶手段に記憶されている顔画像との照合の成否を判定する第１の顔照合工程と、
   前記算出工程により算出された照合度のうち最大の照合度となった顔画像に類似する顔画像を示す情報が記憶されている場合、前記最大の照合度が所定の閾値以上で、かつ、最大の照合度となった顔画像に類似する各顔画像との照合度のうち次に大きい照合度との差が所定値以上であるか否かにより照合の成否を判定する第２に顔照合工程と、
   ことを特徴とする顔画像照合方法。
6. 前記登録工程は、さらに、前記記憶手段に記憶されている顔画像同士の照合度を算出し、算出した照合度のうち所定値以上の照合度となった顔画像同士が類似する顔画像のグループであることを示す情報を前記記憶手段に登録する、
   ことを特徴とする前記請求項４又は５に記載の顔画像照合方法。

Images