JP4705511B2

JP4705511B2 - 顔画像照合装置

Info

Publication number: JP4705511B2
Application number: JP2006126337A
Authority: JP
Inventors: 秀行青木
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2006-04-28
Filing date: 2006-04-28
Publication date: 2011-06-22
Anticipated expiration: 2026-04-28
Also published as: JP2007299186A

Description

本発明は、顔画像を用いて本人認証を行う顔画像照合装置に関し、特に予め登録している本人の登録顔画像を順次更新していく顔画像照合装置に関する。

近年、高度のセキュリティが必要とされる施設において利用者の入退室を管理する場合や機密データへのアクセスを制限する場合などに、身体的特徴をもとに本人を確認するいわゆる生体認証（バイオメトリクス）の手法が利用されている。身体的特徴には、指紋、眼球の虹彩、顔等の身体的特徴が用いられる。

顔画像を用いた顔画像照合装置においては、照合時にビデオカメラ等にて撮影した入力顔画像と、予め登録している本人の顔画像である登録顔画像を照合して、入力顔画像が本人かどうか判定する。かかる顔画像照合装置は、部屋への入室管理に使用され、照合結果が本人と判定されれば扉の電気錠を解錠し、本人でないとされれば解錠せず警告等を行う。顔画像照合装置の利点は、不正利用の場合にビデオカメラの履歴をみることにより不審者の特定が容易であることがあげられる。

ところで、人間の顔は、加齢・眼鏡の交換・化粧の具合などにより変動するため、登録顔画像を全く更新しないと、本人であっても本人でないと判定することがある。
このため、従来、顔画像照合装置では、適宜、登録顔画像を更新している。例えば、特許文献１には、本人と確認できたときの入力顔画像を登録顔画像に入れ替えて順次更新する本人確認装置が提案されている。
特開平９−３１９８７７

しかしながら、生体認証の分野では、本人の入力顔画像を本人と判定する本人受理を１００％に近づけ、他人の入力顔画像を本人と判定する他人受理を０％に近づけることを目指してはいるが、他人受理を０％にすることは、実際には非常に困難で、一定の割合で他人受理が発生するおそれがある。

特許文献１に開示されているように、入力顔画像を用いて直接登録顔画像に入れ替えて更新すると、他人受理が発生したときの他人の入力顔画像が登録顔画像になってしまう恐れがある。登録顔画像に他人の顔画像が含まれると、他人受理率が当然上昇し、顔画像照合装置としての性能劣化を招くという課題があった。

他方、顔画像照合装置は、本人と判定する入力顔画像は、本人の顔画像であることが圧倒的に多く、他人の顔画像である可能性は極めて少ないことが統計的に分かっている。
そこで、本発明は、顔画像照合装置において本人と判定された顔画像の統計的な性質を利用し、登録顔画像に他人の顔画像を含めないよう更新する顔画像照合装置を提供することを目的とする。

かかる課題を解決するために、本発明は、予め登録顔画像と候補顔画像を記憶している記憶部と、候補顔画像を順次入力される入力顔画像にて更新する候補顔画像更新手段および登録顔画像を候補顔画像にて更新する登録顔画像更新手段を含む更新部と、入力顔画像と登録画像とを照合する照合部からなる顔画像照合装置において、記憶部は、登録顔画像に対応付けて３以上の候補顔画像を記憶し、照合部は、入力顔画像と登録顔画像と候補顔画像のいずれか２つについて類似度を算出する類似度算出手段と、入力顔画像と登録顔画像についての類似度が照合閾値以上の場合に当該入力顔画像と当該登録顔画像の人物の一致を判定する判定手段とを有し、候補顔画像更新手段は、登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を３以上の候補画像それぞれについて算出し、相互類似度が最大の候補顔画像を特定し、入力画像と特定した候補顔画像との類似度が所定の更新閾値を超えていれば入力顔画像との類似度が最小の候補顔画像を当該入力顔画像にて更新することを特徴とした顔画像照合装置を提供する。

また、本発明の好適な態様では、候補顔画像更新手段は、特定の候補顔画像と入力顔画像の類似度が所定期間内にて最大となった入力顔画像を用いる。

また、本発明の好適な態様では、登録顔画像更新手段は、登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度である相互類似度を３以上の候補画像それぞれについて算出し、相互類似度が最大の候補顔画像にて登録顔画像を更新する。

更に、好適な態様としては、登録顔画像更新手段は、判定手段が人物の一致を判定した場合に、登録顔画像と入力顔画像の類似度が、相互類似度が最大の候補顔画像と入力顔画像の類似度より小さいことが所定回数続くと登録顔画像を更新する。

本発明によれば、加齢等の顔の変化に対応しつつ、他人の顔画像にて、照合に利用される予め記憶された顔画像に他人の顔画像が紛れ込むのを低減することができる。

以下、図を参照して、本発明にかかる顔画像照合装置を、出入口の扉に電気錠が設置されている部屋へのアクセス制御システムに適用した第一の実施形態を説明する。

図１は、本発明にかかる顔画像照合装置１００を備えたアクセス制御システム１０全体の構成を示すブロック図である。アクセス制御システム１０は、顔画像照合装置１００、利用者の顔を撮影する撮像素子、レンズなどから構成されるカメラ１５０、利用者が操作して利用者情報（ＩＤコードなど）を入力するキースイッチであるテンキー１５１、顔画像照合装置１００からの出力に基づいて動作する扉に設置された電気錠１６０から構成されている。

また、顔画像照合装置１００は、接続しているカメラ１５０から顔画像を取得するインターフェースである入力部１０２、接続しているテンキー１５１から利用者情報を取得するインターフェースである選択入力部１０３、照合に使用する各種顔画像やプログラム等を記憶する記憶部１０４、顔画像から特徴を抽出するモジュールである特徴抽出部１０５、２つの顔画像の特徴を照合し判定するモジュールである照合部１０６、記憶部１０４に記憶される登録顔画像１０４ａ・候補顔画像１０４ｂを更新するためのモジュールである更新部１０７、接続している電気錠１６０に施錠または解錠信号を出力する出力部１０８、照合結果等を表示する表示部１０９、顔画像照合装置１００の全体処理の制御を行う制御部１０１から構成されている。

次に、顔画像照合装置１００の各部について、詳細に説明する。
選択入力部１０３は、利用者によりテンキー１５１から入力された利用者を特定する番号（ＩＤ番号）を取得し、制御部１０１に出力する。例えば、オフィスビルなどでは、社員番号を入力する。テンキーの代わりにタッチパネルや、ＩＣカードリーダーを用いてもよい。

入力部１０２は、利用者がテンキー１５１を操作して入力したＩＤ番号が予め登録されたＩＤ番号であれば、カメラ１５０によって撮影された人物の顔画像を含む入力画像を取得し、制御部１０１に出力する。なお、入力画像取得のタイミングは、超音波センサ等を設置し、利用者の接近を検知することをトリガーとしてもよい。

記憶部１０４は、フラッシュメモリやハードディスクなどの記憶媒体で実現し、利用者ごとの登録顔画像１０４ａ、複数の候補顔画像１０４ｂ、登録顔画像１０４ａと候補顔画像１０４ｂに関連づけられる利用者毎のＩＤ番号、および、撮像部１０２にて取得された入力画像を一時的に記憶する。本実施の形態では、画像そのものを記憶しているが、特徴抽出部１０５にて抽出された特徴量を各種顔画像に変えて記憶しておいても良い。特徴量を記憶すれば、必要な記憶容量の削減や処理スピードの向上を図ることができる。

このほか、図示していないが、記憶部１０４には、特徴抽出部１０５で実行されるプログラムである抽出モジュール、照合部１０６にて実行されるプログラムである照合モジュール、更新部１０７にて実行されるプログラムである更新モジュール、それらの処理にて用いられる照合閾値、更新閾値、処理の状態を表すフラグなどの各種パラメータを記憶する。

ここで、登録顔画像１０４ａと、候補顔画像１０４ｂについて説明する。
登録顔画像１０４ａは、本人照合の基準となる顔画像であって、入力顔画像が許可された本人の顔画像であるかを照合するときに使用する。なお、登録顔画像１０４ａは、利用者１人につき１枚または２枚以上用意し、候補顔画像から後述する登録顔画像更新手段１０７１にて更新される。

候補顔画像１０４ｂは、登録顔画像１０４ａの更新に使用する顔画像であって、登録顔画像１０４aと照合して本人であると判定された入力顔画像である。なお、本実施の形態では、候補顔画像１０４ｂを登録顔画像１０４ａの１枚につき３枚を用意しているが、３枚以上であればよい。また、候補顔画像１０４ｂは、後述する候補顔画像更新手段１０７２にて更新される。
登録顔画像１０４ａを１人の利用者につき２枚以上用意する場合は、登録顔画像１０４ａ毎に候補顔画像１０４ｂを用意し、照合したときの判定に用いた登録顔画像１０４ａに対応させる。

登録顔画像１０４ａ、複数の候補顔画像１０４ｂ、およびＩＤ番号は、対応付けられて記憶部１０４に記憶される。このＩＤ番号ごとの組が、顔画像照合装置１００の利用者許可者ごとに記憶されている。

特徴抽出部１０５、照合部１０６、および更新部１０７は、図示していないが記憶部１０４に記憶されている各種プログラムであるモジュールを制御部１０１にて実行される機能ブロックとして模式的に示している。

特徴抽出部１０５は、入力画像から顔領域を切り出した入力顔画像を生成する顔画像切出手段１０５１と、入力顔画像・登録顔画像１０４ａおよび候補顔画像１０４ｂの各種顔画像から照合に有用な特徴量を算出する特徴量算出手段１０５２を有する。

顔画像切出手段１０５１は、予め多数の顔画像と顔が写っていない非顔画像にて学習させたニューラルネットを用いて、入力部１０２から入力された入力画像から入力顔画像を生成する。

具体的なニューラルネットの学習方法は、先ず、予め多数の顔画像と顔が写っていない非顔画像を学習用として用意する。次に、学習用顔画像は手動で両目の位置を抽出し、両目の位置をそろえることで顔の位置や向きを正規化し、顔領域を切り出したのちに一定のサイズ（例えば３２×３２画素）に正規化する。さらに、各顔領域内の輝度の平均と分散をあらかじめ定められた一定の値になるよう正規化することで明るさの違いの影響を軽減し、学習用顔画像セットとする。一方の非顔画像も、画像中の適当な部位を切り出して、画像サイズと輝度の平均・分散を顔画像セットと同様に正規化し、学習用非顔画像セットとする。なお、ニューラルネットは、一般的な、入力層、中間層、出力層の３階層のものを用いている。
かかるニューラルネットに対し、顔画像と非顔画像を入力し、顔画像を入力したときは出力が１に、非顔画像を入力したときには出力が０になるように正解を与え、ニューラルネットに学習させる。学習方法は、一般的な誤差逆伝搬法を用いる。このようにして学習した識別機は、顔画像が入力されると１に近い値を、非顔画像が入力されると０に近い値を出力するようになる。画像をニューラルネットに画像を入力したときに、ニューラルネットから出力される出力値を顔検出スコアと呼ぶ。

したがって、顔画像切出手段１０５１は、入力画面から任意の領域を矩形に切り出し、学習時と同じ正規化（ここでは、サイズを３２×３２画素に、輝度の平均と分散を学習時と同じ設定値に正規化）をした後に、ニューラルネットに入力する。切り出す矩形の場所と大きさを変えて、画面全体をサーチし、最も顔検出スコアが大きかった矩形について、顔検出スコアがあらかじめ定められた閾値以上であれば、その矩形を顔領域として抽出する。かかる矩形の顔領域の画像を入力顔画像として切り出し、記憶部１０４に記憶させる。

特徴量算出手段１０５２は、記憶部１０４に記憶されている入力顔画像、登録顔画像１０４ａ、候補顔画像１０４ｂから本人判定のための特徴量を算出する。
具体的には、特徴量を抽出したい顔画像から目尻、目頭、口の端部、口の中心などの人の特徴を呈する特徴点をテンプレートマッチング法にて抽出する。テンプレートマッチング法は、目尻等の特徴点ごとに予め用意したテンプレート画像と入力画像をずらしマッチング処理する一般的な方法なので、詳細な説明は省略する。他の方法を用いても良い。

次に特徴量算出手段１０５２は、抽出された各特徴点に対して、特徴点を中心に設定しガボールフィルタを作用させ、各特徴点近傍における方向、周波数、広がり、位置等の特徴量を算出する。ガボールフィルタを使用することにより、特徴点の周囲の局所的な画像から特徴量を算出できるので、照明の変化などによる全体的な輝度の変化の影響を避けつつ、特徴量を抽出することが可能となる。そして、特徴量算出手段１０５２は、算出した特徴量を顔画像とともに記憶部１０４に記憶する。なお、特徴点の部位や、特徴の種類に応じて重み付けをしてもよい。また、生体的特徴を現すパラメータであれば、本実施例に限らず、他のパラメータを用いても良い。

照合部１０６は、記憶部１０４に記憶された入力顔画像、登録顔画像または候補顔画像のうち２枚を比較し、同一人物の顔画像か否かの照合を行う。照合部１０６は、類似度算出手段１０６１と判定手段１０６２からなる。

類似度算出手段１０６１は、２枚の顔画像について、特徴抽出部１０５にて算出した特徴量同士の類似度を算出する。例えば、入力顔画像の特徴量と、登録顔画像の特徴量を記憶部１０４からそれぞれ読み出す。次に、各特徴量をベクトルとみなし、各ベクトルの差を計算した差分ベクトルの長さの逆数が類似度である。類似度は、概念的に２枚の画像が類似している度合である。このため、本実施の形態では特徴量ベクトルを用いて数値化を試みているが、これに限られるものではなく、ユークリッド距離など他の方式を用いても良い。類似度算出手段１０６１にて算出した類似度は、判定手段１０６２または更新部１０７へ送出する。

判定手段１０６２は、入力顔画像が登録顔画像１０４ａの顔画像の本人か否かを判定する。すなわち、判定手段１０６２は、類似度算出手段１０６１にて算出された類似度と、記憶部１０４に予め記憶されている照合閾値とを比較して、入力顔画像が登録顔画像１０４ａの本人であるかどうかの判定を行う。判定結果が、本人と判定された場合は、出力部１０８を介して電気錠１６０に出力され、電気錠１６０を解錠する。なお、本人でない場合は、出力しない。また、判定結果は、表示部１０９に判定結果として出力され、本人であれば照合ＯＫの旨、本人でなければ照合ＮＧの旨を表示部１０９にて利用者に表示される。

更新部１０７は、登録顔画像１０４ａの更新を行う登録顔画像更新手段１０７１と、候補顔画像１０４ｂの更新を行う候補顔画像更新手段１０７２を有している。
登録顔画像更新手段１０７１は、複数の候補顔画像１０４ｂから他人の顔画像の可能性の低いものを特定し、登録顔画像１０４ａを更新する。

登録顔画像更新手段１０７１は、判定手段１０６２にて本人であると判定し、且つ登録顔画像更新可フラグがＯＮの場合に処理を開始し、複数の候補顔画像１０４ｂから登録顔画像１０４ａを更新する候補顔画像１０４ｂを選択し、選択した候補顔画像１０４ｂにて登録顔画像１０４ａを更新する処理である。

具体的には、登録顔画像更新手段１０７１は、記憶部１０４から更新対象となった登録顔画像１０４ａに対応する３枚の候補顔画像１０４ｂを読み出す。次に、類似度算出手段１０６１に読み出した候補顔画像１０４ｂの類似度を算出させて、図４に示すように３つの類似度を取得する。ここでは、候補顔画像１と候補顔画像２との類似度を類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出する。

次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高いので、候補顔画像１を特定する。そして、特定した候補顔画像１にて登録顔画像１０４ａを更新する。

ここで、相互類似度が最も高い候補顔画像１０４ｂとは、複数の候補顔画像の何れにも似ている度合が最も高いので、候補顔画像のうち最も本人の顔画像の可能性が高く、他人の顔画像である可能性が最も低い候補顔画像である。

アクセス制御システム１０の運用では、他人による詐称行為や他人受理によって他人の顔画像が候補顔画像１０４ｂに紛れる頻度と比べれば、本人の顔画像が候補顔画像１０４ｂとなる方が圧倒的に多い。したがって、他人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が低いので、逆に本人の候補顔画像１０４ｂは相互類似度が最も高いものとなる。なお、本実施の形態では、相互類似度が最も高い候補顔画像１０４ｂにて更新するようにしたが、候補顔画像１０４ｂの数を多くすれば、最高でなくてもある程度上位になっている候補顔画像１０４ｂを特定するようにしても良い。

本実施の形態では、候補顔画像１０４ｂのみについて相互類似度を求めるとしていたが、登録顔画像１０４ａも併せて相互類似度を求めても良い。

次に、候補顔画像更新手段１０７２を説明する。候補顔画像更新手段１０７２は、判定手段１０６２にて本人であると判定した場合に処理を開始し、複数の候補顔画像１０４ｂの内最も他人の顔画像の可能性が高いものと、入力顔画像を入れ替えて更新する。

候補顔画像更新手段１０７２の処理について、図３を参照し詳細に説明する。図３は、候補顔画像更新手段の処理フローである。
まず、Ｓ２００では、後述するＳ２０８にて求めた候補顔画像１０４ｂの相互類似度のうち、最も高い候補顔画像を特定し、記憶部１０４から読み出す。ここでは、候補顔画像１が特定されたとする。ここで、相互類似度の最も高い候補顔画像１を選択するのは、候補顔画像１が最も他人の顔画像である可能性が低く、本人の顔画像の可能性が高いからである。そして、候補顔画像１と入力顔画像の類似度（類似度１）を類似度算出手段１０６１にて算出する。

Ｓ２０２では、かかる候補顔画像１との類似度１が、記憶部１０４に記憶されている更新閾値を超えているか否か比較し、候補顔画像１０４ｂの更新をするかどうかを判定する。すなわち、類似度１が更新閾値以下の場合は、入力顔画像は候補顔画像１０４ｂの更新には不適切であると判定し、更新せずに、この候補顔画像更新処理を終了する。

Ｓ２０２にて、類似度１が更新閾値より大きい場合は、入力顔画像は候補顔画像１０４ｂの更新に適切なものであると判定し、Ｓ２０４に進む。更新閾値は、類似度算出方法・照合精度等に依存する。候補顔画像１０４ｂは、登録顔画像１０４ａに更新される可能性があるので、他人の可能性を極力排斥する必要があるので、更新閾値は高く設定する方がよい。他方、あまり高い更新閾値を設定すると、加齢等による本人の顔変化に追従できなくなる。したがって、更新閾値は、これらの要素を考慮しつつ、経験的に決定される。

Ｓ２０４では、Ｓ２００と同様に、類似度算出手段１０６１にて候補顔画像２と入力顔画像の類似度（類似度２）、候補顔画像３と入力顔画像の類似度（類似度３）を算出する。

Ｓ２０６では、類似度１、類似度２および類似度３の中で、最小の類似度である候補顔画像１０４ｂを選択し、候補顔画像１０４ｂを入力顔画像で置き換える。

入力顔画像との類似度が最小な候補顔画像１０４ｂとは、本人と判定された入力顔画像と最も似ていない候補顔画像１０４ｂであることを意味している。他人受理が発生し、且つ候補顔画像１０４ｂに他人の顔画像が紛れ込んでいたとしても、他人の候補顔画像との類似度は、本人の候補顔画像よりも低いので、候補顔画像１０４ｂに紛れ込んでいる他人の候補顔画像を入力顔画像に更新することができる。よって、他人の顔画像が候補顔画像１０４ｂに紛れても、いち早く当該候補顔画像１０４ａを本人の入力顔画像にて更新することが可能となる。

Ｓ２０８では、更新された候補顔画像１０４ｂの相互類似度を算出する。
候補顔画像更新手段１０７２は、更新された候補顔画像１０４ｂを含めて相互の類似度を算出させて、３つの類似度を取得する。登録顔画像更新手段１０７１の場合と同様に、候補顔画像１と候補顔画像２との類似度を相互類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高いので、Ｓ２００にて使用する候補顔画像１を選択し、候補顔画像更新手段１０７２の処理を終了する。

ここで、相互類似度が最も高い候補顔画像１０４ｂとは、複数の候補顔画像の何れにも似ている度合が最も高いので、複数の候補顔画像１０４ｂのうち最も本人の顔画像の可能性が高い候補顔画像１０４ｂである。

アクセス制御システム１０の運用では、他人による詐称行為や他人受理によって他人の顔画像が紛れる頻度に比べると、本人による正しい本人受理による本人の顔画像が候補顔画像１０４ｂになる方が圧倒的に多い。したがって、本人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が最も高くなる。

出力部１０８は、判定手段１０６２にて本人であると判定した場合、顔画像照合装置１００に接続されている外部の機器である電気錠１６０に対して、解錠信号または施錠信号を出力するインターフェースである。

表示部１０９は、本実施の形態では、ＬＥＤにて実現しているが、液晶表示装置やタッチパネルを用いて、テンキー１５１と共用としてもよい。

制御部１０１は、ＣＰＵ、ＤＳＰ，メモリ等により実現され、顔画像照合装置１００の各部を記憶部１０４等に記憶されている各種プログラムにしたがって制御する。

以上のように構成されたアクセス制御システム１０の照合動作及び顔画像の更新動作について図２および図５に示されたフロー図を用いて説明する。なお、以下の説明では、初期設定として、顔画像照合装置１００について特別な権限をもつ管理者が、各利用者の顔を撮影して、登録顔画像１０４ａを記憶部１０４に記憶済みであり、ＩＤ番号の設定も終了しているとする。また、候補顔画像１０４ｂは、初期状態では登録顔画像１０４ａをコピーして記憶しておく。

図２は、第一の実施形態にかかる照合動作および更新動作の全体を示すフロー図である。
Ｓ１００では、利用者がテンキー１５１を操作して自分のＩＤ番号を選択操作すると、選択入力部１０３からＩＤ番号が入力される。制御部１０１では、入力されたＩＤ番号が記憶部１０４に記憶されているＩＤ番号と一致しているか否かを判定し、一致していればステップＳ１０２へ進む。他方、図示していないが、一致するＩＤ番号が記憶されていなければ、照合動作することなく終了する。

Ｓ１０２では、制御部１０１は、入力部１０２を制御し、カメラ１５０にて撮影した利用者の顔部分を含む入力画像を取得する。

Ｓ１０４では、照合部１０６にて利用者が本人か否かの照合処理を行う。
先ず、特徴抽出部１０５の顔画像切出手段１０５１にて、入力画像から顔領域を切り出し、入力顔画像を生成し記憶部１０４へ一旦記憶する。
次に、特徴抽出部１０５の特徴量算出手段１０５２にて、記憶部１０４に記憶された登録顔画像１０４ａと入力顔画像のそれぞれの特徴量を算出する。なお、本実施の形態では、記憶部１０４に登録顔画像を記憶し照合のたびに特徴量を算出しているが、登録顔画像１０４ａを画像そのものではなく特徴量を記憶しているときは、入力顔画像についてのみ行う。次いで、照合部１０６の類似度算出手段１０６１にて、入力顔画像と登録顔画像１０４ｃの特徴量から類似度を算出する。この類似度を類似度Ｓとする。

Ｓ１０６では、判定手段１０６２にて、記憶部１０４に記憶されている本人判定用の照合閾値と類似度Ｓを比較し、類似度Ｓが照合閾値より大きいならば照合成功（利用者は許可者本人である）として、処理をＳ１１０に進み、類似度Ｓが照合閾値以下ならば照合失敗（利用者は他人）として処理をＳ１０８に進む。

ここで、照合閾値は、特徴量の定義方法に依存するものであり、経験的に決定されるものである。例えば、あらかじめ多数の顔画像を用いて実験を行い、閾値と他人受入率、本人拒否率の関係を調べた上で、顔照合装置の用途に応じた適切な照合精度を確保できるように決定する。

Ｓ１０８では、照合失敗の旨を表示部１０９に出力し、Ｓ１００のＩＤ番号の入力を待つ。当然、かかる場合は、電気錠１６０への施錠または解錠の信号は出力されない。
Ｓ１１０では、出力部１０８から接続されている電気錠１６０に施錠または解錠信号を出力するとともに、表示部１０９に照合成功の旨を表示する。

Ｓ１１２では、更新部１０７の候補顔画像更新手段１０７２にて候補顔画像更新処理を行う。

Ｓ１１４では、登録顔画像更新条件判定を行う。登録顔画像更新条件判定とは、登録顔画像１０４ａが更新すべき程度に劣化しているか否かを判定する処理である。図５を参照して、かかる処理について説明する。

図５は、当該処理に関するフロー図である。登録劣化カウンタは０、登録顔画像更新許可フラグはＯＦＦをそれぞれ初期値としている。
Ｓ３００では、Ｓ１１２にて候補顔画像更新の際（Ｓ２００）に算出した類似度１と、Ｓ１０４にて算出した類似度を比較する。類似度Ｓは登録顔画像１０４ｂと入力顔画像の類似度であり、類似度１は複数の候補顔画像１０４ｂの相互類似度が最高のものと入力顔画像の類似度である。このため、類似度Ｓが類似度１より小さいという状態は、登録顔画像１０４ａよりも候補顔画像１０４ｂの方が、入力顔画像と類似していることを示している。従って、このような状態が続くのであれば、登録顔画像１０４ａを候補顔画像１０４ｂで置き換えた方が良いことになる。
そこで、類似度Ｓが類似度１より小さい場合は、登録劣化カウンタの値に１加算し（Ｓ３０４）、次のＳ３０６に処理を移す。他方、類似度Ｓが類似度１以上の場合は、登録劣化カウンタを０にリセットし（Ｓ３０２）、登録顔画像更新条件判定処理（Ｓ１１４）を終了する。

Ｓ３０６では、登録劣化カウンタが所定数をカウントしたか否か判定する。この所定数は、経験的に求められる。多く設定すると、登録顔画像１０４ａの劣化への対応が遅くなり、少なく設定すると劣化への対応は早くなるが頻繁に登録顔画像１０４ａが更新されることによる他人の顔画像による更新リスクが高くなる。所定数は、これらを考慮し、経験的に決められる。

Ｓ３０６にて、所定数に達していないと判断すると、登録顔画像更新条件判定処理を終了する。他方、所定数に達していれば、Ｓ３０８へ進む。

Ｓ３０８では、登録顔画像更新許可フラグをＯＮ、および、登録劣化カウンタを０クリアし、登録顔画像更新条件判定処理を終了する。

図２に戻って、Ｓ１１６では、登録顔画像更新許可フラグがＯＮになっているかどうかを調べ、ＯＮになっている場合にはＳ１１８へ進む。他方、ＯＦＦの場合は登録顔画像の更新は行わず、Ｓ１００に戻り、再度テンキー１５１の操作がされるのを待つ。

Ｓ１１８では、登録顔画像更新手段１０７１にて登録顔画像１０４ａを更新する処理を実行し、Ｓ１１９にて登録顔画像更新許可フラグをＯＦＦにしてＳ１００に戻る。

次に、第一の実施形態では、照合の度に候補顔画像１０４ｂを更新するかどうかの判断を行っていたが、候補顔画像１０４ｂの更新を所定期間毎に行うようにしても良い。例えば、オフィスビルでは極端に利用者が減る週末に更新する運用に適したものである。

具体的には、図２において照合成功と判断されたＳ１０６のＹＥＳと補顔画像更新処理であるＳ１１２の間へ、図６に示す予備顔画像更新処理を追加することにより実現される。かかる処理は、記憶部１０４に記憶されている予備顔画像更新手段（不図示）として、処理プログラムのモジュールが制御部１０１にて実行される。図６は、予備顔画像更新手段の処理フローである。

予備画像更新処理は、図２のステップＳ１０６においてＹＥＳと判断されることにより、開始される。
Ｓ５００では、図３におけるＳ２０８にて算出した相互類似度が最も高い候補顔画像１０４ｂを特定し、特定された当該候補顔画像１０４ｂと入力顔画像との類似度を類似度算出手段１０６１にて算出する。

Ｓ５０２では、Ｓ５００にて算出した類似度が、記憶されている予備顔画像の保持スコアより大きいか否か判定する。Ｓ５０２にて、小さいと判定した場合は、予備顔画像を更新せずにＳ５０５に進み、大きいと判定すればＳ５０４に進む。なお、保持スコアは、照合閾値が初期値として設定されている。

Ｓ５０４では、予備顔画像を今回の入力顔画像にて更新し、Ｓ５００にて算出した類似度にて保持スコアを更新する。

Ｓ５０５では、前回、候補顔画像１０４ｂを更新して以後、一定期間が経過したか否かを判定する。一定期間が経過していない場合は、候補顔画像１０４ｂの更新を行わず、Ｓ１１４に進む。一定期間が経過している場合は、Ｓ５０６に進む。

Ｓ５０６では、保持スコアを照合閾値にリセットし、図２におけるＳ１１２の処理に進む。

Ｓ１１２において、第一の実施の形態では、入力顔画像に対して処理を行っているが、第二の実施の形態では現在記憶されている予備顔画像に対して処理を行う点と、Ｓ５０５における一定時間が起算される点が異なる。

予備顔画像は、既にＳ１０６にて照合成功の結果が得られている顔画像であり、かつ、一定期間内で他人の顔画像の恐れが少ない候補顔画像１０４ｂと入力顔画像との類似度が最も大きかったものである。仮にこの期間に他人受理があっても、一般的には候補顔画像１０４ｂとの類似度は他人よりも本人の方が高くなるため、この期間内に本人もアクセス制御システム１０を利用していれば、予備顔画像が他人の顔画像である可能性は極めて低い。このことは、アクセス制御システム１０について、通常の運用であれば、他人による詐称行為や他人受理の頻度に比べると、本人による正しい本人受理の方が圧倒的に多い、ということができることを利用したものである。

第一の実施形態では、照合の度に候補顔画像１０４ｂの更新の判断を行い、処理対象は候補顔画像１０４ｂ全体であるが、一旦、候補顔画像１０４ｂが更新された場合に、一定期間はその更新された候補顔画像１０４ｂのみ更新を許すことにして、それ以外の候補顔画像１０４ｂは更新させないようにしても良い。その一定期間が過ぎるまでに本人がアクセス制御システム１０の操作を行えば、悪意のある他人の顔画像で候補顔画像１０４ｂが更新されていても、その他人の顔画像となっている候補顔画像１０４ｂが更新されるため、登録顔画像１０４ａが誤って他人の顔画像で更新される危険性を下げることができる。

さらに、登録顔画像の更新は、全体を更新するのではなく、目や鼻や口などの、顔の部品毎に更新を行っても良い。この場合、相互類似度や相互類似度平均も、部品毎に求める。即ち、部品毎に相互類似度平均が最大となる候補顔画像の部品を採用し、登録顔画像のその部品とする。

発明にかかる顔画像照合装置を備えたアクセス制御システム全体の構成を示すブロック図第一の実施形態にかかる照合動作および更新動作の全体を示すフロー図第一の実施形態にかかる候補顔画像更新手段の処理を示すフロー図候補顔画像の相互類似度を示す概念図第一の実施形態にかかる登録顔画像更新条件判定処理を示すフロー図第二の実施形態にかかる予備顔画像の更新処理を示すフロー図

符号の説明

１０アクセス制御システム
１００顔画像照合装置
１０１制御部
１０２入力部
１０３選択入力部
１０４記憶部
１０４ａ登録顔画像
１０４ｂ候補顔画像
１０５特徴抽出部
１０６照合部
１０７更新部
１０７１登録顔画像更新手段
１０７２候補顔画像更新手段
１０８出力部
１０９表示部
１５０カメラ
１５１テンキー
１６０電気錠

Claims

予め登録顔画像と候補顔画像を記憶している記憶部と、
前記候補顔画像を順次入力される入力顔画像にて更新する候補顔画像更新手段および前記登録顔画像を前記候補顔画像にて更新する登録顔画像更新手段を含む更新部と、
前記入力顔画像と前記登録画像とを照合する照合部からなる顔画像照合装置において、
前記記憶部は、前記登録顔画像に対応付けて３以上の前記候補顔画像を記憶し、
前記照合部は、前記入力顔画像と前記登録顔画像と前記候補顔画像のいずれか２つについて類似度を算出する類似度算出手段と、前記入力顔画像と前記登録顔画像についての類似度が照合閾値以上の場合に当該入力顔画像と当該登録顔画像の人物の一致を判定する判定手段とを有し、
前記候補顔画像更新手段は、前記登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を前記３以上の候補画像それぞれについて算出し、前記相互類似度が最大の候補顔画像を特定し、前記入力画像と前記特定した候補顔画像との類似度が所定の更新閾値を超えていれば前記入力顔画像との類似度が最小の候補顔画像を当該入力顔画像にて更新することを特徴とした顔画像照合装置。
前記候補顔画像更新手段は、前記特定の候補顔画像と前記入力顔画像の類似度が所定期間内にて最大となった入力顔画像を用いる請求項１に記載の顔画像照合装置。
前記登録顔画像更新手段は、前記登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度である相互類似度を前記３以上の候補画像それぞれについて算出し、前記相互類似度が最大の候補顔画像にて登録顔画像を更新する請求項１または請求項２の何れか１項に記載の顔画像照合装置。
前記登録顔画像更新手段は、前記判定手段が人物の一致を判定した場合に、前記登録顔画像と前記入力顔画像の類似度が、前記相互類似度が最大の候補顔画像と前記入力顔画像の類似度より小さいことが所定回数続くと前記登録顔画像を更新する請求項３に記載の顔画像照合装置。