JP4767751B2 - 顔画像照合装置 - Google Patents

Description

本発明は、顔画像を用いて本人認証を行う顔画像照合装置に関し、特に予め登録している本人の登録顔画像を順次更新していく顔画像照合装置に関する。

近年、高度のセキュリティが必要とされる施設において利用者の入退室を管理する場合や機密データへのアクセスを制限する場合などに、身体的特徴をもとに本人を確認するいわゆる生体認証（バイオメトリクス）の手法が利用されている。身体的特徴には、指紋、眼球の虹彩、顔等の身体的特徴が用いられる。

顔画像を用いた顔画像照合装置においては、照合時にビデオカメラ等にて撮影した入力顔画像と、予め登録している本人の顔画像である登録顔画像を照合して、入力顔画像が本人かどうか判定する。かかる顔画像照合装置は、部屋への入室管理に使用され、照合結果が本人と判定されれば扉の電気錠を解錠し、本人でないと判定されれば解錠せず警告等を行う。

ところで、人間の顔は、加齢・眼鏡の交換・化粧の具合などにより変動するため、登録顔画像を全く更新しないと、本人であっても本人でないと判定することがある。
このため、従来、顔画像照合装置では、適宜、登録顔画像を更新している。例えば、特許文献１には、記憶媒体に保持された顔画像（登録顔画像）とカメラで撮影された顔画像とを照合し、一致していれば、保持された顔画像と撮影された顔画像を警備員に対して並べて表示する。そして、警備員が、かかる二枚の顔画像を見て、同一人物の顔画像であると確認できれば、記録媒体の顔画像を最新の顔画像に更新していた。
特開平９−３１９８７７号公報

しかしながら、複数の候補顔画像から登録顔画像を更新する顔画像を管理者が選択する場合は、候補顔画像の数が多くなれば、表示される顔画像も増加する。このため、警備員は、更新して良いか否かの判断の際に、表示されている多数の顔画像の中からどの顔画像を選択するかの判断が必要になってくる。すなわち、顔画像照合にて本人と判断された良く似た多数の顔画像の中から更新に用いる顔画像を選択するので、管理者が一見して判断するのは困難なため、管理者の負担が大きくなる。
同様に、多数の顔画像が表示されると、他人の顔画像が紛れていたとしても、当該他人の顔画像を見つける場合においても、管理者が一見して判断するは困難になる。

そこで、本発明は、かかる課題を鑑みてなされたものであり、登録顔画像の他に、その登録顔画像を更新するための候補顔画像を複数用意した場合に、候補顔画像の中で、最も他人の顔画像である可能性が高いものを選択して、登録顔画像と並べて表示し、管理者が早期に適切な判断を行える顔画像照合装置の提供を目的とする。

かかる課題を解決するために本発明は、登録顔画像に対応付けて３以上の候補顔画像を記憶している記憶部と、入力顔画像と登録顔画像と候補顔画像のいずれか２つについて類似度を算出する類似度算出手段と、入力顔画像と登録顔画像についての類似度が照合閾値以上の場合に当該入力顔画像と当該登録顔画像の人物の一致を判定する判定手段とを有する照合部と、順次入力される入力顔画像にて候補顔画像を更新し、登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を算出し、相互類似度が最大の候補顔画像にて登録顔画像を更新する更新部と、管理者が操作する選択入力部にて選択された登録顔画像を記憶部から読み出し、当該登録顔画像に対応する相互類似度が最も低い候補顔画像を表示部に当該登録顔画像とともに表示させ、当該表示された候補顔画像について管理者が選択入力部にて削除を選択すると、記憶部から当該表示された候補顔画像を削除する画像確認部とを具備する顔画像照合装置を提供する。

また、本発明の好適な態様は、画像確認部は、表示部に表示されている候補顔画像を管理者が選択入力部にて切替を選択すると、相互類似度が低い順に切替えて表示する切替手段を有する。

更に、本発明の好適な態様は、画像確認部に、表示部に表示する候補顔画像を相互類似度の低い順に切替える切替手段を設ける。かかる態様によれば、管理者が他の候補顔画像を確認したい場合に、相互類似度の低い順に表示されるので、本人らしくない顔画像から順番に確認できる。

候補顔画像を複数用意している顔画像照合装置において、全ての候補顔画像を表示して確認しなくても、他人の顔画像が紛れ込んでいるか否かの確認が容易になる。

以下、図を参照して、本発明にかかる顔画像照合装置を、出入口の扉に電気錠が設置されている部屋へのアクセス制御システムに適用した実施形態を説明する。

図１は、本発明にかかる顔画像照合装置１００を備えたアクセス制御システム１０全体の構成を示すブロック図である。アクセス制御システム１０は、顔画像照合装置１００、利用者の顔を撮影する撮像素子、レンズなどから構成されるカメラ１５０、利用者が操作して利用者情報（ＩＤコードなど）を入力するキースイッチであるテンキー１５１、顔画像照合装置１００からの出力に基づいて動作する扉に設置された電気錠１６０から構成されている。

また、顔画像照合装置１００は、接続しているカメラ１５０から顔画像を取得するインターフェースである入力部１０２、接続しているテンキー１５１から利用者情報を取得するインターフェースである選択入力部１０３、照合に使用する各種顔画像やプログラム等を記憶する記憶部１０４、顔画像から特徴を抽出するモジュールである特徴抽出部１０５、２つの顔画像の特徴を照合し判定するモジュールである照合部１０６、記憶部１０４に記憶される登録顔画像１０４ａ、候補顔画像１０４ｂを更新するためのモジュールである更新部１０７、接続している電気錠１６０に施錠または解錠信号を出力する出力部１０８、記憶部１０４に記憶された登録顔画像１０４ａと候補顔画像１０４ｂを確認する画像確認部１１０、照合結果等を表示する表示部１０９、顔画像照合装置１００の全体処理の制御を行う制御部１０１から構成されている。

次に、顔画像照合装置１０の各部について、詳細に説明する。
選択入力部１０３は、利用者または管理者によりテンキー１５１から入力された利用者を特定する番号（ＩＤ番号）を取得し、制御部１０１に出力する。例えば、オフィスビルなどでは、社員番号を入力する。テンキーの代わりにタッチパネルや、ＩＣカードリーダーを用いてもよい。

入力部１０２は、利用者等がテンキー１５１を操作して入力したＩＤ番号が予め登録されたＩＤ番号であれば、カメラ１５０によって撮影された人物の顔画像を含む入力画像を取得し、制御部１０１に出力する。なお、入力画像取得のタイミングは、超音波センサ等を設置し、利用者の接近を検知することをトリガーとしてもよい。

記憶部１０４は、フラッシュメモリやハードディスクなどの記憶媒体で実現し、利用者ごとの登録顔画像１０４ａ、複数の候補顔画像１０４ｂ、候補顔画像１０４ｂの相互類似度、登録顔画像１０４ａと候補顔画像１０４ｂに関連づけられる利用者毎のＩＤ番号、および、入力部１０２にて取得された入力画像を一時的に記憶する。本実施の形態では、画像そのものを記憶しているが、特徴抽出部１０５にて抽出された特徴量を各種顔画像に対応付けて、同時に記憶しておいても良い。特徴量を記憶すれば、処理スピードの向上を図ることができる。

なお、登録顔画像１０４ａを１人の利用者につき２枚以上用意する場合は、登録顔画像１０４ａ毎に候補顔画像１０４ｂを用意し、照合したときの判定に用いた登録顔画像１０４ａに対応させる。

登録顔画像１０４ａ、複数の候補顔画像１０４ｂ、候補顔画像１０４ｂごとの相互類似度、およびＩＤ番号は、対応付けられて記憶部１０４に記憶される。このＩＤ番号ごとの組が、顔画像照合装置１００の利用許可者ごとに記憶されている。

このほか、図示していないが、記憶部１０４には、特徴抽出部１０５で実行されるプログラムである抽出モジュール、照合部１０６にて実行されるプログラムである照合モジュール、更新部１０７にて実行されるプログラムである更新モジュール、画像確認部１１０にて実行される画像確認モジュール、それらの処理にて用いられる照合閾値や、更新閾値、処理の状態を表すフラグなどの各種パラメータを記憶する。

ここで、登録顔画像１０４ａと、候補顔画像１０４ｂについて説明する。登録顔画像１０４ａは、本人照合の基準となる顔画像であって、入力顔画像が許可された本人の顔画像であるかを照合するときに使用する。なお、登録顔画像１０４ａは、利用者１人につき１枚または２枚以上用意し、候補顔画像１０４ｂを用い後述する登録顔画像更新手段１０７１にて更新される。

候補顔画像１０４ｂは、登録顔画像１０４ａの更新に使用する顔画像であって、登録顔画像１０４aと照合して本人であると判定された入力顔画像である。なお、本実施の形態では、候補顔画像１０４ｂを登録顔画像１０４ａ１枚につき７枚を用意しているが、３枚以上であればよい。また、候補顔画像１０４ｂは、後述する候補顔画像更新手段１０７２にて更新される。

また、アクセス制御システムの運用では、他人による詐称行為や他人受理によって他人の顔画像が候補顔画像１０４ｂに紛れる頻度に比べると、本人による正しい本人受理による本人の顔画像が候補顔画像１０４ｂになる方が圧倒的に多い。このため、候補顔画像１０４ｂは、記憶する枚数が多いほど、他人の顔画像が登録顔画像になる可能性が低くなる。

また、候補顔画像１０４ｂごとの相互類似度について説明する。相互類似度とは、１枚の候補顔画像が、その他の候補顔画像と類似している度合をいう。簡単のため、図４を参照し、３枚の候補顔画像１０４ｂの相互類似度の算出例を説明する。

候補顔画像１と候補顔画像２との類似度Ａ、候補顔画像２と候補顔画像３との類似度Ｂ、候補顔画像３と候補顔画像１との類似度Ｃを算出する。次に、例えば候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出する。

図１では、記憶部１０４に明示していないが、特徴抽出部１０５・照合部１０６・更新部１０７・画像確認部１１０は、記憶部１０４に記憶されている各種プログラムであるモジュールを制御部１０１にて実行される機能ブロックとして示している。

特徴抽出部１０５は、入力画像から顔領域を切り出した入力顔画像を生成する顔画像切出手段１０５１と、入力顔画像・登録顔画像１０４ａおよび候補顔画像１０４ｂの各種顔画像から照合に有用な特徴量を算出する特徴量算出手段１０５２を有する。

顔画像切出手段１０５１は、予め多数の顔画像と顔が写っていない非顔画像にて学習させたニューラルネットを用いて、入力部１０２から入力された入力画像から入力顔画像を生成する。

具体的なニューラルネットの学習方法は、先ず、予め多数の顔画像と顔が写っていない非顔画像を学習用として用意する。次に、学習用顔画像は手動で両目の位置を抽出し、両目の位置をそろえることで顔の位置や向きを正規化し、顔領域を切り出したのちに一定のサイズ（例えば３２×３２画素）に正規化する。さらに、各顔領域内の輝度の平均と分散をあらかじめ定められた一定の値になるよう正規化することで明るさの違いの影響を軽減し、学習用顔画像セットとする。一方の非顔画像も、画像中の適当な部位を切り出して、画像サイズと輝度の平均・分散を顔画像セットと同様に正規化し、学習用非顔画像セットとする。なお、ニューラルネットは、一般的な、入力層、中間層、出力層の３階層のものを用いている。かかるニューラルネットに対し、顔画像と非顔画像を入力し、顔画像を入力したときは出力が１に、非顔画像を入力したときには出力が０になるように正解を与え、ニューラルネットに学習させる。学習方法は、一般的な誤差逆伝搬法を用いる。このようにして学習した識別機は、顔画像が入力されると１に近い値を、非顔画像が入力されると０に近い値を出力するようになる。画像をニューラルネットに画像を入力したときに、ニューラルネットから出力される出力値を顔検出スコアと呼ぶ。

したがって、顔画像切出手段１０５１は、入力画面から任意の領域を矩形に切り出し、学習時と同じ正規化（ここでは、サイズを３２×３２画素に、輝度の平均と分散を学習時と同じ設定値に正規化）をした後に、ニューラルネットに入力する。切り出す矩形の場所と大きさを変えて、画面全体をサーチし、最も顔検出スコアが大きかった矩形について、顔検出スコアがあらかじめ定められた閾値以上であれば、その矩形を顔領域として抽出する。かかる矩形の顔領域の画像を入力顔画像として切り出し、記憶部１０４に記憶させる。

特徴量算出手段１０５２は、記憶部１０４に記憶されている入力顔画像、登録顔画像１０４ａ、候補顔画像１０４ｂから本人判定のための特徴量を算出する。具体的には、特徴量を抽出したい顔画像から目尻、目頭、口の端部、口の中心などの人の特徴を呈する特徴点をテンプレートマッチング法にて抽出する。テンプレートマッチング法は、目尻等の特徴点ごとに予め用意したテンプレート画像と入力画像をずらしマッチング処理する一般的な方法なので、詳細な説明は省略する。他の方法を用いても良い。

次に特徴量算出手段１０５２は、抽出された各特徴点に対して、特徴点を中心に設定したガボールフィルタを作用させ、各特徴点近傍における方向、周波数、広がり、位置等の特徴量を算出する。ガボールフィルタを使用することにより、特徴点の周囲の局所的な画像から特徴量を算出できるので、照明の変化などによる全体的な輝度の変化の影響を避けつつ、特徴量を抽出することが可能となる。そして、特徴量算出手段１０５２は、算出した特徴量を顔画像とともに記憶部１０４に記憶する。なお、特徴点の部位や、特徴の種類に応じて重み付けをしてもよい。また、生体的特徴を現すパラメータであれば、本実施例に限らず、他のパラメータを用いても良い。

照合部１０６は、記憶部１０４に記憶された入力顔画像、登録顔画像または候補顔画像のうち２枚を比較し、同一人物の顔画像か否かの照合を行う。照合部１０６は、類似度算出手段１０６１と判定手段１０６２からなる。

類似度算出手段１０６１は、２枚の顔画像について、特徴抽出部１０５にて算出した特徴量同士の類似度を算出する。例えば、入力顔画像の特徴量と、登録顔画像の特徴量を記憶部１０４からそれぞれ読み出す。次に、各特徴量をベクトルとみなし、各ベクトルの差を計算した差分ベクトルの長さの逆数が類似度である。類似度は、概念的に２枚の画像が類似している度合である。このため、本実施の形態では特徴量ベクトルを用いて数値化を試みているが、これに限られるものではなく、ユークリッド距離など他の方式を用いても良い。類似度算出手段１０６１にて算出した類似度は、判定手段１０６２または更新部１０７へ送出する。

判定手段１０６２は、入力顔画像が登録顔画像１０４ａの顔画像の本人か否かを判定する。すなわち、判定手段１０６２は、類似度算出手段１０６１にて算出された類似度と、記憶部１０４に予め記憶されている照合閾値とを比較して、入力顔画像が登録顔画像１０４ａの本人であるかどうかの判定を行う。判定結果が、本人と判定された場合は、出力部１０８を介して電気錠１６０に出力され、電気錠１６０を解錠する。なお、本人でない場合は、出力しない。また、判定結果は、表示部１０９に判定結果として出力され、本人であれば照合ＯＫの旨、本人でなければ照合ＮＧの旨を表示部１０９にて利用者に表示される。

更新部１０７は、登録顔画像１０４ａの更新を行う登録顔画像更新手段１０７１と、候補顔画像１０４ｂの更新を行う候補顔画像更新手段１０７２を有している。登録顔画像更新手段１０７１は、複数の候補顔画像１０４ｂから他人の顔画像の可能性の低いものを特定し、登録顔画像１０４ａを更新する。

登録顔画像更新手段１０７１は、判定手段１０６２にて本人であると判定し、且つ登録顔画像更新可フラグがＯＮの場合に処理を開始し、複数の候補顔画像１０４ｂから登録顔画像１０４ａを更新する候補顔画像１０４ｂを選択し、選択した候補顔画像１０４ｂにて登録顔画像１０４ａを更新する。

具体的には、登録顔画像更新手段１０７１は、記憶部１０４から更新対象となった登録顔画像１０４ａに対応する７枚の候補顔画像１０４ｂを読み出す。次に、類似度算出手段１０６１に読み出した候補顔画像１０４ｂの相互の類似度を算出させて、図４に示すように類似度を取得する。ここでは、簡単のため、３枚の候補顔画像１０４ｂを用いて説明する。そして、候補顔画像１と候補顔画像２との類似度を相互類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出する。

次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高いので、候補顔画像１を特定する。そして、特定した候補顔画像１にて登録顔画像１０４ａを更新する。

ここで、相互類似度が最も高い候補顔画像１０４ｂとは、複数の候補顔画像の何れにも似ている度合が最も高いので、候補顔画像のうち最も本人の顔画像の可能性が高く、他人の顔画像である可能性が最も低い候補顔画像である。

アクセス制御システムの運用では、他人による詐称行為や他人受理によって他人の顔画像が候補顔画像１０４ｂに紛れる頻度に比べると、本人による正しい本人受理による本人の顔画像が候補顔画像１０４ｂになる方が圧倒的に多い。したがって、他人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が低いので、逆に本人の候補顔画像１０４ｂは相互類似度が最も高いものとなる。なお、本実施の形態では、相互類似度が最も高い候補顔画像１０４ｂにて更新するようにしたが、候補顔画像１０４ｂの数を多くすれば、最高でなくてもある程度上位になっている候補顔画像を特定するようにしても良い。

本実施の形態では、候補顔画像１０４ｂのみについて相互類似度を求めるとしていたが、登録顔画像１０４ａも併せて相互類似度を求めても良い。

次に、候補顔画像更新手段１０７２を説明する。候補顔画像更新手段１０７２は、判定手段１０６２にて本人であると判定した場合に処理を開始し、複数の候補顔画像１０４ｂから最も他人の可能性が高いものと、入力顔画像を入れ替えて更新する。

候補顔画像更新手段１０７２の処理について、図３を参照し詳細に説明する。図３は、候補顔画像更新手段の処理フローである。まず、Ｓ２００では、後述するＳ２０８にて求めた候補顔画像１０４ｂの相互類似度のうち、最も高い候補顔画像を特定し、記憶部１０４から読み出す。ここでは、候補顔画像１が特定されたとする。ここで、相互類似度の最も高い候補顔画像１を選択するのは、候補顔画像１が最も他人の顔画像である可能性が低く、本人の顔画像の可能性が高いからである。そして、候補顔画像１と入力顔画像の類似度（類似度１）を類似度算出手段１０６１にて算出する。

Ｓ２０２では、かかる候補顔画像１との類似度１が、記憶部１０４に記憶されている更新閾値を超えているか否か比較し、候補顔画像１０４ｂの更新をするかどうかを判定する。すなわち、類似度１が更新閾値以下の場合は、入力顔画像は候補顔画像１０４ｂの更新には不適切であると判定し、更新せずに、この候補顔画像更新処理を終了する。

Ｓ２０２にて、類似度１が更新閾値より大きい場合は、入力顔画像は候補顔画像１０４ｂの更新に適切なものであると判定し、Ｓ２０４に進む。更新閾値は、類似度算出方法・照合精度等に依存する。候補顔画像１０４ｂは、登録顔画像１０４ａに更新される可能性があり、他人の可能性を極力排斥する必要があるので、更新閾値は高く設定する方がよい。他方、あまり高い更新閾値を設定すると、加齢等による本人の顔変化に追従できなくなる。したがって、更新閾値は、これらの要素を考慮しつつ、経験的に決定される。

Ｓ２０４では、Ｓ２００と同様に、類似度算出手段１０６１にて候補顔画像２と入力顔画像の類似度（類似度２）、候補顔画像３と入力顔画像の類似度（類似度３）、以下同様に、類似度４、類似度５、類似度６、類似度７を算出する。

Ｓ２０６では、類似度１乃至類似度７の中で、最小の類似度である候補顔画像１０４ｂを選択し、候補顔画像１０４ｂを入力顔画像で置き換える。

入力顔画像との類似度が最小な候補顔画像１０４ｂとは、本人と判定された入力顔画像と最も似ていない候補顔画像１０４ｂであることを意味している。他人受理が発生し、且つ候補顔画像１０４ｂに他人の顔画像が紛れ込んだとしても、他人の候補顔画像との類似度は、本人の候補顔画像よりも低いので、候補顔画像１０４ｂに紛れ込んでいる他人の候補顔画像を入力顔画像に更新することができる。よって、他人の顔画像が候補顔画像１０４ｂに紛れても、いち早く当該候補顔画像１０４ｂを本人の入力顔画像にて更新することが可能となる。

Ｓ２０８では、更新された候補顔画像１０４ｂの相互類似度を算出する。候補顔画像更新手段１０７２は、更新された候補顔画像１０４ｂを含めて相互の類似度を算出する。類似度は７×６÷２＝２１個求めるが、登録顔画像更新手段１０７１の場合と同様に、簡単のために候補顔画像が３枚として説明すると、候補顔画像１と候補顔画像２との類似度を相互類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出する。算出した相互類似度にて、記憶部１０４を更新する。

次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高いので、Ｓ２００にて使用する候補顔画像１を選択し、候補顔画像更新手段１０７２の処理を終了する。

ここで、相互類似度が最も高い候補顔画像１０４ｂとは、複数の候補顔画像の何れにも似ている度合が最も高いので、複数の候補顔画像１０４ｂのうち最も本人の顔画像の可能性が高い候補顔画像１０４ｂである。

アクセス制御システムの運用では、他人による詐称行為や他人受理によって候補顔画像１０４ｂが紛れる頻度に比べると、本人による正しい本人受理による候補顔画像１０４ｂが候補顔画像１０４ｂになる方が圧倒的に多い。したがって、本人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が最も高くなる。

次に、画像確認部１１０を説明する。画像確認部１１０は、アクセス制御システム１０の管理者が、登録顔画像と候補顔画像を確認する際に使用される。

図６と図７を参照して、画像確認部１１０について詳細に説明する。図６は、画像確認部１１０における確認表示処理のフローを示している。また、図７は、表示部１０９の表示例を示している。

画像確認部１１０は、アクセス制御システム１０の管理者がテンキー１５１を操作して、正しい管理者ＩＤを入力されると、画像確認モードを開始する。テンキーの代わりにＩＣカードリーダーを用いている場合には、管理者用カードをかざして、カードのデータを読み取らせても良い。

画像確認モードが開始されると、管理者のテンキー１５１操作による確認したい利用者のＩＤ番号の入力を待つ（Ｓ４００）。図示していないが、ＩＤ入力が所定時間なければ、タイムアップとして画像確認モードを終了する。

次に、利用者ＩＤが入力されると、当該利用者ＩＤが記憶部１０４に登録されているか否か判定する（Ｓ４０２）。ここで、利用者ＩＤが登録されていなければ、Ｓ４００に戻り利用者ＩＤの入力を待つ。他方、利用者ＩＤが登録されていれば、Ｓ４０４に進む。

Ｓ４０４では、Ｓ４００にて入力された利用者ＩＤに対応する登録顔画像１０４ａを記憶部１０４から読み出し、表示部１０９の登録顔画像の表示エリアに表示する。

Ｓ４０６では、当該利用者ＩＤに対応する複数の候補顔画像１０４ｂの中から相互類似度が最小の候補顔画像を選択し、表示部１０９の候補顔画像の表示領域に表示する。ここで、相互類似度が最小の候補顔画像とは、候補顔画像のうち、最も本人の顔画像らしくない顔画像である。

ここで、最も本人の顔画像らしくない候補顔画像の選択について説明する。アクセス制御システムの運用では、他人による詐称行為や他人受理によって候補顔画像１０４ｂが紛れる頻度に比べると、本人による正しい本人受理による候補顔画像１０４ｂが候補顔画像１０４ｂになる方が圧倒的に多い。このため、最も本人の顔画像らしくない候補顔画像１０４ｂは、複数の候補顔画像１０４ｂのうち他の候補顔画像１０４ｂと似ている度合が最も低い顔画像となる。すなわち、図３のＳ２０８において算出した相互類似度が最も低い候補顔画像１０４ｂが、最も本人らしくない顔画像である。なお、相互類似度が最小となる候補顔画像１０４ｂが複数存在した場合は、候補顔画像１０４ｂとして記憶された時が古い候補顔画像１０４ｂを選択する。

表示部１０９の表示内容例を図７に示す。表示部１０９には、利用者のＩＤ番号を表示するＩＤ表示領域５０１、登録顔画像１０４ａを表示する登録顔画像表示領域５０２、候補顔画像１０４ｂを表示する候補顔画像表示領域５０３が表形式に表示されている。更に、表示部１０９には、表示される候補顔画像を切替える切替ボタン５０４、確認したい利用者を変更するための次ＩＤボタン５０５、候補顔画像１０４ｂを削除指示する削除ボタン５０６、および画像確認モードの終了を指示する終了ボタン５０７が表示されている。

Ｓ４０８では、管理者によって、切替ボタン５０４が操作されたか判断する。すなわち、切替ボタン５０４の次の顔画像ボタンまたは前の顔画像ボタンの押圧を検出したか否か判定する。ここで、切替ボタン５０４が操作されるとＳ４１０に進み、候補顔画像表示領域５０３に表示される候補顔画像１０４ｂを相互類似度の順番に切り替える。すなわち、次の顔画像ボタンの押圧を検出すると、現表示されている候補顔画像の次に相互類似度が低い候補顔画像１０４ｂを選択し、候補画像表示領域５０２に表示する。また、前の顔画像ボタンの押圧を検出すると、現表示されている候補顔画像の次に相互類似度が高い候補顔画像１０４ｂを選択し、候補顔画像表示領域５０３に表示する。かかる切替ボタン５０４の操作から候補顔画像表示領域５０２に表示させる処理は、図１には示していない切替手段によって実行される。

他方、Ｓ４０８にて、切替ボタン５０４の操作を検出しなければＳ４１６に進み、削除ボタン５０６が操作されたか判断する。すなわち、削除ボタン５０６の押圧を検出したか否か判定する。ここで、削除ボタン５０６が操作されると、記憶部１０４から表示中の候補顔画像１０４ｂを削除するとともに、当該候補顔画像１０４ｂを登録顔画像１０４ａに書き換える。更に、表示部１０９の候補顔画像表示領域５０３には、複数の候補顔画像１０４ｂのうち、最も相互類似度が低い候補顔画像１０４ｂを選択して表示する。かかる削除ボタン５０６の操作からの処理は、図１に示していない削除手段によって実行される。

Ｓ４１６にて削除操作がない場合は、次ＩＤボタン５０５の操作があったか否か判断する。次ＩＤボタン５０５が操作される場合は、現在表示している利用者の画像確認から他の利用者の画像確認へ管理者が進みたい場合である。次ＩＤボタン５０５が操作されると、Ｓ４００に戻り、利用者ＩＤの入力を待つ。

Ｓ４１２にて次ＩＤボタン５０５の操作がない場合はＳ４１４に進み、終了ボタン５０７が操作されたか否か判断する。終了ボタン５０７が操作されると、本画像確認モードを終了し、図２に示す通常の運用状態に戻る。他方、終了ボタン５０７が操作されなければＳ４０８に戻り、各処理を繰り返す。

上記実施の形態では、最小の相互類似度であった候補顔画像１０４ｂを選択し、表示させたが、別の実施の形態として、登録顔画像と、最大の相互類似度であった候補顔画像と、最小の相互類似度であった候補顔画像の三枚を並べて表示しても良い。この場合、より正確に候補顔画像１０４ｂの更新の状況を把握することができる。

図１にもどって、出力部１０８は、判定手段１０６２にて本人であると判定した場合、顔画像照合装置１００に接続されている外部の機器である電気錠１６０に対して、解錠信号または施錠信号を出力するインターフェースである。

表示部１０９は、液晶タッチパネルにて構成されている。通常の運用時は、照合結果の表示をする。また、管理者が画像確認する際は、登録顔画像、候補顔画像、操作入力ボタンなどを表示する。なお、操作入力ボタンは、テンキー１５１と共用としてもよい。

制御部１０１は、ＣＰＵ、ＤＳＰ、メモリ等により実現され、顔画像照合装置１００の各部を記憶部１０４等に記憶されている各種プログラムにしたがって制御する。

以上のように構成されたアクセス制御システム１０の照合動作及び顔画像の更新動作について図２および図５に示されたフロー図を用いて説明する。なお、以下の説明では、初期設定として、顔画像照合装置１００について特別な権限をもつ管理者が、各利用者の顔を撮影して、登録顔画像１０４ａを記憶部１０４に記憶済みであり、ＩＤ番号の設定も終了しているとする。また、候補顔画像１０４ｂは、初期状態では登録顔画像１０４ａをコピーして記憶しておく。

図２は、本実施形態にかかる照合動作および更新動作の全体を示すフロー図である。
Ｓ１００では、利用者がテンキー１５１を操作して自分のＩＤ番号を選択操作すると、選択入力部１０３からＩＤ番号が入力される。制御部１０１では、入力されたＩＤ番号が記憶部１０４に記憶されているＩＤ番号と一致しているか否かを判定し、一致していればステップＳ１０２へ進む。他方、図示していないが、一致するＩＤ番号が記憶されていなければ、照合動作することなく終了する。

Ｓ１０２では、制御部１０１は、入力部１０２を制御し、カメラ１５０にて撮影した利用者の顔部分を含む入力画像を取得する。

Ｓ１０４では、照合部１０６にて利用者が本人か否かの照合処理を行う。
先ず、特徴抽出部１０５の顔画像切出手段１０５１にて、入力画像から顔領域を切り出し、入力顔画像を生成し記憶部１０４へ一旦記憶する。
次に、特徴抽出部１０５の特徴量算出手段１０５２にて、記憶部１０４に記憶された登録顔画像１０４ａと入力顔画像のそれぞれの特徴量を算出する。なお、本実施の形態では、記憶部１０４に登録顔画像を記憶し照合のたびに特徴量を算出しているが、登録顔画像１０４ａを画像の他に特徴量も記憶しているときは、入力顔画像についてのみ行う。次いで、照合部１０６の類似度算出手段１０６１にて、入力顔画像と登録顔画像１０４ａの特徴量から類似度を算出する。この類似度を類似度Ｓとする。

Ｓ１０６では、判定手段１０６２にて、記憶部１０４に記憶されている本人判定用の照合閾値と類似度Ｓを比較し、類似度Ｓが照合閾値より大きいならば照合成功（利用者は許可者本人である）として、処理をＳ１１０に進み、類似度Ｓが照合閾値以下ならば照合失敗（利用者は他人）として処理をＳ１０８に進む。

ここで、照合閾値は、特徴量の定義方法に依存するものであり、経験的に決定されるものである。例えば、あらかじめ多数の顔画像を用いて実験を行い、閾値と他人受入率、本人拒否率の関係を調べた上で、顔照合装置の用途に応じた適切な照合精度を確保できるように決定する。

Ｓ１０８では、照合失敗の旨を表示部１０９に出力し、Ｓ１００のＩＤ番号の入力を待つ。当然、かかる場合は、電気錠１６０への施錠または解錠の信号は出力されない。
Ｓ１１０では、出力部１０８から接続されている電気錠１６０に施錠または解錠信号を出力するとともに、表示部１０９に照合成功の旨を表示する。

Ｓ１１２では、更新部１０７の候補顔画像更新手段１０７２にて候補顔画像更新処理を行う。

Ｓ１１４では、登録顔画像更新条件判定を行う。登録顔画像更新条件判定とは、登録顔画像１０４ａが更新すべき程度に劣化しているか否かを判定する処理である。図５を参照して、かかる処理について説明する。

図５は、当該処理に関するフロー図である。登録劣化カウンタは０、登録顔画像更新許可フラグはＯＦＦをそれぞれ初期値としている。
Ｓ３００では、Ｓ１１２にて候補顔画像更新の際（Ｓ２００）に算出した類似度１と、Ｓ１０４にて算出した類似度を比較する。類似度Ｓは登録顔画像１０４ａと入力顔画像の類似度であり、類似度１は複数の候補顔画像１０４ｂの相互類似度が最高のものと入力顔画像の類似度である。このため、類似度Ｓが類似度１より小さいという状態は、登録顔画像１０４ａよりも候補顔画像１０４ｂの方が、入力顔画像と類似していることを示している。従って、このような状態が続くのであれば、登録顔画像１０４ａを候補顔画像１０４ｂで置き換えた方が良いことになる。そこで、類似度Ｓが類似度１より小さい場合は、登録劣化カウンタの値に１加算し（Ｓ３０４）、次のＳ３０６に処理を移す。他方、類似度Ｓが類似度１以上の場合は、登録劣化カウンタを０にリセットし（Ｓ３０２）、登録顔画像更新条件判定処理（Ｓ１１４）を終了する。

Ｓ３０６では、登録劣化カウンタが所定数をカウントしたか否か判定する。この所定数は、経験的に求められる。多く設定すると、登録顔画像１０４ａの劣化への対応が遅くなり、少なく設定すると劣化への対応は早くなるが頻繁に登録顔画像１０４ａが更新されることによる他人の顔画像による更新リスクが高くなる。所定数は、これらを考慮し、経験的に決められる。Ｓ３０６にて、所定数に達していないと判断すると、登録顔画像更新条件判定処理を終了する。他方、所定数に達していれば、Ｓ３０８へ進む。Ｓ３０８では、登録顔画像更新許可フラグをＯＮ、および、登録劣化カウンタを０クリアし、登録顔画像更新条件判定処理を終了する。

図２に戻って、Ｓ１１６では、登録顔画像更新許可フラグがＯＮになっているかどうかを調べ、ＯＮになっている場合にはＳ１１８へ進む。他方、ＯＦＦの場合は登録顔画像の更新は行わず、Ｓ１００に戻り、再度テンキー１５１の操作がされるのを待つ。Ｓ１１８では、登録顔画像更新手段１０７１にて登録顔画像１０４ａを更新する処理を実行し、Ｓ１１９にて登録顔画像更新許可フラグをＯＦＦにしてＳ１００に戻る。

最後に、管理者が画像確認をする画像確認モードの動作について図６、図７を参照して説明する。先ず、顔画像照合装置１００、図２で説明した運用状態にあるとする。管理者は、利用者ＩＤ「１」の登録顔画像１０４ａと候補顔画像１０４ｂを確認するため、テンキー１５１から管理者ＩＤを入力する。入力された管理者ＩＤが予め記憶している管理者ＩＤと一致すると、画像照合装置１００は画像確認モードが開始される。

画像確認モードが開始されると、管理者は、テンキー１５１から確認したい利用者のＩＤ番号「１」を入力する（Ｓ４００）。次に、利用者ＩＤ「１」が入力されると、利用者ＩＤ「１」が記憶部１０４に登録されているか否か判定する（Ｓ４０２）。ここで、利用者ＩＤが登録されていなければ、利用者ＩＤの入力を待つ。

今回、利用者ＩＤ「１」は登録されているので、利用者ＩＤ「１」に対応する登録顔画像１０４ａ、候補顔画像１０４ｂが、図７に示す表示部１０９の各表示領域に表示される（Ｓ４０４、Ｓ４０６）。ここで、表示される候補顔画像１０４ｂは、複数の候補画像のうち最も本人の顔画像らしくない候補顔画像が表示されている。このため、管理者は、総ての候補顔画像１０４ｂを表示させて比較することなく、最も本人らしくない候補顔画像と登録顔画像を並べて比較できるので、他人の顔画像が候補顔画像１０４ｂに紛れ込んでいるか否かの判断が容易になる。すなわち、最も本人らしくない顔画像をチェックしておけば、その他の候補顔画像１０４ｂについては、管理者が確認する必要が少なく、管理者の確認作業の効率が高まる。

次に、管理者が表示された候補顔画像１０４ｂ以外の候補顔画像１０４ｂを確認したい場合は、表示部１０９の切替ボタン５０４を操作する。切替ボタン５０４の操作によって表示される候補顔画像１０４ｂは、相互類似度の低い順に表示される。管理者の画像確認の作業は、候補顔画像１０４ｂに他人の顔画像が紛れ込んでいるか否かの確認作業であるので、他人の可能性の高い順番に表示するのが作業効率としてよいからである。なお、前に表示させた候補顔画像１０４ｂを表示させたいときは、「前の顔画像ボタン」を押下し、相互類似度が次に低い候補顔画像１０４ｂを表示させたいときは、「次の顔画像ボタン」を押下する（Ｓ４０８、Ｓ４１０）。

また、管理者が現在表示されている候補顔画像１０４ｂが本人でないと判断した場合は、表示部１０９の削除ボタン５０６を押下する。削除ボタン５０６が操作されると、記憶部１０４から表示中の候補顔画像１０４ｂが削除され、候補顔画像表示領域５０３には、次の候補顔画像１０４ｂが表示される（Ｓ４１６、Ｓ４１８）。これによって、管理者は、最も本人の顔画像らしくない候補顔画像１０４ｂを最新の状態で確認できるのである。
管理者は、このような操作を繰り返して、利用者ＩＤ「１」の候補顔画像１０４ｂの状態が適正であることを確認するとともに、適正でない場合は削除することが可能となるのである。この作業は、候補顔画像１０４ｂの数が増えても、最も本人らしくない顔画像を効率よく確認できるので管理者の作業負荷の低減が図れる。

管理者が、次の利用者の画像を確認したい場合は、次ＩＤボタン５０５を押下すれば、利用者ＩＤ入力の待機となる。更に、管理者が、画像確認の作業を終えた場合は、終了ボタン５０７を押下すると、画像確認モードが終了され、図２で示す運用状態に戻る。

発明にかかる顔画像照合装置を備えたアクセス制御システム全体の構成を示すブロック図 本実施形態にかかる照合動作および更新動作の全体を示すフロー図 本実施形態にかかる候補顔画像更新手段の処理を示すフロー図 候補顔画像の相互類似度を示す概念図 本実施形態にかかる登録顔画像更新条件判定処理を示すフロー図 本実施形態にかかる画像確認モードにおけるフロー図 本実施の形態にかかる表示部１０９の表示例を表す図

符号の説明

１０ アクセス制御システム
１００ 顔画像照合装置
１０１ 制御部
１０２ 入力部
１０３ 選択入力部
１０４ 記憶部
１０４ａ 登録顔画像
１０４ｂ 候補顔画像
１０５ 特徴抽出部
１０５１ 顔画像切出手段
１０５２ 特徴量算出手段
１０６ 照合部
１０６１ 類似度算出手段
１０６２ 判定手段
１０７ 更新部
１０７１ 登録顔画像更新手段
１０７２ 候補顔画像更新手段
１０８ 出力部
１０９ 表示部
１１０ 画像確認部
１５０ カメラ
１５１ テンキー
１６０ 電気錠
５０１ ＩＤ表示領域
５０２ 登録顔画像表示領域
５０３ 候補顔画像表示領域
５０４ 切替ボタン
５０５ 次ＩＤボタン
５０６ 削除ボタン
５０７ 終了ボタン

Claims (2)

1. 登録顔画像に対応付けて３以上の候補顔画像を記憶している記憶部と、
   入力顔画像と前記登録顔画像と前記候補顔画像のいずれか２つについて類似度を算出する類似度算出手段と、前記入力顔画像と前記登録顔画像についての類似度が照合閾値以上の場合に当該入力顔画像と当該登録顔画像の人物の一致を判定する判定手段とを有する照合部と、
   順次入力される入力顔画像にて前記候補顔画像を更新し、前記登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を算出し、前記相互類似度が最大の候補顔画像にて登録顔画像を更新する更新部と、
   管理者が操作する選択入力部にて選択された登録顔画像を前記記憶部から読み出し、当該登録顔画像に対応する前記相互類似度が最も低い候補顔画像を表示部に当該登録顔画像とともに表示させ、当該表示された候補顔画像について管理者が前記選択入力部にて削除を選択すると、前記記憶部から当該表示された候補顔画像を削除する画像確認部とを具備する顔画像照合装置。
   
2. 前記画像確認部は、前記表示部に表示されている候補顔画像を管理者が前記選択入力部にて切替を選択すると、前記相互類似度が低い順に切替えて表示する切替手段を有する請求項１に記載の顔画像照合装置。
   

Images