JP6148064B2 - 顔認証システム - Google Patents

Description

本発明は、歩行する人物が予め登録された利用者であるか顔画像を用いて認証する顔認証システムに関する。

近年、オフィスビルの出入管理システム等において、人物の顔の特徴を用いて本人認証する顔認証装置が利用されている。この顔認証装置は、人物を撮影して得た画像から人物の顔領域を含む顔画像を抽出し、予め登録された利用者の顔画像と照合することでその人物が利用者本人であるか否か判定する。
顔認証装置はカメラに顔を向けるだけで簡単に認証が行える利点がある一方で、顔画像から抽出された顔の特徴情報の類似度に基づき認証するため、正規の利用者の顔写真をカメラに向けて本人に成りすます不正行為が懸念される。

このような不正行為に対し、顔写真が平面的であり表情が変化しないという特性に着目し、陰影の変化や眼・口等の動きを検出して顔画像の真贋判定を行う技術が提案されている。例えば、特許文献１に開示されている個人認証装置は、カメラの前に停止した人物に対して左右から順次照明を当てて顔を撮影し、照明を照らした側の領域と逆側の領域との平均輝度の差が大きいと実物の人間であると判定し、差が小さいときは写真を用いた不正行為であると判定する。

特開２００３−２４２４９１号公報

しかしながら、実物の人間であっても、周囲の明るさや撮影環境、顔や表情の動き等によっては、輝度の変化が十分に現れず不正行為と誤認識されることが起こり得るため、利用者の通行を不当に制限してしまうおそれがある。特に、歩行中の人物を撮影して顔認証を行うウォークスルー型の顔認証装置では、利便性はさらに高まる一方で、顔写真でも向きや輝度の変化が生じるため真贋判定を行うことは容易ではない。不正行為を排除するために厳しい閾値によって真贋判定すると、実物の人間を偽物と誤認識する可能性は高まる。

そこで、本発明は、ウォークスルー型の顔認証の利便性を損なうことなく、また、安全性を低下させることなく、正規の利用者が不正行為と誤認識されることを防止可能とした顔認証システムの提供を目的とする。

上記目的を達成するために本発明は、管理区域に隣接した認証領域を通行する人物の顔認証を行う顔認証システムにおいて、前記管理区域側から認証領域を撮影して前記人物の顔を含む顔画像を順次取得する画像取得手段と、予め登録された利用者の登録顔画像を記憶する記憶手段と、前記取得した顔画像と前記登録顔画像とを照合する顔照合手段と、前記顔画像の時間的変化が小さいとき不正行為と判定する画策判定手段と、前記登録顔画像と照合一致し、且つ、前記不正行為と判定されていない人物を前記利用者として認証する認証手段とを備え、前記画策判定手段は、前記顔画像における所定の局所領域の変化を検出したときには不正行為ではないと判定する、ことを特徴とする。

この顔認証システムでは、顔全体では人間らしい特徴変化が小さい場合であっても、眼や口など顔を構成する局所部位において人間らしい動きが認められれば不正行為ありと判定しない。ここで、局所部位の動き観察は、実物の人間を高い確度で判別可能というメリットがある一方、顔全体での真贋判定に比べて高解像度の顔画像が求められるため、比較的近距離で人物を撮影する必要がある。しかし、管理区域に向かい通行する利用者（通行意思を持った人物）であればカメラに近づいていくため、局所部位の動きを容易に観察できる。
このように、特性の異なる方法で真贋判定を行い最終的に不正行為の有無を判断することにより、ウォークスルー型顔認証の利便性を損なうことなく不正行為と誤認識された人物を救済することができる。また、誤認識された人物のうち通行意思を持つ人物を対象に確実性が高い方法で救済するため、不用意な救済により不正行為を許容してしまうリスクを抑制しつつ、救済判定による利便性向上を図ることができる。

また、上記構成において、前記画策判定手段は、前記認証領域のうち前記管理区域側から所定範囲の救済領域にいる人物について前記局所領域の変化に基づく救済判定を実行する。
さらに、上記構成において、前記画策判定手段は、画像上の人物の位置または人物の顔の大きさに基づいて前記救済領域にいる人物を検出する。
これにより、通行意思を持った人物だけを救済対象とすることができ、また、救済判定を高精度に行えるため、不正行為を見逃すリスクを高めることなく利便性の向上を図ることができる。

また、上記構成において、前記画策判定手段は、前記顔画像の時間的変化により不正行為の有無を判定する第一判定処理と、前記顔領域の周辺の画像特徴に基づき不正行為の有無を判定する第二判定処理と、前記局所領域の時間的変化を検出すると前記第一判定処理で不正行為ありとした判定結果をキャンセルする救済処理と、を実行する。
このように、顔の特徴とは別に顔の周辺の特徴により不正行為と判定した場合には、瞬き等の局所領域の変化が検出されても救済しないため、救済判定により不正行為を見逃してしまうリスクを低減することができる。

本発明によれば、ウォークスルー型顔認証の利便性を損なうことなく、正規の利用者が不正行為と誤認識されることを抑制できる。また、通行意思を持つ人物を救済対象とするため実物の人間であることを高確度に判別でき、安全性の低下を防止しながら利便性の向上を図ることができる。

本実施形態の顔認証システムの運用イメージを示す模式図である。 本実施形態の顔認証システムの概略構成を示す図である。 モニタ４０に表示される教示画像を示す模式図である。 処理部８０における認証処理を示すフローチャートである。 処理部８０における画策判定処理を示すフローチャートである。

以下、本発明を出入管理システムに適用した場合の一実施形態である顔認証システムとして、図を参照しながら説明する。
本発明を適用した顔認証システムは、例えばオフィスビルの通用口における出入管理に利用され、管理区域内へ進入しようとする人物を撮影して顔認証を行い、予め登録された利用者であると認証された場合に管理区域への通行を許可する。

図１は、本実施形態の顔認証システムの運用イメージを示す模式図である。図１のように、通用エリアと管理区域との間には管理区域への通行を物理的に規制する手段であるゲート２０が設けられ、管理区域側から通用エリアを撮影可能なようにカメラ１０が設置される。カメラ１０は、通用エリアを撮影領域とするように、ゲート２０付近の壁面または天井に撮影方向をやや下向きにした状態で取り付けられ、通用エリアを斜め上方から俯瞰する。また、カメラ１０近傍にはカメラ１０の撮影画像を表示するモニタ４０が設置され、このモニタ４０上に認証状態を表示することで、通行者はモニタ４０を確認して自身の認証状態を把握できる。

人物がカメラ１０の撮影領域に入ってくると、顔認証システムは、撮影画像において人間の顔らしい領域を探索し、顔が抽出された場合、予め登録されている利用者の顔と照合する。撮影画像が得られるごとに顔抽出および照合を繰り返し実行し、一定期間の照合結果に基づいて登録利用者であることが確認されるとゲート２０を開放して通行を許可する。このとき、モニタ４０上には当該人物を認証した旨を教示する情報を表示する。
なお、顔照合処理は顔が抽出された場合に実行されるため、認証領域は撮影領域のうち顔が認識可能な範囲（距離）に限定される。この認証領域は、カメラ１０の解像度等の性能や照明など撮影環境に依存するが、例えば顔を示す楕円領域が所定の大きさ以上であることを顔抽出の条件とすることができる。認証領域は、複数の人物が同時に通行することを考慮し、例えばゲート２０から５〜１０ｍ程度までの距離になるようにする。なお、図１では模式的に認証領域を示しているが、実際はゲート２０から一定の範囲はカメラ１０の画角に顔が写らないため、この範囲は非認証領域となる。

照合処理と並行して、抽出された顔が実物の人間の顔であるか写真やタブレット端末等の電子表示器を用いた偽物の顔であるかを真贋判定する。顔認証システムは、表情や顔向き、陰影など顔の全体的な特徴変化を観察し、顔特徴時間的な変化が小さいと偽物の顔、すなわち不正行為の可能性があると認識する。不正行為と認識された人物は、照合にて何れかの登録利用者と合致した場合でも認証ＮＧとなり通行が拒否される。このとき、モニタ４０上には当該人物を不正行為者と認識した旨を教示する情報を表示する。
なお、真贋判定処理が実行される範囲は、顔照合処理と同様に顔が抽出されていることが条件となるため、認証領域にいる人物が判定対象となる。

図１を例に説明すると、予め登録された利用者Ａの顔写真を顔の前に掲げている人物１００がａ点に到達した時点で不正行為ありと認識された場合、その後、ｂ点に到達した時点で利用者Ａとの照合一致が確認されても認証ＯＫにはならずゲート２０は開放されない。

しかしながら、撮影環境や人物の動き方によっては、実物の人間であっても顔の全体的な特徴変化が顕著に検出できず、不正行為と誤認識される可能性があり、この場合、登録利用者が不当に通行を制限されるおそれがある。よって、本実施形態の顔認証システムでは、一旦は不正行為と判定した人物であっても、真に不正行為であるかを再確認する救済判定処理を行う。
ここで、救済判定処理は、一旦は偽物の顔であると認識された人物が不当に通行を制限されることを防止することが目的のため、真贋判定処理よりも真性の顔である人物を高い確度で判別することが求められ、また、管理区域への通行意思を持った人物だけを判定対象とすればよい。

そこで、本実施形態の顔認証システムは、顔全体の特徴変化に基づく真贋判定により不正行為と認識された人物について、顔の局所領域、すなわち顔を構成する特定の部位に注目して救済判定を行い、眼の動き（瞬きなど）や口の動き（口の開閉など）が検出された場合には真性の顔であるとみなして不正行為と誤認識された人物を救済する。カメラ１０から遠い場所では顔の局所領域を観察するのは困難だが、ゲート２０へ向かう人物がカメラ１０に近づいてくることで人物の顔を大きく撮影できるため、局所領域の観察が容易になる。したがって、実物の人間であれば通行の過程で瞬きや口の動きが検出され、不正行為とした真贋判定結果がキャンセルされ、その人物が登録利用者であれば通行を不当に制限されることなく管理区域に進入することができる。
なお、救済判定処理が実行される救済領域は、認証領域より狭く、カメラ１０やゲート２０から近距離の範囲（例えば、ゲート２０から１〜３ｍの距離まで）に限定される。例えば、顔を示す楕円領域の大きさが顔抽出の基準値より大きな基準値以上であるとき救済判定処理を実行する。なお、認証領域と同様、実際はゲート２０から一定の範囲は非救済領域となる。

図１を例に説明すると、予め登録された利用者Ｂである人物１００がａ点に到達した時点で不正行為ありと認識された場合、救済領域に進入してきたとき管理区域への通行意思があるとみなして救済判定を実行する。ｃ点で瞬きを検出すると真贋判定結果をキャンセルし、人物１００は不正行為ではないと認識する。そして、それ以前または以後に登録者Ｂとの照合一致が確認されたならば、認証ＯＫとしてゲート２０を開放する。なお、モニタ４０上には真贋判定処理で不正行為ありと認識された時点でその旨を教示する情報が表示されるため、人物１００はモニタ４０を見て自身が不正行為者と誤認識されていることを知り、救済領域に移動して瞬きや口の開閉を意図的に行うことができる。
一方、救済領域内に人物１００が進入せずに滞留している場合は救済判定を実行しない。よって、ゲート２０に接近しない遠距離の人物に対して不必要に救済判定を行い、顔写真の動きを真性の顔と誤認識してしまうことが防止される。

以下、図２乃至５を参照し、顔認証システムの構成および動作について詳細に説明する。
図２は、本実施形態の顔認証システムの概略構成を示す図である。本実施形態の顔認証システムは、カメラ１０、ゲート制御装置３０、モニタ４０、認証装置５０を主たる構成とする。

カメラ１０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等から構成される撮影手段であり、所定の撮影領域を撮影する。カメラ１０は、通用エリアからゲート２０に向かう方向（以下、通行方向という）に歩行する人物の顔を順次撮影できるように、ゲート２０近傍の通行方向の略正面に、撮影方向を通用エリアへ向けて設置する。複数の人物が前後に重なっていても後方の人物が撮影可能なように、カメラ１０はゲート２０側の壁または天井など人物よりやや高い位置に、上方から斜め下方に向けて設置する。
またカメラ１０は、所定の時間間隔（例えば、200ms）ごとに撮影領域を撮影し、グレースケールまたはカラーの多階調の画像を取得する。取得した撮影画像は、有線または無線で接続された認証装置５０に送信する。

ゲート制御装置３０は、管理区域への通行を物理的に規制するゲート２０に接続され、ゲート２０の開閉動作や電気錠の施解錠を制御する。ゲート制御装置３０は、常時はゲート２０を閉状態（或いは電気錠を施錠状態）に維持して通行を規制させ、認証装置５０から通行許可信号を受信すると、一時的にゲート２０を開状態（或いは電気錠を解錠状態）にして通行を許容させる。

モニタ４０は、薄型液晶ディスプレイ等から構成される表示手段であり、認証装置５０による制御に基づき、認証装置５０から受信した画像や各種の情報を表示する。モニタ４０にはカメラ１０で撮影された画像がリアルタイムで表示され、さらに、認証された人物を教示する情報、不正行為と判定された人物を教示する情報が表示される。また、モニタ４０にはスピーカー等の音声出力手段が併設され、認証装置５０の制御に基づき所定の音声ガイダンスやブザー音を出力する。

認証装置５０は、カメラ１０、ゲート制御装置３０、モニタ４０と優先または無線で接続され、カメラ１０から出力された撮影画像を入力し、画像上に写る人物が予め登録された利用者であるか否か判定する認証処理を実行する。そして、認証結果に応じてゲート制御装置３０およびモニタ４０を制御する。
認証装置５０は、ＣＰＵ、ＭＰＵ等のプロセッサやメモリ等の記録媒体からなるいわゆるコンピュータにより構成され、主として、記憶部６０、出力部７０、処理部８０を備える。

記憶部６０は、ＲＯＭ、ＲＡＭ等の半導体メモリやハードディスク等の磁気記録媒体であり、人間の標準的な顔の形状や特徴をモデル化した顔形状モデルが記憶されるほか、認証装置５０の動作に必要なプログラム及び各種パラメータなどが記憶される。また記憶部６０には、登録者データ６２、追跡データ６４、認証履歴データ６６が更新可能に記憶される。
登録者データ６２は、予め登録された、管理区域への入場が許可されている人物（利用者）に関する情報であり、人物の氏名、利用者ＩＤ、利用者の顔を撮影して得られた顔画像（以下、登録顔画像という）を含む。なお、顔画像に代えて、顔画像から抽出された特徴点からなる顔特徴情報を記憶させてもよい。

追跡データ６４は、入力画像から抽出された人物に関する情報であり、順次取得した入力画像について同一とみなした人物ごとに、人物の位置や認証処理の状況を表す各種情報からなる。本実施形態では、追跡データ６４は、追跡対象の人物について振られた追跡番号、画像の撮影時刻、画像上の人物の位置、人物領域画像、人物の顔画像、認証候補者の利用者ＩＤおよび類似度、顔照合の結果を示す照合状態、真贋判定の結果を示す画策状態、救済判定の結果を示す救済フラグ、認証処理の結果を示す認証結果を含む。
認証履歴データ６６は、追跡対象の人物についての最終的な認証結果に関する情報であり、追跡対象の人物ごとに、認証結果、認証候補者の利用者ＩＤ、人物の顔画像、認証時刻、認証時刻の前後一定期間における入力画像を含む。

出力部７０は、外部接続機器であるゲート制御装置３０、モニタ４０等と接続するインタフェース及びその制御回路であり、処理部８０から受け取った信号に応じてゲート制御装置３０およびモニタ４０に制御信号や画像情報等を出力する。出力部７０は、処理部８０から認証成功を示す信号を受け取ると、ゲート制御装置３０に通行許可信号を出力する。また、カメラ１０から入力される撮影画像、或いはこの撮影画像に認証成功や不正行為を教示する情報を合成した画像をモニタ４０に出力する。

処理部８０は、カメラ１０からの入力画像に対して記憶部６０を参照しながら認証処理を実行し、出力部７０からその結果を外部へ出力させる。処理部８０は、記憶部６０の制御プログラムおよびプロセッサにより実現される機能モジュールとして、人物追跡手段８１、顔抽出手段８２、顔照合手段８３、画策判定手段８４、認証手段８５、表示制御手段８６を有する。
以下、処理部８０の各手段について詳細に説明する。

人物追跡手段８１は、カメラ１０から順次入力される入力画像について、人物の領域を示す人物領域画像を抽出する。人物追跡手段８１は、所定フレーム数だけ過去の入力画像と処理対象の入力画像との差分を抽出し、変化領域の大きさや縦横比等が人間らしい形状であるかに基づいて人物が写っている領域が存在するか否か判定する。このフレーム差分法による人物抽出方法に代えて、移動物体が存在しない状態で撮影された背景画像との差分抽出を行う背景差分法、人物モデルを学習した識別器を利用した方法など、種々の方法を選択できる。

また人物追跡手段８１は、抽出した人物を公知のトラッキング技術を利用して追跡処理する。そして、順次処理する入力画像にて同一人物として追跡された人物ごとに追跡データ６４を作成・更新して記憶部６０に記憶させる。
人物追跡手段８１は、現フレームの入力画像で抽出した人物が追跡中の人物であるかを、前フレームの入力画像との間での人物領域の位置（例えば、重心位置や足元位置）の距離に基づき判定する。現フレームの注目人物に対し、距離が所定の閾値未満となる人物が存在しない場合、その人物は新たに撮影領域内に入ってきた人物とみなし、追跡中の人物を識別するための追跡番号を付与する。そして、その追跡対象の人物に関する新たな追跡データ６４を作成し、追跡番号、入力画像の撮影時刻（取得時刻）、画像上の人物領域の位置、人物領域画像を記録する。一方、距離が閾値未満の人物が存在する場合には追跡中の人物であるとみなし、その追跡対象の人物に関する追跡データ６４に現フレームの入力画像から得た撮影時刻、人物領域の位置、人物領域画像を追記し、追跡データ６４を更新する。

顔抽出手段８２は、人物領域画像から人物の顔を示す顔領域を検出し、顔領域を含む矩形状の領域を切り出し、顔画像として抽出する。そして、抽出した顔画像を追跡対象の人物に関する追跡データ６４に記録する。本発明における画像取得手段の機能は、カメラ１０、人物追跡手段８１及び顔抽出手段８２により実現される。
顔抽出手段８２は、記憶部６０に記憶された顔形状モデルを用いて人物領域画像上で顔領域を探索する。具体的には、人物領域画像においてエッジ画素を抽出する処理を施し、抽出したエッジ画素からなる画像から頭部の輪郭形状と近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。ここで、認証に用いる顔画像は顔の特徴が把握可能な程度の解像度が要求されるため、所定の抽出基準以上の大きさ（面積）である楕円領域を抽出対象とする。楕円領域の大きさは、長軸の長さと短軸の長さを用いて算出される。

なお、楕円領域に含まれる眼、鼻、口といった顔を構成する部位の形状と近似するエッジ分布を検出し、楕円領域における眼、鼻、口の大まかな位置関係が顔形状モデルと類似することを条件に顔領域と判定してもよい。この場合、両眼間の距離、眼と鼻との距離、鼻と口との距離など部位間の距離（ピクセル数）を顔領域の抽出基準に用い、一定以上の大きさを持つ顔を抽出する。顔領域の抽出方法は、画像マッチング処理など他の公知の技術を採用してもよい。

顔照合手段８３は、抽出された顔画像と記憶部６０の登録顔画像とを照合する。顔照合手段８３は、登録者データ６２を参照し、処理対象の顔画像をすべての登録顔画像と照合してそれぞれ類似度を算出し、最大の類似度を得た登録顔画像の利用者ＩＤおよびその類似度を、追跡対象の人物に関する追跡データ６４に記録する。類似度の算出方法には、例えば、入力顔画像と登録顔画像とをマッチング処理し、両画像の顔領域の一致度合いを求める方法、或いは、顔画像の顔領域から特徴点を抽出して両画像間で対応する特徴点同士の位置関係の一致度合いを求める方法などがある。

また顔照合手段８３は、一定期間分の照合履歴に基づいて追跡対象の人物の顔が特定の利用者の顔と同一であるか否か判定する。顔照合手段８３は、追跡対象の人物に関する追跡データ６４を参照し、過去一定期間分の入力画像において、認証候補者として同一の利用者ＩＤが所定割合以上あり、且つ、その利用者ＩＤと照合したときの類似度が所定の照合基準値以上である場合、追跡対象の人物の顔がその利用者ＩＤで特定される人物の顔と一致すると判定する。例えば、過去１０フレームにおける照合のうち、同一の利用者ＩＤが７回以上あり、その利用者ＩＤとの類似度の平均値が照合基準値以上であることを一致条件とする。

顔照合手段８３は、照合結果を、追跡対象の人物の追跡データ６４に記録する。何れかの登録利用者と一致判定した場合、追跡データ６４の照合状態を「候補あり」に更新し、その人物に対する以降の顔照合処理は行わない。一方、何れの登録利用者とも一致しないと判定した場合には、照合状態を「候補なし」に維持または更新し、次フレーム以降もその人物に対する顔照合処理は継続する。追跡データ６４における照合状態は、初期値は「未」が設定されており、一致判定に必要な一定期間分のデータが蓄積された時点で、照合結果に応じて「候補あり」または「候補なし」に書き換えられる。なお、顔照合手段８３は、同一の追跡対象の人物について一定時間継続して「候補なし」と判定し続けた場合、その人物に対する顔照合処理を終了させる。

画策判定手段８４は、顔抽出手段８２が抽出した顔画像が実際の人間の顔であるか、或いは顔写真等を用いた偽物の顔であるかを判定し、利用者に成りすました不正行為を検出する。画策判定手段８４は、画策判定処理として、顔領域の全体的な特徴や顔の周辺領域の特徴が写真等の偽物の特性を有するとき不正行為の可能性ありと判定する真贋判定処理と、顔の局所的な部位を詳しく観察して人間の顔（真性の顔）の特性を有するとき不正行為ではないと判定する救済判定処理とを実行する。
以下、真贋判定処理および救済判定処理について説明する。

本実施形態において、画策判定手段８４は２種類の真贋判定処理（真贋判定処理１および真贋判定処理２）を実行し、何れかの処理にて偽物と認識すると不正行為ありと判定する。
真贋判定処理１では、顔領域全体における特徴の時間的変化の有無に基づき真贋判定を行う。例えば、顔画像から抽出された顔の特徴点情報を観察し、一定期間の顔画像において、各特徴点のデータや特徴点同士の位置関係に変化が有るか判定する。変化が生じている場合、顔の向きや表情が時間的に変化しているため真性の顔とみなし、他方、一定期間において変化がほとんど生じていない場合には写真等による偽物の顔とみなす。また、顔の向き変化や移動により照明のあたり方が変われば顔領域の陰影も変化するはずであるから、顔領域の輝度分散や明暗領域の分布の変化を観察し、変化が生じている場合真性の顔とみなす方法を用いてもよい。同様に、顔領域における輝度分布や陰影から光源方向を推定し、推定された光源方向が時間的に変化している場合真性の顔とみなすこともできる。

真贋判定処理２では、顔の周辺領域における特徴が写真等の偽物特有の特徴を有するか否かに基づき真贋判定を行う。例えば、撮影時刻が異なる画像を用いて差分処理し、顔領域の周囲一定範囲において矩形枠の有無を判定する。一定期間にわたり継続して矩形枠が検出された場合、その矩形枠は写真や液晶表示器などの縁部分であると考えられるため、偽物の顔とみなす。矩形枠の検出方法には、顔領域の周囲一定範囲において直線的なエッジ成分を検出し、複数の直線エッジからなる形状を判定する方法を用いてもよい。この他、実際の人物であれば顔の周囲の背景は連続性があるのに対し、写真等の場合は縁の内外では非連続になることを利用し、顔領域の周囲一定範囲における画像特徴の連続性に基づき判定してもよい。また、写真等の場合は顔周囲の背景が変化しないことを利用し、顔領域の周囲一定範囲における画像の変化率に基づき判定することもできる。

画策判定手段８４は、真贋判定の結果を、追跡対象の人物に関する追跡データ６４に記録する。追跡データ６４には、真贋判定処理１および真贋判定処理２のそれぞれに対応して画策状態１、画策状態２が用意されており、偽物の顔と判定した場合、対応する画策状態に「有」を書き込み、真性の顔と判定した場合、対応する画策状態に「無」を書き込む。なお、追跡データ６４における画策状態１および画策状態２は初期値として「未」が設定されており、真贋判定に必要な一定期間分のデータが蓄積された時点で判定結果に応じて「有」または「無」に更新される。
なお、追跡データ６４上では２種類の真贋判定処理の結果を統合し、いずれかの真贋判定処理で偽物の顔と判定された場合は「有」とし、いずれの真贋判定処理でも真性の顔と判定された場合に「無」とする構成にしてもよい。或いは、真贋判定処理１及び２のうち１種類のみを用いる構成としてもよい。

次に、救済判定処理について説明する。救済判定処理は、真贋判定処理で実物の人間であるにもかかわらず誤って偽物の顔と判定されてしまった利用者を救済することを目的とし、ゲート２０から近距離の範囲にある救済領域にいる人物を処理対象とする。
画策判定手段８４は、人物領域の垂直方向（カメラ１０の仰俯角方向）の座標を逆透視変換して、ゲート２０付近に設けられたカメラ１０からの距離を推定し、救済領域内にいる人物か否か判定する。なお、実際に距離を推定するのではなく、人物領域の足元の垂直方向座標が画像の下端から所定範囲、または、画像から見切れていると、救済判定対象の人物とすることもできる。また、顔領域の大きさに基づいて救済判定対象の人物か否か推定する構成としてもよい。例えば、顔抽出処理における抽出基準より大きい救済基準値を用い、顔の大きさが救済基準値以上の場合に救済判定対象であると判定する。或いは、両眼間の距離など、顔を構成する複数の部位間の距離（ピクセル数）を所定の基準値と比較する構成としてもよい。

真贋判定処理が顔全体の特徴や顔周囲の簡易な特徴を観察するのに対し、救済判定処理では、顔の局所領域における特徴を詳細に観察し、より高解像度の画像を用いて高精度に真性の顔であることを判別する。
本実施例の救済判定処理では、顔の一部である眼の動きに着目し、瞬きを検出することで救済判定を行う。例えば、顔画像から目頭および目尻の特徴点を抽出し、目頭と目尻とを結ぶエッジを検出する。上瞼および下瞼を表す２本のエッジ曲線が一定距離以上離れていれば開眼状態と認識し、一定距離未満あるいは１本のエッジ曲線しか検出されない場合は閉眼状態と認識する。そして、一定期間内の顔画像において開眼、閉眼、開眼の遷移を検出すると瞬きありと認識し、真性の顔である、すなわち不正行為ではないと判定する。

なお、瞬き検出は他の方法で判定してもよい。例えば、目頭、目尻、上瞼、下瞼で囲まれた眼領域の面積を求め、眼面積が所定の基準値以上であれば開眼状態、基準値未満であれば閉眼状態と認識し、瞬きの有無を判定することができる。また、目頭、目尻の間の眼領域における濃淡の分布から瞳（黒目）を検出し、瞳を検出していれば開眼状態、非検出ならば閉眼状態と認識する方法も採り得る。
また、口の動きに着目し、口の開閉を検出することで救済判定を行ってもよい。例えば、口の両端の特徴点を抽出し、口両端を表すエッジを検出する。上唇および下唇を表す２本のエッジ曲線が一定距離以上はなれていれば開口状態、一定距離未満であれば閉口状態と認識し、一定期間内の顔画像において開口、閉口、開口の遷移を検出すると口の開閉ありと認識し、真性の顔であると判定する。

また、画策判定手段８４は、真贋判定処理１にて不正行為と判定された人物のみを救済判定処理の対象とする。真贋判定処理１は顔の大まかな特徴による真贋判定であり、救済判定処理は顔の局所領域にフォーカスして行う精密な真贋判定であり、いずれも顔の特徴を評価している。これに対して真贋判定処理２では顔の周囲の画像特徴を評価しており、評価対象が異なる。眼や口に動きが検出された場合でも、写真等の縁と思われる矩形枠が検出されているのであれば不正行為ではないとも限らない。したがって、画策判定手段８４は、真贋判定処理１の結果に対する救済判定を行い、画策状態１が「有」の場合に救済判定処理を実行する。或いは、画策状態１が「有」、且つ画策状態２が「無」の場合に限って救済判定処理を実行してもよい。
なお、本実施形態では、不正行為に対する高いセキュリティレベルを想定して真贋判定処理１の判定結果のみ救済する構成としたが、求められるセキュリティレベルによっては、真贋判定処理２の判定結果も救済対象に含めてもよい。

画策判定手段８４は、救済判定の結果を、追跡対象の人物に関する追跡データ６４に記録する。追跡データ６４における救済フラグは、初期値は「ＯＦＦ」であり、瞬きを検出して救済が必要と判定した場合は救済フラグを「ＯＮ」にし、以降更新される追跡データ６４においても「ＯＮ」状態を保持する。

認証手段８５は、追跡対象の人物について、追跡データ６４の照合状態、画策状態、救済フラグを参照し、予め登録された利用者であるか否か最終的な判定を行う。認証手段８５は、顔照合手段８３の顔照合処理にて認証候補者がいると判定され、且つ、画策判定手段８４の真贋判定処理および救済判定処理にて不正行為ではないと判定されている場合、その人物を認証候補とした利用者（認証ＯＫ）であると判定する。具体的には、追跡データ６４における照合状態が「候補あり」であって画策状態１および画策状態２が何れも「無」である場合、認証ＯＫと判定する。或いは、照合状態が「候補あり」、画策状態２が「無」であって、画策状態１が「有」且つ救済フラグが「ＯＮ」の場合、認証ＯＫと判定する。なお、画策状態１および画策状態２が「無」ではなく「未」の場合でも認証ＯＫと判定してもよい。一方、照合状態が「候補なし」、または「候補あり」であっても不正行為と判定されている場合、認証ＮＧと判定する。

認証手段８５は、認証の結果を、追跡対象の人物に関する追跡データ６４に記録する。追跡データ６４の認証結果は初期値が「未」であり、認証ＯＫと判定すると「登録者」に更新する。認証ＮＧと判定したときには、照合状態が「候補なし」であれば「未登録者」に更新し、照合状態が「候補あり」であるが不正行為と判定されているのであれば「不正行為」に更新する。認証ＯＫと判定した場合、以降更新される追跡データ６４においても「登録者」を保持し、その人物に対する認証処理を終了する。

認証手段８５は、「登録者」と判定したタイミングで、出力部７０へ認証成功を示す信号を出力する。また、認証手段８５は、認証結果に応じて追跡対象の人物に関する認証履歴データ６６を作成し、記憶部６０に記憶する。認証ＯＫと判定した場合、認証結果、認証された利用者ＩＤ、顔照合にて用いた一定期間分の顔画像のうち最大の類似度を獲得した顔画像、認証ＯＫとなった時刻、認証時刻の前後一定期間の入力画像、をそれぞれ対応付けて記録する。認証ＮＧと判定した場合には、認証結果、顔照合に用いた一定期間分の顔画像のうち代表する１つの顔画像、認証ＮＧとした時刻、その人物を追跡開始してから追跡終了するまでの入力画像、をそれぞれ対応付けて記録する。認証ＮＧの人物の認証履歴データ６６は、その人物の追跡を終了したタイミングで作成する。

表示制御手段８６は、出力部７０を介して、カメラ１０で撮影された入力画像を順次モニタ４０へ出力する。また表示制御手段８６は、認証結果や不正行為の判定結果に基づき入力画像を加工し、認証結果等を示す教示画像を生成してモニタ４０へ出力する。
図３は、モニタ４０に表示される教示画像を示す模式図である。図３の例では、登録利用者として認証された人物１１０が認証領域に存在し、不正行為者として異常判定された人物１２０がカメラ１０近傍の救済領域に存在している状況を示している。

表示制御手段８６は、追跡中の人物１１０について認証手段８５が認証ＯＫと判定すると、入力画像上の人物１１０の顔領域に対し、認証ＯＫを示す教示情報として実線の矩形枠２１０を重畳した教示画像を生成する。また、画策判定手段８４の真贋判定処理にて画策状態「有」と判定されると、入力画像上の対象人物１２０の顔領域に対し、不正行為と判定した旨を示す教示情報として点線の矩形枠２２０を重畳する。不正行為の教示画像は、対象人物１２０が救済領域外にいる段階では表示せず、救済領域内に入った段階で重畳表示させる。救済領域内か外かの判定は、救済判定処理の動作条件と同一の基準とする。このように教示画像をモニタ４０に表示させることで、通行者に瞬きをする等の救済行為を意識付けることができる。
なお、認証ＯＫの教示情報および不正行為の教示情報は上記に限らず、例えば、形状や色を異ならせてもよい。さらに、認証中の人物、あるいは未登録者と判定された人物に対しても、その旨を示す教示情報を撮影画像に付加してもよい。また、救済判定の対象は画策状態１のみであるため、画策状態２のみが「有」のときは不正行為の教示情報は付加しない構成としてもよい。

次に、図４及び図５のフローチャートを参照し、認証処理および画策判定処理の動作について説明する。
図４は、処理部８０による認証処理の流れを示すフローチャートである。処理部８０は、入力画像から抽出された顔画像ごとに以下の認証処理を実行する。１フレームの入力画像から複数の顔画像が抽出された場合は、それぞれの顔画像について認証処理を行う。

認証処理を開始すると、まず、追跡データ６４を参照して照合結果が「候補あり」であるか判定し（Ｓ４００）、「候補あり」の場合は顔照合処理を省略してステップＳ４１２へ進む。照合結果が「未」または「候補なし」の場合、登録者データ６２の各顔画像と照合して類似度を算出し（Ｓ４０２）、所定の一致基準を満たすか否か判定する（Ｓ４０４）。照合基準を満たさない場合、追跡データ６４の照合状態を「候補なし」とし（Ｓ４０６）、さらに認証結果を「未登録者」として認証処理を終了する（Ｓ４０８）。照合基準を満たす場合は、照合状態を「候補あり」に設定する（Ｓ４１０）。

ステップＳ４１２では、追跡データ６４を参照して画策状態１および画策状態２がいずれも「無」であるか判定する。いずれも画策状態「無」であれば、追跡対象の人物を登録利用者であるとみなし、追跡データ６４の認証結果を「登録者」に設定するとともに出力部７０へ認証成功を示す信号を出力する（Ｓ４１８）。このとき、認証成功を示す教示画像を生成してモニタ４０へ出力する。

一方、いずれかの画策状態が「有」の場合、画策状態２が「有」に設定されているか否か判定する（Ｓ４１４）。画策状態２が「有」であれば、写真等を用いた不正行為を行う人物であるとみなし、認証結果を「不正行為」に設定する（Ｓ４２０）。画策状態１だけが「有」であれば、続いて追跡データ６４を参照して救済フラグを確認し（Ｓ４１６）、救済フラグが「ＯＦＦ」であれば同じく不正行為を行う人物であるとみなす。そして認証結果を「不正行為」に設定するとともに、不正行為を示す教示画像を生成してモニタ４０へ出力する（Ｓ４２０）。これに対し救済フラグが「ＯＮ」の場合には、真贋判定処理１にて不正行為とした判定結果が誤判定であり追跡対象の人物は登録利用者であるとみなし、認証結果を「登録者」に設定するとともに、認証成功を示す信号および認証成功を示す教示画像を出力する（Ｓ４１８）。

図５は、処理部８０による画策判定処理の流れを示すフローチャートである。処理部８０の画策判定手段８４は、認証処理と同様、入力画像から抽出された顔画像ごとに以下の画策判定処理を実行する。１フレームの入力画像から複数の顔画像が抽出された場合は、それぞれの顔画像について画策判定処理を行う。
画策判定処理は上記の認証処理と並行して実行され、さらに画策判定処理の中でも、ステップＳ５００〜Ｓ５１２にかかる真贋判定処理１および救済判定処理と、ステップＳ６００〜Ｓ６０４にかかる真贋判定処理２とが並行して実行される。

先に、真贋判定処理１および救済判定処理の動作について説明する。画策判定処理を開始すると、追跡データ６４を参照して救済フラグが既に「ＯＮ」に設定されているか否か判定する（Ｓ５００）。救済フラグ「ＯＦＦ」の場合、画策状態１が既に「有」に設定されているか否か判定する（Ｓ５０２）。画策状態１が「未」または「無」の場合、顔特徴の時間的な変化が検出されているか否かを判定する（Ｓ５０４）。特徴変化がない場合、その顔画像は不正行為による可能性があるとみなし、追跡データ６４の画策状態１を「有」に設定して処理を終了する（Ｓ５０６）。一方、ステップＳ５００で既に救済フラグが「ＯＮ」の場合、およびステップＳ５０４で顔の特徴変化がある場合には、不正行為ではないとみなし、画策状態１は「無」のまま処理を終了する。このとき画策状態が「未」であれば「無」に更新する。

救済フラグは「ＯＦＦ」で、画策状態１が「有」に設定されている場合（Ｓ５０２のＹｅｓ）、救済判定処理を実行する。まず、対象の人物が救済領域にいるか否かにより通行意思を確認し（Ｓ５０８）、救済領域にいれば、瞬きの有無を判定する（Ｓ５１０）。瞬きが検出された場合、その顔画像は不正行為によるものではないとみなし、追跡データ６４の救済フラグを「ＯＮ」に設定して処理を終了する（Ｓ５１２）。救済領域にいない場合、または瞬きが検出されない場合は、依然として不正行為の可能性があるとみなしてそのまま処理を終了する。

次に、真贋判定処理２の動作について説明する。画策判定処理を開始すると、追跡データ６４を参照して画策状態２が既に「有」に設定されているか否か判定する（Ｓ６００）。画策状態２が「未」または「無」の場合、顔周囲の領域で写真枠の特徴が検出されているか否かを判定する（Ｓ６０２）。写真枠が検出されている場合、その顔画像は不正行為によるものとみなし、画策状態２を「有」に設定して処理を終了する（Ｓ６０４）。一方、ステップＳ６００で画策状態２が既に「有」の場合、およびステップＳ６０２で写真枠を検出していない場合はそのまま処理を終了する。

以上に説明したように、本実施形態の顔認証システムは、顔照合処理と並行して写真等による不正行為を検出するための画策判定処理を実行する。画策判定処理では、まず一定期間をかけて顔の全体的な特徴変化を観察し、顔の真贋を判定する。そして、不正行為（偽物の顔）の可能性があると判定された人物については、管理区域への通行意思が確認された場合に限り、顔の局所領域における特徴変化を観察して実物の人間の顔であるか否かを判定し、真性の顔と判定されれば先の不正行為の判定結果をキャンセルする。
したがって、正規の利用者が何らかの要因で不正行為と誤判定されてしまった場合でも、不当に通行制限されることを防止でき、利便性の高いシステム運用が可能となる。このとき、通行意思がない人物は救済対象とせず、通行意思がある人物のみを対象として高精度な救済判定を行うため、安全性を損なうことなく利便性の向上を図ることができる。

なお、上記実施形態の顔認証システムでは、カメラ１０による撮影画像から人物が救済領域にいるか否か判定する構成としたが、別途、ゲート２０近傍を検知範囲とする空間センサを設け、空間センサが検知したことを救済判定の動作条件とする構成としてもよい。空間センサとしては、人体が発する熱線を検出する受動型赤外線センサ、赤外線ビームの遮断を検出する対向式赤外線センサなど、各種のセンシング装置を適用できる。

また、上記実施形態の顔認証システムにおいて、不正行為と判定した場合、その旨を管理用コンピュータに通知する構成としてもよい。さらに、ゲート２０を規制解除している間に他の人物の不正行為を検出した場合、ゲート２０を強制的に再び規制状態に制御する構成、或いは、不正行為を検出した場合、管理者の操作により異常復旧されるまではゲート２０の規制解除を行わない構成としてもよい。
また、本発明の顔認証システムは、ゲートによる通行規制を行わず、通行者の履歴を記録するだけの出入管理システムにも適用できる。

さらに、上記実施形態の顔認証システムにおいて、複数種類の真贋判定処理を用いて不正行為の判定をする場合、２種類以上の真贋判定処理にて不正行為の可能性ありと判定されたときには救済判定を行わない構成としてもよい。複数の判定方法で同時に不正行為と誤判定される可能性は高くないため、救済判定による失報を防止できる。
また、上記実施形態の顔認証システムにおいて、追跡中の複数の人物について不正行為の可能性ありと判定している場合、救済判定を行わない構成としてもよい。同時に複数人物が不正行為と誤判定される可能性は高くはないため、救済判定による失報を防止できる。

また、上記実施形態の顔認証システムでは、真贋判定処理１で不正行為と判定された人物に限定して救済判定する構成としたが、真贋判定処理と救済判定処理とを並列で実行する構成としてもよい。この場合、救済判定処理で真性の顔と認識された人物については、真贋判定処理１を中止するか、真贋判定処理１で後に不正行為と判定されても最終的な判定では無視される。

１０ カメラ、２０ ゲート、３０ ゲート制御装置、４０ モニタ、５０ 認証装置

Claims (4)

1. 管理区域に隣接した認証領域を通行する人物の顔認証を行う顔認証システムにおいて、
   前記管理区域側から認証領域を撮影して前記人物の顔を含む顔画像を順次取得する画像取得手段と、
   予め登録された利用者の登録顔画像を記憶する記憶手段と、
   前記取得した顔画像と前記登録顔画像とを照合する顔照合手段と、
   前記顔画像における顔全体の時間的変化が小さいとき当該顔画像について不正行為ありと判定する画策判定手段と、
   前記顔画像が前記登録顔画像と照合一致し、且つ、前記不正行為と判定されていない人物を前記利用者として認証する認証手段と、を備え、
   前記画策判定手段は、前記顔全体に基づき不正行為ありと判定された前記顔画像について、当該顔画像における顔の所定の局所領域の変化を検出したときには不正行為ではないと判定する、ことを特徴とした顔認証システム。
2. 前記画策判定手段は、前記認証領域のうち前記管理区域側から所定範囲の救済領域にいる人物について前記局所領域の変化に基づく救済判定を実行する、請求項１に記載の顔認証システム。
3. 前記画策判定手段は、画像上の人物の位置または人物の顔の大きさに基づいて前記救済領域にいる人物を検出する、請求項２に記載の顔認証システム。
4. 前記画策判定手段は、
   前記顔画像における顔全体の時間的変化により不正行為の有無を判定する第一判定処理と、
   前記顔画像における顔領域の周辺の画像特徴に基づき不正行為の有無を判定する第二判定処理と、
   前記取得した顔画像について前記局所領域の時間的変化を検出したとき、前記第二判定処理で不正行為ありとした判定結果はキャンセルせず、前記第一判定処理で不正行為ありとした判定結果をキャンセルする救済判定処理と、
   を実行する、請求項１乃至３の何れかに記載の顔認証システム。