JP5730095B2 - 顔画像認証装置 - Google Patents

Description

本発明は、顔画像認証装置に関し、特に、予め登録している顔画像について更新又は追加登録すべき利用者を検出する顔画像認証装置に関する。

顔画像の照合によって人物を認証する顔画像認証装置においては、カメラ等で監視領域を撮影した監視画像において照合の対象となる人物の顔が写っている部分である入力顔画像と、予め登録された登録人物の顔が写っている登録顔画像とを照合することにより、入力顔画像が登録人物のものであるか否かを判定する。しかしながら、撮影条件の違い、登録人物の加齢、髪型または化粧の状態等により入力顔画像が登録顔画像と大きく異なり、入力顔画像が登録人物のものであるにもかかわらず認証に失敗する場合がある。このような場合は一般に、認証が失敗しやすい人物から報告を受けた管理者が、顔画像認証装置の認証履歴からその人物が撮影された入力顔画像を探し出し、その入力顔画像により登録顔画像を置き換える。しかしながら、認証が失敗しやすい人物から、その旨を報告されるまでは、その認証が失敗しやすい状態が継続することになる。また、顔画像認証装置の認証履歴から認証が失敗しやすい人物を探し出す作業は、管理者にとって手間がかかるものであった。

そこで、特許文献１には、本人照合の基準となる登録顔画像を、照合時に本人であると判定された入力顔画像で更新する顔画像照合装置が提案されている。この顔画像照合装置は、照合時に本人であると判定された入力顔画像である候補顔画像を保存しておき、その後の照合処理において登録顔画像よりも候補顔画像の方が入力顔画像と類似していると判定される状態が続くと、候補顔画像にて登録顔画像を更新する。

特開２００７−３０４７６３号公報

特許文献１に記載された顔画像照合装置は、照合時に本人であると判定された候補顔画像がその後の照合処理において入力顔画像と類似していると判定される状態が続いたときに登録顔画像を更新するので、誤って登録者以外の人物の顔画像によって登録顔画像を更新するおそれを低減しつつ、照合に失敗しやすい状態を解消することができる。しかしながら、この顔画像照合装置では登録顔画像を更新すべきと判断するためにはその人物に対する照合が複数回にわたってされる必要があるため、認証されにくい状態にある人物をより早期に検出することができる顔画像認証装置が望まれている。

そこで、本発明の目的は、予め登録された人物のうち認証されにくい人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択する顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置を提供する。係る顔画像認証装置において、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段と、顔領域画像と登録顔画像を照合し、同一人物かを認証する顔照合手段と、追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間が第１の所定時間以上であることを条件に顔照合手段にて認証された登録人物を認証されにくい人物と判定する判定手段と、を有する。

また、本発明に係る顔画像認証装置において、判定手段は、認証時間内に取得した顔領域画像ごとに、当該顔領域画像に写っている顔が撮像部に対して略正面方向を向いているかを判定し、略正面方向を向いている顔領域画像が所定数以上であることを条件に追加することが好ましい。

また、本発明に係る顔画像認証装置において、更に、判定手段は、登録人物が認証されにくい人物と判定されたときに撮像部に対して略正面方向を向いている顔であると判定された顔領域画像を、登録顔画像を更新するための候補顔画像として記憶部に記憶することが好ましい。

また、本発明に係る顔画像認証装置において、判定手段は、認証時間内に取得した顔領域画像ごとに、認証時間内にて取得した顔領域画像の追跡位置が略静止している時間が、第１の所定時間よりも短い第２の所定時間以上であることを条件に追加することが好ましい。

また、本発明の他の形態は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置を提供する。係る顔画像認証装置において、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段と、顔領域画像と登録顔画像を照合し、同一人物かを認証する顔照合手段と、追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間内にて取得した顔領域画像の追跡位置が略静止している時間が所定時間以上であることを条件に顔照合手段にて認証された登録人物を認証されにくい人物と判定する判定手段と、を有する。

また、本発明の他の形態において、判定手段は、略静止していると判定している時間の顔領域画像に写っている顔が撮像部に対して略正面方向を向いていることを条件に追加することが好ましい。

また、本発明の他の形態において、更に、判定手段は、認証されにくい人物と判定されたときに同一人物と認証された顔領域画像を、登録顔画像を更新するための候補顔画像として記憶部に記憶することが好ましい。

本発明に係る顔画像認証装置は、予め登録された人物のうち認証されにくい人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択できるという効果を奏する。

本発明を適用した顔画像認証装置の概略構成図である。 顔画像認証装置がオフィスビルの入り口に設置される場合の撮像部の設置例を表す模式図である。 履歴テーブルの模式図である。 履歴テーブルの一部である照合テーブルの模式図である。 登録顔画像の更新画面の模式図である。 （ａ）は、登録顔画像の選択画面の模式図であり、（ｂ）、（ｃ）、（ｄ）は、それぞれ選択ボタンが押下されたときに表示される登録顔画像に関する情報の模式図である。 本発明を適用した顔画像認証装置における認証されにくい人物の判定処理と、登録顔画像の更新に用いる候補顔画像の選定処理の動作を示すフローチャートである。

以下、本発明の一実施形態である顔画像認証装置について図を参照しつつ説明する。
顔画像認証装置に対して認証を要望する人物は、なかなか認証されない場合、カメラを直視しながら立ち止まったりゆっくり歩くといった特徴的な行動をとる傾向にある。そこで、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像を順次取得するとともに、その順次取得した複数の監視画像にわたって同一の人物を追跡する。そして顔画像認証装置は、追跡中の人物がカメラを直視しながら立ち止まったりゆっくり歩く等の、認証されようとする特徴的な行動を取っているか否かを判定することにより、認証されにくい状態にある人物を検出する。これにより、顔画像認証装置は、認証されにくい状態にある人物を早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することを図る。

図１は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図１に示すように、顔画像認証装置１０は、撮像部１００、出力部２００、表示部３００、入力部４００及び画像処理部５００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。

撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物（顔画像認証装置１０による照合の対象となる監視領域内の人物を対象人物と称する）の顔を順次撮影できるように設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部５００と接続され、取得した監視画像を画像処理部５００へ渡す。

図２に、顔画像認証装置１０がオフィスビルの入り口に設置される場合の撮像部１００の設置例を模式的に示す。図２に示すように、例えば、顔画像認証装置１０がオフィスビルの入り口２５３に設置される場合、撮像部１００は、入り口２５３に通じる通路を監視領域に含むよう、入り口２５３が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、入り口２５３に向かう（進行方向２５４へ向かう）対象人物を所定の時間間隔で撮像することができる。なお図２では、撮像部１００が、時刻t、t+1、t+2において入り口２５３に向かう同一の対象人物２５０、２５１、２５２を順次撮影する様子を示している。

監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横340画素×縦240画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。

出力部２００は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部５００から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。

表示部３００は、画像処理部５００と接続され、ＣＲＴ、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置を有する。そして表示部３００は、画像処理部５００からの要求に応じて画面を表示する。
また、顔画像認証装置１０は、画像処理部５００からの要求に応じて音声を鳴動させたり、振動を発生させたりする、スピーカまたは振動装置等（図示せず）をさらに備えてもよい。

入力部４００は、キーボード、マウス等の入力デバイスで構成された入力インターフェースであり、管理者からの切換操作を受け付け、その操作に対応する信号を画像処理部５００の登録手段５２５へ出力する。また、表示部３００をタッチパネルディスプレイで構成することにより、表示部３００と入力部４００を一体化してもよい。

画像処理部５００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部５００は、撮像部１００から受け取った監視画像に基づいて、対象人物を認証するとともに、認証されにくい状態にある対象人物を検出する。そのために、画像処理部５００は、記憶部５１０及び照合部５２０を有する。さらに、照合部５２０は、顔検出手段５２１、顔追跡手段５２２、顔照合手段５２３、行動判定手段５２４及び登録手段５２５を有する。

記憶部５１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部５１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部５１０は、照合に使用される登録顔画像を対応する登録された人物（以降、登録人物と称する）の登録人物ＩＤと関連付けて記憶する。また記憶部５１０は、画像処理により生じた対象人物に関する情報を管理するための履歴テーブル及び照合テーブルを記憶する。この履歴テーブル及び照合テーブルの詳細については後述する。

照合部５２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部５２０の各手段について詳細に説明する。

顔検出手段５２１は、撮像部１００から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を抽出し、顔領域画像を抽出する。
顔領域を抽出するために、顔検出手段５２１は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段５２１は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段５２１は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段５２１は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段５２１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。

あるいは顔検出手段５２１は、Ａｄａｂｏｏｓｔ識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段５２１は、抽出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段５２２に出力する。

顔追跡手段５２２は、所定の時間間隔で連続して取得される複数の監視画像にわたって顔検出手段５２１から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域どうしを対応付けることで顔領域画像の追跡を行う。
例えば、顔追跡手段５２２は、最新の監視画像から抽出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から抽出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、対象人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。

あるいは、顔追跡手段５２２は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。

顔追跡手段５２２は、顔領域の対応付けを行うと、記憶部５１０に格納されている履歴テーブルを更新する。図３に履歴テーブルの例を示す。図３に示すように履歴テーブル３１０は、対象人物ごとに履歴データを管理する。履歴データは、履歴テーブル３１０の各行にあらわされるデータの組であり、顔追跡手段５２２は、履歴データのうち、試行番号３１１、対象人物ＩＤ３１２、開始時刻３１３、追跡フラグ３１４、顔画像データ３１５及び追跡位置情報３１６を更新する。
図３に示した履歴テーブル３１０において、試行番号３１１は、追跡中の対象人物の履歴データを他の履歴データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段５２２によって追跡がされている間、同一の識別番号が割り当てられ続ける。対象人物ＩＤ３１２は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号３１１と１対１に対応する。対象人物ＩＤ３１２は、一意に定まるように付与されるものとなる。例えば、顔追跡手段５２２が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、対象人物ＩＤ３１２と試行番号３１１は１対１に対応するので、いずれかを省略してもよい。開始時刻３１３は、顔検出手段５２１がその対象人物について顔領域画像を最初に抽出し、顔追跡手段５２２が追跡処理を開始した時刻をあらわす。
追跡フラグ３１４は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段５２２がその対象人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。つまり、追跡フラグ３１４がＯＮのときはその対象人物は監視領域内に存在し、追跡フラグ３１４がＯＦＦのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。
顔画像データ３１５は、顔検出手段５２１によって作成され、顔追跡手段５２２によって追跡処理でその対象人物のものとして対応付けられた全ての顔領域画像のデータである。追跡位置情報３１６は、顔画像データ３１５として記憶された各顔画像データが切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。

顔追跡手段５２２は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、履歴テーブル３１０にその対象人物についての履歴データを新たに追加し、初期化処理を行う。即ち顔追跡手段５２２は、その履歴データに新たな試行番号３１１及び対象人物ＩＤ３１２を割り当てるとともに、開始時刻３１３として現在時刻を記録し、追跡フラグ３１４をＯＮに設定する。また顔追跡手段５２２は、顔画像データ３１５としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３１６としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段５２２は、認証フラグ３１７及び更新フラグ３１９をＯＦＦに設定し、要望行動カウンタ３１８を0に設定する。そして顔追跡手段５２２は、新たに追加した履歴データを顔照合手段５２３に出力する。

一方、顔追跡手段５２２が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての履歴データは、既に履歴テーブル３１０に作成されている。そのため、顔追跡手段５２２は、履歴テーブル３１０の、対応する履歴データの顔画像データ３１５にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３１６にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段５２２は、その履歴データを顔照合手段５２３に出力する。

また、顔追跡手段５２２は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、履歴テーブル３１０の、対応する履歴データの追跡フラグ３１４をＯＦＦにして、その対象人物についての追跡処理を終了する。

顔照合手段５２３は、顔追跡手段５２２から出力された履歴データのうち、図３に示した履歴テーブル３１０の認証フラグ３１７がＯＦＦとなっている履歴データの最新の顔領域画像と記憶部５１０から読み込んだ各登録顔画像とを照合し、同一人物によるものか否かを判定する。そして顔照合手段５２３は、履歴データの最新の顔領域画像と登録顔画像とが同一人物によるものであると判定すると、その履歴データの認証フラグ３１７をＯＮに設定する。つまり、この認証フラグ３１７は、対象人物に対する認証が成功したか否かをあらわすフラグである。
顔照合手段５２３は、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔照合手段５２３は、顔領域画像と登録顔画像のパターンマッチングを行う。顔照合手段５２３は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。顔照合手段５２３は、各登録顔画像について求めた類似度のうち、最も高い類似度が所定の認証閾値を越える場合、その顔領域画像に写っている対象人物を、類似度が最も高い値を有する登録顔画像により登録された登録人物である（認証成功）と判断する。一方、顔照合手段５２３は、何れの類似度も所定の基準値を越えない場合、顔領域画像に写っている対象人物は登録人物ではない（認証失敗）と判断する。なおこの認証閾値は、顔画像認証装置１０が設置される環境、目的などに応じて適宜定められる。

顔照合手段５２３は、対象人物が登録人物であると判定すると、認証フラグ３１７をＯＮに設定し、認証成功を示す信号を出力部２００へ出力する。また、顔照合手段５２３は、照合処理を実施した対象人物の履歴データを行動判定手段５２４に出力する。

行動判定手段５２４は、顔領域画像に写っている対象人物の行動が認証を要望する行動（以下、要望行動と称する）らしさを表す行動特徴量を算出する。そして行動判定手段５２４は、その行動特徴量がその対象人物が要望行動を取っていることを表す所定の条件を満たす場合に、その対象人物を認証されにくい人物として検出する。本実施形態の行動判定手段５２４は、一定以上の時間内においてカメラを直視しながら立ち止まったりゆっくり歩く人物を、顔画像認証装置に登録されているにも関わらず認証されにくい人物であるとして検出する。そのために、行動判定手段５２４は、顔追跡手段５２２がその顔領域画像の追跡を開始してから、顔照合手段５２３が照合成功と判断するまでの認証時間を算出する。また行動判定手段５２４は、行動特徴量として、その対象人物が撮像部１００の方向を向いている度合い、すなわち現フレームの顔領域画像に写っている顔が撮像部１００に対して正面方向を向いている度合いを示す直視度を算出する。また行動判定手段５２４は、行動特徴量として、顔追跡手段５２２が追跡している対象人物が監視領域内で静止している度合い、すなわち複数の監視画像における、顔追跡手段５２２によって対応付けられた各顔領域の位置の変化の小ささの度合いを示す静止度を算出する。そして行動判定手段５２４は、直視度及び静止度に基づいて、その顔領域画像に写っている対象人物が要望行動を取っているか否かを判定する。さらに行動判定手段５２４は、顔追跡手段５２２がその顔領域を追跡している間、認証時間内に要望行動を取った回数に基づいてその対象人物が認証されにくい状態にあるか否かを判定する。そのために行動判定手段５２４は、顔向き検出手段５２６、静止検出手段５２７及び判定手段５２８を有する。

顔向き検出手段５２６は、行動特徴量を算出する特徴量算出手段として機能し、顔照合手段５２３から出力された履歴データについて現フレームの顔領域画像に写っている顔の直視度を算出する。図２の時刻t+2における対象人物２５２上に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系（Ｘ,Ｙ,Ｚ）では、原点Ｏは顔向きの検出対象となる人物の顔領域画像の重心に設定される。Ｘ軸は、原点Ｏを通り、顔の正中線に沿った垂直軸として設定される。Ｙ軸は、原点Ｏを通り、顔を左右に横断する方向の水平軸として設定される。Ｚ軸は、顔を前後に横断する方向の水平軸として設定される。
この座標系において、人物の顔向きは、人物が撮像部１００を直視した状態（すなわち、人物が顔の正面を撮像部１００に向けており、Ｚ軸が撮像部１００と顔を結ぶ直線となる状態）を顔向きの基準となる正対状態とした場合のヨー角ψ、ピッチ角θ及びロール角φの組（ψ,θ,φ）で表される。ヨー角ψは、正対状態における人物の顔向きに対する、左右方向の回転角（すなわち、Ｘ軸を回転中心とした、ＹＺ平面内での回転角）を表す。またピッチ角θは、正対状態における人物の顔向きに対する、上下方向の回転角（すなわち、Ｙ軸を回転中心とした、ＸＺ平面内での回転角）を表す。またロール角φは、正対状態における人物の顔向きに対する、Ｚ軸を回転中心とした時計回りの回転角を表す。以下では、ヨー角ψ、ピッチ角θ及びロール角φを、ラジアン単位で表し、それぞれ、右向き方向、下向き方向、時計回り方向を正とする。

顔向き検出手段５２６は、まず、顔領域画像から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段５２６は、抽出した顔特徴点の種別と顔領域画像上の位置情報（例えば、顔領域画像の左上端部を原点とする２次元座標値）を算出する。例えば、顔向き検出手段５２６は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段５２６は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段５２６は、顔領域画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔向き検出手段５２６は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段５２６は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、顔領域画像にガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段５２６は、顔の各部位に相当するテンプレートと顔領域画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。

そして顔向き検出手段５２６は、抽出した顔特徴点と、人物の顔の３次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出する。この場合、人の頭部の標準的な形状を模した３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表される）を予め準備し、記憶部５１０に記憶しておく。またその３次元形状モデルの両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部５１０に記憶しておく。
顔向き検出手段５２６は、顔領域画像から顔特徴点を抽出すると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして顔向き検出手段５２６は、顔領域画像から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段５２６は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして顔向き検出手段５２６は、その３次元形状モデルの顔の向きから、上記のヨー角ψ、ピッチ角θ及びロール角φの組（ψ,θ,φ）を求めることができる。
あるいは、本願出願人による特開２００９−２３７９９３に開示されている手法を採用することもできる。

直視度は、例えば（１）式で表されるように、ヨー角ψとピッチ角θの絶対値和の逆数とすることができる。

つまり直視度は、顔領域画像に写っている顔の向きが撮像部１００に対して正面方向に近いほど大きい値となる。例えば、対象人物が撮像部１００を直視している場合、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。一方、撮像部１００に対して顔を背けている場合は、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。

なお直視度は（１）式で算出されるものに限定されない。例えば、前述したように、撮像部１００が、入り口が設置された壁の上方または天井に取り付けられている場合、入室を希望する対象人物が認証を試みるとき、対象人物の顔向きは上向きになる（ピッチ角θが負値になる）傾向がある。そのため、顔向き検出手段５２６は、（２）式のように、ピッチ角θが正値であるか負値であるかに応じてピッチ角θに重み付けをして直視度を算出してもよい。

（２）式において、α及びβは、ピッチ角θの重み係数であり、例えばα＝1.0、β＝0.5とすることができる。

あるいは、顔向き検出手段５２６は、（３）式のように、ピッチ角θがカメラを直視する角度に近い値のときは、ピッチ角θの項を考慮しないようにして直視度を算出してもよい。

（３）式において、θ₁及びθ₂は、例えばθ₁＝−π／４、θ₂＝π／８とすることができる。このように、（２）式又は（３）式を用いて直視度を算出することにより、顔向き検出手段５２６は、撮像部１００を直視している対象人物をより精度よく検出することができる。
そして顔向き検出手段５２６は、直視度を算出すると、算出した直視度をその顔領域画像と対応付けて記憶部５１０に記憶しておく。

静止検出手段５２７も、行動特徴量を算出する特徴量算出手段として機能し、履歴テーブル３１０の追跡位置情報３１６を用いて、顔追跡手段５２２によって対応付けられた顔領域について静止度を算出する。例えば、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸が設定される２次元の座標系を設定する。つまりこの座標系では、撮像部１００が監視領域をやや上方向から撮影するように設置されている場合、撮像部１００からみて対象人物が左から右へ移動する方向にx軸が、撮像部１００の撮影方向にそって対象人物が近づく方向にy軸が設定される。この座標系において、時刻tにおける顔領域の重心位置を(x_t,y_t)とする。その場合、時刻tにおける顔領域の静止度は、例えば（４）式で表されるように、前フレームの顔領域の重心位置に対する現フレームの顔領域の重心位置の、水平方向の差と垂直方向の差の絶対値和の逆数とすることができる。

つまり静止度は、同一人物の顔が写っている顔領域の監視画像内における位置の変化が小さいほど大きい値となる。例えば図２に示した例では、時刻tから時刻t+1の間に対象人物が移動した距離２５５よりも時刻t+1から時刻t+2の間に対象人物が移動した距離２５６の方が小さいため、時刻t+2における静止度は時刻t+1における静止度より大きくなる。
そして静止検出手段５２７は、静止度を算出すると、算出した静止度をその顔領域画像と対応付けて記憶部５１０に記憶しておく。
なお、撮像部１００の床面からの高さ、俯角、焦点距離などの撮像条件が既知である場合には、撮像部１００と対象人物との実際の距離をおおよそ算出できるので、静止検出手段５２７は、（４）式に準じ、当該距離の時間変化の絶対値の逆数を静止度として算出してもよい。

判定手段５２８は、顔照合手段５２３が算出した類似度を記憶部５１０に記録する。図４に類似度が格納されるテーブルの例を示す。このテーブルは、図３に示した履歴テーブルの一部であるが、説明の都合上、以下照合テーブルと称して説明する。図４に示すように照合テーブル４１０は、履歴データごとに照合により得られた照合データを管理する。照合データは、照合テーブル４１０の各行にあらわされるデータの組であり、対象人物ＩＤ３１２、開始時刻３１３、顔画像データ３１５、要望行動カウンタ３１８及び類似度４１２を含む。また、照合テーブル４１０には、登録人物を他の登録人物と識別するための登録人物ＩＤ４１３及びその登録人物の顔画像をあらわす登録顔画像４１４が管理されており、類似度４１２は登録人物ＩＤ４１３ごとに管理される。

なお、図４における顔画像データ３１５は、理解しやすいように１枚のみを示している。類似度４１２は、顔照合手段５２３が、対象人物が写っている顔領域画像を各登録顔画像４１４と照合した結果として算出した類似度である。
また、登録人物ＩＤ４１３は、登録人物を他の登録人物と識別するためのＩＤである。登録人物ＩＤ４１３は、連続した正の整数でもよいが、例えば社員番号のように登録人物を一意に特定できるものであればどのようなものでもよい。登録顔画像４１４は、事前登録あるいは追加登録された登録人物の顔画像である。登録人物一人に対して一つ又は複数の登録顔画像が存在し得る。登録人物一人に対して複数の登録顔画像４１４が存在するときは、それぞれの登録顔画像４１４に対して登録人物ＩＤ４１３を割り当てることが好適である。なお、図４では理解しやすいように登録顔画像４１４として顔をあらわす画像を示しているが、顔照合手段５２３が顔画像の照合処理を実施するために必要なデータの形式で記憶しておいてもよい。例えば顔照合手段５２３が所定の顔特徴点の比較のみにより照合処理を実施する場合には、その顔特徴点の情報のみを記憶しておくことにより、記憶容量を節約できる。

判定手段５２８は、顔照合手段５２３が認証成功と判断した場合、認証成功と判断した登録顔画像４１４については、認証成功と判断したフレームにおける類似度を記録し、認証成功と判断しなかった登録顔画像４１４については、同フレームにおいてそれぞれの登録顔画像４１４について算出された類似度を記録する。一方、判定手段５２８は、最終的に顔照合手段５２３が認証成功と判断しなかった対象人物については、最も高い類似度が算出された登録顔画像４１４については、その最も高い類似度を記録し、その他の登録顔画像４１４については、その最も高い類似度が算出されたフレームにおけるそれぞれの登録顔画像４１４について算出された類似度を記録する。
あるいは、判定手段５２８は、顔照合手段５２３が認証成功と判断しなかった登録顔画像４１４については、その対象人物を写した顔領域画像と登録顔画像４１４について算出された、全ての類似度の平均値又は最近の所定数の類似度（例えば、最近5秒間に算出された類似度）の平均値を類似度４１２として記録してもよい。これにより対象人物を写した顔領域画像と登録顔画像がどれくらい類似しているかについて、より高精度に求めることができる。

なお、類似度４１２は、顔照合手段５２３によって対象人物が登録人物であると認証されて入室するまで、又は対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置１０がタイムアウト等により、その対象人物に対する認証処理を終了するまで算出される。

また判定手段５２８は、認証時間と、顔向き検出手段５２６が算出した直視度及び静止検出手段５２７が算出した静止度に基づいて、更新すべき登録顔画像を特定するとともに、その登録顔画像を更新するのに最も適した顔画像を選択する。
本実施形態の判定手段５２８は、監視領域内の対象人物が認証時間内に撮像部１００に顔を向けた状態で立ち止まったり、ゆっくり歩いたりしているか否かを判定する。そのために判定手段５２８は、顔向き検出手段５２６によって算出された直視度を直視度閾値と比較するとともに、静止検出手段５２７によって算出された静止度を静止度閾値と比較する。なお、直視度閾値は、顔領域画像に写っている対象人物の顔の向きが撮像部１００を直視しているとみなせる角度範囲にあることを判別できるように定められ、例えばヨー角ψ及びピッチ角θをラジアン値で表した場合、4とするのが好適である。また、静止度閾値は、顔領域画像に写っている対象人物が略停止していることを判別できるように定められ、例えば1秒間に5フレームの監視画像を処理する場合、顔領域画像の幅をWとしたときに1/(W×0.5)とするのが好適である。

また、認証されにくい対象人物は、カメラを直視しながら後ずさりをする行動をとることが多い。そこで、そのような対象人物を、認証されにくい対象人物としてより良好に検出するために、静止検出手段５２７は、顔領域がy軸の負方向に（下から上へ）向かって移動するときの静止度と、y軸の正方向に（上から下へ）向かって移動するときの静止度とを分けて算出してもよい。その場合、判定手段５２８は、顔領域がy軸の正方向に向かって移動するときの静止度に対する閾値を1/(W×0.5)とし、顔領域がy軸の負方向に向かって移動するときの静止度に対する閾値を1/(W×0.5)より小さい値、例えば1/Wとするのが好適である。

判定手段５２８は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合、要望行動カウンタをインクリメントする。この要望行動カウンタは、対象人物が要望行動を取っていると判定された回数を示すカウンタであり、図３に示した履歴テーブル３１０に（すなわち図４に示した照合テーブル４１０にも）記録される。
あるいは、判定手段５２８は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合に、常に要望行動カウンタをインクリメントするのではなく、静止している時間が長いほど要望行動カウンタの増加幅が大きくなるようにしてもよい。例えば判定手段５２８はそのときの要望行動カウンタ自体の値を加算する（そのときの要望行動カウンタの値が0のときは1にする）ようにする。一方、直視度が直視度閾値未満である場合、又は静止度が静止度閾値未満である場合、その対象人物は撮像部１００から顔を背けていたり、又はすばやく動いていると考えられ、認証されたいという心理状態でない可能性が高い。そのためその場合、判定手段５２８は要望行動カウンタを更新しない。

判定手段５２８は、顔追跡手段５２２が対象人物の顔領域画像の追跡を開始してから、顔照合手段５２３が照合成功と判断するまでの認証時間を算出する。
顔追跡手段５２２が対象人物の顔領域画像の追跡を開始した時刻は、履歴テーブル３１０の該当する履歴データの開始時刻３１３に記憶されている。顔照合手段５２３が照合成功と判断した時刻は、その照合成功との判断に用いた顔領域画像を顔画像データ３１５として記憶した際に対応づけて履歴テーブル３１０に記憶された追跡位置情報３１６の最新のものである。そこで判定手段５２８は、両者の差から認証時間を算出する。
そして判定手段５２８は、認証時間が所定時間以上であり、その認証時間内に要望行動カウンタが所定の閾値以上となった場合、その顔領域画像に写っている対象人物は認証されにくい人物であり、その対象人物の登録顔画像は認証しづらい画像である可能性が高いため登録顔画像を更新すべきと判断して図３に示した履歴テーブル３１０の更新フラグ３１９をＯＮにする。この更新フラグ３１９は、認証されにくいと判断された人物の登録顔画像を更新すべきか否かを示すフラグである。なお、認証時間についての所定時間は、顔画像認証装置の動作として、一般的に認証処理に要すると考えられる時間を考慮し、認証成功との結果を得るために認証処理を最大限繰り返すべき時間に基づき定められるとする。本実施の形態では、図２に示すように、歩行中の対象人物について、顔追跡手段５２２が対象人物の顔領域画像を追跡し始めてから、顔照合手段５２３が時間切れとして認証失敗の結果を出すための時間を基準に定めるとして、例えば１０秒間とすることができる。あるいは、撮像部１００の画角や俯角、運用場所に依って増減するのが良い。また、要望カウンタについての所定の閾値は1以上の整数値である。例えば、3〜4秒間、その対象人物が撮像部１００を直視しながらその場に静止している場合、その対象人物についての登録顔画像を更新すべきと判断することができる。従って、例えば1秒間に5フレームの監視画像を処理する場合、この所定の閾値は20とすることができる。要望行動カウンタは、１枚の監視画像ごとにインクリメントの有無が判断されるので、その数は、監視画像の処理間隔を考慮すると、対象人物が、撮像部１００を直視しており、静止している時間を表している。

判定手段５２８は、更新フラグ３１９をＯＮにすると、顔照合手段５２３が照合成功との判断をしたときの顔領域画像を候補顔画像として選択し、図３に示した履歴テーブル３１０に候補顔画像３２０として記録する。または、その対象人物について記録された顔領域画像のうち、対象人物が撮像部１００に対して略正面方向を向いているとみなされる顔領域画像、すなわち直視度が直視度閾値以上になったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図３に示した履歴テーブル３１０に候補顔画像３２０として記録してもよい。あるいは、その対象人物について記録された顔領域画像のうち、直視度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図３に示した履歴テーブル３１０に候補顔画像３２０として記録してもよい。その場合、判定手段５２８は、その後、直視度の最高値が更新された場合には、そのときの顔領域を切り出した顔領域画像により候補顔画像３２０を更新する。直視度が高いということは、対象人物が認証されようとして顔を撮像部１００に正面向きに向けていることを表すので、登録顔画像を照合に適した顔画像に更新できる可能性が高い。
あるいは、判定手段５２８は、その対象人物について記録された顔領域画像のうち、静止度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択して履歴データに記録してもよい。静止度が高いとき、その対象人物は認証されようとして立ち止まったり、通常の歩行速度よりもかなり低速に移動していると考えられ、そのような場合、その対象人物は認証されようとして顔を撮像部１００に向けている可能性が高い。従って、そのときの顔領域画像を候補顔画像として選択することにより、登録顔画像を照合に適した正面向きの顔画像に更新できる可能性が高くなる。
あるいは、判定手段５２８は、顔照合手段５２３が照合成功と判断したときの顔領域画像を候補顔画像として選択しても良い。
あるいは、判定手段５２８は、その対象人物について記録された顔領域画像のうち、更新しようとしている登録顔画像との類似度が最も高い顔領域画像を候補顔画像として選択して履歴データに記録してもよい。この場合、登録顔画像が現在のものから大きく変化することを抑制でき、登録人物以外の人物が写っている顔領域画像が誤って登録される危険性を低減できる。

以下、図４に示した照合テーブル４１０を用いて判定手段５２８の動作を説明する。なお、図４に示した例において、類似度４１２のうち枠４１５が付されたものは、認証成功と判断されたときの類似度をあらわす。また、類似度の取り得る範囲を0〜10とし、認証閾値を5とし、要望行動カウンタの閾値を5とする。
例えば、対象人物ＩＤ３１２が0511の対象人物において、要望行動カウンタ３１８は0で要望行動カウンタの閾値を越えておらず、その対象人物が写っている顔画像と登録人物ＩＤ４１３が2の登録顔画像との類似度は9.87で認証閾値を越えている。この場合、顔画像認証装置１０は、この対象人物は登録人物であるとして、すみやかに認証成功と判断している。
一方、対象人物ＩＤ４１３が0011の対象人物において、要望行動カウンタ３１８は5で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と登録人物ＩＤ４１３が1の登録顔画像との類似度は5.52で認証閾値を越えている。この場合、顔画像認証装置１０はこの対象人物について認証成功と判断しているが、この対象人物は認証成功と判断されるまで要望行動をとっていた認証されにくい人物と考えられる。そのため、判定手段５２８は、この対象人物の履歴データについて更新フラグ３１９をＯＮにし、候補顔画像を選択し、記憶する。
一方、対象人物ＩＤ３１２が0205の対象人物において、要望行動カウンタ３１８は6で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と各登録顔画像との類似度は最大でも0.95で認証閾値を越えていない。この場合、対象人物は要望行動をとっているが、顔画像認証装置１０は、まだこの対象人物について認証成功と判断していない。この対象人物は、登録されているものの、髪型や化粧などの原因で非常に認証困難な状態になっている人物であると考えられる。または、未登録の来訪者、場合によっては侵入を企てる不審者の可能性もある。いずれにしても、認証成功との結果が得られていない以上、どの登録顔画像４１４を更新すべきかは不明であるので、判定手段５２８は、更新フラグ３１９をＯＦＦとする。
ただし、顔画像認証装置１０の運用方針によっては、このように認証成功と判断できなかった対象人物も管理者による目視確認の対象にするのが望ましい場合もある。その場合には、判定手段５２８は、この対象人物の履歴データについても更新フラグ３１９をＯＮにし、候補顔画像を選択し、記憶する。なお、後述するように登録手段５２５の説明は、認証成功と判断されなかった対象人物についても更新フラグ３１９をＯＮにする場合について述べている。

顔画像認証装置１０は、対象人物の顔画像を照合する通常モードと、装置の設定、保守等を行う管理者モードを有する。登録手段５２５は、管理者モードにおいて登録顔画像を登録、更新又は削除する。登録手段５２５は、管理者に登録顔画像の登録、更新又は削除を指示させるために表示制御手段として機能し、必要な画面を表示部３００に表示させる。また登録手段５２５は、入力部４００から受け取った管理者からの指示に対応する信号に応じて記憶部５１０に記憶された登録顔画像を登録、更新又は削除する。
顔画像認証装置１０の管理者は、例えば、顔画像認証装置１０の登録人物から認証がされにくい旨の報告を受けた場合、又は定期的に装置のメンテナンスを行う場合、入力部４００に特定の暗証番号等を入力して、顔画像認証装置１０に通常モードから管理者モードへの移行を指示する。登録手段５２５は、入力部４００を介して管理者モードへの移行の指示を受け取ると、顔画像認証装置１０を管理者モードへ移行させ、表示部３００に登録顔画像の更新画面を表示させる。

図５に登録顔画像の更新画面の例を示す。図５に示されるように、登録顔画像の更新画面は、登録顔画像を更新すべき対象人物の一覧を表示する一覧表示領域５３０、更新ボタン５３１、一覧表示ボタン５３２、削除ボタン５３３及びキャンセルボタン５３４を含む。
一覧表示領域５３０には、判定手段５２８によって登録顔画像を更新すべきと判断された対象人物ごとに、要望行動カウンタ５３５、開始時刻５３６、候補顔画像５３７及び登録顔画像５３８が表示される。要望行動カウンタ５３５として、履歴データの要望行動カウンタ３１８の値が表示される。開始時刻５３６として、履歴データの開始時刻３１３が表示される。候補顔画像５３７として、履歴データの候補顔画像３２０が表示される。登録顔画像５３８として、その対象人物の認証処理において認証成功と判断された登録顔画像が表示される。

管理者モードへ移行した直後、まず登録手段５２５は、一覧表示領域５３０を空白にした更新画面を表示部３００に表示させる。そして、登録手段５２５は、入力部４００から管理者が一覧表示ボタン５３２を押下したことを示す信号を受け取ると、判定手段５２８によって登録顔画像を更新すべきと判断された対象人物、即ち更新フラグ３１９がＯＮとなっている人物についての情報を一覧表示させた更新画面を表示部３００に表示させる。
このとき、登録手段５２５は、各対象人物に関する情報を要望行動カウンタの値の大きい順に並べて一覧表示する。これにより、撮像部１００を直視しながら長時間静止していた対象人物から順に表示されるので、管理者は、更新すべき登録顔画像を容易に選択することができる。あるいは、履歴データの開始時刻３１３を参照して、要望行動カウンタ値が同じ対象人物については古い順に並べて一覧表示をしてもよい。

図５に示す要望行動カウンタ５３５が5の対象人物は、図４に示した対象人物ＩＤ３１２が0011の対象人物であり、認証成功ではあったものの認証されにくいと判断された対象人物である。この対象人物についての登録顔画像５４２を更新したい場合、まず管理者は、この対象人物の候補顔画像５４０と登録顔画像５４２とを目視により比較してこれらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、候補顔画像５４０にカーソルをあわせて選択する。そして登録手段５２５は、入力部４００から候補顔画像５４０が選択されたことを示す信号を受け取ると、候補顔画像５４０を強調表示する。登録手段５２５は、その状態で入力部４００から更新ボタン５３１が押下されたことを示す信号を受け取ると、登録顔画像５４２を候補顔画像５４０に更新する（入れ替える）。
また登録手段５２５は、入力部４００からキャンセルボタン５３４が押下されたことを示す信号を受け取ると、管理者モードを終了する。

また図５に示す要望行動カウンタ５３５が6の対象人物は、図４に示した対象人物ＩＤ３１２が0205の対象人物であり、認証成功と判断されなかった対象人物である。認証成功と判断されなかった対象人物は、本発明でいう認証されにくい人物ではないため、管理者による登録顔画像４１４の更新処理の対象とする必要はない。
しかし、認証成功と判断されなかった対象人物に登録されている人物が含まれている可能性は否定できず、そのままの状態を放置するのも不適切との運用方針もあり得る。その運用方針下では、多少管理者に負荷はかかるものの、管理者による目視確認を前提に登録顔画像４１４の更新をする。そこで、登録されているにも関わらず認証成功とならなかった人物の登録顔画像５４２の更新処理として、以下説明することにする。
この対象人物については、登録者であっても認証処理において認証成功と判断された登録顔画像がないため、登録手段５２５は、登録顔画像５３８の欄に登録顔画像リスト表示ボタン５４１を表示する。登録手段５２５は、入力部４００から登録顔画像リスト表示ボタン５４１が押下されたことを示す信号を受け取ると、表示部３００に登録顔画像の選択画面を新たに表示させる。

図６（ａ）に登録顔画像の選択画面の例を示す。図６（ａ）に示されるように、登録顔画像の選択画面は、更新ボタン６０１、一覧表示ボタン６０２、削除ボタン６０３、キャンセルボタン６０４、候補顔画像６０５、その候補顔画像６０５によって更新される対象となり得る登録顔画像に関する情報を表示する登録顔画像情報表示領域６０６、及び選択ボタン６０７を含む。
登録顔画像情報表示領域６０６には、その登録顔画像の登録人物ＩＤ６０８、登録顔画像６０９、及び図５において選択された対象人物の顔画像とその登録顔画像とについて算出された類似度６１０が表示される。

管理者は、この対象人物の候補顔画像６０５と登録顔画像６０９とを目視により比較してこれらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、登録顔画像６０９にカーソルをあわせて選択する。そして登録手段５２５は、入力部４００から登録顔画像６０９が選択されたことを示す信号を受け取ると、登録顔画像６０９を強調表示する。登録手段５２５は、その状態で入力部４００から更新ボタン６０１が押下されたことを示す信号を受け取ると、登録顔画像６０９を候補顔画像６０５に更新する。この場合、登録手段５２５は、更新後の登録顔画像と、候補顔画像６０５を並べて表示部３００に表示させることが望ましい。これにより、管理者は登録顔画像が所望の候補顔画像に更新されたことを容易に確認することができる。
なお、登録手段５２５は、更新処理を実施すると、その対象人物についての履歴データ及び照合データを削除してもよい。これにより以後の更新処理において、候補顔画像の冗長な表示を抑制することができる。

選択ボタン６０７は、表示されている登録顔画像６０９を他の登録顔画像に変更するためのボタンである。例えば、登録手段５２５は、選択ボタン６０７が一回押下されると、図６（ｂ）に表示される登録顔画像に関する情報６１１に、選択ボタン６０７が再度押下されると、図６（ｃ）に表示される登録顔画像に関する情報６１２に、選択ボタン６０７が再度押下されると、図６（ｄ）に表示される登録顔画像に関する情報６１３に、表示を変更する。この登録顔画像に関する情報の表示順は、その登録顔画像と、図５において選択された対象人物の顔画像について算出された類似度が大きい順である。これにより、図５において選択された対象人物の顔画像と類似している可能性の高い登録顔画像から順に表示されるため、管理者は、効率よく登録顔画像を更新することができる。

また、登録手段５２５は、管理者から選択された候補顔画像で登録顔画像を入れ替える更新をせずに、管理者から選択された候補顔画像を新たな登録顔画像として追加登録してもよい。この場合、以後の認証処理では、元の登録顔画像及び追加登録された登録顔画像の何れかに対して認証成功すればよいので、その対象人物について認証失敗となる可能性を低減することができる。
また、登録手段５２５は、更新フラグがＯＮになっている履歴データ、つまり要望行動カウンタが所定の閾値以上となっている履歴データが発生すると、表示部３００にその旨を示すメッセージを表示してもよい。このとき、登録手段５２５は、さらにスピーカによる音声鳴動、振動装置による振動等によって警報を発するようにしてもよい。これにより、登録手段５２５は、更新すべき登録顔画像が存在することを管理者に報知することができる。
また、管理者が対象人物の候補顔画像６０５と登録顔画像６０９とを目視により比較確認した際に、候補顔画像６０５に写った人物が見覚えのない人物である場合、善意の来訪者であるか、あるいは犯罪を企てるべく侵入を試みたり下見に訪れた不審人物であると判断することも可能となる。
その場合、管理者は登録顔画像の更新は行わない。また不審人物であると判断できる場合には、通報するなどの適切な対応が可能となる。

以下、図７に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１０による認証されにくい人の検出と登録顔画像の更新に用いる候補顔画像の選定処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部５００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、履歴テーブル３１０（及び照合テーブル４１０）は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。

最初に、顔画像認証装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部５００の照合部５２０へ送る（ステップＳ７０１）。次に、照合部５２０の顔検出手段５２１は、取得された監視画像から、対象人物の顔が写っている顔領域を抽出し、その顔領域を監視画像から切り出して顔領域画像を作成する（ステップＳ７０２）。次に、顔検出手段５２１は、一つ以上の顔領域が抽出されたか否か判定する（ステップＳ７０３）。顔領域が全く抽出されなかった場合、顔検出手段５２１はステップＳ７０１へ移行し、ステップＳ７０１〜Ｓ７０３の処理を繰り返す。

一方、ステップＳ７０３において、一つ以上の顔領域が抽出され、顔領域画像が作成された場合、顔追跡手段５２２は、抽出された顔領域について、前フレームの顔領域との対応付けを実施する（ステップＳ７０４）。そして顔追跡手段５２２は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがあるか否かを判定する（ステップＳ７０５）。全ての現フレームの顔領域と対応付けられなかった前フレームの顔領域がある場合、その前フレームの顔領域に写っている対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段５２２は、履歴テーブルの、その前フレームの顔領域に対応する履歴データの追跡フラグ３１４をＯＦＦにして、以後その顔領域に対する追跡処理を実施しないようにする（ステップＳ７０６）。
また、認証フラグ３１７がＯＦＦの場合には、それまでに算出された類似度を対応する照合テーブル４１０に記憶する。

そして顔追跡手段５２２は、現フレームの顔領域ごとに履歴テーブルの履歴データの初期化又は更新をする（ステップＳ７０７）。現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、顔追跡手段５２２は、履歴テーブル３１０にその対象人物についての履歴データを新たに追加し、初期化処理を行う。即ち、顔追跡手段５２２は、その履歴データに新たな試行番号３１１及び対象人物ＩＤ３１２を割り当てるとともに、開始時刻３１３として現在時刻を記録し、追跡フラグ３１４をＯＮに設定する。また顔追跡手段５２２は、顔画像データ３１５としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３１６としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段５２２は、認証フラグ３１７及び更新フラグ３１９をＯＦＦに設定し、要望行動カウンタ３１８を0に設定する。
一方、現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、顔追跡手段５２２は、履歴テーブル３１０の、対応する履歴データの顔画像データ３１５にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３１６にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段５２２は、更新した履歴データを顔照合手段５２３へ出力する。

以下のステップＳ７０８〜Ｓ７１６の処理は、追跡フラグ３１４がＯＮになっており、認証フラグ３１７がＯＦＦになっている履歴データごとに行われる。追跡フラグ３１４がＯＮになっている履歴データのうち認証フラグ３１７がＯＮである履歴データは処理対象としないのは、既に認証がなされているためである。そのため、顔照合手段５２３は、顔追跡手段５２２から出力された履歴データの最新の顔画像と記憶部５１０から読み込んだ各登録顔画像とを照合する（ステップＳ７０８）。そして顔照合手段５２３は、認証が成功したか否かを判定する（ステップＳ７０９）。
ステップＳ７０９で認証が失敗した場合、顔向き検出手段５２６は、その認証が失敗した対象人物の顔が写っている顔領域画像について直視度を算出し、その顔領域画像と対応づけて記憶部５１０に記憶する（ステップＳ７１０）。次に静止検出手段５２７は、その顔領域について静止度を算出し、その顔領域画像と対応づけて記憶部５１０に記憶する（ステップＳ７１１）。そして判定手段５２８は、直視度と静止度から、対象人物がカメラを直視しながら静止しているか否かを判定する（ステップＳ７１２）。そして判定手段５２８は、対象人物がカメラを直視しながら静止していると判定すると、要望行動カウンタ３１８をインクリメントする（ステップＳ７１３）。

一方、ステップＳ７０９で認証が成功した場合、顔照合手段５２３は、認証成功を示す信号を出力部２００へ出力し、出力部２００を介して電気錠の解錠を行う（ステップＳ７１４）。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。
次に、顔照合手段５２３は認証フラグ３１７をＯＮに設定する。また判定手段５２８は、履歴テーブル３１０の開始時刻３１３と最新の追跡位置情報３１６とから認証時間を算出し、顔照合手段５２３が算出した類似度を照合テーブル４１０に記憶する（ステップＳ７１５）。
判定手段５２８は、認証時間が所定時間以上であり、その認証時間内にインクリメントされた要望行動カウンタ３１８が所定の閾値以上であるか否かを判定する（ステップＳ７１６）。
認証時間が所定時間を下回った場合には、対象人物はすみやかに認証成功との判断を得て入室可能となったと考えられる。また要望行動カウンタ３１８が所定の閾値を下回った場合には顔を撮像部１００に向けたり静止したりすることなく入室可能となったと考えられるので、どちらの場合も候補顔画像の選定などの処理を行う必要はない（ステップＳ７１６のＮｏの分岐）。
一方で、認証時間が所定時間以上であり、その認証時間の間にインクリメントされた要望行動カウンタ３１８が所定の閾値以上である場合（ステップＳ７１６のＹｅｓの分岐）には、その対象人物は登録顔画像４１４の更新が必要な認証されにくい人物であると考えられるので、判定手段５２８は更新フラグ３１９をＯＮに設定する（ステップＳ７１７）。
次に、判定手段５２８は、登録顔画像４１４の更新に用いる候補顔画像の選定処理を行う（ステップＳ７１８）。
判定手段５２８は、ステップＳ７０９にて認証成功との判断を得た最新の顔領域画像を、履歴テーブル３１０の顔画像データ３１５から読み出して、同テーブルの候補顔画像３２０に記憶するものとする。
あるいは、判定手段５２８は、顔領域画像と対応づけられて記憶部５１０に記憶されている直視度を参照し、認証時間内にてそれが最大値を示した時の顔領域画像を選択して履歴テーブル３１０の候補顔画像３２０に記憶するものとする。

判定手段２５８がステップＳ７１３で要望行動カウンタ３１８をインクリメントしたとき、又は判定手段５２８がステップＳ７１２で対象人物がカメラを直視しながら静止していないと判定したとき、又は判定手段５２８が候補顔画像の選定処理を実施したとき、又は認証時間が所定時間未満か要望行動カウンタ３１８が所定の閾値以下のとき、全ての顔領域画像について照合処理がされたか否かが判定される。まだ照合処理がされていない顔画像が存在する場合、制御はステップＳ７０８に戻り、ステップＳ７０８〜Ｓ７１６の処理が繰り返される。

以上説明してきたように、本発明を適用した顔画像認証装置１０は、監視画像を順次取得し、その順次取得した複数の監視画像にわたって同一の人物の顔が写っている顔領域どうしを対応付ける。そして顔画像認証装置１０は、現フレームの顔領域画像に写っている顔の向きと、監視画像における、複数の監視画像にわたって抽出された同一の人物の顔が写っている各顔領域の位置の変化から行動特徴量を算出する。そして顔画像認証装置１０は、認証時間と行動特徴量からその人物が要望行動を取っていると判定した場合にその人物を認証されにくい人物として検出する。これにより、顔画像認証装置１０は、登録された顔画像が認証時に取得される顔領域画像と異なって認証されにくい状態にある人物を、その人物の行動に基づいて早期に高精度に検出し、認証に適した、登録顔画像の更新に用いる顔をすみやかに選択することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、顔画像認証装置は、カメラを直視しながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定するのではなく、単にカメラを直視している対象人物、または単に立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。その場合、行動判定手段は、直視度と静止度のうちの何れか又は何れも算出し、直視度が直視度閾値以上である場合、または静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。即ち、認証時間内において対象人物が撮像部に対して顔を略正面方向に向けていると判断される顔領域画像が所定の枚数以上である、または認証時間内において対象人物が略静止していると判断される時間が所定時間以上である場合に、判定手段は、その対象人物が認証されにくい人物と判定する。
このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値と同じにしてもよい。あるいは、要望行動を取っていない人物を誤って検出することを抑制するため、このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値より大きい値にしてもよい。この場合も、顔画像認証装置は、登録された顔画像が認証時に取得される顔領域画像と異なって認証されにくい状態にある人物を早期に、かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することができる。

また、認証を要望する対象人物は、なかなか認証されない場合、望ましい角度で撮像されようとして、顔の向きを変えながら立ち止まったりゆっくり歩くことがある。そこで、顔画像認証装置は、顔の向きを頻繁に変えながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として顔向き変化検出手段をさらに備える。この顔向き変化検出手段は、行動特徴量として、顔追跡手段によって対応付けられたそれぞれの顔領域に写っている対象人物の顔の向きの変化の度合いを示す顔向き変化度を算出する。例えば、顔向き変化検出手段は、現フレームの顔領域画像について算出された直視度と、その顔領域に対応付けられた前フレームの顔領域画像について算出された直視度との差の絶対値を算出し、算出した絶対値を所定数のフレームにわたって累積した累積値を顔向き変化度とする。つまり顔向き変化度は、顔の向きの変化が大きいほど大きい値となる。なお、この所定数は、例えば5秒間に相当するフレーム数とすることができる。
そして判定手段は、顔向き変化検出手段によって算出された顔向き変化度が顔向き変化度閾値以上であり、かつ静止検出手段によって算出された静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。なお、顔向き変化度閾値は、顔領域画像に写っている対象人物の顔の向きが変化していることを判別できるように定められる。例えば、図２に示した正規直交座標系において（１）式を用いて直視度を算出し、（１）式のヨー角ψ及びピッチ角θをラジアン値で表し、上記の所定数を5秒間に相当するフレーム数とした場合、顔向き変化度閾値はπとすることができる。また判定手段は、さらに顔向き検出手段によって算出された直視度が直視度閾値以上である場合のみ要望行動カウンタをインクリメントするようにしてもよい。

また、認証を要望する対象人物は、なかなか認証されない場合、カメラを直視しながら後ずさりして再度の認証を試みることがある。そこで、顔画像認証装置は、カメラを直視しながら後ずさりする対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として後進検出手段をさらに備える。この後進検出手段は、行動特徴量として、複数の監視画像における、顔追跡手段によって対応付けられたそれぞれの顔領域の位置の変化する方向を表すベクトルを求める。例えば、撮像部が監視領域をやや上方向から撮影するように設置されている場合、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より上へ移動する。つまり、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸を設定すると、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より小さくなる。そこで、後進検出手段は、現フレームの顔領域の重心位置のy座標値から、その顔領域に対応付けられた前フレームの顔領域の重心位置のy座標値を引いた差分値を算出する。つまり、対象人物が撮像部から遠ざかる方向に移動しているとき、監視画像上で現フレームの顔領域の重心位置が前フレームの顔領域の重心位置より上の位置に存在するので、この差分値は負の値となる。そのため判定手段は、顔向き検出手段によって算出された直視度が直視度閾値以上であり、かつ後進検出手段によって算出された差分値が所定の閾値以下である場合に要望行動カウンタをインクリメントする。なお、この所定の閾値は、顔領域に写っている対象人物が撮像部から遠ざかる方向に移動していることを判別できるように定められ、この場合は例えば0とすることができる。

また、撮像部が監視領域を斜め方向から撮影するように設置されている場合、後進検出手段は、監視画像における顔領域の位置のy軸方向の変化だけでなく、x軸方向の変化も考慮することが好ましい。その場合、予め人物が監視領域において後ずさりをするときの監視画像上の顔領域の位置が変化する方向をあらわすベクトルＡを求めておく。そして後進検出手段は、監視画像上で、現フレームの顔領域の重心位置が、その顔領域に対応付けられた前フレームの顔領域の重心位置に対して変化した方向をあらわすベクトルＢを求める。そして判定手段は、ベクトルＡとベクトルＢの方向一致度を（５）式により求める。

（５）式により算出される方向一致度は、ベクトルＢが予め人物が後ずさりする方向として求めていたベクトルＡと完全に一致するとき1となる。この場合、判定手段は、直視度が直視度閾値以上であり、かつ方向一致度が所定の閾値以下である場合に要望行動カウンタをインクリメントする。なお、この場合の所定の閾値は、例えばベクトルＢとベクトルＡがなす角度が30度以下のときに要望行動カウンタがインクリメントされるように、0.86とすることができる。

また、認証を要望する対象人物は、一旦撮像部から離れてから、再度撮像部に近づいて認証を試みることがある。そこで、顔画像認証装置は、一旦撮像部から離れてから、再度撮像部に近づいてくる対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として方向変化検出手段をさらに備える。この方向変化検出手段は、行動特徴量として、複数の監視画像における、顔追跡手段によって対応付けられたそれぞれの顔領域の位置が変化する方向の変化を示す方向変化値を求める。例えば、撮像部が監視領域をやや上方向から撮影するように設置されている場合、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より上へ移動し、対象人物が撮像部から近づくと現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より下へ移動する。つまり、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸を設定すると、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より小さくなり、対象人物が撮像部に近づくと現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より大きくなる。そこで、方向変化検出手段は、現フレームの顔領域の重心位置のy座標値から、その顔領域に対応付けられた前フレームの顔領域の重心位置のy座標値を引いた差分値を算出する。そして方向変化検出手段は、差分値が負値から正値に変化した場合に1となり、正値から負値に変化した場合に-1となり、それ以外の場合に0となる変化判別値を求める。そして判定手段は、顔向き検出手段によって算出された直視度が直視度閾値以上であり、かつ方向変化検出手段によって算出された変化判別値が1又は-1である場合に要望行動カウンタをインクリメントする。
なお、この場合の判定方法は、顔領域に写っている対象人物が撮像部に近づいた後に遠ざかったこと、又は撮像部から遠ざかった後に近づいたことを判定できるものであればどのようなものであってもよい。例えば、判定手段は、各監視画像において方向変化検出手段によって算出された差分値が所定回数以上連続して正の値であり（対象人物が撮像部に近づき）、その後所定回数以上連続して負の値となり（撮像部から離れ）、その後再度正の値となった（撮像部に再度近づいた）場合に要望行動カウンタをインクリメントしてもよい。なお、この所定回数は例えば5回とすることができる。また、判定手段は、この行動が例えば２回以上繰り返されたときに要望行動カウンタをインクリメントしてもよい。その場合、監視画像において２回目の行動時の顔領域の位置の変化の割合が１回目の行動時の顔領域の位置の変化の割合より小さいとき、すなわち対象人物の移動速度が遅くなったとき、その対象人物はより強く認証を要望していると考えられるので、要望行動カウンタの加算幅を大きくしてもよい。また、監視画像において顔領域の位置の変化の割合が徐々に小さくなる場合も、その対象人物はより強く認証を要望していると考えられるので、要望行動カウンタの加算幅を大きくしてもよい。

また、認証を要望する対象人物は、認証されようとして静止する場合、その対象人物がカメラの正面の位置と考える特定の範囲に静止する傾向にある。そこで、顔画像認証装置は、特定の範囲に静止する対象人物のみを認証を要望している人物と判定してもよい。その場合、判定手段は、直視度が直視度閾値以上であり、静止度が静止度閾値以上であり、さらに顔領域の重心位置が監視画像の予め定められた範囲に存在する場合のみ、要望行動カウンタをインクリメントする。なお、この範囲は撮像部の設置場所、撮像範囲等に応じて定められる。

また、なかなか認証されずに認証を要望している対象人物は、自らの顔の特徴的な部位が明確に撮像されるようにするものと考えられ、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠していない可能性が高い。従って、顔画像認証装置は、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠している対象人物を、認証されにくい人物として検出判定しないようにしてもよい。その場合、顔画像認証装置は、行動判定手段に、対象人物が写っている現フレームの顔領域画像内に顔の特徴となる部位を覆う物が存在するか否かを判定する顔状態判定手段をさらに備える。そして判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されると、要望行動カウンタをインクリメントしないようにしたり、更新フラグをＯＮにしないようにして、その人物を認証されにくい人物であると判断しない。つまり、顔画像認証装置は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在しないと判定された場合に限り、その顔領域画像に写っている人物を認証されにくい人物として検出できる。これにより顔画像認証装置は、マスク、サングラス等により顔の特徴となる部位が覆い隠された顔領域画像を登録顔画像の更新の対象から除くことができる。
あるいは、判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されたときの直視度閾値及び静止度閾値を、存在しないと判定されたときの直視度閾値及び静止度閾値より大きくしてもよい。あるいは、判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されたときの要望行動カウンタの加算幅を、存在しないと判定されたときの要望行動カウンタの加算幅より小さくしてもよい。これにより顔画像認証装置は、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠している対象人物を、認証を要望している人物と判定しづらくすることができ、認証を要望している人物をさらに高精度に判定することができる。

なお、顔状態判定手段は、例えばマスク、サングラス等に相当するテンプレートと顔画像とのテンプレートマッチングを行ってマスク、サングラス等の有無を判定することができる。この方法については特許第２９６０４９０号を参照することができる。
あるいは、顔状態判定手段は、Ａｄａｂｏｏｓｔ識別器を用いて顔の特徴となる部位を物理的に覆い隠しているものを検出する。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。その場合、Ａｄａｂｏｏｓｔ識別器には、顔の特徴となる部位が覆い隠された複数のサンプル画像と覆い隠されていない複数のサンプル画像を用いて、顔の特徴となる部位が覆い隠された画像に対して覆い隠すものが写っているとの識別結果を出力し、顔の特徴となる部位が覆い隠されていない画像に対しては覆い隠すものが写っていないとの識別結果を出力するように事前に学習させておく。これにより顔状態判定手段は、顔画像をＡｄａｂｏｏｓｔ識別器に入力し、その顔画像に顔の特徴となる部位を覆い隠すものが写っているか否かの識別結果を得ることができる。

また顔検出手段は、必ずしも対象人物の顔が写っている顔領域を監視画像から切り出して顔領域画像を作成する必要はない。例えば、顔検出手段は、監視画像から対象人物の顔が写っている顔領域を抽出した後、顔領域画像を作成せずに、抽出した顔領域の監視画像における座標情報のみを顔追跡手段に出力するようにしてもよい。その場合、顔照合手段及び行動判定手段は、顔領域画像についての処理を監視画像の顔領域に対して実施する。

また顔照合手段は、必ずしも顔追跡手段によって対応付けられた顔領域画像について照合処理を行う必要はなく、顔追跡手段が追跡処理を実施する前に照合処理を実施してもよい。その場合、顔検出手段は、抽出した顔領域を監視画像から切り出した顔領域画像を顔追跡手段に出力するとともに、顔照合手段にも出力し、顔照合手段は、顔検出手段から受け取った顔領域画像について照合処理を実施する。

また登録手段は、図５に示した登録顔画像の更新画面又は図６に示した登録顔画像の選択画面において、認証されやすい対象人物の登録顔画像に係る情報を表示しないようにしてもよい。その場合、例えば判定手段は、登録顔画像ごとに最近の一定期間内に要望行動カウンタが0のまま認証成功となった回数、すなわちカメラを直視しながら立ち止まったりゆっくり歩くことなく認証成功となった回数を算出しておく。そして登録手段は、判定手段によって算出された回数が所定回数以上である登録顔画像に対応する顔領域画像については登録顔画像の更新画面に表示しないようにする。また登録手段は、判定手段によって算出された回数が所定回数以上の登録顔画像については登録顔画像の選択画面に表示しないようにする。なお、例えばカメラを直視しながら立ち止まったりゆっくり歩くことなく認証成功となった回数を算出する期間を10日間とした場合、この所定回数は10回とすることができる。これにより、顔画像認証装置は、更新する必要のない認証されやすい対象人物の登録顔画像に関する情報を表示しないので、管理者は不要な情報を閲覧することなく効率よく登録顔画像を更新することができる。

また、顔画像認証装置は、顔領域画像に写っている対象人物と登録顔画像に写っている人物が同一人物であると判定したときに、その顔領域画像に写っている対象人物が要望行動を取っていると判定した回数が所定回数以上となる場合には、その顔領域画像によって登録顔画像を更新するようにしてもよい。その場合、登録手段は、管理者からの指示によらず、履歴データに基づいて自動的に登録顔画像を更新する。登録手段は、更新フラグがＯＮになっている履歴データ、つまり要望行動カウンタが所定の閾値以上となっている履歴データについて、照合された顔領域画像と登録顔画像の類似度が所定値以上となる場合に、その照合された顔領域画像によって登録顔画像を更新する。この所定値は、例えば認証閾値と同じ値とすることができる。あるいはこの所定値は、認証閾値より大きい値（例えば1.1倍となる値）、又は認証閾値より小さい値（例えば0.9倍となる値）としてもよい。これにより顔画像認証装置は、認証しづらい人物の登録顔画像をより認証しやすい画像に自動的に変更できるので、管理者の手間を削減するとともに、より早期に登録顔画像を変更できる。さらに顔画像認証装置は、以後の認証において本人認証の失敗を低減することができる。

また、これまでに述べてきた本発明の実施の形態においては、対象人物が立ち止まっていることを表す行動を把握するのに、監視画像上での顔領域画像の時間的な位置変化、即ち（４）式で表される静止度が静止閾値を越えるフレーム数に基づいていた。時間的に隣接するフレーム間の時間間隔は既知であるので、要望行動カウンタの値は、対象人物が断続的に立ち止まっても、その位置変化が小さい時間の合計を表すので、立ち止まったり動いたりしても、対象人物が認証されようとして立ち止まるという行動を把握できる。
これに代えて、認証時間において継続的に対象人物の静止度が静止閾値を越えている時間が所定の時間を越えていると、対象人物が立ち止まっていると判断しても良い。この場合の所定時間は、これまでに述べてきた本発明の実施の形態において要望行動カウンタに用いた閾値20に対応した、例えば3〜4秒とすることができる。
この場合も、対象人物が移動することを止めて静止し続けるという認証されようとする意思の現れとして判定することもできる。
さらに、対象人物が静止しながら撮像部に顔を向けている場合、その対象人物は認証されようとしているものと推認される。そこで、上記の対象人物の静止度が継続的に静止閾値を越えている間に、当該対象人物が撮像部に顔を向けていることを判断の条件に加えることが好適である。
上記のように、認証時間内において継続的に対象人物が静止閾値を越えている時間を用いて、対象人物が立ち止まっていると判断する場合においても、認証成功と判断されたときの顔領域画像を、登録顔画像の更新に用いる候補顔画像として選択することが可能である。

また、これまでに述べてきた本発明の実施の形態においては、対象人物がカメラを直視していることを表す直視度や、立ち止まっていることを表す静止度を用いて、対象人物が要望行動を取っているか否かを要望カウンタのインクリメント結果にて判定し、それが認証時間内にて所定の回数以上である場合に対象人物が認証されにくい人物であると判断することとしていた。
一方で、顔画像認証装置における処理速度が十分に速いにも関わらず、認証成功との結果を得るまでに時間がかかるのは、それだけでも認証されにくい人物であると考えることもできる。そこで、これまでに述べてきた本発明の実施の形態よりも判定条件を少なくし、要望行動カウンタを用いず、認証時間が所定時間を越えた場合には、対象人物が認証されにくい人物であると直ちに判定しても良い。この場合の所定時間は、これまでに述べてきた本発明の実施の形態において用いた場合と同様に、例えば10秒とすることができる。
この場合でも、対象人物の行動に基づいて、認証されようと要望行動を取っている人物について、認証成功と判断されたときの顔領域画像を、登録顔画像の更新に用いる候補顔画像として選択することが可能である。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０ 顔画像認証装置
１００ 撮像部
２００ 出力部
３００ 表示部
４００ 入力部
５００ 画像処理部
５１０ 記憶部
５２０ 照合部
５２１ 顔検出手段
５２２ 顔追跡手段
５２３ 顔照合手段
５２４ 行動判定手段
５２５ 登録手段
５２６ 顔向き検出手段
５２７ 静止検出手段
５２８ 判定手段

Claims (6)

1. 監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、前記監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置であって、
   前記照合部は、
   前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、
   順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段と、
   前記顔領域画像と前記登録顔画像を照合し、同一人物かを認証する顔照合手段と、
   前記追跡した顔領域画像について、前記顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いていることを条件に前記顔領域画像に写っている人物が認証を要望する要望行動を取っていると判定し、追跡を開始してから同一人物と認証されるまでの認証時間が第１の所定時間以上であり、且つ、前記認証時間内に取得した前記顔領域画像に写っている人物が前記要望行動を取っていると判定した回数が所定数以上である場合に、前記顔照合手段にて認証された前記登録人物を認証されにくい人物と判定する判定手段と、を有することを特徴とした顔画像認証装置。
2. 更に、前記判定手段は、前記登録人物が前記認証されにくい人物と判定されたときに前記撮像部に対して略正面方向を向いている顔であると判定された顔領域画像を、前記登録顔画像を更新するための候補顔画像として前記記憶部に記憶する請求項１に記載の顔画像認証装置。
3. 前記判定手段は、前記追跡した前記顔領域画像の追跡位置が略静止していることを前記条件に追加する請求項１または２に記載の顔画像認証装置。
4. 監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、前記監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置であって、
   前記照合部は、
   前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、
   順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段と、
   前記顔領域画像と前記登録顔画像を照合し、同一人物かを認証する顔照合手段と、
   前記追跡した顔領域画像について、前記顔領域画像の追跡位置が略静止していることを条件に前記顔領域画像に写っている人物が認証を要望する要望行動を取っていると判定し、追跡を開始してから同一人物と認証されるまでの認証時間内に取得した前記顔領域画像に写っている人物が前記要望行動を取っていると判定した回数が所定数以上である場合に、前記顔照合手段にて認証された前記登録人物を認証されにくい人物と判定する判定手段と、を有することを特徴とした顔画像認証装置。
5. 前記判定手段は、前記略静止していると判定している時間の前記顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いていることを前記条件に追加する請求項４に記載の顔画像認証装置。
6. 更に、前記判定手段は、前記認証されにくい人物と判定されたときに同一人物と認証された顔領域画像を、前記登録顔画像を更新するための候補顔画像として前記記憶部に記憶する請求項４または５に記載の顔画像認証装置。

Images