JP5730044B2 - 顔画像認証装置 - Google Patents

Description

本発明は、人物の顔を撮影した顔画像を予め登録された顔画像と照合することにより、その人物を認証するか否かを判定する顔画像認証装置に関する。

顔画像認証装置では、予め登録された登録者以外の他人をその登録者として認証したり、登録者本人の認証に失敗することは望ましくない。そのため、顔画像認証装置には、高い認証精度を実現することが求められる。
しかし、登録者、あるいは、認証を求めようとする対象者が眼鏡を装着していると、顔画像上の顔の特徴を表す特徴量がその眼鏡により影響を受けることがある。例えば、対象者が装着している眼鏡の顔画像上の特徴が、登録者が装着している眼鏡の顔画像上の特徴と類似していると、顔画像認証装置は、画像上の両者の顔の特徴が類似していると判定してしまい、対象者が登録者と異なっていてもその対象者を登録者として認証してしまうおそれがあった。

そこで、登録者の顔画像である登録顔画像を用意するにあたり、眼鏡を装着した人物については、多数の学習用顔画像を用いて仮想的に眼鏡を外したその人物の顔画像を合成する技術が提案されている（例えば、非特許文献１を参照）。
また、眼鏡を外見的特徴の一つとして、眼鏡の有無により、登録対象者を異なるグループに分けて登録し、各グループに対して重み付け設定値を設定する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された人物照合システムは、照合対象者の顔画像と複数の登録対象者の顔画像の夫々とを照合し、照合対象者の顔画像に対する複数の登録対象者の顔画像の類似度を示す一次照合結果を生成し、重み付け設定値に基づき複数の一次照合結果から二次照合結果を生成し、複数の二次照合結果のうち基準値を超える二次照合結果に基づき照合対象者を特定する。また特許文献１には、眼鏡有りのグループに対する重みを、眼鏡無しのグループに対する重みよりも大きくすることが示されている。

特開２００９−６４１７３号公報

Chenyu Wu、他４名、"Automatic Eyeglasses Removal from Face Images"、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、2004年3月、第26巻、第3号

しかしながら、非特許文献１に開示された技術では、照合時において、学習に用いた顔画像取得時の撮影条件とは異なる撮影条件で対象者が撮影されると、顔画像認証装置がその撮影により得られた顔画像から眼鏡を正確に除去できず、その結果として認証精度が低下してしまい、顔画像認証装置としては適切に動作しないおそれがあった。

また、特許文献１に開示された人物照合システムは、上記のように、登録者が装着している眼鏡の形状または色といった特徴と照合対象者が装着している眼鏡の特徴が似ていると、その眼鏡に起因する顔の特徴が似てしまい、その結果として照合対象者が登録者と異なっていても、その照合対象者を登録者として誤認証してしまうおそれがあった。

そこで、本発明は、登録者及び照合対象者の眼鏡の有無によらず、顔画像を用いて照合対象者を認証するか否かを正確に判定可能な顔画像認証装置を提供することを目的とする。

本発明の一つの形態として、顔画像認証装置が提供される。この顔画像認証装置は、対象者の顔を撮影した入力顔画像を生成する撮像部と、眼鏡装着時用の第１の照合用閾値と、眼鏡未装着時用の第２の照合用閾値とを記憶する記憶部と、入力顔画像に写った対象者の顔と登録顔画像に写った登録者の顔の類似度を算出する類似度算出部と、その類似度と第１の照合用閾値または第２の照合用閾値とを比較し、その類似度が第１の照合用閾値または第２の照合用閾値のうちの比較に用いられる照合用閾値よりも高い場合に対象者を登録者として認証する判定部とを有する。
そして判定部は、登録顔画像に写った登録者が眼鏡を装着していれば第１の照合用閾値を比較に用いられる照合用閾値とし、一方、登録顔画像に写った登録者が眼鏡を装着していなければ、第１の照合用閾値よりも低い第２の照合用閾値を比較に用いられる照合用閾値とする。

記憶部は、登録顔画像に写った登録者が眼鏡を装着しているか否かを示すデータをさらに記憶していることが好ましい。この場合において、判定部は、そのデータに従って登録顔画像に写った登録者が眼鏡を装着しているか否かを判定することが好ましい。

また顔画像認証装置は、入力顔画像に写っている対象者が眼鏡を装着しているか否かを判定する眼鏡有無判定部をさらに有し、判定部は、登録顔画像に写っている登録者が眼鏡を装着し、かつ、眼鏡有無判定部により対象者が眼鏡を装着していると判定された場合に限り、第１の照合用閾値を類似度との比較に用いられる照合用閾値とすることが好ましい。

また第１の照合用閾値は、登録顔画像上で登録者が装着している眼鏡の種類に応じて異なる値を持つことが好ましい。

本発明に係る顔画像認証装置は、登録者及び照合対象者の眼鏡の有無によらず、顔画像を用いて照合対象者を認証するか否かを正確に判定可能な顔画像認証装置できるという効果を奏する。

本発明の一つの実施形態に係る顔画像認証装置の概略構成図である。 登録情報の模式図である。 登録処理の動作を示すフローチャートである。 顔画像認証処理の動作を示すフローチャートである。

以下、本発明の一つの実施形態による顔画像認証装置を、図を参照しつつ説明する。この顔画像認証装置は、登録者の顔画像を登録する際、登録者が眼鏡を装着しているか否かに応じて、異なる照合用閾値をその登録者と関連付けて登録する。特に、この顔画像認証装置は、登録者が眼鏡を装着している場合の照合用閾値を、登録者が眼鏡を装着していない場合の照合用閾値よりも、照合対象者が登録者であると判定され難い値に設定する。そしてこの顔画像認証装置は、照合時において取得された顔画像に写った照合対象者の顔と登録顔画像に写った登録者の顔を照合する際、その登録者に関連付けられた照合用閾値を用いる。

図１は、一つの実施形態に係る顔画像認証装置１の概略構成を示す図である。図１に示すように、顔画像認証装置１は、登録顔画像入力部２と、撮像部３と、インターフェース部４と、記憶部５と、処理部６とを有する。

登録顔画像入力部２は、登録者を登録する際に、登録者の顔が写った画像を登録顔画像として取得する。そのために、登録顔画像入力部２は、例えば、ＣＣＤまたはＣＭＯＳといった固体撮像素子の２次元アレイ上に登録者の顔の像を結像する光学系を備えたカメラを有する。あるいは、登録顔画像入力部２は、自動車運転免許証または社員証といった、登録者の顔が写った画像をスキャンしてデジタル化した登録顔画像を生成するスキャナを有してもよい。
登録顔画像入力部２は、登録顔画像をインターフェース部４へ出力する。

撮像部３は、顔画像認証装置１が運用される環境に応じて、照合対象者の顔を撮影できるように設置される。そして撮像部３は、照合対象者の顔が写った画像を入力顔画像として生成する。そのために、撮像部３は、例えば、ＣＣＤまたはＣＭＯＳといった固体撮像素子の２次元アレイ上に照合対象者の顔の像を結像する光学系を備えたカメラを有する。
撮像部３は、生成した入力顔画像をインターフェース部４へ出力する。

なお、登録顔画像入力部２及び撮像部３は、それぞれ、登録顔画像及び入力顔画像として、カラーの多階調画像を作成するものであってもよく、あるいは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また登録顔画像入力部２及び撮像部３が有する撮像素子アレイは、登録顔画像及び入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。

さらに、登録時及び認証処理の実行時において、登録者の顔及び照合対象者の顔を撮影するために、同一のカメラが用いられてもよい。この場合には、顔画像認証装置１は、登録顔画像入力部２と撮像部３とを別個に有する代わりに、登録時に登録顔画像を、認証処理の実行時に入力顔画像を生成する撮像部３のみを有してもよい。
また、顔画像認証装置１は、例えば、通信ネットワークを介して顔画像認証装置１と接続される他の機器から登録顔画像を取得できる場合、登録顔画像入力部２は、顔画像認証装置１を通信ネットワークに接続するためのインターフェース回路であってもよい。この場合には、登録顔画像入力部２を介して取得された登録顔画像は、インターフェース部４を介さずに処理部６へ渡される。

インターフェース部４は、登録顔画像入力部２及び撮像部３と接続されるインターフェース回路であり、例えば、ビデオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。そしてインターフェース部４は、登録顔画像入力部２から受け取った登録顔画像及び撮像部３から受け取った入力顔画像を処理部６に渡す。

記憶部５は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部５は、顔画像認証装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部５は、登録者ごとに、登録者の識別情報と、登録顔画像または登録顔画像から抽出された照合処理用の登録特徴量と、照合用閾値とを記憶する。さらに記憶部５は、各登録者がめがねを装着しているか否かを表すフラグを記憶してもよい。登録者の識別情報は、例えば、登録者のユーザ名、ユーザ識別番号またはパスワードである。また照合処理用の特徴量及び照合用閾値の詳細については後述する。

処理部６は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部６は、登録者の登録処理を実行する。また処理部６は、照合対象者に対する認証処理を実行する。そのために、処理部６は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、眼鏡有無判定部１１と、登録特徴量算出部１２と、登録部１３と、顔検出部２１と、入力特徴量算出部２２と、類似度算出部２３と、判定部２４とを有する。このうち、眼鏡有無判定部１１、登録特徴量算出部１２及び登録部１３は、登録時において使用され、一方、顔検出部２１、入力特徴量算出部２２、類似度算出部２３及び判定部２４は、認証処理の実行時において使用される。
なお、処理部６が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、処理部６の各部について詳細に説明する。

先ず、登録時の処理について説明する。
眼鏡有無判定部１１は、登録顔画像に写っている登録者が眼鏡を装着しているか否かを判定する。そのために、眼鏡有無判定部１１は、例えば、P. Viola他、"Rapid Object Detection using a Boosted Cascade of Simple Features"、Proceedings IEEE Conf. on Computer Vision and Pattern Recognition、2001年、に開示されている方法を採用する。この場合、カスケード型adaBoost識別器を、眼鏡を装着した人物の複数の顔画像及び眼鏡を装着していない人物の複数の顔画像を学習用データとして用い、眼鏡を装着した顔が写った顔画像が入力されると眼鏡有りを出力し、眼鏡を装着していない顔が写った顔画像が入力されると眼鏡無しを出力するように予め学習することにより構築する。そして記憶部５に、そのカスケード型adaBoost識別器を規定するパラメータセットを予め記憶させておく。
眼鏡有無判定部１１は、登録時において記憶部５からカスケード型adaBoost識別器を規定するパラメータセットを読み込む。そしてその識別器に登録顔画像を入力することにより、登録者が眼鏡を装着しているか否かの判定結果が出力される。

あるいは、眼鏡有無判定部１１は、画像上での眼鏡の有無を判定する他の様々な方法の何れかに従って、登録顔画像上の登録者が眼鏡を装着しているか否かを判定してもよい。例えば、眼鏡有無判定部１１は、顔画像を入力することにより、その顔画像に写っている顔が眼鏡を装着しているか否かを判定する他の識別器を、登録顔画像上の登録者の顔に眼鏡が装着されているか否かを判定するために用いてもよい。この場合、例えば、上記のような学習データを用いてバックプロパゲーションなどの公知の学習方法に従って多層パーセプトロン型ニューラルネットワークを学習させることによりその識別器を構築してもよい。

また、眼鏡有無判定部１１は、登録顔画像上で眼の近傍領域を抽出し、その領域内の輝度分布（例えば、輝度平均値または輝度分散）あるいはエッジの方向分布といった眼鏡有無判定用の特徴量が、予め定められた眼鏡装着時の条件を満たす場合に、登録者が眼鏡を装着しており、一方、それらの特徴量が眼鏡装着時の条件を満たさない場合に、登録者が眼鏡を装着していないと判定してもよい。なお、眼の近傍領域は、例えば、登録顔画像上で眼が含まれることが想定される所定の領域に予め設定される。
さらに、眼鏡有無判定部１１は、例えば、登録顔画像から垂直方向に所定以上の強度変化を持ち、かつ略水平方向に眼鏡のフレームに相当する長さだけ連続するエッジを検出すると、登録者が眼鏡を装着していると判定してもよい。

眼鏡有無判定部１１は眼鏡を装着しているか否かの判定結果を登録部１３へ通知する。
なお、図示しない、キーボード、タッチパッドなどのユーザインターフェースを顔画像認証装置１が有し、そのユーザインターフェースを介して眼鏡を装着しているか否かを表す情報が入力される場合には、眼鏡有無判定部１１は省略されてもよい。

登録特徴量算出部１２は、登録顔画像から、照合に利用するための登録者の顔の特徴を表す登録特徴量を算出する。登録特徴量算出部１２は、登録特徴量として、例えば、固有顔法に基づく、複数の顔画像を主成分分析することにより得られた固有ベクトルによる射影変換ベクトル、Gabor Wavelet変換とグラフ・マッチングを組み合わせた照合方法によるGabor jet、あるいは多重変動分析法による局所特徴ベクトルの何れかを算出する。
なお、登録特徴量算出部１２は、後述する顔検出部２１による処理を登録顔画像に対して行って、登録顔画像上で登録者の顔が写っている領域を検出し、その領域から登録特徴量を抽出してもよい。
登録特徴量算出部１２は、得られた登録特徴量を登録部１３へ渡す。

登録部１３は、新規に登録される登録者について、登録者の識別情報、登録特徴量及び照合用閾値を記憶部５に書き込む。そこで登録部１３は、例えば、図示しないユーザインターフェースを介して登録者を一意に識別するための識別情報を取得する。あるいは、登録部１３は、新たな登録者を登録する度に、その登録者の識別情報を新たに生成してもよい。この場合、登録部１３は、例えば、登録者の識別情報の一例であるユーザ識別番号について、既に登録されている登録者のユーザ識別番号のうちの最も大きな値に、１以上の所定数を加算した値を新たに登録される登録者のユーザ識別番号としてもよい。

また登録部１３は、眼鏡有無判定部１１から受け取った、眼鏡を装着しているか否かの判定結果に応じて、登録者に対して照合時に用いられる照合用閾値を、眼鏡装着者用の閾値及び眼鏡未装着者用の閾値の何れかに決定する。
なお、眼鏡装着者に対する照合用閾値及び眼鏡未装着者に対する照合用閾値は、例えば、以下のように決定され、予め記憶部５に記憶される。

予め、複数の異なる人物について、それぞれ、眼鏡を装着した状態で顔を撮影した複数の顔画像を「眼鏡顔データベース」として、例えば、照合用閾値を決定するコンピュータの記憶部に記憶する。同様に、複数の異なる人物について、それぞれ、眼鏡を装着していない状態で顔を撮影した複数の顔画像を「裸眼顔データベース」として、そのコンピュータの記憶部に記憶する。なお、このコンピュータは、顔画像認証装置１そのものであってもよく、あるいは、顔画像認証装置１とは別個の装置であってもよい。

コンピュータは、眼鏡顔データベースに含まれる異なる人物の顔画像に写っている顔同士を照合し、後述する類似度算出部２３と同様の手法によってそれらの顔の類似度を算出する。コンピュータは、眼鏡顔データベースに含まれる顔画像の組み合わせを様々に変えて、それぞれ、類似度を算出することにより、類似度の分布、例えば、類似度のヒストグラムを求める。そしてコンピュータは、その類似度分布において、照合用閾値θgを超える割合が、許容される他人受入率、例えば、0.01%以下となるように、その照合用閾値θgを設定する。同様に、コンピュータは、裸眼顔データベースに含まれる顔画像の組み合わせを様々に変えて、それぞれ、類似度を算出することにより、類似度の分布を求める。そしてコンピュータは、その類似度分布において、照合用閾値θnを超える割合が、許容される他人受入率以下となるように、その照合用閾値θnを設定する。なお、眼鏡未装着者に対して許容される他人受入率は、眼鏡装着者に対して許容される他人受入率と同一とすることができる。

一般に、異なる二人の人物の顔画像からそれら二人の顔の類似度を算出すると、それらの人物が共に眼鏡を装着している場合の類似度が、それらの人物が共に眼鏡を装着していない場合の類似度よりも高くなる。これは、一般的に顔画像上での眼鏡に起因する特徴は比較的類似しているために、眼鏡を装着している異なる人物の顔画像からそれぞれ得られる特徴量が比較的同じような値となることによる。そこで、眼鏡を装着している登録者に対して認証処理における他人受入率を抑制するためには、眼鏡装着者に対する照合用閾値θgは、眼鏡未装着者に対する照合用閾値θnよりも、照合される二つの顔が一致していると判定され難い値に設定されることが好ましい。例えば、二つの顔画像に写った顔が一致している可能性が高いほど、値も大きくなるような指標が類似度として用いられる場合には、眼鏡装着者に対する照合用閾値θgは、眼鏡未装着者に対する照合用閾値θnよりも高い値に設定される。逆に、二つの顔画像に写った顔が一致している可能性が高いほど、値が小さくなるような指標が類似度として用いられる場合には、眼鏡装着者に対する照合用閾値θgは、眼鏡未装着者に対する照合用閾値θnよりも低い値に設定される。

なお、コンピュータは、上記のようなデータベースを用いる手法により照合用閾値θg及びθnの何れか一方を決定し、他方の閾値を、決定した閾値に所定の係数を乗じるか、所定のオフセットを加算または減算することにより求めてもよい。例えば、眼鏡装着者に対する照合用閾値θgがデータベースを用いる手法により決定されると、眼鏡未装着者に対する照合用閾値θnは、θgに係数α（ただし、類似度が高いほど照合される二つの顔が一致している可能性が高い場合には、α<1、例えば、α=0.9）を乗じた値に設定される。逆に、眼鏡未装着者に対する照合用閾値θnがデータベースを用いる手法により決定されると、眼鏡装着者に対する照合用閾値θgは、θnにオフセットβ（ただし、類似度が高いほど照合される二つの顔が一致している可能性が高い場合には、β>0、類似度を0〜1に正規化し、それに応じて照合閾値θgとθnを0〜1の値域にて定めたとして、例えば、β=0.1）を加算した値に設定される。

図２は、記憶部５に記憶される、登録者の登録情報の模式図である。図２に示されたテーブル２００において、一つの行が一人の登録者に対応する。そして左端の列の各欄２０１には、登録者の識別情報が示される。また左から２番目の列の各欄２０２には、登録顔画像から算出された登録特徴量が示される。そして右から２番目の列の各欄２０３には、登録者が眼鏡を装着しているか否かの判定結果を表すフラグが示される。そして右端の列の各欄２０４には、照合用閾値が示される。例えば、一番上の行には、その登録者についての識別情報が'1'であること、その登録者が眼鏡を装着しているか否かを表すフラグが眼鏡を装着していることを示す値'有'であること、及び照合用閾値が眼鏡装着者に対する閾値'θg'であることが示されている。また、上から３番目の行には、その登録者についての識別情報が'3'であること、その登録者が眼鏡を装着しているか否かを表すフラグが眼鏡を装着していないことを示す値'無'であること、及び照合用閾値が眼鏡未装着者に対する閾値'θn'であることが示されている。
なお、登録部１３は、登録者が眼鏡を装着しているか否かを表すフラグを記憶部５に記憶させなくてもよい。また、後述する類似度算出部２３が、登録顔画像と入力顔画像とのパターンマッチングにより類似度を算出する場合には、登録部１３は、登録特徴量の代わりに、登録顔画像自体を記憶部５に記憶させてもよい。この場合、登録特徴量算出部１２は省略されてもよい。
または、眼鏡装着者に対する照合用閾値θgと、眼鏡未装着者に対する照合用閾値θnとを、登録者ごとに異ならせた値としてもよい。さらには、同一の登録者について眼鏡装着時の登録情報と、眼鏡未装着時の登録情報が記憶手段５に記憶されていてもよい。この場合、前者の照合用閾値θgが後者の照合用閾値θnよりも、照合される二つの顔が一致していると判定され難い値に設定されることとする。

図３は、登録処理の動作を示すフローチャートである。
処理部６は、登録顔画像入力部２から登録者の登録顔画像を取得する（ステップＳ１０１）。そして処理部６は、登録顔画像を眼鏡有無判定部１１及び登録特徴量算出部１２へ渡す。眼鏡有無判定部１１は、登録顔画像に基づいて、その登録顔画像に写っている登録者が眼鏡を装着しているか否かを判定する（ステップＳ１０２）。眼鏡有無判定部１１は、その判定結果を登録部１３へ通知する。また登録特徴量算出部１２は、登録顔画像から、照合に用いられる登録特徴量を算出する（ステップＳ１０３）。登録特徴量算出部１２は、得られた登録特徴量を登録部１３へ渡す。

登録部１３は、眼鏡有無判定部１１から受け取った眼鏡を装着しているか否かの判定結果が、眼鏡を装着していることを示しているか否かを判定する（ステップＳ１０４）。登録者が眼鏡を装着しているとの判定結果が得られている場合、登録部１３は、その登録者に対する照合用閾値θを、眼鏡装着者に対する照合用閾値θgに設定する（ステップＳ１０５）。
一方、登録者が眼鏡を装着していないとの判定結果が得られている場合、登録部１３は、その登録者に対する照合用閾値θを、眼鏡未装着者に対する照合用閾値θnに設定する（ステップＳ１０６）。
ステップＳ１０５またはＳ１０６の後、登録部１３は、登録特徴量及び照合用閾値θをその登録者の識別情報と関連付けて記憶部５に記憶させる（ステップＳ１０７）。その後、処理部６は、登録処理を終了する。
なお、類似度算出部２３が登録顔画像と入力顔画像とのパターンマッチングにより類似度を算出する場合、ステップＳ１０３の処理は省略されてもよい。この場合、登録部１３は、ステップＳ１０７にて、登録特徴量の代わりに登録顔画像を登録者の識別情報及び照合用閾値と関連付けて記憶部５に記憶させる。

次に顔画像認証の実行時の処理について説明する。
顔検出部２１は、入力顔画像から、照合対象者の顔が写っている領域である入力顔領域を検出する。そのために、顔検出部２１は、例えば、入力顔画像からsobelフィルタなどのエッジ検出フィルタを用いてエッジ画素を検出する。そして顔検出部２１は、検出されたエッジ画素を一般化ハフ変換することにより人の顔の輪郭らしい楕円状の輪郭を検出し、その輪郭で囲まれた領域を入力顔領域とする。
あるいは、顔検出部２１は、入力顔画像を複数の小領域に分割し、各小領域のエッジの方向、輝度または色の統計量（例えば、それら方向、輝度、色などの平均値または分散など）を顔領域検出用の特徴量として求め、その特徴量が顔領域に相当する小領域を入力顔領域として検出してもよい。

さらにまた、顔検出部２１は、上述した文献"Rapid Object Detection using a Boosted Cascade of Simple Features"に開示されているように、カスケード型adaBoost識別器を、顔領域の検出用に構築しておき、その識別器に入力顔画像を入力することにより、入力顔領域を検出してもよい。
さらにまた、顔検出部２１は、撮像部３と照合対象人物の相対的な位置関係がほぼ一定に保たれる場合、入力顔画像上で顔が写る想定される予め設定された領域を入力顔領域としてもよい。
顔検出部２１が入力顔画像上で入力顔領域の検出に失敗した場合、処理部６は、インターフェース部４を介して撮像部３に対して入力対象者を再撮影するよう指示する。
顔検出部２１が入力顔画像上で入力顔領域の検出に成功した場合、顔検出部２１は、入力顔領域を表す情報、例えば、入力顔画像から入力顔領域に含まれる画素の値のみを取り出した画像を入力特徴量算出部２２へ通知する。

入力特徴量算出部２２は、入力顔領域から照合に用いる照合対象者の顔の特徴量である入力特徴量を算出する。入力特徴量は、登録特徴量算出部１２が登録顔画像から算出した登録特徴量と同種類の特徴量であり、入力特徴量算出部２２は、登録特徴量算出部１２が行う処理と同様の処理を入力顔領域に対して行うことにより、入力特徴量を算出できる。
入力特徴量算出部２２は、算出した入力特徴量を類似度算出部２３へ渡す。

類似度算出部２３は、入力特徴量と、各登録者の登録特徴量とを比較することにより、入力顔画像に写っている照合対象者の顔と各登録者の顔を照合し、登録者ごとに、登録者の顔と照合対象者の顔の類似度合いを表す類似度をそれぞれ算出する。類似度算出部２３は、例えば、入力特徴量と登録特徴量の各要素を、それぞれ0〜1の何れかの値となるように正規化し、その正規化要素値間の差dの絶対値和Σ|d|を求める。そして類似度算出部２３は、入力特徴量の要素の総数をNとしたときに、(N-Σ|d|)/Nを類似度として算出する。この場合、入力特徴量と登録特徴量の差が小さいほど、すなわち、照合対象者の顔と登録者の顔が類似しているほど、類似度の値は大きくなる。

なお、類似度算出部２３は、入力特徴量及び登録特徴量の種類に応じて適切な類似度の他の算出式を用いて類似度を算出してもよい。例えば、類似度算出部２３は、入力特徴量と登録特徴量の正規化要素値間の差の二乗和を、その差の絶対値和の代わりに算出してもよい。あるいは、類似度算出部２３は、入力特徴量と登録特徴量の正規化相互相関値を類似度として算出してもよい。また、類似度算出部２３は、類似度として、入力特徴量と登録特徴量の差が小さいほど、すなわち、照合対象者の顔と登録者の顔が類似しているほど、小さくなる値を求めてもよい。例えば、類似度算出部２３は、上記の入力特徴量と登録特徴量の正規化要素値間の差の絶対値和または二乗和を類似度として算出してもよい。

さらに類似度算出部２３は、入力顔画像と登録顔画像とのパターンマッチングにより類似度を算出してもよい。この場合、類似度算出部２３は、入力顔画像に対する登録顔画像の相対的な位置を変えつつ、入力顔画像と登録顔画像間の正規化相互相関値を算出し、その正規化相互相関値の最大値を、その登録顔画像に対応する登録者についての類似度としてもよい。この場合、類似度算出部２３は類似度算出のために入力特徴量及び登録特徴量を使用しないので、入力特徴量算出部２２は省略されてもよい。
なお、以下では、類似度が高いほど、比較対象となる二つの顔の類似度合いも高いとして説明する。
類似度算出部２３は、各登録者に対する類似度のうちの最大値を求め、その最大値及び対応する登録者の識別情報を判定部２４へ通知する。

判定部２４は、得られた類似度の最大値に対応する登録者の識別情報と関連付けられた照合用閾値を記憶部５から読み込む。従って、その登録者が登録時に眼鏡を装着していると判定されている場合には、眼鏡装着者に対する照合用閾値θgが読み込まれ、一方、その登録者が登録時に眼鏡を装着していないと判定されている場合には、眼鏡未装着者に対する照合用閾値θnが読み込まれる。なお、登録者ごとに、眼鏡を装置しているか否かを表すフラグが記憶部５に記憶され、閾値θg，θnが登録者と無関係に記憶されている場合、判定部２４は、そのフラグに従って、θg，θnから比較に用いられる閾値を選択する。そして判定部２４は、類似度の最大値を読み込んだ照合用閾値と比較する。そして類似度の最大値が照合用閾値よりも高い場合、判定部２４は、照合対象者を、その最大値に対応する登録者として認証する。一方、類似度の最大値が照合用閾値以下である場合、判定部２４は、照合対象者を認証しない。
したがって、登録者が眼鏡を装着していると判定されている場合の方が、登録者が眼鏡を装着していないと判定されている場合よりも照合対象者は認証され難いことになる。

判定部２４は、判定結果を処理部６に返す。判定部２４により照合対象者が認証されたとの判定結果が得られた場合、処理部６は、例えば、照合対象者が顔画像認証装置１が実装された装置を使用することを許可する。あるいは処理部６は、認証に成功した旨及び認証された照合対象者に対応する登録者の識別情報を、例えば、図示しない通信インターフェースを介して顔画像認証装置１に接続される他の機器へ送信してもよい。
また、判定部２４により照合対象者の認証に失敗したとの判定結果が得られた場合、処理部６は、例えば、図示しない表示装置あるいはスピーカを介して、認証に失敗した旨を照合対象者に通知する。

なお、比較対照となる二つの顔の類似度合いが高いほど、類似度の値が低くなる場合には、類似度産出部２３は、類似度の最大値の代わりに類似度の最小値を求め、また判定部２４は類似度の最小値が照合用閾値未満である場合に照合対象者を登録者として認証すればよい。

図４は、顔画像認証処理の動作を示すフローチャートである。なお、この顔画像認証処理は、処理部６によって制御される。
先ず、処理部６は、撮像部３からインターフェース部４を介して、照合対象者の顔が写っている入力顔画像を取得する（ステップＳ２０１）。そして処理部６は、取得した入力顔画像を顔検出部２１へ渡す。
顔検出部２１は、入力顔画像上で照合対象者の顔が写っている入力顔領域を検出する（ステップＳ２０２）。そして顔検出部２１は、入力顔領域の検出に成功したか否か判定する（ステップＳ２０３）。顔検出部２１が入力顔領域の検出に失敗した場合、処理部６は、インターフェース部４を介して撮像部３へ照合対象者を再撮影するよう指示する。そして処理部６は、再度ステップＳ２０１以降の処理を実行する。
一方、顔検出部２１が入力顔領域の検出に成功した場合、顔検出部２１は、入力顔領域を表す情報を入力特徴量算出部２２へ渡す。入力特徴量算出部２２は、入力顔領域内で照合対象者の顔の特徴を表す入力特徴量を算出する（ステップＳ２０４）。入力特徴量算出部２２は、入力特徴量を類似度算出部２３へ渡す。

類似度算出部２３は、入力特徴量と各登録特徴量の類似度をそれぞれ算出する（ステップＳ２０５）。そして類似度算出部２３は、類似度の最大値及びその最大値に対応する登録者の識別情報を判定部２４へ通知する。
判定部２４は、類似度の最大値が、その最大値に対応する登録者の識別情報と関連付けられた照合用閾値よりも高いか否か判定する（ステップＳ２０６）。上記のように、類似度の最大値に対応する登録者が登録時に眼鏡を装着していると判定されている場合の照合用閾値θgは、その登録者が登録時に眼鏡を装着していないと判定されている場合の照合用閾値θnよりも高い値に設定される。

類似度の最大値が照合用閾値よりも高い場合、判定部２４は、照合対象者を類似度の最大値に対応する登録者として認証する（ステップＳ２０７）。一方、類似度の最大値が照合用閾値以下である場合、判定部２４は、照合対象者を認証しない（ステップＳ２０８）。ステップＳ２０７またはＳ２０８の後、判定部２４は、その判定結果を処理部６へ返し、その後、処理部６は、顔画像認証処理を終了する。
なお、類似度算出部２３が登録顔画像と入力顔画像とのパターンマッチングにより類似度を算出する場合、ステップＳ２０４の処理は省略されてもよい。

以上説明してきたように、この顔画像認証装置は、眼鏡を掛けている人物についての照合閾値を、眼鏡を掛けていない人物についての照合閾値よりも一致と判定され難い値に設定することで、眼鏡を掛けている人物の他人受入率を低下させ、その結果として登録者が眼鏡を装着しているか否かにかかわらず、照合対象者を認証するか否かを正確に判定することができる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、顔画像認証の実行時において、図示しないユーザインターフェースを介して入力された登録者の識別情報により登録者が特定される場合、類似度算出部は、入力特徴量を、その登録者の登録特徴量とのみ比較して類似度を算出してもよい。そして判定部は、その類似度がその登録者の識別情報と関連付けられた照合用閾値よりも高い場合、照合対象者を、その登録者の識別情報に対応する登録者として認証する。

また、他の変形例によれば、眼鏡有無判定部は、顔画像認証処理の実行時において、入力顔画像あるいは入力顔領域に対しても照合対象者が眼鏡を装着しているか否かを判定してもよい。この場合、判定部は、照合対象者と類似度の最大値に対応する登録者の両方が眼鏡を装着していると判定されている場合に限り、眼鏡装着者に対する照合用閾値を用いるようにしてもよい。これにより、眼鏡を装着した状態で登録された人物が、顔認証処理の実行時において眼鏡を装着していない状態で撮影された場合には、認証され易い方の照合用閾値が用いられることになるので、顔画像認証装置は、このような場合に登録者本人が照合対象者である場合に認証に失敗する（いわゆる、本人棄却）可能性を軽減できる。
この場合、記憶部は、登録者ごとに、その識別情報と関連付けて眼鏡を装着しているか否かを表すフラグを記憶し、眼鏡装着者に対する照合用閾値及び眼鏡未装着者に対する照合用閾値は、登録者の識別情報とは無関係に記憶しておけばよい。

さらに他の変形例によれば、眼鏡装着者に対する照合用閾値を、眼鏡の種類に応じて複数の値準備してもよい。例えば、縁無し（リムレス）眼鏡と、金属製の細いフレームを持つ眼鏡と、金属製または樹脂製の太いフレームを持つ眼鏡とで、それぞれ、異なる照合用閾値が設定されてもよい。この場合、眼鏡の種類ごとの照合用閾値を決定するために、例えば、上記の眼鏡顔データベースの代わりに、眼鏡の種類ごとに顔画像のデータベースが構築される。その際、入力特徴量及び登録特徴量の値に対する影響が比較的似た傾向を持つ眼鏡を装着した顔が写っている画像を、同一のデータベースに含めることが好ましい。この観点から、例えば、眼鏡レンズの形状に応じてデータベースを区別するよりも、フレームの太さまたは色に応じてデータベースを区別する方が好ましい。そして各データベースについて、顔画像同士の類似度に対する他人受入率が所定の値以下となるように、眼鏡の種類ごとの照合用閾値が決定される。
このように、眼鏡の種類ごとに異なる照合用閾値を用意することにより、顔画像認証装置は、より認証精度を向上できる。

このように、眼鏡の種類ごとに異なる照合用閾値が用意される場合、眼鏡有無判定部は、眼鏡を装着しているか否かの判定だけでなく、眼鏡の種類を判別するようにしてもよい。そのために、例えば、上記のカスケード型adaBoost識別器を、眼鏡の種類を判別できるように予め学習させておき、眼鏡有無判定部は、その識別器に登録顔画像を入力することによって眼鏡を装着しているか否か、及び眼鏡の種類を判別する。
またこの場合も、眼鏡有無判定部は、顔画像認証処理の実行時において入力顔画像に基づいて入力顔画像に写っている照合対象者が装着している眼鏡の種類を判別してもよい。そして、照合対象者の眼鏡の種類と登録者の眼鏡の種類が異なる場合には、判定部は、それらの眼鏡の種類と関連付けられた二つの照合用閾値のうち、認証され易い方の照合用閾値を用いてもよい。

さらに、登録時の処理を行う装置と、顔画像認証処理を行う装置とは異なる装置であってもよい。この場合、登録時の処理を行う装置が有する処理部は、眼鏡有無判定部、登録特徴量算出部及び登録部に関する処理を実行する。そしてその処理結果により得られる、各登録者の識別情報、登録特徴量、照合用閾値などのデータは、例えば、通信ネットワークあるいは可搬記録媒体を介して、顔画像認証処理を行う装置が有する記憶部に記憶される。そして顔画像認証処理を行う装置が有する処理部は、顔検出部、入力特徴量算出部、類似度算出部及び判定部に関する処理を実行する。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 顔画像認証装置
２ 登録顔画像入力部
３ 撮像部
４ インターフェース部
５ 記憶部
６ 処理部
１１ 眼鏡有無判定部
１２ 登録特徴量算出部
１３ 登録部
２１ 顔検出部
２２ 入力特徴量算出部
２３ 類似度算出部
２４ 判定部

Claims (3)

1. 対象者の顔を撮影した入力顔画像を生成する撮像部と、
   眼鏡装着時用の第１の照合用閾値と、眼鏡未装着時用の第２の照合用閾値と、登録者が眼鏡装着者であるか否かを示すデータとを記憶する記憶部と、
   前記入力顔画像に写った対象者の顔と登録顔画像に写った前記登録者の顔の類似度を算出する類似度算出部と、
   前記類似度と前記第１の照合用閾値または前記第２の照合用閾値とを比較し、該類似度が前記第１の照合用閾値または前記第２の照合用閾値のうちの比較に用いられる照合用閾値よりも高い場合に前記対象者を前記登録者として認証する判定部とを有し、
   前記判定部は、前記データが前記登録顔画像に写った前記登録者が眼鏡を装着していることを示していれば前記第１の照合用閾値を前記比較に用いられる照合用閾値とし、一方、前記データが前記登録顔画像に写った前記登録者が眼鏡を装着していないことを示していれば、前記第１の照合用閾値よりも低い前記第２の照合用閾値を前記比較に用いられる照合用閾値とする、
   ことを特徴とする顔画像認証装置。
2. 前記入力顔画像に写っている前記対象者が眼鏡を装着しているか否かを判定する眼鏡有無判定部をさらに有し、
   前記判定部は、前記データが前記登録者が眼鏡を装着していることを示しており、かつ、前記眼鏡有無判定部により前記対象者が眼鏡を装着していると判定された場合に限り、前記第１の照合用閾値を前記比較に用いられる照合用閾値とする、請求項１に記載の顔画像認証装置。
3. 前記第１の照合用閾値は、前記登録顔画像上で前記登録者が装着している眼鏡の種類に応じて異なる値を持つ、請求項１または２に記載の顔画像認証装置。

Images