JP6248178B2 - 顔認証システム - Google Patents

Description

本発明は、顔画像撮影・登録し、それを用いてユーザを認証する技術に関する。

公共施設内におけるテロ対策・犯罪対策が年々、重要な課題となっている。従って、生体情報（指紋や静脈、顔など）を使うバイオメトリクス認証が注目され、中でも顔認証への期待が高まっている。顔認証技術には、離れた場所から顔画像を撮影できるため、対象者が認証動作を必要としない利点など、他のバイオメトリクス認証技術にはない優位性がある。このため、国境管理や監視警備用途を中心として広範な利用が期待されている。

顔画像を用いた個人認証システムは、あらかじめ個人ユーザの顔画像を入力して辞書情報として登録する。例えば、ユーザが施設を使用しようとする時に、ユーザの顔画像を撮影して登録されている顔画像と照合することにより当該人物が本人であるかどうかを判定する。

このような従来の認証システムでは、顔登録と顔認証を行う際に、ユーザが認証システムのカメラの前で立ち止まり、ユーザがカメラのレンズに向かって顔を向けた状態で、顔画像を撮影する必要がある。ユーザが気づかないうちに顔画像を撮影するとともに、姿勢や表情の変動を減らすアンコンシャス個人認証は困難であった。

上記の問題に対し、たとえば、特許文献１は、顔の３次元計測データをあらかじめ用意した３次元モデルに撮影した顔画像をフィッティングし、姿勢や表情の変動を補正する技術を開示している。

特開２００７−１２２４５４号公報

しかし、特許文献１に記載されている認証システムは、３次元顔認証を行うために、複数台のカメラを同時に用いてユーザの顔画像を撮影し、得られた複数枚の顔画像を用いて３次元再構成処理を行い、顔の３次元計測データを生成するする必要がある。そして、上記の３次元再構成処理を行う際に、入力画像から顔の特徴的な部位に設定された多数の特徴点の２次元座標を高精度に特定する必要がある。ユーザの姿勢や表情の変動の中で高精度な特徴点検出は非常に困難である。

従って、姿勢や表情の変動に頑健な顔認証技術が望まれる。

本発明の一態様の顔認証システムは、カメラで撮影された第１の撮影画像から第１の顔画像を検出する第１顔領域検出部と、テンプレート顔画像を用いて非線形に前記第１の顔画像を変形する第１変形部と、変形された前記第１の顔画像を登録顔画像として記録する顔画像記録部と、カメラで撮影された第２の撮影画像から第２の顔画像を検出する第２顔領域検出部と、前記テンプレート顔画像を用いて、非線形に前記第２の顔画像を変形する第２変形部と、変形された前記第２の顔画像と、前記登録顔画像とを照合する顔画像照合部と、を有する。

本発明の一態様によれば、姿勢や表情の変動に頑健な顔認証が実現できる。

実施形態１に係る顔認証システムの論理的な構成を示すブロック図である。 実施形態１に係る顔登録装置及び顔認証装置のハードウェア構成を示すブロック図である。 実施形態１に係る顔登録処理のフローチャートである。 実施形態１に係る顔認証処理のフローチャートである。 顔画像変形部の論理的な構成を示すブロック図である。 顔変形処理を説明するフローチャートである。 標準テンプレート顔画像およびサンプリング点数の重み付けを示すサンプリングマスクの説明図である。 実施形態２に係る顔照合処理のフローチャートである。 実施形態２に係る顔変形処理のフローチャートである。 実施形態２に係る顔照合部の論理的な構成を示すブロック図である。 実施形態１および実施形態２に係わる登録顔画像変形における画像の例を示す説明図である。 実施形態１および実施形態２に係わる認証対象顔画像変形における画像の例を示す説明図である。 実施形態２に係わる顔照合処理で実行される顔画像変形における画像の例を示す説明図である。 実施形態３に係る入退管理及びサービス提供システムの論理的な構成を示すブロック図である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。

（実施形態１）
＜概要＞
本実施形態の顔登録装置および顔認証装置は、登録用顔画像と認証用顔画像のそれぞれに対し、顔パーツの配置、各顔パーツの大きさ、各顔パーツの形状、輪郭の大きさ、輪郭の形状などを非線形に変形する。顔登録装置および顔認証装置は、変形を行う際に、参照顔画像として、あらかじめ作成した共通の標準テンプレート顔画像を用いる。

テンプレート画像を参照して登録用顔画像及び認証用顔画像を非線形に変形することで、顔の向きや位置が異なっている画像からも、認証に適した顔画像を生成でき、認証精度が向上する。これにより、ユーザの顔画像の撮影おけるユーザの顔向きや表情の変動などによる影響を減らし、ユーザが顔登録および顔認証の際に特に像撮影を意識しなくても、高精度の顔認証を実現することが可能となる。

＜構成及び動作＞
図１Ａは、本実施形態の顔認証システムの論理的な構成を示すブロック図である。本実施形態の顔認証システム１００は、カメラ１２１、１２２、顔登録装置１、および顔認証装置２を備える。顔登録装置１は、顔領域検出部１２、顔画像変形部１５、および顔画像記録部１８を備える。顔認証装置２は、顔領域検出部１３、顔画像変形部１４、および顔画像照合部１９を備える。

顔認証システム１００は、さらに、顔登録装置１に入力された登録用画像１０、顔認証装置２が使用する認証用画像１１、あらかじめ作成した標準テンプレート顔画像２４、および登録ユーザデータベース２０を含む。以下に説明する例において、標準テンプレート顔画像及び登録顔画像は二次元画像である。

図１Ｂは、顔認証システム１００のハードウェア構成例を示す。登録ユーザデータベース２０及び標準テンプレート顔画像２４は、顔画像サーバ２４１の揮発性記憶デバイス又は不揮発性記憶デバイスに格納されている。カメラ１２１、１２２、顔登録装置１、顔認証装置２、および顔画像サーバ２４１は、ネットワーク２７を介して接続されている。

図１Ｂは、顔登録装置１のハードウェア構成例を示す。顔認証装置２及び顔画像サーバ２４１も、同様の構成を有してよい。顔登録装置１は、入力デバイス５１０と、出力デバイス５２０と、プロセッサ５３０と、ディスクデバイス５４０と、インタフェース（Ｉ／Ｆ）５５０と、メモリ５６０とを有する。

入力デバイス５１０は、管理者が顔登録装置１に情報を入力するためのデバイスである。入力デバイス５１０は、例えば、キーボード、ポインティングデバイス、スイッチ、タッチパネル、マイクロホン等である。出力デバイス５２０は、顔登録装置１が管理者に情報を出力するためのデバイスである。出力デバイス５２０は、例えば、モニタディスプレイ、スピーカ、プリンタ等である。

プロセッサ５３０は、メモリ５６０に記憶されたプログラムや演算パラメータ等に従って、顔登録装置１の動作を制御して、図１Ａに示す各種機能を実現する。具体的には、顔領域検出プログラム、顔画像変形プログラム、および顔画像記録プログラムに従って、各機能部として動作する。

ディスクデバイス５４０は、物理記憶デバイスである。ディスクデバイス５４０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、必要とするプログラムや演算パラメータを格納する。

メモリ５６０は、図１Ａに示す各種機能を実現するためのプログラムを格納している。メモリ５６０は、図１Ａに示す各種機能を実現するアプリケーションプログラムの他、ＯＳを含む本システムにおける動作に必要なプログラムを格納している。Ｉ／Ｆ５５０は、ネットワーク２７を介して、他の装置と通信するための通信インタフェースである。

顔認証装置２において、顔領域検出部１３、顔画像変形部１４、および顔画像照合部１９は、プログラムに従って動作するプロセッサにより実装できる。顔登録装置１および顔認証装置２の機能部の少なくとも一部は、集積回路で設計されたハードウェアで構成してもよい。

図１Ｂにおいて、顔登録装置１と顔認証装置２とは、それぞれ異なる計算機に実装されているが、これらは同一の計算機に含まれていてもよい。標準テンプレート顔画像２４および登録ユーザデータベース２０は、いずれの計算機に含まれていてもよい。例えば、登録ユーザデータベース２０は、顔登録装置１に格納され、標準テンプレート顔画像２４が顔認証装置２に格納されていてもよい。

次に、図１Ａおよび図１Ｂならびに図２および図３のフローチャートに基づいて、本実施形態の動作を説明する。まず、図２に示す顔登録装置１の動作を説明する。顔登録装置１は、カメラ１２１で撮影された登録用画像１０を、ネットワーク２７を介して受信し、登録用画像１０は、顔領域検出部１２に入力される（Ｓ１０１）。顔領域検出部１２は、登録用画像１０から、登録対象であるユーザの、顔領域を検出して、当該顔領域の顔画像２２を生成する（Ｓ１０２）。顔領域検出部１２は、生成した顔画像２２を、顔画像変形部１５に供給する。

顔画像変形部１５は、あらかじめ作成されている標準テンプレート顔画像２４を、ネットワーク２７を介して、顔画像サーバ２４１から取得する（Ｓ１０３）。標準テンプレート顔画像２４は、例えば、複数人の顔画像を合成して生成された平均顔画像である。平均顔画像を標準テンプレート顔画像２４として使用することで、異なるユーザのそれぞれに対して、顔認証により適切な登録顔画像を生成することができる。標準テンプレート顔画像２４は、特定の人の顔画像でもよい。

顔画像変形部１５は、標準テンプレート顔画像２４を用いて、顔画像２２を非線形変形する。標準テンプレート顔画像２４は参照画像であり、顔画像２２は、浮動画像である。顔画像変形部１５は、顔画像２２に対して、非線形変形を伴う非剛体変形を行う。顔画像変形部１５は、顔画像２２の顔パーツの配置、各顔パーツの大きさ、各顔パーツの形状、輪郭の形状などを非線形に変形し、変形済顔画像１６を生成する（Ｓ１０４）。顔画像変形部１５は、生成した変形済顔画像１６を、顔画像記録部１８に供給する。

ここで、非剛体変形は、剛体変形以外の変形である。剛体変形は、平行移動と回転のみを行う。非線形変形は、線形変形以外の変形である。線形変形は、平行移動及び回転の他、拡大縮小及びせん断を含む。

カメラ１２１は、複数の登録用画像１０を撮影し、顔画像変形部１５に供給する。顔画像変形部１５は、複数の登録用画像１０それぞれから、変形済顔画像１６を生成し、複数の変形済顔画像１６を顔画像記録部１８に供給する。

顔画像記録部１８は、所定の時間内に入力される複数の変形済顔画像１６を受け、これらの変形済顔画像１６と標準テンプレート顔画像２４との画像類似度を計算する。顔画像記録部１８は、標準テンプレート顔画像２４との類似度の高い順で所定の枚数の変形済顔画像を選択する（Ｓ１０５）。

顔画像記録部１８は、ユーザの登録顔画像として登録ユーザデータベース２０に、選択した変形済顔画像を記録する（Ｓ１０６）。さらに、顔画像記録部１８は、登録顔画像それぞれから画像特徴量を抽出して、登録ユーザデータベース２０に登録する（Ｓ１０７）。選択された変形済顔画像及びそれらの画像特徴量は、ネットワーク２７を介して、顔画像サーバ２４１に送信される。

次に、図３に示す顔認証装置２の動作を説明する。顔認証装置２は、カメラ１２２で撮影された認証用画像１１を、ネットワーク２７を介して受信する。認証用画像１１は、顔領域検出部１３に入力される（Ｓ２０１）。顔領域検出部１３は、認証用画像１１から、認証対象であるユーザの、顔領域を検出して顔画像２３を生成し（Ｓ２０２）、顔画像変形部１４に供給する。

顔画像変形部１４は、あらかじめ作成されている標準テンプレート顔画像２４を、ネットワーク２７を介して、顔画像サーバ２４１から取得する（Ｓ２０３）。本例において、標準テンプレート顔画像２４は、顔登録装置１と顔認証装置２において共通であるが、異なっていてもよい。

顔画像変形部１４は、標準テンプレート顔画像２４を用いて、顔画像２３を非線形変形する。標準テンプレート顔画像２４は参照画像であり、顔画像２３は浮動画像である。顔画像変形部１４は、顔画像２３に対して、非線形変形を伴う非剛体変形を行う。変形の方法（アルゴリズム）は、顔登録装置１と同じでよいし、異なっていてもよい。

顔画像変形部１４は、顔画像２３の各顔パーツの配置、各顔パーツの大きさ、各顔パーツの形状、輪郭の形状などを非線形に変形し、変形済顔画像１７を生成する（Ｓ２０４）。顔画像変形部１４は、生成した変形済顔画像１７を、顔画像照合部１９に供給する。

顔画像照合部１９は、登録ユーザデータベース２０から複数の登録顔画像を取得し、変形済顔画像１７と登録顔画像それぞれとの間の顔画像照合処理を行う（Ｓ２０６）。顔画像照合部１９は、照合による認証結果を出力デバイス又は他のプログラムに出力する（Ｓ２０７）。具体定期には、顔画像照合部１９は、変形済顔画像１７がいずれかの登録顔画像とマッチするか否か判定する。例えば、変形済顔画像１７と登録顔画像の類似度が規定に達している場合、それらはマッチすると判定される。顔画像照合部１９は、変形済顔画像１７が登録顔画像とマッチする場合、当該ユーザが登録ユーザであると認証する。

以下において、図２及び図３に示す処理におけるいくつかのステップについて、詳細に説明する。

＜顔領域検出部＞
顔領域検出部１２による顔領域検出Ｓ１０２を説明する。顔領域検出部１３は、顔領域検出部１２と同様の方法により、認証用画像１１から顔画像２３を生成し得る（Ｓ２０２）。

顔領域検出部１２は、登録用画像１０を受け、登録用画像１０における顔領域に相当する画像領域を特定し、当該画像領域を登録用画像１０から切り出して顔画像２２を生成する。

顔領域検出手法については、公知の手法を用いることができる。公知の手法として、例えば、Ｈａａｒ−ｌｉｋｅ検出器を用いることができる。Ｖｉｏｌａ−Ｊｏｎｅｓ法は、顔領域検出手法の一例である。顔領域検出部１２は、登録用画像１０から検出された顔領域を所定の画像サイズに変換し、顔画像２２として顔画像変形部１５に供給する。

＜顔画像変形部＞
顔画像変形部１５による顔画像変形処理Ｓ１０４を説明する。顔画像変形部１４は、顔画像変形部１５と同様の方法により、顔画像２３から変形済顔画像１７を生成し得る（Ｓ２０４）。顔画像変形部１４は、顔画像変形部１５と異なるアルゴリズムを使用してもよい。

顔画像変形部１５は、生成された顔画像２２と、標準テンプレート顔画像２４とを取得する。顔画像変形部１５は、標準テンプレート顔画像２４を参照画像として、顔画像２２における顔パーツの配置、各顔パーツの大きさ、各顔パーツの形状、輪郭の形状などを非線形に変形し、変形済顔画像１６を生成する。

顔画像変形部１５は、公知の顔画像変形手法を用いることができる。公知の手法として、例えば、Ｆｒｅｅ−Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）法に基づいた非剛体変形法を用いることができる。または、ＴＰＳ法（Ｔｈｉｎ−Ｐｌａｔｅ Ｓｐｌｉｎｅｓ）を使用してもよい。ＴＰＳ法は、散在した点データを通る平面の連続的歪みを計算し、かつ平面の曲げエネルギーを最小化することで、散在した点データを通る表面を補間する。

以下、非線形変形を伴う非剛体変形法の例として、ＦＦＤ非剛体変形法を説明する。顔画像変形部１５は、ＦＦＤ非剛体変形法において、顔画像上に制御点を配置する。ＦＦＤ非剛体変形法は、制御点を移動することで顔画像を変形する。これにより、適切かつ効率的に変形演算を行うことができる。

顔画像変形部１５は、顔画像２２と標準テンプレート顔画像２４との類似度を増加させるように、顔画像２２を変形する。例えば、顔画像変形部１５は、変形された顔画像２２と標準テンプレート顔画像２４との間で、画像類似度を求め、求めた画像類似度に基づいた最適化計算を行う。最適化計算により、再変形のための制御点の移動量（変形量）が求められる。制御点の移動量は、移動方向と移動距離とを示すベクトルで表すことができる。

顔画像変形部１５は、制御点間の画素の移動量を、その画素の周囲に配置されている制御点の移動量の補間によって計算する。顔画像変形部１５は、得られた各画素の移動量を用いて顔画像２２の座標変換を行い、顔画像２２を変形する。全ての画素を制御点として選択してもよい。

顔画像変形部１５は、顔画像２２の変形を繰り返すことで、最終的な変形済顔画像１６を得る。最適化計算については後述する。このように、顔画像変形部１５は、顔画像２２を局所的に変形させて、顔画像２２と標準テンプレート顔画像２４とを位置合わせする。また、制御点の間隔、すなわち、制御点数を変化させることによって、多重解像度的な変形を実施することができる。

図４はＦＦＤ法を用いる顔画像変形部１５の論理的な構成を示すブロックである。顔画像変形部１５は、画像サンプリング部４０１、制御点設定部４０２、座標幾何変換部４０４、画像類似度算出部４０５、画像類似度最大化部４０６、顔画像変形部４０７を備える。

次に、図４のブロック図、図５のフローチャート、図６の説明図に基づいて顔画像変形部１５の動作を説明する。画像サンプリング部４０１は、標準テンプレート顔画像２４から画像サンプリング点のサンプリングデータを抽出して、座標幾何変換部４０４に出力する（Ｓ３０１およびＳ３０２）。サンプリングデータは、非剛体変形処理において、顔画像２２と標準テンプレート顔画像２４との間の画像類似度の計算に用いられる。

画像サンプリング点は、非剛体変形処理の対象となる画像領域のすべての画素であってもよい。しかしながら、非剛体変形処理の速度を向上させるために、画像サンプリング部４０１は、画像上に格子を置いて、格子点における画素だけをサンプリング点として選択してもよい。

または、画像サンプリング部４０１は、サンプリング対象領域において、ランダムに所定数の座標を生成して、得られた座標の画素を画像サンプリング点として選択してもよい。生成された座標における輝度値が、サンプリングデータである。所定数のサンプル点の座標を生成する場合、画像サンプリング部４０１は、部分領域ごとに、サンプリング点の数に対して、重み付けしてし、各部分領域内においてランダムにサンプル点の座標を生成してもよい。これにより、顔画像の非剛体変形処理の精度と頑健性を向上する。

部分領域の重み付けの一例を説明する。図６は、標準テンプレート顔画像２４の一例と、標準テンプレートにおけるサンプリング点数の重み付けを表すサンプリングマスク６０２の一例とを示している。

分割された各ブロック（部分領域）の明るさは、各々のブロックにおけるサンプリング点の数の重みを示している。例えば、黒色のブロックの重みは０であり、斜線ハッチのブロックの重みは１であり、白色のブロックの重みは２である。例えば、特徴的な部位（例えば、目、眉、鼻、口など）の重みの値が大きく、それら以外の部分の重みが小さい。

画像サンプリング部４０１は、重みの値が大きいブロックから多くのサンプリング点を選択する。つまり、重みの値が大きいブロックのサンプリング数は、重みの値が小さいブロックのサンプリング数より大きい。同一重みのブロックのサンプリング数は、同一でもよいし、異なっていてもよい。各ブロック内では、ランダムな座標の画素を選択してよい。

次に、制御点設定部４０２は、入力された顔画像２２上に制御点を配置し（Ｓ３０３およびＳ３０４）、制御点移動量情報４０３を生成し、座標幾何変換部４０４に出力する。制御点移動量情報４０３は、各制御点の初期位置からの移動量を示す。

制御点の初期位置は、格子状に配置されていてもよい。非剛体変形の精度と速度を向上させるために、制御点設定部４０２は、標準テンプレート顔画像２４と顔画像２２とにおいて、対応する特徴点ペアを抽出し、得られた特徴点ペアの位置情報を用いて各制御点の初期位置を決定してもよい。特徴点は顔の特徴的な部位（例えば、目、眉、鼻、口など）の位置から検出してもよい。たとえば、制御点設定部４０２は、標準テンプレート顔画像２４の所定の特徴点（画素）に対応する、顔画像２２の特徴点を特定し、当該特徴点（画素）を制御点と定義する。

座標幾何変換部４０４は、標準テンプレート顔画像２４のサンプリング点の座標と、顔画像２２とを取得する。さらに、座標幾何変換部４０４は、制御点移動量情報４０３を取得する。座標幾何変換部４０４は、制御点移動量情報４０３を用いて、標準テンプレート顔画像２４のサンプリング点の座標に対して、座標変換を実施する（Ｓ３０５）。

ステップＳ３０５の座標変換は、標準テンプレート顔画像２４の各サンプリング点の座標に対応する、変形前の顔画像２２上点の座標、を計算する。つまり、顔画像２２の変形によりサンプリング点の座標に移動する、変形前の顔画像２２の座標、を計算する。変形前の顔画像２２のこれら座標が、顔画像２２における対応サンプリング点の座標である。

座標幾何変換部４０４は、例えば、あるサンプリング点の座標に対して、その周囲の制御点の座標に基づいて、公知のＢ−ｓｐｌｉｎｅ関数を用いて座標の補間を行って、変形前の顔画像２２における対応サンプリング点の座標を計算する。

たとえば、座標幾何変換部４０４は、補間演算により、変形前の顔画像２２における、サンプリング点の移動先の座標を計算する。座標幾何変換部４０４は、サンプリング点の移動前の座標と移動先の座標とで規定されるベクトルの逆ベクトルを計算する。サンプリング点の移動前の座標に逆ベクトルを加え、変形前の顔画像２２の対応サンプリング点の座標を計算する。

対応サンプリング点の座標は、画素の座標とは必ずしも一致しない。そこで、座標幾何変換部４０４は、顔画像２２の各対応サンプリング点（標準テンプレート顔画像２４の各サンプリング点に対応した点）に対し、例えば、線形補間演算により、各対応サンプリング点の輝度値（各対応サンプリング点のデータ）を算出する（Ｓ３０６）。

以上のステップにより、制御点の移動に伴って移動する顔画像２２の対応サンプリング点の座標（対応サンプリング点）と、その座標（対応サンプリング点）における輝度値が求まる。すなわち、制御点の移動に伴う浮動画像２２の変形が、この座標幾何変換部４０４において行われる。

画像類似度算出部４０５は、標準テンプレート顔画像２４のサンプリング点におけるデータ（サンプリングデータ）と、幾何変換後の顔画像２２の対応サンプリング点におけるデータ（ステップＳ３０６において生成されたデータ）を取得する。画像類似度算出部４０５は、これらのサンプリング点における輝度値に対して、所定の評価関数を適用して、標準テンプレート顔画像２４と変形後の顔画像２２との間の画像類似度を演算する（Ｓ３０７）。所定の評価関数による画像類似度としては、公知の残差二乗和、正規化相互関数、相互情報量などを使用することができる。相互情報量は、一方の画像で他方画像をどの程度表現できるかを示す指標である。

画像類似度最大化部４０６は、画像類似度算出部４０５が算出した、標準テンプレート顔画像２４と顔画像２２との間の画像類似度を取得する。画像類似度最大化部４０６は、標準テンプレート顔画像２４と顔画像２２との間の画像類似度が最大（あるいは極大）となる各制御点の移動量を求めるため、収束計算を実施する（Ｓ３０８）。

ステップＳ３０８において画像類似度が収束していない場合、より高い画像類似度を得るために、画像類似度最大化部４０６は、制御点移動量情報４０３を更新する（Ｓ３０９）。そして、更新された制御点移動量情報４０３を用い、ステップＳ３０５〜Ｓ３０８を改めて実施する。

制御点移動量情報４０３の更新のため、画像類似度最大化部４０６は、画像類似度を多変数関数により算出する。各変数は各制御点の移動量である。画像類似度最大化部４０６は、反復法によって、その関数を最大化するような各制御点の最適な移動量を求める。反復法として、例えばＬ−ＢＦＧＳ法（ｌｉｍｉｔｅｄ ｍｅｍｏｒｙ Ｂｒｏｙｄｅｎ−Ｆｌｅｔｃｈｅｒ−Ｇｏｌｄｆａｒｂ−Ｓｈａｎｎｏ）を用いてもよい。画像類似度最大化部４０６は、制御点の移動量の複数パターンを予め保持し、それらに従って、制御点移動量情報４０３を順次更新してもよい。

一方、ステップＳ３０８において画像類似度が収束している場合は、画像類似度最大化部４０６は、その制御点移動量情報４０３を顔画像変形部４０７に出力する。

顔画像変形部４０７は、顔画像２２と制御点移動量情報４０３とを取得する。顔画像変形部４０７は、顔画像２２のすべての画素に対して、制御点移動量情報４０３に基づいて、ステップＳ３０５と同様の補間演算により各画素の座標を算出する。次に、顔画像変形部４０７は、ステップＳ３０６と同様の補間演算により、すべての画素を移動した後の画像における、各画素の移動前の座標における輝度を算出し、変形済顔画像１６を生成する（Ｓ３１０）。

＜顔画像記録部＞
顔登録装置１における顔画像記録部１８は、カメラ１２１で所定の時間内に連続的に撮影された同一登録ユーザの複数の登録用画像１０から、それぞれ生成された、変形済顔画像１６を取得する。これら複数の変形済顔画像１６のそれぞれと標準テンプレート顔画像２４との画像類似度を計算する。顔画像記録部１８は、画像類似度算出部４０５と同様の方法で類似度を算出することができ、画像類似度としては、公知の相互情報量を使用することができる。

次に、顔画像記録部１８は、これらの変形済顔画像１６から、標準テンプレート顔画像２４との類似度の高い順で所定の枚数の変形済顔画像１６を選択し（Ｓ１０５）、ユーザの登録顔画像として登録ユーザデータベース２０に記録する（Ｓ１０６）。さらに、選択された登録顔画像から画像特徴量を抽出し、登録ユーザデータベース２０に記録する。

画像特徴量としては、公知のＬｉｎｅａｒ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ（ＬＢＰ）特徴量を使用することができる。複数の撮影画像から複数の変形済顔画像１６を生成することで、登録顔画像に適した顔画像を選択できる。複数登録顔画像を用意することで、認証処理においてより適切な登録顔画像を選択することができる。

＜顔画像照合部＞
顔認証装置２における顔画像照合部１９は、変形済顔画像１７（認証対象顔画像）と、顔画像サーバ２４１から登録ユーザデータベース２０が格納している情報（登録顔画像及び特徴量）を取得する、顔画像照合部１９は、変形済顔画像１７の顔画像照合処理を行い、当該ユーザが登録されたユーザであるか否かを判定し（Ｓ２０６）、認証結果２１を出力する（Ｓ２０７）。

より、具体的に説明する。上述のように、顔認証装置２における顔画像変形部１４は、顔画像変形部１５と同様の構成を有し、同様の方法により、認証用の顔画像２３を変形して変形済顔画像１７を生成する。サンプリング点や制御点初期位置の座標は、顔画像変形部１４、１５において共通でよい。顔画像変形部１４は、顔画像変形部１５と異なる方法により顔画像を変形してもよい。例えば、サンプリング点を選択することなく、全画素を比較してもよい。

登録ユーザデータベース２０は、複数のユーザそれぞれの、複数の登録顔画像を格納している。顔画像照合部１９は、変形済顔画像１７と、登録顔画像それぞれと間で顔画像照合処理を行う。

顔画像照合部１９は、例えば、変形済顔画像１７から画像特徴量を抽出し、登録ユーザデータベース２０に記録されている複数登録顔画像のそれぞれの特徴量との類似度を計算する。顔画像照合部１９は、この類似度と所定の閾値と比較し、照合結果を求める。顔画像照合部１９は、類似度が閾値以上の登録顔画像と類似度とを、認証結果２１に含める。

上述のように、特徴量としては、例えば、ＬＢＰ特徴量を使用することがきる。ＬＢＰ特徴量の類似度としては、例えば、公知のＣｈｉ−Ｓｑｕａｒｅ距離を使用することができる。登録ユーザデータベースは登録ユーザの識別情報を含む個人情報を格納し、顔画像照合部１９は、照合結果に選択した登録顔画像の登録ユーザの個人情報を含めてもよい。

＜まとめ＞
本実施形態によれば、登録用顔画像と認証用顔画像のそれぞれを、標準テンプレート顔画像を参照し、非線形変形する。これにより、顔画像認証におけるユーザの顔向きや表情の変動の影響を低減でき、登録時および認証時にユーザが意識してカメラに向かなくても高精度な顔認証が可能となる。

（実施形態２）
＜概要＞
本実施形態の顔認証装置２は、認証対象顔画像から画像特徴量を抽出し、登録画像の画像特徴量との距離を計算し、認証対象と対応する登録ユーザ候補の登録対象顔画像を特定する。得られた登録対象顔画像を参照し、認証対象顔画像に対し、非線形に変形を行う。得られた変形済の認証対象顔画像を用いて、再び画像特徴量を抽出し、登録ユーザ画像特徴量との距離を計算し、顔認証結果を出力する。

＜構成および動作＞
図９は、実施形態２の顔画像照合部１９の論理的な構成を示すブロック図である。本実施形態の顔画像照合部１９は、類似度計算部９０１、顔画像変形部９０３を備える。図９において、変形済顔画像１７は、顔認証装置２において、顔画像変形部１４によって生成された認証対象の顔画像である。登録ユーザデータベース２０は顔登録装置１によって記録された登録ユーザの顔画像および顔画像の特徴量を格納する。

次に、図１と図９のブロック図、図７と図８のフローチャートに基づいて本実施形態の動作を説明する。類似度計算部９０１は、認証対象顔画像として認証用画像から得られた変形済顔画像１７を取得して（Ｓ７０１）、画像特徴量としてＬＢＰ特徴量を抽出する（Ｓ７０２）。次に、類似度計算部９０１は、登録ユーザデータベース２０が格納する情報を取得し、認証対象顔画像１７のＬＢＰ特徴量と登録ユーザデータベース２０に記録されている各登録顔画像のＬＢＰ特徴量との類似度を計算する（Ｓ７０４）。

類似度計算部９０１は、得られた画像類似度に基づいて、認証対象と対応する（認証対象顔画像との類似度がもっとも近い）１人または複数人の登録ユーザの登録顔画像９０２を選択し（Ｓ７０５）、顔画像変形部９０３に出力する。

顔画像変形部９０３は、特定された登録顔画像９０２を参照とし、認証対象顔画像１７を変形する（Ｓ７０６）。顔画像変形部９０３による認証対象顔画像変形（Ｓ７０６）の手法は、上述した実施形態１と同様でよい。

類似度計算部９０１は、得られた変形済の認証対象顔画像と特定された登録顔画像を用いて、改めてステップＳ７０４と同様に、変形済認証対象顔画像と特定された登録顔画像のそれぞれのＬＢＰ特徴量画像特徴量を抽出し、得られた特徴量の類似度を算出し（Ｓ７０７）、該当ユーザが登録ユーザ本人かどうかを判定し認証結果２１として出力する（Ｓ７０８）。

図８は、この認証対象顔画像の変形処理フローを示している。顔画像変形部９０３はステップＳ７０５で特定された登録顔画像９０２を取得し（Ｓ８０１）、上述したステップＳ３０２と同様に、画像サンプリング点データを生成する（Ｓ８０２）。顔画像変形部９０３は、認証対象顔画像として変形済顔画像１７を取得し（Ｓ８０３）、ステップＳ３０４と同様に、変形用制御点の初期位置を設定する（Ｓ８０４）。

次に、顔画像変形部９０３は、ステップ３０５と同様の座標幾何変換処理を認証対象顔画像１７に対して実施し（Ｓ８０５）、変形後の認証対象顔画像１７の各対応サンプリング点（登録顔画像９０２の各サンプリング点に対応したサンプリング点）における輝度値を、ステップＳ３０６のように算出する（Ｓ８０６）。

顔画像変形部９０３は、ステップＳ３０７と同様に、サンプリング点における輝度値に対して、所定の評価関数を適用して、登録顔画像９０２と変形後の認証対象顔画像１７との間の画像類似度を演算する（Ｓ８０７）。

次に、顔画像変形部９０３は、ステップＳ３０８と同様に、登録顔画像９０２と変形後の認証対象顔画像１７との間の画像類似度が最大（あるいは極大）となる様な各制御点の移動量を求めるため、収束計算を実施する（Ｓ８０８）。

ステップＳ８０８において画像類似度が収束していない場合は、顔画像変形部９０３は、ステップＳ３０９と同様に、より高い画像類似度を得るために、制御点移動量情報を更新する（Ｓ８０９）。そして、ステップＳ８０５〜Ｓ８０８を改めて実施する。

一方、ステップＳ８０８において画像類似度が収束している場合は、ステップ３１０と同様に、顔画像変形部９０３は、求められた制御点移動量情報を用いて認証対象顔画像１７を変形し、その変形済画像を生成する（Ｓ８１０）。

＜まとめ＞
以上の様に、実施形態２に係わる顔認証装置は、認証対象顔画像を取得し、認証対象と対応する登録ユーザ候補の登録顔画像を特定する。得られた登録顔画像を参照画像として、認証対象顔画像の非剛体変形を実施する。得られた変形済の認証対象顔画像を用いて、改めて認証対象と対応する登録ユーザ候補の登録顔画像との照合を実施し、顔認証結果を出力する。これにより、認証対象と登録対象が同一人物の場合、変形済の認証対象顔画像と登録顔画像との間の画像類似度が高まり、顔認証の精度をさらに向上させることが可能となる。

＜適用例＞
次に、顔画像に適用した場合の適用例を、図１０から図１２を用いて、説明する。図１０は、標準テンプレート顔画像２４、変形される前の登録用顔画像、すなわち、顔画像２２、および顔画像２２の変形済顔画像１６の一例を示している。標準テンプレート顔画像２４上に、格子状の制御点が配置されている。顔画像２２に対して、ステップＳ３０１〜ステップＳ３１０の変形処理が実施される。制御点が変形処理の収束した位置に配置されている。

変形処理が開始する前、初期位置（格子位置）に制御点は配置される。標準テンプレート顔画像２４上に示されている制御点は、初期位置に配置されている。顔画像２２上に示されている制御点は、変形処理の収束した位置に配置されている。制御点の収束した位置と初期位置とを用いて、制御点移動ベクトルを求められる。移動ベクトルによって、顔画像２２の各々の画素の移動先が算出される。各々の画素の移動先の位置での輝度値が、補間処理によって計算され、得られた輝度値が各々の画素の初期位置に設定される。全ての画素の輝度値が算出されると、変形済画像１６が得られまる。

図１１は標準テンプレート顔画像２４、変形される前の認証用顔画像、すなわち、顔画像２３、および顔画像２３の変形済顔画像１７の一例を示す。標準テンプレート顔画像２４上に、格子状の制御点が配置されている。顔画像２３に対して、ステップＳ３０１〜ステップＳ３１０の変形処理が実施される。図１１において、変形前顔画像２２上の制御点は、変形処理の収束した位置に配置されている。

図１２は、変形済顔画像１６、すなわち、ステップ７０５によって特定された登録ユーザデータベース２０に記録される登録顔画像９０２の一例を示す。図１２は、さらに、変形済顔画像１７、すなわち、認証対象顔画像、および認証対象顔画像の変形済顔画像（変形済認証対象顔画像）９０７の一例を示す。

認証対象顔画像（変形済顔画像１７）に、ステップＳ７０６（すなわち、ステップＳ８０１〜ステップＳ８１０）の変形処理が実施され、変形済認証対象顔画像９０７が生成される。制御点が変形処理の収束した位置に配置されている。登録顔画像９０２と変形済認証対象顔画像９０７が類似度計算部９０１に入力され、ステップＳ７０７の処理によって、認証結果が求められる。

（実施形態３）
＜概要＞
本発明の実施形態３のシステムは、実施形態１もしくは実施形態２の顔認証しシステム１００を用いて、部屋や施設を利用するユーザに対し、入退管理やサービス提供などを実施する。ユーザは、入場前にＩＤ認証を実施して入場する。入場時に、顔登録装置がユーザの顔画像を取得して登録ユーザデータベースに記録する。ユーザが入場したあとの入退管理や施設内でのサービス提供などは、顔認証装置を使用する。

＜構成および動作＞
図１３は本実施形態の論理的な構成を示すブロック図である。本実施形態は顔認証システム１００、ＩＤ認証装置１０２、ゲート制御装置１０３、管理サーバ１０４、ゲート制御装置１００５、情報提示制御装置１０６、カメラ１０７、カメラ１０８、カメラ１０９、ゲート１１０、ゲート１１１、および情報提示装置１０１２を備える。

本実施形態に係る生体認証を用いた入退管理・サービス提供システムについては、空港における航空機への搭載や情報提示サービスに対する適用を代表的な例として説明する。
次に、図１３のブロック図に基づいて本実施形態の動作を説明する。
管理サーバ１０４は顔認証システム１００、ＩＤ認証装置１０２、ゲート制御装置１０３、ゲート制御装置１０５、および情報提示制御装置１０６と接続し、登録ユーザデータベースの記録、ユーザの認証結果のログの記録、および顔登録・顔認証装置、ＩＤ認証装置、ゲート制御装置、情報提示制御装置の管理などを実施する。

ＩＤ認証装置１０２は、空港のチェクイン装置として、搭乗者を認証し、チケットの代わりに、搭乗者の認証ＩＤを発行し、管理サーバ１０４に送信する。管理サーバ１０４は、搭乗者の認証ＩＤを記録して、ゲート制御装置１０３へゲート解錠の制御信号を送信する。ゲート制御装置１００３は解錠の制御信号を取得し、ゲート１１０を解錠させて、搭乗者を空港の中へ入場させる。

ＩＤ認証の手段としては、高精度の生体認証、例えば、指静脈認証を用いてもよい。例えば、航空会社が事前に搭乗者の個人情報、フライト情報、および指静脈の生体情報を登録する。そして、搭乗者がＩＤ認証装置１０２を使用して、指静脈認証を実施し、空港に入場する。生体情報のモダリティとしては、指静脈のほかに、例えば、指紋、虹彩、掌、音声などを用いてもよい。また、ＩＤ認証装置１０２は、生体認証を使用せずに、搭乗者による暗証番号の入力を用いてもよい。

搭乗者が前記ＩＤ認証装置１０２に認証された時に、管理サーバ１０４はＩＤ認証装置１０２から搭乗者の認証ＩＤを取得して、記録する。次に、管理サーバ１０４は顔認証システム１００へ搭乗者の顔画像を登録するように制御信号を発信する。顔認証システム１００は、管理サーバ１０４の制御信号を受け、カメラ１０７を起動し、搭乗者の顔画像を登録用画像として撮影する。

顔認証システム１００は、得られた登録用画像に対し、前記説明したステップＳ１０１〜Ｓ１０７の処理を実施し、搭乗者の変形済の顔画像と顔画像特徴量を管理サーバに送信する。管理サーバ１０４は搭乗者の登録顔画像と顔画像特徴量を取得し、搭乗者の認証ＩＤと対応付けて、登録ユーザデータベースに記録する。

顔認証システム１００は、空港の中の情報提示装置１１２の付近に設置させるカメラ１０８の撮影画像を常時に取得する。顔認証システム１００は、ステップＳ２０１〜Ｓ２０７の顔認証処理を実施し、情報提示装置１１２の前に接近した搭乗者を認証し、管理サーバ１０４に通知する。管理サーバ１０４は搭乗者の認証記録を保存し、情報提示制御装置１０６へ制御信号と搭乗者本人向けの電子情報を送信する。情報提示制御装置１０６は、制御信号と搭乗者本人向けの電子情報を取得し、情報提示装置１０１２を制御し、搭乗者に提示させる。

顔認証システム１００は、搭乗ゲート１１１付近に設置させるカメラ１０９の撮影画像を取得し、搭乗者が航空機に搭乗する時、すなわち、空港施設を退場する時に、ステップＳ２０１〜Ｓ２０７の顔認証処理を実施する。認証対象が搭乗者本人である場合には、顔認証システム１００は管理サーバ１０４へその認証結果を送信する。管理サーバ１０４は搭乗者の認証記録を保存し、ゲート制御装置１０５へ制御信号を送信する。ゲート制御装置１０５は制御信号を受け、ゲート１１１を解錠させ、搭乗者を搭乗させる。

＜まとめ＞
以上のように、本実施形態では、部屋や施設を利用するユーザに対し、実施形態１または実施形態２の顔認証システムを用いて、入退管理やサービス提供などを実施する。ＩＤ認証装置が入場前のユーザを認証した後に、顔登録装置がユーザの顔画像を取得して登録ユーザデータベースに記録する。ユーザが入場したあとの入退管理や施設内でのサービス提供などは、顔認証装置によって実施される。これにより、セキュリティレベルの高い施設においても、利用者に対して低負担かつ高精度の顔認証を実現することが可能となる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

Claims (13)

1. カメラで撮影された第１の撮影画像から第１の顔画像を検出する第１顔領域検出部と、
   テンプレート顔画像を用いて非線形に前記第１の顔画像を変形する第１変形部と、
   変形された前記第１の顔画像を登録顔画像として記録する顔画像記録部と、
   カメラで撮影された第２の撮影画像から第２の顔画像を検出する第２顔領域検出部と、
   前記テンプレート顔画像を用いて、非線形に前記第２の顔画像を変形する第２変形部と、
   変形された前記第２の顔画像と、前記登録顔画像とを照合する顔画像照合部と、を有し、
   前記第１変形部は、
   前記テンプレート顔画像からサンプリング点を抽出し、
   前記テンプレート顔画像におけるサンプリング点に対応する、変形された前記第１の顔画像におけるサンプリング点を抽出し、
   前記テンプレート顔画像からより抽出されたサンプリング点と、前記第１の顔画像より抽出されたサンプリング点とを用いて、前記テンプレート顔画像と変形された前記第１の顔画像との間の類似度を算出し、
   前記類似度に基づいて、前記第１の顔画像を再変形する、顔認証システム。
2. 請求項１に記載の顔認証システムであって、
   前記第２変形部は、
   前記テンプレート顔画像におけるサンプリング点に対応する、変形された前記第２の顔画像におけるサンプリング点を抽出し、
   前記テンプレート顔画像より抽出されたサンプリング点と、前記第２の顔画像より抽出されたサンプリング点とを用いて、前記テンプレート顔画像と変形された前記第２の顔画像との間の類似度を算出し、
   前記類似度に基づいて、前記第２の顔画像を変形する、顔認証システム。
3. 請求項１に記載の顔認証システムであって、
   前記第１変形部は、
   前記第１の顔画像を変形するために、前記第１の顔画像に対して制御点を設置し、
   前記第１の顔画像における制御点の位置を移動することによって、前記第１の顔画像を変形させる、顔認証システム。
4. 請求項２に記載の顔認証システムであって、
   前記第１変形部及び前記第２変形部は、
   前記テンプレート顔画像の顔領域を複数の部分に分割し、前記複数の部分のそれぞれに割当てられた重みに応じて、前記複数の部分のそれぞれから抽出するサンプリング数を決定する、顔認証システム。
5. 請求項１に記載の顔認証システムであって、
   前記顔画像記録部は、同一人物の複数の第１の撮影画像から取得された複数の変形された第１の顔画像を登録顔画像として記録する、顔認証システム。
6. 請求項１に記載の顔認証システムであって、
   前記テンプレート顔画像は、複数の異なる顔画像を合成して生成された顔画像である、顔認証システム。
7. 請求項１に記載の顔認証システムであって、
   前記第２変形部は、前記テンプレート顔画像を用いて変形された前記第２の顔画像を、前記登録顔画像を用いて非線形に変形し、
   前記顔画像照合部は、前記登録顔画像を用いて変形された前記第２の顔画像と前記登録顔画像とを照合する、顔認証システム。
8. カメラで撮影された第１の撮影画像から第１の顔画像を検出するステップと、
   テンプレート顔画像を用いて非線形に前記第１の顔画像を変形するステップと、
   変形された前記第１の顔画像を登録顔画像として記録するステップと、
   カメラで撮影された第２の撮影画像から第２の顔画像を検出するステップと、
   前記テンプレート顔画像を用いて、非線形に前記第２の顔画像を変形するステップと、
   変形された前記第２の顔画像と、前記登録顔画像とを照合するステップと、を含み、
   前記第１の顔画像を変形するステップは、
   前記テンプレート顔画像からサンプリング点を抽出し、
   前記テンプレート顔画像におけるサンプリング点に対応する、変形された前記第１の顔画像におけるサンプリング点を抽出し、
   前記テンプレート顔画像から抽出されたサンプリング点と、変形された前記第１の顔画像から抽出されたサンプリング点とを用いて、前記テンプレート顔画像と変形された前記第１の顔画像との間の類似度を算出し、
   前記類似度に基づいて、前記第１の顔画像を再変形する、ことを含み、
   前記第２の顔画像を変形するステップは、
   前記テンプレート顔画像からサンプリング点を抽出し、
   前記テンプレート顔画像におけるサンプリング点に対応する、変形された前記第２の顔画像におけるサンプリング点を抽出し、
   前記テンプレート顔画像から抽出されたサンプリング点と、変形された前記第２の顔画像から抽出されたサンプリング点とを用いて、前記テンプレート顔画像と変形された前記第２の顔画像との間の類似度を算出し、
   前記類似度に基づいて、前記第２の顔画像を再変形する、ことを含む、顔認証方法。
9. 請求項８に記載の顔認証方法であって、
   前記第１の顔画像を変形するステップは、前記第１の顔画像を変形するために、前記第１の顔画像に対して制御点を設置し、前記第１の顔画像における制御点の位置を移動することによって、前記第１の顔画像を変形させ、
   前記第２の顔画像を変形するステップは、前記第２の顔画像を変形するために、前記第２の顔画像に対して制御点を設置し、前記第２の顔画像における制御点の位置を移動することによって、前記第２の顔画像を変形させる、顔認証方法。
10. 請求項８に記載の顔認証方法であって、
    前記第１の顔画像を変形するステップ及び前記第２の顔画像を変形するステップは、前記テンプレート顔画像の顔領域を複数の部分に分割し、前記複数の部分のそれぞれに割当てられた重みに応じて、前記複数の部分のそれぞれから抽出するサンプリング数を決定する、顔認証方法。
11. 請求項８に記載の顔認証方法であって、
    同一人物の複数の第１の撮影画像から取得された複数の変形された第１の顔画像を登録顔画像として記録する、顔認証方法。
12. 請求項８に記載の顔認証方法であって、
    前記第２の顔画像を変形するステップは、前記第２の顔画像を、前記登録顔画像を用いて非線形に変形し、
    前記照合するステップは、前記登録顔画像を用いて変形された前記第２の顔画像と前記登録顔画像とを照合する、顔認証方法。
13. 施設を利用するユーザに対し、入退管理及びサービス提供を実施するシステムであって、
    ユーザが入場前にＩＤ認証処理を実施するＩＤ認証装置と、
    請求項１に記載の顔認証システムと、
    前記顔認証システムによる顔登録後に、ユーザを入場させる入場ゲートと、
    入場した前記ユーザを認証し、前記ユーザに情報を提供する情報提供装置と、
    前記顔認証システムによる前記ユーザの認証を使用して、退場管理を実施する退場管理装置と、を有するシステム。

Images