JP4156430B2 - データベース自動更新方法を用いた顔検証方法及びそのシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、データベース自動更新方法を用いた顔検証方法及びそのシステムに関する。
【０００２】
【従来の技術】
２１世紀の情報化社会において、個人はもちろん特定団体の情報は、いかなる資産よりも重要な価値を有するようになってきている。このような重要な情報を保護するために、各種のパスワードが使用されおり、また、その他に身分を確認するための技術が切望されている。そしてこれは、情報保護の次元に留まらず、クレジットカード、キャッシュカード、電子住民証など、身分確認を必要とするものについての社会的な要求は高まりつつある。しかしながら、今まではパスワード以外に補助的な身分確認方法がなかったため、コンピュータを用いた犯罪など多くの社会的な問題が発生している。最近では、このような問題を解決し得る方法として、指紋、虹彩、顔静脈の模様などの生体情報を用いて身元を判別する、生体認識技術が注目されている。
【０００３】
中でも、顔検証技術は、ユーザが特別の動作や行為を取る必要がなく、単にカメラを見つめるだけでよく、ひいては、ユーザ自身が認知しないうちに身分確認ができるという長所があり、最も便利でかつ競争力のある身分確認方法として評価されている。この顔検証技術は、単なる身元確認に加えて、端末機への接近制御、公共場所の管制システム、電子アルバム、犯罪者の顔認識など、多くの応用分野を有しており、情報化社会においてその波及効果が大きい技術として評価されている。
【０００４】
一般的に、生体認識技術を用いた全ての身分検証方法は、大別して２種類の過程を経るが、一つはユーザの生体情報を登録する過程であり、もう一つは実際にユーザの身分を検証する過程である。
【０００５】
一般的な顔検証システムを使用するために、ユーザは、まず自分の顔を検証システムに登録する。顔を登録するために、ユーザはカメラを用いて自分の顔入りの映像データを顔検証システムに入力する。そして、入力された全体映像から顔領域のみが自動的に検出された後、検出された顔領域から認識特徴が抽出され、その特徴値が計算される。ここで、顔映像そのものでは情報量が多すぎ、表情、老化、照明及び大きさの変化に敏感に反応してしまうため、少ない情報量をもって顔特徴値を表わしつつ、同時に顔の様々な変化に無関係な特徴値を見つけ出す。そして、抽出された顔の特徴値は、特徴分類器の学習用に用いられた後、顔映像データベースに貯蔵され、顔検証過程で用いられる。
【０００６】
顔検証システムの顔検証過程は、顔データ登録過程とほとんど同じである。ただし、顔検証過程では、検証対象となる顔の特徴値を抽出した後、これら特徴値と既存の顔データベースに登録してあるユーザの顔特徴値とを比較し、検証対象となる顔が登録してある顔であるか否かを検証する。
【０００７】
前記した従来の方法により、既存の顔検証装置によって顔検証を行う場合、顔登録段階及び顔検証段階のいずれにも用いられる顔検出器の分析能力が低いため、顔検出エラーによる認識率の低下が常に生じる。特に、顔認識過程の最初の段階として目の位置を検出する場合、目の位置の検出時にエラーが生じれば、最終的に得られる顔認識結果にかなりの性能低下が招かれてしまう。
【０００８】
図１を参照して、目位置検出エラーによる影響をみてみる。図１には、同一人から入力された相異なる２枚の映像に対して、目の位置の検出を２回行った結果を、各々左側と右側に示してある。それぞれの映像から検出された両目の位置を基準として、映像を後述する方法により正規化（ｎｏｒｍａｌｉｚｉｎｇ）させて、左側映像から右側映像を減算すれば、すなわち、左側映像の画素値から対応する右側映像の画素値を減算すれば、目の位置が正確に一致して、両映像の対応する画素値が等しい場合には、差分映像は黒い色として現れ、目の位置が一致せずに画素値が等しくない場合には、白い色として現れる。従って、差分映像の白い部分が濃くなるか、あるいは多くなるほど、顔認識エラーの確率が高まることになる。
【０００９】
図１に示すように、人間の目では区別し難いほどの僅かな目位置検出エラーにより、顔領域の正規化結果が変わり、正規化映像に対する差分映像からエラーの度合いが分かる。
【００１０】
かかる目位置検出のエラーによる顔認識性能の低下のほかにも、様々な顔認識性能の低下要因が存在する。この点、普通の顔認識性能は、十分な学習映像を入力して最適な特徴分類器を設計することにより克服することが可能である。しかし、現実的には、ユーザの便宜を考慮すると、ユーザ登録時において、最適な特徴分類器を設計するための十分な学習映像を得ることは不可能である。
【００１１】
図２を参照して、学習映像の数による特徴分類器の設計影響について説明する。図２は、顔特徴ベクトル空間において、一人として分類される空間である、各々のクラスを区別するために、１クラス当たり３回の学習データ（同一人に対して相異なる位置から取得した顔映像）取得後に学習した特徴分類器と、５回の学習データ取得後に学習した特徴分類器とのハイパープレーン（ｈｙｐｅｒｐｌａｎｅｓ）の形状変化を示すものである。
【００１２】
すなわち、一人に対して３枚の顔映像のみを登録した場合における、特徴分類器のハイパープレーンの位置が、新しい２枚の学習映像がさらに追加されることによって、変わり得るということを示している。学習映像の数が少ないため、学習映像で表わせない空間については、特徴分類器が効果的に設計できないが、学習映像が多くなれば、このような部分がきめ細かく設計することが可能となる。すなわち、様々な変化を含む、できる限り多くの学習データを学習するほど、信頼性のある特徴分類器を設計することができるようになる。従って、ユーザ登録段階で、できる限り多くの学習映像を取得するほどシステム性能が良くなるものの、実際に顔検証システムを運営するにあたって、ユーザに数十枚の顔の登録を要求することは、使用上の大きな不便さを招くこととなる。
【００１３】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するためになされたものであって、目位置変更を通じて、顔検出のための初期段階である目検出時に、発生可能なエラーを考慮した映像データを前もって登録しておくことにより、顔検出のエラーによる認識性能の低下を防ぐデータベース自動更新方法を用いた顔検証方法及びそのシステムを提供することを目的とする。
【００１４】
また、本発明は、目位置変更を通じて生成された目座標対（ａ ｐａｉｒ ｏｆ ｅｙｅ ｃｏｏｒｄｉｎａｔｅｓ）に基づき正規化された映像データを、特徴分類器の学習用に用いられる学習映像データに含めて学習データの数を増やすことにより、最適な特徴分類器を設計して、認識性能の低下を防ぐデータベース自動更新方法を用いた顔検証方法及びそのシステムを提供することを目的とする。
【００１５】
さらに、本発明は、顔検証のために入力された顔映像を、今後の顔検証に用いられるように特徴分類器の学習用に用い、顔データベースを自動的に更新する、データベース自動更新方法を用いた顔検証方法及びそのシステムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
前記目的を達成するために、本発明に係るデータベース自動更新方法を用いた顔検証方法は、入力顔映像から背景と顔とを分離して顔領域を検出する段階と、検出された前記顔領域から目の位置を検出し、前記検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する段階と、前記生成された各々の目の座標対に基づき顔映像を正規化する段階と、前記正規化されたそれぞれの顔映像から顔の認識特徴を抽出して顔認識特徴値を計算する段階と、前記顔認識特徴値を用いて特徴分類器を学習し、前記認識特徴値をデータベースに貯蔵する段階と、検証対象顔映像を入力されて顔領域を検出し、検出された顔領域を正規化し、顔の認識特徴を抽出して顔認識特徴値を計算する段階と、前記顔認識の特徴値によって前記入力顔映像の顔と登録された顔映像の類似如何及び前記入力顔映像を用いて前記データベースを更新するか否かを判定する段階とを含む（請求項１）。
【００１７】
前記顔認識の特徴値によって前記入力顔映像の顔と登録された顔映像の類似如何及び前記入力顔映像を用いて前記データベースを更新する段階は、前記特徴分類器を用いて前記抽出された顔認識特徴値のベクトル領域での分布を計算し、前記分布を数値的に表現した比較値によって前記入力顔映像の顔と登録された顔映像の類似如何を判定する段階を含むことができる（請求項２）。
【００１８】
また、前記顔認識の特徴値によって前記入力顔映像の顔と登録された顔映像の類似如何及び前記入力顔映像を用いて前記データベースを更新する段階は、前記比較値が第１臨界値以下の場合に前記利用者のシステム通過を不許可とし、前記比較値が第１臨界値より大きい場合には前記利用者のシステム通過を承認する段階をさらに含むことができる（請求項３）。
【００１９】
前記比較値が第２臨界値より大きい場合には、前記検証対象顔映像に対して前記検出された前記顔領域から目の位置を検出し、前記検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する段階と、前記生成された各々の目の座標対に基づき顔映像を正規化する段階と、前記正規化されたそれぞれの顔映像から顔の認識特徴を抽出して顔認識特徴値を計算する段階とを行い、前記検証対象顔映像をもって前記データベースを更新する段階をさらに含むことができる（請求項４）。
【００２０】
ここで、顔映像を前記データベースに貯蔵していないユーザがシステムを通過する確率が０に設定された前記第２臨界値は、前記第１臨界値より大きく、前記比較値が大きいほど前記検証対象顔映像と前記データベースに予め顔映像が貯蔵してあるユーザの顔映像とが一致する確率が高いことが望ましい（請求項５）。
【００２１】
本発明において望ましくは、前記入力顔映像から背景と顔とを分離して顔領域を検出する段階前に、前記入力映像の形式を前記顔検証システムに適した形式に変換する前処理段階をさらに含む（請求項６）。
【００２２】
また、本発明において望ましくは、前記生成された各々の目の座標対に基づき顔映像を正規化する段階は、前記生成された各々の目の座標対の中心点を計算し、前記計算された各々の中心点に基づき顔領域の傾きを補整して正規化させる（請求項７）。
【００２３】
さらに、本発明において、前記検出された前記顔領域から目の位置を検出し、前記検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する段階の前記所定の距離は、前記所定の距離に対する前記検出された顔領域の横方向の長さの比率によって計算されることが望ましい（請求項８）。
【００２４】
ここで、前記所定の距離に対する前記検出された顔領域の横方向の長さの比率は１／１５であることが望ましい（請求項９）。
【００２５】
また、前記検出された前記顔領域から目の位置を検出し、前記検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する段階の前記所定の方向は、上下左右の４方向であることが望ましい（請求項１０）。
【００２６】
前記臨界値は下記式により決定され、
ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）
式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは学習を通じて求められるハイパープレーンの傾度を、そしてｘは顔検証時に入力される特徴値を各々意味し、バイアス値であるｂ値を調節することにより臨界値を決定する（請求項１１）。
【００２７】
また、本発明に係るデータベース自動更新方法を用いた顔検証方法は、コンピュータにて実行可能なプログラムコードにて記録した記録媒体に具現できる（請求項１２）。
【００２８】
一方、前記目的を達成するために、本発明に係るデータベース自動更新方法を用いた顔検証システムは、入力顔映像において背景と顔とを分離して顔領域を検出する顔領域検出部と、前記検出された顔領域から目の位置を検出し、検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する目位置変更部と、前記生成されたそれぞれの目の座標対によって前記顔映像を正規化する顔領域正規化部と、前記正規化されたそれぞれの顔映像から顔の認識特徴を抽出して顔認識特徴値を計算する認識特徴抽出部と、前記計算された顔認識特徴値を用いて特徴分類器を学習する特徴分類器学習部と、前記顔認識特徴値を貯蔵するデータベースと、前記顔認識の特徴値より前記入力された顔映像と登録された顔映像との類似如何及び前記入力された顔映像を用いて前記データベースを更新するか否かを判定する判定部とを含む（請求項１３）。
【００２９】
本発明に係るデータベース自動更新方法を用いた顔検証システムは、前記入力された顔映像を映像処理に適した形に加工して前記顔領域検出部に出力する前処理部をさらに含むことができる（請求項１４）。
【００３０】
前記目位置変更部は、上下左右の４方向に、前記顔領域映像の横方向長さの１／１５だけ各目の座標を移動させ、変更された座標対を生成することが望ましい（請求項１５）。
【００３２】
また、前記判定部は、前記検証対象顔映像から抽出された顔認識特徴値のベクトル空間における分布を数値化した比較値を計算し、前記比較値と予め登録してあるユーザの顔認識特徴値の分布により設定された臨界値とを比較し、入力された顔映像と登録された顔映像とが類似しているか否か及びデータベースを更新するか否かを判定することができる（請求項１６）。
【００３３】
前記臨界値は下記式により決定され、ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）
式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは学習を通じて求められるハイパープレーンの傾度を、そしてｘは顔検証時に入力される特徴値を各々意味し、バイアス値であるｂ値を調節することにより臨界値を決定する（請求項１７）。
【００３４】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の好適な実施形態について説明する。
図３は、本発明による検証システムの構成を示すブロック図である。
【００３５】
図３に示すように、本発明による検証システムは、入力された映像を映像処理に適したデジタル信号の形に変換する前処理部３１０と、入力された映像から背景及び顔領域を分離する顔領域検出部３２０と、入力された映像から目の位置を検出し、所定の方向に所定の距離だけ目座標を移動させて目検出エラーに備えた目座標対を生成する目位置変更部３３０と、目位置の変更された各々の目座標対に基づき顔映像の照明または大きさの影響を減らす顔領域正規化部３４０と、顔映像から顔認識の特徴を抽出して特徴値を計算する認識特徴抽出部３５０と、計算された顔認識特徴値を用いて特徴を分類する、すなわち特徴分類データを学習する特徴分類器学習部３６０と、検証対象顔映像から抽出された顔認識特徴値と登録された顔認識特徴値とを比較して類似性の有無を判定する判定部３７０、及び顔認識特徴値及び特徴分類器学習部３６０において学習された特徴分類データを貯蔵するデータベース３８０を備える。
【００３６】
以下、図３及び図４を参照し、本発明に係るデータベース自動更新方法を用いた顔検証方法及びそのシステムにおける、顔データの登録方法について説明する。
【００３７】
本発明に係るデータベース自動更新方法を用いた顔検証方法及びそのシステムを用いるために、ユーザは、まず自分の顔を検証システムに登録するが、ユーザの顔は、一般に低解像度カメラにより撮影され、システムに入力される（ステップＳ４００）。
【００３８】
顔映像を受信した前処理部３１０は、顔領域が抽出し易いように、カメラから入力された映像に含まれたノイズを除去し、入力映像のフォーマットやカラー形式などを、本発明のシステムにおいて処理可能な形式に変換する前処理過程を行う（ステップＳ４１０）。
【００３９】
顔領域検出部３２０は、前処理された入力映像について顔領域を背景と分離することにより、顔領域を検出する（ステップＳ４２０）。正確な顔検証のためには、入力された映像から顔領域を正確に検出する必要がある。しかし、顔は表情や背景照明などにより歪曲され、また、頭状、化粧、メガネなどにより大きな変化が生じるため、背景及び顔領域を完璧に分離することは難しい。ここで、２次元映像から顔領域を検出する方法には、顔の地形的な特性を用いる方法、統計的な分析法、神経網を用いる方法、顔映像の主成分を分析する方法、孤立領域による顔抽出方法などがある。
【００４０】
顔データを登録する場合、検出された顔領域は、目位置変更部３３０において、目の位置が所定の方向に所定の距離だけ移動した後、顔領域正規化部３４０に出力される（ステップＳ４３０）。
【００４１】
一般的な顔認識及び検証方法は、与えられた映像から両目の位置を検出し、両目の座標から両目の中心点の座標を見つける。その後、計算された両目の中心点を基準に、全ての顔を後述する方法により正規化させ、正規化された映像から認識の特徴を探して登録し、顔検証に用いる。
【００４２】
この時、顔検出器の性能に制限があるため、全ての映像から常に正確な両目の中心点を見つけることは、ほとんど不可能である。従って、前記したように、顔映像から目の位置を検出する時にエラーが生じ、結局このようなエラーは認識性能の低下につながる。
【００４３】
本発明は、目位置変更部３３０において、入力映像から検出された目の位置を所定の方向に所定の距離だけ移動させた後、目位置の変更された各々の目座標対に基づき、入力映像を後述する方法により正規化させる。このようにして正規化された映像データから認識特徴を抽出して特徴分類器を学習することにより、前記したような問題点を解決することができる。
【００４４】
図６に示すように、本発明による検証システムの目位置変更部３３０は、入力された顔領域から両目の位置を検出し、自動的に検出された目座標を基準に、上下左右または対角線方向に所定の距離だけ目の座標点を移動させて、それを新しい目座標として設定して、登録に用いる。新しい座標点は（ｘ，ｙ）→（ｘ＋ｘｄ，ｙ＋ｙｄ）の如き規則により設定される。
【００４５】
この時、目座標が移動する距離ｘｄ及びｙｄ、抽出された顔映像の大きさに合うように選択される。例えば、本発明においては、顔映像の横長が約３０ピクセルに相当するならば、目座標の移動距離ｘｄ及びｙｄは約２ピクセルほどに選択され、顔映像の大きさに応じて一定の比率に調節可能である。
【００４６】
目位置の変更方法の詳細について説明すると、自動顔検出により見つけ出された左目と右目の位置を各々（ｘ^l ₀，ｘ^r ₀）とし、両目の位置を基準に、検出エラーの可能性がある目の座標を、一定の規則により新しい座標値として生成し、これに相当する両目の位置を、各々（ｘ^l _m，ｘ^r _n）とする。この時、新しい座標値（ｘ^l _m，ｘ^r _n）に、総ｓ個の新しい座標を与えれば、下記の如き新しい目座標の組み合わせが生成される。
【００４７】
【数１】

【００４８】
すなわち、新しい両目の位置が各々ｓ個だけ変化すれば、総（ｓ＋１）×（ｓ＋１）個の目座標の組み合わせが生成される。例えば、上下左右の４方向に新しい目座標を設定すれば、左目及び右目に各々５個の座標が生成され、全ての組み合わせは総２５個となる。仮想の顔検出エラーに備えて検出された目位置を変更した新しい目座標が生成されれば、生成された目座標の各々の組み合わせにより映像を正規化させて登録映像として学習する。すなわち、１枚の学習映像だけで総２５枚の目検出エラーに対応できる学習映像が得られるので、検証時に目検出エラーによる認識性能の低下を改善することができる。
【００４９】
併せて、同時に１枚の登録だけで、２５枚の学習映像を仮想で作り出すことができるため、学習映像の数が少ないため最適の特徴分類器が設計できないという既存の問題点を解決することができる。
【００５０】
顔領域検出部３２０から受信した顔領域映像は、登録された顔映像に比べて、照明による変化、カメラとの距離による顔領域の大きさ変化、映像の傾きなどにより検証性能が落ちてしまう。従って、顔領域正規化部３４０は、検出された顔映像の照明を補整し、顔映像を回転させて顔領域の傾きを修正し、顔領域を拡大または縮小して顔映像の大きさを修正することにより、検出された顔領域を正規化させて、認識特徴抽出部３５０に提供する（ステップＳ４４０）。
【００５１】
正規化された顔映像を受信した認識特徴抽出部３５０は、顔の表情や老化にかかわらず、各個人を区別し得る特徴値を抽出する（ステップＳ４５０）。このような顔の特徴としては、目、鼻、口など顔の主要部分の形状、及び幾何学的な配置、鼻の方向成分、瞳同士の長さと鼻長との比率、鼻幅の比率などの幾何学的な配置による特徴があり、グラジエント（ｇｒａｄｉｅｎｔ）を取って特徴点を見つける方法や、テンプレートを用いた方法、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）や、ＬＦＡ（Ｌｏｃａｌ ＦｅａｔｕｒｅＡｎａｌｙｓｉｓ）などの数学的な変換を用いる方法、変形されたモデルを顔に写像させて、顔の構成要素及び特徴を見つける方法などが用いられる。
【００５２】
特徴分類器学習部３６０は、認識特徴抽出部３５０から与えられる認識特徴値を所定のベクトル空間に写像させて特徴を分類、すなわち特徴分類データを学習する（ステップＳ４６０）。
【００５３】
一方、学習に用いられた特徴値及び学習された特徴分類データは、データベース３８０に貯蔵されることにより顔登録過程は終了する（ステップＳ４７０）。
【００５４】
以下、図５及び図７Ｂを参照し、本発明に係る顔検証システムにおいて顔を検証する過程について説明する。
【００５５】
顔検証過程において、カメラを通じて映像が入力されれば（ステップＳ５００）、入力された映像を前処理して（ステップＳ５１０）顔領域を検出し（ステップＳ５２０）、検出された顔領域を正規化させて（ステップＳ５３０）顔認識特徴を抽出する過程（ステップＳ５４０）は、目位置を変更する過程（ステップＳ４３０）が省かれるという点を除けば、顔登録過程のステップＳ４００ないしステップＳ４５０段階と同じである。
【００５６】
検証対象となる顔映像の特徴値は、認識特徴抽出部３５０から判定部３７０に出力され、判定部３７０は、データベース３８０に貯蔵されている学習された特徴分類器、すなわち学習された特徴分類データを用いて、抽出された検証対象映像の特徴値のベクトル領域における分布を計算し、このようなベクトル領域における分布を数値化した比較値を計算する（ステップＳ５５０）。
【００５７】
また、判定部３７０は、検証対象顔を承認するか否かを決定するために、計算された比較値と前もって設定された第１臨界値ＦＶ１とを比較し、比較値が第１臨界値ＦＶ１より小さい場合には、検証対象を侵入者の顔映像と見なして、システム通過を承認しない旨の結果を出力する（ステップＳ５７０）。一方、比較値が第１臨界値ＦＶ１より大きい場合には、登録されたユーザであることを承認する結果を出力（ステップＳ５８０）して、次の段階へ進む（ステップＳ５６０）。
【００５８】
ここで、臨界値を決定する方法について下記式及び図８を参照して説明する。まず、線形特徴分類関数は、下記式により定義される。
ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）
【００５９】
ここで、ｓｇｎは、本発明のハイパープレーン関数を、ｗは学習を通じて求められるハイパープレーンの傾度を、そしてｘは顔検証時に入力される特徴値を各々意味し、バイアス値であるｂ値が、顔検証の如何を決定する臨界値となる。
【００６０】
この時、図８に示すように、ハイパープレーンから最小の距離だけ離れた特徴値の距離を最大化させるようにハイパープレーンを設計するならば、最適のハイパープレーンであると言える。
【００６１】
ここで、ハイパープレーン関数＜ｗ×ｘ＞＋ｂ＝０において０をバイアス値と定義し、バイアス値を変えることにより、臨界値の位置を変更して適用できる。すなわち、０より大きい正数のバイアス値を適用すれば臨界値がクラス１の方に移動し、０より小さい負数の値を適用すれば臨界値がクラス２の方に移動する。
【００６２】
判定部３７０は、検証対象顔が承認されれば、入力された検証対象顔映像を用いてデータベースを登録ユーザの最新の顔映像をもって更新するために、検証対象の比較値と、データベース３８０を更新するか否かを決定するために前もって設定された第２臨界値ＦＶ２とを比較し、比較値が第２臨界値より大きい場合には、目位置変更部３３０に制御信号を出力して登録過程のステップＳ４３０段階から再度行わせることにより、顔映像を登録する（ステップＳ５９０）。
【００６３】
本発明において、２重の臨界値を設定してデータベースを更新する理由を、図７Ａ及び図７Ｂを参照して説明する。
【００６４】
全ての生体認識検証システムには、２種類のエラーが存在する。一つは登録されていない者（以下、「侵入者」と称する。）が、登録された者を装って顔検証システムを通過しようとする場合に、通過が承認されるＦＡＲ（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ）であり、もう一つは、前もって顔を登録しておいて、正常に検証システムを通過しようとする者（以下、「登録ユーザ」と称する。）の通過が承認されないＦＲＲ（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ）である。説明された２つのエラー間の関係を、図７Ｂに示す。
【００６５】
図７Ａに示すように、２つのクラスのベクトル領域における分布が、理想的に完全に分離されて、一つの臨界値のみを用いて２つのクラスをエラーなしに区分できるならば、顔検証システムでは何らの問題も生じない。しかし、現実的には、図７Ｂに示すように、２つのクラス間に互いに重なる領域が生じ、これにより通過を承認する臨界値をどこに設定するかによってＦＡＲ及びＦＲＲの値が変わる。
【００６６】
図７ＢのＦＶ２のように、ＦＡＲが０になるように臨界値を高く設定すれば、侵入者の通過は防げるが、これに比例してＦＲＲの値が極めて高まるため、登録ユーザの通過が拒まれる場合が頻繁に起こり、使い勝手が極めて悪くなる。従って、一般的に、図７ＢのＦＶ１のように、極めて低い確率であるものの、侵入者の出入りを許可し、ユーザが不便さを感じないほどの臨界値を設定して運営している。本発明においても、前記した理由により通過のための第１臨界値を、ＦＶ１のように設定してある。
【００６７】
一方、一般的に、顔検証システムの登録過程で十分な顔が登録できない理由は前記の通りである。しかし、一旦登録されたユーザは、検証システムを頻繁に用いるようになるので、システムは、登録過程とは無関係にユーザが顔検証システムを通過するたびに顔映像を確保して多量の学習用データを得ることができる。しかし、検証過程で取得された映像をそのまま学習用に用いれば、セキュリティ性能に致命的なエラーが生じてしまう。すなわち、ＦＡＲが発生した顔が自動的に学習用に用いられてデータベースが更新されるならば、一度検証を通過した侵入者が、次回には何らの妨害なしに登録ユーザと同じ確率でシステムを通過できるからである。結局、ＦＡＲの発生を許諾しないようにしつつ、自動的に検証映像を学習に使用できる方法が望まれる。
【００６８】
従って、本発明においては、このような問題点を解決するために、システム通過のための第１臨界値ＦＶ１に加えて、顔データベースを更新するための第２臨界値ＦＶ２を設定し、検証対象映像の特徴値をベクトル領域に変換して計算した比較値がＦＶ１以上ＦＶ２以下であれば、単純にシステム通過のみを承認する。これに対し、比較値がＦＶ２より大きければ、通過を承認すると同時に検証用顔映像に対して登録過程の目位置変更段階（ステップＳ４３０）後の段階を行い、顔登録過程と同じ方法により、特徴分類器を学習してデータベース３８０を更新する。
【００６９】
前記した理由から、本発明は、２重臨界値を適用してユーザの不便を最小化させ、侵入者の顔映像をもってデータベースが更新されることを防ぎつつ、登録されたユーザの最新映像をもってデータベースを更新することにより、検証システムの認識性能を改善したものである。
【００７０】
本発明に係るデータベース自動更新方法を用いた顔検証方法及びそのシステムの性能向上の度合いを、下記表を参照して調べてみる。
【００７１】
【表１】

【００７２】
【表２】

総４０名に対して１人当たり５枚の顔映像を本発明のシステムに適用して得た効果を前記表に示した。
【００７３】
まず、３０名に対して一人当たり３枚の顔を予め登録し、３０名の残りの２枚を用いて総６０枚の映像をもって、登録ユーザの出入り性能を評価してＦＲＲを求め、登録されていない１０名の各５枚の映像をもって、総１５００回の侵入者の出入り性能を評価してＦＡＲを測定した。前記表には、ＦＡＲがＦＲＲと等しくなる（ＦＡＲ＝ＦＲＲ）地点のＥＥＲ（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ）を示した。表１は、認識特徴を求めずに特徴分類器のみをＳＶＭ−ＳＭＯとして具現して評価した場合であり、表２は、認識特徴としてＰＣＡを用い、特徴分類器をＳＶＭとして具現した場合である。
【００７４】
これより、２種類共に目の位置を変更することにより、目の位置を変更しない一般的な場合より２倍ほど近く検証エラーを低減できることが確認できる。
【００７５】
一方、本発明に係る顔登録方法及び顔検証方法は、コンピュータにて読取り可能な記録媒体にコンピュータにて読取り可能なコードとして具現することが可能である。コンピュータにて読取り可能な記録媒体には、コンピュータシステムにより読取り可能なデータが貯蔵される、あらゆる種類の記録装置が含まれる。例えば、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形で具現されるものも含まれる。また、コンピュータにて読取り可能な記録媒体は、ネットワークにより接続されたコンピュータシステムに分散され、分散方式によりコンピュータにて読取り可能なコードが貯蔵されて実行される。
【００７６】
本発明は、前記したような本発明の望ましい実施形態のみに限定されるものではなく、本発明の技術的思想に基づく限りにおいて、本発明の属する技術分野で通常の知識を有する者であれば、本発明の特許請求の範囲内で、前記した本発明に係る実施形態で種々の変形を行うことが可能であることは勿論のこと、このような本発明に係る実施形態の各種の変形は、本明細書に記載された特許請求の範囲内にある。
【００７７】
【発明の効果】
以上説明した通りに構成される本発明によれば、以下の効果を奏する。
すなわち、仮想の顔検出エラーに備えて、最初に検出された目位置を変更した新しい目座標が生成されれば、生成された目座標に基づき顔映像を正規化させ、顔認識の特徴を抽出して学習及び貯蔵することにより、顔検証時の目の位置が、顔登録時の目の位置と異なって検出されることにより生じる認識のエラーを改善できる。
【００７８】
また、入力映像の目位置変更を通じて生成された目座標対に基づき入力映像データを正規化させ、このようにして正規化されたデータを特徴分類器の学習に用いられる学習データに含めて学習データの数を増やすことにより、最適な特徴分類器を設計して、認識性能の低下を防ぐことが可能となる。
【００７９】
さらに、２重臨界値を適用してユーザの不便さを最小化させ、侵入者の顔映像をもってデータベースが更新されることを防ぐことができると共に、顔検証時に入力された映像をもってデータベースを更新することにより、データベースを常に最新のデータに維持して、検証システムの認識性能を改善することができる。
【図面の簡単な説明】
【図１】従来の顔検証装置における目位置検出エラーの影響を示す図である。
【図２】従来の学習映像の量による特徴分類器の設計を例示する図である。
【図３】本発明に係るデータベース自動更新方法を用いた顔検証システムの構成を示すブロック図である。
【図４】本発明に係るデータベース自動更新方法を用いた顔検証方法及びそのシステムのユーザ顔登録過程を示すフローチャートである。
【図５】本発明に係るデータベース自動更新方法を用いた顔検証方法及びそのシステムの顔検証過程を示すフローチャートである。
【図６】本発明に係る目位置の変更方向を例示する図である。
【図７】Ａは、理想的な映像データのベクトル値の分布を示す図であり、Ｂは、現実的な映像データのベクトル値の分布を考慮して２重臨界値を適用する例を示す図である。
【図８】本発明に係るハイパープレーンから入力される特徴値による特徴分類器の位置及び顔検証臨界値の変化を示す図面である。

Claims (17)

1. 顔検証システムにおいて顔を検証する方法であって、
   （ａ）入力顔映像から背景と顔とを分離して顔領域を検出する段階と、
   （ｂ）検出された前記顔領域から目の位置を検出し、前記検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する段階と、
   （ｃ）前記生成された各々の目の座標対に基づき顔映像を正規化する段階と、
   （ｄ）前記正規化されたそれぞれの顔映像から顔の認識特徴を抽出して顔認識特徴値を計算する段階と、
   （ｅ）前記顔認識特徴値を用いて特徴分類器を学習し、前記認識特徴値をデータベースに貯蔵する段階と、
   （ｆ）検証対象顔映像を入力されて顔領域を検出し、検出された顔領域を正規化し、顔の認識特徴を抽出して顔認識特徴値を計算する段階と、
   （ｇ）前記顔認識の特徴値によって前記入力顔映像の顔と登録された顔映像の類似如何及び前記入力顔映像を用いて前記データベースを更新するか否かを判定する段階と、を含むことを特徴とする顔検証方法。
2. 前記（ｇ）段階は、前記特徴分類器を用いて前記抽出された顔認識特徴値のベクトル領域での分布を計算し、前記分布を数値的に表現した比較値によって前記入力顔映像の顔と登録された顔映像の類似如何を判定する段階を含むことを特徴とする請求項１に記載の顔検証方法。
3. 前記（ｇ）段階は、前記比較値が第１臨界値以下の場合に前記利用者のシステム通過を不許可とし、前記比較値が第１臨界値より大きい場合には前記利用者のシステム通過を承認する段階を含むことを特徴とする請求項２に記載の顔検証方法。
4. 前記比較値が第２臨界値より大きい場合には前記検証対象顔映像に対して前記（ｂ）ないし（ｄ）段階を行い、前記検証対象顔映像をもって前記データベースを更新する段階をさらに含むことを特徴とする請求項３に記載の顔検証方法。
5. 顔映像を前記データベースに貯蔵していないユーザがシステムを通過する確率が０に設定された前記第２臨界値は前記第１臨界値より大きく、前記比較値が大きいほど前記検証対象顔映像と前記データベースに予め顔映像が貯蔵してあるユーザの顔映像とが一致する確率が高いことを特徴とする請求項４に記載の顔検証方法。
6. 前記（ａ）段階前に、前記入力映像の形式を前記顔検証システムに適した形式に変換する前処理段階をさらに含むことを特徴とする請求項１に記載の顔検証方法。
7. 前記（ｃ）段階は、前記生成された各々の目の座標対の中心点を計算し、前記計算された各々の中心点に基づき顔領域の傾きを補整して正規化させることを特徴とする請求項１に記載の顔検証方法。
8. 前記（ｂ）段階の前記所定の距離は、前記所定の距離に対する前記検出された顔領域の横方向の長さの比率によって計算されることを特徴とする請求項１に記載の顔検証方法。
9. 前記所定の距離に対する前記検出された顔領域の横方向の長さの比率は１／１５であることを特徴とする請求項８に記載の顔検証方法。
10. 前記（ｂ）段階の前記所定の方向は、上下左右の４方向であることを特徴とする請求項１に記載の顔検証方法。
11. 前記臨界値は下記式により決定され、ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）
    式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは学習を通じて求められるハイパープレーンの傾度を、そしてｘは顔検証時に入力される特徴値を各々意味し、バイアス値であるｂ値を調節することにより臨界値を決定することを特徴とする請求項３または４に記載の顔検証方法。
12. 請求項１に記載の方法をコンピュータにて実行可能なプログラムコードにて記録した記録媒体。
13. 入力顔映像において背景と顔とを分離して顔領域を検出する顔領域検出部と、
    前記検出された顔領域から目の位置を検出し、検出された目の位置を所定の方向及び所定の距離に各々変更し、変更された目の座標対を生成する目位置変更部と、
    前記生成されたそれぞれの目の座標対によって前記顔映像を正規化する顔領域正規化部と、前記正規化されたそれぞれの顔映像から顔の認識特徴を抽出して顔認識特徴値を計算する認識特徴抽出部と、
    前記計算された顔認識特徴値を用いて特徴分類器を学習する特徴分類器学習部と、
    前記顔認識特徴値を貯蔵するデータベースと、前記顔認識の特徴値より前記入力された顔映像と登録された顔映像との類似如何及び前記入力された顔映像を用いて前記データベースを更新するか否かを判定する判定部と、を含むことを特徴とする顔検証システム。
14. 前記入力された顔映像を映像処理に適した形に加工して前記顔領域検出部に出力する前処理部をさらに含むことを特徴とする請求項１３に記載の顔検証システム。
15. 前記目位置変更部は、上下左右の４方向に、前記顔領域映像の横方向長さの１／１５だけ各目の座標を移動させ、変更された座標対を生成することを特徴とする請求項１３に記載の顔検証システム。
16. 前記判定部は、前記検証対象顔映像から抽出された顔認識特徴値のベクトル空間における分布を数値化した比較値を計算し、前記比較値と予め登録してあるユーザの顔認識特徴値の分布により設定された臨界値とを比較し、入力された顔映像と登録された顔映像とが類似しているか否か及びデータベースを更新するか否かを判定することを特徴とする請求項１３に記載の顔検証システム。
17. 前記臨界値は下記式により決定され、ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）
    式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは学習を通じて求められるハイパープレーンの傾度を、そしてｘは顔検証時に入力される特徴値を各々意味し、バイアス値であるｂ値を調節することにより臨界値を決定することを特徴とする請求項１６項に記載の顔検証システム。

Images