JP4389956B2 - 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、撮影画像などに含まれる顔画像を識別する顔認識装置及び顔認識方法、並びにコンピュータ・プログラムに係り、特に、動画像において連続的に顔認識を行なう顔認識装置及び顔認識方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、動画全体にわたって同一人物を安定的に判定する顔認識装置及び顔認識方法、並びにコンピュータ・プログラムに係り、特に、フレーム毎に顔が上下左右に振れたり顔のサイズが変化したりする状況下において同一人物を連続的に判別する顔認識装置及び顔認識方法、並びにコンピュータ・プログラムに関する。

顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。また、最近では、デジタルカメラにおいても顔認識機能を搭載し、被写体判別や、このような判別結果に基づく自動照準、自動露光、画質調整といったカメラ制御が行なわれるようになってきている。

従来の顔認識手法のほとんどは、静止画フレームから顔の検出並びに識別を行なうものであり、また、正面画像から顔認識を行なうものが中心であった。顔識別は、あらかじめ登録された顔と入力された顔が同一人物であるかどうかを判別するものであり、入力顔は登録顔と同じような顔の向き、サイズを以って比較することが好ましい。被撮影者の人物同定結果を基に、多数の撮影画像の分類、整理、関連付けを行なうことができる。また、撮影画像中に複数の人物が写っているときには各人の重要度判別を行ない、重要度の高い「主役」に照準や露光を合わせてカメラワークの制御を行なう、あるいは画質調整などの画像処理を適合させる、といったアプリケーションが考えられる。

例えば、対象物の容貌に関する情報をあらかじめ記録しておき、画像データの中から顔検出を行なって、検出顔のうち所定の容貌と一致するものを検出して、この対象物に対して焦点合わせを行なう撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。同撮像装置は、対象物の容貌に関する情報を優先度とともに記録しておき、複数の人物が画像データ内に存在するときには、優先度の高い顔貌の順に一致判定を行なうようになっている。

デジタルビデオカメラなどの動画像にも上記の顔認識技術を搭載することで、同様に自動照準や自動露光、画質調整といったカメラ制御を行なったり、特定された人物の情報をビデオ・データの管理情報として利用したりすることができる。あるいは、人物の監視・偵察といったセキュリティ・システムに応用することなども考えられる。

ところが、動画像において連続的に顔認識を行なう場合には、被撮影者の動きに伴ってその顔の角度やサイズが変化することが想定される。すなわち、フレーム毎に顔が上下左右に振れたり顔のサイズが変化したりするため、フレーム毎に個別に顔識別を行なうと、同一人物であるにも拘らず別人物であると判定され、あるいは逆に、別人物であるにも拘わらず同一人物であると判定されてしまうといった、誤判定が生じる確率が高い。勿論、人の動きに伴って、照明や背景といった周囲環境から受ける影響により映像変化をきたし、これが画像認識処理におけるノイズの原因になる。

動画全体にわたって顔識別結果を見ると、本人と正しく判定できるフレーム（フィールド）と、誤判定されたフレーム（フィールド）が混在し、安定的に本人であるという結果が得られない場合が多くなる。動画像における顔認識の結果がフレーム毎に区々になると、例えばビデオカメラにおいては自動照準、自動露光、画質調整といったカメラ制御が不安定になってしまう問題がある。

顔認識は、例えば学習と認識の過程に大別され、認識の過程で検出・識別された識別顔を学習の過程で登録された登録顔と照合することによって顔認識、人物特定がなされる。ところが、動画像ストリームにおいて、古い登録顔を使用し続けると、被撮影者の動きに伴って生じる検出顔の角度やサイズの変化に対応できなくなり、誤認識される確率が徐々に高まっていく。

特開２００２−３３３６５２号公報

本発明の目的は、動画像において連続的に顔認識を行なうことができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、動画全体にわたって同一人物を安定的に判定することができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、フレーム毎に顔が上下左右に振れたり顔のサイズが変化したりする状況下においても、同一人物を連続的に判別することができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、人物の顔画像をあらかじめ登録するとともに、顔識別を行ないたい動画像を入力して当該入力画像から顔認識を行なう顔認識装置であって、
顔画像を登録する顔登録手段と、
入力された動画像のフレームから顔を検出する顔検出手段と、
入力された動画像のフレーム中の検出顔をトラックする顔トラッキング手段と、
前記顔トラッキング手段によりトラックしている検出顔を前記顔登録手段に登録されている登録顔と照合して顔の識別を行なう顔識別手段と、
前記顔識別手段による顔識別結果を安定化する安定化処理手段と、
を具備することを特徴とする顔認識装置である。

デジタルカメラなどに顔認識技術を適用することで、自動照準、自動露光、画質調整といったカメラ制御を行なうことができる。ところが、デジタルビデオカメラなどの動画像を取り扱う場合には、複数のフレーム（フィールド）にわたって安定して顔識別を行なうことが困難となる。

例えば、トラッキング技術をさらに導入して、撮影画像に含まれる特定の検出顔をトラッキングして顔識別を行なうことも考えられる。しかしながら、動画像においては、フレーム毎に顔が上下左右に振れたり顔のサイズが変化したりするため、フレーム毎に個別に顔識別を行なうと、同一人物であるにも拘らず別人物であると判定され、あるいは逆に、別人物であるにも拘わらず同一人物であると判定されてしまうといった、誤判定が生じる確率が高い。顔識別は一般に、あらかじめ登録された顔と入力された顔が同一人物であるかどうかを判別するものであり、入力顔は登録顔と同じような顔の向き、サイズを以って比較することが好ましい。

これに対し、本発明に係る顔認識装置は、入力された動画像のフレームから顔を検出すると、検出顔のトラッキングをロック状態にして、以降のフレームにわたって検出顔をトラックしながら登録顔と照合して顔の識別を行なうが、前記顔識別手段による顔識別結果を安定化する安定化処理手段をさらに備えている。

この安定化処理手段は、前記顔識別手段により顔の識別が行なわれた人物についての前記顔登録手段に登録されている登録顔を、動画像の所定フレーム周期毎に当該人物の現在の検出顔に更新処理するようになっているので、被撮影者の動きに伴って生じる検出顔の角度やサイズの変化に対応させて、顔識別の結果を複数のフレームにわたって安定化させることができる。

ここで、トラッキング手段によりトラッキングがロックされている検出顔のうち、顔識別結果が所定の確度を満たすものについて顔識別をロック状態にする。顔識別結果の確度は、例えば、顔識別手段により顔識別に成功した回数や、当該識別された人物についての顔識別時のスコアの積算値として表すことができる。そして、安定化処理手段は、該ロック状態に入った検出顔について登録顔の更新処理を行なうようにする。

顔識別のロック状態に入る顔は、新たにトラッキングのロックに入った顔を対象とする。これは、検出顔をトラックする過程においてトラッキングのロックが外れたときには顔識別のロックも外れるため、後に再度顔識別のロックに入る顔は新たにトラッキングのロックに入った顔だからである。顔識別のロックが解除されてから再び顔識別ロック状態に入る際、前のフレームからトラッキングされ続けている（すなわちトラッキングのロックがされたままの）検出顔は、再び顔識別ロックされた人物とは別人であることは明らかであるから、対象から外す。

また、安定化処理手段は、検出顔を顔識別のロック状態に入れるときに、顔識別に成功した回数や顔識別スコアの積算値の他に、当該顔識別された人物の年齢や性別などの属性情報を判定して、これらの判定結果を基にロック状態に入れるべきかどうかをチェックするようにしてもよい。このようにすれば、顔識別を行なう必要のない（若しくは重要性の低い）人物については登録顔の更新処理を実行しないで済む。

また、安定化処理手段は、顔識別状態のロック状態にある検出顔に関して、所定のフレーム周期で登録顔の更新処理を実施するが、そのときの検出顔が顔識別する精度が十分高いものであることなどの所定の条件を課して、登録顔の更新処理を行なうようにしてもよい。このような場合、登録顔が顔識別には好ましくない検出顔に置き換わることを防いで、以降の処理においても顔識別処理の精度を確保することができる。

ここで、検出顔を登録顔としたときの顔識別精度が高いかどうかは、例えば、検出顔のサイズ（ｓｉｚｅ）、並びに、ヨー角度（ｙａｗ）又はピッチ角度（ｐｉｔｃｈ）のうち少なくとも一方に基づいて決定することかできる、

また、本発明の第２の側面は、人物の顔画像をあらかじめ登録するとともに、顔識別を行ないたい動画像を入力して当該入力画像から顔認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
顔画像を顔登録手段に登録する顔登録手順と、
入力された動画像のフレームから顔を検出する顔検出手順と、
入力された動画像のフレーム中の検出顔をトラックする顔トラッキング手順と、
前記顔トラッキング手順においてトラックしている検出顔を前記顔登録手段に登録されている登録顔と照合して顔の識別を行なう顔識別手順と、
前記顔識別手順において顔の識別が行なわれた人物についての前記顔登録手段に登録されている登録顔を、動画像の所定フレーム周期毎に当該人物の現在の検出顔に更新処理することによって、顔識別を安定化する安定化処理手順と、
を実行させることを特徴とするコンピュータ・プログラムを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る顔認識装置と同様の作用効果を得ることができる。

本発明によれば、動画像において連続的に顔認識を行なうことができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、動画全体にわたって同一人物を安定的に判定することができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、フレーム毎に顔が上下左右に振れたり顔のサイズが変化したりする状況下においても、同一人物を連続的に判別することができる、優れた顔認識装置及び顔認識方法、並びにコンピュータ・プログラムを提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

顔認識システムは、入力画像から顔領域を検出する顔検出処理と、検出された顔領域に含まれる顔を識別する顔識別で構成される。顔検出は、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを求める処理である。１枚の画において複数の顔が存在することがある。一方、顔識別とは検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。

顔認識を行なう場合には、まず本人画像の登録を行ない、続いて、入力画像に対する顔検出とのその検出顔と登録顔との識別処理が行なわれる。

顔登録は、学習用の画像を用いて、認識処理を学習し、顔識別処理に用いる認識器を生成する処理を実行する学習モードに相当する。図１には、顔登録の流れを模式的に示している。図示のように、まず、入力画像である本人の顔画像に対して顔検出を行なう。次に、顔の枠内において特徴点の検出を行なうとともに、特徴点を基に顔の正規化を行なって、顔識別器にて特徴量を計算し、登録顔として保存する。

また、顔識別は、上記の学習モードによって生成された認識器を用いて画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する認識モードに相当する。

図２には、入力画像に対する顔検出とのその検出顔と登録顔との識別処理の流れを模式的に示している。

まず、入力画像に対して顔検出を行ない、続いて顔のトラッキング処理により、入力される動画像全体にわたって連続的に同じ人物の顔検出が行なえるようになる。

検出顔がトラッキングのロック状態に入ると、複数のフレーム（フィールド）にまたがって同一顔には同じ顔ＩＤが振られる。これ以後はトラッキングのロックが解除されるまでの間、当該検出顔を継続してトラッキングする。

続いて、顔検出枠に対して特徴点の検出を行ない、検出された特徴点を基に顔の正規化を行ない、顔識別を行なう。ここでは、登録しておいた特徴量との照合により顔識別処理が行なわれる。この識別結果に対して、安定化処理を施す。

ここで言う安定化処理とは、トラッキングのロック中の検出顔について、顔識別もロック状態にして、所定フレーム（フィールド）周期毎に当該人物の登録顔を現在の検出顔に更新していくことによって、被撮影者の動きに伴って生じる検出顔の角度やサイズの変化に対応させて、顔識別の結果を複数のフレーム（フィールド）にわたって安定化させることを意味する。同じ人物の登録顔を更新する際には、そのときの検出顔が顔識別する精度が十分高いものであることなどの所定の条件を課して、以降の処理においても顔識別処理の精度を確保するようにする。

ここで、検出顔をトラックする過程においてトラッキングのロックが外れたときには、その検出顔についての顔識別のロックも外れるものとする。したがって、後に再度顔識別のロックに入る顔は新たにトラッキングのロックに入った顔ということになる。

本発明によれば、動画像における顔検出にトラッキング技術を導入するとともに顔識別に対して安定化処理を施すことよって、被撮影者の顔が向く方向やサイズが頻繁に変化することが想定される動画像であっても、同じ人物の顔識別が連続的に行なわれるようにすることができる。

なお、本発明に係る顔認識処理において、動画像の複数のフレームにわたって同じ人物の顔を追跡するために、特定のトラッキング技術に限定されるものではない。例えば、特開２００６−０３１６７８号公報に開示されている、画像シーケンス中の代表的な顔画像を検出し追跡する画像処理方法を適用することができる。

図３には、顔登録及び顔識別を行なう顔認識システムの機能的構成例を示している。図示のシステム５０は、画像取得部５１と、顔検出部５２と、顔画像変換部５３と、顔認識処理部５４と、顔登録データベース５５と、認識結果出力部５６で構成され、入力画像に含まれる顔画像を認識して登録する学習モードと、入力画像に含まれる顔画像と各登録顔との識別処理により顔が像の人物を特定する認識モードの２つの動作モードで動作する。学習モード下では、学習用の画像を用いて認識処理を学習し、認識モードにおける認識処理に用いる認識器を生成する処理を実行する。また、認識モード下では、学習モードによって生成された認識器を用いて画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する。

顔認識システムが例えばデジタルビデオカメラに搭載されている場合、画像取得部５１は信号処理が施された後の撮影画像を取得する。取得される画像には、人の顔の部分が少なくとも含まれる画像であるとする。学習モード下では、例えば、撮像画像中の顔の大きさや向きが異なるような学習用画像を、ある人物において複数取得するとともに、その人物の顔の画像を含まない画像を複数取得する。また、認識モード下では、認識対象となる人物の顔の部分を含む撮像画像を取得する。画像取得部５１に取得された画像は、顔検出部５２に供給される。

顔検出部５２は、画像取得部５１から供給された画像を解析することにより、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像すなわち「顔画像」を検出する。画像取得部５１から供給される画像は、認識対象となる人物（若しくはペットなどの動物）の顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部５２は、そのような画像から、人の顔の領域を判断し、人の顔の部分に対応する画像を抽出する。検出された顔画像は、顔画像変換部５３内の顔特徴点検出部６１及び顔アライメント部６２に供給される。

顔画像変換部５３は、顔特徴点検出部６１と、顔アライメント部６２で構成される。

顔特徴点検出部６１は、顔検出部５２から供給された顔画像とから、顔アライメント部６２によるモーフィング処理に用いられるアライメント用特徴点を検出する。アライメント用特徴点は、例えば、目、鼻、口といった人の顔の中でも特徴となる「パーツ」、すなわち顔特徴部分であっても良いし、顔特徴部分のみならず、さらに詳細に部分分けして特徴点を検出するようにしても良い。例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）などの方法などを適用して、特徴位置を検出することが可能である。

顔アライメント部６２は、顔検出部５２から供給された顔画像、及び、顔特徴点検出部６１により検出されたアライメント用特徴点を解析することにより、抽出された顔がどの方向を向いているか（すなわち検出顔がロール、ピッチ、ヨーの各軸回りにどれだけ回転しているか）を検出する。そして、顔特徴位置が基準位置と一致するように、アフィン変換などのモーフィング処理を行なう。

例えば、正面から見た顔の画像である場合には、左右の目が水平な位置に所定の距離だけ離間し、左右の目の中間の下方に鼻が位置し、その鼻よりさらに下方に口が位置するようにモーフィング処理が施される。顔検出部５２から供給された検出顔が正面を向いていなくても、正面を向いた場合の顔画像と略同様なものに変換される。すなわち、画像取得部５１により取得された顔画像が正面を向いていない場合であっても、後段の顔認識処理部５４では顔画像の識別が可能になる。

検出顔のロール軸回りの傾きは目のずれで補正することができる。一方、ヨー軸回りの傾きは正面を向いたときの顔画像の情報が少なくなることから、顔識別の確からしさに大いに影響する。本実施形態では、顔認識結果の出力として、検出顔のロール、ピッチ、ヨーの各軸回り回転角度を出力するものとする。これらのパラメータ値は動画像における顔識別処理の安定化処理（後述）のために利用される。

上述したように、顔画像変換部５３では、検出顔から特徴点を抽出し、これら特徴点が各々の基準位置と一致するように顔画像の変換処理が施される。そして、顔認識処理部５４には、変換処理後の顔画像が供給される。顔認識処理部５４は、局所特徴計算部７１と、認識器生成部７２と、学習データ格納部７３と、顔認識部７４で構成される。

局所特徴計算部７１は、供給された顔画像の複数の特徴点における局所的な特徴量を計算する。局所特徴量を求めるための特徴点は、顔特徴点検出部６１において検出されたアライメント用特徴点と同一であっても良いし、顔特徴点検出部６１において検出されたアライメント特徴点とは全く異なる複数の点であっても良い。

局所特徴計算部７１は、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）」で構成される。人間の視覚細胞には、垂直の線に対して発火する細胞と、水平の線に反応する細胞のように、特定の方位に対して選択性を持つ細胞で構成されることが知られている。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタであり、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類からなる方向選択性のガボア・フィルタが構成される。

ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用することによって、最大４０個のスカラ値の組からなる特徴量ベクトルすなわち「ガボア・ジェット」を得ることができる。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。

局所特徴計算部７１は、学習モード下では、それぞれの特徴点において、４０以下のパラメータを有する複数の特徴量ベクトルを、認識器生成部７２に供給する。また、局所特徴計算部７１は、認識モード下では、学習データ格納部７３に格納されている認識用特徴量に基づいて、対応する特徴点の対応する局所特徴量を計算して、顔認識部７４に供給する。認識用特徴量とは、認識器生成部７２において学習により生成された認識器において用いられているのが、いずれの特徴点のどの局所特徴量（ガボア・フィルタのどの部分）であるかを示す情報である。これにより、認識器の生成、及び、顔認識時に実行される相関係数の算出を、それぞれの特徴点において、すべての次元を用いた特徴量ベクトルによる１種類の相関係数だけはなく、一部の次元を用いた特徴量ベクトルを含む複数の相関係数について行なうことが可能となる。換言すれば、それぞれ異なる次元の複数の特徴量を学習及び認識に用いることが可能となる。

認識器生成部７２は、学習モード下では、局所特徴計算部７１により算出された学習用画像の特徴量と、あらかじめ保持している学習用モデルの特徴量とを用いて、Ａｄａｂｏｏｓｔを利用した統計学習処理を実行する。一方、認識モード下では、認識処理に用いる認識器を生成し、生成された認識器と、その認識器に関する情報（相関値と、その認識器の確からしさを示す情報）を学習データ格納部７３に記憶させる。また、認識器生成部７２は、認識器の学習の過程で、対象となる顔画像を認識するのに大きく影響するモデル特徴量のみを抽出し、認識器において用いられているのがいずれの特徴点のどの局所特徴量（ガボ・アフィルタのどの矩形領域部分）であるかを示す情報である認識用特徴量として、学習データ格納部７３に供給して記憶させる。

ここで、Ａｄａｂｏｏｓｔとは、１９９６年にＦｒｅｕｎｄらによって提案された、「ランダムよりも少し良い弱い識別器」（ＷｅａｋＬｅａｒｎｅｒとも呼ぶ）を多数組み合わせることで、「強い識別器」を構築できるとする理論である。認識器生成部７２により生成される認識器は、この「ランダムよりも少し良い弱い識別器」であり、それぞれの認識機は、自分の前に生成された認識機が不得意とする認識に重みを置くようにして生成される。そして、認識処理では、それぞれの弱認識器がどの程度確からしいによって信頼度を求め、それに基づき多数決を行なう。

学習データ格納部７３には、認識器生成部７２により生成された認識器とその認識器に関する情報、及び、認識用特徴量が格納される。

顔認識部７４は、認識モードにおいて、学習データ格納部７３に格納されている認識器を用いて、局所特徴計算部７１により算出された特徴量と、顔登録データベース５５に登録されている登録顔画像データの相関係数を計算し、登録されている人物と一致するか否かを判断し、判断結果を認識結果出力部５６に供給する。すなわち、顔認識部７４は、学習データ格納部７３に格納されている認識器の信頼度に基づいて、認識器の判定結果の多数決を行ない、登録されている人物と一致するか否かの判断を実行する。

顔登録データベース５５には、登録されている人物の認識に必要な特徴量の情報が登録されている。顔登録データベース５５には、登録されている人物の顔画像のすべての特徴点におけるすべてのガボア・ジェット（前述）が登録されていても良いが、少なくとも、認識用特徴量に対応する特徴量の情報が登録されていれていればよい。

認識結果出力部５６は、顔認識部７４から供給された判断結果を出力する。例えば、入力された画像に含まれる顔画像と一致する登録顔画像が、顔登録データベース５５に登録されていた場合、一致していると判定された登録顔画像に関連付けられている人の名前などの情報が顔登録データベース５５から読み出され、その名前などの情報が、認識結果出力部５６から出力される。本実施形態では、認識モード下において動画像ストリームが入力された（画像取得部５１が取得した）ときには、認識結果出力部５６は、フレーム毎若しくは所定のフレーム間隔で、認識顔の顔識別ＩＤとともに、検出顔のサイズ、あるいは顔認識の確からしさを表すその他のパラメータ値を出力するものとする。

なお、顔認識システムの詳細に関しては、例えば本出願人に既に譲渡されている特願２００６−３３２３０２号明細書を参照されたい。

本実施形態に係る顔認識方法では、動画像において顔識別の結果をストリーム全体にわたって安定化する安定化処理を行なう点に主な特徴がある。ここで言う安定化処理とは、トラッキングにより動画像ストリームにわたって同じ人物の顔を連続的に検出し続けることを意味する。

図４には、顔識別結果を安定化するための処理手順をフローチャートの形式で示している。但し、同図中で固定閾値＝０、連続成功数３、スコア２０、更新５Ｖ、ヨー角度±１５度の数字はあくまで一例に過ぎない。

当該安定化処理には、図３に示した顔認識システム５０からは、動画像ストリームにわたってトラッキング中の検出顔に関する顔識別結果として、当該検出顔の顔識別ＩＤとともに、フレーム内での顔の位置、検出顔のロール、ピッチ、ヨーの各軸回りの回転角度、検出顔のサイズ、あるいは顔認識の確からしさを表すその他のパラメータ値が入力される。これらの顔識別結果は、動画像ストリームのフレーム毎若しくは所定のフレーム間隔で入力される。

まず、例えば固定閾値を用いて、前段の顔認識システムにおける顔識別が成功したかどうかを判定する（ステップＳ１）。

ここで、顔識別に成功していると判定されたときには（ステップＳ１のＹｅｓ）、その顔が何回連続して本人識別が成功したかをカウントする（ステップＳ２）。

次いで、顔識別スコア及び閾値を積算する（ステップＳ３）。ここで言う閾値は、例えば入力顔のサイズと、ヨー角度又はピッチ角度のうち少なくとも一方に応じて動的に制御されるが、この点の詳細については後述に譲る。

そして、トラッキングにより動画像ストリームにわたって同じ人物の顔を安定して検出しているかどうかを判定する。具体的には、連続成功カウント数がある一定値（ここでは３とする）を超えているか、又は顔識別スコアが一定値（ここでは２０とする）よりも高いかどうかをチェックする（ステップＳ４）。図５には、ある登録顔について、トラッキングのロックに応じて顔識別のロック状態に入る様子を示している。

ここで、トラッキングにより同じ人物の検出顔を安定して検出していると判定されたときには（ステップＳ４のＹｅｓ）、続いて、誰も顔識別のロックに入っていないことを確認する（ステップＳ５）。但し、本実施形態に係るシステムでは登録人数が１人であることを想定しているからであり、登録人数が複数の場合にはステップＳ５では当該人数以上ロックしていないことを確認する。

さらに、ここで顔識別のロック状態に入る顔は、新たにトラッキングのロックに入った顔を対象とする（ステップＳ６）。これは、検出顔をトラックする過程においてトラッキングのロックが外れたときには顔識別のロックも外れるため（前述）、後に再度顔識別のロックに入る顔は新たにトラッキングのロックに入った顔だからである。顔識別のロックが解除されてから再び顔識別ロック状態に入る際、前のフレームからトラッキングされ続けている（すなわちトラッキングのロックがされたままの）検出顔は、再び顔識別ロックされた人物とは別人であることは明らかであるから、対象から外す。

以上の条件を満足した場合には（ステップＳ６のＹｅｓ）、識別顔をトラッキングする顔として登録する。顔識別のロックに入る（ステップＳ８）。以降は、トラッキングのロックが外れるまでは、この登録顔をトラッキングして、同じ人物として識別し続ける。

なお、識別顔をロックする前に、積算スコアと積算閾値を比較し、積算スコアの方が積算閾値より大きい場合のみ顔識別のロックに入る、という条件をさらに付け加えることもできる（ステップＳ７）。あるいは、顔識別された人物の年齢や性別、その他の属性情報を顔識別のロック状態に入るための付帯条件をさらに設けて、顔識別を行なう必要のない（若しくは重要性の低い）人物については顔識別をロックしないようにしてもよい。

さらに、登録顔をある一定間隔で更新する（ステップＳ９のＹｅｓ）。本実施形態では、５フィールド間隔で顔識別のロックを解除して、登録顔を当該人物の現在の検出顔に更新を試みる。但し、ここで言う登録顔の更新間隔５フィールドは、更新が成功裏に行なわれたときから５フィールド目であることを意味し、更新に失敗したときにはフィールド毎に登録顔の更新が可能かどうかを逐次チェックする。

登録更新の間隔に到来したときには、そのときの検出顔が顔識別する精度が十分高いものであることなどの所定の条件を課して、登録顔の更新処理を行なう。具体的には、当該フレーム（フィールド）に含まれる検出顔のサイズ並びにヨー角度に応じた制御された閾値を計算してから、顔識別のスコアと閾値とを大小比較する（ステップＳ１０）。そして、顔識別のスコアが閾値より大きければ（ステップＳ１０のＹｅｓ）、その入力顔を登録顔として入れ替える（ステップＳ１１）。

このように、所定フレーム（フィールド）周期毎に当該人物の登録顔を現在の検出顔に更新していくことによって、被撮影者の動きに伴って生じる検出顔の角度やサイズの変化に対応させて、顔識別の結果を複数のフレーム（フィールド）にわたって安定化させることができる。図６には、同じ人物についての登録顔を所定のフィールド周期で更新する様子を示している。

ここで、検出顔のサイズ並びにヨー角度に基づいて閾値を制御するのは、サイズやヨー角度が顔識別する精度に与える影響が大きいからである。図７には、検出顔のサイズ（ｓｉｚｅ）並びにヨー角度（ｙａｗ）に基づいて閾値Ｔを決定する閾値曲線Ｔ（ｓｉｚｅ，ｙａｗ）の一例を示している。登録顔を更新する際には、そのときの検出顔によって顔識別するときの識別精度が十分高いものであるという条件を課すことによって、以降の処理においても顔識別処理の精度を確保することができる。

最後に、ステップＳ８において検出顔をロックしたかどうかに拘わらず、次のフレーム（フィールド）の処理のために、現フレーム中の検出顔の顔ＩＤ、顔識別スコア、積算スコア、積算閾値などのパラメータ値を保存しておく（ステップＳ１２）。

本実施形態では、入力顔のサイズとヨー角度で制御された閾値の決め方であるが、前提として顔検出器が顔サイズとヨー角度の情報を返すこととしている。もしピッチ角度やその他の情報を返せる場合、その情報を同じように閾値制御に使うことが考えられる。

ステップＳ１０〜Ｓ１１において登録顔の入れ替えを行なう際、入力顔の顔識別のスコアを評価する閾値は固定値であってもよいが、本実施形態では、上述したように検出顔のサイズ並びにヨー角度に応じて閾値を制御するようになっている。これは、顔識別の精度が検出顔のサイズ並びにヨー角度に依存することに基づく。このときの閾値制御の方法には、例えば以下の２通り考えられる．

（１）あらかじめテスト動画において入力顔サイズ及びヨー角度（及び顔識別に関係する他の情報）とそれに応じた顔識別のスコアを計測し、入力顔サイズ及びヨー角度（及び顔識別に関係する他の情報）でどのように顔識別スコアが変わるかを導く近似式を計算しておく。例えば、入力顔サイズに比例して顔識別スコアは増加することや、ヨー角度が大きくなると、顔識別スコアが比例して下がることから近似式を導出することができる。

（２）初期制御式として上記（１）で述べた近似式を用いるが、入力動画の入力顔サイズ及びヨー角度（及び顔識別に関係する他の情報）を同時に記録し、（１）の近似式を修正しながら閾値を動的に制御する。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明に係る顔認識技術は、デジタルビデオカメラを始めとして動画像を扱うさまざまにシステムに適用して、顔識別処理の結果を好適に安定化させることができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、顔登録の流れを模式的に示した図である。 図２は、入力画像に対する顔検出とのその検出顔と登録顔との識別処理の流れを模式的に示した図である。 図３は、顔登録及び顔識別を行なう顔認識システムの機能的構成例を示した図である。 図４は、顔識別結果を安定化するための処理手順を示したフローチャートである。 図５は、ある登録顔について、トラッキングのロックに応じて顔識別のロック状態に入る様子を示した図である。 図６は、同じ人物についての登録顔を所定のフィールド周期で更新する様子を示した図である。 図７は、検出顔のサイズ（ｓｉｚｅ）並びにヨー角度（ｙａｗ）に基づいて閾値Ｔを決定する閾値曲線Ｔ（ｓｉｚｅ，ｙａｗ）の一例を示した図である。

符号の説明

５０…顔認識システム
５１…画像取得部
５２…顔検出部
５３…顔画像変換部
５４…顔認識処理部
５５…顔登録データベース
５６…認識結果出力部
６１…顔特徴点検出部
６２…顔アライメント部
７１…局所特徴計算部
７２…認識器生成部
７３…学習データ格納部
７４…顔認識部

Claims (7)

1. 人物の顔画像をあらかじめ登録するとともに、顔識別を行ないたい動画像を入力して当該入力画像から顔認識を行なう顔認識装置であって、
   顔画像を登録する顔登録手段と、
   入力された動画像のフレームから顔を検出する顔検出手段と、
   入力された動画像のフレーム中の検出顔をトラックする顔トラッキング手段と、
   前記顔トラッキング手段によりトラックしている検出顔を前記顔登録手段に登録されている登録顔と照合して顔の識別を行なう顔識別手段と、
   前記顔識別手段による顔識別結果を安定化する安定化処理手段と、
   を具備し、
   前記顔トラッキング手段によりトラッキングされ続けてトラッキングがロックされている検出顔について顔識別をロック状態にして登録顔をトラッキングして同じ人物として識別し続け、前記顔トラッキング手段によりトラッキングのロックが外れたときに顔識別のロックを外す、
   を具備することを特徴とする顔認識装置。
2. 前記安定化処理手段は、前記顔識別手段により顔の識別が行なわれた人物についての前記顔登録手段に登録されている登録顔を、動画像の所定フレーム周期毎に当該人物の現在の検出顔に更新処理する、
   ことを特徴とする請求項１に記載の顔認識装置。
3. 前記安定化処理手段は、前記顔トラッキング手段によりトラッキングがロックされている検出顔のうち顔識別結果が所定の確度を満たすものについて、対応する登録顔の更新処理を行なう、
   ことを特徴とする請求項２に記載の顔認識装置。
4. 前記安定化処理手段は、顔識別するときの識別精度が十分高いものであることを条件として登録顔を検出顔で更新する、
   ことを特徴とする請求項２に記載の顔認識装置。
5. 前記安定化処理手段は、検出顔のサイズ並びにヨー角度又はピッチ角度のうち少なくとも一方に基づいて、当該検出顔を登録顔としたときの顔識別精度が高いかどうかを決定する、
   ことを特徴とする請求項４に記載の顔認識装置。
6. 人物の顔画像をあらかじめ登録するとともに、顔識別を行ないたい動画像を入力して当該入力画像から顔認識を行なう顔認識方法であって、
   顔画像を顔登録手段に登録する顔登録ステップと、
   入力された動画像のフレームから顔を検出する顔検出ステップと、
   入力された動画像のフレーム中の検出顔をトラックする顔トラッキング・ステップと、
   前記顔トラッキング・ステップにおいてトラックしている検出顔を前記顔登録手段に登録されている登録顔と照合して顔の識別を行なう顔識別ステップと、
   前記顔識別ステップによる顔識別結果を安定化する安定化処理ステップと、
   を有し、
   前記顔トラッキング・ステップによりトラッキングされ続けてトラッキングがロックされている検出顔について顔識別をロック状態にして登録顔をトラッキングして同じ人物として識別し続け、前記顔トラッキング・ステップによりトラッキングのロックが外れたときに顔識別のロックを外す安定化処理ステップと、
   ことを特徴とする顔認識方法。
7. 人物の顔画像をあらかじめ登録するとともに、顔識別を行ないたい動画像を入力して当該入力画像から顔認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
   顔画像を登録する顔登録手段、
   入力された動画像のフレームから顔を検出する顔検出手段、
   入力された動画像のフレーム中の検出顔をトラックする顔トラッキング手段、
   前記顔トラッキング手段によりトラックしている検出顔を前記顔登録手段に登録されている登録顔と照合して顔の識別を行なう顔識別手段、
   前記顔識別手段による顔識別結果を安定化する安定化処理手段、
   として機能させ、
   前記顔トラッキング手段によりトラッキングされ続けてトラッキングがロックされている検出顔について顔識別をロック状態にして登録顔をトラッキングして同じ人物として識別し続け、前記顔トラッキング手段によりトラッキングのロックが外れたときに顔識別のロックを外す、
   ことを特徴とするコンピュータ・プログラム。

Images