JP6434718B2 - 顔画像認識装置及び顔画像認識プログラム - Google Patents

Description

本発明は顔画像認識装置及び顔画像認識プログラムに係り、特に映像中の顔画像を認識する顔画像認識装置及び顔画像認識プログラムに関する。

コンピュータにより映像中の人物の顔を追跡及び認識する顔画像認識装置は従来から知られている（例えば特許文献１、非特許文献１参照）。

従来の顔画像認識装置は事前に用意された幾つかの可変テンプレートと入力画像に映る人物の顔領域とを照合することにより、顔領域における幾つかの特徴点を追跡する。また、従来の顔画像認識装置は特徴点の追跡に基づいて、顔全体を追跡して顔の向きを推定する。さらに、従来の顔画像認識装置は各特徴点で計測する特徴に基づいて誰の顔であるかを認識（識別）する。

特開２０１２−２３８１１１号公報

Simon Clippingdale, Mahito Fujii, "Video Face Tracking and Recognition with Skin Region Extraction and Deformable Template Matching", International Journal of Multimedia Data Engineering and Management, 3(1), 36-48, January-March 2012

従来の顔画像認識装置は、各顔領域における幾つかの特徴点の複数の仮説（特徴点の候補配置）を維持している。しかしながら、従来の顔画像認識装置は追跡中の顔領域の大きさにより、特徴点の位置推定の精度が悪くなる場合があるという問題があった。特徴点の位置推定の精度が悪くなると、推定された特徴点の位置（推定位置）を利用する顔の向きの推定や顔の認識の精度は悪く（エラーが大きく）なる。

本発明は上記の点に鑑みなされたものであり、顔画像の認識に利用する特徴点の位置推定を精度良く行うことができる顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。

上記課題を解決するため、本発明は、可変テンプレートとの照合により映像中の顔画像を認識する顔画像認識装置であって、顔画像上の複数の特徴点の配置と、各特徴点で計測された複数の解像度の特徴とを成分として有する可変テンプレートを格納したテンプレート格納手段と、映像中から抽出された顔領域上の複数の特徴点の候補配置及び各特徴点で計測された複数の解像度の特徴と、前記可変テンプレートの顔画像上の複数の特徴点の配置及び各特徴点で計測された複数の解像度の特徴と、を照合し、映像中の顔画像を認識する認識手段と、を有し、前記認識手段は、前記可変テンプレートの顔画像上の複数の特徴点の配置と前記映像中から抽出された顔領域上の複数の特徴点の候補配置との大きさの差に基づき、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度を、前記可変テンプレートの複数の解像度から決定し、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度の数を、全候補配置で同一とすることを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、顔画像の認識に利用する特徴点の位置推定を精度良く行うことができる顔画像認識装置及び顔画像認識プログラムを提供することができる。

ＰＣの一例のハードウェア構成図である。 本実施例の顔画像認識装置の一例の機能構成図である。 可変テンプレートの一例のイメージ図である。 マッチング処理の一例のイメージ図である。 可変テンプレートマッチングにおけるガボールウェーブレット特徴の拡大について説明するためのイメージ図である。 顔画像認識装置において発生する誤差の一例について説明するための図である。 可変テンプレート及び入力フレームぞれぞれの特徴の計測に用いるガボールウェーブレットの一例の構成図である。 従来の顔画像認識装置において大きな誤差が発生する原因について説明する図である。 本実施例の顔画像認識装置における処理の一例の概要図である。 従来の顔画像認識装置の処理手順を表した一例のフローチャートである。 本実施例の顔画像認識装置の処理手順を表した一例のフローチャートである。 上下の顔向き推定値の安定化について表した一例の図である。 左右の顔向き推定値の安定化について表した一例の図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。

＜ハードウェア構成＞
本実施例の顔画像認識装置は、ＰＣやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をＰＣにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。

本実施例の顔画像認識装置は例えば図１に示すようなハードウェア構成のＰＣにより実現される。図１はＰＣの一例のハードウェア構成図である。ＰＣ１０はバス１９で相互に接続されている入力装置１１、出力装置１２、記録媒体読取装置１３、補助記憶装置１４、主記憶装置１５、演算処理装置１６、インタフェース装置１７を含む。

入力装置１１はキーボードやマウス等である。入力装置１１は各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等である。出力装置１２は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置１７は、モデム，ＬＡＮカード等である。インタフェース装置１７は、ネットワークに接続するために用いられる。

顔画像認識装置に搭載される顔画像認識プログラムは、ＰＣ１０を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体１８の配布やネットワーク等からのダウンロードなどによって提供される。

記録媒体１８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

顔画像認識プログラムを記録した記録媒体１８が記録媒体読取装置１３にセットされると、顔画像認識プログラムは記録媒体１８から記録媒体読取装置１３を介して補助記憶装置１４にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置１７を介して補助記憶装置１４にインストールされる。

補助記憶装置１４は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置１５は顔画像認識プログラムの起動時に、補助記憶装置１４から顔画像認識プログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。

＜機能構成＞
本実施例の顔画像認識装置は、例えば図２に示すような機能構成により実現される。図２は本実施例の顔画像認識装置の一例の機能構成図である。図２の顔画像認識装置２０は肌色領域抽出部２１、顔領域検出部２２、顔部品追跡部２３、可変テンプレートＤＢ２４を有する構成である。

肌色領域抽出部２１は入力映像中から肌色の領域を抽出し、顔領域検出処理の範囲を絞る。顔領域検出部２２は肌色領域抽出部２１によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は特許文献１などに記載されるように既存の技術を利用できる。

顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。顔部品追跡部２３の処理の詳細は後述する。

可変テンプレートＤＢ２４は正面の向きの可変テンプレート（以下、人物特定可変テンプレートという）と、正面以外の向きの可変テンプレート（以下、人物不特定可変テンプレートという）とを登録している。人物特定可変テンプレートは認識対象となる人物の正面の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。

顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に誰の顔が映っているかを認識し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が映っているかを推定する。

顔部品追跡部２３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持する。

顔画像認識装置２０は、入力映像中の顔と考えられる顔領域について複数の仮説を維持する。なお、仮説とは、顔における幾つかの特徴点（目頭、目尻、鼻先など）の候補配置（画像上の座標）である。顔画像認識装置２０は前フレームから残った仮説に基づいて初期化して、現フレームで顔の特徴点の探索を行う「可変テンプレートマッチング」により顔を追跡し、顔の向きの推定や顔の認識などを行う。

図３は可変テンプレートの一例のイメージ図である。人物特定可変テンプレートは、認識対象とする人物の正規化された正面顔画像における９点の特徴点の配置と、各特徴点を中心とした画像の近傍から計測された多重解像度のガボールウェーブレット特徴を有する。また、人物不特定可変テンプレートは人物特定可変テンプレートと同様な構成を持つ（つまり最大９点の特徴点の座標と、各特徴点で計測された多重解像度のガボールウェーブレット特徴からなる）が、次の点で異なる。人物不特定可変テンプレートは元の画像が認識対象とする人物（登録者）の顔画像でなく、特徴点ごとに多くの人物の顔画像から作成された平均的な顔画像である。人物不特定可変テンプレートは複数の顔向き（例えば左右×上下の１５度間隔）で用意される。

＜入力映像の各フレームに対する処理＞
顔画像認識装置２０では、肌色領域抽出のあと、顔領域検出部２２が顔でありそうな領域を見つけ、可変テンプレートマッチングを初期化する。顔部品追跡部２３は入力映像の各フレーム（入力フレーム）ごとに、顔領域検出部２２の出力に基づいた仮説（入力フレーム上の特徴点の配置）及び前フレームから残った幾つかの仮説を順番にマッチング処理する。

図４はマッチング処理の一例のイメージ図である。顔部品追跡部２３は可変テンプレートＤＢ２４から可変テンプレートを選択する。顔部品追跡部２３は選択した可変テンプレートの特徴点配置から仮説（マッチング処理中）の特徴点配置への拡大・回転・位置ずれを推定し、推定した拡大・回転・位置ずれを選択した可変テンプレートに施す。顔部品追跡部２３は、拡大・回転・位置ずれを施された可変テンプレートの特徴点配置から特徴点の探索を行う。

顔部品追跡部２３は特徴点ごとに入力フレーム上の低解像度の全方位のガボールウェーブレット特徴を計測し、可変テンプレートの特徴点のガボールウェーブレット特徴との類似度を調べる。顔部品追跡部２３は類似度を最大とする繰り返し処理により特徴点の位置ずれを推定する。

全特徴点での探索が収束したら、顔部品追跡部２３は各特徴点での類似度と可変テンプレート全体の歪み（ペナルティ）からマッチスコアを算出し、新しい仮説（初期化に用いた仮説の特徴点をずらされたもの）のスコアを増加させる。顔部品追跡部２３はマッチスコアが十分に大きければ（閾値を超えたら）次に高い解像度の処理に進む。

つまり、顔部品追跡部２３は特徴点ごとに入力フレーム上の次に高い解像度の全方位のガボールウェーブレット特徴を計測し、上記のような処理を繰り返すことで新しい仮説のスコアを更に増加させる。本実施例では顔部品追跡部２３が例えば５つの解像度の処理を繰り返す例について説明する。

顔部品追跡部２３は上記の処理を全仮説について行うことで、多数の新しい仮説と、それぞれの仮説のスコアとを得る。顔部品追跡部２３は、それぞれの仮説を空間的にグループ化する。顔部品追跡部２３はグループ毎（顔領域ごと）にスコアの大きい順にＮ（例えば６など）個の新しい仮説を残し、それ以外の仮説を捨てる。顔部品追跡部２３は残った６個の仮説から現フレームでの出力を算出すると共に、次フレームでの可変テンプレートマッチングを初期化する。

図５は可変テンプレートマッチングにおけるガボールウェーブレット特徴の拡大について説明するためのイメージ図である。図５に示すように、図５の左側にある可変テンプレートの特徴と図５の右側の入力フレームにおける顔領域の特徴とを照合する為には、入力フレームにおける顔領域の大きさに相当して拡大したガボールウェーブレット特徴を用いる必要がある。

拡大率は可変テンプレートにある特徴点から仮説にある特徴点への写像を推定して適用する。例えば拡大率は可変テンプレートにある特徴点から仮説にある特徴点までの写像の拡大率と等しい。このように、顔部品追跡部２３は仮説の大きさ相当に拡大されたガボールウェーブレット特徴を利用する。

＜従来の顔画像認識装置における誤差＞
図６は顔画像認識装置において発生する誤差の一例について説明するための図である。図６（Ａ）は従来の顔画像認識装置から出力された出力結果の一例を表している。図６（Ｂ）は本実施例の顔画像認識装置から出力された出力結果の一例を表している。なお、図６において「◆」は仮説にある特徴点の推定位置を表している。「◇」は顔画像認識装置２０からの出力（全仮説の特徴点の推定位置の重み付き平均）を表している。

「ｌａｔ」は左右の顔向き推定値（正面からの度）を表している。「ｌｏｎ」は上下の顔向き推定値（正面からの度）を表している。図６（Ａ）は特徴点の推定位置が正しい位置からずれており、顔向き推定値も正しい向き（ほぼ正面）から大きくずれている。図６（Ｂ）は特徴点の推定位置が正しい位置にあり、顔向き推定値も正しい向きとなっている。なお、図６（Ａ）は顔向き推定値が左右の方向にずれた例であるが、同一現象により上下の方向にずれる場合もある。

従来の顔画像認識装置では追跡中の顔領域の大きさにより、図６（Ａ）に示すように、特徴点の推定位置と顔向き推定値とに比較的大きな誤差が発生する場合があった。具体的に、従来の顔画像認識装置では入力映像中の顔領域が可変テンプレートの構築に用いられた画像と同じ大きさか、その画像より小さく幾つかの大きさで映るときに発生する。

ここでは従来の顔画像認識装置において特徴点の推定位置と顔向き推定値とに比較的大きな誤差が発生する原因について、図７及び図８を用いて説明する。図７は可変テンプレート及び入力フレームぞれぞれの特徴の計測に用いるガボールウェーブレットの一例の構成図である。図８は従来の顔画像認識装置において大きな誤差が発生する原因について説明する図である。

可変テンプレートの特徴点における特徴を計測するガボールウェーブレットは複数の解像度で存在する。図７では５つの解像度（ｒ＝０［低解像度］，…，ｒ＝４［高解像度］）が１／２オクターヴの間隔にある。一方、入力映像中の顔領域の大きさが事前に知られていないため、入力映像中の顔領域から特徴を計測するためのガボールウェーブレットは多数の解像度で、より細かく１／６オクターヴの間隔で用意されている。

入力映像中の顔領域から特徴を計測するためのガボールウェーブレットは画素の標本化により定められた最高解像度を持つガボールウェーブレットを例えば０番とし、より低解像度のウェーブレットを１、２番、などの番号とする。そうすると、可変テンプレートの特徴点における特徴を計測するガボールウェーブレットは０（ｒ＝４）、３（ｒ＝３）、６（ｒ＝２）、９（ｒ＝１）、１２（ｒ＝０）番となる。

仮説が可変テンプレート内の特徴点配置と同じ大きさの場合、入力フレームの特徴の計測には、可変テンプレートの特徴の計測に用いたものと同一のガボールウェーブレットが用いられる（０、３、６、９、１２番）。

仮説が可変テンプレート内の特徴点配置より大きい場合、入力フレームの特徴の計測には、より大きなガボールウェーブレットが用いられる。図７には可変テンプレートより１オクターヴ大きい場合に６、９、１２、１５、１８番が用いられる例と、可変テンプレートより１／３オクターヴ大きい場合に２、５、８、１１、１４番が用いられる例とが示されている。

仮説が可変テンプレート内の特徴点配置より小さい場合、入力フレームの特徴の計測には、より小さなガボールウェーブレットが用いられる。図７には可変テンプレートより１／３オクターヴ小さい場合に１、４、７、１０番が用いられる例が示されている。

このように、仮説が可変テンプレート内の特徴点配置より小さい場合、入力フレームの特徴の計測には、より小さなガボールウェーブレットが用いなければならないが、可変テンプレート内の最も高解像度の０番のガボールウェーブレットに対応する小さなガボールウェーブレットが無い。

したがって、仮説が可変テンプレート内の特徴点配置より小さい場合は、入力フレームの特徴の計測に用いるガボールウェーブレットの数が１つ以上減ってしまう。図７の例では、仮説が可変テンプレートより１／３オクターヴ小さいと４つのガボールウェーブレットしが使用できない。

このように、仮説が可変テンプレート内の特徴点配置より小さい場合は１／２オクターヴ間隔で、相次ぎ使用可能なガボールウェーブレットの解像度の数が一つずつ減っていく。このような使用可能なガボールウェーブレットの解像度の数が減る仮説の大きさ付近で、従来の顔画像認識装置において大きな誤差（大きさバイアス）が発生する。

図８では上記のように使用可能なガボールウェーブレットの解像度の数が減る仮説の大きさ（サイズ）をＳｉとしている。サイズＳｉより少し大きな仮説は使用可能なガボールウェーブレットの解像度の数がＲ（例えば４）である。このときサイズＳｉより少し小さな仮説は使用可能なガボールウェーブレットの解像度の数がＲ−１（例えば３）である。

新仮説のスコアはマッチできたガボールウェーブレットの解像度の数が多ければ多い程、スコアが大きく。その結果、サイズＳｉより少し大きな仮説と少し小さな仮説があれば、より多くの解像度でマッチングが取れた大きい仮説の方がスコアが大きい。

顔部品追跡部２３は各フレームの各顔領域ごとに、複数の仮説により初期化して複数の可変テンプレートとの照合を行い、多数の新仮説を生成する。顔部品追跡部２３は各顔領域に関する仮説を空間的にグループ化し、グループ毎にスコアが大きい順で幾つか（例えば６個）の新仮説を残して、残りを捨てる。

その結果、従来の顔画像認識装置は、より多くの解像度でマッチングが取れた大き目の仮説しか残らない傾向にあって、大きさバイアスが発生していた（正しい特徴点の配置より広い配置を持つ仮説が残って、特徴点の位置推定の精度が悪く（エラーが大きく）なる）。

このような大きさバイアスは、追跡・認識対象となる各領域に対して複数の仮説を維持していくこと；照合結果として各新規仮説にマッチスコアを算出すること；多くの解像度でマッチングが取れる程スコアが大きくなること、を条件として満たす情報処理システムであれば発生する可能性がある。

＜本実施例の顔画像認識装置における処理＞
図９は本実施例の顔画像認識装置における処理の一例の概要図である。大きさバイアスが発生する原因は、同一の顔領域に対する複数の仮説の中に、マッチングの取れるガボールウェーブレットの解像度の数が異なる仮説が混在することである。そこで、本実施例の顔画像認識装置２０は同一の顔領域に対する複数の仮説の中に、マッチングの取れるガボールウェーブレットの解像度の数が異なる仮説が混在しないようにした。

具体的に、本実施例の顔画像認識装置２０の顔部品追跡部２３は入力フレームでの可変テンプレートマッチングを行う前に、前フレームから残った仮説を空間的にグループ化する。そして、顔部品追跡部２３は各グループ毎に最も小さな仮説に相当する最高解像度を、グループに属する全仮説の最高解像度とする。

ところで、顔領域が縮小している場合（例えば顔がカメラから遠ざかっているとき）は入力フレームでの特徴点配置が前フレームのより小さいので、図９の波線に示すように、照合前の最も小さな仮説より更に小さな大きさを基準にして余裕を持つ必要がある。

そこで、本実施例の顔画像認識装置２０では、この余裕の程度を例えば１０％に設定する。この余裕の程度は後述する図１０、図１１においてパラメータｍとして設定される。本実施例の顔画像認識装置２０では、グループ毎に最も小さな仮説より更に小さい大きさ（図９の波線）に相当する最高解像度を、グループに属する全仮説の最高解像度とする。このような制限により、本実施例の顔画像認識装置２０では各グループの全仮説が同じガボールウェーブレットの解像度の数を用いて照合を行うことができるので、大きさバイアスの発生を防止できる。

図１０は従来の顔画像認識装置の処理手順を表した一例のフローチャートである。ステップＳ１１において、顔部品追跡部２３は可変テンプレートの特徴点配置を設定する。また、ステップＳ１２において、顔部品追跡部２３は前フレームから残った仮説の特徴点配置を設定する。ステップＳ１３において、顔部品追跡部２３は前フレームから残った仮説ごとに可変テンプレートから仮説まで、特徴点集合の拡大率ｄijを推定する。

ステップＳ１４において、顔部品追跡部２３は可変テンプレート構築時に用いられたガボールウェーブレットの大きさを｛Ｓr，０≦ｒ≦４｝（ｒが解像度、ｒ=０が低解像度、ｒ＝４が高解像度、Ｓr＞Ｓr+1）とする。また、顔部品追跡部２３は可変テンプレートＤＢ２４に登録されている可変テンプレートのガボールウェーブレット特徴と照合するために、入力フレームのガボールウェーブレット特徴の計測で用いるガボールウェーブレットの大きさを

に設定する。結果、

の場合、顔部品追跡部２３はステップＳ１５において、図７を用いて説明したように、幾つかの解像度のガボールウェーブレットが使えなくなり、同一の顔領域に対する複数の仮説の中に、マッチングの取れるガボールウェーブレットの解像度の数が異なる仮説が混在することになる。

そして、ステップＳ１６、Ｓ１７において、顔部品追跡部２３は各顔領域に関する仮説を空間的にグループ化し、グループ毎にスコアが大きい順で幾つか（例えば６個）の新仮説を残して、残りを捨てる。

図１１は本実施例の顔画像認識装置の処理手順を表した一例のフローチャートである。本実施例の顔画像認識装置２０ではステップＳ２１において、仮説を空間的にグループ化する。

ステップＳ２２において、顔部品追跡部２３は各グループ毎に最も小さな仮説を見つける。ステップＳ１４ａにおいて、顔部品追跡部２３は各グループ毎に最も小さな仮説より更に小さい大きさに相当する最高解像度を、グループに属する全仮説の最高解像度とする。ステップＳ１４ａにおける制限により、顔部品追跡部２３は各グループの全仮説が同じガボールウェーブレットの解像度の数を用いて照合を行うことができるので、大きさバイアスが発生しない。

＜効果＞
図１２は上下の顔向き推定値の安定化について表した一例の図である。図１３は左右の顔向き推定値の安定化について表した一例の図である。図１２及び図１３は入力条件が最悪（つまり使用可能なガボールウェーブレットの解像度の数が一つ減る大きさで顔領域が映る）の場合の典型的な１００フレームシーケンスにおける顔向き推定値を示している。

図１２及び図１３に示すように、本実施例の顔画像認識装置２０は顔向き推定値が従来の顔画像認識装置と比較して大幅に安定化している。なお、図１２及び図１３はフレーム画像を参照すると明らかなように、ほぼ正面を顔が向いている例である。

なお、大きさバイアスの課題を解決する方法としては、例えば入力フレームの各顔領域を各仮説の特徴点配置の広さに正規化させるように入力フレームの顔領域をリサイズ（拡大・縮小）し、ガボールウェーブレット特徴を計測する方法もある。

しかし、この方法ではガボールウェーブレット特徴をキャッシュする「特徴キャッシュ」が効かなくなるので、ガボールウェーブレット特徴の計測に伴う計算量が重くなる。

特徴キャッシュは、ガボールウェーブレット特徴を計測するときに、別の仮説の照合処理を行ったときに同一のガボールウェーブレット特徴が既に計測されたのかを見て、計測されたとしたら新たに計測せずに、キャッシュからガボールウェーブレット特徴の値を読み出すことにより計算量を軽減するものである。本実施例の顔画像認識装置２０は特徴キャッシュをそのまま利用可能である。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１０ ＰＣ
１１ 入力装置
１２ 出力装置
１３ 記録媒体読取装置
１４ 補助記憶装置
１５ 主記憶装置
１６ 演算処理装置
１７ インタフェース装置
１８ 記録媒体
１９ バス
２０ 顔画像認識装置
２１ 肌色領域抽出部
２２ 顔領域検出部
２３ 顔部品追跡部
２４ 可変テンプレートＤＢ

Claims (3)

1. 可変テンプレートとの照合により映像中の顔画像を認識する顔画像認識装置であって、
   顔画像上の複数の特徴点の配置と、各特徴点で計測された複数の解像度の特徴とを成分として有する可変テンプレートを格納したテンプレート格納手段と、
   映像中から抽出された顔領域上の複数の特徴点の候補配置及び各特徴点で計測された複数の解像度の特徴と、前記可変テンプレートの顔画像上の複数の特徴点の配置及び各特徴点で計測された複数の解像度の特徴と、を照合し、映像中の顔画像を認識する認識手段と、
   を有し、
   前記認識手段は、前記可変テンプレートの顔画像上の複数の特徴点の配置と前記映像中から抽出された顔領域上の複数の特徴点の候補配置との大きさの差に基づき、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度を、前記可変テンプレートの複数の解像度から決定し、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度の数を、全候補配置で同一とすること
   を特徴とする顔画像認識装置。
2. 複数の解像度の特徴は、複数の解像度のガボールウェーブレットにより計測されたガボールウェーブレット特徴であること
   を特徴とする請求項１記載の顔画像認識装置。
3. コンピュータを、
   顔画像上の複数の特徴点の配置と、各特徴点で計測された複数の解像度の特徴とを成分として有する可変テンプレートを格納したテンプレート格納手段、
   映像中から抽出された顔領域上の複数の特徴点の候補配置及び各特徴点で計測された複数の解像度の特徴と、前記可変テンプレートの顔画像上の複数の特徴点の配置及び各特徴点で計測された複数の解像度の特徴と、を照合し、映像中の顔画像を認識する認識手段、
   として機能させ、
   前記認識手段は、前記可変テンプレートの顔画像上の複数の特徴点の配置と前記映像中から抽出された顔領域上の複数の特徴点の候補配置との大きさの差に基づき、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度を、前記可変テンプレートの複数の解像度から決定し、前記顔領域上の複数の特徴点の候補配置ごとに各特徴点で複数の解像度の特徴を計測するときの解像度の数を、全候補配置で同一とすること
   を特徴とする顔画像認識プログラム。
   

Images