JP4645223B2 - 顔追跡プログラムおよび顔追跡方法 - Google Patents

Description

本発明は顔と顔部品の追跡に関し、より詳細にはリソースが限られている携帯情報端末において動画像から顔と顔部品を追跡して得られる情報をもとにしたアプリケーションに必要な顔追跡プログラムおよび顔追跡方法に関する。

携帯電話やＰＤＡ（Personal Digital Assistance）などの携帯情報端末で動画像を扱う機会が増え、コミュニケーション・エンターテイメントに関連したアプリケーションの開発が行われるようになってきた。このようなアプリケーションの開発においては、動画像から顔や顔に付属する目や鼻などの部品（顔部品）を自動的に追跡して顔の向きや表情などの情報を抽出する技術が求められる。しかしながら、携帯情報端末に搭載しているＣＰＵ性能やメモリ容量などのリソースはコストの面から制約が大きく、この限られたリソースの中でリアルタイムに情報の抽出を正確に行うことが求められている。

顔部品を抽出する技術として、顔色彩パターンから顔領域を検出し、顔領域の濃淡から顔部品を探索する基準位置を設定して顔部品の位置を求める提案がなされている。この提案では、顔部品の基準位置の決定する順序において先ず顔中心線を求め、投射ピーク値を基に目、口と顔部品の位置を求めている（特許文献１）。

また、モデルグラフと画像から得られたバンチグラフとの類似度に基づいて顔の認識を行う提案がなされている。この類似度の比較は３次元で成される（特許文献２）。
特開２００３−２８１５３９号公報 特開２００２−５１１６１７号公報

上記に述べたように、携帯情報端末の少ないリソースの中で動画像から顔および顔部品を精度高く検出し、追跡することが求められている。

特許文献１の方法は顔色彩パターンをもとに顔領域を求めているが、携帯情報端末において画像が取り込まれる状況が大きく変化する場合の顔色彩パターンに対する配慮がなされていない、という問題がある。例えば日が当った場合の顔の色彩と暗い室内での顔の色彩では大きく異なり、最初に予め定められた顔色彩パターンを用いて顔領域を検出する際に検出が不可能な場合が出てくることが考えられる。

また、特許文献２では３次元モデルに当てはめることを行い、予め正確な３次元モデルを必要とすること。さらに、追跡においても３次元モデルへの当てはめに時間を要し、携帯情報端末のリソースでの実現が難しい、という問題がある。

本発明は、処理速度・メモリ量・コードサイズ・データサイズなどのリソースが制限された携帯情報端末等で、上記の問題を解決しながら動画像中の顔および顔部品を実時間で追跡する追跡プログラムおよびその方法を提案するものである。

本発明の顔追跡プログラムおよび顔追跡方法は、以下のように構成される。
（１）第１の発明
第１の発明は、動画像の最初のフレーム画像から顔の領域を求めて顔部品の位置を検出し、以降のフレーム画像で検出した位置を基とした所定の探索領域でそれぞれの顔部品の追跡を行い、追跡ができなくなったとき再び顔領域から顔部品の位置を検出して追跡を行うものである。

図１は第１の発明の原理を示すもので、顔部品検出手順１０、顔部品追跡手順２０および検出追跡切替手順３０で構成する。

顔部品検出手順１０は、追跡を開始する最初のフレーム画像から顔領域を求め、この顔領域から目や眉などの個々の顔部品の位置を求める。

顔部品追跡手順２０は、以降のフレーム画像において顔部品検出手順１０で求めた顔部品の位置を基とする所定の大きさの第１の探索領域内で各顔部品を追跡する。

検出追跡切替手順３０は、顔部品追跡手順２０において追跡に失敗したとき、顔部品検出手順１０に戻って顔部品位置を求め、改めて追跡を開始する。

ここで最初のフレーム画像とは、追跡を開始するために顔部品を検出するときの動画像のフレーム画像のことであり、追跡に失敗して改めて顔部品を検出する場合もその時のフレーム画像は最初のフレーム画像である。また、以降のフレーム画像とは、最初のフレーム画像の次のフレーム画像からの画像である。

第１の発明によれば、初めに全体の画像から大域的に顔部品の位置を求め、以降はその位置を基に局部的に顔部品を追跡するためメモリ資源は少なくてよく、高速に処理を行うことができる。
（２）第２の発明
第２の発明は、顔部品検出手順において、肌色モデルを用いて顔領域を検出した後、顔部品群のテンプレートマッチングで顔基準位置を求め、続いて顔基準位置を基にして個々の顔部品の位置を予測し、その予測位置に対して設定した探索領域から顔部品のテンプレートマッチングにより顔部品の位置を検出するものである。

図２は第２の発明の原理を示すもので、顔領域検出手順４０、顔基準位置決定手順５０および顔部品位置検出手順６０で構成する。

顔領域検出手順４０は、最初のフレーム画像において肌色モデルを用いて顔領域を検出する。

顔基準位置決定手順５０は、顔領域検出手順４０で求められた顔領域の画像と、予め保持している顔部品群のテンプレートの画像とのマッチングを行い、テンプレートに設定された基準位置を基に顔領域の顔基準位置を求める。顔基準位置は、顔部品位置を予測するための基準とする位置である。顔部品群のテンプレートとは目、眉、鼻などの顔部品が配置されたテンプレートであり、そのテンプレートには基準位置（例えば眉間の位置）が設定されている。

顔部品位置検出手順６０は、求められた顔基準位置からそれぞれの顔部品の位置を予測し、その予測位置に設定された所定の大きさの第２の探索領域内の画像と、予め保持しているそれぞれの顔部品のテンプレート画像とのマッチングを行い顔部品位置を求める。

第２の発明によれば、肌色モデルにより正確に顔領域が求められ、顔部品群テンプレートのマッチングで求められた顔基準位置を基に顔部品テンプレートのマッチングを行うので、顔部品位置を精度高く高速に処理を行うことができる。
（３）第３の発明
第３の発明は、追跡中の顔部品の画像をテンプレートとして取り込み、このテンプレートを用いて追跡を行うものである。即ち、第１の発明における顔部品追跡手順において、追跡中の顔部品の画像を所定のタイミングで顔部品のテンプレートとして取り込む。そして、それ以降の画像に対してはこのテンプレートを用いたテンプレートマッチングで追跡を行う。所定のタイミングとは、例えば顔部品の大きさの変化を調べ、変化がある比率以上となったときをいう。

第３の発明によれば、追跡中の顔部品画像の変化（例えば顔の向き変わり顔部品の形や大きさが変わる場合）にも正確な追跡が可能となる。
（４）第４の発明
第４の発明は、顔部品位置を基にした２次元グラフ構造で顔姿勢情報の出力と顔部品追跡の成否判定を行うものである。即ち、第１の発明の顔部品追跡手順で得られたそれぞれの顔部品位置をノードとした２次元グラフ構造を生成し、２次元グラフ構造を形成するノードとエッジの幾何学的な特徴量または位相的な特徴量から顔の向き、顔の前後角度および左右角度を含む顔姿勢情報を出力する。さらに、この２次元グラフ構造の幾何学的な特徴量または位相的な特徴量から追跡の成功、失敗を判定する。

第４の発明によれば、生成された２次元グラフ構造からエッジの長さやノードの相対位置などを容易に計算でき、顔の姿勢情報として出力できる。また、これらの情報から顔部品追跡の成否判定も容易に判定できる。
（５）第５の発明
第５の発明は第１の発明に基づいた方法である。

第１の発明により、メモリ容量と演算性能に制限のある携帯情報端末でも容易に顔部品の追跡が可能なプログラムの提供ができる。

第２の発明により、顔部品の追跡の前段階である顔領域と顔部品位置の特定が高い精度で検出でき、また高速に処理を行うことができる。

第３の発明により、顔の向きが変わって顔部品の形や大きさが変化してもその変化した顔部品のテンプレートを用いるので、より正確に顔部品の位置を追跡することができる。

第４の発明により、顔部品をノードとする２次元グラフ構造を作成することにより、容易に顔姿勢の情報を求めて出力でき、顔部品の追跡の成否判定も容易にできる。

第５の発明により、メモリ容量と演算性能に制限のある携帯情報端末でも容易に顔部品の追跡が可能な方法の提供ができる。

本発明を携帯電話のコミュニケーション・エンターテイメントに適用した例（ここでは、携帯電話のカメラから取り込んだ顔の動画像にイラストで作成された画像を合成して表示する）を、実施例として図３から図１５を用いて説明する。

図３は本発明を携帯電話に適用した場合のシステム構成を示すもので、携帯電話の各入出力、プログラムを制御する制御部１１０、基地局との通信を行う通信部１２０、音声のマイクとスピーカーからなる音声入出力部１３０、カメラなどの画像入力部１４０、液晶ディスプレイなどの表示部１５０および顔追跡プログラム１６０から構成する。

顔追跡プログラム１６０は、更に画像取得部１６１、検出部１６２、追跡部１６３、特徴量抽出部１６４および合成描画部１６５で構成する。これらのプログラムは次の処理を行う。

画像取得部１６１は、画像入力部１４０から１フレーム毎の画像を順次取得し、図示しない記憶領域に記憶する。

検出部１６２は、記憶された画像に対して肌色モデルを用いて顔領域を検出し、その顔領域の画像部分と図示しない記憶部に保持している顔部品群テンプレート画像とのマッチングを行い顔基準位置を決定する。更に、顔基準位置をもとに顔部の位置を予測し、その予測した位置を基にした探索領域内で目や眉などの顔部品テンプレート画像（この顔部品テンプレートも図示しない記憶領域に予め記憶してあるものとする）とのマッチングを行い顔部品位置を決定する。

追跡部１６３は、検出部１６２で得られた顔部品位置を基にして、次のフレーム画像に対してそれぞれの顔部品に対して予め定めた大きさの探索領域内でその領域の画像と顔部品のテンプレート画像とのマッチングを行って顔部品位置を求める。

特徴量抽出部１６４は、追跡部１６３で求めた顔部品位置をノードとする２次元グラフを生成し、エッジとノードの長さと位置から顔姿勢の情報を抽出する。

合成描画部１６５は、図示しない記憶領域から例えばイラストで作成されたサングラスを取り出し、特徴量抽出部１６４で抽出された顔姿勢情報をもとにそのサングラスの位置、角度を付けて画像取得部１６１で取得した顔の原画像と合成し、その画像を通信部１２０を介して通信先に送信する。または、利用者の意思で利用者自身の携帯電話の表示部１５０にサングラスを付けた自身の顔の動画像を表示する。

次に、上記に示したプログラムの処理のフローを説明する。図４は処理のフローを示すもので、ここでは処理全体の流れを大まかに説明することとし、個々の処理の詳細は後述する。

まず、プログラムは起動に伴い処理を検出モードと設定し、画像が記憶された記憶領域から作業領域に画像データを取り込む。処理モードは検出モードであるので顔領域の検出を肌色モデルを用いながら行い、続いて顔部品群のテンプレートを用いて顔基準位置を求める。求めた顔基準位置から、目や眉など大凡の位置を予測できるのでその位置を基に探索領域をそれぞれの顔部品に対して設定し、顔部品の検出を行う。即ち、画像中から顔領域を検出する手段、顔領域から基準となる位置を検出する手段、基準位置をもとに顔部品を検出する手段、と段階的に進める。検出された顔部品が顔であるかどうか、をそれぞれの顔部品との位置関係で判定し、顔と判定されれば処理モードを追跡モードに設定する。次のステップで現在作業中の画像の１フレーム分の画像を表示部１５０に表示する。そして、利用者から終了の指示がなされていなければ終了判定で未終了と判定し（終了の場合は、利用者から例えば終了の釦が押下される）次のフレーム画像を取り込むステップに戻る。顔でないと判定した場合は、そのフレーム画像では追跡が困難であるので取り込んだ１フレーム分の画像を一旦表示し、終了判定において未終了でなければ次のフレームの画像を取り込んで再び顔部品の検出を行う。(Ｓ１１０〜Ｓ１８０、Ｓ２４０、Ｓ２５０)。

顔と判定された場合は、次のフレーム画像を取り込み追跡モードの処理に移る。前述のステップ１６０（以降、例えばＳ１６０という）で求められたそれぞれの顔部品の位置を基にして所定の探索領域を設定し、その領域内で顔部品を追跡する。追跡で求めた顔部品の位置から顔かどうかを判定し、顔と判定されれば後述する顔部品の位置関係から特徴量を求めて顔の属性（顔の向きや大きさ、顔の表情など）を抽出し、次のステップである合成描画処理にこの情報が渡される。合成描画処理では、例えばサングラスのイラストデータを記憶領域から取り出し、原画像の目の部分に顔部品位置と顔の属性を考慮して合成する。そして、その合成した画像を表示部１５０に表示する（単に、顔部品位置と顔の属性から合成することなしにグラフィックを描画して表示してもよい）。以降、次のフレーム画像を取り込んで追跡を行い、追跡結果を基に合成描画を行う処理を利用者が終了の指示を行うまで繰り返す（即ち、顔部品の追跡が継続される）。顔部品追跡の過程のＳ２００で、例えば顔部品の位置を特定できず顔と判定されなかった場合（即ち、顔部品の追跡に失敗した場合）は、処理を検出モードに設定する。そして、合成画像を１フレーム画像分を表示し、Ｓ１２０に戻り次のフレーム画像を取り込み、検出モードの処理に戻る。（Ｓ１９０〜Ｓ２３０）。

上記の処理により、顔部品の追跡に失敗しない限り追跡モードで顔部品位置を特定し、合成画像を表示し続けることになる。もし、追跡に失敗した場合は、検出モードに切り替えて改めて顔領域の検出から顔部品位置を求め、追跡することになる。

顔の判定基準は、検出モード時と追跡モード時で各々用意する。検出モード時には検出対象の顔を特定の条件に絞ることにより、大局的な探索による顔部品の高速な検出を可能にする。一方追跡モード時には局所的な探索で十分であるため、顔の向きやサイズの変化を許容するように判定基準を緩和する。顔の判定基準には、顔部品の距離・位置関係及び相関値などを用いる。なお、顔の判定において、各フレーム画像毎に顔の判定を行っても、数フレーム画像の判定結果を総合して判定するとしても構わない。

次に顔領域の検出について図５を用いて説明する。

顔領域の検出にはカラー画像の肌色情報を利用する。図５（ａ）のように画素をサンプリングして肌色の領域を抽出し、顔領域としてその位置と大きさを推定する。ここで、肌色であるかどうかは、例えば図５（ｂ）のように、色相・彩度に変換した後に、その値が肌色の範囲内にあるかどうかで判定する。この判定基準をここでは肌色モデルと呼ぶ。図（ｂ）では、色相・彩度平面の矩形領域で肌色モデルを表しているが、任意の分布形状であっても構わない。また、この図では、肌色かどうかを２値で判定しているが、多値を用いてもよい。また、図５（ｃ）に示すように顔領域のエッジ部分を更に細かくサンプリングしてエッジの位置を正確に調べることにより、顔領域の位置やサイズをより高精度に検出することも有効である。

次に、カメラの特性や撮影条件・照明条件によって画像の色調は変動するので、そのような状況に対応するため、代表的な条件下（例えば、屋外・屋内・逆光など）における複数の肌色モデルを用意しておき、適宜切替えて使用する例を説明する。図６（ａ）に、肌色モデルを複数有する様子を示す。これら３個のモデル（肌色モデル（１）〜肌色モデル（３））を、例えば順番に切替えて顔領域の検出を行うことにより、状況が変化してもそのうちの何れかで正しい顔領域を得る確率が高くなる。一旦、顔部品の検出に成功すると、顔部品の位置が正確に分かるので、図６（ｂ）のように、肌の部分（図６（ｂ）の肌色情報の抽出箇所）の画素を調べて色相・彩度の分布を求め、図６（ｃ）に示すようにその境界値を逐次調整するような肌色モデルを持つことができる。このように肌色モデルの色相と彩度を原画像の肌色部分と一致させることにより、正確に顔領域を検出できる。

次に、顔基準位置の検出について説明する。顔基準位置は、顔部品を求める際の基準とする位置で、顔領域を検出して顔の位置とサイズを推定した後に顔基準位置の検出を行う。ここでは、眉間の位置を顔基準位置とした場合の求め方を図７を用いて説明する。図７において、先ず顔部品群のテンプレートにより顔領域内を探索領域とする画素とのマッチングを行い顔の中心位置を求め、続いて眉間のテンプレートを用いて顔中心位置を基に決められた探索範囲の画素とのマッチングにより眉間位置（即ち基準位置）を決定するものである。単純に、顔部品群のテンプレートに顔基準位置を設定しておいて、最初の顔部品群のテンプレートマッチングで顔基準位置を求めるより正確になる。また、この時の顔部品群および眉間のテンプレートマッチングにおいては、それぞれ複数枚のテンプレートを用意しておき、その中の最適な一つあるいは複数のテンプレートを選んでマッチングを行う方がより正確に顔基準位置を求めることができる。

テンプレートマッチングには色々な手法が利用できる。一般に、カラー画像でなく輝度画像のみで行う方が効率的である。計算には正規化相関演算も利用可能であるが、小数点計算の正規化処理が必要となる。一方、残差絶対値和あるいは残差二乗和に基づいた相関演算を利用すれば、整数計算のみで実行可能である。その際、顔領域の検出時に、肌色と判定された画素の平均輝度を算出しておき、テンプレートとの差分を差し引くようにすれば、入力画像の明るさの変動に対してロバストとなる。なお、平均輝度を変えたテンプレートを複数持つとすれば、演算量は増えるもののカラー画像からの肌色領域の検出は必ずしも必要ではなく、直接テンプレートマッチングによって顔中心位置を検出することもできる。

図６（ａ）に示したように肌色モデルには、特定条件下の肌色に正確に一致したモデル、あるいは、幅広い条件に適応可能な普遍的なモデル、と言った特性の異なったモデルを含むことも可能であるが、顔基準位置の検出手順を適宜切替える方法も有効である。それらの肌色モデルに応じて、図８に示すような顔基準位置の検出フローを適宜切替える方法も有効である。例えば、一般的には図８のフロー１で顔基準位置の検出を行うが、肌色モデルが正確な場合は顔領域の検出精度も高いため、図８のフロー２のように顔幅を正確に検出して顔のサイズに一致したテンプレートで基準位置を決定することができる。肌色モデルと入力画像とに誤差ある場合は、図８のフロー３のように顔領域を求めることなく前述したように平均輝度を求めて直接顔部品群のテンプレートマッチングを行ってもよい。

顔基準位置の決定の後に、顔部品の検出を行うが以下にこの方法について説明する。図９（ａ）は、顔基準位置をもとに、それぞれの顔部品の位置を予測したものである。この予測位置を基に図９（ｂ）に示すようにそれぞれの顔部品の探索領域を定め、この探索領域の中で顔部品のテンプレートを用いてマッチングを行う。図９（ｃ）は、このようにして求められた顔部品の位置で、テンプレートマッチングの相関度、顔部品の位置、顔部品間の距離から求めた顔部品が顔を構成する要素かどうかを判定している状態を示すものである。

次に顔部品の追跡について説明する。顔部品の追跡もテンプレートマッチングにより行うが、前フレームで顔部品の位置は既知であるので、局所的な探索で追跡することが可能である。即ち、図９（ｂ）に示すように探索領域を定め、その探索領域内でそれぞれの顔部品のテンプレートマッチングを行う。この顔部品のテンプレートは予め保持した顔部品のテンプレートを用いてもよい（このときのテンプレートも同一の顔部品に対して複数のテンプレートを用意してもっともマッチング度が高いものを使用するようにしてもよい）が、探索領域内の顔部品の画像を取り込んでテンプレートととし、このテンプレートを用いて次のフレーム画像から追跡を行うようにする。顔の向きにより顔部品の画像が変わるので顔部品の大きさの変化率がある値を超えた時再び顔部品のテンプレートとして取り込み、以降はこのテンプレートを用いて追跡を行うようにする。このようにすることにより追跡の信頼性を向上させることができる。

追跡中の探索領域の設定の方法として、最初の追跡結果を基にその中の追跡の信頼性の高い顔部品（例えば、目）の位置を基に他の顔部品の探索領域を設定してもよい。図１０（ａ）は、最初に追跡で求められた右目の位置から口の位置を予測し、その位置に探索領域を限定して設定する例を示している。また、図１０（ｂ）は、両目と両眉の平均位置として眉間の位置を高精度に算出し、その位置を基にして口の探索範囲を限定するもので、限られたリソースをもとに高速化と信頼性向上を図ることができる。また、他の顔部品との移動量の違いを基に誤検出を検知し、一部の顔部品を再追跡処理することも有効である（図１０（ｃ））。顔のサイズの増減に応じて、顔部品同士の探索範囲が重ならないように調節して、誤検出を低減することも可能である（図１０（ｄ））。

次に、２次元グラフ構造について説明する。２次元グラフ構造は、それぞれの顔部品の位置を特徴点としてその特徴点位置をノードとするものである。特徴点位置（座標）としては、顔部品内の任意の場所を指すことができる。例えば目の場合だと、瞳の中心、目尻などどこでも構わない。両目・両眉・鼻・口中央・口両端の顔部品の合計８特徴点からなる２次元グラフの例を図１１に示す。このグラフは、８個のノードを結ぶ１５個のエッジを有している。

各エッジの長さの和（あるいは平均など）を計算し、その変化を調べることで、顔のサイズの増減を知ることができる。特徴点位置の検出精度が粗く個々の座標がかなり変動する場合でも、それらの総和は安定化されるため、サイズの変化を正確に検出することが可能となる。同様に、特徴点位置の重心を求めることによって、顔の位置を正確に検出することも可能である。これらのパラメータにより、顔部品の追跡と同時に、顔部品群の追跡が行える。

２次元グラフの変形を利用して、顔の姿勢を簡単に推定することができる。エッジ長の横方向および縦方向の和の変化により、例えば図１２（ａ）のように顔が左右方向に向いたのか上下方向に向いたのかを推定可能である。変形の無い場合には、図１２（ｂ）のように両目と両眉の作る台形の傾きにより、顔の傾きが推定できる。また、左右方向あるいは上下方向の顔の向きの符号は、例えば図１２（ｃ）、（ｄ）のように、部分的なグラフの変形によって簡易に推定することができる。

検出した顔部品あるいは追跡中の顔部品の位置が、顔を構成する要素として有効であるかないかも、グラフ構造を位相的に判定することで実現できる。図１３のように、例えば特徴点３点（両目・右眉）について、それらの作る三角形が正しい位置関係にあるかどうかにより、それらが顔部品であるかを判定する。顔の向きがいろいろ変化しても、その２次元的な位置関係は保持されるため、検出あるいは追跡の座標に誤差が含まれる場合でも、安定に判定することができる。

このように、２次元的な構造を調べることにより、３次元的なモデルを用いて複雑な計算やデータを用いることを必要とせず、簡易に顔の属性などを推定することが可能である。

次に、顔姿勢を安定して推移させる方法について説明する。コミュニケーションなどに利用するために、顔部品を追跡中にその顔の属性（姿勢あるいは表情など）をリアルタイムに検出することが必要とされる。顔部品の位置座標の精度が粗かったり誤差が大きい場合でも、それらの属性を安定に推定するために、属性を離散化した状態として保持し、それらの特定の状態間の遷移を仮定して、各フレームにおいてどの状態にあるかを判定することを行う。

顔の姿勢を全１５個の状態として持つケースを図１４に示す。即ち、正面を基準として、図１４（ａ）に示すように水平方向からの傾きを左右に３段階ずつ、そして図１４（ｂ）に示すように顔の向きを上下左右方向に２段階ずつ持っている。顔の姿勢は、これらの状態間を矢印に従って遷移し、矢印以外の間では遷移が起こらないとする。こうすることにより、検出結果の変動に影響を受けることなく簡易な方法で姿勢を安定に推定することができる。

また、顔の傾きを規定する指標としては、図１２（ｂ）のように、両目を結ぶ線の傾き・眉を結ぶ線の傾き・両者の平均などを用いることができる。顔の向きを規定する指標としては、同じく図１２のグラフ構造の変形の他、顔領域内における顔部品の位置の偏り、顔部品の移動方向なども組み合わせて用いることができる。

上記の指標を離散化して状態を判定する際に、その閾値にヒステリシスを入れることで安定性が増加する。これは、図１４（ａ）に示すように、状態間の遷移の方向によって閾値を変えるものである。ここで、各数字は顔の傾きの角度とする。図１５のように、顔の傾きが次第に増えて行く場合、指標の誤差（変動）によって状態が必要以上に変化する。ヒステリシスを加えることで、顔の傾きの変化を安定に検出することが可能となる。図１５（ａ）はヒシテリシスを考慮せずに顔の傾きを制御する例で、閾値に設定した値の近辺で例えばＣＣＷ１とＣＣＷ２が交互に現れ不安定になることが判る（太線が制御された傾きである）。これに対して、図１５（ｂ）はヒシテリシスを考慮した制御で、制御された傾き（太線）は安定に動作している。同様の手法を別の属性、例えば顔の表情に適用することも可能である。

以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
動画像における画像から顔と該顔を構成する顔部品を追跡する顔追跡プログラムであって、
前記動画像の最初のフレーム画像から顔領域を求め、該顔領域から個々の顔部品位置を求める顔部品検出手順と、
以降のフレーム画像において、前記顔部品検出手順で求めた顔部品位置を基に設定される所定の大きさの第１の探索領域内で顔部品を追跡する顔部品追跡手順と、
前記顔部品追跡手順で顔部品の追跡ができなくなった場合に、前記顔部品検出手順に戻って顔部品位置を求めて該前記顔部品追跡手順を実行する検出追跡切替手順と
をコンピュータに機能させることを特徴とする顔追跡プログラム。
（付記２）
前記顔部品検出手順は、
前記最初のフレーム画像から肌色モデルを用いて顔領域を求める顔領域検出手順と、
前記顔領域の画像と、予め保持する顔部品群のテンプレートとをマッチングさせることにより、顔部品位置の基準となる顔基準位置を求める顔基準位置決定手順と、
前記顔基準位置を基に個々の顔部品の位置を予測し、該予測した位置を基に設定される所定の大きさの第２の探索領域内の画像と、予め保持するそれぞれの顔部品のテンプレートとをマッチングさせることにより顔部品位置を求める顔部品位置検出手順と
を有することを特徴とする付記１記載の顔追跡プログラム。
（付記３）
前記顔部品追跡手順は、追跡中の顔部品の画像を所定のタイミングでテンプレートとして取り込み、該取り込みがなされた以降の画像に対して該テンプレートを用いたマッチングにより追跡を行う
ことを特徴とする付記１記載の顔追跡プログラム。
（付記４）
前記顔部品追跡手順は、前記追跡で得られたそれぞれの顔部品の位置をノードとした２次元グラフ構造を生成し、該２次元グラフ構造のノードとエッジの幾何的または位相的な特徴量を基に、顔の向きと前後角度と左右角度とを含む顔姿勢情報の出力、および顔部品追跡の成否の判定を行う
ことを更に有することを特徴とする付記１記載の顔追跡プログラム。
（付記５）
動画像における画像から顔と該顔を構成する顔部品を追跡する顔追跡方法であって、
前記動画像の最初のフレーム画像から顔領域を求め、該顔領域から個々の顔部品位置を求める顔部品検出手順と、
以降のフレーム画像において、前記顔部品検出手順で求めた顔部品位置を基に設定される所定の第１の探索領域で顔部品を追跡する顔部品追跡手順と、
前記顔部品追跡手順で顔部品の追跡ができなくなった場合に、前記顔部品検出手順に戻って顔部品位置を求めて該前記顔部品追跡手順を実行する検出追跡切替手順と
を有することを特徴とする顔追跡方法。
（付記６）
前記顔領域検出手順は、
複数の肌色モデルを用いて顔領域の検出を行う第１の顔領域検出手順と、
前記第１の顔領域検出手順で検出された複数の顔領域で顔部品位置の検出を行い、検出された該顔部品位置の関係から顔か否かを判定する顔判定手順と、
前記顔と判定された何れかの肌色モデルに対して、該肌色モデルで検出された顔領域の色情報を基に該肌色モデルの彩度と色相を調整する肌色モデル調整手順と、
前記調整された肌色モデルにより前記顔領域の検出を再度行う第２の顔領域検出手順と
を有することを特徴とする付記２記載の顔追跡プログラム。
（付記７）
前記顔部品追跡手順は、最初の追跡で求められた顔部品の位置の中から所定の顔部品の位置を基準として他の顔部品位置を定め、定められた該顔部品位置を基に設定される探索領域で以降の顔部品の追跡を行う
ことを特徴とする付記１記載の顔追跡プログラム。
（付記８）
前記顔姿勢情報は、顔の姿勢を離散的な状態で保持し、該状態の遷移をヒステリシスを有する閾値で顔の姿勢の変化を規定する情報である
ことを特徴とする付記４記載の顔追跡プログラム。

第１の発明の原理図である。 第２の発明の原理図である。 携帯電話に適用した場合の構成例である。 全体の処理フロー例である。 顔領域の検出例（その１）である。 顔領域の検出例（その２）である。 顔基準位置の決定例である。 顔の基準位置決定のフロー例である。 顔部品の検出と顔判定の例である。 顔部品の探索領域の設定例である。 ２次元グラフ構造の例である。 ２次元グラフ構造による顔の姿勢推定例である。 ２次元グラフ構造による顔の判定例である。 顔姿勢の安定化例である。 顔姿勢のヒシテリシスによる安定化例である。

符号の説明

１０ 顔部品検出手順
２０ 顔部品追跡手順
３０ 検出追跡切替手順
４０ 顔領域検出手順
５０ 顔基準位置決定手順
６０ 顔部品位置検出手順
１００ 携帯電話
１１０ 制御部
１２０ 通信部
１３０ 音声入出力部
１４０ 画像入力部
１５０ 表示部
１６０ 顔追跡プログラム
１６１ 画像取得部
１６２ 検出部
１６３ 追跡部
１６４ 特徴量抽出部
１６５ 合成描画部

Claims (8)

1. 動画像における画像から顔と該顔を構成する顔部品を追跡する顔追跡プログラムであって、
   前記動画像の最初のフレーム画像から顔領域を求め、該顔領域から個々の顔部品位置を求める顔部品検出手順と、
   以降のフレーム画像において、前記顔部品検出手順で求めた顔部品位置を基に設定される所定の大きさの第１の探索領域内で顔部品を追跡する顔部品追跡手順と、
   前記顔部品追跡手順で顔部品の追跡ができなくなった場合に、前記顔部品検出手順に戻って顔部品位置を求めて前記顔部品追跡手順を実行する検出追跡切替手順と、
   前記追跡で得られたそれぞれの顔部品の位置をノードとした２次元グラフ構造を生成し、該２次元グラフ構造の変形に基づいて顔の向きと前後角度あるいは左右角度とを含む顔姿勢情報の抽出を行う顔姿勢情報抽出手順と、
   をコンピュータに機能させることを特徴とする顔追跡プログラム。
2. 前記顔部品検出手順は、
   前記最初のフレーム画像から肌色モデルを用いて顔領域を求める顔領域検出手順と、
   前記顔領域の画像と、予め保持する顔部品群のテンプレートとをマッチングさせることにより、顔部品位置の基準となる顔基準位置を求める顔基準位置決定手順と、
   前記顔基準位置を基に個々の顔部品の位置を予測し、該予測した位置を基に設定される所定の大きさの第２の探索領域内の画像と、予め保持するそれぞれの顔部品のテンプレートとをマッチングさせることにより顔部品位置を求める顔部品位置検出手順とを有し、
   前記顔領域検出手順は、
   複数の肌色モデルを用いて顔領域の検出を行う第１の顔領域検出手順と、
   前記第１の顔領域検出手順で検出された複数の顔領域で顔部品位置の検出を行い、検出された該顔部品位置の関係から顔か否かを判定する顔判定手順と、
   前記顔と判定された何れかの肌色モデルに対して、該肌色モデルで検出された顔領域の色情報を基に該肌色モデルの彩度と色相を調整する肌色モデル調整手順と、
   前記調整された肌色モデルにより前記顔領域の検出を再度行う第２の顔領域検出手順と
   を有することを特徴とする請求項１記載の顔追跡プログラム。
3. さらに、前記２次元グラフ構造の位相関係に基づいて顔部品追跡の成否の判定を行う成否判定手順を有することを特徴とする請求項１または請求項２に記載の顔追跡プログラム。
4. 動画像における画像から顔と該顔を構成する顔部品を追跡する顔追跡方法であって、
   前記動画像の最初のフレーム画像から顔領域を求め、該顔領域から個々の顔部品位置を求める顔部品検出手順と、
   以降のフレーム画像において、前記顔部品検出手順で求めた顔部品位置を基に設定される所定の第１の探索領域で顔部品を追跡する顔部品追跡手順と、
   前記顔部品追跡手順で顔部品の追跡ができなくなった場合に、前記顔部品検出手順に戻って顔部品位置を求めて前記顔部品追跡手順を実行する検出追跡切替手順と、
   前記追跡で得られたそれぞれの顔部品の位置をノードとした２次元グラフ構造を生成し、該２次元グラフ構造の変形に基づいて顔の向きと前後角度あるいは左右角度とを含む顔姿勢情報を抽出する顔姿勢情報抽出手順と、
   を有することを特徴とする顔追跡方法。
5. 前記顔部品検出手順は、
   前記最初のフレーム画像から肌色モデルを用いて顔領域を求める顔領域検出手順と、
   前記顔領域の画像と、予め保持する顔部品群のテンプレートとをマッチングさせることにより、顔部品位置の基準となる顔基準位置を求める顔基準位置決定手順と、
   前記顔基準位置を基に個々の顔部品の位置を予測し、該予測した位置を基に設定される所定の大きさの第２の探索領域内の画像と、予め保持するそれぞれの顔部品のテンプレートとをマッチングさせることにより顔部品位置を求める顔部品位置検出手順とを有し、
   前記顔領域検出手順は、
   複数の肌色モデルを用いて顔領域の検出を行う第１の顔領域検出手順と、
   前記第１の顔領域検出手順で検出された複数の顔領域で顔部品位置の検出を行い、検出された該顔部品位置の関係から顔か否かを判定する顔判定手順と、
   前記顔と判定された何れかの肌色モデルに対して、該肌色モデルで検出された顔領域の色情報を基に該肌色モデルの彩度と色相を調整する肌色モデル調整手順と、
   前記調整された肌色モデルにより前記顔領域の検出を再度行う第２の顔領域検出手順と
   を有することを特徴とする請求項４に記載の顔追跡方法。
6. さらに、前記２次元グラフ構造の位相関係に基づいて顔部品追跡の成否の判定を行う成否判定手順を有することを特徴とする請求項４または請求項５記載の顔追跡方法。
7. 前記顔姿勢情報は、顔の姿勢を離散的な状態で保持し、該状態の遷移をヒステリシスを有する閾値で顔の姿勢の変化を規定する情報であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の顔追跡プログラム。
8. 前記顔姿勢情報は、顔の姿勢を離散的な状態で保持し、該状態の遷移をヒステリシスを有する閾値で顔の姿勢の変化を規定する情報であることを特徴とする請求項４乃至請求項６のいずれか一項に記載の顔追跡方法。

Images