JP5035035B2 - 対象物追跡方法、対象物追跡装置および対象物追跡プログラム - Google Patents

Description

本発明は、動画像中の追跡対象物を追跡する技術に関する。

従来より、動画像中から人の顔などを追跡（トラッキング）する技術が利用されている。このようなトラッキング技術には、動画像の毎フレームについて顔検出をしてその履歴をつなげることでトラッキング結果を求める手法と、前フレームのトラッキング結果を用いて現フレームにおいて顔らしい領域を１つ選択することで初期フレームから現フレームまでのトラッキング結果を求める手法とが存在する。

前フレームのトラッキング結果を用いて現フレームにおける顔の位置を取得する方法は、現フレームにおいて顔を探索する領域を限定することができるため、毎回顔検出を行う方法に比べて高速かつ高信頼度で顔の追跡を行うことができる。

しかし、一度追跡を誤ると以降のフレームにおいても追跡を誤ってしまうという問題点が存在する。例えば、追跡中の顔が顔に似た物体と交差する場合に、顔に似た物体の方を追跡対象物と認識してしまうと、それ以降のフレームではその物体の方を追跡してしまうことになり、誤動作につながる。この誤動作は「のりうつり」と呼ばれる。

例えば、図１５のように、人の顔が車両の車輪と交差する場合を例に説明する。図１５の例では、図１５（ａ）に検出した顔の追跡をしている最中に、図１５（ｄ）で顔と車輪が重なっている。ここで、図１５（ｅ）において車輪の方を顔であると誤認識してしまうと、図１５（ｆ）以降のフレームで車輪の方を追跡してしまう。したがって、図１６に示すように、本来の顔とは異なるルートを顔の軌跡であると判定してしまうことになる。

このような問題点を解消するために、動画像の各フレームから特徴点を検出し、これら特徴点の時系列的な対応付けを複数通り列挙して、その中から最も合理的な対応付け結果をトラッキング結果として得る手法が提案されている（特許文献１）。ここで、特徴点の対応付けは、対応する特徴点における特徴量の類似度や、移動経路（軌跡）が一定であるか否かなどを考慮して決定される。このような手法によれば、動画像の途中段階で生じる特徴点の対応付けの中断あるいは一時的な誤対応に影響されることなく、時間的に好適な特徴点追跡を実現することができる。
特開２００４−５０８９号公報

しかしながら、特許文献１に記載の手法は、毎フレームの全画像領域から特徴点検出を行うものであり、前フレームまでのトラッキング結果を利用して現フレームまでのトラッキング結果を求める手法のメリットを十分に得ることができない。

本発明は、前フレームまでの追跡結果を利用して現フレームにおける対象物の位置を取得することで追跡対象物の軌跡を取得する対象物追跡処理において、追跡精度を向上することを目的とする。

上記目的を達成するために本発明に係る対象物追跡方法は、前フレームにおける追跡対象物の位置候補に対応する現フレームにおける追跡対象物の位置候補を取得するステップ
を繰り返すことによって、動画像における追跡対象物の軌跡を決定する対象物追跡方法であって、前フレームにおける１つの位置候補に対応する現フレームの位置候補を１または複数取得し、前フレームに複数の位置候補がある場合は、それぞれの位置候補について対応する現フレームの位置候補を取得することによって、追跡対象物の軌跡候補を複数取得し、取得された複数の軌跡候補のうちから、前記追跡対象物の軌跡を決定することを特徴とする。

すなわち、本発明に係る対象物追跡方法は、追跡対象物の軌跡を１つに限定することなく、途中で分岐することを許して複数の軌跡候補を取得しておき、これら複数の軌跡候補のうちから追跡対象物の軌跡を選択するものである。

このような構成によれば、追跡対象物が該追跡対象物に似た物体（以下、類似物という）と交差する場合などに、軌跡候補を分岐させその両方について追跡が行われることになる。そして、両方の軌跡候補に対して追跡を実行した後に対象物の軌跡を決定するので、追跡対象物と類似物が交差する場合であっても、「のりうつり」による誤検出を防止することができる。

また、本発明に係る対象物追跡方法は、前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出し、算出された信頼度が所定の閾値以上である場合に、その領域を現フレームにおける追跡対象物の位置候補として取得するとよい。

ここで、信頼度はテンプレートマッチングによる検出スコアとして求めることができる。また、行動予測を行って前フレームまでの追跡対象物の移動方向に基づいて信頼度を算出（補正）しても良い。また、色ヒストグラムや照合技術などを用いて信頼度を算出しても良い。すなわち、信頼度は、前フレームの位置候補に基づいて、現フレームにおける位置候補を求める既存のどのような技術によって算出されても構わない。

このような構成によれば、現フレームにおける追跡対象物の位置候補を、高速かつ信頼性高く取得することが可能となる。また、追跡対象物が類似物などと交差して軌跡候補が分岐した場合には、類似物に対する分岐は誤りであったことが後から判明する（周囲に追跡対象物らしい領域が存在しないことが判明する）ので、類似物に対する追跡を打ち切ることが可能となる。

また、本発明に係る対象物追跡方法は、各フレームにおいて追跡対象物の位置候補における信頼度を記憶し、軌跡候補に係る信頼度に基づいて、追跡対象物の軌跡を決定することが好適である。

軌跡の決定は、軌跡候補に係る信頼度に基づいて行われれば、どのような具体的な方法によって行われても良い。例えば、各軌跡候補における信頼度（フレームごとに変化する）の最小値を求め、この最小値が最も大きい軌跡候補を追跡対象物の軌跡として決定することができる。また、各軌跡候補における信頼度の平均値や累積値を求め、この値が大きい軌跡候補を追跡対象物の軌跡として決定することができる。また、軌跡候補における信頼度が一度でも所定の閾値以下になった軌跡候補は除外したり、軌跡候補における信頼度が所定の閾値以上になった軌跡候補の中から選択するようにしたりしても良い。その他、軌跡候補における信頼度の最大値や分散値や標準偏差などに基づいて軌跡を決定しても良い。また、ここで説明した手法を組み合わせて利用しても良い。

このような構成によれば、「のりうつり」などが発生し軌跡候補が分岐した場合であっても、類似物を追跡する軌跡候補に係る信頼度は時間の経過とともに低くなるので、複数
の軌跡候補の中から正しい軌跡を選択することが可能となる。

また、本発明に係る対象物追跡方法は、前フレームの複数の位置候補に対応する現フレームの位置候補が同じである場合は、以降のフレームにおいては、これら複数の位置候補のうちから１つの位置候補について追跡を行うことが好ましい。

このような構成によれば、軌跡候補が分岐した後に、分岐した軌跡候補が再び合流した場合には、複数の位置候補に対して追跡を行わなくてもよくなるので、処理が高速化される。

また、本発明に係る対象物追跡方法は、追跡する位置候補の数に上限値が定められており、現フレームにおいて取得された位置候補が上限値を超える場合は、取得された位置候補に係る信頼度に基づいて、以降のフレームで追跡する位置候補を選択することが好ましい。

このような構成によれば、追跡する軌跡候補の数を絞り込むことで処理の高速化が期待できる。

また、本発明に係る対象物追跡方法は、動画像から追跡対象物を検出し、以降のフレームにおいて、検出された追跡対象物を追跡することが好ましい。

このような構成によれば、動画像の途中から現れた追跡対象物を追跡することが可能となる。また、複数の追跡対象物を同時に追跡することが可能となる。

また、本発明における追跡対象方法は、検出された追跡対象物の位置が、すでに追跡対象となっている追跡対象物の現フレームにおける位置候補と等しい場合には、検出された追跡対象物をすでに追跡対象となっている追跡対象物とみなして、新たな追跡は行わないことが好ましい。

このような構成によれば、動画像から追跡対象物を検出して検出された対象物を追跡する手法を採用した場合に、すでに追跡中の対象物が検出されても、重複して追跡をすることを防止できるので処理を効率化することができる。

なお、本発明に係る対象物追跡方法は、種々の物体を対象物として追跡することが可能である。例えば、追跡対象物として、人の顔を採用することができる。また、追跡対象物として、人の他の部位（頭部や、目や鼻）や全身などを採用することができる。また、追跡対象物は、任意の物体であって構わない。

また、本発明は、上記処理の少なくとも一部を含む対象物追跡方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。また、本発明は、上記方法を実行する対象物追跡装置として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

たとえば、本発明の一態様としての対象物追跡装置は、動画像の入力を受け付ける動画像入力手段と、前フレームにおける追跡対象物の位置候補に対応する、現フレームにおける追跡対象物の位置候補を取得する位置候補探索手段であって、前フレームにおける１つの位置候補に対して現フレームの位置候補を１または複数取得し、前フレームにおいて複数の位置候補がある場合はそれぞれの位置候補について対応する現フレームの位置候補を取得する位置候補探索手段を用いて、追跡対象物の軌跡候補を複数取得する軌跡候補取得手段と、取得された複数の軌跡候補のうちから前記追跡対象物の軌跡を決定する軌跡決定
手段と、を有することを特徴とする。

また、本発明に係る対象物追跡装置において、前記位置候補探索手段は、前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出し、算出された信頼度が所定の閾値以上である場合に、前記領域を現フレームにおける追跡対象物の位置候補として取得することが好ましい。

また、本発明に係る対象物追跡装置において、前記軌跡候補取得手段は、各フレームおいて追跡対象物の位置候補における前記信頼度を記憶し、前記軌跡決定手段は、前記軌跡候補に係る前記信頼度に基づいて、前記追跡対象物の軌跡を決定することが好ましい。

また、本発明に係る対象物追跡装置において、前記追跡対象物は人の顔であることが好ましい。

また、本発明の一態様としての対象物追跡プログラムは、前フレームにおける追跡対象物の位置候補に対応する現フレームにおける追跡対象物の位置候補を取得するステップを情報処理装置に繰り返させることによって、動画像における追跡対象物を決定するための対象物追跡プログラムであって、情報処理装置に、前フレームにおける１つの位置候補に対応する現フレームの位置候補を１または複数取得させ、前フレームに複数の位置候補がある場合は、それぞれの位置候補について対応する現フレームの位置候補を取得させることによって、前記追跡対象物の軌跡候補を複数取得させ、取得された複数の軌跡候補の中から、前記追跡対象物の軌跡を決定させることを特徴とする。

また、本発明に係る対象物追跡プログラムにおいて、前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出させ、算出された信頼度が所定の閾値以上である場合に、前記領域を現フレームにおける追跡対象物の位置候補として取得させることが好ましい。

また、本発明に係る対象物追跡プログラムにおいて、各フレームにおいて追跡対象物の位置候補における前記信頼度を記憶し、前記軌跡候補に係る信頼度に基づいて、前記追跡対象物の軌跡を決定させることが好ましい。

また、本発明に係る対象物追跡プログラムにおいて、前記追跡対象物は人の顔であることが好ましい。

本発明によれば、前フレームまでの追跡結果を利用して現フレームにおける対象物の位置を取得することで追跡対象物の軌跡を決定する対象物追跡処理において、追跡精度を向上することが可能となる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。なお、以下の実施形態の説明では追跡対象物を人の顔とした顔追跡装置を例に説明するが、追跡対象物は人の顔以外であっても構わない。

（第１の実施形態）
第１の実施形態に係る顔追跡装置は、入力される動画像の全てのフレームについて追跡処理を行ってから、顔の移動軌跡を求めるものである。

＜構成＞
本実施形態に係る顔追跡装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置などを備える通常のコンピュータ（情報処理装置）によって構成される。この場合、プログラムがＣＰＵに実行されることによって、顔追跡装置１が実現される。

図１は、顔追跡装置１の機能ブロック例を示す図である。顔追跡装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、動画像入力部２、顔検出部３、軌跡候補取得部４、位置情報ＤＢ５、軌跡情報ＤＢ６、軌跡決定部７および画像合成・出力部８として機能する。また、顔追跡装置１の全部または一部は、専用のチップとして構成されても良い。

次に、顔追跡装置１が含む各機能部について説明する。

動画像入力部２は、動画像のデータを顔追跡装置１へ入力するためのインタフェースとして機能する。動画像入力部２は、顔追跡装置１へ動画像のデータを入力するための既存のどのような技術を用いて構成されても良い。

例えば、ネットワーク（ＬＡＮやインターネット）などを介して顔画像のデータが顔追跡装置１へ入力されても良い。また、デジタルビデオカメラや記録装置（例えば、ハードディスクドライブや、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭや各種フラッシュメモリ）等から動画像が顔追跡装置１へ入力されても良い。また、顔追跡装置１がデジタルビデオカメラ等の撮像装置または、デジタルビデオカメラ等の撮像装置を備える各種装置の内部に含まれ、撮像された動画像が顔追跡装置１へと入力されても良い。

顔検出部３は、入力された動画像の１フレームから顔を検出する。顔検出部３は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、探索領域内に顔があるか検出するように構成されても良い。顔検出部３は、その他既存のどのような技術が適用されることによって実現されても良い。

顔検出部３によって検出された顔は、軌跡候補取得部４に入力され、追跡の対象となる。なお、以下では、顔検出部３によって検出された顔のことを「基本顔」と呼ぶ。

軌跡候補取得部４は、位置候補探索部４１を含む。位置候補探索部４１は、前フレームの顔の位置候補に対応する、現フレームでの顔の位置候補を、テンプレートマッチングなどの統計的パターン認識手法を用いて取得する。位置候補探索部４１は、前フレームにおける顔の位置候補の周辺領域にあらかじめ複数の探索領域を設定しておき、この中から現フレームにおける顔の位置候補を統計的パターン認識手法によって取得する。

図２に示すように、前フレームの顔の位置候補Ａｃおよびその周辺に、複数の探索領域Ａｓがあらかじめ定められている。なお、探索領域Ａｓの数や配置は任意であって構わない。位置候補探索部４１は、前フレームの顔位置候補Ａｃ内の画像をテンプレート画像ベクトルμとして用い、カレントフレームの探索領域内の画像ベクトルｘとテンプレート画像ベクトルμとの間の距離ｄを算出して、探索領域Ａｓ内に顔があるか否か判断する。探索画像ベクトルｘとテンプレート画像ベクトルμとの距離ｄは、以下の式にしたがって算出する。

そして、探索領域画像ベクトルｘと前フレームの候補領域のテンプレート画像ベクトルμとの距離ｄが、所定の閾値よりも小さい探索領域を、カレントフレームにおける候補領域とする。

なお、探索画像ベクトルｘとテンプレート画像ベクトルμの距離の値が小さいほど、探索画像がテンプレートと一致する確率が高い。つまり、探索画像ベクトルｘとテンプレート画像ベクトルμの距離ｄは、探索画像とテンプレートとの類似度あるいは、探索画像とテンプレートが一致する確率（信頼度）として捉えることができる。

上記の説明では、テンプレート画像ベクトルμとして前フレームの画像を用いているが、直前のフレーム以外の画像（例えば、最初に顔が検出されたときの画像）や、ヒトの顔の平均画像などを使っても構わない。

位置候補探索部４１による位置候補探索では、前フレームの１つの位置候補に対して、２つ以上の位置候補を取得可能に構成される。つまり、探索画像ベクトルｘとテンプレート画像ベクトルμの距離が閾値以下（あるいは、類似度または信頼度が閾値以上）の探索領域が複数ある場合は、それら全ての探索領域を現フレームにおける位置情報として取得する。また、前フレームに複数の位置候補がある場合には、それぞれに対応する位置候補を現フレームから取得する。

軌跡候補取得部４は、位置候補探索部４１による顔の追跡を、入力される動画像の各フレームに対して適用することで、顔検出部３によって検出された顔の軌跡を取得することができる。ここで、位置候補探索部４１は現フレームにおいて複数の位置候補を取得することがあるので、軌跡候補取得部４は顔の軌跡として複数の軌跡候補を取得することになる。

位置情報ＤＢ５には、位置候補探索部４１によって取得された顔の位置候補に関する情報が格納される（例えば、図８（ｂ）参照）。位置情報ＤＢ５には、各位置候補に関する情報として、位置候補ＩＤ５１、フレーム番号５２、Ｘ座標５３、Ｙ座標５４、信頼度５５が格納される。位置候補ＩＤ５１は、位置候補を識別する識別子である。フレーム番号５２は、その位置候補がどのフレームにおける位置候補であるかを表す。Ｘ座標５３、Ｙ座標５４は、その位置候補のフレーム内での位置を表す。信頼度５５は、位置候補が顔である確からしさ（位置候補の領域に顔が存在する確からしさ）を表す。

軌跡情報ＤＢ６には、軌跡候補取得部４によって取得された顔の軌跡候補に関する情報が格納される（例えば、図８（ｃ）参照）。軌跡情報ＤＢ６には、軌跡ＩＤ６１，基本顔ＩＤ６２およびパス６３が格納される。軌跡ＩＤ６１は、軌跡候補を識別する識別子である。基本顔ＩＤ６２は、その軌跡の始点となる基本顔を識別する識別子である。パス６３は、各フレームにおける軌跡の位置を示すものであり、位置情報ＤＢ５に格納されている位置候補の位置候補ＩＤをつなげたデータが格納される。

軌跡決定部７は、軌跡候補取得部４によって取得された複数の軌跡候補のうちから、いずれの軌跡がもっともらしいかを判断して、顔の軌跡を１つに決定する。複数の軌跡候補の中からいずれの軌跡を選択するかは、各探索時における信頼度に基づいて決定される。

例えば、各探索時における信頼度の平均値が最も高い軌跡候補を、トラッキング結果として選択することができる。すなわち、ｃｏｎｆ_ｉを時刻ｉにおける信頼度として、次式で表される平均値Ａｖｅ_ｃｏｎｆが最大となるルートを求める。

例えば、図３のように２つの軌跡候補が取得され、各探索時における信頼度が図に示される値をとるとき、ルートＡについては信頼度の平均は６４５となり、ルートＢについては７５３となる。したがって、図３の場合はルートＢの方が高い信頼度を持つので、ルートＢがトラッキング結果として選択されることになる。

なお、上記の説明では信頼度の平均値が最も高い軌跡候補をトラッキング結果として選択しているが、その他の方法によって選択しても構わない。例えば、軌跡内における信頼度の最大値や最小値に基づいて（つまり、最大値や最小値が最も大きい軌跡を）トラッキング結果として選択したり、移動方向などを用いた統計的識別方法による選択を行ったりしても良い。

画像合成・出力部８は、軌跡決定部７によって決定された軌跡を強調する表示を入力された画像に合成し、追跡結果として出力する。

＜動作例＞
以下、本実施形態に係る顔追跡装置１の動作例にしたがって、各機能部が行う処理の詳細について説明する。

図４は、顔追跡装置１の動作例を示すフローチャートである。図４のフローチャートは、動画像から顔が検出された後の処理を示す。

［顔検出時の初期処理］
動画像から顔が検出された場合には、以下の初期処理が行われる（Ｓ１０）。図５（ａ）に示すように、動画像から新たに顔が検出された場合には、その顔の位置に関する情報が位置情報ＤＢ５に格納される。図５（ｂ）は、位置情報ＤＢ５の内容を示す図であり、新たに検出された顔の位置などが格納される。顔らしさを表す信頼度５５は、顔検出部３によって検出された顔なので１０００点（最大値）としてある。また、顔が新たに検出されたので、その顔についての軌跡を求めるために、軌跡情報ＤＢ６に新たなレコードが追加される。新たに追加されるレコードのパス（軌跡）６３には、検出位置の一点のみの情報が格納される。

初期処理が終了すると、次のフレームを処理の対象として（Ｓ１１）、そのフレームにおける顔の位置候補を取得する処理を実行する。

［現フレームにおける顔の位置候補の取得処理］
具体的には、まず、位置候補探索部４１は、前フレームにおける位置候補を１つ取得する（Ｓ１２〜Ｓ１３）。前フレームにおける位置候補は、位置情報ＤＢ５において、フレーム番号５２が前フレームであるものを検索することによって取得することができる。

次に、位置候補探索部４１が、Ｓ１３で取得された、前フレームにおける１つの位置候補に対応する、現フレームの位置候補を取得する（Ｓ１４）。位置候補探索部４１は、具体的には、現フレームにおける顔の位置候補を次のようにして取得する。

まず、図６に示すように、前フレームにおける顔の候補の位置に応じて、現フレームにおける探索領域があらかじめ定められている。図６に示す例では、前フレームにおける顔の候補と同じ領域４０１、および、その周囲の８つの領域４０２〜４０９の合計９つの探索領域が定義されている。もっとも、探索領域の定義の方法は種々の方法を採用することができる。

位置候補探索部４１は、これらの探索領域のそれぞれについて、領域内に顔が存在する確からしさである信頼度を算出する。ここで、信頼度の算出の際には、前フレームまでの移動方向を重視する動き予測による補正を行っても良い。また、顔照合技術や、顔周囲の色ヒストグラムを考慮した補正を行っても良い。その他、前フレームにおける顔の位置に基づいて、現フレームにおいてその周囲から顔を探索するための既存のどのような技術が適用されても良い。

そして、算出された信頼度が所定の閾値（たとえば、５００）以上の領域を、現フレームにおける顔の位置候補として取得する。信頼度が閾値以上の領域を顔の位置候補とするので、前フレームの１つの顔の候補に対して、複数の顔の位置候補が取得される場合もあれば、顔の位置候補が１つも取得されない場合もある。

次に、位置候補探索部４１によって、いくつの位置候補が取得されたか判定する（Ｓ１５）。すなわち、信頼度が閾値以上である探索領域がいくつあったかを判定する。ここで、いくつの位置候補が取得されたかによって、位置情報ＤＢ５および軌跡情報ＤＢ６の更新処理が変わる。

［位置情報ＤＢ・軌跡情報ＤＢの更新処理］
１．位置候補が１つの場合
位置候補探索部４１によって取得される位置候補が１つの場合は、Ｓ１６へ進み、位置情報ＤＢ５に新たな位置候補の情報が追加される。そして、軌跡情報ＤＢ６のパス６３に、新たな位置候補が追加される。

図５に示す状態が前フレームであり、図５の顔位置候補に対する現フレームの顔の位置候補が１つのみ取得された場合の例を図７に示す。図７（ｂ）に示すように、位置情報ＤＢ５に現フレーム（ｆ_１）における顔の位置候補に関する情報（位置候補ＩＤ：２）が追加される（Ｓ１６）。また、図７（ｃ）に示すように、軌跡候補のパス６３に新たに追加された位置候補（の位置候補ＩＤ）が追加される。このように、軌跡情報ＤＢ６において軌跡が延長される（Ｓ１７）。

２．位置候補が２つ以上の場合
位置候補探索部４１によって取得される位置候補が２つ以上の場合は、Ｓ１８へ進み、位置情報ＤＢ５にこれら複数の位置候補の情報が追加される。そして、軌跡情報ＤＢ６の更新が行われる（Ｓ１９）。ここで、現フレームにおいて位置候補が複数取得されたので、軌跡候補に分岐が発生することになる。そこで、軌跡情報ＤＢ６の軌跡情報を複製した後に、それぞれの軌跡のパス６３に新たな位置候補をそれぞれ追加する。

図７に示す状態が前フレームであり、図７の顔位置に対する現フレームの顔位置が２つ取得された場合の例を図８に示す。図８（ｂ）に示すように、位置情報ＤＢ５に現フレーム（ｆ_２）における、２つの顔の位置候補に関する情報（位置候補ＩＤ：３，４）が追加
される。また、図８（ｃ）に示すように、軌跡候補が２つに複製され、それぞれの軌跡のパス６３に新たに追加された位置候補が追加される。

３．位置候補がない場合
現フレームにおいて、前フレームの位置候補に対応する位置候補が存在しない場合は、軌跡が途切れることになる。この場合、現フレームにおける対応する位置候補が存在しないので、位置情報ＤＢ５の更新は行わない。そして、軌跡が終了するので、軌跡情報ＤＢ６を更新して、対応する軌跡に軌跡が終了したことを示すマーク（フラグ）を付して、軌跡が途切れたことを記憶する（Ｓ２０）。

以上の、データベース更新処理が終了したら、Ｓ２１に進み、前フレームにおける顔候補全てについて、上記の処理が終了したか判断する。前フレームの全ての顔候補について上記の処理が終了していない場合には、Ｓ１３へ進み、次の顔候補について上記の処理を行う。一方、全ての顔候補について処理が終了している場合には、Ｓ２２へ進む。

Ｓ２２では、現フレームに顔候補が１つ以上存在するか判断する。現フレームに顔候補が存在する場合には、顔の追跡を続行する必要があるので、Ｓ１１へ進み、次のフレームに対して上記と同様の処理を実行する。現フレームに顔候補が存在しない場合には、動画像中から顔が存在しなくなったことになるので、Ｓ２３へ進み、もっとも確からしい顔の軌跡を決定する。

［軌跡決定処理］
以下、Ｓ２３における軌跡決定処理の詳細について説明する。ここでは、上記の軌跡候補取得部４によって、図９Ａに示すように３つの軌跡候補が取得された場合を例に説明する。図９Ａは各軌跡候補の軌跡を示し、図９Ｂは位置情報ＤＢ５の内容を示し、図９Ｃは軌跡情報ＤＢ６の内容を示す。図９Ａに示すように、フレームｆ_０で検出された顔のフレームｆ_１における位置候補が２つ検出されている。さらに、一方の軌跡では、フレームｆ_１で検出された位置候補に対応するフレームｆ_２の位置候補が２つ検出されている。したがって、フレームｆ_０で検出された顔に対して、３つの軌跡候補が得られる。

ここでは、軌跡決定部７は、複数の軌跡のそれぞれについて、信頼度（顔らしさ）の平均値を算出し、信頼度の平均値が最も高い軌跡を顔の軌跡であると決定する。図９Ａ〜Ｃに示すような状況では、各軌跡について、信頼度の時間変化は図１０のようになる。各軌跡について、信頼度の平均値を求めると、全てのフレームで平均した場合は、軌跡１の平均値が最も大きくなるので、軌跡決定部７は軌跡１を顔の軌跡であるとして決定する。

なお、軌跡の決定方法は、例えば、信頼度の最小値が最も大きい軌跡を選択することによって決定しても良い。また、信頼度の累積値が最も大きい軌跡を選択することによって決定しても良い。その他、分散値や標準偏差などの統計量を用いて判断しても良い。また、全てのフレームを対象として統計量だけでなく、直近の数フレームのみを対象とした統計量を用いて軌跡を決定しても良く、最終フレームのみの信頼度を用いて軌跡を決定しても良い。

＜本実施形態の効果＞
本実施形態に係る顔追跡装置１によれば、前フレームの顔に対応する顔が現フレームにおいて複数取得された場合には、軌跡を分岐させてそれぞれについて追跡を行っている。したがって、追跡対象の顔が顔に似た物体と交差する場合などに、その時点で軌跡を決定することなく、とりあえず両方について追跡を行い、後からいずれの軌跡が正しいか判断することができる。例えば、図９Ａ〜Ｃおよび図１０に示すような状況で、分岐を許さず常に最も高い信頼度の顔を追跡する場合には、Ａ点（図１０参照）において軌跡２を対象
として顔を追跡することになる。しかしながら、その後の経過から判断すると、軌跡２は誤りであり軌跡１の方が正しいことが判明する。本実施形態に係る顔追跡装置によれば、分岐を許して複数の軌跡を追跡しているので、軌跡１を正しい追跡結果として得ることができる。すなわち、本実施形態に係る顔追跡装置によれば、信頼性高く顔追跡を行うことができる。

（第２の実施形態）
上記第１の実施形態では、入力された動画像の全フレームに対して追跡処理が終了してから、軌跡を１つに決定してトラッキング結果とする構成を採用していた。本実施形態においては、動画像の入力を受け付け、毎フレームごとに１つの軌跡を決定する。このような構成によれば、動画像の入力を受け付けながら、リアルタイムに顔の追跡結果を出力することができる。

図１１は、本実施形態における顔追跡処理の流れを示すフローチャートである。第１の実施形態における顔追跡処理との違いは、ステップＳ２２とＳ２３の順序が入れ替わった点のみである。このように、本実施形態においては、毎フレームで複数の軌跡候補のうちどの軌跡候補がもっともらしいかを判断してトラッキング結果として取得しているので、リアルタイムにトラッキング結果を得ることができる。

なお、本実施形態によれば、時間の経過によって、トラッキング結果として採用される分岐が変わることがあり、このような場合はその時点において出力されるトラッキング結果が変更されることになる。例えば、図９Ａ〜Ｃ、図１０のような動画が入力される場合、図１０の時点Ａから時点Ｂまでの間は軌跡２がトラッキング結果として出力される。そして、時点Ｂをすぎた後は、軌跡１がトラッキング結果として取得されることになる。したがって、このように軌跡候補の切り替わりによって、トラッキング結果が大きく変更されることがある。

具体的に、図１５のような状況を例にとって説明する。また、図１２（ａ）〜（ｄ）は図１５の（ｅ）〜（ｈ）に対応する。図１２（ａ）の時点では、数式２にしたがって算出した信頼度の平均は、ルートＡ（車輪）が７２５、ルートＢ（顔）が７１７となり、ルートＡの方が信頼度が高く算出される。したがって、図１２（ａ）においては、ルートＡの方がトラッキング結果として表示される。ただし、この時点ではルートＢの方のトラッキングも続行される。

次に、図１２（ｂ）の時点で、数式２にしたがって信頼度の平均を算出すると、ルートＢの方が信頼度が高く算出される。したがって、図１２（ｂ）においては、ルートＢの方がトラッキング結果として表示される。そして、これ以降の図１２（ｃ）（ｄ）においても、ルートＢの方の信頼度が高く算出されるので、正しくトラッキング結果が得られることになる。

本実施形態によれば、リアルタイムにトラッキング結果を出力しつつ、のりうつりなどにより誤トラッキングが生じた場合（図１０の時点Ａ〜Ｂでは、軌跡２が選択されてしまう）にも、誤トラッキングから回復して正しいトラッキング結果を得ることができる（図１０で時点Ｂ以降は軌跡１を選択できる）。このように、本実施形態に係る顔追跡装置によれば、信頼性高くリアルタイムに顔追跡を行うことができる。

（第３の実施形態）
上記の実施形態においては、いったん分岐した複数の軌跡候補が合流した場合に、追跡する位置候補を減らす処理を行う。上記の実施形態においては、軌跡に分岐が発生した場合には、それぞれの軌跡について追跡処理を行っていた。しかしながら、一度分岐した軌
跡の次フレームにおける顔の位置が、同じ領域となる場合がある。このような場合、これら複数の軌跡候補はそれ以降のフレームにおいて同じ軌跡を取ることになる。したがって、重複して追跡せずに合流させることによって追跡する軌跡の数を減らすことができる。これによって処理効率の向上が見込める。

図１３は、いったん分岐した２つの軌跡が合流する例を説明した図である。図１３では、位置候補２で分岐した軌跡が位置候補７で合流している。このように、複数の位置候補（５と６）に対応する次のフレームの位置候補が同じになる場合に、以降のフレームにおいては一方の位置候補のみの追跡を行う。

２つの軌跡が位置候補７で合流したとき、軌跡情報ＤＢ６には、１−２−３−５−７という軌跡と、１−２−４−６−７という２つの軌跡が格納されている。これら２つの軌跡の取り扱いについては、以下の２通りの方法が考えられる。

１つ目の方法は、次フレーム以降に位置候補が取得された場合に、これらの軌跡を同時に更新する方法である。例えば、次のフレームで位置候補７に対応して位置候補８が取得された場合、２つの軌跡が更新されて、１−２−３−５−７−８という軌跡と１−２−４−６−７−８という軌跡が軌跡情報ＤＢ６に格納される。２つ目の方法は、これら２つの軌跡が合流した時に、いずれの軌跡候補の方がもっともらしい軌跡であるかを判断して、もっともらしい軌跡以外の軌跡候補を軌跡情報ＤＢ６から削除する方法である。

本実施形態に係る顔追跡装置によれば、処理の高速化を実現できる。

（第４の実施形態）
本実施形態では、分岐数に上限を設ける。すなわち、取得された位置候補が、上限値を超える場合には、上限値を超える位置候補については以降のフレームにおいて追跡を行わない。すなわち、次フレームでその分岐は途切れるものとして扱う。

現フレームにおいて上限値を超える数の位置候補が取得された場合は、次フレーム以降において追跡する位置候補を信頼度に基づいて選択することができる。例えば、位置候補探索部４１によって取得された現フレームでの信頼度（位置情報ＤＢ５の信頼度５５）が高いものを優先的に選択する方法を採用できる。また、例えば、軌跡決定部７による軌跡決定処理と同様に、軌跡に係る信頼度（軌跡の各フレームにおける信頼度の平均値や最小値や最大値など）に基づいて、どの軌跡（位置候補）を選択するか決定しても良い。

本実施形態に係る顔追跡装置によれば、追跡する位置候補の上限値を定め、信頼度に基づいて追跡する軌跡を選択しているので、追跡精度の大幅な低下を招くことなく処理の高速化を実現できる。

（第５の実施形態）
上記の実施形態の説明においては、動画像中で１つの顔を追跡する場合を例に説明したが、顔追跡装置１は動画像中から複数の顔を同時に追跡することができる。すなわち、顔検出部３が、入力される動画像から、毎フレームあるいは所定のフレームおきに顔を検出し、検出された顔のそれぞれに対して、図４に示した顔追跡処理を実行することで、複数の顔の同時追跡が実現できる。

ここで問題になりうるのは、すでに追跡中の顔を顔検出部３が検出した場合に、同じ顔に対して二重に顔追跡が行われてしまうことである。この問題点は、上記第４の実施形態と同様の手法によって回避することができる。以下、顔を検出した際の処理の詳細を説明しつつ、上記問題点を回避する方法についても説明する。

図１４は、顔検出部３によって顔が検出された時の処理を示すフローチャートである。まず、入力された動画像から顔検出部３が顔の検出を行う（Ｓ１０１）。顔検出部３が顔を検出した場合（Ｓ１０２−ＹＥＳ）は、顔検出結果と顔位置候補とのマージ処理を行う。具体的には、顔検出部３によって検出された顔の位置と、位置候補探索部４１によって取得された顔候補の位置とが、一致するか判断し（Ｓ１０３）、一致する場合（Ｓ１０３−ＹＥＳ）には検出された顔をすでに追跡中の顔と同一とみなして新たな追跡処理を行わない。顔検出部３によって検出された顔が、すでに追跡中の顔と一致しない場合（Ｓ１０３−ＮＯ）は、位置情報ＤＢと軌跡情報ＤＢを更新する（Ｓ１０４）。より具体的には、検出された顔の位置を位置情報ＤＢ５に格納するとともに、軌跡情報ＤＢ６に新しい基本顔の軌跡のレコードを１つ追加する初期化処理を行う。そして、その顔に対して追跡処理（図４のフローチャート）を開始する（Ｓ１０５）。

本実施形態によれば、動画像から顔を検出しつつ検出された複数の顔について顔追跡が行えるとともに、すでに追跡中の顔を二重に追跡してしまうことを防止できる。

なお、上記の各実施形態は本発明の具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。

顔追跡装置の機能ブロックを示す図である。 顔検出処理における探索領域を説明する図である。 軌跡候補と各探索時における信頼度を説明する図である。 顔追跡処理の流れを示すフローチャートである。 新しく顔が検出されたときの、位置情報ＤＢと軌跡情報ＤＢの更新処理を説明する図である。 前フレームの顔位置候補に対応する現フレームの顔位置を探索するための、周辺領域について説明した図である。 前フレームの顔位置候補に対して、１つの顔位置候補が現フレームにおいて取得されたときの、位置情報ＤＢと軌跡情報と軌跡情報ＤＢの更新処理を説明する図である。 前フレームの顔位置候補に対して、２つの顔位置候補が現フレームにおいて取得されたときの、位置情報ＤＢと軌跡情報と軌跡情報ＤＢの更新処理を説明する図である。 軌跡が分岐して、複数の軌跡候補が取得されたときの、各軌跡候補を示す図である。 図９Ａに対応する、位置情報ＤＢの内容を示す図である。 図９Ａに対応する、軌跡情報ＤＢの内容を示す図である。 複数の軌跡候補に係る信頼度の時間変化の例を示した図である。 リアルタイムに追跡結果を出力する場合の、顔追跡処理の流れを示すフローチャートである。 リアルタイムに追跡結果を出力する場合の、各探索時におけるそれぞれの軌跡候補について信頼度を説明する図である。 分岐した２つの軌跡候補が合流する例を示す図である。 複数の顔を同時に追跡する場合の顔検出時の処理の流れを示す図である。 従来技術による顔追跡処理を表す図である。 従来技術による顔追跡処理の検出結果を表す図である。

符号の説明

１ 顔追跡装置
２ 動画像入力部
３ 顔検出部
４ 軌跡候補取得部
４１ 位置候補探索部
５ 位置情報ＤＢ
６ 軌跡情報ＤＢ
７ 軌跡決定部
８ 画像合成・出力部

Claims (12)

1. 前フレームにおける追跡対象物の位置候補に対応する現フレームにおける追跡対象物の位置候補を取得するステップを繰り返すことによって、動画像における追跡対象物の軌跡を取得する対象物追跡方法であって、
   前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出し、算出された信頼度が所定の閾値以上である場合に、前記領域を現フレームにおける追跡対象物の位置候補として１つまたは複数取得し、
   前フレームに複数の位置候補がある場合は、それぞれの位置候補について対応する現フレームの位置候補を取得することによって、前記追跡対象物の軌跡候補を複数取得し、
   前記軌跡候補と関連付けて各フレームでの追跡対象物の位置候補における前記信頼度を記憶し、
   記憶された、前記軌跡候補に係る複数の信頼度のうち少なくともいずれか一つに基づいて、前記追跡対象物の軌跡を決定する
   ことを特徴とする対象物追跡方法。
2. 前記軌跡候補に係る複数の信頼度の最大値または最小値に基づいて、前記追跡対象物の軌跡を決定する
   ことを特徴とする請求項１に記載の対象物追跡方法。
3. 前記軌跡候補に係る複数の信頼度の平均値に基づいて、前記追跡対象物の軌跡を決定する
   ことを特徴とする請求項１に記載の対象物追跡方法。
4. 前フレームの複数の位置候補に対応する現フレームの位置候補が同じである場合は、以降のフレームにおいては、該複数の位置候補のうちから１つの位置候補について追跡を行う
   ことを特徴とする請求項１〜３のいずれかに記載の対象物追跡方法。
5. 追跡する位置候補の数に上限値が定められており、
   現フレームにおいて取得された位置候補が前記上限値を超える場合は、取得された位置
   候補に係る信頼度に基づいて、以降のフレームで追跡する位置候補を選択する
   ことを特徴とする請求項１〜４のいずれかに記載の対象物追跡方法。
6. 動画像から追跡対象物を検出し、
   以降のフレームにおいて、検出された追跡対象物を追跡する
   ことを特徴とする請求項１〜５のいずれかに記載の対象物追跡方法。
7. 検出された追跡対象物の位置が、すでに追跡対象となっている追跡対象物の現フレームにおける位置候補と等しい場合には、該検出された追跡対象物をすでに追跡対象となっている追跡対象物とみなして、新たな追跡は行わない
   ことを特徴とする請求項６に記載の対象物追跡方法。
8. 前記追跡対象物は人の顔であることを特徴とする請求項１〜７のいずれかに記載の対象物追跡方法。
9. 動画像の入力を受け付ける動画像入力手段と、
   前フレームにおける追跡対象物の位置候補に対応する、現フレームにおける追跡対象物の位置候補を取得する位置候補探索手段であって、前フレームにおける１つの位置候補に対して現フレームの位置候補を１つまたは複数取得し、前フレームにおいて複数の位置候補がある場合はそれぞれの位置候補について対応する現フレームの位置候補を取得する位置候補探索手段を用いて、追跡対象物の軌跡候補を複数取得する軌跡候補取得手段と、
   取得された複数の軌跡候補のうちから前記追跡対象物の軌跡を決定する軌跡決定手段と、
   を有し、
   前記位置候補探索手段は、前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出し、算出された信頼度が所定の閾値以上である場合に、前記領域を現フレームにおける追跡対象物の位置候補として取得し、
   前記軌跡候補取得手段は、前記軌跡候補と関連付けて各フレームでの追跡対象物の位置候補における前記信頼度を記憶し、
   前記軌跡決定手段は、記憶された、前記軌跡候補に係る複数の信頼度のうち少なくともいずれか一つに基づいて、前記追跡対象物の軌跡を決定する
   ことを特徴とする対象物追跡装置。
10. 前記追跡対象物は人の顔であることを特徴とする請求項９に記載の対象物追跡装置。
11. 前フレームにおける追跡対象物の位置候補に対応する現フレームにおける追跡対象物の位置候補を取得するステップを情報処理装置に繰り返させることによって、動画像における追跡対象物の軌跡を取得するための対象物追跡プログラムであって、
    情報処理装置に、
    前フレームの位置候補に対応する現フレームの所定の領域に追跡対象物が存在する確からしさである信頼度を算出させ、算出された信頼度が所定の閾値以上である場合に、前記領域を現フレームにおける追跡対象物の位置候補として１つまたは複数取得させ、
    前フレームに複数の位置候補がある場合は、それぞれの位置候補について対応する現フレームの位置候補を取得させることによって、前記追跡対象物の軌跡候補を複数取得させ、
    前記軌跡候補と関連付けて各フレームでの追跡対象物の位置候補における前記信頼度を記憶させ、
    記憶された、前記軌跡候補に係る複数の信頼度のうち少なくともいずれか一つに基づいて、前記追跡対象物の軌跡を決定させる
    ことを特徴とする対象物追跡プログラム。
12. 前記追跡対象物は人の顔であることを特徴とする請求項１１に記載の対象物追跡プログラム。

Images