JP5077164B2 - 追跡装置及び追跡方法 - Google Patents

Description

本発明は、動画像中の人物の動きを追跡し記録する技術に関する。

監視カメラや店内カメラなどで得られた動画像を用いて、その動画像に写る不特定多数の人物の動きを自動で追跡し記録する技術が注目されている。この種の技術では、一般に、人の顔が検出・追跡の対象として用いられるが、顔が障害物や他人の陰に隠れてしまった場合や、顔が横又は後ろを向いてしまった場合などには、顔の検出や追跡が困難になるという課題がある。

このような課題を解決するための一手法として、本出願人は、追跡過程で追跡対象の顔が見えなくなった場合に、顔の周囲の情報（服の色や形など）から顔の位置を推定し、その推定位置を用いて追跡を継続するという方法を提案している（特許文献１参照）。

しかしながら、従来の方法は、追跡中の人物をいかに見失わないようにするかという点に注目したものであるため、次のようなケースに対応できない。

ある人物が動画像に写り始めたとしても、その人物の追跡が直ちに開始されるとは限らない。顔が隠れていたり、正面を向いていなかったり、小さかったりすると、顔を検出することができず、新たな追跡対象者が動画像に現れたことを装置が認識できないからである。このような場合は、その人物の顔がはっきりと認識されるようになってはじめて追跡処理がスタートするため、その人物の登場から顔検出に成功するまでの間の動き情報を捉えることができない。特に、多数の人物が写る画像では、顔の隠れが起こる可能性が大きいため、このような動き情報の欠落が顕著になる。なお、顔検出の判定を甘くすればある程度早い段階で顔を検出することも可能になるが、その場合には、誤検出及び誤追跡が増加してしまうため装置自体の信頼性が低下するという弊害が生じる。
特開２００７−４２０７２号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、動画像中の人物の追跡処理を可及的に早い段階から高い信頼性をもって実行可能な技術を提供することにある。

上記目的を達成するため、本発明は以下のような手段ないし処理を採用する。

本発明に係る追跡装置は、動画像中の人物の動きを追跡し記録する追跡装置であって、順次入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補
とを検出する検出手段と、人物を追跡対象とする追跡処理を実行する人物追跡手段と、候補を追跡対象とする追跡処理を実行する候補追跡手段と、追跡対象とされた人物の位置情報の履歴を記録した情報である、人物の追跡情報と、追跡対象とされた候補の位置情報の履歴を記録した情報である、候補の追跡情報とを記憶する記憶手段と、前記記憶手段の追跡情報を更新する更新手段と、を備え、前記更新手段は、前記検出手段によって現在のフレームの画像から検出された人物の中に、前記候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物が存在した場合に、現在のフレームまでに前記記憶手段に蓄積された当該候補の追跡情報を人物の追跡情報へと変更する。

この構成によれば、明らかに人と判る対象（「人物」）だけでなく、顔が隠れているなどして人か否かの判別が難しいグレーゾーンの対象（「候補」）についても、直ちに追跡処理が開始され、追跡情報の記録が行われる。そして、「候補」として追跡している最中に、その「候補」が「人物」であったと判明した時点で、「候補」の追跡情報として記録していた情報が「人物」の追跡情報へと変更される。以降は、「人物」として追跡処理が継続されることとなる。したがって、人か否かの判別が難しい時点から、当該人物の動きを追跡し記録することが可能となる。なお、人以外のものが「候補」として検出され、追跡処理が行われることもあるが、その場合は、「候補」から「人物」へと転じることがないため、「人物」の追跡情報の信頼性を低下させることはない。すなわち、本発明の構成によると、追跡処理を可及的に早い段階から開始し、且つ、誤検出や誤追跡による信頼性低下は抑制する、という相反する目的を同時満足することが可能となる。

前記更新手段は、現在のフレームの画像から前記検出手段によって検出された人物の中に、前記人物追跡手段により追跡対象とされている人物と同一の対象と評価される人物が存在した場合に、当該人物の現在のフレームにおける位置情報を前記記憶手段の追跡情報に追加することが好ましい。

従来は、現在のフレームにおける追跡が成功したら、当該人物の追跡情報を更新することが一般的であった。これに対して、本発明では、現在のフレームの画像に対して追跡処理と検出処理の両方を行い、追跡対象の人物について追跡と検出の両方が成功した場合に、当該人物の追跡情報を更新する構成を採用している。したがって、従来よりも誤追跡の少ない、信頼性の高い追跡結果を提供することができる。

また、前記更新手段は、現在のフレームの画像から前記検出手段によって検出された人物及び候補の中に、前記候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物又は候補が存在した場合に、当該候補の現在のフレームにおける位置情報を前記記憶手段の追跡情報に追加することが好ましい。

このように、候補の追跡の場合についても、現在のフレームの画像に対して追跡処理と検出処理の両方を行い、当該候補について追跡と検出の両方が成功した場合に、当該候補の追跡情報を更新する構成を採用することで、誤追跡の少ない、信頼性の高い追跡結果を提供することができる。

前記更新手段は、前記検出手段により検出された位置を用いて、前記記憶手段の追跡情報に追加する位置情報を求めることが好ましい。

追跡処理によって特定される人物（又は候補）の位置（追跡位置）と、検出処理によって特定される人物（又は候補）の位置（検出位置）とのあいだに多少の差が存在することがある。一般には、追跡位置よりも検出位置のほうが精度を期待できる。そこで、本発明のように、検出位置を用いて追跡情報に記録する位置情報を決定することにより、追跡結果の信頼性を向上することができる。

前記検出手段は、検出した対象をその検出結果の信頼度とともに出力する検出器を複数種類備えており、少なくともいずれか１つの検出器の検出結果の信頼度が閾値以上の場合に前記検出した対象が人物であると判定し、すべての検出器の検出結果の信頼度が閾値より小さい場合に前記検出した対象が候補であると判定することが好ましい。

複数種類の検出器を用いることにより、人物の可能性がある対象を漏れなく検出できるようになるものと期待できる。

前記検出手段は、前記複数種類の検出器を１つずつ順番に実行し、閾値以上の信頼度をもつ検出結果が得られた時点で検出処理を止めることが好ましい。

これにより、検出器の実行回数を可及的に少なくできるので、検出処理に要する時間を短縮することができる。

前記複数種類の検出器は、頭部を検出する検出器と顔を検出する検出器を含んでおり、前記頭部を検出する検出器が前記顔を検出する検出器よりも先に実行されることが好ましい。

顔検出よりも処理時間の短い頭部検出を先に実行することで、頭部検出の結果のみで人物と判定可能なものについての顔検出処理を省略できるため、検出処理に要する時間の短縮が可能となる。

前記候補追跡手段は、前記候補が最初に検出されたフレームから所定期間後に該候補の追跡処理を止めることが好ましい。

つまり、所定期間のあいだに「候補」から「人物」への変更が行われなかった場合には、その「候補」は人以外のものであるとみなされ、追跡対象から除かれるのである。これにより無駄な追跡処理を減らし、処理時間の短縮を図ることができる。

なお、本発明は、上記手段の少なくとも一部を含む追跡装置または追跡システムとして捉えてもよいし、上記処理の少なくとも一部を含む追跡方法またはその追跡方法をコンピュータに実行させるためのプログラムやそのプログラムを記録したコンピュータ読み取り可能な記録媒体として捉えることもできる。上記手段及び上記処理は、可能な限りどのような組み合わせをとることもできる。

例えば、本発明に係る追跡方法は、動画像中の人物の動きを追跡し記録する追跡方法であって、コンピュータが、順次入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補とを検出する検出ステップと、コンピュータが、人物を追跡対象とする追跡処理を実行する人物追跡ステップと、コンピュータが、候補を追跡対象とする追跡処理を実行する候補追跡ステップと、コンピュータが、追跡対象とされた人物の位置情報の履歴を記録した情報である、人物の追跡情報と、追跡対象とされた候補の位置情報の履歴を記録した情報である、候補の追跡情報とを記憶装置に記憶させる記憶ステップと、コンピュータが、前記記憶装置の追跡情報を更新する更新ステップと、を有し、前記更新ステップでは、前記検出ステップにおいて現在のフレームの画像から検出された人物の中に、前記候補追跡ステップにより追跡対象とされている候補と同一の対象と評価される人物が存在した場合に、現在のフレームまでに前記記憶装置に蓄積された当該候補の追跡情報を人物の追跡情報へと変更することを特徴とする。

本発明によれば、動画像中の人物の追跡処理を可及的に早い段階から高い信頼性をもって実行することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

（全体構成）
図１は本発明の実施形態に係る追跡装置の機能構成を示すブロック図である。まずは図１を用いて、追跡装置の機能構成を説明する。

この追跡装置は、カメラや記録媒体（いずれも不図示）から動画像（入力画像）を取り込み、その動画像に写る不特定の人物の動きを自動で追跡し記録するための装置である。動画像中に複数の人物が写っている場合には、人物毎にＩＤが付与され、各人物の動きの情報が個別に追跡・記録される。このような追跡装置は、例えば、監視カメラの映像から侵入者や入場者の動きや数を解析する装置、店内カメラの映像から顧客の動線を解析する装置など、様々な用途に応用可能である。

追跡装置は、図１に示すように、その機能として、検出処理部１０、追跡処理部２０、統合処理部３０、追跡情報データベース４０を備えている。図示しないが、動画像を撮影するためのカメラや、動画像及び追跡結果を出力するための表示部などを設けることも好ましい。これらの機能要素は、演算処理装置（コンピュータ）がソフトウエア（プログラム）を実行し、必要に応じて、カメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素の少なくとも一部を専用のチップで構成しても構わない。

（検出処理部）
検出処理部１０は、順次入力される各フレームの画像から「人物」と「候補」とを検出する機能（検出手段）である。ここで「人物」とは、検出処理部１０によって検出される対象のうち、人（人間）であると判定された対象をいい、「候補」とは、人物か否かを確定できない対象をいう。

検出処理部１０は、頭部検出器１１、顔検出器１２、上半身検出器１３の３種類の検出器を備えている。これらの検出器１１〜１３は互いに異なるアルゴリズム（あるいは特徴量）を用いて、人物検出処理を行う機能である。各検出器は、画像の中から、人物の可能性がある対象（領域）をすべて検出し、その検出した対象を検出結果の信頼度とともに出力する。信頼度とは、その検出した対象が人物である確率（人物らしさ）を表すスコアであり、信頼度が大きいほど人物である可能性が高いことを示している。本実施形態においては、複数種類の検出器１１〜１３を用い、少なくとも１つの検出器で高い信頼度の検出結果が得られたら「人物」と判定し、すべての検出器の信頼度が低い場合に「候補」と判定する。これにより、人物の可能性がある対象を漏れなく検出することができる。

ここで、３つの検出器１１〜１３は同時に（並列に）実行されるのではなく、図１に示すように、頭部検出器１１→顔検出器１２→上半身検出器１３の順番で１つずつ実行される。もしいずれかの検出器で「人物」と判定されたら、その時点で検出処理を止め、残りの検出器の処理は省略する。これにより、検出器の実行回数を可及的に少なくし、検出処理に要する時間を短縮する。

検出器の処理順は、各検出器の特性を考慮して決定する。混雑や顔の向き変化による人体の隠れが発生する状況において、人物の中で最も検出しやすい部位は頭部である。例えば、帽子やサングラスをつけていたり、顔が横を向いていたり、照明の具合により顔器官がはっきり写っていなかったりすると、顔の検出は困難である。また人体が重なっている場合には上半身の検出ができないこともある。しかし、そのような画像であっても、頭部の輪郭が明瞭に写っていれば頭部検出が可能である。また頭部検出のアルゴリズムは比較的単純であり、処理時間も短いという利点がある。そこで本実施形態では、まず頭部検出器１１による頭部検出処理を実行する。頭部検出で得られた信頼度が十分に高い場合は、頭部検出の結果のみで「人物」であると判断する。ただし、頭部検出は、楕円形状の物体などを頭部として誤検出しやすい傾向にあるので、「人物」か否かを判断する閾値は高めに設定することが好ましい。

顔検出器１２は、顔器官の特徴などを用いて顔か否かを検出する機能であり、画像に顔
が鮮明に写っている場合には３つの検出器の中で最も誤検出が少ないという利点がある。ただし、頭部検出に比べて処理時間を要すること、また照明や顔の向きなどの条件に影響を受けやすいことなどから、頭部検出の信頼性が低い場合にのみ実行する２次的な検出器として用いる。

上半身検出器１３は、上半身の輪郭などに着目して人体か否かを検出する機能である。頭部検出と同様、アルゴリズムは比較的単純であり、処理時間も短いという利点がある。また、画像中の人物のサイズが小さい場合や、帽子や顔の向きや照明条件などにより顔の判別がつきづらい場合でも、上半身の検出は可能なことが多い。そこで、本実施形態では、顔検出の信頼性が低い場合に実行する３次的な検出器として上半身検出器１３を用いる。

なお、用いる検出器の種類（アルゴリズム）、数、順番などは、本実施形態で示したものに限らず、適宜変更してもかまわない。例えば、頭部検出器と顔検出器の２種類だけを用いてもよいし、４種類以上の検出器を組み合わせてもよい。また処理時間よりも検出精度を優先するのであれば、信頼度の高低によらずすべての検出器を実行し、それらの検出結果を総合して「人物」か「候補」かの判断をしてもよい。

検出器の具体的なアルゴリズムや検出器の作成手法に関しては、従来公知の技術を利用することができる。例えば、数多くのサンプル画像（頭部検出器であれば、頭部が写っている画像と、頭部が写っていない画像を用意する）を用いて、Ｒｅａｌ ＡｄａＢｏｏｓｔのようなＢｏｏｓｔｉｎｇ手法により特徴量の傾向を学習することで、検出器が作成される。特徴量としては、例えば、ＨｏＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔ）特徴量、Ｓｐａｒｓｅ特徴量、Ｈａａｒ特徴量などどのような種類の特徴量も用いることができる。また学習手段も、Ｂｏｏｓｔｉｎｇ手法のほか、ＳＶＭ（サポートベクタマシン）、ニューラルネットワークなどを利用することも可能である。

検出処理部１０の検出結果は、追跡情報ＤＢ４０内の検出情報ＤＢ４１に記録される。検出結果には、検出された対象ごとに、画像中の位置及びサイズ、信頼度、人物フラグ（人物の場合にＯＮ、候補の場合にＯＦＦ）が含まれる。

（追跡処理部）
追跡処理部２０は、「人物」を追跡対象とする追跡処理を実行する人物追跡器２１（人物追跡手段）と、「候補」を追跡対象とする追跡処理を実行する候補追跡器２２（候補追跡手段）とから構成される。

人物追跡器２１が追跡対象とする人物の情報（追跡人物情報）は、追跡情報ＤＢ４０内の追跡人物情報ＤＢ４２に記録されている。この追跡人物情報には、追跡対象のＩＤ、画像中の位置及びサイズ（追跡が続いているフレーム数分の移動履歴が蓄積される）、特徴量、人物フラグが含まれる。

人物追跡器２１は、追跡人物情報を参照しつつ、各追跡対象に対する追跡処理を実行する。追跡処理とは、現在のフレームの画像の中から、前のフレームにおける追跡対象と位置、サイズ、特徴量などが類似する対象（領域）を探索する処理である。追跡処理がフレーム間の類似性を利用して追跡対象を探索するのに対し、前述の検出処理は１つのフレームの画像から頭部、顔、上半身などを探索する処理である点で、両者は異なっている。

一方、候補追跡器２２が追跡対象とする候補の情報（追跡候補情報）は、追跡情報ＤＢ４０内の追跡候補情報ＤＢ４３に記録されている。この追跡候補情報には、追跡対象のＩＤ、画像中の位置及びサイズ、特徴量、人物フラグが含まれる。なお、追跡対象ＩＤは、
人物であるか候補であるかにかかわらず、一意の番号が振られるようにする。

候補追跡器２２は、追跡候補情報を参照しつつ、各追跡対象に対する追跡処理を実行する。追跡対象が異なるだけで、具体的な追跡アルゴリズムは人物追跡器２１と共通である。ただし、候補追跡器２２は、候補の追跡処理を所定期間（例えば、当該候補が最初に検出されたフレームから１０フレーム）しか継続しないこととする。このような制限を設けたのは、人物以外のものに対する無駄な追跡処理を減らし、処理時間の短縮を図るためである。なお、後述するように、この１０フレーム期間の間に、当該候補が人物であったことが判明した場合は、処理が人物追跡器２１に引き継がれるため、追跡処理が継続される。

追跡器の具体的なアルゴリズムや追跡器の作成手法に関しては、従来公知の技術を利用することができる。例えば、追跡方法としては、Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ、ｍｅａｎ ｓｈｉｆｔ、Ｏｎｌｉｎｅ Ｂｏｏｓｔｉｎｇなどを利用することができる。フレーム間の比較には、前のフレームで得られたテンプレート、色情報、検出器から得られた特徴量などを利用できる。

（統合処理部）
統合処理部３０は、検出処理部１０の検出結果と追跡処理部２０の追跡結果とを統合し、追跡情報ＤＢ４０内の追跡人物情報ＤＢ４２及び追跡候補情報ＤＢ４３の内容を更新する機能（更新手段）である。統合処理部３０は、図１に示すように、検出−人物追跡結果統合部３１、検出−候補追跡結果統合部３２、人物−候補結果統合部３３を備えている。

検出−人物追跡結果統合部３１の主な機能は、検出処理部１０によって検出された「人物」と人物追跡器２１により追跡中の「人物」とを同定する機能、追跡人物情報ＤＢ４２に記録されている追跡人物情報を更新する機能、検出処理部１０によって新しく検出された「人物」を追跡人物情報ＤＢ４２に登録する機能である。また、検出−候補追跡結果統合部３２の主な機能は、検出処理部１０によって検出された対象（「人物」と「候補」の両方を含む）と候補追跡器２２により追跡中の「候補」とを同定する機能、追跡候補情報ＤＢ４３に記録されている追跡候補情報を更新する機能、検出処理部１０によって新しく検出された「候補」を追跡候補情報ＤＢ４３に登録する機能である。また、人物−候補結果統合部３３の主な機能は、追跡人物情報ＤＢ４２と追跡候補情報ＤＢ４３への重複登録を解消する機能、追跡中の「候補」が「人物」であったことが判明した場合に追跡候補情報を追跡人物情報へ変更する機能などである。これらの機能の詳細については後述する。

（追跡処理の例）
では、フローチャートと画像例を参照して、本実施形態の追跡装置における追跡処理の流れを説明する。以下に述べる（１）検出処理、（２）追跡処理、及び、（３）統合処理は、フレーム毎に実行される。

（１）検出処理
図２は、検出処理の流れを示すフローチャートである。あるフレームの画像が入力されると、まず頭部検出器１１が入力画像から頭部を検出する（Ｓ３０）。そして、Ｓ３２〜Ｓ３９の処理が、検出されたＮ個の頭部のそれぞれについて実行される（Ｓ３１）。Ｓ３２では、頭部ｎＩに関して、頭部検出の信頼度Ｃｏｎｆ１が閾値ＴＨ１と比較される。頭部検出の信頼度Ｃｏｎｆ１が高い場合（Ｓ３２；ＮＯ）は、頭部ｎＩの人物フラグをＯＮに設定し（Ｓ３３）、検出結果（画像中の位置・サイズ、信頼度、人物フラグ）を検出情報ＤＢ４１へ記録する（Ｓ３４）。

Ｓ３２において、頭部検出の信頼度Ｃｏｎｆ１が閾値ＴＨ１より低かった場合には、顔
検出器１２が、頭部ｎＩを中心とする所定範囲の中から、顔の検出を行う（Ｓ３５）。ここで顔検出範囲を頭部ｎＩの近傍に制限することにより、顔検出処理に要する時間を短縮できる。次に、Ｓ３６において、顔検出の信頼度Ｃｏｎｆ２が閾値ＴＨ２と比較される。信頼度Ｃｏｎｆ２が高い場合（Ｓ３６；ＮＯ）は、人物フラグをＯＮに設定し（Ｓ３３）、検出結果を検出情報ＤＢ４１へ記録する（Ｓ３４）。

Ｓ３６において、顔検出の信頼度Ｃｏｎｆ２が閾値ＴＨ２より低かった場合には、上半身検出器１３が、頭部ｎＩを基準とする所定範囲の中から、上半身の検出を行う（Ｓ３７）。ここでも上半身検出範囲を制限することで、処理時間の短縮を図っている。Ｓ３８において、上半身検出の信頼度Ｃｏｎｆ３が閾値ＴＨ３と比較される。信頼度Ｃｏｎｆ３が高い場合（Ｓ３８；ＮＯ）は、人物フラグをＯＮに設定し（Ｓ３３）、検出結果を検出情報ＤＢ４１へ記録する（Ｓ３４）。

Ｓ３８において、上半身検出の信頼度Ｃｏｎｆ３が閾値ＴＨ３より低かった場合には、人物フラグをＯＦＦに設定し（Ｓ３９）、検出結果を検出情報ＤＢ４１へ記録する（Ｓ３４）。

上記フローにより、入力画像に含まれるすべての「人物」及び「候補」の検出結果が検出情報ＤＢ４１に記録される。図３は、入力画像と検出結果の一例を示している。この画像には二人の人物が写っている。前方の人物Ａは「人物」（人物フラグ＝ＯＮ）として認識されているが、後方の人物Ｂは体の一部が隠れている関係で「候補」（人物フラグ＝ＯＦＦ）となっている。また、人間以外の物体Ｃも「候補」として検出されている。

（２）追跡処理
図４は、人物追跡処理の流れを示すフローチャートである。画像が入力されると、人物追跡器２１は追跡人物情報ＤＢ４２から追跡人物情報を取得する（Ｓ５０）。そして、Ｓ５２〜Ｓ５６の処理が、追跡対象とされている人物の数だけ繰り返される（Ｓ５１）。図３の例では、追跡対象の数Ｍは１（追跡対象ＩＤ：００１）である。

Ｓ５２では、人物追跡器２１が、追跡対象ｎＪの追跡処理を実行する。具体的には、追跡人物情報ＤＢ４２から読み込んだ追跡対象ｎＪの位置、サイズ、特徴量（これらは１つ前のフレームの画像から得られた情報である）をもとに、現在のフレームの画像の中から追跡対象ｎＪを探索する。追跡が成功した場合は（Ｓ５３；ＹＥＳ）、追跡成功フラグをＯＮに設定し（Ｓ５４）、追跡結果として現在のフレームにおける位置、追跡成功フラグなどの情報を出力する（Ｓ５６）。一方、追跡が失敗した場合は（Ｓ５３；ＮＯ）、追跡成功フラグをＯＦＦに設定し（Ｓ５５）、追跡結果を出力する（Ｓ５６）。ここで出力された追跡結果は、後述する検出−人物追跡結果統合部３１の統合処理に利用される。

図５は、候補追跡処理の流れを示すフローチャートである。画像が入力されると、候補追跡器２２は追跡候補情報ＤＢ４３から追跡候補情報を取得する（Ｓ６０）。そして、Ｓ６２〜Ｓ６７の処理が、追跡対象とされている候補の数だけ繰り返される（Ｓ６１）。図３の例では、追跡対象の数Ｐは２（追跡対象ＩＤ：００２，００３）である。

Ｓ６２では、候補追跡器２２が、追跡対象ｎＫの追跡回数を調べる。追跡回数は、例えば、追跡候補情報に記録された位置の履歴数などから簡単に調べることができる。もし追跡回数が１０回に達していたら（Ｓ６２；ＮＯ）、候補追跡器２２は追跡処理を実行せずに、追跡対象ｎＫの追跡成功フラグをＯＦＦに設定する（Ｓ６６）。これにより候補の追跡を最大でも１０フレームの期間に制限している。

Ｓ６３では、候補追跡器２２が、追跡対象ｎＫの追跡処理を実行する。具体的には、追
跡候補情報ＤＢ４３から読み込んだ追跡対象ｎＫの位置、サイズ、特徴量（これらは１つ前のフレームの画像から得られた情報である）をもとに、現在のフレームの画像の中から追跡対象ｎＫを探索する。追跡が成功した場合は（Ｓ６４；ＹＥＳ）、追跡成功フラグをＯＮに設定し（Ｓ６５）、追跡結果（現在のフレームにおける位置、追跡成功フラグなど）を出力する（Ｓ６７）。一方、追跡が失敗した場合は（Ｓ６４；ＮＯ）、追跡成功フラグをＯＦＦに設定し（Ｓ６６）、追跡結果を出力する（Ｓ６７）。ここで出力された追跡結果は、後述する検出−候補追跡結果統合部３２の統合処理に利用される。

上記フローにより、追跡対象とされているすべての「人物」（追跡対象ＩＤ：００１）及び「候補」（追跡対象ＩＤ：００２，００３）について、追跡処理が実行される。なお図４の処理と図５の処理は並列に実行されてもよいし、順番に実行されてもよい。

（３）統合処理
図６は、検出−人物追跡結果統合処理の流れを示すフローチャートである。

検出−人物追跡結果統合部３１は、人物追跡器２１から出力された人物追跡結果（図４のＳ５６参照）を受け取ると、各追跡対象の追跡成功フラグを調べ、追跡成功フラグがＯＦＦの追跡対象の情報を追跡人物情報ＤＢ４２から削除する（Ｓ７１）。

次に、検出−人物追跡結果統合部３１は、検出情報ＤＢ４１から検出結果を取得する（Ｓ７２）。そして、人物フラグがＯＮの検出結果（つまり、検出処理部１０によって検出された「人物」のそれぞれ）に対して、Ｓ７５〜Ｓ７８の処理が繰り返される（Ｓ７３、Ｓ７４）。

Ｓ７５では、検出された人物ｎＩと、追跡成功フラグがＯＮの追跡対象（人物）との同定が行われる。例えば、検出処理によって特定された人物ｎＩの位置と人物追跡処理によって特定された追跡対象の位置とのあいだの距離が所定の閾値より小さい場合に、両者が同一の対象であると判断すればよい。また位置だけでなく、サイズの比較や、特徴量の比較を行ってもよい。

同一の対象が存在した場合（Ｓ７６；ＹＥＳ）、検出−人物追跡結果統合部３１は、当該追跡対象の現在のフレームにおける位置情報を追跡人物情報ＤＢ４２に追加する（Ｓ７７）。このとき、人物追跡によって特定された位置（追跡位置）をそのまま記録するのではなく、検出処理によって特定された位置（検出位置）を用いてＤＢに記録する位置情報を求めるとよい。具体的には、検出位置を記録してもよいし、あるいは、検出位置と追跡位置の平均（中間点）を記録してもよい。一般に、追跡位置と検出位置とのあいだに多少の差が存在するが、追跡位置よりも検出位置のほうが精度を期待できるからである。本実施形態のように検出位置を用いて追跡対象の位置を決定（あるいは補正）することにより、追跡の成功率および追跡結果の信頼性を向上することができる。

一方、同一の対象が存在しなかった場合（Ｓ７６；ＮＯ）、検出−人物追跡結果統合部３１は、人物ｎＩに新規の追跡対象ＩＤを振り当てて、追跡人物情報ＤＢ４２に新規登録する（Ｓ７８）。

図７は、検出−候補追跡結果統合処理の流れを示すフローチャートである。

検出−候補追跡結果統合部３２は、候補追跡器２２から出力された候補追跡結果（図５のＳ６７参照）を受け取ると、各追跡対象の追跡成功フラグを調べ、追跡成功フラグがＯＦＦの追跡対象の情報を追跡候補情報ＤＢ４３から削除する（Ｓ８１）。

次に、検出−候補追跡結果統合部３２は、検出情報ＤＢ４１から検出結果を取得する（Ｓ８２）。そして、すべての検出結果（つまり、検出処理部１０によって検出された「人物」及び「候補」のそれぞれ）に対して、Ｓ８４〜Ｓ８８の処理が繰り返される（Ｓ８３）。

Ｓ８４では、検出された対象（人物又は候補）ｎＩと、追跡成功フラグがＯＮの追跡対象（候補）との同定が行われる。この場合も、図６のＳ７５と同様、位置、サイズ、特徴量などを比較することにより、同一の対象か否かを判断すればよい。

同一の対象が存在した場合（Ｓ８５；ＹＥＳ）、検出−候補追跡結果統合部３２は、当該追跡対象の現在のフレームにおける位置情報を追跡候補情報ＤＢ４３に追加する（Ｓ８６）。この場合も、追跡位置をそのまま記録するのではなく、検出位置、あるいは、検出位置と追跡位置の平均を記録するとよい。さらに、検出−候補追跡結果統合部３２は、対象ｎＩの人物フラグにあわせて、追跡候補情報ＤＢ４３の人物フラグも更新する。ここで、対象ｎＩの人物フラグがＯＮであるということは、今まで「候補」として追跡していた対象が「人物」であったことが判明したということを意味する。このようなケースは、例えば、人物の位置関係が図３の状態から図８の状態に変化し、後方の人物の顔や上半身がはっきりと認識できるようになった場合などに起こり得る。

一方、同一の対象が存在しなかった場合（Ｓ８５；ＮＯ）、検出−候補追跡結果統合部３２は、対象ｎＩの人物フラグを調べ（Ｓ８７）、人物フラグがＯＦＦの場合に新規の追跡対象ＩＤを振り当てて、追跡候補情報ＤＢ４３に新規登録する（Ｓ８８）。

図９は、人物−候補結果統合処理の流れを示すフローチャートである。

人物−候補結果統合部３３は、追跡人物情報ＤＢ４２から追跡対象とされている各人物の情報を取得し（Ｓ１００）、追跡候補情報ＤＢ４３から追跡対象とされている各候補の情報を取得する（Ｓ１０１）。そして、各候補ｎＫについて、Ｓ１０３〜Ｓ１０６の処理が繰り返される（Ｓ１０２）。

Ｓ１０３では、候補ｎＫと、Ｓ１００で取得した追跡対象とされている人物との同定が行われる。この場合も図６のＳ７５と同様、位置、サイズ、特徴量などを比較することにより、同一の対象か否かを判断すればよい。

候補ｎＫと同一の人物が追跡人物情報ＤＢ４２に存在した場合（Ｓ１０４；ＹＥＳ）、追跡候補情報ＤＢ４３から当該候補ｎＫの情報が削除される（Ｓ１０５）。このようなケースは、例えば、誤検出または誤追跡により同一人物が両方のＤＢに重複登録されてしまった場合や、二人の人が互いに近づいていき一方の人が他方の人の後ろに完全に隠れてしまった場合などに、起こり得る。

一方、Ｓ１０６では、人物−候補結果統合部３３が、候補ｎＫの人物フラグを調べる。候補ｎＫの人物フラグがＯＮの場合、つまり、図７のＳ８４〜Ｓ８６で「人物」であることが判明した「候補」の場合には、その候補ｎＫの情報が追跡候補情報ＤＢ４３から追跡人物情報ＤＢ４２へと移される（Ｓ１０７）。これにより、候補として追跡し記録されていた情報が、人物の追跡情報へと変更される（図８参照）。候補ｎＫは、次のフレームの処理から、「人物」として追跡処理が続行されることになる。

なお、図６の処理と図７の処理は並列に実行されてもよいし、順番に実行されてもよい。図９の処理は図６の処理と図７の処理が終了した後に実行されるものである。

（本装置の利点）
上記構成によれば、明らかに人と判る対象（「人物」）だけでなく、顔が隠れているなどして人か否かの判別が難しいグレーゾーンの対象（「候補」）についても、直ちに追跡処理が開始され、追跡情報の記録が行われる。そして、「候補」として追跡している最中に、その「候補」が「人物」であったと判明した時点で、「候補」の追跡情報として記録していた情報が「人物」の追跡情報へと変更される。以降は、「人物」として追跡処理が継続されることとなる。したがって、人か否かの判別が難しい時点から、当該人物の動きを追跡し記録することが可能となる。なお、人以外のものが「候補」として検出され、追跡処理が行われることもあるが、その場合は、「候補」から「人物」へと転じることがないため、「人物」の追跡情報の信頼性を低下させることはない。すなわち、本装置の構成によると、追跡処理を可及的に早い段階から開始し、且つ、誤検出や誤追跡による信頼性低下は抑制する、という相反する目的を同時満足することが可能となる。

また、フレーム毎に検出処理と追跡処理を実行し、検出と追跡の両方が成功した場合にのみ、当該追跡対象の追跡情報を更新するため、従来よりも誤追跡の少ない、信頼性の高い追跡結果を提供することができる。

なお上記構成は本発明の一具体例を示したものにすぎない。本発明の範囲は上記構成に限定されることはなく、その技術思想の範囲内で種々の変形が可能である。

図１は本発明の実施形態に係る追跡装置の機能構成を示すブロック図である。 図２は検出処理の流れを示すフローチャートである。 図３は入力画像、検出結果、追跡人物情報、及び追跡候補情報の例を示す図である。 図４は人物追跡処理の流れを示すフローチャートである。 図５は候補追跡処理の流れを示すフローチャートである。 図６は検出−人物追跡結果統合処理の流れを示すフローチャートである。 図７は検出−候補追跡結果統合処理の流れを示すフローチャートである。 図８は入力画像、検出結果、追跡人物情報、及び追跡候補情報の例を示す図である。 図９は人物−候補結果統合処理の流れを示すフローチャートである。

符号の説明

１０ 検出処理部
１１ 頭部検出器
１２ 顔検出器
１３ 上半身検出器
２０ 追跡処理部
２１ 人物追跡器
２２ 候補追跡器
３０ 統合処理部
３１ 検出−人物追跡結果統合部
３２ 検出−候補追跡結果統合部
３３ 人物−候補結果統合部
３３ 候補結果統合
４０ 追跡情報ＤＢ
４１ 検出情報ＤＢ
４２ 追跡人物情報ＤＢ
４３ 追跡候補情報ＤＢ

Claims (12)

1. 動画像中の人物の動きを追跡し記録する追跡装置であって、
   順次入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補とを検出する検出手段と、
   人物を追跡対象とする追跡処理を実行する人物追跡手段と、
   候補を追跡対象とする追跡処理を実行する候補追跡手段と、
   追跡対象とされた人物の位置情報の履歴を記録した情報である、人物の追跡情報と、追跡対象とされた候補の位置情報の履歴を記録した情報である、候補の追跡情報とを記憶する記憶手段と、
   前記記憶手段の追跡情報を更新する更新手段と、を備え、
   前記更新手段は、前記検出手段によって現在のフレームの画像から検出された人物の中に、前記候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物が存在した場合に、現在のフレームまでに前記記憶手段に蓄積された当該候補の追跡情報を人物の追跡情報へと変更することを特徴とする追跡装置。
2. 前記更新手段は、現在のフレームの画像から前記検出手段によって検出された人物の中に、前記人物追跡手段により追跡対象とされている人物と同一の対象と評価される人物が存在した場合に、当該人物の現在のフレームにおける位置情報を前記記憶手段の追跡情報に追加することを特徴とする請求項１に記載の追跡装置。
3. 前記更新手段は、現在のフレームの画像から前記検出手段によって検出された人物及び候補の中に、前記候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物又は候補が存在した場合に、当該候補の現在のフレームにおける位置情報を前記記憶手段の追跡情報に追加することを特徴とする請求項１又は２に記載の追跡装置。
4. 前記更新手段は、前記検出手段により検出された位置を用いて、前記記憶手段の追跡情報に追加する位置情報を求めることを特徴とする請求項２又は３に記載の追跡装置。
5. 前記検出手段は、検出した対象をその検出結果の信頼度とともに出力する検出器を複数
   種類備えており、少なくともいずれか１つの検出器の検出結果の信頼度が閾値以上の場合に前記検出した対象が人物であると判定し、すべての検出器の検出結果の信頼度が閾値より小さい場合に前記検出した対象が候補であると判定することを特徴とする請求項１〜４のうちいずれか１項に記載の追跡装置。
6. 前記検出手段は、前記複数種類の検出器を１つずつ順番に実行し、閾値以上の信頼度をもつ検出結果が得られた時点で検出処理を止めることを特徴とする請求項５に記載の追跡装置。
7. 前記複数種類の検出器は、頭部を検出する検出器と顔を検出する検出器を含んでおり、前記頭部を検出する検出器が前記顔を検出する検出器よりも先に実行されることを特徴とする請求項６に記載の追跡装置。
8. 前記候補追跡手段は、前記候補が最初に検出されたフレームから所定期間後に該候補の追跡処理を止めることを特徴とする請求項１〜７のうちいずれか１項に記載の追跡装置。
9. 動画像中の人物の動きを追跡し記録する追跡方法であって、
   コンピュータが、順次入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補とを検出する検出ステップと、
   コンピュータが、人物を追跡対象とする追跡処理を実行する人物追跡ステップと、
   コンピュータが、候補を追跡対象とする追跡処理を実行する候補追跡ステップと、
   コンピュータが、追跡対象とされた人物の位置情報の履歴を記録した情報である、人物の追跡情報と、追跡対象とされた候補の位置情報の履歴を記録した情報である、候補の追跡情報とを記憶装置に記憶させる記憶ステップと、
   コンピュータが、前記記憶装置の追跡情報を更新する更新ステップと、を有し、
   前記更新ステップでは、前記検出ステップにおいて現在のフレームの画像から検出された人物の中に、前記候補追跡ステップにより追跡対象とされている候補と同一の対象と評価される人物が存在した場合に、現在のフレームまでに前記記憶装置に蓄積された当該候補の追跡情報を人物の追跡情報へと変更することを特徴とする追跡方法。
10. 前記検出ステップでは、検出した対象をその検出結果の信頼度とともに出力する複数種類の検出器を用い、少なくともいずれか１つの検出器の検出結果の信頼度が閾値以上の場合に前記検出した対象が人物であると判定し、すべての検出器の検出結果の信頼度が閾値より小さい場合に前記検出した対象が候補であると判定することを特徴とする請求項９に記載の追跡方法。
11. 前記候補が最初に検出されたフレームから所定期間後に該候補の追跡処理を止めることを特徴とする請求項９または１０に記載の追跡方法。
12. 請求項９〜１１のうちいずれか１項に記載の追跡方法の各ステップをコンピュータに実行させるためのプログラム。

Images