JP6331785B2 - 物体追跡装置、物体追跡方法および物体追跡プログラム - Google Patents

Description

本発明は、撮影された映像内の物体を追跡する物体追跡装置、物体追跡方法および物体追跡プログラムに関する。

近年、ビデオ監視などを行う際、人物や車両のような移動物体を検出して追跡するニーズが高まっている。このようなニーズを背景に、移動物体を検出して追跡する手法が数多く提案されている。

移動物体を検出する手法として、背景差分法がよく知られている（例えば、非特許文献１参照）。背景差分法は、背景として記憶された画像とカメラで観測された画像とを比較し、違いのある領域を移動物体であると判断して抽出する手法である。

背景差分法を用いる場合、背景を正確に抽出することが必要である。背景を抽出する方法として、観測開始時のデータを固定的に利用する方法や、最新の一定期間の観測結果の平均を算出して背景を推定する方法などが知られている。なお、前者のような観測開始時のデータを固定的に利用する方法では、背景が変化する場合には対応できない。そこで、非特許文献１にも記載されているように、観測結果から背景を推定する後者の方法を利用することが一般的である。

一方、置き去りにされた物体や一定時間滞留する人物のような一時的な静止物を抽出する技術も存在する。特許文献１には、シーン中の動きを複数の異なる時間幅の背景モデルで解析する方法が記載されている。特許文献１に記載された方法では、長時間のレンジで解析された長期背景モデルと、短時間のレンジで解析された短期背景モデルを作成する。そして、短期背景モデルに基づく背景差分で移動体が検知されず、かつ、長期背景モデルに基づく背景差分で移動体が検知される状態が所定回数継続した場合、一時的な静止物が存在すると判断する。

また、検出結果をもとに移動体を追跡する方法として、例えばカルマンフィルタやパーティクルフィルタを用いる手法が知られている。カルマンフィルタやパーティクルフィルタを用いるなど、多くの場合、追跡対象が等速度または等加速度で運動することを前提としている。

なお、特許文献２には、背景物と同一位置に移動体が一時的に停止するような場面でも、移動体の追跡を継続できる移動体追跡装置が記載されている。特許文献２に記載された移動体追跡装置は、固定物である物体についても移動体である物体と同様に追跡を行い、追跡している物体が固定物であるか移動体であるかの判定を、その物体についての検出情報の履歴に基づいて行う。

特許第５０５８０１０号公報 特開２０１３−１７４５６８号公報

川端敦, 谷藤真也, 諸岡泰男, "移動物体像の抽出技術", 情報処理学会, vol.28, no.4, pp.395-402, 1987.

カルマンフィルタやパーティクルフィルタでは、追跡対象の運動として等速直線運動や等加速度運動のような比較的単純な運動を仮定している。しかし、人物や車両のような移動物体の動きは単純ではなく、移動状態のときもあれば、一時的に停止する状態も存在する。

例えば、信号がある場所では、人物も車両も一時的に停止することがある。また、人物の場合、例えば、待ち合わせが行われる場合でも一時的に停止するし、店舗内であれば、一時的に停止して特定の商品の前でじっと眺める行動をとることもある。さらに、不審者の場合、例えば、周囲の状況を窺うために、一時的に停止することもある。また、車両の場合、駐車場で一時的に停止する場合もある。

このように、移動と停止を繰り返す移動物体は数多く存在する。しかし、一般的な追跡方法や、特許文献２に記載された方法では単純な移動を仮定しているため、これらの追跡方法では、移動と停止を繰り返す移動物体を見失うことも多かった。

そこで、本発明は、移動と一時的な静止とを行う追跡対象が存在しても高精度に追跡を行うことができる物体追跡装置、物体追跡方法および物体追跡プログラムを提供することを目的とする。

本発明による物体追跡装置は、撮影された映像内の物体を追跡する物体追跡装置であって、入力される映像から取得される対象画像から移動物体領域を検出する移動物体検出手段と、対象画像から一時的な静止物体領域を検出する静止物体検出手段と、追跡対象の過去の状態に基づいて、対象画像が撮影された時点における追跡対象の動作状態が移動状態か静止状態かを予測する追跡対象状態予測手段と、移動物体領域の情報と静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する判定手段とを備えたことを特徴とする。

本発明による物体追跡方法は、撮影された映像内の物体を追跡する物体追跡方法であって、入力される映像から取得される対象画像から移動物体領域を検出し、対象画像から一時的な静止物体領域を検出し、追跡対象の過去の状態に基づいて、対象画像が撮影された時点における追跡対象の動作状態が移動状態か静止状態かを予測し、移動物体領域の情報と静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定することを特徴とする。

本発明による物体追跡プログラムは、撮影された映像内の物体を追跡するコンピュータに適用される物体追跡プログラムであって、コンピュータに、入力される映像から取得される対象画像から移動物体領域を検出する移動物体検出処理、対象画像から一時的な静止物体領域を検出する静止物体検出処理、追跡対象の過去の状態に基づいて、対象画像が撮影された時点における追跡対象の動作状態が移動状態か静止状態かを予測する追跡対象状態予測処理、および、移動物体領域の情報と静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する判定処理を実行させることを特徴とする。

本発明によれば、移動と一時的な静止とを行う追跡対象が存在しても高精度に追跡を行うことができる。

本発明による物体追跡装置の一実施形態を示すブロック図である。 物体追跡装置の動作例を示すフローチャートである。 物体追跡装置の第１の実施例を示す説明図である。 物体追跡装置の第２の実施例を示す説明図である。 本発明による物体追跡装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明による物体追跡装置の一実施形態を示すブロック図である。本実施形態の物体追跡装置は、定点カメラなどで撮影された映像内の物体を追跡する機能を有する。本実施形態の物体追跡装置は、画像入力手段１と、移動物検出手段２と、一時静止物検出手段３と、追跡対象状態予測手段４と、検出結果選択手段５と、追跡対象状態更新手段６と、結果出力手段７と、追跡対象状態記憶手段８とを備えている。

画像入力手段１は、ある処理時刻の時点における画像を撮影された映像から取得し、物体追跡装置に入力する。以下、画像入力手段１が取得した画像のことを対象画像と記す。

移動物検出手段２は、画像入力手段１で取得された対象画像を用いて、移動物と判定される領域を抽出する。以下、この領域のことを、移動物体領域と記すこともある。移動物検出手段２は、例えば、非特許文献１に記載されるような背景差分法を用いて対象画像中の画素単位に移動物か否かを判定し、ラベリング処理によって移動物体領域を検出してもよい。

背景差分法は、背景を解析する時間幅よりも長時間静止する物体は検出できない。しかし、本実施形態では、移動物検出手段２は、後述する一時静止物検出手段３が検出する一時的な静止物を検出する必要はない。そのため、背景を解析する時間幅を短くすることが可能である。なお、移動物検出手段２が対象画像から移動物体領域を抽出する方法は、背景差分法に限定されない。移動物検出手段２は、移動物体領域を検出可能な任意の方法を用いることが可能である。

一時静止物検出手段３は、画像入力手段１で取得された対象画像を用いて、一時的な静止物と判定される領域を抽出する。以下、この領域のことを、静止物体領域と記すこともある。一時静止物検出手段３は、例えば、非特許文献１に記載されるような長期静止物検知手法を用いて、画素単位に一時的な静止物体か否かを判定し、ラベリング処理によって一時的な静止物と判定される領域を検出してもよい。

追跡対象状態記憶手段８は、追跡対象の過去の状態を記憶する。ここで、追跡対象の状態には、過去の時点における追跡対象の位置、速度、尤度（重み値）のほか、その追跡状態の動作状態（移動状態または静止状態）が含まれる。

例えば、パーティクルフィルタを用いる場合、１つの追跡対象の状態は複数の粒子で表現される。この場合、追跡対象状態記憶手段８は、粒子の数をＮとすると、ｉ番目（ｉ＝１・・・Ｎ）の粒子の状態として、通常のパーティクルフィルタで保持される情報である、位置（ｘ_ｉ，ｙ_ｉ）、速度（ｕ_ｉ，ｖ_ｉ）及び重み値ｗ_ｉに加えて、移動状態か静止状態かを表す変数ｓ_ｉも保持する。

追跡対象状態予測手段４は、追跡対象状態記憶手段８に記憶されている過去の追跡対象の状態を用いて、画像入力手段１が画像を取得した時刻における追跡対象の状態を予測する。さらに、本実施形態の追跡対象状態予測手段４は、追跡対象の位置、速度および重み値以外に、その追跡状態の動作状態が移動状態か静止状態かも含めて予測する。

すなわち、本実施形態の追跡対象状態予測手段４は、追跡対象の過去の状態を示す位置、速度および動作状態に基づいて、対象画像が撮影された時点における追跡対象の動作状態を予測する。

追跡対象状態予測手段４は、例えば、カルマンフィルタやパーティクルフィルタを用いて物体を追跡してもよい。ここでは、追跡対象状態予測手段４がパーティクルフィルタを用いる場合を例に説明する。追跡対象状態予測手段４は、追跡状態を示す全ての状態について、画像入力手段１が画像を取得した時刻における追跡対象の状態を予測する。

上述する例のように、パーティクルフィルタを用いた場合では、１つの追跡対象の状態は複数の粒子で表現される。粒子の数をＮとすると、ｉ番目（ｉ＝１・・・Ｎ）の粒子の状態は、通常のパーティクルフィルタで保持される情報である、位置（ｘ_ｉ，ｙ_ｉ）、速度（ｕ_ｉ，ｖ_ｉ）及び重み値ｗ_ｉに加えて、移動状態か静止状態かを表す変数ｓ_ｉを用いて表される。

また、画面左上を原点としたｘ−ｙ座標系で画面上の位置（ｘ_ｉ，ｙ_ｉ）が表現されるものとする。速度ｕ_ｉはｘ軸方向の速度を表し、速度ｖ_ｉはｙ軸方向の速度を表す。前回処理した時刻から、画像入力手段１で画像が取得された時刻までの経過時間をΔＴとし、等速運動を仮定すると、追跡対象状態予測手段４は、追跡対象の位置（ｘ_ｉ，ｙ_ｉ）および速度（ｕ_ｉ，ｖ_ｉ）を、以下に例示する式１に基づいて更新する。

ｘ_ｉ＝ｘ_ｉ＋ｕ_ｉ×ΔＴ＋ｅ_ｘ
ｙ_ｉ＝ｙ_ｉ＋ｖ_ｉ×ΔＴ＋ｅ_ｙ
ｕ_ｉ＝ｕ_ｉ＋ｅ_ｕ
ｖ_ｉ＝ｖ_ｉ＋ｅ_ｖ ・・・（式１）

式１において、ｅ_ｘ，ｅ_ｙは、等速運動からの実際の運動のずれを考慮した項であり、予め定めた標準偏差ｓｉｇ１に基づき正規分布に従って発生される乱数である。また、式１において、ｅ_ｕ，ｅ_ｖは、別途予め定めた標準偏差ｓｉｇ２に基づき正規分布に従って発生される乱数である。

標準偏差（ｓｉｇ１，ｓｉｇ２）は、変数ｓ_ｉの値に応じて２種類用意される。具体的には、変数ｓ_ｉが移動状態を表す値の場合に用いられる標準偏差（ｓｉｇ１ｍ，ｓｉｇ２ｍ）と、変数ｓ_ｉが静止状態を表す値の場合に用いられる標準偏差（ｓｉｇ１ｓ，０）が用意される。追跡対象状態予測手段４は、ｓ_ｉの値に応じて標準偏差を使い分けることにより、乱数ｅ_ｘ，ｅ_ｙ，ｅ_ｕ，ｅ_ｖを生成する。

なお、静止状態であれば速度は必ず０にする必要があるため、ｕ_ｉ＝ｖ_ｉ＝０、ｅ_ｕ＝ｅ_ｖ＝０に設定される。また、静止している場合より移動した場合の方が、通常、変動が大きくなると予想される。そのため、位置に関する標準偏差は、ｓｉｇ１ｍ＞＝ｓｉｇ１ｓとなる。

次に、追跡対象状態予測手段４は、変数ｓ_ｉが示す動作状態も予測する。ここでは、予め定めた確率Ｐに基づいて、静止状態から移動状態に動作状態が遷移するものとし、予め定めた確率Ｑに基づいて、移動状態から静止状態に動作状態が遷移するものとする。

ｓ_ｉが静止状態を表す場合、追跡対象状態予測手段４は、０から１の一様乱数を生成し、その乱数値がＰ以下であれば、移動状態を示す値にｓ_ｉを変更する。また、静止状態では、ｕ_ｉ＝０、ｖ_ｉ＝０であるが、移動状態に変わると速度を保持するようになるため、追跡対象状態予測手段４は、ｕ_ｉとｖ_ｉに予め定めた標準偏差の正規分布に基づく乱数値を設定する。

一方、ｓ_ｉが動作状態を表す場合、追跡対象状態予測手段４は、０から１の一様乱数を生成し、その乱数値がＱ以下であれば、静止状態を示す値にｓ_ｉを変更する。また、静止状態に変わると移動速度は０になるため、追跡対象状態予測手段４は、速度をｕ_ｉ＝０、ｖ_ｉ＝０に設定する。

他にも、追跡対象状態予測手段４は、過去の履歴や統計結果に基づいて変数ｓ_ｉの状態を予測してもよい。例えば、追跡対象が静止状態から移動状態に遷移してｓ_ｉが移動状態を示す値になっているとする。この遷移が最近行われたものであり、移動状態に遷移してから予め定めた期間を経過していない場合、この追跡対象は、すぐには静止状態に戻らないと推測できる。そこで、この場合、追跡対象状態予測手段４は、一定期間、動作状態として移動状態を保持するようにしてもよい。

同様に、追跡対象が移動状態から静止状態に遷移してｓ_ｉが静止状態を示す値になっているとする。この遷移が最近行われたものであり、静止状態に遷移してから予め定めた期間を経過していない場合、この追跡対象は、すぐには移動状態に戻らないと推測できる。この場合、追跡対象状態予測手段４は、一定期間、動作状態として静止状態を保持するようにしてもよい。

他にも、画像中の場所に応じて動作状態を遷移させる状況を変化させてもよい。例えば、画像中で通路が映る領域では、移動状態から静止状態への遷移確率Ｑを小さく設定してもよい。また、待ち合わせが多いエリアを移す画像では、遷移確率Ｑを大きく設定してもよい。

なお、追跡対象状態予測手段４が状態を予測する追跡対象の数は１つに限定されず、２つ以上であってもよい。２つ以上の追跡対象の状態を予測する場合、追跡対象状態予測手段４は、それぞれの追跡対象ごとに上述する処理を個別に実施すればよい。

検出結果選択手段５は、移動物検出手段２が抽出した移動物体領域の情報と、一時静止物検出手段３が抽出した静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する。

例えば、パーティクルフィルタを用いる場合、検出結果選択手段５は、粒子ごとに、移動物検出手段２で得られた検出結果を用いるか、一時静止物検出手段３で得られた検出結果を用いるかを決定する。例えば、粒子が移動状態と予測された場合、検出結果選択手段５は、移動物検出手段２が検出した検出結果を用いると決定してもよい。また、粒子が静止状態と予測された場合、検出結果選択手段５は、一時静止物検出手段３が検出した検出結果を用いると決定してもよい。

また、例えば、検出結果選択手段５は、各粒子に対して、移動状態と予測された場合における移動物体領域の近さに応じた尤度を算出し、静止状態と予測された場合における静止物体領域の近さに応じた尤度を算出してもよい。そして、検出結果選択手段５は、算出される尤度がより高くなる検出結果を用いると決定してもよい。さらに、具体的には、粒子が移動状態と予測された場合、検出結果選択手段５は、静止物体領域との近さに応じた尤度を計算する際に、予め定めた１以下の非負の数をペナルティとして乗じても良い。また、粒子が静止状態と予測された場合、検出結果選択手段５は、移動物体領域との近さに応じた尤度を計算する際に、別途予め定めた１以下の非負の数をペナルティとして乗じても良い。これにより、予測結果とは異なるよほど尤度の高い検知結果が得られない限りは、予測結果と同じ状態の検知結果が採用され、状態も予測状態のままになる。

また、選択できる検出結果が複数ある場合、検出結果選択手段５は、その粒子に最も近い検出結果だけを選択してもよい。また、検出結果選択手段５は、例えば、動作状態に基づいて予測される追跡対象の位置との距離を移動物体領域および静止物体領域と比較し、いずれの領域が示す情報を優先させるか判定してもよい。他にも、検出結果選択手段５は、移動物体領域または静止物体領域に含まれる画像の特徴量と、追跡対象が示す特徴量の類似性に応じて、いずれの領域が示す情報を優先させるか判定してもよい。

なお、検出結果が選択できない場合もあり得る。この場合、検出結果選択手段５は、検出結果がなかったものと判定して、以降の処理を継続してもよい。

また、追跡対象が複数存在する場合、検出結果選択手段５は、それぞれの追跡対象ごとに上述する処理を個別に行ってもよいし、別々の追跡対象が同一の検出結果を用いることのないように制約を加えた処理を行ってもよい。検出結果選択手段５は、例えば、ハンガリアン法を用いて排他的に検出結果を選択することにより、別々の追跡対象が同一の検出結果を用いることのないようにしてもよい。

一方、追跡対象に対応する検出結果として選ばれていない検出結果が存在する場合、検出結果選択手段５は、その検出結果を新規の追跡対象と判断してもよい。この場合、後述する追跡対象状態更新手段６が、新規の追跡対象を追跡対象状態記憶手段８に登録する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態を更新する。追跡対象状態更新手段６は、一般的な追跡処理と同様に、追跡対象の位置情報や重み値などを更新すればよい。例えば、パーティクルフィルタを用いる場合、追跡対象状態更新手段６は、粒子ｉ（ｉ＝１・・・Ｎ）毎に尤度を計算し、ｗ_ｉを更新する。

追跡対象状態更新手段６は、検出結果に近い粒子ほど大きなｗ_ｉを設定する。追跡対象状態更新手段６は、例えば、検出結果の重心座標と粒子との距離を計算し、正規分布に従って距離が大きいほど値が小さくなるような尤度を計算してもよい。なお、検出結果選択手段５がいずれの検出結果も選択しなかった場合、追跡対象状態更新手段６は、特に処理を行わなくてもよい。

また、追跡対象が複数存在する場合、追跡対象状態更新手段６は、それぞれの追跡対象ごとに上述する処理を個別に実施すればよい。追跡対象状態更新手段６は、追跡対象状態記憶手段８に記憶された追跡対象の状態を、算出された追跡対象の状態（具体的には、追跡対象の位置、速度、重み値および動作状態）で更新する。

一方、新規の追跡対象が存在する場合、追跡対象状態更新手段６は、新規の追跡対象の状態を追跡対象状態記憶手段８に登録する。パーティクルフィルタを用いる場合、追跡対象状態更新手段６は、予め定めた標準偏差の正規分布に従って、検出結果の位置の近傍にランダムに新規に粒子を生成する。

新規の追跡対象が移動物検出手段２により検出されていた場合、追跡対象状態更新手段６は、その追跡対象の動作状態を移動状態と判断し、予め定めた標準偏差の正規分布に従ってランダムに速度を設定する。一方、新規の追跡対象が一時静止物検出手段３により検出されていた場合、追跡対象状態更新手段６は、その追跡対象の動作状態を静止状態と判断し、速度を０に設定する。

ただし、追跡対象状態更新手段６は、新規の追跡対象をすべて追跡対象状態記憶手段８に登録する必要はない。追跡対象状態更新手段６は、例えば、一時静止物検出手段３によって検出された新規の追跡対象のみ登録対象としてもよい。例えば、不審行動として、静止し周囲を窺う行動が挙げられる。このような不審行動をとる人物に限定して追跡を行いたい場合、一時静止物検出手段３による検出結果のみを登録することで、一時的な静止物体に限定して追跡できる。

結果出力手段７は、追跡対象の状態を出力する。具体的には、結果出力手段７は、追跡対象の位置や、動作状態（移動状態であるか静止状態であるか）を出力する。結果出力手段７は、通常の追跡処理と同様の方法を用いて追跡対象の位置を特定してもよい。

例えば、パーティクルフィルタを用いる場合、結果出力手段７は、各粒子の重みを用いて全ての粒子の位置に対する重み付き平均を計算し、計算された位置を出力してもよいし、もっとも重みの大きな粒子の位置を出力してもよい。

また、結果出力手段７は、検出結果選択手段５で選択された結果を用いて、動作状態が移動状態であるか静止状態であるか判断してもよい。例えば、移動物検出手段２の検出結果が選択された場合、結果出力手段７は、追跡対象が移動状態であると判断し、一時静止物検出手段３の検出結果が選択された場合、結果出力手段７は、追跡対象が静止状態と判断してもよい。

他にも、移動状態の粒子の重み総和が静止状態の粒子の重み総和よりも大きい場合、結果出力手段７は、追跡対象が移動状態であると判断し、そうでなければ、追跡対象が静止状態であると判断してもよい。

そして、結果出力手段７は、追跡対象の動作状態に基づいて、推定される追跡対象の位置に移動状態と静止状態とを異なる態様で出力する。結果出力手段７は、異なる態様として、色彩、模様、形状、明度など、視覚的に動作状態が異なることを認識できるものであれば、任意の態様を選択することができる。結果出力手段７は、例えば、推定結果が移動状態か静止状態かに応じて異なる色や形状の図形を選択し、選択した図形を対象画像に重畳させて出力してもよい。

画像入力手段１と、移動物検出手段２と、一時静止物検出手段３と、追跡対象状態予測手段４と、検出結果選択手段５と、追跡対象状態更新手段６と、結果出力手段７とは、プログラム（物体追跡プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

例えば、プログラムは、物体追跡装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、画像入力手段１、移動物検出手段２、一時静止物検出手段３、追跡対象状態予測手段４、検出結果選択手段５、追跡対象状態更新手段６および結果出力手段７として動作してもよい。

また、画像入力手段１と、移動物検出手段２と、一時静止物検出手段３と、追跡対象状態予測手段４と、検出結果選択手段５と、追跡対象状態更新手段６と、結果出力手段７とは、それぞれが専用のハードウェアで実現されていてもよい。また、追跡対象状態記憶手段８は、例えば、磁気ディスク等により実現される。

次に、本実施形態の動作を説明する。図２は、本実施形態の物体追跡装置の動作例を示すフローチャートである。

画像入力手段１が対象画像を入力すると（ステップＳ１）、移動物検出手段２が移動物の検出結果を取得する（ステップＳ２）。すなわち、移動物検出手段２は、対象画像から移動物体領域を検出する。また、一時静止物検出手段３は、一時静止物の検出結果を取得する（ステップＳ３）。すなわち、一時静止物検出手段３は、対象画像から静止物体領域を検出する。

次に、追跡対象状態予測手段４は、追跡対象状態記憶手段８に記憶された追跡対象の状態から、画像入力手段１で画像が入力された時刻における追跡対象の状態を予測する（ステップＳ４）。

次に、検出結果選択手段５は、追跡対象状態予測手段４で予測された追跡対象が、移動物検出手段２及び一時静止物検出手段３で得られた検出結果のどれに対応するか決定する。すなわち、検出結果選択手段５は、追跡対象に対応する検出結果を選択する（ステップＳ５）。

次に、追跡対象状態更新手段６は、選択された検出結果を用いて、追跡対象状態記憶手段８に記憶された追跡対象の状態を更新する（ステップＳ６）。そして、結果出力手段７は、追跡結果を出力する。具体的には、結果出力手段７は、追跡対象の状態を出力する（ステップＳ７）。

以上のように、本実施形態では、移動物検出手段２が対象画像から移動物体領域を検出し、一時静止物検出手段３が、対象画像から静止物体領域を検出する。また、追跡対象状態予測手段４が、追跡対象の過去の状態に基づいて、対象画像が撮影された時点における追跡対象の動作状態が移動状態か静止状態かを予測する。そして、検出結果選択手段５が、予測された追跡対象の動作状態に基づいて、移動物体領域の情報と静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する。

このように、本実施形態では、追跡対象の状態も予測するため、移動と一時的な静止とを行う追跡対象に対しても高精度に追跡を行うことができる。

以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。第１の実施例では、物体追跡装置が、一時停止したりうろついたりする物体を追跡する動作例を説明する。

図３は、物体追跡装置の第１の実施例を示す説明図である。図３（ａ）〜（ｄ）に示す画像は、定点カメラで撮影された画像の例であり、人物、車両、信号機の３つの物体を含むものとする。また、初期状態では、追跡対象状態記憶手段８には、追跡対象の状態が記憶されていないものとする。また、追跡のアルゴリズムにパーティクルフィルタが用いられるものとする。

まず、図３（ａ）に例示する対象画像が入力される。図３（ａ）に例示する対象画像は、左方向に進行する車両と、定常的に設置された信号機と、画面の手前でうろうろする人物を撮影したものである。

画像入力手段１が、図３（ａ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の車両と人物が存在する範囲を移動物体領域として検出する。同様に、一時静止物検出手段３は、対象画像から一時的な静止物体領域を検出する。ただし、図３（ａ）に例示する信号機は、定常的に静止している物体であるため、信号機が存在する範囲は、一時的な静止物体領域としては抽出されない。すなわち、図３（ａ）に例示する対象画像からは、車両と人物が存在する範囲が移動物体領域として検出される。

追跡対象状態予測手段４は、過去の追跡対象の状態を用いて、図３（ａ）が撮影された時刻における追跡対象の状態を予測する。なお、ここでは、追跡対象状態記憶手段８に追跡対象の状態が記憶されていないため、特に処理は行わない。

検出結果選択手段５は、移動物検出手段２で得られた検出結果を用いるか、一時静止物検出手段３で得られた検出結果を用いるかを決定する。なお、ここでは、検出結果選択手段５は、移動物検出手段２で得られた検出結果（移動物体である車両と人物の２つの移動物体）を新規の追跡対象と判断する。

追跡対象状態更新手段６は、予め定めた標準偏差の正規分布に従って、車両および人物の位置の近傍にランダムに新規に粒子を生成する。本実施例では、新規の追跡対象が移動物検出手段２により検出されているため、追跡対象状態更新手段６は、その追跡対象の動作状態を移動状態と判断し、予め定めた標準偏差の正規分布に従ってランダムに速度を設定する。そして、追跡対象状態更新手段６は、新規の追跡対象の状態を追跡対象状態記憶手段８に登録する。

結果出力手段７は、生成された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図３（ａ））に重畳させて出力する。

次に、図３（ｂ）に例示する対象画像が入力される。図３（ｂ）に例示する対象画像は、そのまま左方向に進行する車両と、定常的に設置された信号機と、画面の手前でうろうろする人物を撮影したものである。

画像入力手段１が、図３（ｂ）に例示する対象画像を入力すると、図３（ａ）に例示する対象画像の場合と同様に、移動物検出手段２は、入力された対象画像内の車両と人物が存在する範囲を移動物体領域として検出する。すなわち、図３（ｂ）に例示する対象画像からは、車両と人物が存在する範囲が移動物体領域として検出される。ただし、検出される移動物体領域は、車両および人物が図３（ｂ）に例示する位置に移動した後の範囲である。

追跡対象状態予測手段４は、追跡対象状態記憶手段８に登録された過去の追跡対象の状態（具体的には、図３（ａ）について登録された追跡対象の状態）を用いて、図３（ｂ）が撮影された時刻における追跡対象の状態を予測する。ここでは、追跡対象の過去の状態がいずれも移動状態にあるため、追跡対象状態予測手段４は、追跡対象が移動状態であるとして追跡対象の状態を予測する。

検出結果選択手段５は、移動物検出手段２が抽出した移動物体領域の情報と、一時静止物検出手段３が抽出した静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する。ここでは、いずれの追跡対象の粒子も移動状態と予測されたものとし、検出結果選択手段５は、車両および人物のいずれの追跡対象についても、移動物検出手段２が検出した検出結果を用いると決定する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態（位置情報や重み値）を更新し、動作状態を移動状態とする。

結果出力手段７は、更新された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図３（ｂ））に重畳させて出力する。

次に、図３（ｃ）に例示する対象画像が入力される。図３（ｃ）に例示する対象画像は、定常的に設置された信号機の前で停止している車両と、画面の手前でうろうろする人物を撮影したものである。

画像入力手段１が、図３（ｃ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の人物が存在する範囲を移動物体領域として検出する。また、一時静止物検出手段３は、入力された対象画像内の車両が存在する範囲を一時的な静止物体領域として検出する。

追跡対象状態予測手段４は、追跡対象状態記憶手段８に登録された過去の追跡対象の状態（具体的には、図３（ｂ）について登録された追跡対象の状態）を用いて、図３（ｃ）が撮影された時刻における追跡対象の状態を予測する。ここでは、追跡対象の過去の状態がいずれも移動状態にあるため、追跡対象状態予測手段４は、追跡対象が移動状態であるとして追跡対象の状態を予測する。

検出結果選択手段５は、人物については、図３（ｂ）に示す場合と同様に、移動物検出手段２が検出した検出結果を用いると決定する。一方、車両については、過去の状態は移動状態であったが、移動物検出手段２が抽出した移動物体領域の情報よりも、一時静止物検出手段３が抽出した静止物体領域の情報のほうが、車両の特徴量や位置が近い。そこで、検出結果選択手段５は、車両については、一時静止物検出手段３が検出した検出結果を用いると決定する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態（位置情報や重み値）を更新する。ここでは、車両の動作状態が、移動状態から静止状態に更新される。

結果出力手段７は、更新された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図３（ｃ））に重畳させて出力する。

次に、図３（ｄ）に例示する対象画像が入力される。図３（ｄ）に例示する対象画像は、信号が変わって発進した車両と、画面の手前でうろうろする人物を撮影したものである。

画像入力手段１が、図３（ｄ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の車両および人物が存在する範囲を移動物体領域として検出する。

追跡対象状態予測手段４は、追跡対象状態記憶手段８に登録された過去の追跡対象の状態（具体的には、図３（ｃ）について登録された追跡対象の状態）を用いて、図３（ｄ）が撮影された時刻における追跡対象の状態を予測する。ここでは、過去の人物の状態が移動状態にあり、過去の車両の状態が静止状態にある。そのため、追跡対象状態予測手段４は、個々の追跡対象の状態に応じて、図３（ｄ）が撮影された時刻における追跡対象の状態を予測する。

検出結果選択手段５は、人物については、図３（ｃ）に示す場合と同様に、移動物検出手段２が検出した検出結果を用いると決定する。一方、車両については、過去の状態は静止状態であったが、一時静止物検出手段３が抽出した静止物体領域の情報よりも、移動物検出手段２が抽出した移動物体領域の情報のほうが、車両の特徴量が近い。そこで、検出結果選択手段５は、車両についても、移動物検出手段２が検出した検出結果を用いると決定する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態（位置情報や重み値）を更新する。ここでは、車両の動作状態が、静止状態から移動状態に更新される。

結果出力手段７は、更新された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図３（ｄ））に重畳させて出力する。

次に、物体追跡装置の第２の実施例を説明する。本実施例では、追跡対象同士がすれ違う場合の動作例を説明する。図４は、物体追跡装置の第２の実施例を示す説明図である。図４（ａ）〜（ｃ）に示す画像は、定点カメラで撮影された画像の例であり、人物と一時静止物の２つの物体を含むものとする。

まず、図４（ａ）に例示する対象画像が入力される。図４（ａ）に例示する対象画像は、左斜め上方向に移動する人物と、一時静止物である自転車とを撮影したものである。

画像入力手段１が、図４（ａ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の人物が存在する範囲を移動物体領域として検出する。同様に、一時静止物検出手段３は、入力された対象画像内の自転車が存在する範囲を静止物体領域として検出する。なお、これら（人物、自転車）追跡対象の状態を追跡対象状態記憶手段８に登録するまでの処理は、第１の実施例と同様のため、説明を省略する。

次に、図４（ｂ）に例示する対象画像が入力される。図４（ｂ）に例示する対象画像は、左斜め上方向に移動する人物と、一時静止物である自転車とを撮影したものである。ただし、図４（ｂ）に例示する対象画像では、追跡対象の人物が自転車とすれ違うため、自転車が隠れてしまっている。

画像入力手段１が、図４（ｂ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の人物が存在する範囲を移動物体領域として検出する。一方、一時静止物である自転車が人物に隠れて見えないため、一時静止物検出手段３は、入力された対象画像からは静止物体領域を検出しない。

追跡対象状態予測手段４は、追跡対象状態記憶手段８に登録された過去の追跡対象の状態（具体的には、図４（ａ）について登録された追跡対象の状態）を用いて、図４（ｂ）が撮影された時刻における追跡対象の状態を予測する。

検出結果選択手段５は、人物については、移動物検出手段２が検出した検出結果を用いると決定する。一方、自転車については、検出結果が選択できないため、検出結果選択手段５は、検出結果がなかったものと判定して、以降の処理を継続する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態（位置情報や重み値）を更新する。なお、自転車については、検出結果選択手段５がいずれの検出結果も選択しなかったため、追跡対象状態更新手段６は、特に処理を行わない。すなわち、自転車に関する追跡対象の状態は、特に更新されない。

結果出力手段７は、更新された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図４（ｂ））に重畳させて出力する。このとき、自転車については特に検出されていないため、人物に関する追跡対象の状態が表示される。

次に、図４（ｃ）に例示する対象画像が入力される。図４（ｃ）に例示する対象画像は、左斜め上方向に移動する人物と、その人物のすれ違い後に視認できるようになる自転車とを撮影したものである。

画像入力手段１が、図４（ｃ）に例示する対象画像を入力すると、移動物検出手段２は、入力された対象画像内の人物が存在する範囲を移動物体領域として検出する。同様に、一時静止物検出手段３は、入力された対象画像内の自転車が存在する範囲を静止物体領域として検出する。

また、追跡対象状態予測手段４は、追跡対象状態記憶手段８に登録された過去の追跡対象の状態を用いて、図４（ｃ）が撮影された時刻における追跡対象の状態を予測する。ここでは、人物については、図４（ｂ）について登録された追跡対象の状態を用いて追跡対象の状態が予測され、自転車については、図４（ａ）について登録された追跡対象の状態を用いて追跡対象の状態が予測される。

検出結果選択手段５は、人物については、移動物検出手段２が検出した検出結果を用いると決定し、自転車については、一時静止物検出手段３が検出した検出結果を用いると決定する。

追跡対象状態更新手段６は、検出結果選択手段５で選ばれた検出結果を用いて、追跡対象の状態（位置情報や重み値）を更新する。そして、結果出力手段７は、更新された粒子の位置に基づいて、移動状態を示す形態の情報を対象画像（図４（ｃ））に重畳させて出力する。

図４（ｂ）に例示するように、追跡対象の物体同士が重なって撮影されることがある。本実施例のように、一時静止物を移動物体が横切った場合でも、一時静止物が静止状態という動作状態を保持しているため、追跡対象状態予測手段４が追跡対象の状態を予測する精度を維持できる。

次に、本発明の概要を説明する。図５は、本発明による物体追跡装置の概要を示すブロック図である。本発明による物体追跡装置は、撮影された映像内の物体を追跡する物体追跡装置（例えば、図１に例示する物体追跡装置）であって、入力される映像から取得される対象画像から移動物体領域を検出する移動物体検出手段８１（例えば、移動物検出手段２）と、対象画像から一時的な静止物体領域を検出する静止物体検出手段８２（例えば、一時静止物検出手段３）と、追跡対象の過去の状態に基づいて（例えば、追跡対象状態記憶手段８に記憶された状態に基づいて）、対象画像が撮影された時点における追跡対象の動作状態が移動状態か静止状態かを予測する追跡対象状態予測手段８３（例えば、追跡対象状態予測手段４）と、移動物体領域の情報と静止物体領域の情報のいずれの情報を優先させて追跡対象の追跡を継続するか判定する判定手段８４（例えば、検出結果選択手段５）とを備えている。

そのような構成により、移動と一時的な静止とを行う追跡対象が存在しても高精度に追跡を行うことができる。

また、本発明による物体追跡装置は、追跡対象の動作状態（例えば、移動状態または静止状態）に基づいて、推定される追跡対象の位置に移動状態と静止状態とを異なる態様で出力する出力手段（例えば、結果出力手段）を備えていてもよい。そのような構成によれば、例えば、出力手段の結果を対象画像と重畳させて表示することにより、追跡対象の視認性を向上させることができる。

また、追跡対象状態予測手段８３は、追跡対象の過去の状態を示す位置、速度、動作状態および追跡対象の状態の尤度に基づいて、対象画像が撮影された時点における追跡対象の動作状態を予測してもよい。このように、過去の動作状態を考慮して追跡対象の動作状態を予測するため、動作状態の予測精度をより向上させることができる。

また、判定手段８４は、動作状態に基づいて予測される追跡対象の位置との距離を移動物体領域および静止物体領域と比較し、いずれの領域が示す情報を優先させるか判定してもよい。このような判定処理を行うことで、追跡対象に近い領域が示す情報を優先させることができる。

また、判定手段８４は、移動物体領域または静止物体領域に含まれる画像の特徴量と、追跡対象が示す特徴量の類似性に応じて、いずれの領域が示す情報を優先させるか判定してもよい。このような判定処理を行うことで、追跡対象に類似している特徴量を含む領域の情報を優先させることができる。

また、判定手段８４は、予測された追跡対象の動作状態が移動状態の場合、移動物体領域の情報を用いて追跡対象の追跡を継続すると判定し、予測された追跡対象の動作状態が静止状態の場合、静止物体領域の情報を用いて追跡対象の追跡を継続すると判定してもよい。

また、本発明による物体追跡装置は、追跡対象の状態を記憶する追跡対象状態記憶手段（例えば、追跡対象状態記憶手段８）と、追跡対象の状態を更新する更新手段（例えば、追跡対象状態更新手段６）とを備えていてもよい。そして、追跡対象状態予測手段は、追跡対象状態記憶手段に記憶された過去の追跡対象の状態に基づいて、追跡対象の動作状態を予測し、更新手段は、判定手段によって判定された優先すべき領域の情報を用いて算出される追跡対象の状態で、追跡対象状態記憶手段に記憶された追跡対象の状態を更新してもよい。

このとき、更新手段は、位置、速度、動作状態および追跡対象の状態の尤度で追跡対象状態記憶手段に記憶された追跡対象の状態を更新してもよい。

１ 画像入力手段
２ 移動物検出手段
３ 一時静止物検出手段
４ 追跡対象状態予測手段
５ 検出結果選択手段
６ 追跡対象状態更新手段
７ 結果出力手段
８ 追跡対象状態記憶手段

Claims (12)

1. 撮影された映像内の物体を追跡する物体追跡装置であって、
   入力される映像から取得される対象画像から移動物体領域を検出する移動物体検出手段と、
   前記対象画像から一時的な静止物体領域を検出する静止物体検出手段と、
   追跡対象の過去の状態に基づいて、前記対象画像が撮影された時点における前記追跡対象の動作状態が移動状態か静止状態かを予測する追跡対象状態予測手段と、
   前記移動物体領域の情報と前記静止物体領域の情報のいずれの情報を優先させて前記追跡対象の追跡を継続するか判定する判定手段とを備えた
   ことを特徴とする物体追跡装置。
2. 追跡対象の動作状態に基づいて、推定される追跡対象の位置に移動状態と静止状態とを異なる態様で出力する出力手段を備えた
   請求項１記載の物体追跡装置。
3. 追跡対象状態予測手段は、追跡対象の過去の状態を示す位置、速度、動作状態および当該追跡対象の状態の尤度に基づいて、対象画像が撮影された時点における追跡対象の動作状態を予測する
   請求項１または請求項２記載の物体追跡装置。
4. 判定手段は、動作状態に基づいて予測される追跡対象の位置との距離を移動物体領域および静止物体領域と比較し、いずれの領域が示す情報を優先させるか判定する
   請求項１から請求項３のうちのいずれか１項に記載の物体追跡装置。
5. 判定手段は、移動物体領域または静止物体領域に含まれる画像の特徴量と、追跡対象が示す特徴量の類似性に応じて、いずれの領域が示す情報を優先させるか判定する
   請求項１から請求項４のうちのいずれか１項に記載の物体追跡装置。
6. 判定手段は、予測された追跡対象の動作状態が移動状態の場合、移動物体領域の情報を用いて追跡対象の追跡を継続すると判定し、予測された追跡対象の動作状態が静止状態の場合、静止物体領域の情報を用いて追跡対象の追跡を継続すると判定する
   請求項１から請求項５のうちのいずれか１項に記載の物体追跡装置。
7. 追跡対象の状態を記憶する追跡対象状態記憶手段と、
   前記追跡対象の状態を更新する更新手段とを備え、
   追跡対象状態予測手段は、前記追跡対象状態記憶手段に記憶された過去の追跡対象の状態に基づいて、追跡対象の動作状態を予測し、
   前記更新手段は、判定手段によって判定された優先すべき領域の情報を用いて算出される追跡対象の状態で、前記追跡対象状態記憶手段に記憶された追跡対象の状態を更新する
   請求項１から請求項６のうちのいずれか１項に記載の物体追跡装置。
8. 更新手段は、位置、速度、動作状態および追跡対象の状態の尤度で追跡対象状態記憶手段に記憶された追跡対象の状態を更新する
   請求項７記載の物体追跡装置。
9. 撮影された映像内の物体を追跡する物体追跡方法であって、
   入力される映像から取得される対象画像から移動物体領域を検出し、
   前記対象画像から一時的な静止物体領域を検出し、
   追跡対象の過去の状態に基づいて、前記対象画像が撮影された時点における前記追跡対象の動作状態が移動状態か静止状態かを予測し、
   前記移動物体領域の情報と前記静止物体領域の情報のいずれの情報を優先させて前記追跡対象の追跡を継続するか判定する
   ことを特徴とする物体追跡方法。
10. 追跡対象の動作状態に基づいて、推定される追跡対象の位置に移動状態と静止状態とを異なる態様で出力する
    請求項９記載の物体追跡方法。
11. 撮影された映像内の物体を追跡するコンピュータに適用される物体追跡プログラムであって、
    前記コンピュータに、
    入力される映像から取得される対象画像から移動物体領域を検出する移動物体検出処理、
    前記対象画像から一時的な静止物体領域を検出する静止物体検出処理、
    追跡対象の過去の状態に基づいて、前記対象画像が撮影された時点における前記追跡対象の動作状態が移動状態か静止状態かを予測する追跡対象状態予測処理、および、
    前記移動物体領域の情報と前記静止物体領域の情報のいずれの情報を優先させて前記追跡対象の追跡を継続するか判定する判定処理
    を実行させるための物体追跡プログラム。
12. コンピュータに、
    追跡対象の動作状態に基づいて、推定される追跡対象の位置に移動状態と静止状態とを異なる態様で出力する出力処理を実行させる
    請求項１１記載の物体追跡プログラム。

Images