JP4482795B2 - 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置 - Google Patents

Description

本発明は、移動物体の追跡方法及び装置に係り、特に、ビデオ画像上でオクルージョン（物体の重なり）が発生した場合でも追跡を継続することができる画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置に関する。

ビデオ画像上に現れる移動物体を追跡する場合、一般的には、ビデオ画像において背景と前景とを識別し、その識別結果を利用して追跡対象となる移動物体が存在する追跡領域を抽出し、さらに、抽出した追跡領域の動きを１つのフレームから次のフレームへと追跡することで、次のフレームでの移動物体の位置を予想する。

ビデオ画像上に現れる移動物体を追跡する方法としては、例えば、非特許文献１に開示されているビデオ画像上の特徴点を追跡するＫＬＴ（Kanade-Lucas Tracker）法が知られている。ＫＬＴ法では、ビデオ画像内において特徴点を選択し、その選択した特徴点を１つのフレームから次のフレームへ勾配法等を用いて追跡する。

また、特許文献１には、従来の一例として、移動物体に対応して設定された映像オブジェクト領域について、前時点と現時点での映像オブジェクト領域を比較することで、オクルージョンの発生の有無を判断することで、追跡処理の精度向上を図っている映像オブジェクト追跡装置が開示されている。

特開２００３−４４８６０号

Tomasi, C and T. Kanade, "Detection and Tracking of Point Features", CMU Tech. Rep. CMU-CS-91-132, April 1991.

しかしながら、上記ＫＬＴ法による特徴点の追跡処理は、原則として点を追跡するために考案された方法である。このため、追跡対象となる移動物体全体を考慮した場合、追跡処理の精度が悪化する場合がある。これは、追跡しようとする特徴点を選択する際、２つの特徴点間の最小距離については条件が設定されているが、移動物体全体の追跡を効率的に行うための条件についてはまったく考慮されていない。

さらに、追跡対象となる移動物体と他の物体とが重なった際に起こるオクルージョンが発生した場合には、前のフレームで選択された特徴点が次のフレームでは消えてしまうことがある。このため、その後の追跡ができなくなることがある。

本発明は上述した点を考慮してなされたものである。すなわち、オクルージョンが発生した場合でも、ビデオ画像上に現れる移動物体をより高い精度で継続的に追跡することができる画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置を提供することが望まれている。

かかる課題を解決するため本発明においては、移動物体の追跡領域を設定する追跡領域設定手段と、追跡対象となる追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択手段と、特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの特徴点の座標位置を求める追跡処理手段と、追跡処理手段により求めた前のフレームでの特徴点の座標位置と次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、最大量を超えていなければ追跡は成功したと判断する追跡判断手段と、特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を特徴点が静止点であると判定し、かつ静止点が予め定めた値以上であれば静止していると判断する静止点判定手段と、追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の特徴点の個数の変化値と、静止点の総数を正規化した値とを乗算することにより画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定に用いるオクルージョン値を算出するオクルージョン値算出手段と、オクルージョン値算出手段によって求めたオクルージョン値に基づいて、オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出手段と、オクルージョン値に基づいて算出された重心ベクトル及び平均化ベクトルと、１からオクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出手段とを設けることにより、追跡領域における特徴点の静止点の個数の変化からオクルージョン値を求めることによって追跡領域で発生するオクルージョンの度合いを判定できるので、画面上でオクルージョンが発生した場合であっても高い精度で移動物体の追跡を行うことができる。

上述のように本発明によれば、追跡領域における特徴点の静止点の個数の変化からオクルージョン値を求めることでオクルージョンの度合いを判定できるので、画面上でオクルージョンが発生した場合であっても高い精度で移動物体の追跡を行うことができ、かくしてオクルージョンが発生した場合であっても高い精度で移動物体の追跡を行うことができ得る画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置を実現できる。

本発明の一実施形態に係る移動物体追跡方法を実施する画像処理装置の一例を図面を用いて説明する。

本実施形態の画像処理装置で実施される移動物体追跡方法では、最初に追跡対象となる移動物体を特定し、該移動物体に対応して設定した追跡領域内で複数の特徴点を選択し、該複数の特徴点をビデオ画像のフレームを超えて追跡する。

本実施形態の画像処理装置は、特徴点を選択する手段である特徴点セレクタと、該選択した特徴点を１つのフレームから次のフレームへと追跡する特徴点トラッカと、以下で詳細説明する初期処理及び追跡ルーチンを実行する処理手段とを備えている。本実施形態では、特徴点セレクタ及び特徴点トラッカとして、上記非特許文献１に開示されているＫＬＴ（Kanade-Lucas Tracker）法を用いる。また、特徴点セレクタ、特徴点トラッカ及び処理手段はそれぞれ対応する所定のプログラムをコンピュータで実行させることにより実現できる。

なお、本発明において特徴点セレクタ及び特徴点トラッカの構成は、これに限定されるものではなく、同様な機能を実現できるものであれば、任意の構成の特徴点セレクタと特徴点トラッカとを用いることができる。

また、追跡の精度を向上させると共に、背景領域にある特徴点を誤って追跡してしまうことを避けるために、例えば背景差分法等を利用した「前景検出技術」を使用しても良い。より具体的には、前景を検出する方法としては、例えば、フレーム差分、ブロック差分、又は数フレームの平均を求めて動いていない部分を削除するための、Gaussian Mixture Modelを利用した背景差分などを用いることができる。

本実施形態の移動物体追跡方法では、初期処理として、図１に示すように、追跡対象となる移動物体１０に対応する追跡領域１１を設定する。ここで、移動物体１０とは、例えばビデオ画面の初期フレーム１に現れる人物などである。図１に示す追跡領域１１は初期状態を示すものであり、本例では（x１、y１）、（x２、y２）の２点で規定される矩形状領域としている。図１の符号１２、１３はそれぞれ、背景差分法等の所定の前景検出方法により抽出された初期フレーム１での前景領域と背景領域である。

なお、本発明においては、追跡領域１１の形状は任意であり、ある特定の形状に限定されるものではない。

上記初期処理によって、本実施形態の移動物体追跡方法で使用する、以下の入力データが得られる。
（１）ビデオ画像から得られた入力フレーム
（２）追跡領域の位置（本例では領域角位置の座標）
（３）選択される特徴点の総個数Nf
（４）前景検出結果
上記初期処理の結果は、図２に示すように特徴点セレクタ２０へ入力される。特徴点セレクタ２０はこれら入力に基づき、特徴点リスト（FpsL）３１を出力する。特徴点リスト２１には、入力フレームにおける追跡領域１１内で選択された最大Nf個の特徴点が含まれている。なお、ここで使用する前景検出技術によっては、すべての特徴点が追跡対象の移動物体１０上に設定されるとは限らない。

また、特徴点セレクタ２０がNf個の特徴点を設定することができない場合には、その時点で残っている特徴点用のリソース枠のできるだけ多くが、以下で詳細説明する追跡ルーチンの各サイクルの終了時点には、移動物体１０上の特徴点に割り当てられるように選択を行う。

追跡領域１１に関するデータ３０（追跡領域データ３０）は、例えば図３に示すように、以下のようなデータを含んでいる。
（１）FPsList３１：追跡対象となる特徴点のリスト
（２）ToBeSel３２：未だ選択されていない特徴点用のリソース枠のリストで、以下に説明する追跡ルーチンの更新処理にて特徴点の割当てが行われる。
（３）Hist３３：各特徴点の追跡履歴。特徴点kの追跡履歴Hist(fp_k)は、当該特徴点が特徴点トラッカにより連続的に追跡が成功したフレーム数であり、当該特徴点の信頼度として使用される。
（４）Still３４：各特徴点の静止履歴。特徴点kの静止履歴Still(fp_k)は、当該特徴点が静止点として連続的に検出されたフレーム数である。
（５）IsStill３５：特徴点が静止しているか否かを示すデータ。IsStill(fp_k)は、特徴点kが静止点として検出された場合に「true」となり、それ以外では「false」を示す。
（６）データ３６：
（６−１）nb_SPs: 追跡領域１１内における静止点の個数
（６−２）nb_Ps_x: x個以上のフレームに渡って連続的に追跡が成功した特徴点の個数。本実施形態では３フレーム以上、１１フレーム以上連続的に追跡することが出来た特徴点の個数nb_FPs_3及びnb_FPs_11を使用する。
（６−３）AMV：現在のフレームにおいて算出された追跡領域１１の平均移動ベクトルであり、前のフレームから現在のフレームへの動きを示している。
（６−４）CMV：現在のフレームにおいて算出された追跡領域１１の重心移動ベクトルであり、前のフレームから現在のフレームへの動きを示している。

なお、本実施形態のデータ３６の中には、上述したデータに加えて、例えば上述した初期処理で設定された特徴点の最大個数Nfが含まれている。

上述した初期処理の後、選択された特徴点を追跡して追跡領域の動きを検出するための追跡ルーチンが実施される。本追跡ルーチンは、ビデオ画像のフレーム毎に、例えば図４のフローチャートに示すような手順にて、繰り返し実施される。本追跡ルーチンには、４つの主処理が含まれている。

最初の処理は、追跡処理４０であり、主に特徴点トラッカが使用される。本処理４０では、特徴点を追跡し（ステップ４０１）、その追跡結果に応じて各特徴点の履歴を更新し（ステップ４０２）、使用していない特徴点や不要な特徴点を削除する（ステップ４０３）。

次の処理は、オクルージョン検出処理４１である。本処理４１では、静止点の個数nb_SPsが算出され（ステップ４１１）、その算出結果と他のパラメータ、nb_SPs、nb_FPs_3、nb_FPs_11等を用いてオクルージョンの発生の有無を示すオクルージョン値が算出され（ステップ４１２）、静止点として検出された特徴点の削除処理が行われる（ステップ４１３）。

さらに、動き算出処理４２が実施される。本処理４２では、オクルージョン検出処理４１の結果及び本追跡ルーチンの前のサイクルで求められた動きに関する情報を用いて、追跡領域１１の動きが算出され（ステップ４２１）、追跡領域１１の動きに関する慣性が適用される（ステップ４２２）。なお、本明細書において「慣性の適用」とは、過去の動きと現在の動きとの間に強い関連があることを想定して、オクルージョンが発生して現在の動きを算出する際の算出精度が低くなる恐れのある場合には、オクルージョンの程度に応じて現在の動きと過去の動きとを合成する割合を調整するということを意味する。本処理４２の最後には、算出された動きに基づき追跡領域１１の位置が更新される（ステップ４２３）。

本追跡ルーチンの最後には、更新処理４３（ステップ４３１）が実施される。本更新処理４３では、追跡されなかった特徴点、すなわち追跡が不成功に終わった特徴点が削除され、選択されなかった特徴点用のリソース枠に対して新たな特徴点を割り当てられる（選択される）。その後、本追跡ルーチンの最初の追跡処理４０へ戻り、新たな処理サイクルが開始される。

本実施形態において、特徴点セレクタ２０（図２）としては、特徴点が選択できるものであれば任意の構成のものを使用することができる。例えば、上述したKLT（Kanade-Lucas Tracker）法と同じく、局所共分散マトリックスを算出し、T点又はX点を探す方法を用いても良い。本実施形態の特徴点選択に際しては、選択された特徴点が特定の位置に集まることがなく、追跡領域１１の全体にわたって分散していること、又は追跡領域１１の全体に均一に分布させることが好ましい。これは、同一地点の近傍に多数の特徴点が存在していても意味が無く、追跡領域１１全体の動きをより正確に追跡することが必要であるからである。本実施形態においては、２つの特徴点間の距離が予め定めた距離以上となるように、選択が行われている。なお、前記予め定めた距離は、固定された値でも良く、また動的に変化する値でも良い。動的に変化する値を用いる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。

特徴点の追跡ステップ４０１では、特徴点トラッカが使用され、上述した特徴点リストに現時点で登録されている特徴点ごとに追跡が行われる。本実施形態では、特徴点トラッカを実現する方法は特に限定されていないが、例えば、上述したKLT法のような勾配法や、強引なブロックマッチング（Brute Force Block Matching）方法を用いる。追跡ステップ４０１は、例えば、図５に示すような手順に沿って各特徴点ごとに実施される。

図５に示す追跡ステップ４０１では、特徴点トラッカ５０により、フレームnの座標(x_n, y_n）に位置する特徴点k（fp_k）の追跡が行われ、次のフレームn+1での座標位置(x_n+1, y_n+1）が求められる。次に、本追跡が成功したか否かを検出するためのディスパリティチェック（ステップ４０１０）が実施される。

本ディスパリティチェックは、例えばブロック差分法（Block Subtraction）を用いて行われる。より具体的には、前のフレーム（追跡処理前）における特徴点に近接する微小領域と、該領域に対応する現在のフレーム（追跡後）での領域とが比較され、両領域におけるピクセル単位での差の合計の絶対値が算出される。この算出結果が予め定めたしきい値よりも大きい場合には、該当する追跡処理は失敗したと判断され、それ以外の場合には成功したと判断される。なお、前記予め定めたしきい値は、固定された値でも良く、また動的に変化する値でも良い。動的に変化する値を用いる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。

追跡ステップ４０１が成功した場合には、履歴更新ステップ４０２へ進み、特徴点kの履歴が以下のようにインクリメントされる。

Hist(fp_k) <-- Hist(fp_k)+1
使用されていない特徴点の削除ステップ４０３では、例えば図６に示すように、各特徴点ごとに様々なチェックが行われ、該当する特徴点をリセットすべきか否かが判定される。すなわち、これらのチェックによって、本追跡ルーチンの最後において、特徴点用のリソース枠のどれに対して新たな特徴点が割り当てられるべきか否かが判定される。本実施形態では、例えば以下のチェックが実施される。
（１）図５のステップ４０１０で行ったディスパリティチェックの結果を利用して、特徴点ｋについての追跡が成功したか否かをチェックする（ステップ４０３１）。
（２）算出された特徴点ｋの動きが、予め設定した最大移動量を超えているか否かを判断することで、その動きの有効性をチェックする（ステップ４０３２）。
（３）特徴点ｋが背景領域に位置しているかをチェックする（ステップ４０３３）。
（４）複数の特徴点が同じ位置に在るかをチェックする（ステップ４０３４）。

上記ステップ４０３１〜４０３２では、追跡が適切に成功したかどうかを判定することを目的とする。上記ステップ４０３３では、追跡処理でのノイズを削除するために行われる。上記ステップ４０３４では、追跡前には異なる位置に存在した複数の点が追跡後の合流してしまった場合の処理である。

上記ステップ４０３１〜４０３３のチェックの結果、不要であると判断された特徴点については、ステップ４０３５へ進み、リセット処理を実施する。本リセット処理では、例えば図７に示すように、その追跡履歴及び静止点履歴がリセットされると共に、IsStillラベルが「false」に、ToBeSelラベルが「true」にそれぞれセットされる。

また、上記ステップ４０３４で、複数の特徴点だ同一位置に存在すると判断された場合には、ステップ４０３６へ進み、１つの点を除いて他の特徴点をリセットする。リセットされた各特徴点iは、複数の点が合流したものであるため、静止履歴Still(fp_i)と追跡履歴Hist(fp_i)を備えている。

同一位置に在る複数の特徴点のうち、どの特徴点を残すべきかを決定する方法としては、例えば以下のような様々な方法がある。
（１）最短履歴を持つ特徴点を選択（最新の特徴点を優先）
（２）最長履歴を持つ特徴点を選択（最も古い特徴点を優先）
（３）静止履歴が最短の特徴点を選択（後で特徴点を削除）
（４）静止履歴が最長の特徴点を選択（すぐに特徴点を削除）
本実施形態では、静止履歴が３フレームとなった時点で始めて削除の対象となる。このため上記（３）の選択によれば、選択された後でも静止履歴が３フレームとなるまで削除はされない。また、上記（４）では、選択された時点ですでに数フレーム以上となっている可能性が高いため、比較的短期間で削除の対象となる。

本実施形態では上記方法のうち（１）及び（４）を用いることで、同一位置に存在する複数の特徴点のうち不要な特徴点を、それらの影響を最小限に押さえた状態で迅速に取り除いている。

次に、オクルージョンの検出処理４１（図４参照）を行う。本処理４１では、最初、静止点の個数をカウントする（ステップ４１１）。本カウント処理は、例えば図８に示すような手順に沿って、フレームnの特徴点リストに登録されている特徴点ごとに実施される。ここでfp_k_nはフレームnの特徴点kの座標を示す。図８のカウント処理では、特徴点ごとに、現在のフレームnでの座標位置と前のフレームn-1での座標位置とを比較し（ステップ４１１１）、両者が同一又は両者の差が予め定めたしきい値以下である場合には静止点と判定され、Still(fp_k)がインクリメントされる（ステップ４１１２）。Still(fp_k)が予め定めた値以上であれば（ステップ４１１４、４１１５）、すなわち予め定めたフレーム数にわたって静止していると判断されていれば、現在の特徴点は静止点であると設定され（ステップ４１１５）、静止点の総数nb_SPsがカウントアップされる(ステップ４１１７）。

なお、本実施形態では静止点の判定は上記予め定めたしきい値を用いて行われている。ここではしきい値は一定であることを想定しているが、本発明においては固定である必要は無く、動的に変化させる構成としても良い。動的に変化させる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。

次に、オクルージョンの発生の有無を推定するためのオクルージョン値を算出する（ステップ４１２）。本願発明者は、オクルージョンが発生した場合、特徴点の個数が変化することを発見した。特に、静止点を除く特徴点に関しては、追跡に成功している期間に応じて特徴点をグループ分けした場合、ほとんど全てのグループにおいて、オクルージョンの発生とともにその個数が減少することが判明した。本発明では、これら特徴点の異なるグループで見られる個数変化、さらにこれらグループ間で見られる個数変化の同時性を利用することによって、オクルージョンの発生をより高精度に検出しようとするものである。

なお、移動物体が静止している又は静止しつつある場合、静止点の数が増加し、強制的にリセットされる点の数も増える。この結果、以下に詳細説明されるオクルージョン値が増加し、誤検出が発生する。さらに、本実施形態ではオクルージョン値を用いて慣性を適用している。このため、本当は静止しているにもかかわらず、誤って算出された高いオクルージョン値により、追跡領域が移動してしまうことがある。本実施形態では、このような誤移動の発生を防ぐために静止点の個数に関する情報を用いてオクルージョン値を制御する構成としている。

本実施形態では、オクルージョンが発生している可能性の高さ又はオクルージョン（重なり合い）の程度を示すための変数として、オクルージョン値を導入した。さらに本実施形態では、オクルージョンの発生の有無を択一的に表すだけでなく、重なり合いの度合いに応じて連続的に変化するように、オクルージョン値を定義している。以下に詳細説明する本実施形態の例のようにオクルージョン値を正規化し、オクルージョンの程度に応じて１〜０の間で変化するように設定している場合には、その最大値の１は、オクルージョンが発生していることが確実と考えられることを意味している。一方、オクルージョン値の最小値０は、オクルージョンが発生していないことを意味している。

本実施形態では、上記算出した各特徴点の履歴及び静止点の総数を用いて、例えば図９に示すような手順に沿ってオクルージョン値を算出する。

なお、本発明において、オクルージョン値を算出する方法は図９の処理に限定されるものではない。例えば、特徴点の増減を少なくとも利用してオクルージョンの発生の有無又はオクルージョン（重なり合い）の程度を推測することができるものであれば、他の処理方法を用いても良い。

図９の処理では最初、上記パラメータHist()を用いて、連続３フレーム以上にわたって追跡に成功した特徴点の個数nb_FPs_3と、連続１１フレーム以上にわたって追跡に成功した特徴点の個数nb_FPs_11とを算出する（ステップ４１２１−１、４１２２−１）。

次に、上記特徴点の個数nb_FPs_3及びnb_FPs_11を示す信号を微分し（ステップ４１２１−２、４１２２−２）、該微分値のマイナス部分を示すパラメータnegative_partの値を、例えば以下の数式によって取得する。

negative_part(x) <-- max( -x , 0)
オクルージョンが発生している場合、正しく追跡されてきた特徴点の個数が急激に減少するという現象をより確実に把握するために、本実施形態では、上記連続３フレーム以上にわたって追跡に成功した特徴点の個数nb_FPs_3及び連続１１フレーム以上にわたって追跡に成功した特徴点の個数nb_FPs_11のそれぞれについて求められた微分のマイナス部分の値を掛け合わせている（ステップ４１２４）。

なお、上記マイナス部分を取得するステップ４１２１−３、４１２２−３では、取得されたマイナス部分の値を０〜１の間とするために正規化処理も併せて行われる。この正規化処理では、例えばnb_FPs_3に対しては追跡されてきた特徴点の総数の４０％を最大値として設定する。すなわち、ステップ４１２１全体からの出力V３は、追跡されてきた特徴点の総数nb_trackedFPとすれば、以下の数式により求められる。

V3 <-- max(1.0, V3 / (0.4 * nb_trackedFP))
また、nb_FPs_11に対して求められたステップ４１２２から出力V１１は、これまでに追跡されてきた特徴点の総数の２５％を最大値として正規化されている。

なお、本実施形態の例では、出力信号V3、V11の最大値として特徴点の総数の４０％、２５％をそれぞれ使用したが、本発明において使用できる出力に対する最大値は、これらに限定されるものではない。動作条件などを考慮した上で、オクルージョンの発生の有無やその程度を表すオクルージョン値の計算ができるものであれば、他の値を用いてもよい。また、前記出力信号の最大値／最小値は、固定された値でも良く、また動的に変化する値でも良い。動的に変化する値を用いる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。

さらに、追跡対象となる移動物体が静止している場合には、静止点の個数が増加し、削除される点の個数も増加する。したがって、オクルージョンの検出に際しては、静止点の個数も考慮されることが望ましい。そこで、本実施形態では、オクルージョン値の算出に際しては、上記信号V3、V11に加えて、以下に説明する静止点の個数に対応する信号SVを乗算する。

信号SVは、例えば図９のステップ４１２３によって算出される。本ステップ４１２３では最初、少なくとも連続３フレーム以上追跡に成功した特徴点の個数nb_FPs_3が０であるか否かを判定し（ステップ４１２３−１）、０である場合には信号SVの値を１とする（ステップ４１２３−２）。０でない場合には、静止点の個数nb_SPsをnb_FPs_3により正規化する（ステップ４１２３−３）。ここで、静止点は少なくとも連続してth_stillフレーム以上追跡に成功したものである。図９に示す例ではth_still＝３であり、このためnb_FPs_3が正規化に使用されている。

さらに本実施形態では、上記ステップ４１２４の出力、すなわちオクルージョン値（Occlusion Measure）は、フィルタ４１２５によって処理される。フィルタ４１２５は、実際に算出したオクルージョン値が下がってきた場合でも、その値が急激に変化しないように、減少方向の変化を遅らせるものである。具体的には、例えば、以下に示す処理によってフィルタ処理が行われる。

if(occlusion_measure >= previous_occlusion_measure)
then
occlusion_measure= occlusion_measure;
else
occlusion_measure= 0.8 x occlusion_measure + 0.2 x previous_occlusion_measure;
previous_occlusion_measure= occlusion_measure;
なお、フィルタ４１２５を用いてオクルージョン値の減少変化を滑らかにする代わりに、オクルージョンの発生と終了とをそれぞれ検出する手段を設け、これらを検出結果を利用して最終的なオクルージョン値を算出する構成としても良い。

なお、上記オクルージョン値の算出では、連続して３フレーム以上追跡に成功した特徴点の個数nb_FPs_3及び連続して１１フレーム以上追跡に成功した特徴点の個数nb_FPs_11を用いるものとした。しかし、本発明でのオクルージョン値の算出に使用できる構成はこれらに限定されるものではない。オクルージョンが発生した場合、これまでに追跡に成功したフレーム数（追跡期間の長さ）によらず、すべての種類の特徴点の個数が減少する。したがって、例えば、nb_FPs_3及びnb_FPs_11のうちいずれか一方だけを使用しても良く、また、オクルージョンの発生と共にその個数の変化が現れるものであれば、nb_FPs_3やnb_FPs_11の代わりに、任意のフレーム数だけ連続的に追跡に成功している特徴点の個数や、それらの組み合わせを使用することもできる。ここで、複数の種類の特徴点の個数の変化を併せて利用することにより、よりロバストなオクルージョン検出が可能となる。

次に、静止点の削除処理（図４のステップ４１３）を行う。本削除処理は、追跡対象となる移動物体が静止した場合、特徴点の分布が連続する２つのフレームで急激に変化してしまうことを防ぐためのものである。

本実施形態では、例えば図１０のフローチャートに示す手順に沿って削除処理を実施する。本処理では最初、静止点の個数nb_SPsが０か否かを判定し（ステップ４１３１）、０の場合には何もせずに次の処理４２（図４）へ進む。０でない場合には、全ての静止点のうち予め定めた割合の静止点だけを削除する（ステップ４１３２、４１３３）。

図１０に示す例では１／３を削除しているが、本発明において、削除する割合はこの値に限定されるものではない。さらに、前記割合は、固定された値でも良く、また動的に変化する値でも良い。動的に変化する値を用いる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。ここで、特徴点の全体分布に大きな影響を与えないようにするために、削除される静止点が追跡領域全体にわたって均一に分布するように選択されることが重要である。

次に、動き算出処理４２を実施する。本処理４２では最初、追跡領域の動きを算出する（図４のステップ４２１）。本実施形態においては、移動物体の追跡精度の向上のために、オクルージョンの度合いに応じて、本処理で使用すべき動き算出方法を合成する。

ここで、オクルージョンの度合いとは、追跡している移動物体と他の物体との重なりがどの程度であるかを示している。本発明では、このオクルージョンの度合いを上述したオクルージョン値で表し、該オクルージョン値に応じて複数の動き算出方法を組み合わせることで、より高精度に追跡領域の動きを推定している。

本処理４２では、例えば図１１のフローチャートに示すように、図９の処理で算出されたオクルージョン値が予め定められたしきい値th_occよりも大きい場合には（ステップ４２１１でYes）、オクルージョン発生時でもより高精度に動きを推測できると考えられている重心動きベクトル（CMV）を算出し（ステップ４２１２）、それ以外の場合には平均動きベクトル（AMV）を算出する（ステップ４２１３）。

なお、本実施形態では、しきい値th_occとして0.05を使用している。このしきい値の値は、オクルージョンが発生し始めた状況、すなわち追跡領域と他の物体が重なりはじめた状態に対応している。このように追跡領域と他の物体が完全に重なり合う前に、重なり合った状態でも比較的高精度に追跡領域の移動を算出できる動き算出方法を用いることで、動きの算出精度の向上を図っている。

また、最終的により高精度に追跡領域の位置を推定することができるものであれば、他の任意の値を設定してもよい。さらにまた、本実施形態では２種類の動き算出方法を合成して用いているが、３以上の互いに異なる動き算出方法を、オクルージョンの度合いに応じて合成する構成としても良い。

平均動きベクトル（AMV）の算出は、例えば図１２のフローチャートに示すように、nフレームの各特徴点毎に実施される。すなわち、各特徴点毎に追跡が成功したか否かが判断され（ステップ４２１２−１）、追跡が成功した特徴点については前のフレーム（フレームn-1）から現在のフレーム（フレームn）への動きが順次算出され、平均化される（ステップ４２１２−２）。

上記平均化処理に際しては、特徴点の信頼度に応じた重み付けもあわせて行われる。この重み付けの理由は、次のような想定によるものである。すなわち移動物体上に位置している特徴点の信頼度は高く、追跡履歴が長い。一方、背景上に位置しているものは信頼度が低く、その追跡履歴は短いと考えられる。このため、このように追跡履歴に応じて重み付けを行うことで動きの検出がより正確に行われる。

具体的には、例えば図１３に示すグラフに示すように、連続して追跡に成功したフレームの数（履歴）に応じて３つの領域を設け、履歴が予め定めたフレーム数よりも短い特徴点については最小重み（本例では５フレーム以下に重み１）を、履歴が予め定めたフレーム数よりも長い特徴点については最大重み（本例では１５フレーム以上に重み１５）を、それらの中間の履歴ではその追跡フレーム数に応じた重みを付与する。なお、前記予め定めたフレーム数は、固定された値でも良く、また動的に変化する値でも良い。動的に変化する値を用いる場合には、例えば、時間的／空間的に変化させたり、その時点での処理の状況やオクルージョンなどのイベントの発生に応じて変化させる。

ここで、追跡履歴が予め定めたフレーム数よりも短い特徴点については一様に同じ重みを付与するのは、すべての静止点が削除されるためにはある程度の時間がかかるためである。さらに、新たに選択された有効な特徴点よりも長い静止履歴を持つ静止点が高い重要度を持たないようにするという理由もある。

重心動きベクトル（CMV）の算出は、例えば図１４のフローチャートに示すように実施する。本CMVの算出処理においても、上記AMVの算出と同様に、特徴点の信頼度に応じた重み付けが行われる。追跡前の特徴点の重心算出では（ステップ４２１３−１）、今回のサイクルで新たに設定された特徴点やリセットされた特徴点を除く。また追跡後の特徴点の重心算出では（ステップ４２１３−２）、追跡に成功した特徴点だけを利用する。重心動きベクトルCMVは、これら算出した追跡前と追跡後の重心の移動から求められる。

上述したように追跡領域の動きベクトルが算出されると、次に算出された動きに対して過去の動きを反映する、いわゆる慣性が適用される（図１１の処理４２２）。本実施形態では、オクルージョン値に応じて慣性の大きさを決定している。例えば、図１１に示す処理では、以下の数式により慣性を適用して、最終的な追跡領域の移動を示すパラメータApplied_Motionを算出している。

Applied_Motion = (1 - Occlusion_Measure) x Motion
+ Occlusion_Measure x Past_Motion
ここで、パラメータPast_Motionは過去の動きに関する情報を示し、例えば、以下の(i)〜(iv)のような方法で求められる。Applied_MotionはPast_MotionとMotionとの和であり、その加算の割合は上述したようにオクルージョン値に応じて決定される。Applied_Motionは、実際に追跡領域に適用される動きとなる。Motionは現在の動き算出部で求めた動きとなり、本明細書ではAMVとCMVの合成結果となる。なお、上記各パラメータは単位フレーム当たりの動きとなり、実質的には速度を表している。
(i) Past_Motion_n = Motion_(n-1)
(ii) Past_Motion_n = Applied_Motion_(n-1)
(iii) Past_Motion_n = Average(k=1...N, Applied_Motion_(n-k))
(iv) Past_Motion_n = Average(k=1...N, Motion_(n-k))
次に、上記算出されたApplied_Motionに応じて追跡領域を移動する（図４のステップ４２３）。

最後に、更新処理４３(図４）を実施する。本処理４３では、上記移動後の追跡領域から外れた特徴点がリセットされる。さらに、リセットされた特徴点に割り当てられていた特徴点のリソース枠に対して、特徴点セレクタ２０により新たな特徴点が選択される。これらの選択処理が終了した後、本追跡ルーチンの最初の追跡処理４０へ戻る。

本実施形態による移動物体追跡方法によれば、以下のような特徴及び効果がある。
（１）複数の特徴点を用い、移動物体上に設定されていないと考えられる特徴点については順次更新していくことで、単なる特徴点単位の追跡ではなく、追跡領域全体に対する追跡が可能となる。
（２）特徴点の更新や静止している特徴点の検出によって、背景の影響や静止している物体への対応が可能となり、追跡精度の向上が可能となる。
（３）特徴点の個数の変化を利用して、オクルージョンの発生の有無を判断するため、より高い精度でオクルージョンの検出を行うことが可能となる。
（４）オクルージョンの発生を示すオクルージョン値を利用して移動量を算出したり、オクルージョン値に応じて過去の移動量の貢献度を制御するため、オクルージョンが発生している場合でも、ロバストな追跡が可能となる。

次に、本発明の一実施形態に係る監視システムについて図１５を参照して説明する。本実施形態の監視システムは、上述した本発明の移動物体追跡方法により移動物体を追跡することで侵入者の特定などの監視業務を支援するシステムである。

本監視システムは、１台又は複数台のカメラを備え、ビデオ信号などの画像情報を出力する撮像部１５０と、撮像部１５０から出力されたビデオ信号を受信し、ビデオ画像上に現れる移動物体を本発明の移動物体追跡方法に基づいて追跡し、その追跡結果を出力する画像処理部１５１と、画像処理部１５１から出力された追跡結果を受信し、追跡している移動物体をビデオ画像上で強調表示したり、又は、追跡結果を解析し、解析結果に応じて警告などを出力するセキュリティ処理部１５２とを備える。

画像処理部１５１及びセキュリティ処理部１５２は、例えば、CPU、メモリ及び外部装置との信号インターフェース等を備えるコンピュータと、該コンピュータとユーザとのインターフェースを行うためのディスプレイ等の出力装置及びキーボード、マウス等の入力装置からなるマン−マシン・インターフェースとを備えるコンピュータシステムにおいて、該コンピュータに、上述した本発明の移動物体追跡方法を実施するためのプログラムなどを実行させることにより実現される。

本実施形態の監視システムによれば、侵入者などの移動物体が他の物体に隠れるオクルージョンが発生した場合でもより高い精度での追跡が可能となるため、より効率的に監視を実施することができる。

次に、本発明の一実施形態に係るゲーム装置について説明する。本ゲーム装置は、図１５に示した監視システムの装置構成において、セキュリティ処理部１５２の代わりにゲームの進行を制御するゲーム処理部を備え、さらにユーザの操作を受け付け、対応する操作信号を出力する操作部と、ゲームの状況を示す画像を表示する表示部とを備えている。

本ゲーム装置では、カメラ等の撮像部から出力されたビデオ信号を受信し、ビデオ画像上に現れる移動物体を本発明の移動物体追跡方法に基づいて追跡し、その追跡結果を画像処理部が出力する。前記ゲーム処理部は、画像処理部から出力された追跡結果と、前記操作部から出力されたユーザの操作信号とに基づいて、ゲームの進行を制御し、ゲームの状況を前記表示部に表示する。

なお、前記撮像部で撮像された画像の代わりに、人工的に生成したＣＧ画像を用いたり、ＣＧ画像と実際に撮像した画像を組み合わせた合成画像を用いる構成としても良い。

画像処理部及び前記ゲーム処理部は、例えば、CPU、メモリ及び外部装置との信号インターフェース等を備えるコンピュータにおいて、上述した本発明の移動物体追跡方法を実施するためのプログラム及びゲームプログラムを実行させることにより実現される。前記操作部は、例えば、ジョイスティックなどを備えたゲームコントローラにより構成される。前記表示部は、例えば、ＣＲＴやＬＣＤなどの画像表示装置により構成される。

本実施形態のゲーム装置によれば、画像上に現れた移動物体が他の物体に隠れるオクルージョンが発生した場合でもより高い精度での追跡が可能となるため、ゲームの進行をよりスムーズに制御することができる。

本発明は、例えば、画像上に現れた移動物体を追跡するための画像処理方法、該方法を実行する画像処理装置、該方法を利用するゲーム機器、該方法を利用するモニター又は監視システムに適用することができる。

図１は本発明の一実施形態に係る移動物体追跡方法において実施される初期処理によって設定された画像構成の一例を示す説明図である。 図２は初期処理における特徴点の選択処理の一例を示す説明図である。 図３は追跡領域パラメータとして記録されるデータの一例を示す説明図である。 図４は本発明による追跡ルーチンの一例を示すフローチャートである。 図５は図４の例における特徴点の追跡処理４０１と、特徴点の履歴更新処理４０２の一例を示すフローチャートである。 図６は図４の例における不要となる特徴点の削除処理４０３の一例を示すフローチャートである。 図７は図６のステップ４０３５に示すリセット処理の一例を示す説明図である。 図８は図４の静止点のカウント処理４１１の一例を示すフローチャートである。 図９は図４のオクルージョン値算出処理４１２の一例を示すフローチャートである。 図１０は図４の静止点削除処理４１３の一例を示すフローチャートである。 図１１は図４の動き算出処理４２１及び慣性適用処理４２２の一例を示すフローチャートである。 図１２は図１１の平均動きベクトル算出処理４２１２の一例を示すフローチャートである。 図１３は図１２の平均動きベクトル算出処理４２１２の一例での重み付けで使用される重みと履歴の関係を示すグラフである。 図１４は図１１の重心動きベクトル算出処理４２１３の一例を示すフローチャートである。 本発明の他の実施形態に係る監視システムの構成の一例を示すブロック図である。

符号の説明

１…画面、１０…移動物体、１１追跡領域、１２前景、１３背景、２０特徴点セレクタ、５０特徴点トラッカ。

Claims (5)

1. 画像上に現れる追跡対象となる移動物体を特定し、当該移動物体に対応して設定した追跡領域内での複数の特徴点を選択し、選択した結果の当該複数の特徴点を追跡することにより上記移動物体の動きの追跡を行う画像処理装置において、
   上記移動物体の追跡領域を設定する追跡領域設定手段と、
   上記追跡対象となる上記追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択手段と、
   上記特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの上記特徴点の座標位置を求める追跡処理手段と、
   上記追跡処理手段により求めた上記前のフレームでの特徴点の座標位置と上記次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が上記特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、上記最大量を超えていなければ追跡は成功したと判断する追跡判断手段と、
   上記特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を上記特徴点が静止点であると判定し、かつ上記静止点が予め定めた値以上であれば静止していると判断する静止点判定手段と、
   上記追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の上記特徴点の個数の変化値と、上記静止点の総数を正規化した値とを乗算することにより上記画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定に用いるオクルージョン値を算出するオクルージョン値算出手段と、
   上記オクルージョン値算出手段によって求めたオクルージョン値に基づいて、上記オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、上記オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出手段と、
   上記オクルージョン値に基づいて算出された上記重心ベクトル及び上記平均化ベクトルと、１から上記オクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより上記追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出手段と
   を具える画像処理装置。
2. 画像上に現れる追跡対象となる移動物体を特定し、当該移動物体に対応して設定した追跡領域内での複数の特徴点を選択し、選択した結果の当該複数の特徴点を追跡することにより上記移動物体の動きの追跡を行う移動物体追跡方法において、
   追跡領域設定手段により、上記移動物体の追跡領域を設定する追跡領域設定ステップと、
   特徴点選択手段により、上記追跡対象となる上記追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択ステップと、
   追跡処理手段により、上記特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの上記特徴点の座標位置を求める追跡処理ステップと、
   追跡判断手段により、上記追跡処理手段により求めた上記前のフレームでの特徴点の座標位置と上記次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が上記特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、上記最大量を超えていなければ追跡は成功したと判断する追跡判断ステップと、
   静止点判定手段により、静止点判定手段により、上記特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を上記特徴点が静止点であると判定し、かつ上記静止点が予め定めた値以上であれば静止していると判定する静止点判定ステップと、
   オクルージョン値算出手段により、上記追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の上記特徴点の個数の変化値と、上記静止点の総数を正規化した値とを乗算することにより上記画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定となるオクルージョン値を算出するオクルージョン値算出ステップと、
   動きベクトル算出手段により、上記オクルージョン値算出手段によって求めたオクルージョン値に基づいて、上記オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、上記オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出ステップと、
   追跡領域移動量算出手段により、上記オクルージョン値に基づいて算出された上記重心ベクトル及び上記平均化ベクトルと１から上記オクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより上記追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出ステップと
   を有する移動物体追跡方法。
3. 画像上に現れる追跡対象となる移動物体を特定し、当該移動物体に対応して設定した追跡領域内での複数の特徴点を選択し、選択した結果の当該複数の特徴点を追跡することにより上記移動物体の動きの追跡を行う移動物体追跡方法をコンピュータに実行させる移動物体追跡プログラムにおいて、
   移動物体追跡方法では、
   追跡領域設定手段により、上記移動物体の追跡領域を設定する追跡領域設定ステップと、
   特徴点選択手段により、上記追跡対象となる上記追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択ステップと、
   追跡処理手段により、上記特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの上記特徴点の座標位置を求める追跡処理ステップと、
   追跡判断手段により、上記追跡手段により求めた上記前のフレームでの特徴点の座標位置と上記次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が上記特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、上記最大量を超えていなければ追跡は成功したと判断する追跡判断ステップと、
   静止点判定手段により、上記特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を上記特徴点が静止点であると判定する静止点判定ステップと、
   オクルージョン値算出手段により、上記追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の上記特徴点の個数の変化値と、上記静止点の総数を正規化した値とを乗算することにより上記画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定となるオクルージョン値を算出するオクルージョン値算出ステップと、
   動きベクトル算出手段により、上記オクルージョン値算出手段によって求めたオクルージョン値に基づいて、上記オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、上記オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出ステップと、
   追跡領域移動量算出手段により、上記オクルージョン値に基づいて算出された上記重心ベクトル及び上記平均化ベクトルと１から上記オクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより上記追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出ステップと
   を有する移動物体追跡プログラム。
4. 撮像手段が出力する映像信号を受信して、該映像信号が示す画像上に現れる追跡対象となる移動物体を特定し、当該移動物体に対応して設定した追跡領域内での複数の特徴点を選択し、選択した結果の当該複数の特徴点を追跡することにより上記移動物体の動きの追跡を行う画像処理部と、当該画像処理部が出力する追跡結果を利用して監視を行うセキュリティ処理部とを具える監視装置において、
   画像処理部は、
   上記移動物体の追跡領域を設定する追跡領域設定手段と、
   上記追跡対象となる上記追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択手段（特徴点セレクタ）と、
   上記特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの上記特徴点の座標位置を求める追跡処理手段と、
   上記追跡処理手段により求めた上記前のフレームでの特徴点の座標位置と上記次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が上記特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、上記最大量を超えていなければ追跡は成功したと判断する追跡判断手段と、
   上記特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を上記特徴点が静止点であると判定し、かつ上記静止点が予め定めた値以上であれば静止していると判断する静止点判定手段と、
   上記追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の上記特徴点の個数の変化値と、上記静止点の総数を正規化した値とを乗算することにより上記画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定となるオクルージョン値を算出するオクルージョン値算出手段と、
   上記オクルージョン値算出手段によって求めたオクルージョン値に基づいて、上記オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、上記オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出手段と、
   上記オクルージョン値に基づいて算出された上記重心ベクトル及び上記平均化ベクトルと１から上記オクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより上記追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出手段と
   を具える監視装置。
5. 入力された映像信号が示す画像上に現れる追跡対象となる移動物体を特定し、当該移動物体に対応して設定した追跡領域内での複数の特徴点を選択し、選択した結果の当該複数の特徴点を追跡することにより上記移動物体の動きの追跡を行う画像処理部と、ユーザの操作を受け付けるユーザ操作部と、該画像処理部が出力する追跡結果及び該ユーザ操作部からの操作信号に基づいてゲームを行うゲーム処理部とを具えるゲーム装置において、
   画像処理部は、
   上記移動物体の追跡領域を設定する追跡領域設定手段と、
   上記追跡対象となる上記追跡領域の全体にわたって２つの特徴点間の距離が予め定めた距離以上となるように特徴点を選択する特徴点選択手段と、
   上記特徴点選択手段によって選択した特徴点ごとに追跡を行い、前のフレームの特徴点の座標位置に対して次のフレームでの上記特徴点の座標位置を求める追跡処理手段と、
   上記追跡処理手段により求めた上記前のフレームでの特徴点の座標位置と上記次のフレームでの特徴点の座標位置とを比較し、比較した結果の差分が上記特徴点の座標上での移動量が予め定めた最大量を超えていれば追跡は失敗し、上記最大量を超えていなければ追跡は成功したと判断する追跡判断手段と、
   上記特徴点ごとに現在のフレームでの座標位置と前のフレームでの座標位置とを比較し、同一又は差が予め定めた閾値以下である場合を上記特徴点が静止点であると判定し、かつ上記静止点が予め定めた値以上であれば静止していると判断する静止点判定手段と、
   上記追跡判断手段により連続した所定のフレーム数にわたって追跡に成功した特徴点の個数を算出し、算出した結果の上記特徴点の個数の変化値と、上記静止点の総数を正規化した値とを乗算することにより上記画面上において移動物体と他の物体との重なり具合を示すオクルージョンの判定となるオクルージョン値を算出するオクルージョン値算出手段と、
   上記オクルージョン値算出手段によって求めたオクルージョン値に基づいて、上記オクルージョン値が予め定めた閾値よりも大きい場合には追跡領域の追跡前と追跡後の重心の移動を示す重心ベクトルを算出し、上記オクルージョン値が予め定めた閾値よりも小さい場合は追跡領域の前のフレームと現在のフレームとの動きの平均を示す平均化ベクトルを算出する動きベクトル算出手段と、
   上記オクルージョン値に基づいて算出された上記重心ベクトル及び上記平均化ベクトルと１から上記オクルージョン値を引いた値とを乗算し、乗算した結果の値と過去の動きとを加算することにより上記追跡領域の移動を示す追跡領域移動量を算出する追跡領域移動量算出手段と
   を具えるゲーム装置。

Images