JP4664838B2 - 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム - Google Patents

Description

本発明は、映像オブジェクト追跡装置および映像オブジェクト追跡プログラムに係り、特に、オブジェクトをカメラで撮像して生成された映像中の映像オブジェクトを抽出・追跡し、推定される位置座標を出力する映像オブジェクト追跡装置および映像オブジェクト追跡プログラムに関する。

従来、オブジェクトをカメラで撮像して生成された映像中の映像オブジェクト（以下、単に物体という）を追跡するために、物体の有する色や形状などの画像特徴量を用いる手法や、物体位置の遠近に基づく時間対応付けを行う手法などが多く用いられている。追跡にあたって、特に、物体の過去の位置や過去の速度に基づいて、物体の現在位置を予測し、この予測された位置付近に存在する物体のみを抽出すべき候補として選択することで、誤追跡の防止と処理の高速化とを図ることが要望されている。

このような物体の追跡においては、カルマンフィルタなどの状態推定手段を用いる手法が提案されている。しかしながら、例えば、カルマンフィルタによる追跡では、物体の位置などを表す状態量が単一であるため、処理の過程で、推定すべき物体（ターゲット）に類似した他の類似物体との干渉などが発生すると、それまで追跡できていた（捕捉していた）ターゲットを捕捉できなくなってしまうことがある。そして、このように一旦捕捉できなくなると、ターゲットを再び捕捉することが困難であった。また、ターゲットの候補が複数観測される場合には、そのすべての候補に関する情報を有効に活用することができず、いずれか一つの候補の情報のみしか利用できなかった。

また、状態量の任意の統計分布を効率的に記述できる粒子フィルタを用いる状態推定手段も使用され始めている。この粒子フィルタでは、物体の位置などを表す状態量（粒子とよぶ）が複数存在し、これらの粒子のうち、物体の観測結果に合致する粒子の重みを増加させ、最終的には全拉子の状態の期待値（または分散）を計算することで、状態量が推定される（例えば、特許文献１参照）。

このため、粒子フィルタでは、ターゲット以外の他の類似物体が一時的に観測された場合などターゲット候補が複数観測されても、そのすべての候補に関する情報を活用して粒子群に重み付けを行うことができる。このため、物体間の干渉がある場合などに有効な状態推定手法であるとされている。また、粒子フィルタでは、状態遷移（粒子の状態量の時間変化）が、状態量の確率密度により定義できるため、非常に複雑なダイナミクスをモデリングすることが可能である。
特開２００５−４４３５２号公報（段落００８６−００９０、図５）

しかしながら、粒子フィルタにおいても、ターゲットの位置を正しく推定するためには、ターゲットの追跡開始時や、一度フレームアウトしたターゲット（候補）が再度フレームインした場合などに、ターゲット候補の粒子群に対して初期値を与える必要がある。従来、このような物体の追跡においては、人手を介して手動で追跡範囲を指定するなどして初期値を設定しているので、初期値設定を効果的に行うことが要望されている。また、粒子フィルタでは、ターゲットのダイナミクスに対するモデリングの手法によっては、ターゲットの位置として推定される位置の精度が大きく変化してしまう。そのため、推定される位置の精度を向上させることのできるモデリングが要望されている。

本発明は、以上のような問題点に鑑みてなされたものであり、映像オブジェクトの位置を正しく推定することのできる映像オブジェクト追跡装置および映像オブジェクト追跡プログラムを提供することを目的とする。

前記目的を達成するために、本発明の請求項１に記載の映像オブジェクト追跡装置は、オブジェクトをカメラで撮像して生成された映像中の映像オブジェクトを追跡する映像オブジェクト追跡装置であって、２値画像生成手段と、映像オブジェクト候補選定手段と、離散変数記憶手段と、離散変数更新判定手段と、離散変数生成手段と、観測更新手段と、状態量更新手段と、オブジェクト位置推定手段とを備えることとした。

かかる構成によれば、映像オブジェクト追跡装置は、２値画像生成手段によって、入力画像の各画素を背景画像および前景画像に分類した２値画像として生成する。そして、映像オブジェクト追跡装置は、映像オブジェクト候補選定手段によって、前記２値画像のうちで、前記前景画像の形状に基づく画像特徴量と、前記入力画像において前記前景画像を形成する画素に関する画素情報に基づく画像特徴量とのうちの少なくとも１つに関して予め定められた条件を満たす領域を、映像オブジェクト候補として選定する。ここで、画像特徴量は、例えば、大きさ、色、形状等である。そして、映像オブジェクト追跡装置は、離散変数記憶手段に、前記オブジェクト候補の位置に対応して生成された位置座標を含む状態量と、重みとを有した情報である離散変数を映像オブジェクト候補別に記憶する。ここで、離散変数は、例えば、粒子フィルタ（Particle Filter）における粒子（Particle）のことである。

そして、映像オブジェクト追跡装置は、離散変数更新判定手段によって、前記選定された映像オブジェクト侯補の個数に基づいて、前記離散変数記憶手段に記憶された離散変数を更新するか否かを判定し、前記離散変数を更新すると判定された場合に、離散変数生成手段によって、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数を所定数生成して前記離散変数記憶手段に記憶された前記所定数の離散変数を更新する。そして、映像オブジェクト追跡装置は、観測更新手段によって、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数記憶手段に記憶された離散変数の重みまたは状態量の少なくとも一方を更新し、状態量更新手段によって、前記オブジェクトの予め定められた運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新する。そして、映像オブジェクト追跡装置は、オブジェクト位置推定手段によって、前記離散変数記憶手段に記憶された離散変数の状態量の期待値を演算することにより前記オブジェクトの位置を推定する。

また、請求項２に記載の映像オブジェクト追跡装置は、請求項１に記載の映像オブジェクト追跡装置において、前記離散変数生成手段が、前記映像オブジェクト侯補の画像座標に対応させて実空間における点を始点とする半直線を算出し、算出した半直線上に配されて位置が乱数で決定された１以上の点の位置座標を求め、求めた位置座標を前記状態量の成分とした離散変数を１以上生成することとした。

かかる構成によれば、映像オブジェクト追跡装置は、離散変数生成手段によって、離散変数の状態量を示す点を半直線上に生成するために、例えば、乱数でｚ成分が決定されたｘｙ平面に平行な平面と、半直線との交点を当該点とすることができる。その結果、離散変数の状態量を実空間上で一意に定めることが可能となる。

また、請求項３に記載の映像オブジェクト追跡装置は、請求項１または請求項２に記載の映像オブジェクト追跡装置において、前記状態量更新手段が、前記オブジェクトの運動を規定する物理量として、重力加速度と、前記オブジェクトと地面との反発係数と、前記オブジェクトと地面との動摩擦係数と、のいずれか１つ以上を含む運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新することとした。

かかる構成によれば、映像オブジェクト追跡装置は、状態量更新手段によって、重力加速度を含む運動モデルの場合には、オブジェクトが空中にあって例えば放物運動をする場合を正しくモデリングすることができる。また、オブジェクトと地面との反発係数を含む運動モデルの場合には、オブジェクトが空中から落下して地面に衝突して撥ね返る（バウンドする）場合を正しくモデリングすることができる。さらに、オブジェクトと地面との動摩擦係数を含む運動モデルの場合には、オブジェクトが地面を転がる場合を正しくモデリングすることができる。このようなモデリングは、オブジェクトがボールの場合に好適である。

また、請求項４に記載の映像オブジェクト追跡装置は、請求項１ないし請求項３のいずれか一項に記載の映像オブジェクト追跡装置において、前記離散変数更新判定手段が、前記映像オブジェクト侯補が所定時間選定されなかった後に唯一の映像オブジェクト候補が選定された場合に、前記離散変数記憶手段に記憶された離散変数を更新すると判定し、前記離散変数生成手段に前記離散変数の生成を指示することとした。

かかる構成によれば、映像オブジェクト追跡装置は、映像オブジェクト候補が唯一選定されているときに、離散変数更新判定手段によって、更新することを判定するので、精度を向上させることができる。また、映像オブジェクト候補が所定時間選定されなかった後に更新すると判定するので、この所定時間を、例えば、映像オブジェクト候補がフレームアウトしてから再びフレームインするまでの一般的な時間として設定しておけば、たとえ一旦フレームアウトしたとしても離散変数を更新（初期化）することなく、連続的に、離散変数（粒子）として映像オブジェクトを追跡することが可能である。

また、請求項５に記載の映像オブジェクト追跡装置は、請求項１ないし請求項３のいずれか一項に記載の映像オブジェクト追跡装置において、前記オブジェクト位置推定手段が、前記離散変数記憶手段に記憶された離散変数の重みを含む状態量の分散値または共分散行列のトレースを演算し、前記演算した結果を前記離散変数更新判定手段に出力し、前記離散変数更新判定手段が、唯一の映像オブジェクト候補が選定されており、かつ、前記演算結果が予め定められたしきい値を超えた状態が所定時間以上継続した場合に、前記離散変数記憶手段に記憶された離散変数を更新すると判定し、前記離散変数生成手段に前記離散変数の生成を指示することとした。

かかる構成によれば、映像オブジェクト追跡装置は、オブジェクト位置推定手段によって、離散変数（粒子）の状態量の期待値を演算できるので、その期待値をさらに用いることによって分散を演算することができる。そして、映像オブジェクト追跡装置は、この分散に基づいて、離散変数を更新すると判定するので、この分散の値を、例えば、許容される追跡誤差の上限値の自乗として設定しておけば、追跡誤差が許容値を超えた場合に離散変数を更新（初期化）してオブジェクトの再補足を図ることが可能である。なお、オブジェクト位置推定手段は、期待値がスカラーの場合に分散値を計算し、期待値が共分散行列の場合に共分散行列のトレースを算出する。

また、請求項６に記載の映像オブジェクト追跡装置は、請求項１ないし請求項５のいずれか一項に記載の映像オブジェクト追跡装置において、前記観測更新手段が、分離手段と、投影変換手段と、係数演算手段と、重み変更手段と、多重化手段とを備えることとした。

かかる構成によれば、映像オブジェクト追跡装置において、観測更新手段は、分離手段によって、前記映像オブジェクト侯補に対して、前記離散変数記憶手段から読み出した離散変数の状態量と重みとを分離する。そして、観測更新手段は、投影変換手段によって、前記分離された状態量に含まれる位置座標を、前記カメラの位置座標を含むカメラパラメータを介して透視投影により画像座標にマッピングする。そして、観測更新手段は、係数演算手段によって、前記映像オブジェクト侯補の画像座標と、前記入力画像と、前記２値画像とのうちの１つと、前記投影変換手段によってマッピングされた画像座標との位置関係に基づいて、前記分離された重みを更新するための重み係数を算出する。そして、観測更新手段は、重み変更手段によって、前記重み係数を用いて、前記分離された重みを更新し、多重化手段によって、前記更新された重みと、前記分離された状態量とを多重化した離散変数により、前記読み出した離散変数を更新する。

また、請求項７に記載の映像オブジェクト追跡装置は、請求項６に記載の映像オブジェクト追跡装置において、前記係数演算手段が、前記映像オブジェクト侯補の画像座標と、前記入力画像と、前記２値画像とをそれぞれ用いて算出される、第１の係数と、第２の係数と、第３の係数とを求め、求められた３つの係数から算出される平均値、最大値、最小値のいずれかを前記重み係数と定めることとした。

かかる構成によれば、映像オブジェクト追跡装置は、係数演算手段によって、観測の最終段階として選定された映像オブジェクト侯補の画像座標のほかに、観測の初期段階の入力画像や、観測の中間段階の２値画像を考慮して重み係数を求めることができる。

また、請求項８に記載の映像オブジェクト追跡装置は、請求項１ないし請求項７いずれか一項に記載の映像オブジェクト追跡装置において、離散変数再生成手段をさらに備えることとした。

かかる構成によれば、映像オブジェクト追跡装置は、離散変数再生成手段によって、前記離散変数記憶手段から読み込んだ離散変数の重みが同一となるように前記離散変数を再編し、かつ、前記読み込んだ離散変数の状態量を有する再編後の離散変数の生成個数を、前記再編前の離散変数の重みの値に比例させるように再編することにより、前記状態量ごとに０個以上の離散変数を再生成する。なお、離散変数再生成手段は、一般的な再標本化手段で構成される。

また、請求項９に記載の映像オブジェクト追跡装置は、請求項１ないし請求項８のいずれか一項に記載の映像オブジェクト追跡装置において、前記映像オブジェクト候補選定手段が、ラベリング手段と、画像特徴量値抽出手段と、画像特徴量フィルタ手段と、重心演算手段とを備えることとした。

かかる構成によれば、映像オブジェクト追跡装置において、映像オブジェクト候補選定手段は、ラベリング手段によって、前記２値画像の前記前景画像に含まれる隣接した画素を連結した領域である前景単連結領域を識別するためのラベルを前記前景単連結領域に付与し、画像特徴量値抽出手段によって、前記ラベルが付与された前景単連結領域の画像特徴量として、大きさ、色、形状のうちの少なくとも１つに関する値を抽出する。そして、映像オブジェクト候補選定手段は、画像特徴量フィルタ手段によって、前記抽出された画像特徴量値が、所定の上限値および下限値の間にあるか否かを判別することにより、前記ラベルが付与された前景単連結領域をフィルタリングして前記映像オブジェクト候補を選定すると共に、選定した映像オブジェクト候補のラベルおよび個数を出力する。そして、映像オブジェクト候補選定手段は、重心演算手段によって、前記映像オブジェクト候補として選定された前景単連結領域の画像座標における重心位置を演算し、前記選定された映像オブジェクト侯補の画像座標として出力する。
。

また、請求項１０に記載の映像オブジェクト追跡プログラムは、オブジェクトをカメラで撮像して生成された映像中の映像オブジェクトを追跡するために、コンピュータを、２値画像生成手段、映像オブジェクト候補選定手段、離散変数更新判定手段、離散変数生成手段、観測更新手段、状態量更新手段、オブジェクト位置推定手段として機能させることとした。

かかる構成によれば、映像オブジェクト追跡プログラムは、２値画像生成手段によって、入力画像の各画素を背景画像および前景画像に分類した２値画像を生成し、映像オブジェクト候補選定手段によって、前記２値画像のうちで、前記前景画像の形状に基づく画像特徴量と、前記入力画像において前記前景画像を形成する画素に関する画素情報に基づく画像特徴量とのうちの少なくとも１つに関して予め定められた条件を満たす領域を、映像オブジェクト候補として選定する。そして、映像オブジェクト追跡プログラムは、離散変数更新判定手段によって、前記オブジェクト候補の位置に対応して生成された位置座標を含む状態量と、重みとを有した情報である離散変数を映像オブジェクト侯補別に記憶する離散変数記憶手段に記憶された離散変数を、前記選定された映像オブジェクト侯補の個数に基づいて、更新するか否かを判定する。

そして、映像オブジェクト追跡プログラムは、離散変数生成手段によって、前記離散変数を更新すると判定された場合に、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数を所定数生成して前記離散変数記憶手段に記憶された前記所定数の離散変数を更新する。そして、映像オブジェクト追跡プログラムは、観測更新手段によって、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数記憶手段に記憶された離散変数の重みまたは状態量の少なくとも一方を更新し、状態量更新手段によって、前記オブジェクトの予め定められた運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新する。そして、映像オブジェクト追跡プログラムは、オブジェクト位置推定手段によって、前記離散変数記憶手段に記憶された離散変数の状態量の期待値を演算することにより前記オブジェクトの位置を推定する。

請求項１または請求項１０に記載の発明によれば、入力画像から検出された映像オブジェクトの画像座標に基づいて、離散変数の生成、離散変数の重みまたは状態量の更新、および、オブジェクトのダイナミクスを反映した運動モデルによる状態遷移の各処理を行うことができる。その結果、映像オブジェクトの位置を頑健に推定することができる。

請求項２に記載の発明によれば、離散変数の状態量を実空間上で一意に定めることが可能となる。すなわち、粒子フィルタの初期化を効率的に行うことができる。

請求項３に記載の発明によれば、実空間におけるボールの複雑な運動のモデル化により、より高精度な状態遷移の処理が可態となり、ボール候補を一時的に見失った場合の尤もらしい補完が可能である。また、高精度な予測ボール軌道が得られるため、ボール以外のオブジェクトを誤認識することによる不安定化を防ぐこともできる。

請求項４または請求項５に記載の発明によれば、映像オブジェクト候補が所定時間以上選定されなかった場合や、追跡誤差が許容値を上回ったと推定される場合に、離散変数（粒子）を初期化してオブジェクトの再補足を図ることが可能である。

請求項６に記載の発明によれば、映像オブジェクトの観測結果である画像座標を反映できるので、観測結果に適合した重みを有するように離散変数を更新することができる。その結果、映像オブジェクトの位置を精度よく推定することができる。

請求項７に記載の発明によれば、映像オブジェクトの観測の初期段階、中間段階および最終段階を考慮できるので、更新により、映像オブジェクトの運動の観測結果とよく整合した離散変数（粒子）を生成することができる。

請求項８に記載の発明によれば、離散変数を再標本化できるので、不要なノイズが除去されて離散変数を用いた位置情報の精度が向上する。

請求項９に記載の発明によれば、入力画像において追跡すべき映像オブジェクトが他の類似物体と紛らわしくても、尤もらしい映像オブジェクト候補を選定することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
（第１実施形態）
［ボール追跡装置の構成］
図１は、本発明の第１実施形態に係るボール追跡装置の構成例を示した機能ブロック図である。ボール追跡装置（映像オブジェクト追跡装置）１は、サッカーボール（オブジェクト）を図示しないカメラで撮像して生成された映像中のボール（映像オブジェクト）を追跡する装置であって、図１に示すように、入力手段２と、記憶手段３と、２値画像生成手段４と、ボール候補選定手段５と、粒子更新判定手段６と、粒子生成手段７と、重み更新手段８と、状態量更新手段９と、粒子再生成手段１０と、期待値演算手段１１と、出力手段１２とを備えている。

＜入力手段＞
入力手段２は、図示しないカメラで撮像されたボールの映像（以下、単に、ボールという）を、２値画像生成手段４およびボール候補選定手段５に入力する入力インターフェースである。この入力手段２は、図示しないカメラの位置座標を含むカメラパラメータ（詳細は後記する）を、粒子生成手段７および重み更新手段８に出力する。なお、入力手段２は、操作者の操作によるコマンドやデータなどボール追跡装置１に必要な情報も入力する。

＜記憶手段＞
記憶手段３は、例えば、ＲＯＭ（Read Only Memory）３１と、ＲＡＭ（Random Access Memory）３２と、ＨＤＤ（Hard Disk Drive）３３とを備え、ＨＤＤ３３に後記する粒子記憶部３３１を有している。

＜制御部＞
２値画像生成手段４と、ボール候補選定手段５と、粒子更新判定手段６と、粒子生成手段７と、重み更新手段８と、状態量更新手段９と、粒子再生成手段１０と、期待値演算手段１１と（以下、制御部という）は、例えば、ＣＰＵ（Central Processing Unit）が記憶手段３のＲＯＭ３１等に格納された所定のプログラムをＲＡＭ３２に展開して実行することにより実現されるものである。各手段の詳細は後記する。

＜出力手段＞
出力手段１２は、期待値演算手段１１で算出された期待値に含まれる位置情報を、図示しない出力装置に出力する出力インターフェースである。なお、出力装置は、例えば、液晶ディスプレイ等の表示装置である。

［制御部の構成の詳細］
＜２値画像生成手段＞
２値画像生成手段４は、入力画像の各画素を背景画像および前景画像に分類した２値画像を生成し、ボール候補選定手段５に出力するものである。以下では、２値画像をＢ、対応する入力画像をＩと表記する。この２値画像生成手段４は、入力画像Ｉの画像座標（Ｘ，Ｙ）における画素値Ｉ（Ｘ，Ｙ）に基づいて、入力画像Ｉの各画素が前景と背景のいずれであるかを判定し、２値画像Ｂの画像座標（Ｘ，Ｙ）における画素値Ｂ（Ｘ，Ｙ）を出力する。この処理を全画素に亘って実行することで２値画像Ｂを得ることができる。

ここで、画素値Ｉ（Ｘ，Ｙ）は、具体的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）などの色成分で構成されるカラー値（色ベクトル）を表す。なお、画素値Ｉ（Ｘ，Ｙ）は、色ベクトルに限定されるものではなく、例えば、輝度値などであってもよい。
また、画素値Ｂ（Ｘ，Ｙ）は、２値をとり得るものであり、例えば、前景の画素に対しては値「１」をとり、背景の画素に対しては値「０」をとるものとすることができる。

本実施形態では、２値画像生成手段４は、例えばクロマキー装置のように、色ベクトルである画素値Ｉ（Ｘ，Ｙ）が、所定の色範囲（背景色）にあるか否かを判定するものとする。具体的には、２値画像生成手段４は、例えば、画素値Ｉ（Ｘ，Ｙ）で示されるすべての色成分が、赤、青、緑の各色成分に対してそれぞれ予め定められた下限および上限のしきい値の間にある場合にＢ（Ｘ，Ｙ）の値として「０」を出力し、それ以外の場合にはＢ（Ｘ，Ｙ）の値として「１」を出力する。

例えば、背景色がサッカー場の芝生の色の場合には、その芝生の色（例えば、緑色）の範囲を下限および上限のしきい値として定めておく。これにより、２値画像生成手段４は、例えば、図２（ａ）に示す入力画像から、図２（ｂ）に示す背景色の領域である背景画像（芝生）と、前景画像（人物やボール等）とに分類した２値画像を図２（ｃ）に示すように生成することができる。

なお、２値画像生成手段４は、例えば、背景差分法を用いて２値画像Ｂを生成するように構成してもよい。この場合には、人物やボールなどが存在しない画像を背景画像Ｊとして予め用意しておく。そして、２値画像生成手段４は、入力画像の各画素の画素値Ｉ（Ｘ，Ｙ）と、背景画像の各画素の画素値Ｊ（Ｘ，Ｙ）との差分を算出する。そして、２値画像生成手段４は、式（１）に示すように、算出された差分が所定のしきい値Ｄで定められた範囲内にある湯合にはＢ（Ｘ，Ｙ）＝０、それ以外の場合にはＢ（Ｘ，Ｙ）＝１として、各値を出力する。そして、この処理を全画素について実行する。例えば、図３（ｂ）に示す背景画像が予め用意されている場合には、２値画像生成手段４は、例えば、図３（ａ）に示す入力画像から、図３（ｂ）に示す背景画像と、前景画像（人物やボール等）とに分類した２値画像を図３（ｃ）に示すように生成することができる。

＜ボール候補選定手段＞
ボール候補選定手段（映像オブジェクト候補選定手段）５は、２値画像Ｂのうちで、前景画像の形状に基づく画像特徴量と、入力画像Ｉにおいて前景画像を形成する画素に関する画素情報に基づく画像特徴量とのうちの少なくとも１つに関して予め定められた条件を満たす領域を、ボール候補として選定するものである。

図４は、ボール候補選定手段の構成の一例を示した機能ブロック図である。
ボール候補選定手段５は、ラベリング手段５１と、画像特徴量値抽出手段５２（５２ａ〜５２ｄ）と、画像特徴量フィルタ手段５３と、重心演算手段５４とを備える。

ラベリング手段５１は、２値画像Ｂの前景画像に含まれる隣接した画素を連結した領域である前景単連結領域を識別するためのラベルを、当該前景単連結領域に付与する処理（ラベリング処理）を行い、画像特徴量値抽出手段５２に出力する。
本実施形態では、前景単連結領域は、２値画像ＢにおいてＢ（Ｘ，Ｙ）＝１なる領域（前景領域）を構成する隣接した画素を連結した領域である。
ラベリング手段５１は、例えば、図５（ａ）に示す２値画像Ｂには３個の前景単連結領域が存在するので、図５（ｂ）に示すように、３個の前景単連結領域それぞれに対して、ラベルＦ_n（ｎ＝１，２，３）を付与する。なお、前景単連結領域が１つしか存在しない場合や、まったく存在しない場合もある。

画像特徴量値抽出手段５２（５２ａ〜５２ｄ）は、ラベルが付与された前景単連結領域の画像特徴量の値を抽出し、画像特徴量フィルタ手段に出力するものである。
画像特徴量値抽出手段５２ａは、画像特徴量として面積Ｓ_nの値を抽出する。面積Ｓ_nは、前景単連結領域Ｆ_nの大きさに関するものであり、例えば、前景単連結領域内に含まれる総画素数（ピクセル数）である。

画像特徴量値抽出手段５２ｂは、画像特徴量として平均色Ｃ_nの値を抽出する。平均色Ｃ_nは、入力画像Ｉにおいて前景単連結領域Ｆ_nの領域内に存在する各画素の画素値（色情報）に関するものであり、例えば、前景単連結領域Ｆ_nのすべての画素位置（∀（Ｘ，Ｙ）∈Ｆ_n）に対応した、入力画像Ｉの対応領域におけるすべての画素の画素値Ｉ（Ｘ，Ｙ）の平均値である。なお、平均色Ｃ_nは、Ｒ，Ｇ，Ｂそれぞれについて抽出される。

画像特徴量値抽出手段５２ｃは、画像特徴量として縦横比Ａ_nの値を抽出する。
縦横比Ａ_nは、前景単連結領域Ｆ_nの形状に関するものであり、例えば、前景単連結領域Ｆ_nの高さを幅で除した値である。

画像特徴量値抽出手段５２ｄは、画像特徴量として円形度Ｒ_nの値を抽出する。円形度Ｒ_nは、前景単連結領域Ｆ_nの形状に関するものであり、例えば、前景単連結領域Ｆ_nの境界に存在する画素の総数により定められた周囲長を用いて、例えば、式（２）により定義することができる。

なお、画像特徴量値抽出手段５２が抽出する画像特徴量の種類や個数は、一例であってこれらに限定されるものではない。
本実施形態では、画像特徴量値抽出手段５２は、例えば、図５（ｂ）に示した３個の前景単連結領域Ｆ₁〜Ｆ₃から、図５（ｃ）に示すデータ（画像特徴量値）を抽出する。図５（ｃ）に示す記憶構造は、項目として、前景単連結領域５０１と、面積５０２と、平均色５０３と、縦横比５０４と、円形度５０５とを含んでなり、前景単連結領域Ｆ_nごとに、４種類の画像特徴量値が格納されている。

画像特徴量フィルタ手段５３は、抽出された画像特徴量値が、所定の上限値および下限値の間にあるか否かを判別することにより、ラベルが付与された前景単連結領域Ｆ_nをフィルタリングしてボール候補を選定するものである。この画像特徴量フィルタ手段５３は、選定したボール候補のラベルを重心演算手段５４に出力すると共に、選定したボール候補の個数（候補数Ｌ）を粒子更新判定手段６に出力する。

本実施形態では、画像特徴量フィルタ手段５３は、各画像特徴量に対して予め定められたそれぞれのしきい値（フィルタしきい値）と、各条件をすべて満たしたか否かを演算する論理演算（ＩＦ〜ＴＨＥＮルール）とに基づいて、すべての条件をクリアする前景単連結領域Ｆ_nをボール候補として選定する。例えば、図６（ａ）に示すフィルタしきい値の記憶構造は、項目として、面積６０１と、平均色（Ｒ）６０２と、平均色（Ｇ）６０３と、平均色（Ｂ）６０４と、縦横比６０５と、円形度６０６とを含んでなる。各フィルタしきい値は、ボールらしいオブジェクトを抽出できるような数値範囲を有している。なお、円形度Ｒ_nの上限が１を越えているのは、離散化したことにより生じる誤差を除去するために敢えて設定したためである。

画像特徴量フィルタ手段５３は、前景単連結領域Ｆ_nをフィルタリングした結果、例えば、図６（ｂ）に示すデータを生成する。図６（ｂ）に示す記憶構造は、図５（ｃ）に示した画像特徴量値の記憶構造に加えて、項目として、フィルタリング結果６０７をさらに備えているものである。そして、画像特徴量フィルタ手段５３は、図６（ｂ）に示す各画像特徴量５０２〜５０５の値に対して図６（ａ）に示すフィルタしきい値を条件として適用した場合には、図６（ｂ）に「○」で示すように、前景単連結領域Ｆ₂，Ｆ₃をボール候補として選定することとなる。

なお、画像特徴量フィルタ手段５３の前記したフィルタリング方法は一例であってこれに限定されるものではない。例えば、画像特徴量をそれぞれ示す複数のベクトルによって張られるベクトル空間を想定し、前景単連結領域Ｆ_nの各画像特徴量値が、このベクトル空間における所定領域の内側にあるのか外側にあるのかに応じて、当該前景単連結領域Ｆ_nがボール候補としてふさわしいか否かを判定するようにしてもよい。例えば、図７に示すように、縦横比Ａおよび面積Ｓという２つの画像特徴量をそれぞれ示すベクトルの張る空間（この例では、２次元の平面）内に、ボール候補領域７０１を予め設定しておく。これにより、画像特徴量フィルタ手段５３は、前景単連結領域Ｆ_nの縦横比（図７ではＡで表記する）および面積（図ではＳで表記する）の値がボール候補領域７０１の内部にある場合に、その前景単連結領域Ｆ_nをボール候補として選定することとなる。

重心演算手段５４は、画像特徴量フィルタ手段５３でボール候補として選定された前景単連結領域の画像座標における重心位置を演算し、選定されたボール侯補の画像座標として、粒子生成手段７および重み更新手段８にそれぞれ出力するものである。この重心演算手段５４で演算された１以上のボール候補の画像座標を［Ｃ_X，Ｃ_Y］^Tで表す。なお、特にｌ（エル）番目のボール候補を区別したり、ｌ個のボール候補を強調したりするときには、その画像座標を［Ｃ_l,X，Ｃ_l,Y］^Tと表記することもある。

粒子記憶部（離散変数記憶手段）３３１は、カメラで撮像するときの実空間におけるボール候補の位置を含む状態量と、重みとを有した情報である離散変数を「粒子」として複数個（例えば、数千〜数万）記憶するものである。ここで、「粒子」は、いわゆる粒子フィルタ（パーティクルフィルタ）における粒子であって、複数の粒子の重みおよび空間分布により、状態量の確率密度分布を離散的に表現しているものである。

図８は、粒子記憶部の記憶構造の一例を示す図である。図８に示す記憶構造は、項目として、インデックス８０１と、状態量８０２と、重み８０３とを含んでなり、総計Ｐ個の粒子が格納されている。なお、典型的なＰの値は、例えば、数千〜数万である。以下では、図８に示すように、ｐ（１≦ｐ≦Ｐ）番目の粒子の状態量をｘ_pと表記し、当該粒子の重み（重み付け情報）をｗ_pと表記することとする。

状態量ｘ_pは、例えば、式（３）に示すように、実空間における３次元位置（ｑ_x，ｑ_y，ｑ_z）のほかに、３次元速度および３次元加速度を含む９次元ベクトルで表現することができる。なお、式（３）の右辺の行列（列ベクトル）において、１〜３行目は３次元位置、４〜６行目は３次元速度、７〜９行目は３次元加速度をそれぞれ示している。

＜粒子更新判定手段＞
粒子更新判定手段（離散変数更新判定手段）６は、ボール候補選定手段５で選定されたボール侯補の候補数Ｌに基づいて、粒子記憶部３３１に記憶された粒子を更新するか否かを判定するものである。この粒子更新判定手段６は、候補数Ｌに基づいて粒子記憶部３３１に記憶された粒子を更新する（以下、粒子を初期化すると言う）と判定した場合には、その旨を示すトリガを粒子生成手段７に出力する。

粒子更新判定手段６は、例えば、次の２つの条件を満たしたときに、粒子生成手段７に対してトリガを発生する。
（第１条件）候補数Ｌの現在の値が「１」である。
（第２条件）前回に粒子を初期化して以来、候補数Ｌの値が「０」である状態が所定時間数Ｔ’を超えて継続している。なお、所定時間数Ｔ’は例えばフレーム数である。

前記した第１条件および第２条件を図９を参照して説明する。図９は、図１に示した粒子更新判定手段に入力される時刻別のボール候補の候補数の一例を示す図である。ここでは、第２条件のＴ’の値を「４」（４フレーム）に設定するものとする。図９に示す例では、処理開始からのフレーム数を「時刻ｔ」で示している。

図９に示すように、時刻ｔが「４」のときに候補数Ｌは「１」である。つまり、ｔ＝４のときに、初めてボール候補が唯一選定され、粒子更新判定手段６は、第１回目の初期化を行うタイミングであると判定し、トリガを出力する。そして、時刻ｔが「８」のときに候補数Ｌが「０」である。つまり、ｔ＝８のときに、ボール候補を見失う。その後、ｔ＝１０のときに、ボール候補が唯一選定されるが、この場合には、候補数Ｌの値が「０」である状態は「２フレーム」しか続いていないので前記した第２条件は満たされていない。その後、ｔ＝１７から、ｔ＝２３の間では「７」フレームの間、ボール候補を再び見失う。その直後、時刻ｔが「２４」のときに、再びボール候補が選定される。しかしながら、候補数Ｌが「２」なので前記した第１条件が満たされていない。その直後、時刻ｔが「２５」のときに候補数Ｌが「１」となる。このときには、第１回目の初期化以来、ボール候補を見失った時間が７フレーム（＞４）であり、かつ、現在の候補数Ｌが「１」なので、粒子更新判定手段６は、第２回目の初期化を行うタイミングであると判定し、トリガを出力することとなる。

なお、本実施形態では、粒子更新判定手段６が、前記した２値画像生成手段４およびボール候補選定手段５に対してそれぞれの動作を行うタイミングを指示すると共に、候補数Ｌに基づいて、後記する粒子生成手段７と、重み更新手段８と、状態量更新手段９と、粒子再生成手段１０と、期待値演算手段１１とに対してそれぞれの動作を行うように指示することとする。また、操作者からの終了指示が入力されるか、予め定められた条件が成立した場合（以上、終了条件が成立した場合）、粒子更新判定手段６は、前記した各手段の動作を終了させる。

＜粒子生成手段＞
粒子生成手段（離散変数生成手段）７は、粒子更新判定手段６で初期化を行う（粒子記憶部３３１に記憶された粒子を更新する）と判定された場合に、ボール候補選定手段５から取得したボール侯補の画像座標［Ｃ_X，Ｃ_Y］^Tに基づいて、粒子を所定数生成して粒子記憶部３３１に記憶された前記所定数の粒子を更新するものである。

この粒子生成手段７は、粒子更新判定手段６からトリガを受けると、Ｐ₀（Ｐ₀≦Ｐ）個の粒子を生成する。このとき、粒子生成手段７は、粒子記憶部３３１からＰ₀個の粒子を選択し、生成した同数の粒子と置き換える。ここで、Ｐは、前記した図８で示した粒子記憶部３３１に記憶されている粒子の総数である。また、粒子記憶部３３１には、Ｐ個の粒子を予め格納しておくものとする。なお、粒子記憶部３３１に粒子を予め格納していない場合に、Ｐ₀の初期値（初めて粒子を生成するときの個数）を「Ｐ」として、「Ｐ」個の粒子を生成した以降に、Ｐ₀の値を「Ｐ」より少ない値に変更して、それ以降、変更後のＰ₀の個数の粒子を生成するようにしてもよい。

粒子生成手段７は、粒子記憶部３３１からＰ₀（＜Ｐ）個の粒子を選択する場合には、例えば、Ｐ₀個の乱数を発生させて定める。なお、粒子記憶部３３１において、予め定められた場所に格納された粒子を選択するようにしてもよい。例えば、前記した図８に示した粒子記憶部３３１の記憶構造において、インデックス８０１が、「１」から「Ｐ₀」までの位置に格納された粒子を選択するようにしてもよい。

また、粒子生成手段７は、ボール候補選定手段５から取得した１つの画像座標［Ｃ_X，Ｃ_Y］^T（またはｌ（エル）個の画像座標［Ｃ_l,X，Ｃ_l,Y］^T）と、入力手段２から取得するカメラパラメータとに基づいて、Ｐ₀個の粒子を生成する。
また、粒子生成手段７は、Ｐ₀個の粒子を画像平面に投影したときの像の座標が、画像座標［Ｃ_X，Ｃ_Y］^Tと一致するように、Ｐ₀個の粒子の状態量を決定する。ここで、「粒子を画像平面に投影する」とは、粒子の状態量に含まれる実空間における位置情報（例えば、（ｑ_x，ｑ_y，ｑ_z））を画像平面に投影することを意味する。

図１０は、粒子位置の説明図であり、実空間において、水平面内にｘ軸およびｙ軸をとり、高さ方向にｚ軸をとったデカルト座標系を示している。
図１０に示すように、撮像系の投影中心１００１から、画像座標［Ｃ_X，Ｃ_Y］^T１００３を通る半直線１００４を生成し、状態量が半直線１００４上に存在するような粒子を生成する場合に、その粒子の状態量の位置（以下、粒子位置という）を一意に定めるために、例えば、ｚ＝ｈで示される平面１００５を仮定し、平面１００５と半直線１００４との交点を粒子位置１００６と定義することにする。このように定義すると、式（４）に示すように、画像座標を［Ｃ_X，Ｃ_Y］^T、カメラの撮像素子の画素ピッチをλ_X×λ_Y、焦点距離をｆ、カメラ設置位置をＴ、カメラ姿勢の回転行列をＲとしたときに、粒子位置ｓを決定することが可能である。ただし、粒子位置ｓのｚ成分がｈ（平面１００５のｚ座標）となるように、係数ｋを定める。また、カメラ設置位置Ｔと、カメラ姿勢の回転行列Ｒの具体例は後記する。

平面１００５のｚ座標の値であるｈは、例えば、乱数により決定することができる。例えば、式（５）に示すように、ｚ座標の値ｈは、所定の正規分布Ｎにしたがう乱数ｒを用いて決定することができる。

ｈ＝ｍａｘ｛０，ｒ｝
ｒ〜Ｎ（０，ｒ₀ ²） …式（５）
ここで、Ｎ（０，ｒ₀ ²）は、期待値０、標準偏差ｒ₀の正規分布を示し、ｍａｘは引数のうち大きい方の値を選択する関数を示す。

つまり、式（５）に示すように、乱数ｒが正の場合には、ｈ＝ｒとし、乱数ｒが０以下の場合にはｈ＝０とする。この方法によれば、粒子は５０％の確率で地面１００７上（ｚ＝０）に存在し、残り５０％の確率の場合のうちで、正規分布Ｎ（０，ｒ₀ ²）のグラフ上で正側半分の確率に対応した確率密度（グラフ上の高さ）の位置に存在するような粒子を生成することができる。

なお、前記した式（４）で定義された粒子位置ｓは、前記した式（３）において粒子の状態量ｘを示す右辺の行列（列ベクトル）において、１〜３行目に配された３次元位置のことである。また、前記した式（３）における状態量ｘの３次元速度および３次元加速度は、前記した式（４）に示した粒子位置ｓを、時間について、それぞれ１階微分および２階微分したものである。したがって、前記した式（３）は、式（６）のように書き換えることができる。なお、式（６）において、・（ドット）は時間微分を示す記号である。

そして、これら速度成分および加速度成分は、例えば、乱数により定めることができる。乱数により定める場合、例えば多変量正規分布に従う乱数を用いることができる。

図１１は、粒子生成手段の生成する粒子の状態量の説明図である。この例では、図１１に示すように、１つのオブジェクト候補に対して５個の粒子１１０１が生成されている。粒子１１０１の状態量ｘは、黒丸つきの矢印で図示されている。このうち、黒丸は粒子位置１１０２を表し、矢印の向きと大きさが、状態量の速度成分１１０３を表している（加速度成分は図示せず）。

粒子の重みｗは、例えば、式（７）に示すように、粒子記憶部３３１に記憶されている粒子の重みｗ_pの総和を粒子総数Ｐで除した値が設定される。なお、これは一例であって、粒子の重みには、適当な定数を設定してもよい。

＜重み更新手段＞
重み更新手段（観測更新手段）８は、ボール候補選定手段５から取得したボール侯補の画像座標［Ｃ_X，Ｃ_Y］^Tに基づいて、粒子記憶部３３１に記憶された粒子に含まれる重みｗを更新するものである。なお、この重み更新手段８の説明では、簡単のため、添字ｐを省略する。

図１２は、図１に示した重み更新手段の構成例を示した機能ブロック図である。
重み更新手段８は、分離手段８１と、投影変換手段８２と、係数演算手段８３と、重み変更手段８４と、多重化手段８５とを備える。

分離手段８１は、ボール侯補に対して、粒子記憶部３３１から読み出した粒子に含まれる状態量ｘと重みｗとを分離し、分離された状態量ｘを投影変換手段８２へ出力すると共に、分離された重みｗを重み変更手段８４へ出力するものである。なお、分離手段８１は、粒子記憶部３３１に記憶された粒子を順次一つずつ読み出す。

投影変換手段８２は、分離された状態量ｘに含まれる３次元位置（位置座標）を、カメラの位置座標を含むカメラパラメータを介して透視投影により画像座標にマッピングするものである。ここで、カメラパラメータは、例えば、カメラの設置位置（３次元座標）Ｔと、カメラの姿勢（３次元座標）と、レンズの焦点距離ｆ（または画角）とを含んでいる。なお、このほか、撮像素子の画素間隔（画素ピッチ）、光軸と撮像素子の中心とのずれ量、第一光学主点位置、歪み係数などをさらに含むようにしてもよい。

また、透視投影は、入力画像Ｉを撮像したカメラを含む光学系の座標から画像座標へ変換（投影、結像）するものである。例えば、実座標［ｑ_x，ｑ_y，ｑ_z］^Tから画像平面固定座標［ξ，η，ζ］^Tへの変換は、回転変換行列をＲ、カメラ設置位置をＴとおくと、式（８）で示される。なお、カメラ設置位置Ｔは、カメラの原点とワールド座標の原点との差を示す並進ベクトルで表現される。

例えば、焦点距離ｆのカメラレンズを用い、画素間隔がλ_X×λ_Yの撮像素子で入力画像Ｉを撮像した場合には、投影変換手段８２は、投影像の画像座標［Ｘ，Ｙ］^Tを式（９）で算出する。ただし、ξ，η，ζは、前記した式（８）から計算される。

係数演算手段８３は、ボール候補選定手段５から取得したｌ（エル）個のボール侯補の各画像座標［Ｃ_l,X，Ｃ_l,Y］^Tと、投影変換手段８２によってマッピングされた画像座標［Ｘ，Ｙ］^Tとの位置関係に基づいて、分離された重みｗを更新するための重み係数ｄを算出するものである。

重み係数ｄは、例えば、画像座標［Ｘ，Ｙ］^Tから各画像座標［Ｃ_l,X，Ｃ_l,Y］^Tへ至る距離の中で最短のもの（最短距離）を用いて決定することができる。例えば、式（１０）に示すように、最短距離に応じた正規分布関数に基づいて重み係数ｄを決定することができる。なお、式（１０）において、σは、予め定められた標準偏差である。

本実施形態では、係数演算手段８３は、式（１０）に基づいて重み係数ｄを算出するものとする。ただし、式（１０）は、重み係数ｄの一例であって、本発明はこれに限定されるものではない。例えば、重み係数ｄは、画像座標［Ｘ，Ｙ］^Tから各画像座標［Ｃ_l,X，Ｃ_l,Y］^Tへ至るベクトル（差分ベクトル）を用いて決定することができる。この場合の重み係数をｄ₁と表記する。例えば、式（１１）に示すように、差分ベクトルを正規分布関数に代入した結果の総和に基づいて重み係数ｄ₁を決定することができる。なお、式（１１）において、はじめのΣは和の記号であり、Σ^-1は、予め定められた共分散行列の逆行列である。

重み変更手段８４は、係数演算手段８３で算出された重み係数ｄを用いて、分離手段８１で分離された重みｗを更新するものである。具体的には、重み変更手段８４は、式（１２）に示すように、重みｗと重み係数ｄとの積を求め、求めた結果を新たな重みｗ_newとして出力する。

ｗ_new＝ｗ×ｄ …式（１２）

多重化手段８５は、更新された重みｗ_newと、分離手段８１で分離された状態量ｘとを多重化した粒子により、粒子記憶部３３１から読み出した粒子を更新するものである。

＜状態量更新手段＞
状態量更新手段９は、ボールの予め定められた運動モデルに基づいて、粒子記憶部３３１に記憶された粒子の状態量ｘを更新するものである。
具体的には、状態量更新手段９は、時刻ｔにおいて粒子記憶部３３１に記憶されている粒子の状態量ｘ（ｔ）を、所定の確率密度分布Φ（χ（ｔ＋τ）｜χ（ｔ））にしたがって遷移させ、時刻（ｔ＋τ）における新たな状態量ｘ（ｔ＋τ）に変化させる。このように、粒子の状態量ｘ（ｔ）が、状態量ｘ（ｔ＋τ）に変化することを「状態遷移」という。状態量更新手段９は、粒子記憶部３３１に記憶されている全粒子（Ｐ個）を状態遷移させる処理（状態遷移処理）を実行する。そのため、状態量ｘの添字ｐは省略して表記した。また、状態量更新手段９は、各粒子の重みｗについては変化させないものとする。ここで、確率密度分布Φに含まれるχ（ｔ＋τ）およびχ（ｔ）は、状態量ｘ（ｔ＋τ）および状態量ｘ（ｔ）に対する確率変数を示す。

以下では、説明を簡単にするために、状態量更新手段９が１個の粒子に対して状態遷移処理を実行する場合を説明する。例えば、線形のダイナミクスによる遷移に、プロセス雑音（ノイズ）が加味されるような状態遷移の場合、状態量更新手段９は、式（１３）に示すように状態遷移処理を実行する。

ここで、Ａ（ｔ）は、線形のダイナミクスを示す状態遷移行列であり、時間に依存する一般形で表記されている。また、ｖ（ｔ）は、状態遷移の際に付加されるプロセス雑音であり、予め定められた任意の確率密度分布Φに従うような乱数を発生させることにより実現できる。例えば、多変量正規分布に従う乱数を生成することで、ガウス雑音を付加することができる。

例えば、ボールの運動として等加速度運動を仮定した場合には、状態遷移行列Ａ（ｔ）は、式（１４）に示すように、時間に依存しない定数（Ａ）で表すことができる。

また、式（１３）で示した線形の状態遷移を一般化した非線形のダイナミクスによる状態遷移の場合、状態量更新手段９は、式（１５）に示すように状態遷移処理を実行する。

このときの状態遷移処理は、現在（時刻ｔ）の状態ｘ（ｔ）、時刻ｔおよび時間間隔τとに依存して、時刻（ｔ＋τ）における新たな状態ｘ（ｔ＋τ）を生成するものである。なお、φは任意の関数であり、その内部に雑音成分を含めてもよい。また、例えば、τは、演算周期（画像取得の周期）に応じて定めることが好ましく、固定値および可変値のいずれでも構わない。具体的には、τは、例えば１０ミリ秒〜１秒程度である。

図１３は、図１に示した状態量更新手段で利用される運動モデルの説明図であり、（ａ）は落下時、（ｂ）は転がり時、（ｃ）は空中での運動の一例をそれぞれ示している。
例えば、図１３（ａ）に示すボールの落下時に対応した運動モデルでは、時刻ｔでボールが地面に向かって落下し始め、地面に到達した後、仮に、仮想的ボール位置１３０１で示す位置にまで到達したものとする。実際には、ボールは地面でバウンドして時刻（ｔ＋τ）に、バウンド後のボール位置１３０２に達する。地面からボール位置１３０２までの距離と、地面から仮想的ボール位置１３０１までの距離とは等しいものとする。地面の位置を原点にして空中を「正」とすれば、仮想的ボール位置１３０１は「負」の領域となる。この「負」の領域の仮想的ボール位置１３０１を「正」の領域に反転させる処理を行うことで、ボールが地面でバウンドする（反発運動）ことを考慮することができる。そして、この反転させる処理を行う関数をｂとしたときに、ボールの落下時の運動モデルは、式（１６）〜式（２０）に示すように、粒子の落下時の運動モデルとして構築することができる。

式（１６）における関数ｂは、式（１９）および式（２０）に示すように、粒子の状態量ｘのうち、粒子位置ｓのｚ成分（高さ）が「負」になった場合に、その粒子位置ｓのｚ成分の符号を反転すると共に、速度のｚ成分の値を−β倍するものである。なお、式（１９）中のＢは、９次元の状態量ｘに対応して式（２０）で定義された９×９行列である。また、βの値は、ボールと想定している地面との反発係数を考慮して定められる。

また、式（１７）に示すように、プロセス雑音ｖ（ｔ）の速度成分に対しては、式（１８）に示した白色雑音ｖ_x，ｖ_y，ｖ_zが付加され、プロセス雑音ｖ（ｔ）の加速度のｚ成分には重力加速度ｇが加えられている。なお、式（１７）のｇの符号（−）は下向きの方向を示している、また、式（１８）のσ_vx，σ_vy，σ_vzは予め定められた標準偏差を示している。

また、例えば、図１３（ｂ）に示すボールの転がり時に対応した運動モデルでは、時刻ｔでボールが地面を転がっており、時刻（ｔ＋τ）まで地面の摩擦によって減速する。
また、例えば、図１３（ｃ）に示すように、ボールが空中にあって放物運動をしている運動モデルでは、時刻ｔでボールが上昇し、時刻（ｔ＋τ）で下降している。
そして、ボールが、地面に近い高さにあるか否かによって異なる抵抗を与える処理を行う関数をｆとしたときに、ボールの転がり時および浮遊中の運動モデルは、式（２１）〜式（２８）に示すように、粒子の転がり時および浮遊中の運動モデルとして構築することができる。

式（２１）および式（２４）〜式（２８）は、粒子の状態量ｘのうち、粒子位置ｓのｚ成分がε未満の場合には、粒子は水平面（地面）内にあり、動摩擦係数μの抵抗と、係数ｆ₁の抵抗とを受けることを示している。一方、粒子位置ｓのｚ成分がε以上の場合には、粒子は空中にあり、係数ｆ₂の抵抗を受けることを示している。

ここで、式（２４）のεは、十分に小さい正の値であり、式（２４）中のｈ₁（ｘ）およびｈ₂（ｘ）は、それぞれ式（２５）および式（２６）で示され、式（２５）および式（２６）中のｕ（ｘ）は式（２７）および式（２８）で定義されるものである。
また、式（２８）で示したＵは、「行」が水平面（ｘ，ｙ）に対応した２行で、「列」が状態量ｘの９次元に対応した２×９行列である。
なお、式（２１）中の関数ｂは、前記した式（１６）に示したものであり、式（２２）および式（２３）は、前記した式（１７）および式（１８）と同じものである。

＜粒子再生成手段＞
粒子再生成手段（離散変数再生成手段）１０は、粒子記憶部３３１から読み込んだ粒子の重みｗが同一となるように粒子を再編し、かつ、読み込んだ粒子の状態量ｘを有する再編後の粒子の生成個数を、再編前の粒子の重みｗの値に対して確率としてみたときに比例するように再編（再標本化）することにより、状態量ｗごとに０個以上の粒子を再生成するものである。この再編された粒子によって、粒子記憶部３３１の内容が上書き更新される。

粒子再生成手段１０による再編（再標本化）処理の手順の一例について図１４を参照して説明する。図１４は、図１に示した粒子再生成手段による粒子再編の説明図である。
再編前のｐ番目の粒子の状態量をｘ_p、重みをｗ_pとし、再編後のｑ番目の粒子の状態量をｘ_q ^(new)、重みをｗ_q ^(new)とおく。ただし、ｐ＝１，２，…，Ｐ、ｑ＝１，２，…，Ｑとする。なお、典型的には、Ｑ＝Ｐとする。

図１４に示すグラフでは、再編前のｐ番目の粒子の重みｗ_pをｐに関して累積したものをＷ_pで表して縦軸にとり、ｐを横軸にとる。粒子再生成手段１０は、原点を始点として点（ｐ，Ｗ_p）を順次線分で結んで軌跡１４０１を作成する。そして、粒子再生成手段１０は、再編後のｑ番目の粒子を取得するために、一様乱数ω_q（０＜ω_q≦Ｗ_p）を発生する。
粒子再生成手段１０は、直線Ｗ_p＝ω_qと、軌跡１４０１との交点Ω_qを求める。換言すると、式（２９）を満たす

を求める。

は、交点Ω_qのｐ座標の小数点以下を切り上げた結果（整数値）を意味する。

このとき、再編後のｑ番目の粒子に関して、その状態量を式（３０）で表すと共に、その重みを式（３１）で表すものとする。

ここで、式（３０）は、再編後のｑ番目の粒子の状態量が、再編前の

番目の粒子の状態量と等しいことを意味している。また、式（３１）は、再編後のｑ番目の粒子の重みは、一様乱数ω_qの発生回数Ｑの逆数と等しいことを意味している。
粒子再生成手段１０は、一様乱数ω_q（０＜ω_q≦Ｗ_p）をＱ回発生させて前記した再編処理をそれぞれ実行することで、最終的に再編後の粒子をＱ個取得し、この再編後のＱ個の粒子で、粒子記憶部３３１に記憶された再編前のＰ個の粒子を置き換える。

＜期待値演算手段＞
期待値演算手段（オブジェクト位置推定手段）１１は、粒子記憶部３３１に記憶されたすべての粒子の状態量ｘの期待値を演算することにより、ボールの位置を推定するものである。この期待値演算手段１１は、式（３２）に示すように、Ｐ個の粒子の状態量ｘ_pに対してそれぞれ重みｗ_pにより重み付けを行った加重平均を計算することで粒子の状態量ｘの期待値

を求める。

また、期待値演算手段１１は、式（３３）に示すように、求めた期待値から位置情報

を抜き出して出力する。

なお、状態量の期待値

をそのまま出力してもよいし、必要に応じて速度情報や加速度情報を出力するようにしてもよい。

また、期待値演算手段１１は、式（３２）で求めた期待値を用いて、式（３４）に示すように、状態量の重み付きの分散Ｖの演算および出力を行うようにしてもよい。なお、分散がスカラーの場合には、式（３４）に示すＶは分散値であり、分散が共分散行列の場合には、式（３４）に示すＶは共分散行列となる。ここで演算されたＶを粒子更新判定手段６に出力するようにしてもよい。この場合には、粒子更新判定手段６は、前記した２つの条件のうち、第２条件を以下のように変更してもよい。すなわち、例えば、分散値Ｖがスカラーの場合には、前記した第２条件を第２ａ条件に変更し、分散値Ｖが共分散行列の場合には、第２ｂ条件に変更する。
（第２ａ条件）分散値Ｖが所定のしきい値Ｖ₁を超えた状態が所定時間数Ｔ’以上継続していたこと。
（第２ｂ条件）共分散行列Ｖのトレースが所定のしきい値Ｖ₁を超えた状態が所定時間数Ｔ’以上継続していたこと。

なお、ボール追跡装置１は、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラム（ボール追跡プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［ボール追跡装置の動作］
図１５を参照（適宜図１参照）して、図１に示したボール追跡装置の動作について説明する。図１５は、図１に示したボール追跡装置の動作の一例を示すフローチャートである。ボール追跡装置１は、まず、粒子更新判定手段６によって、カウンタとしての変数Ｅに初期値「０」をセットする（Ｅ←０：ステップＳ１）。そして、ボール追跡装置１は、２値画像生成手段４によって、入力画像Ｉから２値画像Ｂを生成し（ステップＳ２）、ボール候補選定手段５によって、ボール候補を抽出する（ステップＳ３）。

続いて、ボール追跡装置１は、粒子更新判定手段６によって、選定されたボール候補の候補数Ｌが「０」であるか否か（Ｌ＝０？）を判別する（ステップＳ４）。ここで、候補数Ｌが「０」である場合（ステップＳ４：Ｙｅｓ）、ボール追跡装置１は、粒子更新判定手段６によって、変数Ｅをインクリメントする、すなわち、変数Ｅの値に「１」を加える（Ｅ←Ｅ＋１：ステップＳ５）。一方、候補数Ｌが「０」ではない場合（ステップＳ４：Ｎｏ）、または、ステップＳ５に続いて、ボール追跡装置１は、粒子更新判定手段６によって、現在の変数Ｅが所定時間数Ｔ’以上（Ｅ≧Ｔ’）であり、かつ、選定されたボール候補の候補数Ｌが「１」であるか否か（Ｌ＝１？）を判別する（ステップＳ６）。

ステップＳ６において、Ｅ≧Ｔ’であり、かつ、Ｌ＝１である場合（ステップＳ６：Ｙｅｓ）、粒子更新判定手段６は、トリガを粒子生成手段７に出力すると共に、変数Ｅに初期値「０」をセットする（Ｅ←０）。これにより、粒子生成手段７は、所定の状態量ｘ_pと重みｗ_pとを有した粒子を生成し、粒子記憶部３３１に格納する（以上、ステップＳ７）。一方、Ｅ≧Ｔ’とＬ＝１とのうち、いずれかを満たさない場合（ステップＳ６：Ｎｏ）、または、ステップＳ７に続いて、粒子更新判定手段６は、候補数Ｌが「１」以上であるか否か（Ｌ≧１？）を判別する（ステップＳ８）。

ステップＳ８において、Ｌ≧１の場合（ステップＳ８：Ｙｅｓ）、ボール追跡装置１は、重み更新手段８によって、ボール侯補の画像座標［Ｃ_X，Ｃ_Y］^Tに基づいて、粒子記憶部３３１に記憶された粒子に含まれる重みｗ_pを更新する（ステップＳ９）。これにより、観測結果（画像座標）に適合した重みを有する粒子に更新できる。一方、Ｌ＜１の場合（ステップＳ８：Ｎｏ）、または、ステップＳ９に続いて、ボール追跡装置１は、期待値演算手段１１によって、粒子記憶部３３１に記憶されたすべての粒子の状態量ｘの期待値を演算する（ステップＳ１０）。その結果、演算により算出された期待値の位置情報は、出力手段１２に出力される。さらに、ボール追跡装置１は、粒子再生成手段１０によって、粒子記憶部３３１に現在記憶されている粒子を再編（再標本化）することにより粒子を再生成する（ステップＳ１１）。これにより、不要なノイズが除去されて粒子の位置の精度が向上する。なお、前記したステップＳ１０とステップＳ１１との実行順序は入れ替えてもよい。

続いて、ボール追跡装置１は、状態量更新手段９によって、ボールの運動モデルに基づいて状態量を更新する（ステップＳ１２）。これにより、ボール候補としてふさわしい状態量を有する粒子に更新できる。そして、ボール追跡装置１は、粒子更新判定手段６によって、終了条件が成立したか否かを判別する（ステップＳ１３）。終了条件が成立した場合（ステップＳ１３：Ｙｅｓ）、ボール追跡装置１は処理を終了する。一方、終了条件が成立していない場合（ステップＳ１３：Ｎｏ）、ボール追跡装置１はステップＳ１に戻る。

第１実施形態によれば、ボール追跡装置は、ボールの候補の画像座標［Ｃ_X，Ｃ_Y］^Tに基づいて、粒子の生成、重み更新、およびボールの運動をモデリングした状態遷移を考慮した粒子フィルタによって、ボールが複雑な運動をしたり、ボールと紛らわしいノイズが存在したりする場合にも、実空間におけるボールの位置を頑健に推定することができる。

（第２実施形態）
図１６は、本発明の第２実施形態に係るボール追跡装置の構成例を示した機能ブロック図である。図１６に示したボール追跡装置１Ａは、重み更新手段８Ａの機能が異なる点を除いて、図１に示したボール追跡装置１と同一の構成である。したがって、図１の構成と同一の構成には同一の符号を付し、説明を省略する。また、図１のボール追跡装置１と同一な動作の説明は省略する。
ボール追跡装置１Ａは、図１６に示すように、重み更新手段８Ａに対して、ボール候補選定手段５から出力されるボール候補の画像座標［Ｃ_X，Ｃ_Y］^Tのほかに、入力画像Ｉや２値画像Ｂが入力可能に構成されている。

図１７は、図１６に示した重み更新手段の構成例を示した機能ブロック図である。
重み更新手段８Ａは、図１７に示すように、係数演算手段８３Ａに対して、ボール候補の画像座標［Ｃ_X，Ｃ_Y］^Tのほかに、入力画像Ｉや２値画像Ｂが入力可能に構成されている。

＜入力画像の活用＞
例えば、係数演算手段８３Ａが、画像座標［Ｃ_X，Ｃ_Y］^Tと、入力画像Ｉと、２値画像Ｂとのうち入力画像Ｉのみを活用する場合には、係数演算手段８３Ａは、投影変換手段８２で算出された画像座標［Ｘ，Ｙ］^Tの位置を参照して、入力画像Ｉにおけるその位置（Ｘ，Ｙ）の画素値Ｉ（Ｘ，Ｙ）に基づいて、重み係数ｄの値を定めることができる。例えば、カラー値である画素値Ｉ（Ｘ，Ｙ）が、特定の色範囲にある場合には、重み係数ｄを「ｄ₁₁」とし、この特定の色範囲の外にある場合には、重み係数ｄを「ｄ₀₀」としてもよい。なお、特定の色範囲にある（ボールらしい）か否かの判定は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色成分に対するしきい値処理により実行できる。また、ｄ₁₁およびｄ₀₀は予め定められた定数とする。好適にはｄ₁₁＞ｄ₀₀とすることにより、画素値Ｉ（Ｘ，Ｙ）がボールらしいと判定された場合に重み係数ｄを大きくすることができる。

なお、入力画像Iから得られた重み係数ｄを、あらためて係数ｄ_Iと表記することとする。そして、画像座標［Ｃ_X，Ｃ_Y］^Tから得られた重み係数、すなわち、前記した式（１０）または式（１１）で示される重み係数ｄ（またはｄ₁）を、あらためて係数ｄ_Cと表記することとする。

＜２値画像の活用＞
また、例えば、係数演算手段８３Ａが、画像座標［Ｃ_X，Ｃ_Y］^Tと、入力画像Ｉと、２値画像Ｂとのうち２値画像Ｂのみを活用する場合には、係数演算手段８３Ａは、投影変換手段８２で算出された画像座標［Ｘ，Ｙ］^Tの位置を参照して、２値画像Ｂにおけるその位置（Ｘ，Ｙ）の画素値Ｂ（Ｘ，Ｙ）に基づいて、重み係数ｄの値を定めることができる。例えば、画素値Ｂ（Ｘ，Ｙ）が「１」である場合には、重み係数ｄを「ｄ₁₁」とし、それ以外の場合には、重み係数ｄを「ｄ₀₀」とすることができる。なお、２値画像Ｂから得られた重み係数ｄを、あらためて係数ｄ_Bと表記することとする。

＜複数種類の画像の活用＞
第２実施形態では、係数演算手段８３Ａは、少なくとも入力画像Ｉと２値画像Ｂとのうち一方の画像を活用して、最終的な重み係数ｄを定める。例えば、画像座標［Ｃ_X，Ｃ_Y］^Tと、入力画像Ｉと、２値画像Ｂとの３種類の画像をすべて活用する場合には、式（３５）に示すように、３種類の係数ｄ_Cと、係数ｄ_Iと、係数ｄ_Bとの平均値を、最終的に重み係数ｄとして定めるようにしてもよい。また、式（３６）に示すように、係数ｄ_Cと、係数ｄ_Iと、係数ｄ_Bとのうちの最大値を、最終的に重み係数ｄとして定めてもよい。さらに、式（３７）に示すように、これらの最小値を最終的な重み係数ｄとして定めてもよい。その他、係数ｄ_Iと係数ｄ_Bとのいずれか一方のみを最終的な重み係数ｄとして定めてもよい。

ｄ＝ｍａｘ｛ｄ_C，ｄ_I，ｄ_B｝ …式（３６）

ｄ＝ｍｉｎ｛ｄ_C，ｄ_I，ｄ_B｝ …式（３７）

第２実施形態によれば、ボール追跡装置は、粒子の重み更新において、観測の最終段階として選定されたボール候補の画像座標［Ｃ_X，Ｃ_Y］^Tのほかに、観測の初期段階の入力画像Ｉや、観測の中間段階の２値画像Ｂを考慮した構成なので、ボールの運動の観測結果とよく整合した粒子を生成することができる。その結果、出力されるボールの位置の精度が向上する。

以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、ボール追跡装置１（１Ａ）は、観測結果を反映して粒子の重みを更新する重み更新手段８（８Ａ）を備える構成として説明したが、これに限定されるものではない。例えば、重み更新手段８（８Ａ）の代わりに、観測結果を反映して粒子の状態量を更新する観測状態量更新手段を備える構成としてもよいし、この観測状態量更新手段と重み更新手段８（８Ａ）との両方を備えるようにしてもよい。

また、粒子記憶部３３１に記憶された粒子間の重みに偏りが生じたか否かを判別する偏り判別手段をさらに備えるように構成してもよい。偏りが生じたか否かの判定は、所定のしきい値と比較する方法や、記憶された各重みの偏差や分散を算出して判定する方法を用いることができる。この場合には、粒子再生成手段１０において粒子の再生成をする前に、この偏り判定手段で、予め定められた値以上の偏りが生じているか否かを判別し、重みに大きな偏りが生じたときにのみ粒子の再生成を実行するようにしてもよい。これによれば、図１５に示したフローチャートのステップＳ１１の処理を適宜省略することができる。その結果、ボール追跡装置を構成する各手段の処理負荷を低減できる。

また、各実施形態では、ボール追跡装置１（１Ａ）は、サッカーボールを追跡するものとして説明したが、これは一例であって、ゴルフ、テニス、ラグビー、バレーボール、バスケットボールなど各種スポーツで使用されるボールを追跡するようにしてもよい。
さらに、各実施形態では、映像オブジェクトとしてボールを追跡するものとして説明したが、これは一例であって、例えば、スポーツ選手のユニフォームを介してプレイヤ（人物）を追跡するようにしてもよい。

本発明の第１実施形態に係るボール追跡装置の構成例を示した機能ブロック図である。 図１に示した２値画像生成手段の説明図であり、（ａ）は入力画像、（ｂ）は背景色、（ｃ）は２値画像の一例をそれぞれ示している。 ２値画像の別の生成方法の説明図であり、（ａ）は入力画像、（ｂ）は背景画像、（ｃ）は２値画像の一例をそれぞれ示している。 ボール候補選定手段の構成の一例を示した機能ブロック図である。 図４に示したラベリング手段および画像特量値抽出手段の説明図であり、（ａ）は２値画像、（ｂ）はラベリング結果、（ｃ）は画像特徴量値の一例をそれぞれ示している。 図４に示した画像特徴量フィルタ手段の説明図であり、（ａ）はフィルタしきい値、（ｂ）は画像特徴量値の一例をそれぞれ示している。 画像特徴量値の別のフィルタ方法における特徴量ベクトル空間を示す図である。 図１に示した粒子記憶手段の記憶構造の一例を示す図である。 図１に示した粒子更新判定手段に入力される時刻別のボール候補の候補数の一例を示す図である。 粒子位置の説明図である。 図１に示した粒子生成手段の生成する粒子の説明図である。 図１に示した重み更新手段の構成例を示した機能ブロック図である。 図１に示した状態量更新手段で利用される運動モデルの説明図であり、（ａ）は落下時、（ｂ）は転がり時、（ｃ）は空中での運動の一例をそれぞれ示している。 図１に示した粒子再生成手段による粒子再編の説明図である。 図１に示したボール追跡装置の動作の一例を示すフローチャートである。 本発明の第２実施形態に係るボール追跡装置の構成例を示した機能ブロック図である。 図１６に示した第１状態量更新手段の構成例を示した機能ブロック図である。 図１７に示した係数演算手段の動作の説明図である。

符号の説明

１（１Ａ） ボール追跡装置（オブジェクト追跡装置）
２ 入力手段
３ 記憶手段
３３１ 粒子記憶部（離散変数記憶手段）
４ ２値画像生成手段
５ ボール候補選定手段（ボールオブジェクト候補選定手段）
５１ ラベリング手段
５２（５２ａ〜５２ｄ） 画像特徴量値抽出手段
５３ 画像特徴量フィルタ手段
５４ 重心演算手段
６ 粒子更新判定手段（離散変数更新判定手段）
７ 粒子生成手段（離散変数生成手段）
８（８Ａ） 重み更新手段（観測更新手段）
８１ 分離手段
８２ 投影変換手段
８３（８３Ａ） 係数演算手段
８４ 重み変更手段
８５ 多重化手段
９ 状態量更新手段
１０ 粒子再生成手段（離散変数再生成手段）
１１ 期待値演算手段（オブジェクト位置推定手段）
１２ 出力手段
７０１ ボール候補領域
１００１ 投影中心
１００２ 画像平面
１００３ 画像座標
１００４ 半直線
１００５ 平面
１００６ 粒子位置
１００７ 地面
１１０１ 粒子
１１０２ 粒子位置
１１０３ 状態量の速度成分
１３０１ 仮想的ボール位置
１３０２ バウンド後のボール位置
１４０１ 軌跡
１４０２ 交点

Claims (10)

1. オブジェクトをカメラで撮像して生成された映像中の映像オブジェクトを追跡する映像オブジェクト追跡装置であって、
   入力画像の各画素を背景画像および前景画像に分類した２値画像として生成する２値画像生成手段と、
   前記２値画像のうちで、前記前景画像の形状に基づく画像特徴量と、前記入力画像において前記前景画像を形成する画素に関する画素情報に基づく画像特徴量とのうちの少なくとも１つに関して予め定められた条件を満たす領域を、映像オブジェクト候補として選定する映像オブジェクト候補選定手段と、
   前記オブジェクト候補の位置に対応して生成された位置座標を含む状態量と、重みとを有した情報である離散変数を映像オブジェクト侯補別に記憶する離散変数記憶手段と、
   前記選定された映像オブジェクト侯補の個数に基づいて、前記離散変数記憶手段に記憶された離散変数を更新するか否かを判定する離散変数更新判定手段と、
   前記離散変数を更新すると判定された場合に、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数を所定数生成して前記離散変数記憶手段に記憶された前記所定数の離散変数を更新する離散変数生成手段と、
   前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数記憶手段に記憶された離散変数の重みまたは状態量の少なくとも一方を更新する観測更新手段と、
   前記オブジェクトの予め定められた運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新する状態量更新手段と、
   前記離散変数記憶手段に記憶された離散変数の状態量の期待値を演算することにより前記オブジェクトの位置を推定するオブジェクト位置推定手段とを備えることを特徴とする映像オブジェクト追跡装置。
2. 前記離散変数生成手段は、
   前記映像オブジェクト侯補の画像座標に対応させて実空間における点を始点とする半直線を算出し、算出した半直線上に配されて位置が乱数で決定された１以上の点の位置座標を求め、求めた位置座標を前記状態量の成分とした離散変数を１以上生成することを特徴とする請求項１に記載の映像オブジェクト追跡装置。
3. 前記状態量更新手段は、
   前記オブジェクトの運動を規定する物理量として、重力加速度と、前記オブジェクトと地面との反発係数と、前記オブジェクトと地面との動摩擦係数と、のいずれか１つ以上を含む運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新することを特徴とする請求項１または請求項２に記載の映像オブジェクト追跡装置。
4. 前記離散変数更新判定手段は、
   前記映像オブジェクト侯補が所定時間選定されなかった後に唯一の映像オブジェクト候補が選定された場合に、前記離散変数記憶手段に記憶された離散変数を更新すると判定し、前記離散変数生成手段に前記離散変数の生成を指示することを特徴とする請求項１ないし請求項３のいずれか一項に記載の映像オブジェクト追跡装置。
5. 前記オブジェクト位置推定手段は、
   前記離散変数記憶手段に記憶された離散変数の重みを含む状態量の分散値または共分散行列のトレースを演算し、前記演算した結果を前記離散変数更新判定手段に出力し、
   前記離散変数更新判定手段は、
   唯一の映像オブジェクト候補が選定されており、かつ、前記演算結果が予め定められたしきい値を超えた状態が所定時間以上継続した場合に、前記離散変数記憶手段に記憶された離散変数を更新すると判定し、前記離散変数生成手段に前記離散変数の生成を指示することを特徴とする請求項１ないし請求項３のいずれか一項に記載の映像オブジェクト追跡装置。
6. 前記観測更新手段は、
   前記映像オブジェクト侯補に対して、前記離散変数記憶手段から読み出した離散変数の状態量と重みとを分離する分離手段と、
   前記分離された状態量に含まれる位置座標を、前記カメラの位置座標を含むカメラパラメータを介して透視投影により画像座標にマッピングする投影変換手段と、
   前記映像オブジェクト侯補の画像座標と、前記入力画像と、前記２値画像とのうちの１つと、前記投影変換手段によってマッピングされた画像座標との位置関係に基づいて、前記分離された重みを更新するための重み係数を算出する係数演算手段と、
   前記重み係数を用いて、前記分離された重みを更新する重み変更手段と、
   前記更新された重みと、前記分離された状態量とを多重化した離散変数により、前記読み出した離散変数を更新する多重化手段とを備えることを特徴とする請求項１ないし請求項５のいずれか一項に記載の映像オブジェクト追跡装置。
7. 前記係数演算手段は、
   前記映像オブジェクト侯補の画像座標と、前記入力画像と、前記２値画像とをそれぞれ用いて算出される、第１の係数と、第２の係数と、第３の係数とを求め、求められた３つの係数から算出される平均値、最大値、最小値のいずれかを前記重み係数と定めることを特徴とする請求項６に記載の映像オブジェクト追跡装置。
8. 前記離散変数記憶手段から読み込んだ離散変数の重みが同一となるように前記離散変数を再編し、かつ、前記読み込んだ離散変数の状態量を有する再編後の離散変数の生成個数を、前記再編前の離散変数の重みの値に比例させるように再編することにより、前記状態量ごとに０個以上の離散変数を再生成する離散変数再生成手段をさらに備えることを特徴とする請求項１ないし請求項７いずれか一項に記載の映像オブジェクト追跡装置。
9. 前記映像オブジェクト候補選定手段は、
   前記２値画像の前記前景画像に含まれる隣接した画素を連結した領域である前景単連結領域を識別するためのラベルを前記前景単連結領域に付与するラベリング手段と、
   前記ラベルが付与された前景単連結領域の画像特徴量として、大きさ、色、形状のうちの少なくとも１つに関する値を抽出する画像特徴量値抽出手段と、
   前記抽出された画像特徴量値が、所定の上限値および下限値の間にあるか否かを判別することにより、前記ラベルが付与された前景単連結領域をフィルタリングして前記映像オブジェクト候補を選定すると共に、選定した映像オブジェクト候補のラベルおよび個数を出力する画像特徴量フィルタ手段と、
   前記映像オブジェクト候補として選定された前景単連結領域の画像座標における重心位置を演算し、前記選定された映像オブジェクト侯補の画像座標として出力する重心演算手段とを備えることを特徴とする請求項１ないし請求項８のいずれか一項に記載の映像オブジェクト追跡装置。
10. オブジェクトをカメラで撮像して生成された映像中の映像オブジェクトを追跡するために、コンピュータを、
    入力画像の各画素を背景画像および前景画像に分類した２値画像を生成する２値画像生成手段、
    前記２値画像のうちで、前記前景画像の形状に基づく画像特徴量と、前記入力画像において前記前景画像を形成する画素に関する画素情報に基づく画像特徴量とのうちの少なくとも１つに関して予め定められた条件を満たす領域を、映像オブジェクト候補として選定する映像オブジェクト候補選定手段、
    前記オブジェクト候補の位置に対応して生成された位置座標を含む状態量と、重みとを有した情報である離散変数を映像オブジェクト侯補別に記憶する離散変数記憶手段に記憶された離散変数を、前記選定された映像オブジェクト侯補の個数に基づいて、更新するか否かを判定する離散変数更新判定手段、
    前記離散変数を更新すると判定された場合に、前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数を所定数生成して前記離散変数記憶手段に記憶された前記所定数の離散変数を更新する離散変数生成手段、
    前記映像オブジェクト侯補の画像座標に基づいて、前記離散変数記憶手段に記憶された離散変数の重みまたは状態量の少なくとも一方を更新する観測更新手段、
    前記オブジェクトの予め定められた運動モデルに基づいて、前記離散変数記憶手段に記憶された離散変数の状態量を更新する状態量更新手段、
    前記離散変数記憶手段に記憶された離散変数の状態量の期待値を演算することにより前記オブジェクトの位置を推定するオブジェクト位置推定手段、
    として機能させることを特徴とする映像オブジェクト追跡プログラム。

Images