JP5177068B2 - 目標追尾装置、目標追尾方法 - Google Patents

Description

本発明は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置および目標追尾方法に関する。

映像監視システムやテレビ会議システムに代表されるように、様々な状況下でカメラの撮影画像を利用するカメラシステムが実用化されている。このようなカメラシステムの中には、設定された目標物体を自動的に追尾して撮影領域を変更しながら撮影する追尾機能を備えたものがある。例えば、追尾機能を備えた映像監視システムでは、不審な人物が目標物体として設定されると、この人物を追尾して映像に収めながら撮影を続けることができる。また、追尾機能を備えたテレビ会議システムでは、設定された人物を追尾した会議画像を撮影することができる。

目標物体を追尾して画像を撮影する際には目標物体が撮影画角から外れないように、目標物体の移動に応じてカメラのパン、チルト、ズーム倍率等を制御する必要がある。これを実現するためには画像中の目標物体を認識して、その移動方向を検出しなければならない。

従来、画像中の目標物体を認識して、その移動方向を検出する方法として、輝度差分を利用する背景差分法やフレーム差分法が用いられてきたが、近年、特許文献１等に記載されているようにパーティクルフィルタを適用した目標追尾技術が研究されている。

パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行なうものである。すなわち、パーティクルフィルタはサンプリングに基づいた逐次モンテカルロ法といえ、時系列の分布をパーティクルの位置と重みによる集合表現で近似するため、ガウス分布で近似できないような分布でも追尾することが可能である。また、時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。特に、特許文献１等にも記載されているように、目標物体の追尾に適用する場合には、目標物体の色を用いて尤度を測定することが行なわれている。この場合、目標物体の色に近い色の画素がパーティクルの近傍にどれだけ存在するかで尤度を測定し、測定結果に基づいて目標物体の位置を推定することができる。

また、特許文献２には、色情報を用いて目標物体を追尾する際に、目標物体の色が次第に変化していく場合にも追尾精度を高めるために、目標物体と推定された領域から取得された色によって逐次色情報を更新することが記載されている。

特開２００４−２８２５３５号公報 特開平７−１５４６６６号公報

上述のように、パーティクルフィルタを用いた追尾処理では、追尾対象物の色を目標色として設定し、その色に近い部分に配置されたパーティクルの尤度を高くする。そして、尤度の高いパーティクルの分布状況に基づいて追尾対象物の位置を推定する。

しかしながら、追尾対象物の色は、光の当たり具合や環境変化によって逐次変化する。このため、例えば、明るい場所にいた追尾対象物が急に日陰に移動したり、日陰にいた追尾対象物が明るい場所に移動した場合には、追尾対象物の色と設定された目標色との差が大きくなり、パーティクルの尤度が全体として低くなる。この結果、追尾対象物の位置推定の確度が低くなり、精度の高い目標追尾が継続できなくなってしまう状況が起こり得る。

追尾対象物の色が次第に変化していく場合には、特許文献２に記載されているように、追尾対象物と推定された領域から取得された色によって目標色を更新することで追尾精度を維持することができるが、追尾対象物の色が急激に変化して領域の推定自体が行なえない場合には目標色を更新することができず、目標追尾を継続して行なえない場合が生じる。

そこで本発明は、目標色を用いた目標追尾処理において、追尾対象物の色が変化して追尾対象物の位置の推定の確度が下がった場合にも、精度の高い目標追尾を継続できるようにすることを目的とする。

上記課題を解決するため、本発明の第１の態様である目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る前記画像データ中の色を目標色として設定する目標色設定手段と、所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果が所定の基準を満たす場合に、前記測定結果に基づいて前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、前記測定結果が所定の基準を満たさない場合に、前記パーティクル周辺の色のうち、前記目標色に近似する色を用いて算出した候補目標色で前記目標色を更新する目標色更新手段と、を備える。

ここで、前記目標色設定手段は、前記指定された前記追尾対象に係る前記画像データ中の色をさらに初期設定目標色として設定し、前記目標色更新手段は、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との差が所定の基準内の場合にのみ、前記目標色の更新を行なうようにしてもよい。

より具体的には、前記目標色更新手段は、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との色相の差が所定の基準内の場合にのみ、前記目標色の更新を行なうことが望ましい。

さらに、前記目標色更新手段は、前記候補目標色を、前記パーティクル周辺の色のうち、前記目標色に近似する色の平均値、あるいは、前記目標色に近似する色の中で最も出現頻度の高い色として算出することができる。

上記課題を解決するため、本発明の第２の態様である目標追尾方法は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾方法であって、前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付ステップと、指定された前記追尾対象に係る前記画像データ中の色を目標色として設定する目標色設定ステップと、所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行なう色尤度測定ステップと、前記色尤度の測定結果が所定の基準を満たす場合に、前記測定結果に基づいて前記追尾対象の存在する領域を推定する追尾対象領域推定ステップと、前記色尤度の測定結果が所定の基準を満たさない場合に、前記パーティクル周辺の色のうち、前記目標色に近似する色を用いて算出した候補目標色で前記目標色を更新する目標色更新ステップと、を含む。

ここで、前記目標色設定ステップは、前記指定された前記追尾対象に係る前記画像データ中の色をさらに初期設定目標色として設定し、前記目標色更新ステップは、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との差が所定の基準内の場合にのみ、前記目標色の更新を行なうようにしてもよい。

より具体的には、前記目標色更新ステップは、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との色相の差が所定の基準内の場合にのみ、前記目標色の更新を行なうことが望ましい。

さらには、前記目標色更新ステップは、前記候補目標色を、前記パーティクル周辺の色のうち、前記目標色に近似する色の平均値、あるいは、前記目標色に近似する色の中で最も出現頻度の高い色として算出することができる。

本発明によれば、目標色を用いた目標追尾処理において、追尾対象物の色が変化して追尾対象物の位置の推定の確度が下がった場合にも、精度の高い目標追尾を継続することができるようになる。

本発明の実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。 目標追尾装置の処理の流れを説明するフローチャートである。 パーティクルフィルタを用いた目標追尾処理について説明するためのフローチャートである。 目標追尾処理における画像フレームとパーティクルの具体例を示す図である。 画像フレーム内の追尾対象物が暗くなった場合の例を示す図である。 目標色更新部が行なう目標色更新処理の手順を示すフローチャートである。 目標色更新処理について具体的な状況例を示す図である。 目標色更新処理について具体的な状況例を示す図である。

本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の実施形態である目標追尾装置１００を含む目標追尾システム１０の構成を示すブロック図である。本図に示すように目標追尾システム１０は、目標追尾装置１００と、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００からの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。ただし、これらの装置を一体型として目標追尾システム１０を構成してもよい。

目標追尾装置１００は、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０と、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の領域を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象物に応じた目標色を設定する目標色設定部１６０と、パーティクル周辺の画素の色を評価することで色変化傾向を推定し、目標色を更新する目標色更新部１７０とを備えている。

パーティクルフィルタ処理部１３０は、パーティクルフィルタを用いた目標物体の追尾処理を行なうために処理対象の画像データを格納する画像格納部１３１と、目標色設定部１６０で設定され、目標色更新部１７０で更新される目標色を格納する目標色格納部１３２と、目標色設定部１６０で設定された目標色を初期設定目標色として格納する初期設定目標色格納部１３３とを備えている。

なお、目標追尾装置１００は、ＣＰＵ、メモリ、入出力装置、通信処理装置等を備えた汎用的な情報処理装置を用いて構成することができる。パーソナルコンピュータ等の汎用的な情報処理装置は、上述の各機能部を構成するために開発されたプログラムを実行することで、目標追尾装置１００として機能することができる。もちろん目標追尾装置１００は専用装置として構成してもよい。

ここで、パーティクルフィルタによる画像追尾アルゴリズムについて簡単に説明する。画像追尾アルゴリズムであるパーティクルフィルタは、時刻ｔにおける画像フレーム中の目標物体の位置の推定量である事後確率密度

を、状態χの重みπのＮ個の組から成るパーティクル群

により近似することで、目標物体を追尾する方法である。ここで、時刻ｔにおける画像フレーム中のｉ番目のパーティクルの状態量

は、その尤度である重みを示している。

時刻ｔにおいて画像フレームから尤度の観測値z_tが得られると、追尾対象物の状態x_tを確率変数とする確率密度は、上記の事後確率密度［数１］として表わされる。この［数１］は、ベイズの法則を用いて以下のように表わすことができる。

ここで、αは正規化のための定数である。

パーティクルフィルタにおける代表的な手法の１つであるCondensationアルゴリズムは、各フレームに対して対象物体を追跡する処理を、Select（選択）、Predict（予測）、Measure（測定）の３つのステップに分けて繰り返し実行している。

具体的には、選択ステップでは、対象物体の周辺にパーティクルを分散して配置し、各パーティクルで尤度を測定して、尤度が高い順番で尤度の高さに比例する確率でＮ個のパーティクルを選択する。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルをランダムに分散させて再配置する。測定ステップでは、各パーティクルについて近傍にどれだけ目標物体と近似した色の画素があるかを計算し、それをパーティクルの尤度とする。そして、すべてのパーティクルの尤度の重み付け平均により目標物体の位置を推定する。

本実施形態における目標追尾装置１００は、このようなアルゴリズムのパーティクルフィルタ処理の目標物追尾性能を向上するものであり、以下に説明する処理を行なう。ただし、本発明はパーティクルフィルタを用いた画像追尾処理であれば、上述のアルゴリズムには限定されず、種々の変形アルゴリズムに適用することができる。

図２は、目標追尾装置１００の処理の流れを説明するフローチャートである。目標追尾装置１００は、カメラ２００が出力する画像信号をフレーム単位で入力する（Ｓ１０１）。目標追尾装置１００は、入力された画像信号を表示部１２０に映像として逐次表示し、追尾対象物が指定されるのを待つ（Ｓ１０２）。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。

追尾対象物の指定受け付けは、例えば、マウス、ポインタ等の入力装置を介して、表示部１２０に表示されている追尾対象物に対応する領域の指示を監視者から受け付けることで行なうことができる。本実施形態では、追尾対象物に対応する領域は矩形領域とする。矩形領域の指示の受け付けは、例えば、右上と左下の２点の座標の指示を、入力装置を介して受け付けることで行なうことができる。また、表示部１２０をタッチパネル式の表示装置で構成し、監視者からの２点のタッチを認識することで指定を受け付けるようにしてもよい。あるいは、その他の外部装置等を介して追尾対象物の指定を受け付けるようにしてもよい。

追尾対象物の指定を受け付けると（Ｓ１０２：Ｙｅｓ）、目標色設定部１６０は、画像フレーム中の指定を受け付けた領域に対応する画素の色を取得し、目標色として設定する（Ｓ１０３）。目標色は、指定された領域の単一画素のＲＧＢ値に基づいて設定してもよいし、複数画素のＲＧＢ平均値等に基づいて設定してもよい。あるいは、指定された領域に含まれる画素の色でヒストグラムを作成して目標色を設定してもよい。なお、本実施形態で、パーティクルフィルタ処理部１３０は、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表現するＨＳＶ色空間上で処理を行なうため、目標色を設定する際に、ＲＧＢ色空間をＨＳＶ色空間に変換する。ただし、ＲＧＢ色空間のまま処理を行なったり、ＹＵＶ色空間等で処理を行なうようにしてもよい。

目標色設定部１６０は、目標色を設定すると、設定した目標色を目標色格納部１３２および初期設定目標色格納部１３３に記録する（Ｓ１０４）。そして、逐次入力される画像フレーム中の追尾対象物を認識してカメラ２００を制御する目標追尾処理を行なう（Ｓ１０５）。

目標色格納部１３２に格納された目標色は、目標追尾処理（Ｓ１０５）の過程において、目標色更新部１７０によって必要に応じて更新される。一方で、初期設定目標色格納部１３３に格納された目標色は、目標追尾処理（Ｓ１０５）が終了するまで維持される。

図３は、パーティクルフィルタを用いた目標追尾処理について説明するためのフローチャートである。上述のように本発明は、ここで説明するパーティクルフィルタアルゴリズムには限定されない。また、図４は、目標追尾処理における画像フレームとパーティクルの具体例を示す図である。本例では、図２に示した手順にしたがって、図４（ａ）における人物３０の顔を含む領域が追尾対象物として指定されており、目標色設定部１６０によって、顔の色である肌色が目標色として設定され、目標色格納部１３２および初期設定目標色格納部１３３に格納されているものとする。

図２における処理Ｓ１０２で追尾対象物の指定を受け付けた初期状態の画像フレームを対象に、パーティクルフィルタ処理部１３０は、追尾対象物として指定された領域付近にパーティクルを生成する（Ｓ２０１）。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。図４（ａ）には、追尾対象物である人物３０の顔付近に生成された多数のパーティクルが示されている。

そして、次の画像フレームを入力する（Ｓ２０２）。この画像フレームが追尾対象物の移動等を検出する処理対象の画像フレームとなる。次いで、生成された各パーティクルを、目標色の領域を推定するために、所定の規則にしたがって移動させる（Ｓ２０３）。ここで、追尾対象物の運動方向が予測可能な場合には、予測される移動方向に応じてパーティクルの移動方向を決めることができる。本実施形態では追尾対象物は主として監視画像中の不審人物を想定しており、運動ダイナミクスはランダムと仮定される。このため、各パーティクルは標準正規分布する乱数により距離を決められて移動する。

図４（ｂ）は、入力された画像フレームと、図４（ａ）の位置から分散移動したパーティクルを示している。入力された画像フレームでは、人物３０が前フレームから右側に移動している。なお、新たな画像フレームの入力は、パーティクルの分散移動の後であってもよい。

分散した各パーティクルは、処理対象の画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ２０４）。このときに用いる目標色は目標色格納部１３２に格納されている目標色である。目標色をヒストグラムで表わしている場合は、矩形領域内のＨＳＶヒストグラムを作成して目標色との類似度を算出して尤度を測定することができる。

図４（ｃ）の黒いパーティクルは測定された尤度が高いパーティクルを示しており、人物３０の顔、腕の領域に分布している。ここで、例えば、目標色に近い色がパーティクル周囲に１／４以上存在している場合は、そのパーティクルの尤度が高いと判定することができる。

尤度が測定されると、各パーティクルの位置を尤度で重み付けした平均値を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ２０５）。このとき、尤度が低いパーティクルの尤度をゼロや最小値にして平均を算出してもよい。追尾対象物の領域は、例えば、上述のようにある閾値により尤度を２値化することや、ＥＭアルゴリズムにより混合正規分布を推定し、さらにその分散値から推定することができる。図４（ｄ）の点線の円はＥＭアルゴリズムにより推定された追尾対象物の領域候補を示しており、混合正規分布の分散値から得られた顔を囲んでいる点線の円が追尾対象物の領域となる。

追尾対象物の領域を推定する際には、尤度の高いパーティクルの数が追尾対象領域の推定に十分であるあるかどうか等に基づいて、追尾対象領域推定が成功したかどうかを判定する（Ｓ２０６）。本実施形態では、尤度の高いパーティクルの数、すなわち、目標色に近い色が周囲に１／４以上存在しているパーティクルの数が、全体数の１／８以上であれば追尾対象領域推定が成功した判定する。もちろん、他の基準を用いて追尾対象領域推定が成功したかどうかを判定するようにしてもよい。

追尾対象領域推定が成功したと判定した場合（Ｓ２０６：Ｙｅｓ）は、測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる（Ｓ２０７）。この結果、図４（ｅ）に示すようにパーティクルは追尾対象物に集束してくることになる。

そして、追尾対象物の領域として推定された領域をカメラ２００の画角内の中心付近に適度な大きさで収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ２０８）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象物を追尾することができる。図４（ｄ）は、カメラ制御の結果、カメラ２００の画角が右に移動し、追尾対象物が画角内の中心に収まっている様子を示している。

その後、次の画像フレームを入力し（Ｓ２０２）、パーティクルを再度分散させて（Ｓ２０３）、次画像フレームに対する同様の処理を目標追尾処理が終了するまで繰り返す（Ｓ２１０：Ｙｅｓ）。目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ２００の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。

一方、追尾対象領域推定が失敗したと判定した場合（Ｓ２０６：Ｎｏ）、すなわち、尤度の高いパーティクルの数が追尾対象領域の推定に十分でない場合、より具体的には、目標色に近い色が周囲に１／４以上存在しているパーティクルの数が、全体数の１／８未満であれば、その画像フレームにおいては、パーティクルの集束移動（Ｓ２０７）およびカメラ制御（Ｓ２０８）は行なわずに、目標色を更新する処理を行なう（Ｓ２０９）。

例えば、追尾対象物が日陰に入ったり、光源が遮られた等により、画像フレーム内の追尾対象物が、図５に示すように暗くなった場合を想定する。この場合、追尾対象物の色と目標色格納部１３２に格納されている目標色との差が大きくなるため、処理（Ｓ２０４）でパーティクルの尤度を測定すると、尤度の高いパーティクルの数が少なくなる。この結果、追尾対象領域推定が失敗したと判定されることになる。

本実施形態では、追尾対象領域推定が失敗したと判定した場合に目標色を更新するようにしている。追尾対象領域推定の確度が下がった場合にのみ目標色更新処理を行なうことにより、処理負荷を軽減すると共に、追尾対象領域推定の確度が高いにもかかわらず他の被写体の影響等により目標色が不必要に変化してしまうことを防ぐことができる。ただし、追尾目的、環境等によっては、追尾対象領域推定の成否にかかわらず目標色を更新するようにしてもよい。

図６は、目標色更新部１７０が行なう目標色更新処理（Ｓ２０９）の手順を示すフローチャートである。目標色更新処理では、まず、パーティクル毎にそれぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素のうち、目標色に近い色の画素を抽出する（Ｓ３０１）。ここで、対象となるパーティクルは、全パーティクルとすることができる。ただし、尤度の高いパーティクルを対象に、目標色に近い色の画素を抽出するようにしてもよい。

目標色に近い色の画素を抽出すると、抽出した画素の色の平均値を算出し、候補目標色とする（Ｓ３０２）。なお、平均値に代えて、抽出した画素の色のうち最も出現頻度の高い色を候補目標色としたり、パーティクルの尤度で重み付け平均値を算出して候補目標色としてもよい。

候補目標色を算出すると、算出された候補目標色と、初期設定目標色格納部１３３に格納されている初期設定された目標色との差を算出して、その差が所定の基準値以内であるかどうかを判断する（Ｓ３０３）。これは、算出された候補目標色と初期設定された目標色との差が大きい場合は、別の被写体の色の影響を受けている可能性があるからである。本実施形態では、目標色の変化する範囲を初期設定目標色の値を基準に設けることにより、誤った目標色への更新を防ぐようにしている。

一般に、色相は光の当たり方等による影響をそれほど受けないことが知られている。このため、算出された候補目標色と初期設定された目標色との差は、色相（Ｈ）を用いて算出することが望ましい。例えば、色相を０〜３５９°で表わす場合、一般的な色相環である１２色相環の１色の範囲は３０°となっているため、目標色の色相との差が１５°以内の候補目標色であれば、変化可能な範囲とすることができる。

あるいは、特定の撮影環境に対応するために、特定の環境下で追尾対象物が変化する色相の範囲を実測し、その値を基に範囲を決めるようにしてもよい。さらには、逆光のように色の変化が急であるような環境において追尾目標色と近い色とする色相の範囲を拡げるために、環境下に応じた複数のモードを用意しておき、監視者にモードを選択させるようにしてもよい。

算出された候補目標色と初期設定された目標色との差が基準値以内であれば（Ｓ３０３：Ｙｅｓ）、候補目標色を目標色として更新し、目標色格納部１３２に格納する（Ｓ３０４）。以降の画像フレームに対しては、更新された目標色を用いて追尾処理を行なう。更新された目標色は、更新前の目標色よりも追尾対象物の最新の色に近いと考えられる。このため、以降の画像フレームにおいて、尤度の高いパーティクルの数が増え、追尾対象物の領域推定が成功することが期待される。仮に、尤度の高いパーティクルの数が領域推定に十分とならない場合であっても、目標色更新処理（Ｓ２０９）を繰り返すにしたがって目標色が追尾対象物の最新の色に近づいていくため、追尾対象物の領域推定が成功することが期待される。

一方、算出された候補目標色と初期設定された目標色との差が基準値以内でなければ（Ｓ３０３：Ｎｏ）、目標色の更新は行なわず、以降の画像フレームに対する追尾処理を継続する。これにより、追尾対象物が物陰に隠れる等により一時的に画像フレームから消えた場合等に、他の被写体の色が目標色として設定されることを防ぐことができる。

目標色更新処理（Ｓ２０９）について具体的な状況を例にしてさらに説明する。例えば、図７（ａ）に示すように、比較的明るい状態で目標色が設定されている状況で、追尾対象物が日陰に入ると、尤度の高いパーティクルの数が減って、追尾対象物の領域推定が失敗する場合がある。

このような場合には、図７（ｂ）に示すように、パーティクル周辺の画素のうち目標色に近い色（図中の斜線領域内の画素）の平均値を算出し、目標色を更新する。このとき、追尾対象物の色が暗くなっているため、目標色に近い色の画素の平均値は目標色よりも暗い色になる。したがって、目標色が追尾対象物の最新の色に近い暗い色に更新されるため、以降の画像フレームにおいては、図７（ｃ）に示すように、尤度の高いパーティクルの数が増えることになり、追尾対象領域の推定が成功することになる。

また、比較的暗い状態で目標色が設定されている状況で、追尾対象物が日陰から明るい場所に移動する際には、図８（ａ）に示すように、尤度の高いパーティクルの数が減って、追尾対象物の領域推定が失敗するおそれがある。

このような場合にも、図８（ｂ）に示すように、パーティクル周辺の画素のうち目標色に近い色（図中の斜線領域内の画素）の平均値で目標色を算出し、目標色を更新する。このとき、追尾対象物の色が明るくなっているため、目標色に近い色の画素の平均値は目標色よりも明るい色になる。したがって、目標色が追尾対象物の最新の色に近い明るい色に更新されるため、以降の画像フレームにおいては、図８（ｃ）に示すように、尤度の高いパーティクルの数が増えることになり、追尾対象領域の推定が成功することになる。

このように、目標色と近い色の画素の平均値は、追尾対象物の色の変化傾向を反映することになる。本実施形態では、追尾対象位置の推定の確度が十分でない場合に、目標色と近い色の画素の平均値を用いて目標色を更新するため、追尾対象物の色が変化して追尾対象位置の推定の確度が下がった場合にも、精度の高い目標追尾を継続することが可能となる。また、本実施形態によれば、全体の色変化傾向ではなく、追尾対象物の色変化傾向を用いて目標色を更新するため、追尾対象物のみの色が変化した場合でも追尾対象の色を追従することが可能となる。

１０…目標追尾システム
１００…目標追尾装置
１１０…画像入力部
１２０…表示部
１３０…パーティクルフィルタ処理部
１３１…画像格納部
１３２…目標色格納部
１３３…初期設定目標色格納部
１４０…カメラ制御信号出力部
１５０…追尾対象物指定受付部
１６０…目標色設定部
１７０…目標色更新部
２００…カメラ
２１０…制御装置

Claims (8)

1. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
   前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
   指定された前記追尾対象に係る前記画像データ中の色を目標色として設定する目標色設定手段と、
   所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果が所定の基準を満たす場合に、前記測定結果に基づいて前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、
   前記測定結果が所定の基準を満たさない場合に、前記パーティクル周辺の色のうち、前記目標色に近似する色を用いて算出した候補目標色で前記目標色を更新する目標色更新手段と、
   を備えたことを特徴とする目標追尾装置。
2. 請求項１に記載の目標追尾装置であって、
   前記目標色設定手段は、前記指定された前記追尾対象に係る前記画像データ中の色をさらに初期設定目標色として設定し、
   前記目標色更新手段は、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との差が所定の基準内の場合にのみ、前記目標色の更新を行なうことを特徴とする目標追尾装置。
3. 請求項２に記載の目標追尾装置であって、
   前記目標色更新手段は、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との色相の差が所定の基準内の場合にのみ、前記目標色の更新を行なうことを特徴とする目標追尾装置。
4. 請求項１〜３のいずれか１項に記載の目標追尾装置であって、
   前記目標色更新手段は、前記候補目標色を、前記パーティクル周辺の色のうち、前記目標色に近似する色の平均値、あるいは、前記目標色に近似する色の中で最も出現頻度の高い色として算出することを特徴とする目標追尾装置。
5. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾方法であって、
   前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付ステップと、
   指定された前記追尾対象に係る前記画像データ中の色を目標色として設定する目標色設定ステップと、
   所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行なう色尤度測定ステップと、
   前記色尤度の測定結果が所定の基準を満たす場合に、前記測定結果に基づいて前記追尾対象の存在する領域を推定する追尾対象領域推定ステップと、
   前記色尤度の測定結果が所定の基準を満たさない場合に、前記パーティクル周辺の色のうち、前記目標色に近似する色を用いて算出した候補目標色で前記目標色を更新する目標色更新ステップと、
   を含むことを特徴とする目標追尾方法。
6. 請求項５に記載の目標追尾方法であって、
   前記目標色設定ステップは、前記指定された前記追尾対象に係る前記画像データ中の色をさらに初期設定目標色として設定し、
   前記目標色更新ステップは、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との差が所定の基準内の場合にのみ、前記目標色の更新を行なうことを特徴とする目標追尾方法。
7. 請求項６に記載の目標追尾方法であって、
   前記目標色更新ステップは、前記測定結果が所定の基準を満たさない場合であって、前記候補目標色と、前記初期設定目標色との色相の差が所定の基準内の場合にのみ、前記目標色の更新を行なうことを特徴とする目標追尾方法。
8. 請求項５〜７のいずれか１項に記載の目標追尾方法であって、
   前記目標色更新ステップは、前記候補目標色を、前記パーティクル周辺の色のうち、前記目標色に近似する色の平均値、あるいは、前記目標色に近似する色の中で最も出現頻度の高い色として算出することを特徴とする目標追尾方法。