JP6186834B2 - 目標追尾装置及び目標追尾プログラム - Google Patents

Description

本発明は，目標追尾装置及び目標追尾プログラムに関する。

目標追尾装置は，撮像素子が撮像した画像データ内の目標を追尾する装置である。例えば，航空機は，他の航空機である目標が遠距離から接近してくるのを監視する。そのために，目標追尾装置は，赤外センサなどの撮像センサを用いて遠距離にある複数の目標を撮影し，その目標の運動を追尾する。撮像された画像データ内の輝度の高い１個の画素が点目標として観測され，その点目標の画素は接近するにつれてその輝度が徐々に上昇する。

目標追尾方法については，例えば，特許文献１，２などに記載されている。

目標追尾装置では，撮像素子で撮像した画像データから，目標候補となる点目標の画像内の位置とその輝度等を含む観測データを抽出し，各目標それぞれにおいて，前フレームで予測した目標の予測位置を中心とするゲート領域内の観測データを関連付け対象の観測データとして絞り込む。そして，前フレームで推定されている各目標それぞれに対して，現フレームで抽出され絞り込まれた観測データとの関連付け行う。この関連づけでは，観測データが重複しないように各目標に割当を行い，複数の割当の組み合わせのうち，尤度が最大になる割り当ての組み合わせを選択する。最後に，カルマンフィルタなどの追尾フィルタが，各目標と観測データとの関連付けに基づいて，目標の予測位置と現フレームでの観測データから，各目標の位置，速度，バラツキを推定し，それらの情報に基づいて次のフレームにおける目標の予測位置を予測する。そして，次のフレームでは，この目標の予測位置に基づいて，ゲート領域による観測データの絞り込みと，関連づけと，追尾フィルタによる推定と予測を行い，これらの処理が，毎フレーム毎に繰り返される。

特開２０１２−１２７８９０号公報 特開平５−３０３６２４号公報

不規則な運動をする目標を追跡するためには，カルマンフィルタのプロセスノイズを大きくして目標の不規則な運動に対応させて追尾する必要が有る。プロセスノイズを大きくすると，次のフレームでの観測データ絞り込みのためのゲート領域が広くなる。これは，ゲート領域がプロセスノイズに基づいて求められるマハラノビス距離という正規化した距離の尺度に基づいて決められるからである。

しかしながら，ゲート領域が広くなると，目標に対する観測データ以外に，ノイズにより発生する輝度が高い観測データもゲート領域に入りやすくなり，関連付けの候補となる観測データ数が増大し関連付けの計算量が増大すると共に，目標に対応する観測データとノイズにより発生する観測データとの分別が困難になり，関連付けの誤りが増加する。したがって，ゲート領域を広くすることと，関連付けの計算量を少なくし及び関連付けの精度を高くすることとの間には，トレードオフの関係がある。

そこで，本発明の目的は，プロセスノイズを大きくしても候補の観測データの数が増大しないようにして計算量の増大を抑制し検出精度を上げることができる目標追尾装置及び目標追尾プログラムを提供することにある。

実施の形態による目標追尾装置の第１の側面は，
撮像センサから取得した画像データから目標候補となる観測データを抽出する観測データ抽出手段と，
前記抽出した観測データから，目標の次のフレームでの予測位置近辺のゲート領域内の観測データに絞り込むゲーティング処理手段と，
追尾している各目標を前記絞り込んだ観測データのいずれかに関連付ける相関処理手段と，
前記目標と関連付けされた観測データと，プロセスノイズとに基づいて，現フレームにおける前記目標の位置とばらつきとを推定し，次のフレームにおける前記目標の位置ばらつきを予測する追尾フィルタ手段と，
前記目標の輝度値が高いほど前記プロセスノイズを大きくするプロセスノイズ決定手段とを有し，
前記プロセスノイズが大きいほど前記ゲート領域が広く設定され，
前記ゲーティング処理手段は，前記ゲート領域内にある前記目標の輝度値に対応する輝度閾値を超える観測データに絞り込む。

第１の側面によれば，プロセスノイズを大きくしても計算量の増大を抑制し検出精度を上げることができる。

本実施の形態における目標追尾装置の構成図である。 目標追尾装置の概略構成を示す図である。 目標追尾プログラムの処理の概略を示すフローチャート図である。 観測データの例を示す図である。 ゲーティング処理手段のフローチャート図である。 ゲーティング処理手段と相関処理手段による処理を説明する図である。 追尾フィルタ手段２４４の処理のフローチャート図である。 追尾フィルタ手段の処理を説明する図である。 観測位置z(t)と観測予測位置Hx-(t)の残差d(t)を示す図である。 本実施の形態における目標追尾装置の構成図である。 本実施の形態における目標追尾プログラムのフローチャート図である。 輝度予測フィルタ手段による処理のフローチャート図である。 輝度閾値の決定手段による輝度閾値Vthの決定を説明する図である。 プロセスノイズ決定手段による処理のフローチャート図である。 観測データが輝度閾値Vthを超える確率P(Vth)の計算を説明する図である。 本実施の形態におけるゲーティング処理手段の処理のフローチャート図である。

図１は，本実施の形態における目標追尾装置の構成図である。目標追尾装置２０は，赤外線さなどの撮像センサから画像データを取得し，画像データ内の目標を追尾し，表示装置３０に目標を表示する。目標追尾装置２０は，プロセッサであるCPU21と，メモリ２２と，入出力装置２３と，目標追尾プログラムを格納する記録媒体２４とが，バスを介して接続される。

CPU21は，目標追尾プログラムを実行し，画像データを分析して目標を追尾する処理を実行する。

図２は，目標追尾装置の概略構成を示す図である。また，図３は，目標追尾プログラムの処理の概略を示すフローチャート図である。これらを参照して目標追尾処理の概略を説明する。

撮像センサ１０は，遠距離から近づいてくる複数の目標を撮像してフレーム毎に画像データを出力する。この画像データは，複数の画素の輝度値を有する。目標は１画素の大きさで観測され，目標が存在する画素の輝度は高く，点目標と称される。点目標は接近するにつれて輝度が徐々に上昇する。また，点目標は画素の位置が変化しながら接近してくる。

図２に示されるとおり，目標追尾装置は，観測データ抽出手段２４１と，ゲーティング処理手段２４２と，相関処理手段２４３と，追尾フィルタ手段２４４とを有する。観測データ抽出手段２４１は，撮像センサ１０が撮像した画像データを取得し，目標の候補となる点目標の画像上の位置とその輝度を観測データとして抽出する。点目標は，前述のとおり輝度が高い明るい画素である。ただし，抽出された観測データには，実際の目標の点目標と，ノイズにより発生している点目標とが含まれる。

図４は，観測データの例を示す図である。観測データには，X,Y軸の二次元平面の画像中に，複数の明るい輝度の画素Zが含まれている。そして，図４には，目標候補となる輝度の高い画素の点目標の画素Z1-Z7と，輝度の低い画素Znとが含まれている。観測データ抽出手段２４１は，これらの画素のうち，点目標Z1-Z7を抽出する。また，図４には，前フレームで検出されている目標T1(t),T2(t)が示されている。

次に，これらの前フレームで検出された目標T1(t),T2(t)に対する現フレーム画像内の目標を，抽出された目標候補の点目標Z1-Z7から選択して，前フレーム画像内の目標と現フレーム画像内の目標候補との関連付けを行う。ただし，各目標それぞれに対して全ての観測データと関連付けを行うと，目標候補である点目標の数が多くなり，関連付けのための計算量が大きくなる。そこで，ゲーティング手段により抽出した観測データの絞り込みを行って，目標候補の数を減らすことが行われる。

図５は，ゲーティング処理手段のフローチャート図である。また，図６は，ゲーティング処理手段と相関処理手段による処理を説明する図である。図５に示すとおり，ゲーティング処理手段２４２は，各目標T1(t),T2(t)毎に，抽出した観測データZ1-Z7から，目標に対する予測位置を中心とするゲート領域G内の観測データに絞り込む処理を行う（図５のS11,S12）。

図６に示されるように，前フレームでの目標T1(t)に対する現フレーム(t+1)での目標候補は，目標T1(t)に対する予測位置T1(t+1)を中心とするゲート領域G1内の観測データの点目標Z1,Z2,Z3に絞られる。また，目標T2(t)に対する目標候補は，目標T2(t)に対する予測位置T2(t+1)を中心とするゲート領域G2内の観測データの点目標Z2,Z3に絞られる。そして，点目標Z4-Z7は，目標候補から外される。予測位置T1(t+1),T2(t+1)は，後述する追尾フィルタ手段２４４が，例えば等速直線運動に基づいて前フレーム(t)で推定した目標T1(t),T2(t)から計算により求める。また，ゲート領域G1,G2の大きさは，後述するプロセスノイズQから求めた残差共分散行列Sにより求められるマハラノビス距離がある閾値以下となる領域として求められる。図６に示されたゲート領域G1,G2は，真円ではなく，楕円形である。

相関処理手段２４３は，ゲート領域内の観測データの目標候補Z1,Z2,Z3の位置と予測位置の位置関係から，現フレーム(t+1)での複数の観測データの目標候補Z1,Z2,Z3を前フレーム(t)でのどの目標に関連付けるかを決定する。図６の例では，目標T1(t)に対する目標候補の観測データZ1,Z2,Z3の中から尤度が最も高い観測データを選択し，目標T1(t)と関連付けまたは対応付けを行う。同様に，目標T2(t)に対する目標候補の観測データZ2,Z3の中から尤度が最も高い観測データを選択し，目標T2(t)と関連付けまたは対応付けを行う。

相関処理手段２４３は，前フレームでの各目標T1(t),T2(t)に対して，現フレーム(t+1)での絞り込んだ観測データZ1,Z2,Z3が重複しないように，そして，１つの観測データを割り当てる。即ち，各目標に対して割り当てられる観測データの組み合わせを複数計算して求め，その複数の組み合わせの中から尤度が最大の組み合わせを選択する。この選択は，各目標に対して各観測データが観測される尤度をそれぞれ計算し，目標と観測データの割当の組み合わせの中で，この尤度が最大になるものを選択することで行われる。この尤度は，予測位置と観測データの位置との間の距離（マハラノビス距離）が小さいほど尤度が高くなる。

相関処理には，GNN，JPDA，MHT等の手法がよく用いられる。例えば，MHT（Multiple Hypothesis Tracking）では，ゲート領域内の観測データを目標に割り当てる仮説を生成する。そして，これらの仮説を連続する数ステップの時刻（数フレーム）にわたり保持する。どの仮説を選択するかは，予め指定したステップ数だけ観測データを取得した後，時刻を遡って決定する。

新しい観測データが絞られて入力されたら，前回の観測データについて生成し保持していた複数の仮説のもとでそれぞれさらに複数の仮説を生成し，それらを保持する。新しい観測データが入力されるたびに上記の処理を実行すると，仮説の数は観測データの入力回数の増加にしたがい指数関数的に増加していく。そこで，観測データの入力回数が予め決めていた回数nに達したら，n-1回だけ時刻（フレーム）を遡って仮説を選択し，選択されなかった仮説は破棄する。仮説の選択は，前述のとおり，最新の観測データを入力した後の仮説の尤度から算出した尤度を，n-1回前に生成した複数の仮説の間で比較し，最大の尤度を有する仮説を選択することで行われる。

このように，MHTによる相関処理では，（１）観測データを目標に割り当てる（関連付ける）複数の仮説の生成，（２）前回生成した仮説の尤度を用いて，各仮説の尤度を計算，（３）それまで生成してきた仮説の履歴をnステップ遡って仮説を選択し，非選択の仮説を破棄，という処理を実行する。具体的な処理の説明は，良く知られているので省略する。

図７は，追尾フィルタ手段２４４の処理のフローチャート図である。また，図８は，追尾フィルタ手段の処理を説明する図である。追尾フィルタ手段２４４は，図７に示されるように，前フレーム(時刻t)での各目標T1(t),T2(t)と現フレーム（最新フレーム，時刻t+1）の観測データとの対応付けの結果に対して，例えばカルマンフィルタを用いて，現フレーム（t+1）での目標の位置，速度，ばらつき（共分散行列）を推定する（S21）。この推定は，現フレームへの繊維，更新（または予測値の補正）とも称される。さらに，追尾フィルタ手段は，推定した情報を用いて，次のフレーム（t+2）での目標の予測位置，予測速度，ばらつき（共分散行列）を計算して予測する（S22）。

カルマンフィルタが目標は等速で直線運動をするという等速モデルを用いる場合は，次のようにモデル化され，予測処理と推定（更新）処理とが行われる。

等速モデルを用いる場合は，次の遷移モデル（状態量を画像座標とし画像座標上でモデル化され，目標の状態量（位置，速度）とばらつき（誤差共分散行列）がフレーム毎に遷移するモデル）と，観測モデル（観測量を画像座標とし画像座標上でモデル化され，状態量から求められる観測量（位置）のモデル）とを有する。カルマンフィルタは，状態量と観測量にそれぞれノイズが乗っている中で，取得した観測量をもとに状態量を推定するアルゴリズムであり，推移モデルと観測モデルの２つのモデルを用いている。
遷移モデル：x(t+1)=Fx(t)+w(t) （１１）
観測モデル：z(t)=Hx(t)+v(t) （１２）
ここで，各変数は以下のように定義される。
x(t)：状態量（位置，速度）

z(t)：観測量（位置）

w(t)：プロセスノイズ（遷移ノイズ）（平均値が０，共分散行列をQ(t)とする正規分布）
v(t)：観測ノイズ（平均値が０，共分散行列をR(t)とする正規分布）
F：状態遷移行列，状態遷移行列Fは状態量x(t)を状態量x(t+1)に遷移する。ここで遷移とは時間遷移の意味である。

H：観測行列，観測行列Hは状態量x(t)を観測量z(t)に写像する。

したがって，式（１１）の遷移モデルと，式（１２）の観測モデルは，以下のとおりになる。

さらに，等速運動でのプロセスノイズQのモデルは以下のとおりである。

ここで，dtは時間ステップ，qx, qyはそれぞれX方向，Y方向のプロセスノイズの大きさである。

図７に示した追尾フィルタ手段の予測処理S22は，現フレーム（t）の状態推定値から次のフレーム（t+1）の状態予測値を求める処理である。具体的には，以下の式（１）で，現のフレーム（t）の状態量x(t)の推定値に状態遷移行列Fを乗じて，次のフレーム（t+1）の状態量x(t+1)の予測値を求め，式（２）で，現フレーム（t）での誤差共分散行列P(t)とプロセスノイズQとから，次のフレーム（t+1）での誤差共分散行列P(t+1)の予測値を求める。なお，誤差共分散行列P(t)は，状態量の共分散を示すものであり，状態量がどれだけばらついているかを示す。

次に，追尾フィルタ手段の推定（更新）処理S21では，現フレーム(t)の観測データと前フレームから予測した予測値から現フレームの推定値を次の通りの式で求める処理である。

具体的には，上記の式（３）では，誤差共分散行列の予測値と観測ノイズの共分散行列Rとから現フレーム（t）での残差共分散行列S(t)を求める。残差共分散行列S(t)は，残差d(t)の共分散行列であり，観測量の予測される観測量からの誤差のばらつきを示し，状態量の共分散行列の予測値を観測量の空間に写像したものに観測ノイズの共分散行列を加算して求められる。更に，式（４）ではカルマンゲインKを求める。

そして，式（５）では，現フレーム(t)での状態予測値x^-(t)に，観測位置z(t)と観測予測位置Hx^-(t)の残差（d(t)）にカルマンゲインKを乗じた値を加算して，状態推定値x^(t)を更新する。更に，式（６）で，現フレーム(t)での誤差共分散行列の予測値P^-(t)から，その観測予測値HP^-(t)にカルマンゲインKを乗じた値を減算して，誤差共分散行列P(t)を求める。

図９は，観測位置z(t)と観測予測位置Hx^-(t)の残差d(t)を示す図である。式（５）に示したとおり，この残差d(t)にカルマンゲインKを乗じて予測値x^-(t)に加算することで，状態推定値x^(t)が求められる。

図７に示されるとおり，追尾フィルタ手段は，先ず，前フレームの目標に関連付けされた現フレームの観測データz(t)と，前フレームから予測された現フレームの予測値x^-(t)とから推定値を求める推定（更新）処理S21を行う。そして，その推定値から次のフレーム(t+1)でのゲーティング処理で使用する予測値x^-(t+1)，P^-(t+1)を生成する予測処理S22を行う。

図８の追尾フィルタ手段の処理を説明する図を参照すると，上記の追尾フィルタ手段による推定（更新）処理S21と予測処理S22が明らかになる。即ち，前フレーム(t-1)での予測処理により，前フレーム(t-1)での目標T1(t-1)についての状態推定値x^(t-1)と誤差共分散行列の推定値P(t-1)とから，現フレーム(t)での状態予測値x^-(t)と誤差共分散行列の予測値P^-(t)が求められている。

そして，現フレーム(t)での推定（更新）処理により，前フレームの目標T1(t-1)に関連付けされた現フレーム(t)の観測データz(t)と，前フレームから予測された現フレームの状態予測値x^-(t)及び誤差共分散行列の予測値P^-(t)とから，状態推定値x^(t)，誤差共分散行列の推定値P(t)を求める。そして，同時に予測処理を行い，その推定値x^(t)，P(t)から次のフレーム(t+1)でのゲーティング処理等で使用する予測値x^-(t+1)，P^-(t+1)を生成する。

さらに，次のフレーム(t+1)でも，同様の推定処理を行い，次々のフレーム(t+2)での予測値を求める予測処理を行う。

図３に示した目標追尾プログラムのフローチャート図を参照して，再度目標追尾処理の概略を整理すると，次のとおりである。まず，最初のフレーム（時刻）で，観測データが抽出され，高い輝度の点目標から目標が設定されている（S1）。そして，次のフレーム（時刻＋１）で（S2），観測データが抽出され（S3），ゲーティング処理により候補となる観測データがゲート領域内の観測データに絞られ（S4），相関処理により目標と観測データの関連付けが行われる（S5）。さらに，追尾フィルタ手段が，現フレームでの状態量x(t)，誤差共分散行列P(t)を推定し，次のフレームでの状態量x(t+1)，誤差共分散行列P(t+1)を予測する（S6）。そして，その次のフレーム（時刻t+1）で（S2）,前フレーム(t)で求めた予測値を利用して上記の処理を繰り返す。

上記のカルマンフィルタについては，一般的に知られている技術であり，例えば，以下の文献にも記載されている。
http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%9E%E3%83%B3%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC
［本実施の形態における目標追尾処理］
本実施の形態における目標追尾装置は，運動が不規則な目標を適切に追尾できるように，追尾フィルタを構成するカルマンフィルタのプロセスノイズQを大きくする。つまり，前述の遷移モデル，観測モデル，予測処理，推定（更新）処理に示されるように，プロセスノイズQを大きくすることで，不規則性な動きの目標を追尾することができる。

ただし，プロセスノイズQを大きくすると，ゲート領域が広くなる。その結果，（１）次のフレームで予測位置近辺のゲート領域により絞り込まれる観測データの数が多くなり，相関処理での候補となる観測データの数の増大は，関連付けのための計算量が増大し，（２）ノイズから発生する観測データと目標との分別が困難になり，関連付けの誤りが増大する。このように，不規則な運動をする目標を追尾する場合，プロセスノイズQを大きくすると，計算量の増大と誤りの増大が発生する。

以下，プロセスノイズQとゲート領域との関係について説明する。

カルマンフィルタでは，次のフレームの目標は，以下の予測位置（式（７））の中心と，残差共分散行列をS(t)とする正規分布のばらつきにしたがって観測されると仮定する。そこで，観測位置z(t)と予測位置（式（７））の残差を以下のd(t)（式（８））とすると，以下のマハラノビス距離（式（９））が予測位置（式（７））への近さを表す尺度となる。それ故，マハラノビス距離（式（９））が閾値T以下になる領域を，ゲート領域として用いる。つまり，ゲート領域の境界は，中心の予測位置（式（７））からマハラノビス距離（式（９））が閾値Tになる楕円形になる。この楕円形は，図９に示されるとおりである。

このように，マハラノビス距離（式（９））は，残差共分散行列S(t)を用いて計算される。そして，残差共分散行列S(t)は，式（２）（３）に示されるとおり，プロセスノイズの共分散行列Qに基づいて計算される。したがって，プロセスノイズの共分散行列Qが大きくなると，式（２）により誤差共分散行列P(t)の予測値も大きくなり，式（３）により残差共分散行列S(t)も大きくなる（逆数S(t)^-1は小さくなる）。マハラノビス距離（式（９））は，距離の残差d(t)を残差共分散行列S(t)で正規化したのもであるので，残差共分散行列S(t)が大きい場合には，マハラノビス距離（式（９））は小さくなる。その結果，マハラノビス距離（式（９））が閾値T以下となるゲート領域は広くなる。

そこで，本実施の形態における目標追尾装置は，不規則な運動をする目標を適切に追尾するために，目標の輝度値の大きさに応じて，プロセスノイズQを次のように調整する。
（１）目標の輝度値が大きい場合は，プロセスノイズQを大きくする。それに伴いゲート領域が広くなる。目標の輝度値が小さい場合は，プロセスノイズQを小さくする。それに伴いゲート領域が狭くなる。望ましくは，プロセスノイズQの大きさは，ゲート領域内でノイズにより発生する観測データのうち，関連付け対象の観測データの数が一定数以下になるように決定する。
（２）追尾している目標の輝度値からある一定値以上の差がある低輝度値（輝度閾値Vth以下)の観測データは，関連付け対象の観測データから除外する。

一般に，目標は，近づくほど輝度値が大きくなる。そして，輝度値が大きければその輝度値からある一定値以上の差がある低輝度値（輝度閾値Vth以下)を関連付け候補から除外しても追尾に誤りが生じることは少ない。そこで，目標の輝度値が大きい場合は，プロセスノイズQを大きくして不規則運動をする目標を適切に追尾できるようにする。ただし，ゲート領域が広くなるので，ゲート領域内の観測データから目標の輝度値からある一定値以上の差がある低輝度値（輝度閾値Vth以下)の観測データを除外して，関連付け処理を行う。これにより，プロセスノイズQを大きくしたことによるゲート領域が広くなることの弊害を抑制する。

図１０は，本実施の形態における目標追尾装置の構成図である。図１０の目標追尾装置は，図２の目標追尾装置の概略構成に示した観測データ抽出手段２４１と，ゲーティング処理手段２４２と，相関処理手段２４３と，追尾フィルタ手段２４４に加えて，輝度予測フィルタ手段２４５と，輝度閾値の決定手段２４６と，プロセスノイズの決定手段２４７とを有する。そして，輝度予測フィルタ手段２４５が，追尾フィルタ手段２４４と同様のカルマンフィルタにより，次のフレームでの目標の予測輝度値Vとその分散（ばらつき）σ(V)を予測し，輝度閾値決定手段２４６が，予測輝度値Vとその分散σ(V)とから輝度閾値Vthを決定し，プロセスノイズ決定手段２４７が，予測輝度値Vと輝度閾値VthとからプロセスノイズQを決定し，追尾フィルタ手段２４４にそのプロセスノイズQを設定する。

前述のとおり，プロセスノイズ決定手段２４７は，目標の輝度値が大きい場合はプロセスノイズQを大きくして追尾フィルタ手段２４４による不規則な運動をする目標を追尾可能にする。つまり，追尾フィルタ手段２４４は，プロセスノイズ決定手段２４７が決定したプロセスノイズQに対応してフィルタ処理を行う。ただし，プロセスノイズQを大きくしたことでゲート領域が大きくなるので，ゲーティング処理手段２４２は，輝度閾値Vth以下の観測データを関連づけ処理対象となる候補の観測データから除外して，関連づけ処理対象の観測データが過度に増大しないように，好ましくは一定数になるようにする。

図１０の観測データ抽出手段２４１と，ゲーティング処理手段２４２と，相関処理手段２４３と，追尾フィルタ手段２４４とは，図２で説明した処理と同様の処理をそれぞれ行う。但し，追尾フィルタ手段２４４が，プロセスノイズ決定手段２４７が決定したプロセスノイズQに対応してフィルタ処理を行う点で，図２とは異なり，ゲーティング手段２４２が，輝度閾値Vth以下の観測データを候補の観測データから除外する点で，図２とは異なる。

図１１は，本実施の形態における目標追尾プログラムのフローチャート図である。図１１のフローチャートの処理S1，S2，S3，S5は，図２の各処理S1，S2，S3，S5と同じであるが，図１１の処理S7，S8，S9は，図２に追加された処理であり，図１１の処理S4X，S6Xは，図２の処理S4，S6と一部異なる処理である。

図１１の目標追尾プログラムによる目標追尾処理では，まず，最初のフレーム（時刻）で，観測データが抽出され，高い輝度の点目標から目標が設定される（S1）。そして，次のフレーム（時刻＋１）で（S2），観測データが抽出され（S3），ゲーティング処理によりゲート領域内の観測データであって輝度閾値Vthより高い輝度値を有する観測データに候補が絞られ（S4X），相関処理により目標と絞られた観測データの関連付けが行われる（S5）。

次に，輝度予測フィルタ手段２４５により，追尾フィルタのカルマンフィルタと同様の方法で，前フレームで予測した予測輝度値と現フレームで観測した輝度値から輝度値を推定し，次のフレームでの輝度値を予測する（S7)。この推定と予測は，輝度値の変化量と輝度値の分散（ばらつき）σ(V)についても行われる。そして，輝度閾値の決定手段２４６により，輝度閾値Vthを決定する。また，プロセスノイズ決定手段２４７により，予測輝度値Vと輝度閾値Vthを用いて，プロセスノイズQを決定する（S9)。望ましくは，ゲーティング手段２４２が輝度閾値Vthを超える輝度値の観測データを絞り込む場合のゲート領域の面積Aが，絞り込む観測データの数がある一定数になるような面積になるようにプロセスノイズQを決定する。

さらに，追尾フィルタ手段が，決定されたプロセスノイズQに基づいて，現フレームでの状態量（位置と速度），誤差共分散行列を推定し，次のフレームでの状態量，誤差共分散行列を予測する（S6X）。そして，その次のフレーム（時刻）で（S2）,前フレームで求めた予測値を利用して上記の処理を繰り返す。

図１２は，輝度予測フィルタ手段による処理のフローチャート図である。輝度予測フィルタ手段２４５は，追尾フィルタ手段２４４での状態量が目標の輝度値と輝度変化速度に置き換えられたカルマンフィルタである。したがって，輝度予測フィルタ手段は，目標の予測輝度値と目標に関連づけられた観測輝度値とから，現フレームでの目標の輝度値を推定する（S31)。輝度値に加えて，輝度変化速度とばらつきも推定する。さらに，輝度予測フィルタ手段は，推定した目標の輝度値と輝度変化速度から，次のフレームの予測輝度値と予測輝度変化速度と輝度値のばらつき（分散σ(V)）を予測する（S32)。

図１３は，輝度閾値の決定手段による輝度閾値Vthの決定を説明する図である。図１３には，次のフレームでの目標の輝度値の分布が示され，横軸が輝度，縦軸が横軸の輝度が発生する確率を示している。輝度閾値決定手段２４６は，次のフレームで目標と関連づける観測データの輝度閾値Vthを決定する。そして，次のフレームでは，ゲーティング手段２４２が，ゲート領域内の観測データであって輝度閾値Vthを超える観測データを，目標と関連づける候補の観測データとして絞り込む。

図１３に示すとおり，輝度閾値決定手段２４６は，輝度予測フィルタ手段２４５が予測した予測輝度Vを平均値とし，輝度の予測ばらつきを分散σ(V)とする正規分布を想定し，その正規分布内の上側確率が９９％となる輝度閾値Vthを計算により求める。すなわち，輝度閾値Vthは，次のとおりになる。
Vth＝V−2.32×σ(V)
このように予測輝度Vの大きさに応じた輝度閾値Vthを定めることで，次のフレームで観測される観測データから絞り込まれる観測データには，予測輝度Vを平均値としσ(V)の分散を有する正規分布内の輝度値が９９％含まれることになる。この絞り込まれる観測データの数を一定のＮ個に固定することが，望ましい。

図１４は，プロセスノイズ決定手段による処理のフローチャート図である。プロセスノイズ決定手段２４７は，予測輝度値Vと輝度閾値Vthを用いて，プロセスノイズQを決定する（S9)。すなわち，予測輝度値Vが高くなるにしたがい，プロセスノイズQ（qx,qy)を大きくするように決定する。それに伴い，追尾フィルタ手段２４４は，大きいプロセスノイズQに基づいて，推定（更新）と，予測を行うので，不規則な動きをする目標を追尾することができる。ただし，プロセスノイズQを大きくすると，ゲート領域が大きくなるので，ゲーティング手段２４２が，ゲート領域内にある観測データから輝度閾値Vthを超える観測データを候補の観測データとして絞り込む。

プロセスノイズ決定手段２４７は，望ましくは，ゲーティング手段２４２が輝度閾値Vthを超える輝度値の観測データを絞り込む場合のゲート領域の面積Aが，絞り込む観測データの数がある一定数になるような面積になるようにプロセスノイズQを決定する。以下，図１４のフローチャートにしたがって，この望ましい方法でプロセスノイズを決定する処理について説明する。

プロセスノイズ決定手段２４７は，プロセスノイズqx,qyを，最大値qxmax，qymaxに設定する（S41)。次に，プロセスノイズ決定手段は，ノイズに基づいて発生する観測データが輝度閾値Vthを超える確率P(Vth)を計算する（S42)。

図１５は，観測データが輝度閾値Vthを超える確率P(Vth)の計算を説明する図である。ノイズが白色雑音であるモデルを仮定する。雑音が白色雑音である場合，そのモデルは，白色雑音がない理想的な輝度である背景輝度Vbgを中心として，分散Isの正規分布となる。つまり，撮像センサにより撮像される全観測データの輝度値の分布は，図１５の正規分布になる。一方，このような輝度値の分布モデルにおいて，輝度閾値Vthを超える確率P(Vth)は，正規分布で（Vth-Vbg)/Is以上となる上側確率で与えられる。

次に，プロセスノイズ決定手段は，ノイズから発生する観測データのうち輝度閾値Vthを超える観測データの数の期待値が一定値Ｎとなるゲート領域の面積Ａを，次の通り計算する（S43)。
P(Vth)×Ａ＝Ｎ
よって，Ａ＝N/P(Vth)
そして，プロセスノイズ決定手段は，現在設定されているプロセスノイズqx,qyからゲート領域の面積Bを求める（S44)。この計算では，式（２）（３）にしたがい，プロセスノイズQ(qx,qy)から共分散行列S(t)を求め，マハラノビス距離を求め，そのマハラノビス距離が閾値Tになるゲート領域の面積を求める。

プロセスノイズ決定手段は，面積Bが面積Aよりも小さくなるまで（S45のYES)，プロセスノイズqx,qyに１未満の係数を乗算してqx,qyを小さくし（S46)，処理S44,S45を繰り返す。そして，面積Ｂ＜面積Ａになると(S45のYES)，プロセスノイズ決定手段は，現在のプロセスノイズqx,qyをプロセスノイズとして決定して出力する（S47)。

図１５に示した処理において，予測輝度値Vが大きいほど，輝度閾値Vthも大きくなり，図１５において輝度閾値Vthを超える確率P(Vth)は小さくなり，その結果，ゲート領域の面積Aは大きくなる。それに伴い，ゲート領域の面積Aに対応する面積BのプロセスノイズQ(qx,qy)も大きく決定される。逆に，予測輝度値Vが小さいほど，輝度閾値Vthも小さくなり，確率P(Vth)は大きくなり，その結果，ゲート領域の面積Aは小さくなる。それに伴い，ゲート領域の面積Aに対応する面積BのプロセスノイズQ(qx,qy)も小さく決定される。

つまり，プロセスノイズ決定手段は，予測輝度値Vが大きくなるとプロセスノイズQ(qx,qy)を大きい値に決定し，予測輝度値Vが小さくなるとプロセスノイズQ(qx,qy)を小さい値に決定する。

さらに，プロセスノイズ決定手段は，望ましくは，ゲーティング処理手段により絞られる候補の観測データの数を一定値Ｎに固定するために，図１３の白色雑音の輝度値の分布モデルを利用して，プロセスノイズを決定する。

図１６は，本実施の形態におけるゲーティング処理手段の処理のフローチャート図である。ゲーティング処理手段は，撮像センサが取得した観測データから，目標に対する予測位置を中心とし，決定されたプロセスノイズに対応する面積のゲート領域内にある輝度閾値Vthを超える輝度値の観測データに絞る（S51)。この処理は，全ての目標に対して行われる（S52)。

予測輝度値Vが高ければ，輝度閾値Vthも高くなり，プロセスノイズQ(qx,qy)が大きく設定されてゲート領域が広くなっても，ゲーティング処理手段により絞り込まれる候補の観測データの数が過剰に大きくなることはない。逆に，予測輝度値Vが低ければ，輝度閾値Vthも低くなり，プロセスノイズQ(qx,qy)が小さく設定されてゲート領域が狭くなると，ゲーティング処理手段にて輝度閾値Vthにより絞られる程度は低く，十分な候補の観測データの数になる。

図７に示した追尾フィルタ手段の処理は，本実施の形態においても同様に行われる。追尾フィルタ手段による推定（更新）と予測は，プロセスノイズQに基づいて求められる誤差共分散行列P(t)により行われるので，プロセスノイズQが大きく設定されれば，誤差共分散行列P(t)のばらつきも大きく設定され，式（１）−（６）による推定と予測処理により，不規則な動きを伴う目標の追尾を適切に行うことができる。

上記の実施の形態では，追尾フィルタ手段として目標が線型移動するカルマンフィルタを例にして説明したが，目標が非線形移動する拡張カルマンフィルタを用いても良いことは言うまでもない。

以上の通り，本実施の形態の目標追尾装置と目標追尾プログラムによれば，不規則な動きを伴う目標の追尾を，計算量の増大を抑制しつつ誤判定の確率を抑制しつつ行うことができる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
撮像センサから取得した画像データから目標候補となる観測データを抽出する観測データ抽出手段と，
前記抽出した観測データから，目標の次のフレームでの予測位置近辺のゲート領域内の観測データに絞り込むゲーティング処理手段と，
追尾している各目標を前記絞り込んだ観測データのいずれかに関連付ける相関処理手段と，
前記目標と関連付けされた観測データと，プロセスノイズとに基づいて，現フレームにおける前記目標の位置とばらつきとを推定し，次のフレームにおける前記目標の位置とばらつきを予測する追尾フィルタ手段と，
前記目標の輝度値が高いほど前記プロセスノイズを大きくするプロセスノイズ決定手段とを有し，
前記プロセスノイズが大きいほど前記ゲート領域が広く設定され，
前記ゲーティング処理手段は，前記ゲート領域内にある前記目標の輝度値に対応する輝度閾値を超える観測データに絞り込む目標追尾装置。

（付記２）
付記１において，
前記プロセスノイズ決定手段は，前記輝度閾値に基づいて，前記輝度閾値が変化しても前記絞り込む観測データの数が一定になるよう前記プロセスノイズを決定する目標追尾装置。

（付記３）
付記２において，さらに，
前記目標の輝度値を予測する輝度値予測フィルタ手段と，
前記予測した輝度値が高いほど前記輝度閾値を高く決定する輝度閾値決定手段とを有し，
前記プロセスノイズ決定手段は，前記予測した輝度値が高いほど前記プロセスノイズを大きくする目標追尾装置。

（付記４）
撮像センサから取得した画像データについて目標を追尾する目標追尾処理をコンピュータに実行させる目標追尾プログラムであって，
前記目標追尾処理は，
撮像センサから取得した画像データから目標候補となる観測データを抽出する観測データ抽出工程と，
前記抽出した観測データから，目標の次のフレームでの予測位置近辺のゲート領域内の観測データに絞り込むゲーティング処理工程と，
追尾している各目標を前記絞り込んだ観測データのいずれかに関連付ける相関処理工程と，
前記目標と関連付けされた観測データと，プロセスノイズとに基づいて，現フレームにおける前記目標の位置とばらつきとを推定し，次のフレームにおける前記目標の位置とばらつきを予測する追尾フィルタ工程と，
前記目標の輝度値が高いほど前記プロセスノイズを大きくするプロセスノイズ決定工程とを有し，
前記プロセスノイズが大きいほど前記ゲート領域が広く設定され，
前記ゲーティング処理工程では，前記ゲート領域内にある前記目標の輝度値に対応する輝度閾値を超える観測データに絞り込む目標追尾プログラム。

（付記５）
付記４において，
前記プロセスノイズ決定工程では，前記輝度閾値に基づいて，前記輝度閾値が変化しても前記絞り込む観測データの数が一定になるよう前記プロセスノイズを決定する目標追尾プログラム。

（付記６）
付記５において，さらに，
前記目標の輝度値を予測する輝度値予測フィルタ工程と，
前記予測した輝度値が高いほど前記輝度閾値を高く決定する輝度閾値決定工程と，
前記プロセスノイズ決定工程では，前記予測した輝度値が高いほど前記プロセスノイズを大きくする目標追尾プログラム。

２４１：観測データ抽出手段
２４２：ゲーティング処理手段
２４３：相関処理手段
２４４：追尾フィルタ手段
２４５：輝度予測フィルタ手段
２４６：輝度閾値決定手段
２４７：プロセスノイズ決定手段

Claims (3)

1. 撮像センサから取得した画像データから目標候補となる観測データを抽出する観測データ抽出手段と，
   前記抽出した観測データから，目標の次のフレームでの予測位置近辺のゲート領域内の観測データのうち前記ゲート領域内にある前記目標の輝度値に対応する輝度閾値を超える観測データに絞り込むゲーティング処理手段と，
   追尾している各目標を前記絞り込んだ観測データのいずれかに関連付ける相関処理手段と，
   前記目標と関連付けされた観測データと，プロセスノイズとに基づいて，現フレームにおける前記目標の位置とばらつきとを推定し，次のフレームにおける前記目標の位置とばらつきを予測する追尾フィルタ手段と，
   前記目標の輝度値が高いほど前記プロセスノイズを大きくするプロセスノイズ決定手段とを有し，
   前記プロセスノイズが大きいほど前記ゲート領域が広く設定され，
   前記プロセスノイズ決定手段は，前記輝度閾値に基づいて，前記輝度閾値が変化しても前記絞り込む観測データの数が一定になるよう前記プロセスノイズを決定する目標追尾装置。
2. 請求項１において，さらに，
   前記目標の輝度値を予測する輝度値予測フィルタ手段と，
   前記予測した輝度値が高いほど前記輝度閾値を高く決定する輝度閾値決定手段とを有し，
   前記プロセスノイズ決定手段は，前記予測した輝度値が高いほど前記プロセスノイズを大きくする目標追尾装置。
3. 撮像センサから取得した画像データについて目標を追尾する目標追尾処理をコンピュータに実行させる目標追尾プログラムであって，
   前記目標追尾処理は，
   撮像センサから取得した画像データから目標候補となる観測データを抽出する観測データ抽出工程と，
   前記抽出した観測データから，目標の次のフレームでの予測位置近辺のゲート領域内の観測データのうち前記ゲート領域内にある前記目標の輝度値に対応する輝度閾値を超える観測データに絞り込むゲーティング処理工程と，
   追尾している各目標を前記絞り込んだ観測データのいずれかに関連付ける相関処理工程と，
   前記目標と関連付けされた観測データと，プロセスノイズとに基づいて，現フレームにおける前記目標の位置とばらつきとを推定し，次のフレームにおける前記目標の位置とばらつきを予測する追尾フィルタ工程と，
   前記目標の輝度値が高いほど前記プロセスノイズを大きくするプロセスノイズ決定工程とを有し，
   前記プロセスノイズが大きいほど前記ゲート領域が広く設定され，
   前記プロセスノイズ決定工程では，前記輝度閾値に基づいて，前記輝度閾値が変化しても前記絞り込む観測データの数が一定になるよう前記プロセスノイズを決定する目標追尾プログラム。

Images