JP6291763B2 - 追尾装置、追尾方法及び追尾プログラム - Google Patents

追尾装置、追尾方法及び追尾プログラム Download PDF

Info

Publication number
JP6291763B2
JP6291763B2 JP2013197117A JP2013197117A JP6291763B2 JP 6291763 B2 JP6291763 B2 JP 6291763B2 JP 2013197117 A JP2013197117 A JP 2013197117A JP 2013197117 A JP2013197117 A JP 2013197117A JP 6291763 B2 JP6291763 B2 JP 6291763B2
Authority
JP
Japan
Prior art keywords
wake
hypothesis
partial
likelihood
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013197117A
Other languages
English (en)
Other versions
JP2015064229A (ja
Inventor
卓也 深貝
卓也 深貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013197117A priority Critical patent/JP6291763B2/ja
Publication of JP2015064229A publication Critical patent/JP2015064229A/ja
Application granted granted Critical
Publication of JP6291763B2 publication Critical patent/JP6291763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、移動体を追尾する追尾装置、追尾方法及び追尾プログラムに関する。
レーダーや赤外線センサなどから得られる観測データに基づいて、航空機などの移動体の航跡を追尾するために、多数仮説追尾(MHT: Multiple Hypothesis Tracking )技術を適用した追尾装置が提案されている(例えば、非特許文献1参照)。
MHTを適用した追尾装置は、移動体の探知の失敗やノイズの発生の可能性などを考慮して、移動体の位置である可能性を持つ箇所として観測データから抽出した観測点と移動体との対応関係について複数の仮説を立てる。また、MHTを適用した追尾装置は、各仮説の確からしさを評価しつつ、追尾処理を進めていくことで、移動体の航跡を追尾する。
MHTを適用した追尾装置では、移動体が含まれる領域が所定の時間間隔で一括して撮影されることを前提としている。そして、MHTを適用した追尾装置では、それまでに撮影された観測データに基づく追尾処理で得られた移動体の過去の航跡に基づいて、移動体の予測される位置を含むゲート領域が求められ、新たな観測データからの観測点の抽出に用いられる。
ところで、追尾装置は、所定の時間間隔で、観測の対象となる観測領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影することで得られる各画像として、観測領域全体の画像を所定の時間間隔で取得する場合がある。この種の追尾装置は、例えば、赤外線センサの向きを変えながら撮影を行うことで、観測領域に含まれる各部分領域の画像を順次に取得し、各部分領域の撮影が一巡する毎に、取得した画像を合成することで、観測領域の全体に相当する1フレームの画像を取得する。そして、追尾装置は、それまでに取得した数フレームの画像に基づいて、移動体の過去の航跡を推測し、推測によって得られた移動体の位置や速度及び加速度などを示す状態ベクトルを用いて、以降の移動体の航跡の追尾を行う。
この種の追尾装置において、各部分領域が撮影される時刻につき、前のフレームまでの移動体の航跡に基づいて、移動体の予測される位置を含むゲート領域を設定し、設定したゲート領域を追尾処理に用いる技術が提案されている(例えば、特許文献1参照)。
特開2004−233136号公報
D. B. Reid, "An algorithm for tracking multiple targets." IEEE Trans. on Automatic Control, vol.24, No.6, pp.843-854, 1979
ところで、観測領域を複数の部分領域に分けて撮影する場合には、前のフレームまでの移動体の航跡に基づいて予測されるゲート領域が、2つ以上の部分領域に跨る可能性がある。この場合に、観測領域に含まれる各部分領域の撮影が一巡する間に、一つの移動体が、2つ以上の部分領域においてそれぞれ観測される可能性がある。
しかしながら、従来の技術においては、一つの移動体が2つ以上の部分領域においてそれぞれ観測される可能性を考慮した追尾処理を行うことが困難である。このため、例えば、観測領域に含まれる各部分領域の撮影が一巡する間に移動体の速度が変化した場合などに、速度の変化に応じて変化した航跡を追尾しきれずに見失ってしまう場合がある。
本件開示の追尾装置、追尾方法及び追尾プログラムは、複数の部分領域に分けて時分割で観測される領域内の移動体の航跡を従来に比べて高い精度で追尾可能とする技術を提供することを目的とする。
一つの観点によれば、追尾装置は、移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、部分領域が撮影された時刻よりも前に推定された移動体の航跡に基づいて、移動体の予測される位置を含むゲート領域をそれぞれ求める予測部と、撮影によって得られた複数の部分領域の画像のそれぞれから、予測部によって求められたゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出する抽出部と、複数の部分領域のそれぞれが撮影される毎に、抽出部で抽出された観測点と観測点を含むゲート領域を求めるために用いられた航跡とを用いて新たな航跡を推定する推定部と、推定部によって推定された新たな航跡を含む、移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を移動体の尤もらしい航跡として選択する追尾部とを有する。
別の観点によれば、追尾方法は、移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、部分領域が撮影された時刻よりも前に推定された移動体の航跡に基づいて、移動体の予測される位置を含むゲート領域をそれぞれ求め、撮影によって得られた複数の部分領域の画像のそれぞれから、ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、複数の部分領域のそれぞれが撮影される毎に、ゲート領域から抽出された観測点とゲート領域を求めるために用いられた航跡とを用いて新たな航跡を推定し、推定された新たな航跡を含む、移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を移動体の尤もらしい航跡として選択する。
また、別の観点によれば、追尾プログラムは、移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、部分領域が撮影された時刻よりも前に推定された移動体の航跡に基づいて、移動体の予測される位置を含むゲート領域をそれぞれ求め、撮影によって得られた複数の部分領域の画像のそれぞれから、ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、複数の部分領域のそれぞれが撮影される毎に、ゲート領域から抽出された観測点とゲート領域を求めるために用いられた航跡とを用いて新たな航跡を推定し、推定された新たな航跡を含む、移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を移動体の尤もらしい航跡として選択する、処理をコンピュータに実行させる。
本件開示の追尾装置、追尾方法及び追尾プログラムは、複数の部分領域に分けて時分割で観測される領域内の移動体の航跡を従来に比べて高い精度で追尾することができる。
追尾装置の一実施形態を示す図である。 第1航跡及び第2航跡の例を示す図である。 仮説の木の例を示す図である。 図1に示した追尾装置の動作を示す図である。 追尾装置の別実施形態を示す図である。 図3に示した各仮説の尤度の計算例を示す図である。 式(1)において移動体の存在の確率密度を積分する範囲の例を示す図である。 式(1)において移動体の存在の確率密度を積分する範囲の例を示す図である。 式(1)において移動体の存在の確率密度を積分する範囲の例を示す図である。 図5に示した追尾装置のハードウェア構成の一例を示す図である。 図10に示した追尾装置による追尾処理を示す図である。
以下、図面に基づいて、実施形態を説明する。
図1は、追尾装置の一実施形態を示す。図1に示した追尾装置10は、撮影装置EQにより、観測の対象の領域である観測領域Arに含まれる複数の部分領域を時分割で撮影することで得られる画像に基づいて、観測領域内の移動体の航跡を追尾する。
撮影装置EQは、例えば、2次元に配列された画素を含む赤外線センサSCを含んでいる。また、撮影装置EQは、赤外線センサSCの受光面を水平方向の向きDh1、Dh2および鉛直方向の向きDv1、Dv2に回転させる。これにより、撮影装置EQは、赤外線センサSCを用いて、観測領域Arに含まれる2m(mは正の整数)個の部分領域dA_1,…,dA_m,dA_m+1,…,dA_2mを順次に撮影する。なお、図1に示した2m個の部分領域dA_1〜dA_2mは、観測領域Arを鉛直方向に相当するy軸方向に2つに分割し、また、水平方向に相当するx軸方向にm個に分割した場合を示しているが、y軸方向の分割数は2に限定されない。
例えば、撮影装置EQは、赤外線センサSCの向きをx軸方向に対応する水平方向Dh1に回転させつつ、m個の部分領域dA_1〜dA_mを順次に撮影する。その後、撮影装置EQは、赤外線センサSCの向きをy軸方向に対応する鉛直方向Dv1に回転させた後、水平方向Dh2に回転させつつ、m個の部分領域dA_m+1〜dA_2mを順次に撮影する。また、部分領域dA_2mの撮影の終了したとき、即ち、観測領域Arに含まれる2m個の部分領域dA_1〜dA_2mの撮影が一巡した後に、撮影装置EQは、赤外線センサSCの向きを鉛直方向Dv2に回転させることで部分領域dA_1の方向に向ける。そして、撮影装置EQは、新たに、部分領域dA_1〜dA_2mの撮影を開始する。つまり、撮影装置EQは、2m個の部分領域dA_1〜dA_2mを循環的に繰り返し撮影することで、繰返しの周期に相当する時間間隔で、観測領域Arに対応する1フレームの画像を繰り返し取得する。例えば、観測領域Arに54個(m=27)の部分領域が含まれており、各部分領域の撮影にかかる時間が0.2秒程度である場合に、撮影装置EQが観測領域Arに対応する1フレームの画像を取得する時間間隔は十数秒程度である。
以下の説明において、部分領域dA_1〜dA_2mのそれぞれを区別しない場合に、部分領域dA_1〜dA_2mは、単に部分領域dAと略称される。
撮影装置EQに含まれる画像処理部GPは、赤外線センサSCが各部分領域dAに向けられた際に得られた赤外線センサSCの出力信号に基づいて、各部分領域dAにおいて所定の第1閾値以上の輝度を持つ箇所を検出する。また、画像処理部GPは、検出した箇所のそれぞれの位置を示す情報を、移動体である可能性を持つ物体の位置を示す観測点として、追尾装置10に渡す。なお、画像処理部GPは、追尾装置10に含まれてもよい。
追尾装置10は、予測部11と、抽出部12と、推定部13と、追尾部14とを含んでいる。予測部11は、撮影装置EQにより、部分領域dAのそれぞれが撮影される毎に、それまでに推定部13で推定された移動体の航跡に基づいて、移動体の予測される位置を含む範囲であるゲート領域を求める。抽出部12は、部分領域dAが撮影される毎に、撮影で得られた画像から画像処理部GPによって検出された観測点を受け、受けた観測点の中から、予測部11で求められたゲート領域に含まれる観測点を抽出する。そして、推定部13は、部分領域dAが撮影される毎に、抽出部12によって抽出された観測点とゲート領域を求める際に用いられた航跡とを用いて新たな航跡である第1航跡を推定する。推定部13によって推定された航跡は、順次に予測部11に渡され、以降に撮影される部分領域dAからの観測点の抽出に用いるゲート領域を求めるために用いられる。追尾部14は、例えば、観測領域Arに含まれる部分領域dAの撮影が一巡する過程で推定部13によって推定された航跡のそれぞれの尤もらしさを評価し、最も尤度の高い仮説を含む少なくとも一つの航跡を選択することで移動体の追尾を行う。追尾部14によって選択された航跡は予測部11に渡され、移動体の過去の航跡を示す情報として、新たに撮影が開始される各部分領域dAのそれぞれが撮影される時刻におけるゲート領域の予測に用いられる。
予測部11は、例えば、撮影装置EQによる観測領域Arのk(kは2より大きい整数)回目の撮影が開始される際に、k−1回目の撮影までの追尾処理で得られた移動体の過去の航跡に基づいて、部分領域dA_1の撮影時刻におけるゲート領域を求める。例えば、予測部11は、k−1回目の撮影までの追尾処理で得られた過去の航跡に従って移動体が移動する場合に、部分領域dA_1が観測された時刻に移動体が観測される可能性のある範囲を、部分領域dA_1の撮影時刻におけるゲート領域として求める。また、予測部11は、以降の各部分領域dA(例えば、部分領域dA_2)が撮影される毎に、それまでに推定部13で推定された航跡のそれぞれに基づいて、各部分領域dAが撮影される時刻におけるゲート領域を求める。ここで、推定された各航跡に従う移動体の運動は、例えば、過去のある時刻について推定された移動体の位置と移動体の速度と移動体の加速度とを含む状態ベクトルで示される。予測部11は、各航跡を示す状態ベクトルをカルマンフィルタに通すことで、各部分領域dAが観測された時刻における移動体の存在の確率密度が所定値以上である範囲としてゲート領域を求める。なお、以下の説明において、各仮説で示される航跡で移動体が移動する場合に、各部分領域dAが撮影される時刻について予測される移動体の位置は、移動体の予測位置と称される。一方、過去のある時刻について推定された移動体の位置は、移動体の推定位置と称される。
推定部13は、抽出部12により、ゲート領域に含まれる観測点が抽出された場合に、抽出された観測点で移動体が観測されたとする仮説を生成し、生成した仮説に基づき、観測点の情報とゲート領域の予測に用いられた航跡とを用いて第1航跡を推定する。例えば、推定部13は、ゲート領域の予測に用いられた航跡を表す状態ベクトルを、観測点の情報を用いて更新することで、第1航跡を示す状態ベクトルとして、観測点の位置と過去の航跡との双方が反映された状態ベクトルを求める。
例えば、第1時刻に撮影された部分領域dA内の観測点が抽出部12によって抽出された場合に、推定部13は、移動体が第1時刻において部分領域dA内の観測点において観測されたとする仮説を生成する。そして、推定部13は、観測点の情報と過去の航跡を示す状態ベクトルとに基づいて、生成した仮説で示される第1航跡を示す状態ベクトルを推定する。推定された状態ベクトルで示される第1航跡は、過去の航跡に基づいて第1時刻について予測された移動体の予測位置よりも観測点に近い位置を通る航跡となる。
その後、推定部13は、第2時刻に撮影された部分領域dAの画像から、第1時刻での撮影の際に推定された第1航跡から求められたゲート領域を用いて抽出された観測点と、推定された第1航跡とに基づいて、新たな第1航跡を推定する。例えば、推定部13は、移動体が、第1時刻に撮影された部分領域に含まれる観測点と第2時刻に撮影された部分領域に含まれる観測点との双方で観測されたとする仮説を生成する。そして、推定部13は、第1時刻での撮影の際に推定された第1航跡を表す状態ベクトルと、第2時刻で撮影された画像から抽出された観測点の情報とに基づいて、生成した仮説で示される新たな第1航跡を示す新たな状態ベクトルを推定する。
また、推定部13は、以上に説明した第1航跡に加えて、観測点の情報を用いずに、ゲート領域を求めるために用いられた航跡に基づいて、新たな航跡である第2航跡を推定することが望ましい。例えば、推定部13は、観測点の抽出に用いられたゲート領域において移動体が観測されなかったとする仮説を生成する。また、生成部13は、例えば、ゲート領域で示される予測位置を用いて、ゲート領域の予測に用いられた航跡を示す状態ベクトルに含まれる推定位置を更新することで、生成した仮説で示される第2航跡を示す状態ベクトルを推定する。推定された状態ベクトルで示される第2航跡は、ゲート領域を求めるために用いられた航跡をそのまま延長した航跡となる。
図2は、第1航跡及び第2航跡の例を示す。図2に示した矩形のそれぞれは、図1に示した撮影装置EQにより、観測領域Arをk回目に撮影する過程で、部分領域dA_1,dA_2,dA_2m−1,dA_2mについて赤外線センサSCで得られた画像を示す。なお、図2においては、図1に示した部分領域dA_1〜dA_2mのうち、部分領域dA_1,dA_2,dA_2m−1,dA_2m以外の部分領域dAを撮影することで得られた画像の図示は省略されている。
図2に示した実線の曲線Trpは、観測領域Arのk回目の撮影に先立って、k−1回にわたって観測領域Arを観測した過程で行われた移動体を追尾する処理により、移動体の尤もらしい航跡として得られた過去の航跡を示す。また、図2に示した画像dA_1において、点Q(Trp,k−1)および点Q(Trp,k−2)は、k−1回目とk−2回目に部分領域dA_1が撮影された時刻について、航跡Trpに基づいて推定された移動体の位置である推定位置を示す。
また、図2において実線で示した楕円Gp(2)は、移動体の過去の航跡Trpに基づいて、観測領域Arがk回目に撮影される過程で部分領域dA_2が撮影された時刻について、図1に示した予測部11によって求められたゲート領域を示す。また、図2に示した部分領域dA_2において、点Z1は、部分領域dA_2を撮影することで得られた画像から、図1に示した画像処理部GPによって検出された観測点の例を示す。
図2の例では、部分領域dA_2において検出された観測点Z1は、ゲート領域Gp(2)に含まれている。したがって、図1に示した抽出部12は、観測点Z1を示す情報を推定部13に渡す。推定部13は、抽出部12から受けた観測点Z1において移動体が観測されたとする仮説とともに、移動体がゲート領域Gp(2)において観測されなかったとする仮説を生成する。
そして、推定部13は、過去の航跡Trpを表す状態ベクトルと観測点Z1の情報とに基づいて新たな状態ベクトルを求めることで、観測点Z1において移動体が観測されたとする仮説で示される第1航跡を推定する。図2に破線で示した曲線Tr1は、推定部13により、第1航跡として、観測点Z1の情報を用いて推定された航跡の一例である。また、推定部13は、過去の航跡Trpを表す状態ベクトルに基づいて、移動体がゲート領域Gp(2)において観測されなかったとする仮説で示される第2航跡として、図2に示した航跡Trpを延長した航跡を推定する。
その後、部分領域dA_2m−1が撮影された際に、予測部11は、移動体の過去の航跡Trpに基づき、図2において点線で囲んで示したゲート領域Gp(2m−1)を求める。また、予測部11は、同じく、部分領域dA_2m−1が撮影された時刻について、部分領域dA_2が撮影された際に推定部13によって第1航跡として推定された航跡Tr1に基づき、一点鎖線で囲んで示したゲート領域G1(2m−1)を求める。
図2に示したゲート領域G1(2m−1)の算出に用いられる航跡Tr1の状態ベクトルは、部分領域dA_2が撮影された際に、部分領域dA_2から抽出された観測点Z1を用いて、過去の航跡Trpを表す状態ベクトルを更新することで求められる。したがって、図2に示したように、航跡Tr1に基づいて求められたゲート領域G1(2m−1)の位置は、過去の航跡Trpに基づいて求められたゲート領域Gp(2m−1)からずれた位置となる。
図2に示した部分領域dA_2m−1に含まれる点Z2は、部分領域dA_2m−1を撮影することで得られた画像から、図1に示した画像処理部GPによって検出された観測点の例である。図2の例では、部分領域dA_2m−1において検出された観測点Z2は、航跡Tr1に基づいて予測されたゲート領域G1(2m−1)に含まれている。したがって、図1に示した抽出部12は、第1航跡Tr1から予測されたゲート領域G1(2m−1)から抽出された観測点として、観測点Z2を推定部13に渡す。一方、図2に示した観測点Z2は、過去の航跡Trpに基づいて予測されたゲート領域Gp(2m−1)には含まれていない。したがって、抽出部12は、過去の航跡Trpに基づいて予測されたゲート領域Gp(2m−1)内の観測点として観測点Z2を推定部13に渡すことはない。
この場合に、推定部13は、ゲート領域G1(2m−1)に含まれる観測点Z2において移動体が観測されたとする仮説と、移動体がゲート領域G1(2m−1)およびゲート領域Gp(2m−1)において観測されなかったとする仮説とを生成する。
そして、推定部13は、航跡Tr1を表す状態ベクトルと観測点Z2の情報とに基づいて新たな状態ベクトルを求めることで、観測点Z1および観測点Z2において移動体が観測されたとする仮説で示される新たな第1航跡を推定する。図2に一点鎖線で示した曲線Tr2は、推定部13により、新たな第1航跡として、観測点Z2の情報を用いて推定された航跡の一例である。また、推定部13は、図2に示した航跡Tr1を表す状態ベクトルに基づいて、移動体がゲート領域G1(2m−1)において観測されなかったとする仮説で示される第2航跡として、図2に示した航跡Tr1を延長した航跡を推定する。また、推定部13は、図2に示した航跡Trpを表す状態ベクトルに基づいて、移動体がゲート領域Gp(2m−1)において観測されなかったとする仮説で示される第2航跡として、航跡Trpを延長することで得られる航跡を推定する。
そして、部分領域dA_2mが撮影される際に、予測部11は、部分領域dA_2m−1の撮影までの過程で生成された仮説のそれぞれで示される航跡に基づいて、各航跡に従って移動体が移動した場合の予測位置を含むゲート領域を求める。即ち、予測部11は、航跡Tr1、Tr2および航跡Trpとに基づいて、部分領域dA_2mが撮影された時刻におけるゲート領域をそれぞれ予測する。図2において破線で示した楕円Gp(2m)は、部分領域dA_2mが撮影された時刻につき、過去の航跡Trpを延長した第2航跡に基づいて予測部11により予測されたゲート領域を示す。
図2に示した部分領域dA_2mに含まれる点Z3は、部分領域dA_2mを撮影することで得られた画像から図1に示した画像処理部GPによって検出された観測点の例である。図2の例では、画像dA_2mにおいて検出された観測点Z3は、部分領域dA_2mが撮影された時刻につき、過去の航跡Trpを延長した第2航跡に基づいて予測部11により予測されたゲート領域Gp(2m)に含まれる。したがって、観測点Z3の情報は、抽出部12により、ゲート領域Gp(2m)から抽出された観測点として、推定部13に渡される。
一方、図2に示した航跡Tr1、Tr2に基づいて予測されるゲート領域G1(2m)およびゲート領域G2(2m)は、ゲート領域G1(2m−1)と概ね等しい位置にあり、ゲート領域G1(2m)、G2(2m)は、部分領域dA_2mと重複する部分を持たない。このため、図2においては、ゲート領域G1(2m)およびゲート領域G2(2m)の図示は省略されている。また、抽出部12により、観測点Z3が、ゲート領域G1(2m)あるいはゲート領域G2(2m)内の観測点として推定部13に渡されることもない。
この場合に、推定部13は、ゲート領域Gp(2m)に含まれる観測点Z3において移動体が観測されたとする仮説と、移動体がゲート領域Gp(2m),G1(2m),G2(2m)のそれぞれにおいて観測されなかったとする仮説とを生成する。
そして、推定部13は、航跡Trpを表す状態ベクトルと観測点Z3の情報とに基づいて新たな状態ベクトルを求めることで、観測点Z1、Z2において移動体が観測されず、観測点Z3において観測されたとする仮説で示される新たな第1航跡を推定する。図2に二点鎖線で示した曲線Tr3は、推定部13により、新たな第1航跡として、観測点Z3の情報を用いて推定された航跡の一例である。また、推定部13は、図2に示した航跡Trpを表す状態ベクトルに基づいて、移動体がゲート領域Gp(2m)において観測されなかったとする仮説で示される第2航跡として、図2に示した航跡Trpを延長した航跡を推定する。また、推定部13は、図2に示した航跡Tr1を表す状態ベクトルに基づいて、移動体がゲート領域G1(2m)において観測されなかったとする仮説で示される第2航跡として、図2に示した航跡Tr1を延長した航跡を推定する。また、推定部13は、図2に示した航跡Tr2を表す状態ベクトルに基づいて、移動体がゲート領域G2(2m)において観測されなかったとする仮説で示される第2航跡として、航跡Tr2を延長することで得られる航跡を推定する。
以上に説明したように、図1に示した追尾装置10では、各部分領域dAが撮影される毎に、予測部11で予測されたゲート領域を用いて抽出部12が抽出した観測点を用いて推定部13が移動体の航跡を推定し、推定された航跡を以降のゲート領域の予測に用いる。これにより、推定部13は、図2に示した航跡Tr2のように、移動体が複数の部分領域dAにおいて、それぞれが撮影された時刻に観測されるとする仮説で示される航跡を含む複数の航跡を推定することができる。
図1に示した追尾部14は、撮影装置EQにより各部分領域dAが撮影される過程で推定部13によって対制された第1航跡を含む複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を移動体の尤もらしい航跡として選択する。図2の例では、追尾部14は、移動体の過去の航跡Trpと、第1航跡として推定部13により新たに生成された航跡Tr1と航跡Tr2と航跡Tr3とのそれぞれの中から、最も尤度の高い航跡を含む少なくとも一つの航跡を選択することで追尾処理を行う。
ここで、図2に示した観測点Z1,Z2は、いずれも、それぞれの抽出に用いられたゲート領域Gp(2),G1(2m−1)の中央部にあることから、観測点Z1,Z2は、いずれも移動体を示している可能性が高い。一方、図2に示した観測点Z3は、ゲート領域Gp(2m)の周辺部にあることから、観測点Z3が移動体を示している可能性は、観測点Z1,Z2が移動体を示す可能性に比べて低い。したがって、推定部13により、図2に示した航跡Trp,Tr1,Tr2,Tr3のそれぞれを示す航跡が推定された場合に、追尾部14は、航跡Tr2を最も尤度の高い航跡として選択する。
追尾部14は、撮影装置EQにより各部分領域dAが撮影される過程で推定部13によって生成される第1航跡を示す仮説を含む複数の仮説のそれぞれを、仮説相互の関係を示す木構造において位置づけることで仮説の木を生成する。追尾部14は、生成した仮説の木で示される階層構造に基づいて、仮説の木に含まれる各仮説の尤度を、各仮説で示される航跡の尤度として評価する。なお、追尾部14において、各仮説の尤度を算出する手法については、図5〜図9を用いて後述する。
また、追尾部14は、各仮説について求めた尤度に基づいて、例えば、最も高い尤度が得られた仮説を含む所定数の仮説を残して他の仮説を削除する処理を図1に示した観測領域Arに対応する1フレームの画像の取得毎に行うことで仮説の選択を行う。
図3は、仮説の木の例を示す。図3に示した仮説の木は、図1に示した観測領域Arがk回目に撮影される過程で、推定部13により、図2に示した移動体の過去の航跡Trpを示す仮説から遷移可能な仮説として生成された仮説を含んでいる。なお、図3に示す仮説の木においては、移動体の過去の航跡を示す仮説から遷移可能な仮説のうち、観測点がノイズであるとする仮説や観測点が新たに追尾の対象となる別の移動体であるとする仮説の図示は省略されている。
図3に示した仮説の木において、図1に示した推定部13によって生成される各仮説を円形で示した。また、各仮説を示す符号において、符号“h”に続く数字は、観測領域Arに含まれる各部分領域dAの撮影が一巡する過程で図1に示した推定部13によって生成された各仮説を区別する番号を示す。なお、図3では、部分領域dA_1,dA_2,dA_2m−1,dA_2mのそれぞれが撮影された時刻t_1,t_2,t_2m−1,t_2mを示す点線上に、各部分領域dAが撮影された際に生成された仮説を並べて示した。また、図3に示した二重の円形hpは、前のフレームまでの追尾処理によって得られた過去の航跡Trpを示す仮説を示す。
また、図3に示した仮説の木において、白色の円形h2、h4、h9で示した仮説は、抽出された観測点において移動体が観測されたとする仮説であり、観測点の情報を用いて、親に当たる仮説で示される航跡の状態ベクトルを更新することで得られる第1航跡を示す。例えば、図3において、時刻t_2を示す点線上に白色の円形で示した仮説h2は、図2に示した航跡Trpを示す仮説h1の子に当たる仮説であり、航跡Trpに従って移動する移動体が観測点Z1において観測されたとする仮説である。そして、この仮説h2によって示される第1航跡は、航跡Trpを表す状態ベクトルを観測点Z1の情報を用いて更新することで求めた状態ベクトルで表される航跡Tr1である。同様に、図3において、時刻t_2m−1を示す点線上に白色の円形で示した仮説h4は、航跡Tr1を示す仮説h2の子に当たる仮説であり、航跡Tr1に従って移動する移動体が観測点Z2において観測されたとする仮説である。そして、この仮説h4によって示される第1航跡は、航跡Tr1を表す状態ベクトルを観測点Z2の情報を用いて更新することで求めた状態ベクトルで表される航跡Tr2である。また、図3において、時刻t_2mを示す点線上に白色の円形で示した仮説h9は、航跡Trpを示す仮説h6の子に当たる仮説であり、航跡Trpに従って移動する移動体が観測点Z3において観測されたとする仮説である。そして、この仮説h9によって示される第1航跡は、航跡Trpを表す状態ベクトルを観測点Z3の情報を用いて更新することで得られる状態ベクトルで表される航跡Tr3である。
一方、図3に示した仮説の木において、網掛けを付した円形で示した仮説は、撮影された部分領域dAにおいて移動体が観測されないとする仮説であり、親に当たる仮説で示される航跡を表す状態ベクトルを引き継いだ航跡である第2航跡を示す。例えば、図3において網掛けを付した円形で示した仮説h1,h3,h6,h10は、いずれも、前のフレームまでの追尾処理で得られた過去の航跡Trpを示す仮説hpに直列に接続された子孫に当たる仮説である。即ち、これらの仮説h1,h3,h6,h10は、図2に示した航跡Trpに従って移動する移動体が部分領域dA_1,dA_2,dA_2m−1,dA_2mにおいて観測されないとする仮説である。そして、これらの仮説h1,h3,h6,h10によって示される航跡は、いずれも、過去の航跡Trpを表す状態ベクトルに含まれる速度および加速度をそのまま引き継いだ状態ベクトルで表される航跡である。また、図3において、時刻t_2m−1,t_2mを示す点線上に網掛けを付した円形で示した仮説h5,h8は、図2に示した航跡Tr1を示す仮説h2に直列に接続された子孫に当たる仮説である。即ち、これらの仮説h5、h8は、親に当たる仮説h2が示す航跡Tr1に従って移動する移動体が部分領域dA_2m−1,dA_2mにおいて観測されないとする仮説である。そして、これらの仮説h5、h8によって示される航跡は、航跡Tr1を表す状態ベクトルの速度および加速度を引き継いだ航跡である。同様に、図3において、時刻t_2mを示す点線上に網掛けを付した円形で示した仮説h7は、図2に示した航跡Tr2を示す仮説h4の子に当たる仮説である。即ち、仮説h7は、親に当たる仮説h4が示す航跡Tr2に従って移動する移動体が部分領域dA_2mにおいて観測されないとする仮説である。そして、仮説h7によって示される航跡は、航跡Tr2を表す状態ベクトルの速度および加速度を引き継いだ航跡である。なお、図2および図3に示した例は、図1に示した画像処理部GPにより、部分領域dA_1から観測点が検出されていない場合を示している。
図1に示した追尾部14は、例えば、図3に示した仮説の木において、時刻t_2mを示す点線上に示した仮説h7,h8,h9,h10について求めた尤度を互いに比較し、他の仮説よりも高い尤度を示す仮説を選択することで移動体の航跡を追尾する。例えば、仮説h7の尤度が最も高い場合に、追尾部14は、観測領域Arを過去k回にわたって観測したことで得られた移動体の尤もらしい航跡として、仮説h7で示される航跡Tr2を出力する。
また、追尾部14は、仮説の木において、尤もらしい航跡を示す仮説として選択した仮説を含む枝を残し、他の枝を削除する“枝刈り”処理を行うことで、仮説を取捨選択してもよい。例えば、追尾部14は、仮説h2と仮説h2から分岐する各仮説を含む枝B_1と、仮説h3と仮説h3から分岐する各ノードを含む枝B_2とのそれぞれについて、要素として含まれる仮説の尤度の総和を求める。そして、例えば、枝B_1について求めた尤度の総和が枝B_2について求めた尤度の総和よりも大きい場合に、枝B_1に含まれる各仮説を残し、他方の枝B_2に含まれる各仮説を削除することで“枝刈り”処理を行う。
また、追尾部14は、“枝刈り”処理で選択した仮説を予測部11に通知し、以降の追尾処理において、予測部11に、選択した仮説で示される航跡を用いたゲート領域の予測を行わせることが望ましい。これにより、観測領域Arをk回目に撮影して得られた1フレームの画像とともに、以降に撮影される画像に含まれる情報を考慮した移動体の追尾を行うことができる。
以上に説明したように、図1に示した追尾装置10に含まれる推定部13は、予測部11によって求められたゲート領域から観測点が抽出された場合に、抽出された観測点で移動体が観測されたとする仮説を生成する。また、生成部13は、生成した仮説で示される第1航跡として、観測点の情報を用いて過去の航跡の状態ベクトルを更新することで得られる新たな状態ベクトルを持つ航跡を推定する。そして、推定部13によって推定された新たな第1航跡に基づいて、予測部11は、以降に撮影される部分領域dAから観測点を抽出する際に用いるゲート領域を求める。
例えば、図2に示した部分領域dA_2から抽出された観測点Z1の情報を用いて過去の航跡Trpを更新することで得られた航跡Tr1に基づいて、予測部11は、部分領域dA_2m−1から観測点を抽出する際に用いるゲート領域G1(2m−1)を求める。そして、推定部13は、ゲート領域G1(2m−1)から抽出された観測点Z2の情報を用いて航跡Tr1を更に更新することで、移動体の考えられる航跡の一つとなる新たな第1航跡として航跡Tr2を推定する。即ち、図1に示した推定部13は、図2に示した航跡Tr2として、2つの部分領域dA_2,dA_2m−1からそれぞれ抽出された観測点Z1,Z2の双方の情報が反映された航跡を推定することができる。
ここで、図2に示した観測点Z2は、航跡Tr1に基づいて求められたゲート領域G1(2m−1)には含まれているが、前のフレームまでの追尾処理で得られた過去の航跡Trpに基づいて求められたゲート領域Gp(2m−1)には含まれていない。すなわち、航跡Tr1を観測点Z2の情報を用いて更新することで得られる航跡Tr2は、従来の追尾装置による追尾処理では生成されず、図1に示した追尾装置10の推定部13によって初めて生成される。そして、図2に示した航跡Tr2は、移動体が観測点Z1と観測点Z2の双方で観測されたとする仮説が真である場合に、図2に示した他の航跡に比べて移動体の真の航跡に最も近い航跡となる。
つまり、図1に示した追尾部14は、観測領域Ar内の複数の部分領域dAから抽出された観測点において移動体が観測されたとする仮説を含め、移動体の考えられる航跡を示す仮説を漏れなく含む仮説の集合を受けることができる。
そして、図1に示した追尾部14は、移動体の考えられる航跡を示す仮説を漏れなく含む仮説の集合の中から尤もらしい仮説を選択し、選択した仮説で示される航跡を、移動体の尤もらしい航跡として選択する。これにより、図1に示した追尾装置10は、観測領域Arの撮影にかかる時間内に生じた移動体の速度などの変化に応じて、複数の部分領域dAの撮影が一巡する間に移動体の航跡が変化する場合でも、従来よりも高い精度で移動体の航跡を追尾することができる。
図4は、図1に示した追尾装置10の動作を示す。図4に示したステップS301〜ステップS307の処理は、図1に示した追尾装置10の動作を示すとともに、追尾方法および追尾プログラムの一実施形態を示す。例えば、図4に示す処理は、追尾装置10に搭載されたプロセッサが追尾プログラムを実行することで実現される。なお、図4に示す処理は、追尾装置10に搭載されるハードウェアによって実行されてもよい。
追尾装置10は、図4に示したステップS301〜ステップS307の処理を、例えば、撮影装置EQにより観測領域Arが撮影される毎に実行する。
ステップS301において、推定部13は、図1に示した観測領域Arに含まれる部分領域dAのそれぞれを赤外線センサSCによって順次に撮影することで得られる画像から、画像処理部GPによって抽出された観測点の情報を受ける。
ステップS302において、予測部11は、それまでに生成された航跡の一つに基づいて、ステップS301で部分領域が撮影された時刻における移動体の予測位置を含むゲート領域を求める。
ステップS303において、抽出部12は、ステップS301の処理で受けた観測点がステップS302の処理で求められたゲート領域に含まれているか否かを判定する。
観測点がゲート領域内である場合に(ステップS303の肯定判定(YES))、抽出部12は、ステップS301の処理で受けた観測点を示す情報を推定部13に渡し、受けた情報に基づき、推定部13は、ステップS304の処理を実行する。
ステップS304において、推定部13は、ステップS302の処理でゲート領域の予測に用いられた航跡と観測点の情報を用いて新たな第1航跡を推定する。ステップS304の処理において、推定部13は、抽出された観測点で移動体が観測されたとする第1航跡を示す仮説とともに、観測点の抽出に用いられたゲート領域において移動体が観測されなかったとする仮説を生成する。また、推定部13は、新たな第1航跡の推定とともに、観測点の抽出に用いられたゲート領域において移動体が観測されなかったとする仮説で示される第2航跡の推定を行う。
ステップS304の処理の終了後あるいはステップS303の否定判定(NO)の場合に、処理は、ステップS305の処理に移行する。
ステップS305において、予測部11は、それまでに推定された航跡の全てについて、ゲート領域を予測する処理を実行したか否かを判定する。予測部11は、例えば、ステップS301の処理で撮影された部分領域dAよりも前に行われた部分領域dAの撮影までに推定された航跡の全てについてゲート領域を求めたか否かを判定する。
まだゲート領域を求めていない仮説がある場合に(ステップS305の否定判定(NO))、予測部11は、ステップS302の処理に戻り、未処理の仮説の一つについて、ゲート領域を求める処理を実行する。
ステップS302〜ステップS305の処理を繰り返すことにより、全ての仮説についてのゲート領域の予測と予測されたゲート領域を用いた仮説の生成が完了した場合に(ステップS305の肯定判定(YES))、処理は、ステップS306の処理に移行する。
ステップS306において、推定部13は、観測領域Arに含まれる全ての部分領域dAの撮影が完了したか否かを判定する。
まだ撮影されていない部分領域dAがある場合に(ステップS306の否定判定(NO))、処理はステップS301の処理に戻り、抽出部12は、撮影装置EQによる新たな部分領域dAの撮影に応じて、撮影された部分領域dAから抽出された観測点の情報を受ける。
ステップS301〜ステップS306の処理を繰り返すことにより、観測領域Arに含まれる全ての部分領域dAについての処理が完了した場合に(ステップS306の肯定判定(YES))、追尾部14は、ステップS307の処理を実行する。
ステップS307において、追尾部14は、ステップS301〜ステップS306の処理を繰り返す過程で、推定部13によって生成された複数の仮説の中から、他の仮説よりも尤もらしい仮説を選択することで、移動体の尤もらしい航跡を選択する。
以上に説明したステップS301〜ステップS306の処理を繰り返すことで生成された仮説の集合は、図2、図3を用いて説明したように、複数の部分領域dAにおいて移動体が観測される航跡を示す仮説を含め、考えられる航跡を示す仮説を漏れなく含んでいる。
したがって、追尾部14は、ステップS301〜ステップS306の処理を繰り返すことで生成された仮説の集合から尤もらしい仮説を選択することで、従来よりも高い精度で移動体の航跡を追尾することが可能である。
なお、図1に示した予測部11は、図4に示したステップS302の処理をそれまでに推定された全ての航跡について並行して実行してもよい。また、図1に示した抽出部12および推定部13は、予測部11により並行して求められたゲート領域のそれぞれを用いて、ステップS303およびステップS304の処理を実行してもよい。
また、図1に示した観測領域Arに複数の移動体が存在する場合に、追尾装置10は、例えば、移動体のそれぞれに対応して、移動体の航跡を示す仮説をまとめたクラスタを生成し、各クラスタについて図4で説明した追尾処理を実行することが望ましい。
図5は、追尾装置10の別実施形態を示す。なお、図5に示す構成要素のうち、図1に示した構成要素と同等のものは、同一の符号で示され、その説明は省略される場合がある。
図5に示した追尾装置10は、図1に示した予測部11と抽出部12と推定部13と追尾部14とに加えて、出力部15を含んでいる。また、図5に示した追尾部14は、評価部141と、選択部142とを含んでいる。
評価部141は、例えば、撮影装置EQによって観測領域Arに含まれる各部分領域dAが撮影される過程で、推定部13によって生成される仮説のそれぞれの尤度を評価する。
評価部141は、第1航跡を示す各仮説の尤度を、第1航跡の生成に用いた観測点が抽出された部分領域dAと観測点の抽出に用いられたゲート領域とが重複する部分の面積が大きいほど大きい値とする。また、評価部141は、第2航跡を示す各仮説の尤度を、撮影された部分領域dAと観測点の抽出に用いられたゲート領域とが重複する部分の面積が小さいほど大きい値とする。
例えば、評価部141は、第1航跡を示す仮説のそれぞれの尤度の評価に、第1航跡の生成に用いられた航跡を示す仮説について求められた尤度と、第1航跡の生成に用いた観測点が抽出された部分領域において移動体が観測される確率とを用いる。例えば、評価部141は、図3の仮説の木に示した仮説h2の尤度の評価に、仮説h2の親に当たる仮説h1の尤度と、図2に示した部分領域dA_2で移動体が観測される確率とを用いる。
また、評価部141は、第2航跡のそれぞれを示す仮説の尤度の評価に、第2航跡の生成に用いられた航跡を示す仮説について求められた尤度と、撮影された部分領域において移動体が観測されない確率とを用いる。例えば、評価部141は、図3の仮説の木に示した仮説h3の尤度の評価に、仮説h3の親に当たる仮説h1の尤度と、図2に示した部分領域dA_2で移動体が観測されない確率とを用いる。ここで、図2に示した部分領域dA_2で移動体が観測されない確率は、図2に示した部分領域dA_2で移動体が観測される確率を数値1から減じた値として求めることができる。
移動体が部分領域dAにおいて観測される確率および観測されない確率を用いることにより、図5に示した評価部141は、全ての部分領域dAの撮影が完了する前に、個々の部分領域dAの撮影の際に生成された各仮説の尤度を評価することができる。
なお、第1航跡の生成に用いた観測点が抽出された部分領域において移動体が観測される確率の算出に用いる手法を含めて、評価部141が、各仮説の尤度を評価する手法については、図6〜図9を用いて説明する。
また、図5に示した選択部142は、例えば、撮影装置EQによる各部分領域dAの撮影が一巡する毎に、それまでに生成された仮説の尤もらしさを評価部141が評価することで得られた各仮説の尤度を比較する。そして、選択部142は、比較結果に基づいて、他の仮説よりも尤度の高い少なくとも一つの仮説を選択し、選択した少なくとも一つの仮説で示される航跡を、それまでの追尾結果から得られた過去の航跡として、予測部11および表示装置DSPに渡す。
選択部14は、例えば、図3に示した仮説の木の葉に当たる仮説h7、h8、h9、h10のそれぞれについて評価部141によって得られた尤度を互いに比較し、最も尤度の高い仮説を含む少なくとも一つの仮説で示される航跡を選択してもよい。また、選択部14は、図3を用いて説明した“枝刈り”処理を行うことで、航跡の選択を行ってもよい。
また、図5に示した出力部15は、図1に示した複数の部分領域dAが撮影装置EQにより撮影されていく過程で、評価部141により各仮説について求められた尤度を示す情報を受け、受けた情報により尤度が第2閾値以上であることが示された仮説を検出する。また、出力部15は、尤度が第2閾値以上であることが示された仮説を検出するごとに、検出した仮説で示される航跡を表す情報を例えば表示装置DSPに渡し、検出した仮説で示される航跡を表示させる。
出力部15において用いる第2閾値は、例えば、仮説について得られた尤度に基づいて、移動体の航跡を示す可能性が高いか否かを判定する際に用いる閾値と同程度の値を設定することが望ましい。
図5に示した追尾装置10において、評価部141は、各部分領域dAの撮影の際に推定部13で生成された各仮説の尤度を評価し、出力部15は、評価部141により、第2閾値以上の尤度を持つとされた仮説で示される航跡を、表示装置DSPを介して出力する。
これにより、2m個の部分領域dAの撮影が完了する前に、各部分領域dAの撮影の際に推定された航跡の中で他の航跡よりも尤度が高いとされた航跡を検出し、検出した航跡を表示装置DSPに移動体の確からしい航跡として表示させることができる。すなわち、図5に示した追尾装置10は、観測領域Arに含まれる全ての部分領域dAの撮影の完了を待たずに、移動体の確からしい航跡を表示装置DSPに表示させ、追尾装置10の操作者に対して、最新の情報を早期に提示することができる。
ところで、各部分領域dAにおいて移動体が観測される確率は、部分領域dAが撮影された際に求められたゲート領域と部分領域dAとが重複する部分に移動体が存在する確率と、移動体が観測領域Arで観測される確率Pdとの積として求められる。移動体が観測領域Arで観測される確率Pdは、例えば、数値0.9程度あるいはそれ以上の数値1に近い値に設定される定数である。一方、ゲート領域と部分領域dAとが重複する部分に移動体が存在する確率は、ゲート領域と部分領域dAとが重複する部分について、移動体が存在する確率密度を示す関数を積分することで求められる。
ここで、各部分領域dAが撮影される時刻におけるゲート領域は、それまでに推定部13によって推定された互いに異なる航跡のそれぞれについて求められる。例えば、図1に示した観測領域Arにおいてj番目の部分領域dA_jが撮影されるまでの過程で、L(Lは正の整数)個の新たな航跡が推定されている場合に、図5に示した予測部11は、過去の航跡TrpとL個の新たな航跡とに基づいてゲート領域を求める。
以下の説明では、過去の航跡TrpとL個の新たな航跡とのそれぞれを、航跡を示す符号“Tr”と、過去の航跡を示す符号“p”または新たな航跡のそれぞれを区別する番号を示す符号“c”とを組み合わせた符号Trcで示す。また、航跡Trcに基づいて、部分領域dA_jが撮影された時刻t_jについて求められたゲート領域を、ゲート領域を示す符号“G”と、航跡のそれぞれ区別する符号“c”とを組み合わせた符号“Gc”を用いて、ゲート領域Gc(j)のように示す。また、ゲート領域Gc(j)と部分領域dA_jとが重複する部分は、重複部分Sc_jと称される。また、複数の部分領域dAの撮影が一巡する過程で、図1または図5に示した抽出部12によりM個の観測点が抽出された場合に、各観測点は、観測点を示す符号“Z”と個々の観測点を区別する番号i(iは整数M以下の正の整数)とを用いて観測点Ziと称される。
評価部141は、部分領域dA_jが撮影された時刻tjにおいて、航跡Trcに従って移動する移動体が部分領域dA_jとゲート領域Gc(j)とが重複する部分である重複部分Sc_jに存在する確率Pc_jを、例えば、式(1)により算出する。
Figure 0006291763
なお、式(1)において、関数Nc_j(x,y)は、航跡Trcに基づいて時刻tjについて求められたゲート領域Gc(j)における移動体の存在の確率密度であり、航跡Trcに従う移動体の時刻tjにおける予測位置を期待値とする2次元の正規分布を示す。
図5に示した評価部141は、式(1)で算出した確率Pc_jと、図3に示した仮説の木で示される仮説間の階層構造とを用いて、各仮説で示される航跡の尤度を評価する。例えば、評価部141は、評価の対象となる仮説hbが、図3に示した仮説の木において白い円形で示した第1航跡を示す仮説である場合に、当該仮説の尤度L(hb)を式(2)を用いて評価する。
Figure 0006291763
式(2)において、数値L(hf)は、評価の対象となる仮説hbの親に当たる仮説hfについて求められた尤度を示す。ここで、評価の対象となる仮説hbの親に当たる仮説とは、仮説hbが生成される際のゲート領域Gc(j)を求める際に用いられた航跡Trcを示す仮説である。例えば、図3に示した仮説h2の親の仮説である仮説h1は、図2に示したゲート領域Gp(2)の算出に用いられた、過去の航跡Trpを延長した航跡を示す仮説である。また、式(2)において、数値Nc_j(Xzi,Yzi)は、観測点Ziにおける移動体の存在の確率密度を示す。また、式(2)において、式(1)で求められた確率Pc_jと確率Pdとの積は、仮説hfで示される航跡Trcで移動する移動体が部分領域dA_jで観測される確率を示す。即ち、式(2)にて、仮説hbの尤度L(hb)は、親の仮説hfの尤度L(hf)と、仮説hfで示される航跡Trcで移動する移動体が部分領域dA_jで観測される確率と、観測点Ziにおける移動体の存在の確率密度Nc_j(Xzi,Yzi)との積で示される。
また、評価部141は、評価の対象となる仮説hbが、図3に示した仮説の木において網掛けされた円形で示した第2航跡を示す仮説である場合に、当該仮説の尤度L(hb)を式(3)を用いて評価する。
Figure 0006291763
式(3)において、数値L(hf)は、式(2)と同じく、評価の対象となる仮説hbの親に当たる仮説hfについて求められた尤度を示す。また、式(3)において、式(1)で求められた確率Pc_jと確率Pdとの積を数値1から減じた値は、仮説hfで示される航跡Trcで移動する移動体が部分領域dA_jで観測されない確率を示す。即ち、式(3)にて、仮説hbの尤度L(hb)は、親の仮説hfの尤度L(hf)と、仮説hfで示される航跡Trcで移動する移動体が部分領域dA_jで観測されない確率との積で示される。
式(2)を用いることにより、第1航跡を示す仮説hbの尤度L(hb)として、式(1)を用いて移動体が存在する確率を算出する対象となる範囲であるゲート領域Gc(j)と部分領域dA_jとの重複部分Sc_jが大きいほど大きな値を求めることができる。一方、式(3)を用いることにより、第2航跡を示す仮説hbの尤度L(hb)として、式(1)を用いて移動体が存在する確率を算出する対象となる範囲であるゲート領域Gc(j)と部分領域dA_jとが重なる部分が小さいほど大きな値を求めることができる。
以下では、図2に示した各航跡Trp,Tr1に従って移動体が移動する場合について、部分領域dA_1,dA_2,dA_2m−1,dA_2mのそれぞれにおいて移動体が観測される確率を算出し、算出した確率を用いて仮説の尤度を評価する例が説明される。
図6は、図3に示した各仮説の尤度の計算例を示す。図6に示した表において、“仮説”で示した列に含まれる各符号は、図3の仮説の木に含まれる仮説h1〜h10をそれぞれ示す。また、図6に示した表において、“仮説の尤度”で示した列に含まれる数式L(h1),L(h2),L(h3),L(h4),L(h5),L(h6),L(h7),L(h8),L(h9),L(h10)のそれぞれは、仮説h1〜h10のそれぞれの尤度を示す。
図7〜図9は、式(1)において移動体の存在の確率密度を積分する範囲の例を示す。なお、図7〜図9において、図1に示した観測領域Arに含まれる2m個の部分領域dAのうち、部分領域dA_1,dA_2,dA_2m−1,dA_2m以外の部分領域dAの図示は省略されている。また、図7〜図9において、x軸は水平方向を示し、y軸は鉛直方向を示す。また、図7〜図9に示した要素のうち、図2に示した要素と同等のものは同じ符号で示され、その説明は省略される場合がある。
図7(A)は、図3に示した仮説h1の尤度を算出する際に、式(1)において移動体の存在の確率密度を積分する範囲、即ち、航跡Trpに従って移動する移動体の存在の確率密度を示すゲート領域Gp(1)と部分領域dA_1との重複部分Sp_1を示す。図7(A)の例では、ゲート領域Gp(1)のうち、部分領域dA_1に含まれる部分である重複部分Sp_1は、網掛けが付された領域として示されている。なお、図7(A)において、白い円形で示した点Qe(Trp,1)は、航跡Trpに基づいて算出された、部分領域dA_1が撮影された時刻t_1における移動体の予測位置を示す。
図3の仮説の木に示した仮説h1は、過去の航跡Trpの速度および加速度を引き継いだ第2航跡を示す仮説であるので、図5に示した評価部141は、仮説h1の尤度L(h1)の評価に式(3)を用いる。
ここで、図7(A)に示した重複部分Sp_1の面積は、ゲート領域Gp(1)の面積の4分の1よりも少ないため、移動体が重複部分Sp_1内に存在する確率Pp_1として式(1)によって求められる値は、数値0.25よりも小さい。したがって、航跡Trpに従って移動する移動体が部分領域dA_1において観測されない確率は、数値0.75よりも大きい値となる。このため、評価部151は、仮説h1の尤度L(h1)として、過去の航跡Trpを示す仮説の尤度L(hp)と数値0.75との積よりも大きい値を得る。
そして、例えば、仮説h1の尤度L(h1)が、図5で説明した第2閾値よりも大きい場合に、図5に示した出力部15は、仮説h1で示される航跡Trpを部分領域dA_1が撮影された時点における確からしい航跡として検出し、表示装置DSPに表示させる。
図7(B)は、図3に示した仮説h2、h3の尤度を算出する際に、式(1)において移動体の存在の確率密度を積分する範囲、即ち、航跡Trpに従って移動する移動体の存在の確率密度を示すゲート領域Gp(2)と部分領域dA_2との重複部分Sp_2を示す。図7(B)の例では、破線で囲んで示したゲート領域Gp(2)のうち、部分領域dA_2に含まれる部分である重複部分Sp_2は、網掛けが付された領域として示されている。なお、図7(B)において、白い円形で示した点Qe(Trp,2)は、航跡Trpに基づいて算出された、部分領域dA_2が撮影された時刻t_2における移動体の予測位置を示す。
図3の仮説の木に示した仮説h2は、過去の航跡Trpを観測点Z1の情報を用いて更新することで得られる第1航跡である航跡Tr1を示す仮説であり、仮説h3は、過去の航跡Trpの速度および加速度を引き継いだ第2航跡を示す仮説である。このため、図5に示した評価部141は、仮説h2の尤度L(h2)の評価に式(2)を用い、仮説h3の尤度L(h3)の評価に式(3)を用いる。
図7(B)に示した重複部分Sp_2の面積は、ゲート領域Gp(2)の面積のおおよそ4分の1程度であるので、移動体が重複部分Sp_2内に存在する確率Pp_2として式(1)によって求められる値は、数値0.25程度である。したがって、仮説h2の尤度L(h2)は、式(2)より、親に当たる仮説h1の尤度L(h1)を0.25倍し、更に、定数Pdを乗じた値に、観測点Z1における確率密度Np_2(Xz1,Yz1)を乗じた値で示される。なお、図6に示した尤度L(h2)において、観測点Z1における確率密度Np_2(Xz1,Yz1)は、ゲート領域Gp(2)を示す正規分布Np_2に観測点Z1の座標(Xz1,Yz1)を代入して得られる値である。一方、航跡Trpに従って移動する移動体が部分領域dA_2において観測されない確率は数値0.75程度となるので、仮説h3の尤度L(h3)は、仮説h1の尤度L(h1)を0.75倍した値とほぼ同等の値となる。
そして、例えば、仮説h2、h3について求められた尤度L(h2),L(h3)のそれぞれが第2閾値を超えていれば、図5に示した出力部15により、仮説h2で示される航跡Tr1および仮説h3で示される航跡Trpの双方が確からしい航跡として出力される。
図8(A)は、図3に示した仮説h4、h5の尤度を算出する際に、式(1)にて移動体の存在の確率密度を積分する範囲、即ち、航跡Tr1に従って移動する移動体についてのゲート領域G1(2m−1)と部分領域dA_2m−1との重複部分S1_2m−1を示す。図8(A)の例では、破線で囲んで示したゲート領域G1(2m−1)のうち、部分領域dA_2m−1に含まれる部分である重複部分S1_2m−1は、網掛けが付された領域として示されている。なお、図8(A)において、白い円形で示した点Qe(Tr1,2m−1)は、航跡Tr1に基づいて算出された、部分領域dA_2m−1が撮影された時刻t_2m−1における移動体の予測位置を示す。
図3の仮説の木に示した仮説h4は、航跡Tr1を観測点Z2の情報を用いて更新することで得られる第1航跡である航跡Tr2を示す仮説であり、仮説h5は、航跡Tr1の速度および加速度を引き継いだ第2航跡を示す仮説である。このため、図5に示した評価部141は、仮説h4の尤度L(h4)の評価に式(2)を用い、仮説h5の尤度L(h5)の評価に式(3)を用いる。
図8(A)に示した重複部分S1_2m−1の面積は、ゲート領域G1(2m−1)の面積ほぼ全体であるので、移動体が重複部分S1_2m−1内に存在する確率P1_2m−1として式(1)によって求められる値は、おおよそ数値1となる。したがって、仮説h4の尤度L(h4)は、式(2)より、親に当たる仮説h2の尤度L(h2)に定数Pdを乗じた値に、観測点Z2における確率密度N1_2m−1(Xz2,Yz2)を乗じた値で示される。なお、図6に示した尤度L(h4)において、観測点Z2における確率密度N1_2m−1(Xz2,Yz2)は、ゲート領域G1(2m−1)を示す正規分布N1_2m−1に観測点Z2の座標(Xz2,Yz2)を代入して得られる値である。図8(A)の例では、観測点Z2と移動体の予測位置Qe(Tr1,2m−1)との距離は、例えば、ゲート領域G1(2m−1)を示す楕円の短径に比べて短い。したがって、観測点Z2における確率密度は、ゲート領域G1(2m−1)内での平均的な確率密度よりも大きい値となるので、評価部141によって求められる仮説h4の尤度L(h4)は、後述する仮説h6の尤度L(h6)に比べて大きくなる可能性がある。一方、航跡Trpに従って移動する移動体が部分領域dA_2において観測されない確率は数値0に近い値となるので、式(3)を用いて求められる仮説h5の尤度L(h5)は、数値0に近い値となる。
図8(B)は、図3に示した仮説h6の尤度を算出する際に、式(1)において移動体の存在の確率密度を積分する範囲、即ち、航跡Trpに従って移動する移動体についてのゲート領域Gp(2m−1)と部分領域dA_2m−1との重複部分Sp_2m−1を示す。図8(B)の例では、破線で囲んで示したゲート領域Gp(2m−1)のうち、部分領域dA_2m−1に含まれる部分である重複部分Sp_2m−1は、網掛けが付された領域として示されている。なお、図8(B)において、白い円形で示した点Qe(Trp,2m−1)は、航跡Trpに基づいて算出された、部分領域dA_2m−1が撮影された時刻t_2m−1における移動体の予測位置を示す。
図3の仮説の木に示した仮説h6は、仮説h3で示される航跡の速度および加速度を引き継いだ第2航跡を示す仮説であるので、図5に示した評価部141は、仮説h6の尤度L(h6)の評価に式(3)を用いる。
ここで、図8(B)に示した重複部分Sp_2m−1の面積は、ゲート領域Gp(2m−1)の面積の4分の3以上であるため、移動体が重複部分Sp_2m−1内に存在する確率Pp_2m−1として式(1)によって求められる値は、数値0.75よりも大きい。したがって、航跡Trpに従って移動する移動体が部分領域dA_2m−1において観測されない確率は、数値0.25よりも小さい値となる。このため、評価部151は、仮説h6の尤度L(h6)として、親に当たる仮説h3の尤度L(h3)と数値0.25との積よりも小さい値を得る。
そして、仮説h4、h5、h6について求められた尤度L(h4),L(h5),L(h6)のうち、例えば、尤度L(h4)が第2閾値以上である場合に、出力部15は、仮説h4を時刻t_2m−1において確からしい仮説として検出する。そして、出力部15は、仮説h4で示される航跡Tr2を示す情報を表示装置DSPに渡すことで、表示装置DSPを介して航跡Tr2を確からしい航跡として出力する。
図9(A)は、図3に示した仮説h7、h8の尤度を算出する際に、式(1)において移動体の存在の確率密度を積分する範囲を示す。図9(A)の例では、破線で囲んで示したゲート領域G1(2m)と点線で囲んで示したゲート領域G2(2m)とは、いずれも部分領域dA_2mに含まれる部分を持っていない。すなわち、図9(A)の例では、ゲート領域G1(2m)またはゲート領域G2(2m)と部分領域dA_2mとの重複部分S1_2m、S2_2mは、いずれも存在しない。なお、図9(A)において、白い円形で示した点Qe(Tr1,2m)は、航跡Tr1に従う移動体の部分領域dA_2mが撮影された時刻t_2mにおける予測位置を示す。図9(A)においては、航跡Tr2に従う移動体の部分領域dA_2mが撮影された時刻t_2mにおける予測位置の図示は省略されている。
図3の仮説の木に示した仮説h7は、仮説h4で示される航跡、即ち、航跡Tr2の速度および加速度を引き継いだ第2航跡を示す仮説であるので、図5に示した評価部141は、仮説h7の尤度L(h7)の評価に式(3)を用いる。また、図3の仮説の木に示した仮説h8は、仮説h5で示される航跡、即ち、図2に示した航跡Tr1の速度および加速度を引き継いだ第2航跡を示す仮説であるので、図5に示した評価部141は、仮説h8の尤度L(h8)の評価に式(3)を用いる。
ここで、図9(A)に示したように、重複部分S2_2mの面積は数値0に等しいので、移動体が重複部分S2_2m内に存在する確率P2_2mとして式(1)によって求められる値は数値0に等しい。したがって、航跡Tr2に従って移動する移動体が部分領域dA_2mにおいて観測されない確率は、数値1となる。このため、評価部151は、仮説h7の尤度L(h7)として、親に当たる仮説h4の尤度L(h4)と同じ値を得る。同様に、重複部分S1_2mの面積は数値0に等しいので、移動体が重複部分S1_2m内に存在する確率P1_2mとして式(1)によって求められる値は数値0に等しい。したがって、航跡Tr1に従って移動する移動体が部分領域dA_2mにおいて観測されない確率は、数値1となる。このため、評価部151は、仮説h8の尤度L(h8)として、親に当たる仮説h5の尤度L(h5)と同じ値を得る。
図9(B)は、図3に示した仮説h9、h10の尤度を算出する際に、式(1)にて移動体の存在の確率密度を積分する範囲、即ち、航跡Trpに従って移動する移動体についてのゲート領域Gp(2m)と部分領域dA_2mとの重複部分Sp_2mを示す。図9(B)の例では、破線で囲んで示したゲート領域Gp(2m)のうち、部分領域dA_2mに含まれる部分である重複部分Sp_2mは、網掛けが付された領域として示されている。なお、図9(B)において、白い円形で示した点Qe(Trp,2m)は、航跡Trpに基づいて算出された、部分領域dA_2mが撮影された時刻t_2mにおける移動体の予測位置を示す。
図3の仮説の木に示した仮説h9は、航跡Trpを観測点Z3の情報を用いて更新することで得られる第1航跡である航跡Tr3を示す仮説であり、仮説h10は、航跡Trpの速度および加速度を引き継いだ第2航跡を示す仮説である。このため、図5に示した評価部141は、仮説h9の尤度L(h9)の評価に式(2)を用い、仮説h10の尤度L(h10)の評価に式(3)を用いる。
図9(B)に示した重複部分Sp_2mの面積は、ゲート領域Gp(2m)の面積の4分の1よりも小さいので、移動体が重複部分Sp_2m内に存在する確率Pp_2mとして式(1)によって求められる値は、数値0.25よりも小さくなる。したがって、仮説h9の尤度L(h9)は、式(2)より、親に当たる仮説h6の尤度L(h6)を0.25倍し、更に、定数Pdを乗じた値に、観測点Z3における確率密度Np_2m(Xz3,Yz3)を乗じた値で示される。なお、図6に示した尤度L(h9)において、観測点Z3における確率密度Np_2m(Xz3,Yz3)は、ゲート領域Gp(2m)を示す正規分布Np_2mに観測点Z3の座標(Xz3,Yz3)を代入して得られる値である。ここで、図9(B)の例では、観測点Z3は移動体の予測位置Qe(Trp,2m)よりもゲート領域Gp(2m)の縁に近い位置にある。このため、観測点Z3における確率密度Np_2m(Xz3,Yz3)は、ゲート領域Gp(2m)における平均的な確率密度よりも小さい値となる。一方、航跡Trpに従って移動する移動体が部分領域dA_2mにおいて観測されない確率は数値0.75よりも大きいとなるので、仮説h10の尤度L(h10)は、仮説h6の尤度L(h6)に数値0.75を乗じた値よりも大きい値となる。
図9(A),(B)で説明したようにして求められた仮説h7〜h10の尤度L(h7)〜L(h10)は、図5に示した出力部15において第2閾値と比較される。そして、例えば、尤度L(h7)が第2閾値よりも大きい値として求められた場合に、出力部15により、仮説h7が時刻t_2mにおける確からしい仮説として検出され、仮説h7で示される航跡Tr2を表示装置DSPにより表示させる処理が行われる。
以上、図6から図9を用いて説明したようにして、図5に示した評価部141は、図3に示した各仮説h1〜h10が生成された時点において、それぞれの尤度L(h1)〜L(h10)を求める。そして、求めた尤度L(h1)〜L(h10)に基づいて、図5に示した出力部15は、各部分領域が撮影された時点において尤度が求められた仮説の中から、第2閾値よりも大きい尤度が求められた仮説を検出する。また、出力部15は、検出した仮説で示される航跡を示す情報を表示装置DSPに表示させる処理を行う。一方、選択部142は、例えば、評価部141による仮説h1〜h10の尤度L(h1)〜L(h10)の算出が完了した後に、尤度L(h1)〜L(h10)に基づいて、仮説h1〜h10の中から尤もらしい仮説を選択する。
評価部141は、式(1)および式(2)を用いることで、ゲート領域と撮影された部分領域との重複部分の面積が大きいほど、重複部分から抽出された観測点で移動体が観測されるとする仮説の尤度として大きい値を得る。また、評価部141は、式(1)および式(3)を用いることで、ゲート領域と撮影された部分領域との重複部分の面積が小さいほど、重複部分において移動体が観測されないとする仮説の尤度として大きい値を得る。
これにより、評価部141は、例えば、仮説h7のように、複数の部分領域dAにて移動体が観測されるとする仮説の尤度として、仮説h8、h9のように、観測領域Ar内で一回だけ移動体が観測されるとする仮説の尤度と同じ尺度で比較できる値を得る。即ち、評価部141は、複数の部分領域dAから抽出された観測点を反映した航跡を示す仮説と、複数の部分領域dAの一つで抽出された観測点を反映した航跡を示す仮説とのどちらが尤もらしいかを、互いの比較で判定することが可能な尤度を求めることができる。
したがって、選択部142は、各仮説について評価部141によって求められた尤度を互いに比較することで、2m個の部分領域dAが撮影される過程で生成された複数の仮説の中から尤もらしい仮説を選択することができる。
以上に説明したように、推定部13から選択部142に渡される仮説の集合は、2m個の部分領域dAが撮影される過程において速度などが変化した航跡を含め、過去の航跡から遷移することが考えられる航跡を示す仮説を漏れなく含んでいる。
したがって、選択部142は、推定部13で生成された全ての仮説を含む仮説の集合から、他の仮説よりも尤度の高い仮説を選択することで、複数の部分領域dAを撮影する過程で推定された複数の航跡から確からしい航跡を選択することができる。
つまり、ゲート領域と撮影された部分領域との重複部分の面積を用いて仮説の尤度を評価する評価部141を含む追尾装置10は、観測領域Arが撮影される過程で移動体の航跡が変化する場合にも、移動体の航跡を従来に比べて高い精度で追尾可能である。
なお、図5に示した評価部141が尤度の算出に用いる手法は、式(1)から式(3)で示した手法に限らず、各仮説の尤度の算出に、ゲート領域と撮影された部分領域との重複部分に移動体が存在する確率を用いる手法であればよい。
例えば、評価部141は、各部分領域dAにおいて移動体が観測されないとする仮説の尤度の評価に、式(4)を用いてもよい。式(4)において、数値(1−Pd)の指数部を示す数値γは、各部分領域の撮影が一巡する間に移動体が観測される可能性がある範囲を示す拡大されたゲート領域として、移動体の過去の航跡に基づいて求められた範囲の少なくとも一部を含む部分領域の数を示す。つまり、式(4)において、各部分領域の撮影が一巡する間について求められた、拡大されたゲート領域と各部分領域dAとの重複部分に移動体が存在しない確率は、数値(1−Pd)のγ分の1乗で示される。例えば、観測領域Arの全体がk回目に撮影される間について求められた、拡大されたゲート領域が4つの部分領域dAに跨る場合に、各部分領域dAとゲート領域との重複部分に移動体が存在しない確率は、数値(1−Pd)の4分の1乗で示される。
Figure 0006291763
ここで、数値γが大きい場合に、各部分領域dAと拡大されたゲート領域との重複部分の面積は、数値γが小さい場合に比べて小さくなる。そして、数値γが大きい場合に、重複部分に移動体が存在しない確率を示す値、即ち、数値(1−Pd)のγ分の1乗の値は、数値γが小さい場合に比べて大きくなる。すなわち、数値(1−Pd)のγ分の1乗により、重複部分に移動体が存在しない確率を示す式(4)を用いる手法は、ゲート領域と撮影された部分領域との重複部分に移動体が存在する確率を用いる手法の一例である。
仮説の尤度の評価に式(4)を用いる場合に、全ての部分領域dAにおいて移動体が観測されないとする仮説の尤度は、数値(1−Pd)のγ分の1乗で示される値をγ回にわたって相乗した値と過去の航跡を示す仮説の尤度との積となる。ここで、数値(1−Pd)のγ分の1乗をγ回にわたって相乗した値は、数値(1−Pd)に等しい。したがって、評価部141が式(4)を用いる場合に、全ての部分領域dAにおいて移動体が観測されないとする仮説の尤度は、過去の航跡を示す仮説の尤度と数値(1−Pd)の積で示される。すなわち、評価部141は、全ての部分領域dAにおいて移動体が観測されないとする仮説の尤度として、観測領域Arの撮影が完了してから仮説を生成する場合と同じ値を得ることができる。なお、各部分領域において移動体が観測されない確率を示す値は、式(4)に示した値に限らず、互いに相乗することで数値(1−Pd)となる値であればよい。例えば、評価部141は、拡大されたゲート領域のうち各部分領域に含まれる部分の割合により数値(1−Pd)を累乗した値を用いて、各部分領域dAにおいて移動体が観測されないとする仮説の尤度を評価してもよい。
また、評価部141は、式(2)を用いて、撮影された部分領域から抽出された観測点を用いて生成された第1航跡を示す仮説の尤度を評価する際に、評価の対象となる仮説hbの親に当たる仮説hfの尤度L(hf)に対して、次に述べる補正を行ってもよい。
評価部141は、例えば、評価の対象となる仮説hbの親に当たる仮説hfから前のフレームまでの追尾処理で得られた過去の航跡を示す仮説hpあるいは別の第1航跡を示す仮説まで図3に示した仮説の木をさかのぼる。そして、評価部141は、仮説の木をさかのぼる過程で、観測点の情報を用いないで生成された仮説を検出する。また、評価部141は、検出した仮説の尤度が評価された際に乗じられた「移動体が観測されない確率」の相乗により、仮説hfについて得られた尤度L(hf)を除算することで、移動体が観測されない確率による尤度の減少分を打ち消す。そして、評価部141は、除算によって得られた値で示される、仮説hfの補正後の尤度L(hf)を用いて、式(2)により、評価の対象である仮説hbの尤度L(hb)を算出する。
例えば、図3の仮説の木に示した仮説h2の尤度L(h2)を評価する際に、評価部141は、親に当たる仮説h1の尤度L(h1)について、移動体が観測されない確率による尤度の減少分を打ち消す補正を行う。つまり、評価部141は、尤度L(h1)が評価された際に乗じられた数値(1−Pd・Pp_1)で尤度L(h1)を除算することで、「移動体が部分領域dA_1とゲート領域Gp(1)との重複部分において観測されない確率」による尤度の減少分を打ち消す。そして、評価部141は、除算で得られた結果を尤度L(h2)の算出に用いる。移動体が観測されない確率による尤度の減少分を打ち消す補正を適用した場合に、仮説h2の尤度L(h2)は、式(5)で示される。
Figure 0006291763
同様に、移動体が観測されない確率による尤度の減少分を打ち消す補正を適用した場合に、仮説h9の尤度L(h9)は、式(6)で示される。
Figure 0006291763
以上に説明した補正により、評価部141は、先に撮影された1以上の部分領域にて移動体が観測されず、その後に撮影された部分領域にて観測されたとする仮説の尤度として、全ての部分領域の撮影が完了した際に仮説を生成する場合と同等の値を得ることができる。
以上に説明した本件開示の追尾装置10は、コンピュータ装置を用いて実現することができる。
図10は、図5に示した追尾装置10のハードウェア構成の一例を示す。なお、図10に示した構成要素のうち、図1に示した構成要素と同等のものは、同一の符号により示され、その説明は省略される場合がある。
コンピュータ装置20は、プロセッサ21と、メモリ22と、ハードディスク装置23と、汎用インタフェース24と、表示制御部25と、入力装置26と、光学ドライブ装置27とを含んでいる。図10に例示したプロセッサ21と、メモリ22と、ハードディスク装置23と、汎用インタフェース24と、表示制御部25と、入力装置26と、光学ドライブ装置27とは、バスを介して互いに接続されている。また、プロセッサ21とメモリ22とハードディスク装置23と汎用インタフェース24とは、追尾装置10に含まれる。
上述した光学ドライブ装置27は、光ディスクなどのリムーバブルディスク28を装着可能であり、装着したリムーバブルディスク27に記録された情報の読出および記録を行う。
図10に示した入力装置26は、例えば、キーボードやマウスなどである。追尾装置10の操作者は、入力装置26を操作することにより、追尾装置10に対して、例えば、撮影装置EQによる撮影で得られた画像に基づく移動体の追尾処理を開始させる指示などを入力することができる。
図10に示したメモリ22は、コンピュータ装置20のオペレーティングシステムとともに、プロセッサ21が図1〜図9を用いて説明した追尾処理を実行するためのアプリケーションプログラムを格納している。なお、追尾処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク28に記録することができる。そして、このリムーバブルディスク28を光学ドライブ装置27に装着して読み込み処理を行うことにより、追尾処理を実行するためのアプリケーションプログラムを、メモリ22およびハードディスク装置23に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、追尾処理を実行するためのアプリケーションプログラムをダウンロードし、メモリ22およびハードディスク装置23に読み込ませることもできる。
そして、プロセッサ21は、メモリ22に格納されたアプリケーションプログラムを実行することにより、図5に示した予測部11、抽出部12、推定部13、追尾部14および出力部15のそれぞれの機能を果たしてもよい。また、プロセッサ21は、予測部11、抽出部12、推定部13、追尾部14および出力部15として動作する際に用いる情報および生成した情報を、メモリ22あるいはハードディスク装置23内に設けた記憶領域に保持する。
また、図1に示した観測領域Arに複数の移動体が存在する場合に、追尾装置10は、例えば、移動体のそれぞれに対応して、移動体の航跡を示す仮説をまとめたクラスタを生成し、各クラスタについて図11で説明する追尾処理を実行することが望ましい。
また、プロセッサ21は、例えば、撮影装置EQにより、図1に示した観測領域Arに含まれる部分領域dA_1〜dA_2mの撮影が一巡するごとに、各部分領域dAの撮影で得られる画像に基づいて移動体の航跡を追尾する処理を実行する。
図11は、図10に示した追尾装置10による追尾処理を示す。図11に示したステップS301〜ステップS306およびステップS311〜ステップS314の各処理は、追尾処理処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップS301〜ステップS306およびステップS311〜ステップS314の各処理は、図10に示したプロセッサ21によって実行される。なお、図11に示したステップのうち、図4に示したステップと同等のものは、同じ符号で示される。
ステップS301において、プロセッサ21は、図10に示した汎用インタフェース24を介して、撮影装置EQによって撮影された部分領域dAから抽出された観測点を示す情報を受ける。
ステップS302において、プロセッサ21は、ステップS301の処理の際に撮影された部分領域dAよりも前に行われた部分領域dAの撮影の際に生成された仮説で示される航跡の一つに基づいてゲート領域を求める。
ステップS303において、プロセッサ21は、ステップS301の処理で受けた観測点が、ステップS302の処理で求めたゲート領域に含まれるか否かを判定する。
ステップS301の処理で受けた観測点が、ステップS302の処理で求めたゲート領域に含まれると判定された場合に(ステップS303の肯定判定(YES))、プロセッサ21は、ステップS304およびステップS311の処理を実行する。一方、ステップS301の処理で受けた観測点が、ステップS302の処理で求めたゲート領域に含まれないと判定された場合に(ステップS303の否定判定(NO))、プロセッサ21は、ステップS311の処理を実行する。
ステップS304において、プロセッサ21は、抽出された観測点で移動体が観測されたとする仮説を生成し、生成した仮説で示される第1航跡の状態ベクトルを、ゲート領域の算出に用いられた航跡の状態ベクトルと観測点の情報とを用いて推定する。
ステップS311において、プロセッサ21は、ゲート領域内で移動体が観測されなかったとする仮説を生成し、生成した仮説で示される第2航跡の状態ベクトルを、観測点の情報を用いずに、ゲート領域の算出に用いられた航跡の状態ベクトルから推定する。
ステップS305において、プロセッサ21は、ステップS301の処理で撮影された部分領域dAよりも前に撮影された部分領域dAについて、ステップS304あるいはステップS311の処理で得られた全航跡についてゲート領域を求めたか否かを判定する。
まだゲート領域を求めていない航跡がある場合に(ステップS305の否定判定(NO))、プロセッサ21は、ステップS302の処理に戻り、ステップS302〜ステップS304およびステップS311の処理を繰り返す。ステップS302〜ステップS304およびステップS311の処理を繰り返し実行していき、全ての航跡についての処理が完了した場合に(ステップS305の肯定判定)、プロセッサ21は、ステップS312の処理に進む。
ステップS312において、プロセッサ21は、ステップS304およびステップS311の処理で生成された各仮説の尤度を、図5〜図9で説明した式(1)〜式(3)を用いて評価する。なお、プロセッサ21は、ステップS312の処理で求めた各仮説の尤度をメモリ22あるいはハードディスク装置23に設けた記憶領域に保持させ、尤度の評価の対象となった各仮説の子に当たる仮説の尤度を評価する際に利用する。また、プロセッサ21は、各仮説の尤度を評価に際して、部分領域dAとゲート領域との重複部分において移動体が観測されない確率を求めた際に、求めた確率をメモリ22あるいはハードディスク装置23に設けた記憶領域に保持してもよい。そして、プロセッサ21は、メモリ22あるいはハードディスク装置23に保持させた「移動体が観測されない確率」を用いて、図5から図9および式(5)、(6)で説明したようにして、尤度を補正する処理を行ってもよい。
ステップS313において、プロセッサ21は、ステップS312の処理で求めた各仮説の尤度に基づいて、第2閾値以上の尤度を持つ仮説を検出し、検出した仮説で示される航跡を表示装置DSPに表示させる処理を行う。例えば、プロセッサ21は、メモリ22などからステップS312の処理で新たに求められた各仮説の尤度を読み出し、読み出した各仮説の尤度と第2閾値とを比較する。また、プロセッサ21は、比較の結果として、第2閾値以上の尤度を持つとされた仮説で示される航跡の状態ベクトルを、図10に示した表示制御部25に渡すことで、移動体の推定位置や運動の方向を表示装置DSPに表示させる。
ステップS306において、プロセッサ21は、図1に示した観測領域Arに含まれる2m個の部分領域dAの撮影が完了したか否かを判定する。
まだ撮影されていない部分領域dAがある場合に(ステップS306の否定判定(NO))、プロセッサ21は、ステップS301の処理に戻り、ステップS301〜ステップS306およびステップS311〜ステップS313の処理を繰り返す。
ステップS301〜ステップS306およびステップS311〜ステップS313の処理を繰り返すことで、全ての部分領域dAについての処理が完了した場合に(ステップS306の肯定判定(YES))、プロセッサ21は、ステップS314の処理を実行する。
ステップS314において、プロセッサ21は、各部分領域dAが撮影される過程でステップS312の処理により求められた各仮説の尤度に基づいて、図3で説明した枝刈り処理を実行することで仮説の選択を行う。枝刈り処理により残された仮説で示される航跡のそれぞれは、次に観測領域Arの各部分領域dAが撮影される際に、プロセッサ21により、前のフレームまでの追尾処理で得られた過去の航跡として用いられる。
以上に説明したように、図10に示した追尾装置10は、図2、図3を用いて説明したように、複数の部分領域dAにおいて移動体が観測されたとする仮説で示される航跡を含め、考えられる航跡を漏れなく含む航跡の集合から尤もらしい航跡を選択する。これにより、図10に示した追尾装置10は、従来よりも高い精度で移動体を追尾することが可能である。
また、図10に示した追尾装置10は、部分領域dAが撮影される毎に生成される仮説の尤度を評価し、第2閾値以上の尤度を持つ仮説で示される航跡を表示装置DSPに表示させる。これにより、観測領域Arに含まれる部分領域dAの撮影が一巡する前に、移動体の確からしい航跡を示す情報を追尾装置10の操作者に提示することができる。
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
以上の説明に関して、更に、以下の各項を開示する。
(付記1)
移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求める予測部と、
撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記予測部によって求められた前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出する抽出部と、
前記複数の部分領域のそれぞれが撮影される毎に、前記抽出部で抽出された観測点と前記観測点を含むゲート領域を求めるために用いられた前記航跡とを用いて新たな航跡を推定する推定部と、
前記推定部によって推定された新たな航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する追尾部と、
を備えたことを特徴とする追尾装置。
(付記2) 付記1に記載の追尾装置において、
前記推定部は、更に、前記観測点の情報を用いずに、前記ゲート領域を求めるために用いられた前記航跡に基づいて新たな航跡を推定し、
前記追尾部は、
前記複数の部分領域のそれぞれが撮影される毎に、前記推定部により、前記観測点の情報を用いて推定された航跡である第1航跡の尤度を、撮影された部分領域と前記部分領域が撮影された時刻について求められたゲート領域とが重複する部分の面積が大きいほど大きい値とし、前記推定部により、前記観測点の情報を用いずに推定された航跡である第2航跡の尤度を、前記撮影された部分領域と前記部分領域が撮影された時刻について求められたゲート領域とが重複する部分の面積が小さいほど大きい値とする評価部を有する
ことを特徴とする追尾装置。
(付記3) 付記2に記載の追尾装置において、
前記評価部は、
前記推定部によって推定された前記第1航跡の尤度の評価に、前記第1航跡の推定に用いられた航跡について求められた尤度と、前記撮影された部分領域において前記移動体が観測される確率とを用い、前記推定部によって推定された前記第2航跡の尤度の評価に、前記第2航跡の推定に用いられた航跡について求められた尤度と、前記撮影された部分領域において前記移動体が観測されない確率とを用いる
ことを特徴とする追尾装置。
(付記4) 付記3に記載の追尾装置において、
前記評価部は、
前記撮影された部分領域において前記移動体が観測される確率の算出に、前記部分領域と前記部分領域が撮影された時刻について求められたゲート領域とが重複する部分に前記移動体が存在する確率と、前記領域において前記移動体が観測される確率を示す定数との積で示される第1値を用い、
前記撮影された部分領域において前記移動体が観測されない確率の算出に、前記第1値を1から減じることで得られる値を用いる
ことを特徴とする追尾装置。
(付記5) 付記3に記載の追尾装置において、
前記評価部は、
前記撮影された部分領域において前記移動体が観測されない確率として、互いに相乗することで、前記領域において前記移動体が観測される確率を示す定数を1から減じた値となる第2値を用いる
ことを特徴とする追尾装置。
(付記6) 付記3に記載の追尾装置において、
前記評価部は、
前記第1航跡の尤度を評価する際に、前記第1航跡の推定に用いられた航跡について求められた尤度に対して、前記尤度の評価の際に用いられた前記移動体が観測されない確率による前記尤度の変化分を打ち消す補正を行う
ことを特徴とする追尾装置。
(付記7)
付記2に記載の追尾装置において、
更に、
前記複数の部分領域が撮影される過程で、前記評価部により求められた尤度が第2閾値以上となる航跡を検出し、検出した航跡を表す情報を出力する出力部を有する
ことを特徴とする追尾装置。
(付記8)
移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求め、
撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、
前記複数の部分領域のそれぞれが撮影される毎に、前記ゲート領域から抽出された観測点と前記ゲート領域を求めるために用いられた前記航跡とを用いて新たな航跡を推定し、
推定された新たな航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する、
ことを特徴とする追尾方法。
(付記9)
移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求め、
撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、
前記複数の部分領域のそれぞれが撮影される毎に、前記ゲート領域から抽出された観測点と前記ゲート領域を求めるために用いられた前記航跡とを用いて新たな航跡を推定し、
推定された新たな航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する、
処理をコンピュータに実行させることを特徴とする追尾プログラム。
10…追尾装置;11…予測部;12…抽出部;13…推定部;14…追尾部;15…出力部;141…評価部;142…選択部;21…プロセッサ;22…メモリ;23…ハードディスク装置;24…汎用インタフェース;25…表示制御部;26…入力装置;27光学ドライブ装置;28…リムーバブルディスクAr…観測領域;dA_1〜dA_2m…部分領域;EQ…撮影装置;SC…赤外線センサ;GP…画像処理部;DSP…表示装置

Claims (5)

  1. 移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求める予測部と、
    撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記予測部によって求められた前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出する抽出部と、
    前記複数の部分領域のそれぞれが撮影される毎に、前記抽出部で抽出された観測点と前記観測点を含むゲート領域を求めるために用いられた前記移動体の航跡とを用いて新たな第1航跡と、前記観測点の情報を用いずに、前記ゲート領域を求めるために用いられた前記移動体の航跡に基づいて新たな第2航跡とを推定する推定部と、
    前記推定部によって推定された新たな第1航跡と新たな第2航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する追尾部と、
    を備えたことを特徴とする追尾装置。
  2. 請求項1に記載の追尾装置において
    前記追尾部は、
    前記複数の部分領域のそれぞれが撮影される毎に、前記推定部によ推定された前記第1航跡の尤度を、撮影された部分領域と前記部分領域が撮影された時刻について求められたゲート領域とが重複する部分の面積が大きいほど大きい値とし、前記推定部によ推定された前記第2航跡の尤度を、前記撮影された部分領域と前記部分領域が撮影された時刻について求められたゲート領域とが重複する部分の面積が小さいほど大きい値とする評価部を有する
    ことを特徴とする追尾装置。
  3. 請求項2に記載の追尾装置において、
    更に、
    前記複数の部分領域が撮影される過程で、前記評価部により求められた尤度が第2閾値以上となる航跡を検出し、検出した航跡を表す情報を出力する出力部を有する
    ことを特徴とする追尾装置。
  4. 移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求め、
    撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、
    前記複数の部分領域のそれぞれが撮影される毎に抽出された観測点と前記観測点を含むゲート領域を求めるために用いられた前記移動体の航跡とを用いて新たな第1航跡と、前記観測点の情報を用いずに、前記ゲート領域を求めるために用いられた前記移動体の航跡に基づいて新たな第2航跡とを推定し、
    推定された新たな第1航跡と新たな第2航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する、
    ことを特徴とする追尾方法。
  5. 移動体を含む所定の領域を分割した複数の部分領域のそれぞれが時分割で順次に撮影される毎に、前記部分領域が撮影された時刻よりも前に推定された前記移動体の航跡に基づいて、前記移動体の予測される位置を含むゲート領域をそれぞれ求め、
    撮影によって得られた前記複数の部分領域の画像のそれぞれから、前記ゲート領域に含まれる第1閾値以上の特徴量を有する箇所を示す観測点を抽出し、
    前記複数の部分領域のそれぞれが撮影される毎に抽出された観測点と前記観測点を含むゲート領域を求めるために用いられた前記移動体の航跡とを用いて新たな第1航跡と、前記観測点の情報を用いずに、前記ゲート領域を求めるために用いられた前記移動体の航跡に基づいて新たな第2航跡とを推定し、
    推定された新たな第1航跡と新たな第2航跡を含む、前記移動体の複数の航跡の中から、他の航跡よりも高い尤度を持つ航跡を前記移動体の尤もらしい航跡として選択する、
    処理をコンピュータに実行させることを特徴とする追尾プログラム。
JP2013197117A 2013-09-24 2013-09-24 追尾装置、追尾方法及び追尾プログラム Active JP6291763B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013197117A JP6291763B2 (ja) 2013-09-24 2013-09-24 追尾装置、追尾方法及び追尾プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013197117A JP6291763B2 (ja) 2013-09-24 2013-09-24 追尾装置、追尾方法及び追尾プログラム

Publications (2)

Publication Number Publication Date
JP2015064229A JP2015064229A (ja) 2015-04-09
JP6291763B2 true JP6291763B2 (ja) 2018-03-14

Family

ID=52832233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013197117A Active JP6291763B2 (ja) 2013-09-24 2013-09-24 追尾装置、追尾方法及び追尾プログラム

Country Status (1)

Country Link
JP (1) JP6291763B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6847619B2 (ja) * 2016-09-30 2021-03-24 株式会社Subaru 追尾目標設定装置、追尾目標設定方法及び追尾目標設定プログラム
KR102289874B1 (ko) * 2020-01-09 2021-08-13 국방과학연구소 대상 물체의 위치를 추정하는 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3638235B2 (ja) * 1999-09-30 2005-04-13 三菱電機株式会社 並列多目標追尾装置
JP4140706B2 (ja) * 2003-01-29 2008-08-27 三菱電機株式会社 目標追尾装置
JP5047534B2 (ja) * 2006-04-24 2012-10-10 三菱電機株式会社 多目標追尾装置

Also Published As

Publication number Publication date
JP2015064229A (ja) 2015-04-09

Similar Documents

Publication Publication Date Title
JP5080485B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6186834B2 (ja) 目標追尾装置及び目標追尾プログラム
JP2006260527A (ja) 画像マッチング方法およびこれを用いた画像補間方法
JP2011170684A (ja) 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
US10354413B2 (en) Detection system and picture filtering method thereof
WO2014051801A1 (en) Video-assisted target location
JPWO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
KR101051389B1 (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
JP6482844B2 (ja) 状態推定装置、プログラムおよび集積回路
US8582810B2 (en) Detecting potential changed objects in images
JP2009265732A (ja) 画像処理装置及びその方法
JPWO2016021147A1 (ja) 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
JP2006245677A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
JP6291763B2 (ja) 追尾装置、追尾方法及び追尾プログラム
US10803625B2 (en) Detection system and picturing filtering method thereof
JP5082955B2 (ja) 車両検出装置および方法、並びに、プログラム
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
JP4873765B2 (ja) 映像信号処理装置及び映像信号処理方法
CN112001949B (zh) 确定目标点移动速度的方法、装置、可读存储介质及设备
JP6371515B2 (ja) X線画像処理装置、x線画像処理方法、及びプログラム
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
KR20180133394A (ko) 화상 처리 장치와 화상 처리 방법
EP2517176B1 (en) Method for regenerating the background of digital images of a video stream
KR101962933B1 (ko) 해상 기동 물체 탐지 추적 방법 및 해상 기동 물체 탐지 추적 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170803

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170803

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180129

R150 Certificate of patent or registration of utility model

Ref document number: 6291763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150