(第1実施例)
本発明の実施例について図面を参照して詳細に説明する。図1は、本発明の第1実施例に係る目標追跡システムの構成を示すブロック図である。本図に示すように目標追跡システム10は、撮像装置200と目標追跡装置100とを備えて構成される。
撮像装置200は、例えば、監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置100に連続的に出力する。撮像装置200は、目標追跡装置100からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
目標追跡装置100は、画像入力部110、表示部120、追跡目標指定受付部130、追跡対象設定部140、追跡処理部150、撮像装置制御部160、追跡情報記憶部170を備えており、撮像装置200から連続的に取り込む画像において追跡対象を追跡する処理を行なう。
ここで、追跡対象は、その時点で追跡の対象となっている物体を意味し、ユーザによって指定された追跡目標と、追跡目標を遮蔽した遮蔽物および遮蔽物に重なった他の遮蔽物のいずれかが設定される。具体的には、本来の追跡対象である追跡目標が画像内に検出されている場合は、常に追跡目標が追跡対象として設定され、追跡目標が1または複数の遮蔽物によって遮蔽されて画像内で検出できない場合は、いずれかの遮蔽物が追跡対象として設定される。
目標追跡装置100は、CPU、メモリ、入出力インタフェース、通信装置、入力装置等を備えた汎用的な情報処理装置を用いて構成することができる。また、監視システム等の専用装置として構成してもよい。
画像入力部110は、撮像装置200から画像を連続的に入力し、必要に応じてデコード等の処理を行なう。表示部120は、画像入力部110が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置(不図示)に動画像として表示する。
追跡処理部150は、追跡対象設定部140によって追跡対象として設定された物体の追跡処理を行なう。追跡処理については種々の手法が提案されているが、本発明では追跡処理の手法は特に限定されない。本実施形態では、便宜的に基本的な手法である複数ブロックに分割したテンプレートを用いた形状認識により追跡対象を認識して追跡を行なうものとするが、パーティクルを用いて尤度を算出することにより追跡対象を追跡する手法等を用いるようにしてもよい。なお、追跡処理部150は、追跡対象の形状やサイズの変化に追従し、追跡対象に関する情報を随時更新していくことが望ましい。
追跡目標指定受付部130は、ユーザから追跡目標の指定を受け付ける。ユーザは、例えば、画像中の追跡目標が存在している領域をポインティングデバイス等の入力装置によって指示することで、追跡目標の指定を行なうことができる。追跡目標指定受付部130は、ユーザから追跡目標の指定を受け付けると、追跡目標情報171を作成し、記憶領域である追跡情報記憶部170に記録する。
図2は、追跡目標情報171のデータ構造例を示す図である。本図に示すように、追跡目標情報171は、形状(色、輪郭)171a、サイズ171b、動きベクトル171c、位置171d、最終更新時刻171e、遮蔽状態171fを追跡目標に関する情報として格納する。なお、形状(色、輪郭)171a、サイズ171b、位置171dについては、最新情報のみならず、履歴情報を保持することが望ましい。
追跡目標の形状(色、輪郭)171a、サイズ171b、位置171dは、追跡目標の指定を受け付けた際に、画像から取得して記録する。目標追跡装置100の追跡処理部150は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状(色、輪郭)171a、サイズ171b、位置171dについて随時更新を行なうとともに、追跡目標の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル171cに記録し、随時更新する。最終更新時刻171eには、これらの情報が最後に更新された時刻が記録される。また、遮蔽状態171fには、追跡目標が検出されているか、遮蔽物に遮蔽されていて検出不可能であるかの状態が、追跡対象設定部140によって記録される。
図1のブロック図の説明に戻って、撮像装置制御部160は、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、撮像装置200を制御する。具体的には、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置200に対してパン、チルト、ズームを行なわせる。
追跡対象設定部140は、重なり検出部141、遮蔽可能性判定部142、優先度決定部143、遮蔽物状態監視部144、遮蔽時間監視部145を備えている。追跡対象設定部140は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
重なり検出部141は、画像入力部110が入力した画像内において、追跡目標全体に他の物体が重なって追跡目標が遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部141は、他の物体を遮蔽物として取り扱い、遮蔽物情報172を作成し、追跡情報記憶部170に記録する。
図3は、遮蔽物情報172のデータ構造例を示す図である。本図に示すように、遮蔽物情報172は、遮蔽物ID172a、形状(色、輪郭)172b、サイズ172c、動きベクトル172d、位置172e、最終更新時刻172f、追跡対象フラグ172g、推定遮蔽時間172h、遮蔽経過時間172iを遮蔽物に関する情報として格納する。なお、形状(色、輪郭)172b、サイズ172c、位置172eについては、最新情報のみならず、履歴情報を保持することが望ましい。
遮蔽物ID172aは、遮蔽物を識別するための識別子が格納される。形状(色、輪郭)172b、サイズ172c、位置172eは、遮蔽物が検出された際、画像から取得して記録する。遮蔽物が追跡対象となっているとき、目標追跡装置100の追跡処理部150は、これらの情報を元に連続して取り込まれる画像から追跡対象の遮蔽物を検出し、追跡を行なう。
そして、形状(色、輪郭)172b、サイズ172c、位置172eについて随時更新を行なうとともに、追跡対象の遮蔽物の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル172dに記録し、随時更新する。最終更新時刻172fには、これらの情報が最後に更新された時刻が記録される。また、追跡対象フラグ172gには、その遮蔽物が追跡対象となっているかどうかの状態が記録される。なお、形状(色、輪郭)172b、サイズ172c、位置172e等の検出が行なわれるのは、追跡対象となっている遮蔽物のみである。
推定遮蔽時間172hは、その遮蔽物が追跡目標を遮蔽する時間の推定値を格納する。推定遮蔽時間は、例えば、遮蔽物のサイズと動きベクトル、および、追跡目標のサイズと動きベクトルから算出することができる。すなわち、遮蔽物のサイズと追跡目標のサイズとから、遮蔽物が追跡目標を遮蔽してから追跡目標が再出現するまでの相対移動距離が算出され、遮蔽物の動きベクトルと追跡目標の動きベクトルの差で割ることにより推定遮蔽時間を算出することができる。
ただし、推定遮蔽時間は厳密に算出する必要はなく、おおよその時間が得られれば足りる。また、サイズは、例えば、追跡対象あるいは遮蔽物を矩形状で近似的に表わした場合の縦横の画面上の長さとすることができる。なお、推定遮蔽時間は、簡易的に遮蔽物の動きベクトルと追跡目標の動きベクトルの差に基づいて算出してもよい。この場合、遮蔽物と追跡目標との動きベクトルの差が大きいほど、すなわち、相対速度が大きいほど推定遮蔽時間は短くなる。
遮蔽経過時間172iは、推定遮蔽時間が算出された時点からの経過時間を格納する。遮蔽経過時間は、逐次更新されるものとする。遮蔽経過時間が推定遮蔽時間を超えた場合には、追跡目標はその遮蔽物には遮蔽されていなかったものと見なすことができる。
図1のブロック図の説明に戻って、遮蔽可能性判定部142は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定する。この結果、追跡目標を完全に遮蔽できない判定した場合には、他の物体は,遮蔽物として取り扱わず、追跡対象から除外する。一方、追跡目標を完全に遮蔽できると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報172を作成して追跡情報記憶部170に記録する。なお、簡易的にサイズのみに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定するようにしてもよい。
優先度決定部143は、追跡対象となっている遮蔽物に重なった物体が遮蔽物と取り扱われる場合、どちらの遮蔽物を追跡対象として設定するかの優先度を算定する。追跡対象設定部140は、優先度決定部143が算定した優先度の高い遮蔽物を追跡対象として決定する。ここで、優先度は、推定遮蔽時間の残り時間が長いほど高く算定されるものとする。推定遮蔽時間の残り時間は、推定遮蔽時間172hから遮蔽経過時間172iを引くことで算出することができる。
例えば、歩行中の人物が追跡目標として指定されている場合に、遮蔽物として走行中の車と立て看板とがほぼ同時に検出されたとする。このとき、動きベクトルが追跡目標の動きベクトルとの差が大きいのは走行中の車であるから、走行中の車による推定遮蔽時間は、立て看板の推定遮蔽時間より短くなる。したがって、優先度は立て看板の方を高く算定する。なぜならば、立て看板の方を追跡対象としていれば、たとえ追跡目標である人物が車に遮蔽されたまま移動しても、車による遮蔽時間は短いと推定されるため、すぐに立て看板付近で追跡目標が再検出されるからである。
これに対して、走行する車の方を追跡対象とすれば、追跡目標の人物が立て看板に遮蔽されていた場合、追跡目標の人物が立て看板から再出現するときには、走行する車の追跡のため立て看板から離れた場所が撮影されているため、追跡目標を見失ってしまうことになる。そこで、本実施形態では、検出の前後にかかわらず、推定遮蔽時間の残り時間が長い遮蔽物ほど優先度を高くして、追跡対象として設定することにより、追跡目標に対する追跡精度を高めるようにしている。
遮蔽物状態監視部144は、遮蔽物が追跡対象として設定されている場合に、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことを検出する。なお、簡易的にサイズのみに基づいて追跡対象の遮蔽物が追跡目標を遮蔽できなくなったことを検出するようにしてもよい。
そして、追跡対象として設定されている遮蔽物が、追跡目標を遮蔽できないサイズ、形状に変化した場合には、その遮蔽物を追跡対象から除外し、優先度決定部143が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部160が、撮像装置200の撮像対象位置を制御する。
遮蔽時間監視部145は、遮蔽物情報172に記録されている遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を、遮蔽状態が解除したものと見なして遮蔽物情報172から削除する。遮蔽物情報172から削除された遮蔽物が追跡対象となっている場合には、優先度決定部143が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部160が、撮像装置200の撮像対象位置を制御する。
次に、目標追跡装置100の動作について説明する。ここでは、追跡対象として追跡目標が設定されていて、追跡目標を追跡する通常の状態を追跡目標追跡モードと称し、追跡目標が1つの遮蔽物に遮蔽され、その遮蔽物が追跡対象となっている状態を単独遮蔽物追跡モードと称し、遮蔽物が追跡目標となっている状態でさらに他の遮蔽物により遮蔽された状態を重複遮蔽物追跡モードと称するものとする。
まず、追跡目標追跡モードにおける目標追跡装置100の動作について図4のフローチャートを参照して説明する。
目標追跡装置100は、追跡対象の追跡に先立ち、初期設定として、ユーザから追跡目標の指定を受け付ける(S101)。追跡目標の指定は、上述のように、追跡目標指定受付部130が画像中の追跡対象に対応する領域の指定をユーザから受け付けることで行なうことができる。追跡目標の指定を受け付けると、追跡目標に関する情報を追跡目標情報171として追跡情報記憶部170に記録する(S102)。
そして、追跡目標情報171に記録された情報に基づいて、撮像装置200から取り込んだ画像内で追跡処理部150が追跡目標の追跡処理を行なう(S103)。追跡処理の結果に応じて必要であれば、追跡目標情報171を更新し(S104)、撮像装置200の制御を行なう(S104)。
追跡目標情報171の更新は、例えば、追跡目標の形状、サイズ、位置、動きベクトルが変化したときに行ない、その際に、追跡目標情報171の最終更新時刻171eを更新する。また、撮像装置200の制御は、例えば、追跡目標の移動にあわせて撮像装置200の撮像範囲を変化させるために行なう。
追跡目標の追跡中に、重なり検出部141によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると(S106:Yes)、単独遮蔽物追跡モードに移行する。追跡目標が遮蔽されていない場合(S106:No)は、追跡を終了するまで(S107:Yes)、追跡目標追跡処理(S103)以降の処理を繰り返す。
次に、単独遮蔽物追跡モードにおける目標追跡装置100の動作について図5のフローチャートを参照して説明する。
重なり検出部141によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると(図3:S106:Yes)、単独遮蔽物追跡モードに移行し、その遮蔽物に関する遮蔽物情報172を生成する(図4:S201)。
そして、遮蔽される前に得られた追跡目標のサイズ、動きベクトルと、遮蔽物のサイズ、動きベクトルから、遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報172に記録する(S202)。ただし、追跡目標と遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
次いで、遮蔽物を追跡対象に設定し(S203)、遮蔽物情報172に記録された情報に基づいて、撮像装置200から取り込んだ画像内で追跡処理部150が遮蔽物の追跡処理を行なう(S204)。追跡処理の結果に応じて必要であれば、遮蔽物情報172を更新し(S205)、撮像装置200の制御を行なう(S206)。
遮蔽物の追跡中に、重なり検出部141が、追跡目標の出現を検出すると(S207:Yes)、遮蔽物情報172を廃棄し(S208)、追跡目標を追跡対象に設定し(S209)、追跡目標追跡モードに移行して追跡目標追跡処理(図4:S103)を行なう。
また、遮蔽物の追跡中に、重なり検出部141が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると(S210:Yes)、遮蔽可能性判定部142が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合(S211:Yes)には、重複遮蔽物追跡モードに移行する。
それ以外の場合、すなわち、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合(S210:No)、および、他の物体が重なった状態が検出されたが(S210:Yes)、その物体が追跡目標を遮蔽不可能な場合(S211:No)は、遮蔽物追跡処理(S204)以降の処理を繰り返す。
次に、重複遮蔽物追跡モードにおける目標追跡装置100の動作について図6〜図9のフローチャートを参照して説明する。
遮蔽物の追跡中に、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態が検出され(図5:S210:Yes)、その物体が追跡目標を遮蔽可能であると判定された場合(S211:Yes)には、重複遮蔽物追跡モードに移行し、新たな遮蔽物に関する遮蔽物情報172を生成する(図6:S301)。
そして、追跡目標の遮蔽前に得られたサイズ、動きベクトルと、新たな遮蔽物のサイズ、動きベクトルから、新たな遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報172に記録する(S302)。ただし、追跡目標と新たな遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
画面上で認識可能な遮蔽物が複数の場合(S303:Yes)、すなわち、新たな遮蔽物と、それまでの遮蔽物とが重なっているが、どちらも画面上で視認できる場合には、それぞれの遮蔽物の優先度を判定する(S305)。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し(S306)、遮蔽物情報172の追跡対象フラグ172gを更新する。
一方、画面上で認識可能な遮蔽物が1つだけの場合(S303:No)、すなわち、新たな遮蔽物が、それまでの遮蔽物を完全に遮蔽した場合、あるいは、新たな遮蔽物が、それまでの遮蔽物によって完全に遮蔽された場合は、認識可能な遮蔽物を追跡対象に設定する(S304)。この場合、後述する処理(S405)で説明するように、完全に遮蔽された遮蔽物が再出現した場合に、優先度の判定を行なう。
次いで、追跡対象として設定された遮蔽物の遮蔽物情報172に記録された情報に基づいて、撮像装置200から取り込んだ画像内で追跡処理部150が遮蔽物の追跡処理を行なう(S307)。
遮蔽物の追跡中に、遮蔽物状態監視部144により、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことが検出されると(S308:Yes)、その遮蔽物を追跡対象候補から除外するための処理を行なう。
この処理について図8のフローチャートを参照して説明する。追跡目標を遮蔽できないサイズあるいは形状に変化した遮蔽物を追跡対象候補から除外するために、まず、遮蔽物の遮蔽物情報172を廃棄する(図8:S501)。
この結果、追跡目標を遮蔽する遮蔽物が1つになった場合(S502:Yes)には、その単独遮蔽物を新たな追跡対象に設定する(S503)。この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報172を参照して、最終更新時刻172fにおける位置172e、動きベクトル172dに基づいて、遮蔽物の現在位置を推定する(S504)。
そして、推定された現在位置が画像内に含まれるように撮像装置制御部160が撮像装置のパン、チルト、ズーム機能を制御した後(S505)、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理(図5:S204)以降の処理を行なう。
一方、追跡目標を遮蔽する遮蔽物が複数残っている場合(S502:No)は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し(S506)、優先度の高い遮蔽物を追跡対象として設定する(S507)。
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報172を参照して、最終更新時刻172fにおける位置172e、動きベクトル172dに基づいて、遮蔽物の現在位置を推定する(S508)。
そして、推定された現在位置が画像内に含まれるように撮像装置制御部160が撮像装置のパン、チルト、ズーム機能を制御して(S509)、重複遮蔽物追跡モードのまま。新たに追跡対象として設定された遮蔽物の追跡処理(図6:S307)を継続する。
図6のフローチャートの説明に戻って、遮蔽物の追跡中に、遮蔽物が追跡目標を遮蔽可能な状態が継続している場合(S308:No)は、追跡処理の結果に応じて必要であれば、遮蔽物情報172を更新し(S309)、撮像装置200の制御を行なう(S310)。
図7のフローチャートに移って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、遮蔽時間監視部145が、遮蔽物情報172に記録されている複数の遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を検出すると(S401:Yes)、その遮蔽物の遮蔽状態が解除したものと見なして、その遮蔽物の遮蔽物情報172を廃棄するための処理を行なう。
この処理について、図9のフローチャートを参照して説明する。まず、推定遮蔽時間の残り時間がなくなった遮蔽物の遮蔽物情報172を廃棄する(S601)。遮蔽物情報172が廃棄された結果、遮蔽物が単独になった場合(S602:Yes)は、単独の遮蔽物を追跡対象として設定する(S603)。
この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報172を参照して、最終更新時刻172fにおける位置172e、動きベクトル172dに基づいて、遮蔽物の現在位置を推定する(S604)。
そして、推定された現在位置が画像内に含まれるように撮像装置制御部160が撮像装置のパン、チルト、ズーム機能を制御した後(S605)、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理(図5:S204)以降の処理を行なう。
遮蔽物情報172が廃棄された結果、複数の遮蔽物が残っている場合(S602:No)は、廃棄された遮蔽物情報172の遮蔽物が追跡対象物であったかどうかを判定する(S606)。廃棄された遮蔽物情報172の遮蔽物が追跡対象物でなければ(S606:No)、追跡対象の変更は行なわず、重複遮蔽物追跡モードにおける遮蔽物の追跡処理(図6:S307)を継続する。
一方、廃棄された遮蔽物情報172の遮蔽物が追跡対象物であった場合(S606:Yes)は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し(S607)、優先度の高い遮蔽物を追跡対象として設定する(S608)。
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報172を参照して、最終更新時刻172fにおける位置172e、動きベクトル172dに基づいて、遮蔽物の現在位置を推定する(S609)。
そして、推定された現在位置が画像内に含まれるように撮像装置制御部160が撮像装置のパン、チルト、ズーム機能を制御して(S610)、新たに追跡対象として設定された遮蔽物の追跡処理(図6:S307)を継続する。
図7のフローチャートの説明に戻って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部141が、追跡目標の出現を検出すると(S402:Yes)、すべての遮蔽物情報172を廃棄し(S403)、追跡目標を追跡対象に設定し(S404)、追跡目標追跡モードに移行して追跡目標追跡処理(図4:S103)を行なう。
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部141が、他の遮蔽物が再出現した状態を検出すると(S405:Yes)、それぞれの遮蔽物の優先度を判定する(S406)。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し(S407)、遮蔽物情報172の追跡対象フラグ172gを更新して、重複遮蔽物追跡モードにおける遮蔽物追跡処理(図6:S307)以降の処理を繰り返す。
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部141が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると(S408:Yes)、遮蔽可能性判定部142が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合(S409:Yes)には、新たな遮蔽物が加わったものとして、重複遮蔽物追跡モードを繰り返す(図6:S301)。
それ以外の場合、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合(S408:No)、および、他の物体と少なくとも一部が重なった状態が検出されたが(S408:Yes)、その物体が追跡目標を遮蔽不可能な場合(S409:No)は、重複遮蔽物追跡モードにおける遮蔽物追跡処理(図6:S307)以降の処理を繰り返す。
以上説明したように、本発明の第1実施例によれば、追跡対象となっている遮蔽物に他の遮蔽物が重なった場合、推定遮蔽時間の残り時間が長い遮蔽物を優先的に追跡対象とするため、追跡対象でない遮蔽物に追跡目標が遮蔽されていた場合であっても、追跡目標を再検出する可能性を高めることができる。したがって、追跡目標に対する追跡精度が高まることになる。
(第2実施例)
次に、本発明の第2実施例について説明する。第1実施例では、追跡対象となっている遮蔽物に他の物体が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できると判定した場合に、他の物体を遮蔽物として取り扱うようにしていた。
第2実施例では、さらに、追跡目標と他の物体との撮像装置に対する前後関係に基づいて、他の物体を遮蔽物として取り扱うかどうかの判定を行なう。具体的には、追跡目標と他の物体の撮像装置からの距離をそれぞれ判断し、他の物体が追跡目標を遮蔽不可能な位置、すなわち、追跡目標よりも遠い位置(後)にある場合には、遮蔽物として取り扱わないようにする。これにより、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置の演算負荷を軽減することができる。
図10は、本発明の第2実施例に係る目標追跡システムの構成を示すブロック図である。第1実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム20は、距離情報取得撮像装置210と目標追跡装置101とを備えて構成される。
距離情報取得撮像装置210は、例えば、距離測定機能付き監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置101に連続的に出力するとともに、画像内の撮像対象までの距離情報を目標追跡装置101に出力する。
ここで、距離情報の取得方法は、例えば、レーザ照射、超音波出力、複眼方式等の既存の方法を用いることができる。距離情報取得撮像装置210は、目標追跡装置101からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
目標追跡装置101は、距離情報・画像入力部310、表示部120、追跡目標指定受付部330、追跡対象設定部340、追跡処理部350、撮像装置制御部160、追跡情報記憶部370を備えている。
距離情報・画像入力部310は、距離情報取得撮像装置210から画像を連続的に入力し、必要に応じてデコード等の処理を行なうとともに、距離情報取得撮像装置210から距離情報を入力する。表示部120は、画像入力部110が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置(不図示)に動画像として表示する。
追跡目標指定受付部330は、ユーザから追跡目標の指定を受け付ける。追跡目標指定受付部330は、ユーザから追跡目標の指定を受け付けると、追跡目標情報371を作成し、記憶領域である追跡情報記憶部370に記録する。
図11は、追跡目標情報371のデータ構造例を示す図である。本図に示すように、追跡目標情報371は、形状(色、輪郭)371a、サイズ371b、動きベクトル371c、位置371d、最終更新時刻371e、遮蔽状態371f、距離371gを追跡目標に関する情報として格納する。実施例1との相違点は、距離371gを含んでいることである。なお、形状(色、輪郭)171a、サイズ171b、位置171d、距離371gについては、最新情報のみならず、履歴情報を保持することが望ましい。
追跡目標の形状(色、輪郭)171a、サイズ171b、位置171dは、追跡目標の指定を受け付けた際に、画像から取得して記録する。また、距離371gは、距離情報・画像入力部310が入力した距離情報に基づいて記録する。
目標追跡装置101の追跡処理部350は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状(色、輪郭)371a、サイズ371b、位置371d、距離371gについて随時更新を行なう。
図10のブロック図の説明に戻って、追跡対象設定部340は、重なり検出部141、遮蔽可能性判定部342、優先度決定部143、遮蔽物状態監視部144、遮蔽時間監視部145を備えている。追跡対象設定部340は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
重なり検出部141は、画像入力部110が入力した画像内において、追跡目標に他の物体が重なって追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物に他の物体が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
追跡目標に他の物体が重なって追跡対象が検出できなくなった状態が検出されると、重なり検出部141は、他の物体を遮蔽物として取り扱い、遮蔽物情報372を作成し、追跡情報記憶部370に記録する。
図12は、遮蔽物情報372のデータ構造例を示す図である。本図に示すように、遮蔽物情報372は、遮蔽物ID372a、形状(色、輪郭)372b、サイズ372c、動きベクトル372d、位置372e、最終更新時刻372f、追跡対象フラグ372g、推定遮蔽時間372h、遮蔽経過時間372i、距離372jを遮蔽物に関する情報として格納する。実施例1との相違点は、距離372jを含んでいることである。なお、形状(色、輪郭)372b、サイズ372c、位置372e、距離372jについては、最新情報のみならず、履歴情報を保持することが望ましい。
図10のブロック図の説明に戻って、遮蔽可能性判定部342は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうか、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定する。この結果、追跡目標を完全に遮蔽できるサイズと形状を有していないと判定した場合、あるいは、他の物体が追跡目標を遮蔽できる距離にないと判定したには、他の物体は,遮蔽物として取り扱わず、追跡対象から除外する。
ここで、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定は、追跡目標の距離情報取得撮像装置210からの距離と他の物体の距離情報取得撮像装置210からの距離とを比較することで行なう。すなわち、追跡目標の距離情報取得撮像装置210からの距離が他の物体の距離情報取得撮像装置210からの距離よりも遠い場合に、他の物体が追跡目標を遮蔽できる位置にあると判定する。
一方、他の物体が追跡目標を遮蔽できる距離にあり、追跡目標を完全に遮蔽できるサイズと形状を有していると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報372を作成して追跡情報記憶部370に記録する。
次に、第2実施例の特徴的な動作について第1実施例と対比させて説明する。第1実施例では、図5のフローチャートに示したように、遮蔽物の追跡中に、重なり検出部141が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると(S210:Yes)、遮蔽可能性判定部142が、その物体が追跡目標を遮蔽可能なサイズと形状であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合(S211:Yes)に、重複遮蔽物追跡モードに移行した。
これに対し、第2実施例では、遮蔽物の追跡中に、重なり検出部141が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると、遮蔽可能性判定部342が、サイズと形状とに基づいてその物体が追跡目標を遮蔽可能であるかどうか、および、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定し、追跡目標を遮蔽可能と判定した場合に、重複遮蔽物追跡モードに移行する。その他の動作については第1実施例と同様である。
このように、第2実施例では、追跡目標を遮蔽不可能な距離にある物体を追跡対象から除外するようにしている。これにより、追跡目標に対する追跡精度が高まるという第1実施例の効果に加え、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置101の演算負荷を軽減することができる。
なお、上記の例では、遮蔽物の追跡中に、重なり検出部141が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出した場合に、追跡目標と他の物体との前後関係を判断するようにしていたが、遮蔽物の追跡中にも連続的、あるいは断続的に遮蔽物と追跡目標との前後関係を判定して、遮蔽物が追跡目標を遮蔽できない距離、すなわち、追跡目標よりも後に移動したと判定された場合に、その遮蔽物を追跡対象から除外するようにしてもよい。この場合のその後の処理は、第1実施例において、追跡対象の遮蔽物のサイズ、形状が変化して、追跡対象を遮蔽できなくなったと判定された場合(図6:S308:Yes)と同様とすることができる。
(第3実施例)
次に、本発明の第3実施例について説明する。第1実施例では、撮像装置制御部160が、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置200を制御してパン、チルト、ズームを行なわせていた。このため、遮蔽物に遮蔽されていた追跡目標が再出現したとき、画面上における大きさが遮蔽前と異なり、追跡目標の再検出の精度が低下する状況が起こり得る。
例えば、追跡目標に比べて遮蔽物が極めて大きいとすると、追跡対象となった遮蔽物の大きさに合わせて画角が広くなっている状態で追跡目標が再出現した場合、画面上での追跡目標の大きさは、遮蔽前よりも小さくなっていることになる。このため、遮蔽前の形状やサイズを基準とした追跡目標の検出精度が低下するおそれがある。
そこで、第3実施例では、追跡目標と遮蔽物の大きさの比率に基づいて、追跡目標の検出基準となるサイズ情報を補正することにより、追跡目標の検出精度を向上させる目標追跡装置について説明する。
図13は、本発明の第3実施例に係る目標追跡システムの構成を示すブロック図である。第1実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム30は、撮像装置200と目標追跡装置102とを備えて構成される。
目標追跡装置102は、画像入力部110、表示部120、追跡目標指定受付部130、追跡対象設定部440、追跡処理部150、撮像装置制御部160、追跡情報記憶部470を備えている。
追跡対象設定部440は、重なり検出部441、遮蔽可能性判定部442、優先度決定部143、遮蔽物状態監視部144、遮蔽時間監視部145を備えている。
重なり検出部441は、画像入力部110が入力した画像内において、追跡目標全体に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態を検出する。
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部441は、他の物体を遮蔽物として取り扱い、遮蔽物情報472を作成し、追跡情報記憶部470に記録する。
図14は、遮蔽物情報472のデータ構造例を示す図である。本図に示すように、遮蔽物情報472は、遮蔽物ID472a、形状(色、輪郭)472b、サイズ472c、動きベクトル472d、位置472e、最終更新時刻472f、追跡対象フラグ472g、推定遮蔽時間472h、遮蔽経過時間472i、追跡目標との大きさ比472jを遮蔽物に関する情報として格納する。実施例1との相違点は、追跡目標との大きさ比472jを含んでいることである。
追跡目標との大きさ比472jは、追跡目標と遮蔽物の大きさの比を表わし、遮蔽前の追跡目標のサイズと同じ画像における遮蔽物のサイズとの比から算出することができる。追跡目標を遮蔽している遮蔽物に重なった遮蔽物については、先の遮蔽物とのサイズ比から間接的に追跡目標とのサイズ比を算出することができる。追跡目標との大きさ比472jは、重なり検出部441が遮蔽物を検出した際、遮蔽可能性判定部442が遮蔽物に重なった他の物体を遮蔽物と判定した際に算出される。具体的には、図5における遮蔽物情報生成処理(S201)、図6における遮蔽物情報生成処理(S301)において追跡目標との大きさ比472jを算出して記録する。
図13のブロック図の説明に戻って、重なり検出部441は、追跡目標が遮蔽物に遮蔽されていて、遮蔽物が追跡対象となっている場合に、追跡対象の遮蔽物についての遮蔽物情報472のサイズ472cと追跡目標との大きさ比472jを参照して、追跡目標情報371のサイズ371bを更新する。すなわち、追跡対象の遮蔽物のサイズ472cと、追跡目標との大きさ比472jとから、追跡目標の現時点の画面上のサイズを算出して追跡目標情報371のサイズ371bを更新する。具体的には、図5における遮蔽物情報更新処理(S205)、図6における遮蔽物情報更新処理(S309)において、追跡目標情報371のサイズ371bを併せて更新する。
そして、図5における追跡目標検出処理(S207)および図6における追跡目標検出処理(S402)において、更新されたサイズ371bを基準として、遮蔽されている追跡目標の再出現を検出する。これにより、撮像装置200のズーム等によって追跡目標の画面上の大きさが変化した場合であっても、追跡目標の検出精度を向上させることができる。