JP4874150B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、移動物体追跡装置に関し、特に、複数の移動物体が交差した場合にも追跡できる移動物体追跡装置に関する。

従来、移動物体追跡装置が用いられている。この種の装置は、例えば監視装置の一部として用いられており、監視装置は、銀行の現金自動預け払い機コーナー、または、エレベータ内に、主に防犯を目的として設置されている。この場合には、移動物体追跡装置が追跡する対象物は、追跡領域内を移動する人々である。

そして、上記追跡領域が、例えば現金自動預け払い機コーナーである場合には、所定の範囲を有する該領域内を、複数の人々が同時に移動することがある。追跡領域内では、複数の人が移動により交差して重なり合い、その後重なりが解消し再び分離して移動する場合がある。

上述したように、移動物体追跡装置が、防犯を目的として設置されている場合には、移動する人々を、常に正しく追跡し続けることが求められる。そのため、複数の人々が移動中に交差して重なり合う場合にも、その重なりの前後において、正しく追跡を行わなくてはいけない。

ところで、従来の画像処理の技術分野では、輝度情報などを用いたテンプレートマッチング処理が知られており、この処理技術を、移動物体の追跡に適用することが試みられている。しかし、この処理技術にしても、複数の人々が移動中に交差して重なり合う場合に、正しく追跡し続けることが困難である。この理由は、複数の人々が重なり合うと、１つの移動物体には１つの変化領域を対応させるという前提が崩れてしまうので、マッチング処理が行えなくなるためである。

上述した問題を解決する手法として、例えば、特許文献１に記載の物体追跡方法がある。
特許文献１には、交差前の各々の移動物体に関する特徴量(色ヒストグラム)を記憶しておき、交差が解消されたことが検出された場合には、記憶してある特徴量と、交差解消後に各々の移動物体に関して得られる特徴量とを比較して、交差前後の移動物体の対応関係を決定する物体追跡方法が開示されている。

特開２００２−３４２７６２号公報

しかし、特許文献１に記載の方法では、移動物体の交差中は、この移動物体についての追跡処理を行わず、交差が解消されたと判断された時に、はじめてその交差前後における移動物体の対応関係を決定する。したがって、移動物体どうしの色合いや模様(例えば人の場合には服装）が近似している場合には、いくら交差前の特徴量(色ヒストグラム)を保存しておいても、どちらに対応しているのかを決定することは難しい場合がある。

したがって、本発明は、上記問題点を解決することを課題とし、複数の移動物体が交差した場合にも正確に追跡でき且つ画像処理の負担が少ない移動物体追跡装置を提供することを目的とする。

上記課題を解決するため、本発明に係る移動物体追跡装置は、順次入力される入力画像から同一移動物体を追跡部にて追跡する移動物体追跡装置であって、上記入力画像中における複数の上記移動物体が交差した状態を検知する交差検知部と、上記移動物体に関連づけられるテンプレートを生成するテンプレート生成手段とを有し、上記テンプレート生成手段は、上記交差検知部が交差した状態を検知すると、上記交差した状態が生じる以前の画像を用いて、上記交差した状態の上記移動物体それぞれに複数の上記テンプレートを生成し、上記追跡部は、上記交差検知部が交差した状態を検知すると、上記複数のテンプレートを用いて、上記交差した状態の上記移動物体それぞれを追跡する第１追跡部を具備することを特徴とする。

また本発明において、上記追跡部は、上記交差検知部が交差した状態を検知していないと、上記第１追跡部より処理負担の少ない追跡処理にて上記移動物体それぞれを追跡する第２追跡部を更に有することが好ましい。

また本発明において、上記テンプレート生成手段は、上記交差した状態の上記移動物体それぞれに対して、該交差した状態における他の移動物体と重なっている部分を含まないように、上記テンプレートを生成することが好ましい。

また本発明において、上記入力画像から上記移動物体に起因する変化領域を抽出する抽出部と、上記変化領域から異なる複数の上記テンプレートを生成する上記テンプレート生成手段と、上記移動物体と上記複数のテンプレートとを関連づけて記憶した記憶部と、を有し、上記第１追跡部は、上記記憶部に記憶している上記テンプレートと上記入力画像との類似したテンプレート候補を抽出するマッチング手段と、上記テンプレート候補が上記入力画像にて抽出された変化領域に対応づくか否かを判定する判定手段と、を有し、上記判定手段が対応づくと判定したテンプレート候補にて上記記憶部のテンプレートを更新する更新手段を有することが好ましい。

また本発明において、上記交差検知部は、上記入力画像において現時点以前において追跡されている複数の移動物体が現時点における予測領域が交差しており、該交差部分が現時点の入力画像における変化領域と重なることを少なくとも交差検知の条件とすることが好ましい。

本発明の移動物体追跡装置によれば、複数の移動物体が交差した場合にも正確に追跡でき且つ画像処理の負担が少ない。具体的には、本発明は、交差した状態の移動物体それぞれに複数のテンプレートを生成して関連付け、この複数のテンプレートを用いて、交差した状態の移動物体それぞれを追跡することにより、追跡精度を高めている。

以下、本発明の移動物体追跡装置をその好ましい一実施形態に基づいて、図１〜図７を参照しながら説明する。

図１は、本発明の一実施形態の移動物体追跡装置１（以下、単に本装置１ともいう）の機能ブロック図である。本装置１は、入力された画像中に捉えた移動物体の追跡を行う装置である。本装置１は、例えば監視装置の一部として用いられることにより、監視領域内を移動する人などを追跡し、その移動パターンなどから異常を検知する用途に用いることができる。

本装置１は、図１に示すように、外部から画像が順次入力される入力部６０と、入力された入力画像を記憶する記憶部２０と、入力された画像から、移動物体により生じた変化領域を抽出する抽出部３０と、順次入力される入力画像から同一移動物体を追跡する追跡部と、これら各構成要素の処理を制御する制御部１０とを備えている。
また本装置１は、上記入力画像中における複数の移動物体の移動による交差した状態を検知する交差検知部８０を有している。
上記追跡部は、交差した状態の移動物体を追跡する第１追跡部４０を有している。また、上記追跡部は、交差検知部８０が交差した状態を検知していないと、第１追跡部４０より処理負担の少ない追跡処理にて移動物体それぞれを追跡する第２追跡部９０を更に有している。

また本装置１は、交差検知部８０が、複数の移動物体の移動による交差した状態を検知すると、抽出部３０は、記憶部２０に記憶されている交差した状態が生じる以前の画像を用いて、交差した状態の移動物体それぞれに、複数の追跡用テンプレートを生成して関連付け、第１追跡部４０は、この複数の追跡用テンプレートを用いて、交差した状態の移動物体それぞれを追跡する。抽出部３０は、また交差検知部８０が移動物体の交差を検知するための、交差検知用テンプレートを生成する。

また本装置１は、上記追跡用テンプレートを更新する更新部５０と、追跡した結果を外部に出力する出力部４０とを備えており、これらの処理は制御部１０により制御される。また本装置１では、抽出部３０および第１追跡部４０における画像処理として、デジタル処理を用いている。

本装置１のハードウェア構成は、例えば、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭまたはＲＡＭなどの半導体メモリ、磁気記録媒体または光記録媒体、入出力インターフェースなどから構成することができる。

以下、本装置１について、さらに詳細に説明する。

まず、入力部６０について以下に説明する。
入力部６０は、入力インターフェースであり、外部から本装置１により追跡される移動物体の画像を入力する働きを主に有する。入力された画像は、記憶部２０に記憶される。本装置１の入力部６０には、図１に示すように、外部のカメラ６１が接続されている。例えば、カメラ６１が画像データをアナログ信号で出力する場合には、このアナログ信号をデジタル信号に変換して、本装置１の各構成要素に出力できるように、入力部６０は、Ａ／Ｄ変換機能を有していることが好ましい。

カメラ６１は、その視野内の画像を撮像する画像化手段である。この視野内に、人などの移動物体が侵入すると、この移動物体が、背景画像と共に画像化される。カメラ６１は、上記視野内の１つの移動物体が他の移動物体などの後方に隠れて完全に見えなくなることを防止する観点から、例えば部屋の天井から下向きに設置されることが好ましい。
本装置１では、カメラ６１により、所定の間隔で１フレームの画像が撮像されて、この画像が入力部６０に出力される。

カメラ６１としては、公知のものを用いることができ、例えば電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）を備えたものを用いることができる。また、カメラ６１の解像度は、追跡対象などの具体的な用途に応じて、その解像度を選ぶことができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などを、追跡対象などの具体的な用途に応じて選択されることが好ましい。

入力部６０は、またキーボード、マウスなどの入力手段を有していてもよい。これらの入力手段を用いて、記憶部２０に新たな情報を入力し、記憶されている情報の変更などを行うことができる。

次に、記憶部２０について以下に説明する。
記憶部２０は、図１に示すように、背景画像記憶領域２１と、追跡情報記憶領域２２と、過去画像記憶領域２３とを有している。また記憶部２０には、制御部１０が使用するプログラム、各種設定ファイル、パラメータなどが記憶されている。このプログラムとしては、例えば抽出処理、追跡処理、交差検知処理および更新処理に用いるものがある。各種設定ファイルまたはパラメータとしては、例えば、各処理で用いられる閾値または処理の状態を表すフラグなどがある。また記憶部２０は、各プログラムが実行される場合のワークエリアを有している。

記憶部２０は、例えばＲＡＭまたはＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。

背景画像記憶領域２１には、画像から移動物体を抽出するための背景画像が記憶される。この背景画像は、カメラ６１の視野内に、移動物体が存在しない状態の画像である。また、この背景画像は、後述する背景画像更新手段５１により、所定の基準にしたがって更新される。

追跡情報記憶領域２２には、交差した状態の移動物体を追跡するために用いられる追跡用テンプレート、および、移動物体の交差を検知するために交差検知用テンプレートが記憶される。また、追跡情報記憶領域２２には、各時点における移動物体の情報、この移動物体から抽出された変化領域、この移動物体に関連づけられた上記テンプレート情報などが記憶される。

また、追跡情報記憶領域２２には、後述する第１追跡部４０の予測手段４１により予測された追跡用テンプレートの位置情報、マッチング手段４２により求められたマッチングスコア、また移動物体、変化領域、交差検知用テンプレートおよび追跡用テンプレートに対して管理のために付与された番号、移動物体の交差状態などの情報も記憶される。

過去画像記憶領域２３には、入力された過去の画像が記憶される。追跡情報記憶領域２２に記憶されている過去の画像は、交差検知部８０が、移動物体の現時点の交差した状態を検知するための交差検知用テンプレートを生成するために用いられる。また追跡情報記憶領域２２に記憶されている過去の画像は、交差検知部８０が、移動物体の交差した状態を検知した際に、交差した状態の移動物体それぞれを追跡するための追跡用テンプレートを生成するためにも用いられる。

次に、抽出部３０について以下に説明する。
抽出部３０は、入力画像から、移動物体により生じた変化領域を抽出し、この変化領域を用いて、移動物体に、移動物体の交差した状態を検知するための交差検知用テンプレート、および、交差した状態の移動物体を追跡するために用いられる追跡用テンプレートを生成して関連づける。抽出部３０は、図１に示すように、差分処理手段３１と、ラベリング手段３２と、テンプレート生成手段３３とを有している。

差分処理手段３１は、入力画像と、上記背景画像とから差分画像を作成し、この差分画像からさらに２値画像を作成する。
具体的には本装置１では、差分処理手段３１が、まずカメラ６１により取得された入カ画像と、背景画像記憶領域２１に記憶されている背景画像との差分の絶対値を画素毎に求めて、差分画像を作成し、次にこの差分画像を、記憶部２０に記憶されている２値化の閾値にしたがって２値化処理を行う。このように差分処理手段３１は、入カ画像から所定の値以上の変化が生じた画素を、移動物体の属性を有する画素として上記差分画像から抽出して、２値画像を作成する。

ラベリング手段３２は、差分処理手段３１が生成した２値画像における、移動物体の属性を有する画素に対して、所定の基準にしたがって、画素同士を１つの領域として関連づけ、変化領域を抽出する。入力画像に分離した複数の移動物体が存在する場合には、ラベリング手段３２は、それぞれの移動物体に対応した変化領域を抽出する。上記基準は、プログラムに組み込まれている。
上記基準としては、例えば中心画素に対して、上下左右方向の計４画素を連結させること、または、斜め方向の画素を含めた計８画素を連結させることが挙げられる。

具体的には本装置１では、ラベリング手段３２が、まず、差分処理手段３１が作成した２値画像に、例えばメディアンフィルタ、多数決フィルタまたは加重平均フィルタなどの公知の技術を用いてノイズ除去処理を行って、ノイズを除去する。

次に、ラベリング手段３２は、ノイズが除去された２値画像に対して、上記基準にしたがってラベリング処理を行い、画素同士を１つの領域として関連づけ、画素連結領域を抽出する。このラベリング処理により、上記基準にしたがって、ある中心画素に対して、その周囲に隣接する画素が連結される。

次に、抽出された上記画素連結領域が複数ある場合には、これら複数の画素連結領域が、所定の位置関係にあるのかが、ラベリング手段３２により判断されて、この位置関係を満たす複数の画素連結領域がまとめられて、新たな１つの画素連結領域が作成される。

上記の位置関係の判断基準としては、例えば、ある画素連結領域と隣接する他の画素連結領域との関係について、２つの画素連結領域それぞれの寸法が、撮像条件から仮定される現実の移動物体の大きさよりも小さいこと、もしくは２つの画素連結領域間の距離が所定の距離以下であることが挙げられる。

このようにして、ラベリング手段３２により抽出された１つの画素連結領域は、原則１つの移動物体に対応しており、この画素連結領域を、本明細書では変化領域と称する。この変化領域には、個別に管理するための番号が付与される。番号が付与された変化領域は、その画像情報が、画像中の位置情報と共に、追跡情報記憶領域２２に記憶される。画像中の位置情報としては、例えば、変化領域の重心の画像中の座標を用いることができる。

上記２値画像は、カメラ６１により撮像された入力画像ごとに作成され、この２値画像ごとに、その画像中の移動物体に対して、変化領域が抽出されて記憶される。したがって、追跡情報記憶領域２２には、現時点および過去の時点ごとの画像における変化領域の位置情報が、時系列的に並んで記憶されている。この変化領域が関連づけられている移動物体にも個別に管理するための番号が付与され、この移動物体の番号が、対応する変化領域の情報と共に、追跡情報記憶領域２２に記憶される。

また、ラベリング手段３２は、変化領域に対して、追跡情報記憶領域２２に記憶されている過去の時点の変化領域の位置情報を用いて、画像中の移動速度を求める。本装置１では、変化領域の位置情報として重心を用いる。さらに説明すると、追跡情報記憶領域２２には、ある移動物体に対応した変化領域の位置情報が、時系列的に並んで記憶されているので、ある移動物体に対応した変化領域の重心の画像中の移動距離を求め、その移動距離を撮像間隔で除することにより、画像中の変化領域の移動速度が求められる。画像中に複数の移動物体が存在する場合には、移動物体ごとに、その変化領域の移動速度が求められる。求められた変化領域の移動速度は、追跡情報記憶領域２２に記憶される。
この移動速度については、カメラ６１による撮像条件を正確に把握して、画像中の移動距離を実際の撮像領域の距離に換算して、実際の移動速度として求めても良い。

なお、ラベリング手段３２は、変化領域の寸法または縦横比などの形状の特徴を調べて、抽出された変化領域が、本装置１の追跡すべき移動物体としてふさわしくないと判断した場合には、追跡対象から除外し、追跡情報記憶領域２２に記憶しなくてもよい。このような移動物体としては、日照により生じた影、または、ねずみなどの小動物によるものなどが挙げられる。

テンプレート生成手段３３は、交差検知部８０が、移動物体の現時点の交差した状態を検知するための交差検知用テンプレートを生成する。
また、テンプレート生成手段３３は、交差検知部８０が、移動物体の現時点の交差した状態を検知した場合に、交差した状態にある移動物体それぞれに対して、変化領域を用いて、追跡用テンプレートを生成して関連づける。
入力画像における交差した状態にある移動物体の位置および寸法は、上述した変化領域の情報として追跡情報記憶領域２２に記憶されている。追跡用テンプレートおよび交差検知用テンプレートの生成に際しては、この情報が用いられる。

テンプレート生成手段３３は、複数の追跡用テンプレートのうち少なくとも１の追跡用テンプレートが、変化領域の少なくとも輪郭の一部を有するように追跡用テンプレートを生成することが、複数の移動物体が交差して重なった場合にも、カメラ６１から後方に位置する移動物体の一部が追跡用テンプレートに含まれる観点から好ましい。

また、本装置１では、テンプレート生成手段３３は、交差した状態の移動物体それぞれに対して、追跡用テンプレートを複数生成して関連づける。複数の追跡用テンプレートを用いて、交差した状態の移動物体を追跡することで、移動物体の追跡精度が高められる。

このように、１つの移動物体に対して、複数の追跡用テンプレートを生成して関連づけることにより、例え１つの追跡用テンプレートが、この移動物体の追跡を失敗したとしても、残りの追跡用テンプレートを用いて、移動物体を引き続き追跡することが可能となる。

生成された複数の追跡用テンプレートそれぞれは、その画像情報が、交差した状態の移動物体に関連づけられた追跡用テンプレートを管理する番号が付され、追跡用テンプレートの位置情報と共に、追跡情報記憶領域２２に記憶される。

本装置１では、追跡情報記憶領域２２に記憶されている移動物体それぞれの番号を用いて、第２追跡部９０により追跡されていた交差する前のどの移動物体が、交差した状態にあるのかを交差検知部８０により把握し、第１追跡部４０により、各移動物体に関連づけられた複数の追跡用テンプレートを用いて交差した状態にある移動物体それぞれを追跡し、交差した状態が解消した後も、再び第２追跡部９０により、引き続き同じ移動物体の番号を用いて各移動物体が追跡される。

上述した追跡用テンプレートを生成する方法は、本装置１の具体的な用途に応じて適宜設計されることが可能であるが、例えば移動物体が人である場合には、以下に述べる方法を用いることができる。

（１）幾何学的に追跡用テンプレートを生成する方法
カメラ６１の視野内を人が立って歩行している場合には、図２（ａ）〜（ｅ）に示すように、人の形状は細長い。したがって、立って歩行する人から抽出された変化領域は、細長い形状を有している。そこで、この変化領域の長手方向の軸である主軸を求め、それを基準に対称性などを考慮して、幾何学的に追跡用テンプレートを生成する方法がある。

具体的には、図２（ａ）に示すように、追跡用テンプレートの中心が、主軸上に等間隔に並ぶように、追跡用テンプレートを生成して配置してもよい。また図２（ｂ）に示すように、一つの追跡用テンプレートを、移動物体の輪郭を覆うように生成して配置し、この追跡用テンプレートの内部に残りの２つの追跡用テンプレートを、その中心が主軸上に並ぶように生成して配置してもよい。また図２（ｃ）に示すように、人の頭部および脚部を覆うように、追跡用テンプレートの中心が主軸上に位置するように２つの追跡用テンプレートを生成して配置し、さらに両肩部それぞれを覆うように、２つの追跡用テンプレートを主軸からずらして生成して配置してもよい。また図２（ｄ）に示すように、複数の追跡用テンプレートを、頭部、脚部、肩部それぞれを覆うように生成して配置してもよい。さらに図２（ｅ）に示すように、１つの追跡用テンプレートを、移動物体の輪郭を覆うように生成して配置し、この追跡用テンプレートの内部には、図２（ｃ）のような複数の追跡用テンプレートを生成して配置してもよい。
図２（ａ）〜（ｅ）に示す例では、いずれにおいても、頭部は、その輪郭全体が覆われるように、１つの追跡用テンプレートが生成して配置されている。

追跡用テンプレートの形状は、本装置１の具体的な用途に応じて、適宜設定されることが好ましい。例えば、設置するカメラの数を低減するために、カメラ６１として、視野の広い魚眼レンズまたは広角レンズなどを用いる場合がある。このようなレンズを用いると、同じ移動物体であっても画像化された時点が異なると形状変化が大きいので、画像中の対称性が高い円形状の追跡用テンプレートを用いることが、画像処理を容易にする観点から好ましい。またカメラ６１の歪曲収差に応じて、追跡用テンプレートの形状を修正して生成してもよい。一方、入力画像間における移動物体の形状変化が小さいと仮定できる場合には、移動物体の形状に合致する追跡用テンプレートの形状を選択することが、追跡精度を向上する観点から好ましい。

また、追跡用テンプレートの寸法は、移動物体の大きさに依存して変更してもよいし、依存せずに固定してもよい。追跡用テンプレートの数は、少なくとも２つ以上を生成し、その数が多い程、移動物体の追跡が正確になるが、それに応じて処理量が多くなる。具体的な追跡用テンプレートの数は、本装置１の用途に応じて、適宜設定されることが好ましい。
一般に、人を追跡する際には、生成する追跡用テンプレートの数は、２〜８個、特に３〜５個であることが、上述した観点から好ましい。
上述した幾何学的に追跡用テンプレートを生成する方法は、単純であり画像処理が容易である。

以下に、さらに他の追跡用テンプレートを生成する方法について説明する。特に説明しない点については、上述した追跡用テンプレートを生成する方法に関して詳述した説明が適宜適用される。

（２）移動物体の特徴的な部分を用いて追跡用テンプレートを生成する方法
また、移動物体の特徴的な部分に着目し、その部分を含むように追跡用テンプレートを生成することができる。移動物体間で異なる部分の指標となる特徴量としては、例えばテクスチャまたは色などの情報を用いることができる。

具体的に、テクスチャを特徴量として用いる例について以下に説明する。
まず、複数の移動物体それぞれを、テクスチャを測度として、複数のセグメントに領域分割（セグメンテーション）して、テンプレートを生成する。

セグメントの特徴量をあらわす具体的な手法としては、例えば、濃度共起行列、エントロピーまたはガボール変換を用いた変換結果の利用などが挙げられる。また、セグメント間の類似度として、特徴ベクトル間のユークリッド距離または内積などを用いることができる。

また、テクスチャを測度として領域分割を行う方法としては、例えば、ｋ平均法に基づくクラスタリングを用いることができる。また、下記の技術文献に開示されているように、画像をグラフで表現し、その切断を求めるグラフカットに基づく方法を用いても良い。

M.Galun, E.Sharon, R.Basri, A.Brandt, Texture Segmentation by Multiscale Aggregation of Filter Responses and Shape Elements, Proceedings IEEE International Conference on Computer Vision, 716-723, Nice, France, 2003.

テクスチャを特徴量として追跡用テンプレートを生成する例を、図３に示す例を用いて説明する。図３（ａ）に示すように、移動物体Ｍ１があり、頭部、胴体部および脚部に、それぞれに、テクスチャが異なった特徴的な部分を有している。移動物体Ｍ１は、頭部の上部に図３（ｃ）に示す移動物体Ｍ２とは異なる特徴的なテクスチャを有しており、また胴体部から脚部にかけて、その中央部には上下に縦長の特徴的なテクスチャを有している。

この場合に移動物体Ｍ１に複数の追跡用テンプレートを生成する方法としては、図３（ｂ）に示すように、頭部の上部を含むように追跡用テンプレートＭ１−１を生成して配置し、また胴体部の中央部を含むように追跡用テンプレートＭ１−２を生成して配置し、さらに脚部の特徴的なテクスチャを含むように追跡用テンプレートＭ１−３を生成して配置することが挙げられる。

また、カメラ６１としてカラーカメラを用い、入力部６０がカラー画像信号に対応するものを用いれば、特徴量として、テクスチャに代えて色情報を用いてもよい。
上述した追跡用テンプレートを生成する方法は、複数の移動物体の画像情報それぞれについて、他の移動物体とは異なる特徴的な部分に着目するので、移動物体の高い追跡精度が期待できる。

（３）追跡用テンプレート内の輝度分散が大きくなるように追跡用テンプレートを生成する方法
また、追跡用テンプレート内の輝度分散が大きくなるように、すなわち、追跡用テンプレート内に多くの輝度値が含まれるように追跡用テンプレート生成してもよい。
具体的には、追跡用テンプレートを移動物体の主軸上で中心の位置をずらし、該追跡用テンプレート内部の輝度分散を計算しながら、複数の追跡用テンプレートを生成し、生成した追跡用テンプレートを、その輝度分散の値が大きい順に並べる。そして、輝度分散の値が大きい順から必要な数だけの追跡用テンプレートを選択して、移動物体に関連づけてもよい。

また、図４に示すように、輝度を測度に、移動物体を複数のセグメントに領域分けし、複数のセグメントを跨ぐように、追跡用テンプレートＭ１−１，Ｍ１−２を生成して配置してもよい。

上述した追跡用テンプレート内の輝度分散が大きくなるように追跡用テンプレートを生成する方法は、処理量が少ないので画像処理が容易である。
また、前述の幾何学的な方法によりテンプレートを生成した場合、移動物体によってはテンプレート内の輝度分散がごく小さくなることがある。このような場合、テンプレートが単輝度（単色）となってしまい、テンプレート追跡においてその一致箇所を一意に特定できない、という問題（開口問題と呼ばれる）が起こり得る。本手法を用いてテンプレートを作成すれば、このような問題を回避し、安定に追跡を行うことができる。

（４）重なりを有さないように追跡用テンプレートを生成する方法。
交差した状態にある移動物体それぞれは、図５（ａ）に示す例のように、他の移動物体との重なり部分と、重なっていない部分とを有している。交差した状態にある移動物体それぞれを追跡するには、他の移動物体と重なっていない部分に着目することが好ましい。
そこで、交差した状態の移動物体それぞれに対して、他の移動物体と重なっている部分を含まないように、追跡用テンプレートを生成して関連づける。

具体的には、テンプレート生成手段３３は、交差検知部８０と協働し、交差した状態の複数の移動物体それぞれに対して、交差する１つ前の過去の時点の移動物体から抽出された変化領域と、現時点の交差した状態にある移動物体から抽出された一体化した変化領域とを用いて、現時点において他の移動物体と重なっていない部分を抽出し、交差する１つ前の過去の時点の移動物体に、変化領域のこの抽出した部分を用いて、追跡用テンプレートを生成して関連づける。ここで、交差する１つ前の過去の時点の移動物体から抽出された変化領域を用いる理由は、抽出された変化領域に他の移動物体が含まれないことを保証するためである。

さらに説明すると、現時点において、２つの移動物体が交差した状態にある場合には、現時点の２つの移動物体から抽出された一体化した変化領域から、1つ前の過去の時点における一方の移動物体の変化領域を減算処理することにより、他方の移動物体に対して、現時点において一方の移動物体と重なっていない部分の変化領域が求められる。同様にして、一方の移動物体に対して、現時点において他方の移動物体と重なっていない部分の変化領域が求められる。

このようにあらたに交差した状態が検知された移動物体に、追跡用テンプレートが生成されるのは、交差が検知された現時点よりも１つ前の過去の時点の画像における移動物体に対してである。この点については、上述したテンプレートの生成方法の説明においても同様である。

図５（ａ）に示す例では、現時点において、移動物体Ｍ１と移動物体Ｍ２との交差した状態が示されている。この画像からは、移動物体Ｍ１の変化領域Ｓ１と移動物体Ｍ２の変化領域Ｓ２とが一体化した変化領域Ｓ３が抽出されている。
この一体化した変化領域Ｓ３から、1つ前の過去の時点の一方の移動物体Ｍ２の変化領域Ｓ２を減算処理することにより、図５（ｂ）に示すように、1つ前の過去の時点の他方の移動物体Ｍ１に対して、現時点において一方の移動物体Ｍ２と重なっていない部分の変化領域Ｓ１´が求められる。同様にして、1つ前の過去の時点の一方の移動物体Ｍ２に対して、現時点において他方の移動物体Ｍ１と重なっていない部分の変化領域Ｓ２´が求められる。

その結果、図５（ｂ）に示すように、1つ前の過去の時点の移動物体Ｍ１には、重なり部分Ｐ１を除いた部分に、複数の追跡用テンプレートＭ１−１、Ｍ１−２、Ｍ１ー３が生成して関連づけられる。同様に、1つ前の過去の時点の移動物体Ｍ２にも、重なり部分Ｐ２を除いた部分に、複数の追跡用テンプレートＭ２−１、Ｍ２−２、Ｍ２ー３が生成して関連づけられる。

上述した４つの追跡用テンプレートを生成する方法は、単独で用いてもよいし、または、複数の方法を組み合わせて用いてもよい。

次に、第１追跡部４０について以下に説明する。
第１追跡部４０は、交差した状態にある全ての移動物体に対して、この移動物体に関連づけられている各追跡用テンプレートを用いて、移動物体の追跡処理を行う。

第１追跡部４０は、図１に示すように、予測手段４１と、マッチング手段４２と、判定手段４３とを有している。
以下、第１追跡部４０の各手段について説明する。

予測手段４１は、各追跡用テンプレートについて、その過去の時点における位置または速度から、現時点の追跡用テンプレートの位置を予測する。そして、現時点の移動物体は、予測手段４１により予測された各追跡用テンプレートの位置近傍に位置すると仮定される。

移動物体それぞれに関連づけられている追跡用テンプレート全てに対して、各追跡用テンプレートの過去の時点における位置または速度から、現時点の追跡用テンプレートの位置が、予測手段４１により予測される。

追跡情報記憶領域２２には、ある交差した状態の移動物体に関連づけられている追跡用テンプレートの位置情報が、時系列的に並んで記憶されているので、ある追跡用テンプレートの画像中のフレーム間の移動距離を求め、その移動距離を撮像間隔で除することにより、画像中の追跡用テンプレートの移動速度が求められる。この移動速度は、追跡用テンプレートごとに求められる。求められた追跡用テンプレートの移動速度は、追跡情報記憶領域２２に記憶される。

追跡用テンプレートの位置を表わす量として、例えば追跡用テンプレートの重心座標を用いることができる。予測手段４１により用いられる予測方法としては、例えば、移動物体が等速度運動または等加速度運動を行っていると仮定し、追跡情報記憶領域２２に記憶されている過去の時点の追跡用テンプレートの位置および速度から、時系列的に現時点の追跡用テンプレートの位置を予測する方法が挙げられる。具体的には、時系列解析で一般的に用いられる線形予測やカルマンフィルタなどを用いることができる。
予測された追跡用テンプレートの位置は、移動物体に関連づけられて、追跡情報記憶領域２２に記憶される。

また、予測手段４１は、入力画像中の交差した状態にない移動物体についても、その変化領域を用いて、現時点の移動物体の位置を予測する。予測手段４１は、カメラ６１の視野内に、交差した状態にない移動物体が複数存在している場合には、それぞれの現時点の位置を予測する。

予測手段４１は、交差した状態にない移動物体について、追跡情報記憶領域２２に記憶されている変化領域の位置および移動速度などの情報を用いて、現時点の変化領域の位置を予測する。本装置１では、変化領域の位置として、その重心の位置を用いる。この変化領域の位置の予測方法としては、上述した追跡用テンプレートの位置の予測方法と同様の方法を用いることができる。

マッチング手段４２は、予測された追跡用テンプレートの位置に基づき、現時点の入力画像の該位置近傍における所定の範囲に移動物体が存在すると仮定して、追跡用テンプレートと入力画像の上記範囲とのマッチングを調べてマッチングスコアを求め、このマッチングスコアが最大となる部分であって、所定の閾値以上である追跡用テンプレート候補を探し出す。移動物体は、追跡用テンプレートがこの最大マッチングスコアを有する部分に存在すると判断される。このように求めた最大マッチングスコアは、追跡用テンプレートごとに追跡情報記憶領域２２に記憶される。
なお、本実施形態では、予測手段４１にてテンプレートの位置を予測しているが、コンピュータの処理負荷に余裕があれば予測手段４１を省略し、画像全体に対してマッチングスコアを求めるようにしてもよい。

マッチング手段４２により用いられるマッチングの方法としては、公知の方法を用いることができるが、例えばパターンマッチング法またはヒストグラムマッチング法などを用いることができる。

上記パターンマッチング法を用いる場合には、追跡用テンプレートの予測された位置を中心として設定された探索範囲内で、追跡用テンプレートを、上下左右または回転をさせてずらしマッチング処理を行い、マッチングスコアを調べる。この探索範囲は、固定していてもよいし、または、移動物体の運動に応じてダイナミックに変更させても良い。また、ずらしマッチング処理の代わりに山登り法などの最適化手法を用いても良い。

また、上記パターンマッチング法の代わりに、追跡用テンプレートの輝度(例えばカラー画像を用いる場合には、各色の輝度)のヒストグラムを用いるヒストグラムマッチング法を用いてもよい。ヒストグラムマッチング法は、輝度ヒストグラムを用いることで、移動物体の形状による直接の影響を受けないため、移動物体の変形に対する耐性が向上する。

また、マッチング手段４２は、交差検知用テンプレートを用いて、入力画像のマッチング処理を行う。このマッチング処理の手法としては、上述した追跡用テンプレートのマッチング処理と同様の手法を用いることができる。

マッチング手段４２は、最大マッチングスコアが、追跡用テンプレートと略同一とみなせる程度に所定の閾値以上である部分を追跡用テンプレート候補とする。

次に、判定手段４３は、追跡用テンプレート候補が現時点の入力画像の変化領域と一部または全部が重なっているかを判定する。そして、テンプレート更新手段５２は、追跡用テンプレート候補が入力画像の変化領域と一部または全部が重なっていれば、この追跡用テンプレート候補およびその位置を、入力画像に関連づけて追跡情報記憶領域２２に新たな追跡用テンプレートとして記憶する。また、最大マッチングスコアが得られた追跡用テンプレート候補の位置と、予測された追跡用テンプレートの位置との差が、予測位置からのズレとして、追跡情報記憶領域２２に記憶される。

一方、ある追跡用テンプレートに対してマッチングを調べた結果、最大マッチングスコアが上記閾値未満である場合には、この追跡用テンプレートに関してこの移動物体が見失われたと判定手段４３により判定される。本装置１では、ある追跡用テンプレートに対して、その移動物体が見失われたと判定された場合にも、該移動物体に関連づけられていた上記追跡用テンプレートを用いて、予測手段４１およびマッチング手段４２による処理を所定の期間（例えば、３０秒間）にわたって行ない続ける。そして、判定手段４３により、最大マッチングスコアが、上記閾値以上と判定された場合には、この追跡用テンプレートを用いた移動物体の追跡が再開される。上記所定の期間の経過後も、見失われた移動物体が見つからない場合には、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。本装置１は、１つの移動物体に複数の追跡用テンプレートを生成して関連づけることにより、上述したように、ある追跡用テンプレートがその移動物体を見失ったとしても、残りの追跡用テンプレートを用いて移動物体の追跡処理を行うことができる。
上述したマッチング手段４２で用いられる、最大マッチングスコアの判定に使用される閾値、および、上記所定の期間は、記憶部２０に記憶されている。

また、現時点の移動物体が、カメラ６１の視野の外に移動した場合、または、他の移動物体の後方に完全に隠れてしまった場合には、この移動物体に関連づけられている追跡用テンプレートのいずれに対しても、最大マッチングスコアが上記閾値未満である結果が得られる。このように、ある移動物体に関連づけられていた全ての追跡用テンプレートにおいて、移動物体が見失われた場合にも、マッチング手段４２は、見失われた該移動物体の位置の予測およびマッチングの調査を、所定の期間にわたって続ける。

判定手段４３は、追跡用テンプレート候補の位置と、現時点の移動物体から抽出された変化領域の位置との対応関係を調べ、所定の基準にしたがって、追跡用テンプレートと変化領域との関連づけ処理を行う。

上記基準としては、例えば、追跡用テンプレートの重心の位置が、変化領域の内部に含まれていること、または、追跡用テンプレートが、変化領域に所定の割合以上の重なりを有していることなどがある。

ある移動物体に対して、過去の時点においてこの移動物体に関連づけられている追跡用テンプレートの全てが、１つの変化領域に関連づけられた場合には、この移動物体の現時点の位置が追跡されたことになる。その結果は、追跡情報記憶領域２２に記憶される。したがって、この交差した状態の移動物体は、過去の時点から現時点にわたって、本装置１により追跡が成功された状態にある。

本装置１では、交差検知部８０が、複数の移動物体の移動による交差した状態を検知して、はじめて、複数の追跡用テンプレートが生成されるので、1つの変化領域には、複数の移動物体それぞれに関連づけられている複数の追跡用テンプレートが対応づけられている。

したがって、例えば、過去の時点において１つの移動物体に関連づけられていた複数の追跡用テンプレートが、現時点では、重なっていた他の移動物体から抽出された変化領域に分かれて関連づけられる場合がある。
このような場合には、判定手段４３が、以下に述べるように、重み付きの評価処理を行うことによって、対応する移動物体を決定する。

判定手段４３は、まず、各追跡用テンプレートについて、過去の時点から現時点までの、追跡用テンプレートの動きの滑らかさを表わす量δ_sを求める。δ_sは、例えば、上記予測位置からのズレを、時間平均して求めることができる。
次に、判定手段４３は、各追跡用テンプレートについて、追跡用テンプレートと入力画像との一致の度合いを表わす量δ_mを求める。δ_mは、例えば、最大マッチングスコアの時間平均から求めることができる。

次に、判定手段４３は、各追跡用テンプレートについて、δ_sおよびδ_mの和を用いた重みをそれぞれ求める。

次に、判定手段４３は、過去の時点において１つの移動物体に関連づけられていた複数の追跡用テンプレートが、現時点において関連づけられている各変化領域に対して、追跡用テンプレートの重みの和から評価値をそれぞれ求める。
そして、判定手段４３は、最大の評価値を有する変化領域に、現時点の移動物体が対応すると考える。このようにして、移動物体の現時点の位置が追跡される。

また、上述した場合とは別な状況として、複数の移動物体が近接した状態にあるために、一つの追跡用テンプレートが複数の変化領域にまたがって存在する場合もある。この場合には、追跡用テンプレートとの重なりの割合が大きい方の変化領域に、この追跡用テンプレートを関連づけてもよい。あるいは、重なりの割合に応じて重みを内分してもよい。

一方、過去の時点において複数の移動物体それぞれに関連づけられていた追跡用テンプレートが、現時点における１つの変化領域に関連づけられる場合もある。これには、複数の交差した状態にある移動物体が移動により、さらに一体化した変化領域となった場合が考えられる。

また、１つ前の過去の時点では交差状態にあった複数の移動物体が、現時点では交差が解消した状態にある場合には、１つの変化領域に関連づけられていた複数の追跡用テンプレートが、現時点における複数の変化領域それぞれに関連づけられることになる。

本装置１の第１追跡部４０は、このように交差した状態の移動物体が分離した場合には、該移動物体それぞれの複数の追跡用テンプレートを用いた追跡を中止する。この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている追跡用テンプレートなどの情報を消去してもよい。この時点以降、本装置１の第２追跡部９０は、公知の追跡する方法を用いて、交差した状態にない移動物体の追跡を行う。この交差した状態が解消される場合については、具体例を用いて後述する。

また、判定手段４３は、交差検知用テンプレートと入力画像における変化領域とのマッチング処理の結果の判定処理を行う。この判定処理の手法としては、上述した追跡用テンプレートの判定処理と同様に行うことができる。

次に、第２追跡部９０について以下に説明する。
本装置１の第２追跡部９０は、入力画像中の交差した状態にない移動物体に対して、公知の追跡する方法を用いて追跡を行う。

第２追跡部９０は、例えば、異なる時点の入力画像に含まれる変化領域について特徴量を用いた組み合わせを評価する方法や、テンプレートマッチング法またはヒストグラムマッチング法を用いて、画像中の交差した状態にない移動物体を追跡する。これらの公知の追跡方法は、複数の追跡用テンプレートを用いて移動物体を追跡する方法よりも、画像処理の負担が少ない方法を用いることが好ましい。本装置１では、画像中の交差した状態にない移動物体に対しては、画像処理の負担が少ない公知の方法を用いる。

この交差した状態にない移動物体が、移動により他の移動物体と交差した状態に移行した際には、交差検知部８０が、この状態の移行を検知し、抽出部３０などと協働し、追跡用テンプレートを生成した後、上述した第１追跡部４０が、交差した移動物体の追跡処理を続ける。

次に、交差検知部８０について以下に説明する。
交差検知部８０は、抽出部３０により生成された変化領域を用いて、画像中における複数の移動物体が、移動により交差した状態を検知する。この交差した状態は、例えば、ある移動物体が、移動により、他の移動物体の前方もしくは後方に位置したり、または隣に接して並んだりすることにより、入力画像において、２つの移動物体が重なったり、くっついた状態にあることである。
このように、複数の移動物体が移動により交差すると、それらに対応した変化領域は結合し、抽出部３０により抽出される変化領域は、複数の変化領域が一体化した変化領域となる。

交差検知部８０は、記憶部２０、抽出部３０および第１追跡部４０と協働して、複数の移動物体が移動により交差した状態を検知する。具体的には、交差検知部８０は、入力画像において現時点以前において追跡されている複数の移動物体が現時点における予測領域が交差しており、該交差部分が現時点の入力画像における変化領域と重なることを少なくとも交差検知の条件とする。
次に、交差検知部８０が、移動物体の交差した状態を検知する動作を、図６および図７を参照しながら、以下に説明する。

交差検知部８０は、画像に含まれる、全ての移動物体の組み合わせに対して、図６におけるステップＳ１０〜Ｓ１７の処理を行う。
まず、ステップＳ１０において、交差検知部８０は、現時点の入力画像において、ある移動物体の予測領域と他の移動物体の予測領域との交差部分があるのかを判断し、該交差部分がある場合には、この交差部分に変化領域があるのかどうかを判断する。

上記予測領域は、現時点の移動物体が存在すると予想される入力画像の領域である。予測領域の形状は、具体的な用途に応じて、適宜設定される。例えば、円形状、楕円形状、多角形状を用いることができる。本装置１では、予測領域の形状として、円形状を用いている。予測領域の中心は、例えば、移動物体の重心の位置を用いることができる。予測領域の半径は、カメラ６１による撮像条件などを考慮して定められた固定値を用いてもよいし、または、移動物体の過去の移動情報に基づいて、動的に定められてもよい。

現時点の移動物体の重心の位置は、予測手段４１により、例えばこの移動物体に関連づけられている変化領域の過去の位置および移動速度を用いて求めることができる。この変化領域の過去の位置および移動速度は、上述したように追跡情報記憶領域２２に記憶されている。

次に、交差検知部８０は、全ての移動物体の組み合わせに対して、その予測領域同士が交差部分を有するのかを調べる。
もし、予測領域同士が交差部分を有する移動物体の組み合わせが存在する場合には、交差検知部８０は、次に、予測領域同士の交差部分に、現時点の入力画像の移動物体から抽出された変化領域があるのかを調べる。

そして、予測領域同士の交差部分に、移動物体から抽出された変化領域がある場合には、交差検知部８０はＹｅｓと判断し、現時点において、移動物体が交差した状態にある可能性が高いので、さらに詳細に調査を行うためにステップＳ１１に進む。これら変化領域の重なり部分の位置および寸法などの情報は、追跡情報記憶領域２２に記憶される。
一方、これらの移動物体の予測領域が交差部分を有さないか、または、交差部分を有していても、予測領域同士の交差部分に移動物体の変化領域がない場合には、交差検知部８０はＮｏと判断して、ステップＳ１７の次に進む。

Ｓ１０の処理を図７に示す例を用いて説明する。図７では、移動物体Ｍ１が現時点に存在すると予想される画像の領域である予測領域Ｃ１と、移動物体Ｍ２の予測領域Ｃ２とが示されている。予測領域Ｃ１の中心は、予測手段４１により、１つ前の過去の時点の移動物体Ｍ１の変化領域Ｓ１´の位置および移動速度を用いて求められる。移動物体Ｍ２の予測領域Ｃ２についても、同様に求められる。

図７に示すように、予測領域Ｃ１および予測領域Ｃ２は、交差部分Ｒを有している。また、予測領域同士の交差部分Ｒに、現時点の入力画像における移動物体から抽出された変化領域が位置している。なお、図７では、この変化領域にＳ１、Ｓ２の符号が印されているが、この時点では、この変化領域がどの移動物体に対応しているのかは分かっていない。

次に、ステップＳ１１において、交差検知部８０は、記憶部２０の過去画像記憶領域２３に記憶されている１つ前の過去の時点の画像を用いて、抽出部３０のテンプレート生成手段３３と協働し、予測領域同士が交差部分において重なり部分を有する移動物体それぞれに対して、交差検知用テンプレートを生成して関連づける。

この交差検知用テンプレートを生成する手法としては、テンプレート生成手段３３により、例えば、移動物体の輪郭を覆うように生成してもよい。交差検知用テンプレートの形状は、円形状、楕円形状、多角形状などを用いることができる。または、交差検知用テンプレートを、移動物体に外接する矩形形状に生成してもよい。

次に、ステップＳ１２において、交差検知部８０は、第１追跡部４０のマッチング手段４２と協働し、上述したように生成した交差検知用テンプレートを用いて、現時点の入力画像のマッチング処理を行う。このマッチング処理において、上記交差検知用テンプレートが、現時点の入力画像と一致する部分が求められる。

次に、ステップＳ１３において、交差検知部８０は、第１追跡部４０の判定手段４３と協働し、上記交差検知用テンプレートそれぞれが、現時点の入力画像における同一の変化領域に対応しているのかどうかを判断する。この同一の変化領域は、図７に示す例では、変化領域Ｓ１と変化領域Ｓ２とが一体となった変化領域である。

そして、交差検知用テンプレートそれぞれが、現時点の入力画像における同一の変化領域に対応している場合には、交差検知部８０はＹｅｓと判断し、ステップＳ１４において、予測領域同士が交差部分において重なり部分を有する移動物体同士が、現時点において交差した状態にあると検知する。交差した状態にある移動物体それぞれは、その変化領域の情報などと共に、追跡情報記憶領域２２に記憶される。また、交差した状態にある移動物体それぞれは、交差した状態という状態が、例えばフラグを用いて、追跡情報記憶領域２２に記憶される。
次に、ステップＳ１６に進む。

一方、交差検知用テンプレートそれぞれが、現時点の入力画像における同一の変化領域に対応していない場合には、交差検知部８０はＮｏと判断し、ステップＳ１５において、予測領域同士が交差部分において重なり部分を有する移動物体同士が、現時点においては、交差した状態にはないと検知し、次にステップＳ１７の次に進む。

次に、ステップＳ１６において、交差検知部８０は、Ｓ１４において追跡情報記憶領域２２に交差した状態にあると検知された移動物体に追跡用テンプレートが既に生成されているのかを調べる。この移動物体に、まだ追跡用テンプレートが生成されていない場合には、交差検知部８０は、テンプレート生成手段３３と協働し、交差した状態にある移動物体に追跡用テンプレートを生成して関連づける。
一方、交差した状態にあると検知された移動物体に追跡用テンプレートが既に生成されている場合には、次にステップＳ１７の次に進む。

上述した処理は、全ての移動物体の組み合わせに対して行われる。

次に、更新部５０について以下に説明する。
更新部５０は、図１に示すように、背景画像更新手段５１と、テンプレート更新手段５２とを有している。

背景画像更新手段５１は、背景画像記憶領域２１に記憶されている背景画像を、所定の基準にしたがって、更新処理を行う。更新された背景画像は、また背景画像記憶領域２１に記憶される。上記基準は、記憶部２０に記憶されている。
カメラ６１の視野の状況には、例えば、日照変動により、明るさまたは影の形状などに経時変化がある。そこで、視野内に移動物体が存在しないという条件のもと、背景画像更新手段５１により、背景画像が更新される。上記基準としては、例えば、所定の時間間隔を用いてもよい。

また、上記基準の代わりとして、過去の画像を用いた移動平均法などの公知の技術を用いて、背景画像の更新処理が行われてもよい。例えば、この移動平均法を用いる場合には、時刻ｔにおける背景画像Ｂ（ｔ）は、Ｂ（ｔ）＝ａＢ（ｔ−１）＋ｂＢ（ｔ−２）と表わされる。つまり、時刻ｔにおける背景画像Ｂ（ｔ）は、過去の時刻ｔ−１およびｔ−２における背景画像の線形和として表わされる。ここで、ａおよびｂは、係数であり、カメラ６１の設置条件などから定めることができる。

テンプレート更新手段５２は、上述した判定手段４３により、追跡が成功した追跡用テンプレートの更新処理を行う。更新された追跡用テンプレートは、また追跡情報記憶領域２２に記憶される。

カメラ６１により画像化された移動物体の形状または寸法は、移動物体の移動にともなって、変化する場合がある。例えば、カメラ６１として、超広角レンズ、広角レンズまたは魚眼レンズなどを有するものを用いており、また画像が、下向きに設置されたカメラ６１により撮像されたものである場合には、画像における移動物体の形状および大きさが、移動物体の視野内の位置によって特に大きく変化する。

このような場合には、入力画像ごとに、該画像中の交差した状態にある各移動物体に対して、この移動物体に関連づけられている追跡用テンプレートそれぞれを更新することが好ましい。したがって、上述した予測手段４１では、常に最新の追跡用テンプレートを用いて、予測処理を行うことができる。

追跡用テンプレートの更新には、例えばマッチング手段４２によって最大マッチングスコアが得られた位置における追跡用テンプレートと現時点の入力画像との一致部分を、新しい追跡用テンプレートとして用いることができる。

また、上述した追跡用テンプレートを更新するタイミングとしては、例えば以下に説明する方法を用いることができる。

（１）一定の間隔をあけて追跡用テンプレートを更新する方法
この方法では、ある一定の間隔（例えば５フレームごとなど）をあけて、追跡用テンプレートの更新処理が行われる。

（２）誤差から判断する方法
この方法では、マッチング手段４２により得られた上記最大マッチングスコアの値が、所定の値以下になった場合に、追跡用テンプレートの更新処理が行われる。つまり、過去の時点の最大マッチングスコアと比べて現時点での最大マッチングスコアが減少して、追跡用テンプレートが有する誤差が大きくなったと判断された場合に、追跡用テンプレートが更新される。

（３）重み付き平均による方法
マッチング手段４２でヒストグラムマッチング法が用いられた場合、この方法では、マッチング手段４２によって上記最大マッチングスコアが得られた位置における入力画像の輝度ヒストグラムと、追跡用テンプレートの輝度ヒストグラムとを用いて、各輝度ヒストグラムに重みづけをして線形和をとり、この線形和を更新された追跡用テンプレートとすることもできる。

また、テンプレート更新手段５２は、ある移動物体に関連づけられている複数の追跡用テンプレート相互間の位置関係を考慮して、追跡用テンプレートの更新処理を行ってもよい。
詳述すると、複数の追跡用テンプレートの中から基準となる基準追跡用テンプレートを選択し、この基準追跡用テンプレートから所定の距離以上を離れた、乖離テンプレートを、基準追跡用プレートの位置を加味して、この乖離テンプレートの位置を修正する。上記基準追跡用テンプレートとしては、例えば最大マッチングスコアが最も高い値を有する追跡用テンプレートを選択することが、関連付けられている移動物体の動きを適切にとらえる観点から好ましい。上記乖離テンプレートの位置の修正方法としては、例えば、乖離テンプレートの位置の変化量（例えば重心の位置の変化量）と、基準追跡用テンプレートの変化量とに、所定の重みを付けて線形和をとる方法が挙げられる。この重みは、固定値でもよいし、または、基準追跡用テンプレートと乖離テンプレートとの間の距離にしたがって大きくしてもよい。また上記重みは、追跡用テンプレートごとに異なった値を有していてもよい。

またテンプレート生成手段３３は、カメラ６１の歪曲収差および画像上の位置に応じて、追跡用テンプレートの形状を適宜修正して更新してもよい。

次に、出力部７０について以下に説明する。
出力部７０は、本装置１の処理の結果などを外部に出力する。出力部７０は、画面、プリンタ、出力インターフェースなどの出力手段を有している。本装置１が、監視装置の一部として用いられている場合には、移動物体に関する追跡結果が、監視装置本体に、出力部７０から出力される。追跡結果の内容は、具体的には、移動物体の番号、移動物体から抽出された変化領域の番号、各時点における位置および速度などの情報がある。また、追跡している移動物体の動きが、所定の基準にしたがって異常と判断される場合には、異常の警報を、出力部７０から出力してもよい。

最後に、制御部１０について以下に説明する。
制御部１０は、記憶部２０に記憶されているプログラムに基づいて、上述した各構成要素の処理を制御する。また制御部１０は、外部から入力される画像などのデータを、入力部６０により入力する処理を制御し、追跡結果などの情報を、出力部７０から外部に出力する処理を制御する。

以下、上述した本発明の移動物体追跡装置の動作手順の一例を、図８〜１０を参照しながら説明する。

図８は、本発明の移動物体追跡装置の動作手順の一例を示すフローチャートである。図９は、図８における対応付け処理の手順を詳細に示すフローチャートである。図１０（ａ）〜（ｅ）は、図９の処理における変化領域および追跡用テンプレートの状態の一例を示す図である。

まず、ステップＳ１００において、カメラ６１により撮像された画像を、入力部６０から入力して記憶部２０に記憶する。カメラ６１では、所定の間隔で１フレームごとの画像を撮像する。

次に、ステップＳ１０１において、抽出部３０の差分処理手段３１により、カメラ６１により撮像された入力画像から、２値画像を生成する。差分処理手段３１は、入力画像と、背景画像記憶領域２１に記憶されている背景画像との差分画像を生成し、この差分画像を２値化処理して２値画像を生成する。

次に、ステップＳ１０２において、抽出部３０のラベリング手段３２により、Ｓ１０１で生成した２値画像から、移動物体に対する変化領域の抽出処理を行う。ラベリング手段３２は、２値画像における、移動物体の属性を有する画素に対して、画素同士を１つの領域として関連づけ、変化領域を抽出して番号をつける。この変化領域の情報は、対応する移動物体の情報とともに、追跡情報記憶領域２２に記憶する。

次に、ステップＳ１０３において、第１追跡部４０の予測手段４１により、入力画像中の各移動物体について、現時点の変化領域の位置の予測処理を行う。この予測した現時点の変化領域の位置は、追跡情報記憶領域２２に記憶する。

次に、ステップＳ１０４において、交差検知部８０により、全ての移動物体の組み合わせに対して、交差した状態の検知を行う。そして、あらたに交差した状態が検知された移動物体に対しては、複数の追跡用テンプレートを生成して関連づける。生成された複数の追跡用テンプレートそれぞれには、その画像情報を、その移動物体に関連づけられた該追跡用テンプレートを管理する番号を付して、追跡情報記憶領域２２に記憶する。

次に、記憶部２０の追跡情報記憶領域２２に記憶されている全ての移動物体に対して、ステップＳ１０５〜Ｓ１１１およびＳ１１４の処理を行う。

まず、ステップＳ１０５において、ある移動物体が交差した状態にあるのかを判断する。この移動物体が交差した状態にあれば、複数の追跡用テンプレートを用いて追跡処理を行うため、次にステップＳ１０６へ進む。
一方、移動物体が交差した状態にない場合には、ステップＳ１１４において、第２追跡部９０が、この移動物体の追跡処理を行った後、Ｓ１１１の後ろに進み次の移動物体の追跡処理を行う。

次に、ステップＳ１０６において、Ｓ１０５で交差した状態にあると判断された移動物体に追跡用テンプレートが既に生成されているのかを調べる。この移動物体にまだ追跡用テンプレートが生成されていない場合には、次にステップＳ１０７に進み、交差検知部８０が、テンプレート生成手段３３と協働し、新たに交差した状態に移行した移動物体に追跡用テンプレートを複数生成して関連づける。その後、ステップＳ１０８に進む。
一方、既に追跡用テンプレートが生成されている場合には、そのままステップＳ１０８に進む。

まず、ステップＳ１０８において、第１追跡部４０の予測手段４１により、移動物体に関連づけられている複数の追跡用テンプレートの全てについての予測処理を行う。予測手段４１は、過去の時点の移動物体に関連づけられた追跡用テンプレートの位置および速度を用いて、現時点における移動物体の位置を予測する。

ただし、Ｓ１０８において、現時点の追跡用テンプレートの位置を予測する対象である移動物体が、Ｓ１０７で新たに追跡用テンプレートが生成された移動物体であった場合には、現時点におけるこの移動物体の位置が既に把握されているので、再度の予測は必要ない。

次に、ステップＳ１０９において、第１追跡部４０のマッチング手段４２により、入力画像において、予測した移動物体の位置を中心にした所定の範囲内で、追跡用テンプレートのマッチング処理を行って、最大マッチングスコアを求める。

次に、ステップＳ１１０において、第１追跡部４０の判定手段４３により、追跡用テンプレートと変化領域との対応付け処理を行う。判定手段４３は、最大マッチングスコアが所定の閾値以上である場合には、追跡用テンプレートを現時点の入力画像の移動物体から抽出された変化領域に関連づける。

Ｓ１１１において、判定手段４３により、現時点において抽出された変化領域に対して、移動物体が関連づけられる。詳細については図９と図１０を用いて後述する。

一方、判定手段４３が、ある追跡用テンプレートのマッチングを調べた結果、最大マッチングスコアが上記閾値未満である場合には、この追跡用テンプレートに関してこの移動物体は、見失われたと判定する。そして第１追跡部４０は、該見失われた移動物体に関連づけられていた上記追跡用テンプレートを用いて、予測手段４１およびマッチング手段４２による処理を所定の期間にわたって行ない続ける。そして、この追跡用テンプレートの最大マッチングスコアが上記閾値と同等以上を示した場合には、判定手段４３により、この追跡用テンプレートを用いた移動物体の追跡が再開される。

また、ある移動物体に関連づけられていた全ての追跡用テンプレートにおいて、移動物体が見失われた場合には、判定手段４３は、この移動物体が、視野の外に移動した判断して、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。または、この見失われた該移動物体に関連づけられたテンプレートの位置の予測およびマッチングの調査を、所定の期間にわたって続けてもよい。

上述した処理は、全ての移動物体に対して行う。

次に、ステップＳ１１２において、第１追跡部４０の判定手段４３により、１つ前の過去の時点において交差した状態にあった移動物体に対して、交差継続判定処理を行う。１つ前の過去の時点では、１つの変化領域に関連づけられていた複数の移動物体の追跡用テンプレートが、現時点における複数の変化領域それぞれに関連づけられている場合には、判定手段４３は、現時点では交差が解消した状態にあると判定する。交差時に生成された複数の追跡用テンプレートを用いて、交差が解消した各移動物体が特定されており、これ以降、本装置１では、第２追跡部９０により、公知の追跡方法を用いてそれぞれの移動物体を追跡する。

次に、ステップＳ１１３において、更新部５０のテンプレート更新手段５２により、各追跡用テンプレートの更新処理を行う。また、所定の基準にしたがって、背景画像の更新処理を、背景画像更新手段５１により行う。

カメラ６１からは、所定の間隔をあけて１フレームずつの画像が入力されるので、上述した処理が、入力画像ごとに行われる。

次に、上述した判定手段４３によるステップＳ１１１の処理について、１つ前の過去の時点では交差状態にあった複数の移動物体が、現時点では交差が解消した状態にある場合を例にして、図９および図１０（ａ）〜（ｅ）を参照して、さらに以下に説明する。

まず、ステップＳ２００において、判定手段４３により、入力画像における１つの変化領域に、ある移動物体に関連づけられている全ての追跡用テンプレートが対応しているのかを判断する。
図１０（ａ）に示すように、もし、１つの変化領域に、ある移動物体に関連づけられている全ての追跡用テンプレートが対応しているのならば、Ｓ２００の判断はＹｅｓであり、次に、ステップＳ２０４の前に進む。
図１０(ａ)に示す例では、移動物体Ｍ１から抽出された変化領域Ｓ１には、移動物体に関連づけられている全ての追跡用テンプレートＭ１−１、Ｍ１−２、Ｍ１−３が対応している。

一方、図１０（ｂ）に示すように、１つの変化領域に、ある移動物体に関連づけられている全ての追跡用テンプレートが対応していない場合には、Ｓ２００の判断はＮｏであり、ステップＳ２０１〜Ｓ２０３の処理を行う。
図１０（ｂ）に示す例では、移動物体Ｍ１から抽出された変化領域Ｓ１に、２つの追跡用テンプレートＭ１−１、Ｍ１−２が対応しており、移動物体Ｍ２から抽出された変化領域Ｓ２に、追跡用テンプレートＭ１−３が対応している。この追跡用テンプレートＭ１−３は、移動物体Ｍ１に関連づけられていた追跡用テンプレートである。実際には、この段階では、変化領域Ｓ１が移動物体Ｍ１に対応しており、変化領域Ｓ２が移動物体Ｍ２に対応しているとは判断されていない。

まず、ある移動物体に関連づけられている全ての追跡用テンプレートに対して、ステップＳ２０１の処理により追跡用テンプレートの重みが計算される。

ステップＳ２０１において、ある移動物体に関連づけられている全ての追跡用テンプレートの重みを計算する。この追跡用テンプレートの重みとしては、上述した判定手段４３で説明した重みを用いることができる。
図１０（ｃ）に示す例では、変化領域Ｓ１に対応している追跡用テンプレートＭ１−１、Ｍ１−２の重みが、それぞれ、０．７、１．２であり、変化領域Ｓ２に対応している追跡用テンプレートＭ１−３の重みが、１．０となっている。

次に、追跡用テンプレートが対応している全ての変化領域に対して、ステップＳ２０２およびＳ２０３の処理を行う。

まず、ステップＳ２０２において、各変化領域に関する評価値を計算する。この変化領域の評価値としては、上述した判定手段４３で説明した評価値を用いることができる。
図１０（ｄ）に示す例では、変化領域Ｓ１に関する評価値は、１．９であり、変化領域Ｓ２に関する評価値は１．０である。

次に、ステップＳ２０３において、最大評価値を獲得する変化領域を、現時点の移動物体が対応する変化領域として選択する。

次に、ステップＳ２０４において、第１追跡部４０が、変化領域に移動物体を対応づける。
図１０（ｅ）に示す例のように、変化領域Ｓ１が、追跡用テンプレートＭ１−１およびＭ１−２と対応付けられることにより、変化領域Ｓ１が移動物体Ｍ１であると判断される。
この移動物体Ｍ１のように、追跡を誤って追跡用テンプレートの数が減少した場合には、残された追跡用テンプレートを参照して、テンプレート生成手段３３により、新たな追跡用テンプレートを生成して移動物体Ｍ１に関連づけてもよい。

次に、記憶部２０の追跡情報記憶領域２２における記憶内容の推移を、入力画像の推移と比較して、図１１および図１２を参照しながら説明する。
図１２に示す例では、追跡情報記憶領域２２に記憶されている記憶内容として、時点、移動物体番号、変化領域番号、移動物体に対応づけられている追跡用テンプレート番号、状況および追跡状態が示されている。

まず時点Ｔ０では、図１１に示すように、入力画像中に移動物体が存在せず、追跡情報記憶領域２２には、記憶内容が存在しないため、図１２に示すように、全てＮＵＬＬの状態にある。

次に時点Ｔ１では、移動物体が現れて、抽出部３０により番号Ｍ１が付与される。この時点では、移動物体Ｍ１は、他の移動物体と交差した状態にはないので、追跡用テンプレートは生成されていない。移動物体Ｍ１は、第２追跡部９０により追跡処理が開始される。
追跡情報記憶領域２２には、移動物体Ｍ１に関連した情報として、移動物体番号、変化領域番号が記憶される。また、こうした状況と、追跡開始の状態が記憶される。

次に時点Ｔ２では、図１１に示すように、新たな移動物体Ｍ２が現れている。入力画像には、２つの移動物体Ｍ１、Ｍ２が含まれており、抽出部３０は、この画像に含まれる２つの移動物体Ｍ１、Ｍ２それぞれに対応した変化領域Ｓ１、Ｓ２を抽出する。そして、新たな移動物体Ｍ２には、抽出部３０により番号Ｍ２が付与される。この時点でも、移動物体同士は交差した状態にはないので、移動物体Ｍ１、Ｍ２共に追跡用テンプレートは生成されていない。移動物体Ｍ２は、第２追跡部９０により追跡処理が開始される。

追跡情報記憶領域２２には、図１２に示すように、移動物体Ｍ２に関連した情報として、移動物体番号、変化領域番号が記憶される。また、こうした状況と、追跡開始の状態が記憶される。

一方、時点Ｔ２の移動物体Ｍ１については、入力画像中の位置が移動しており、第２追跡部９０による追跡処理が行われて、追跡情報記憶領域２２の記憶内容が更新される。

次に時点Ｔ３では、図１１に示すように、移動物体Ｍ１と移動物体Ｍ２とが移動により交差して重なっている。それらに対応した変化領域が結合して、一体化した変化領域となっており、この変化領域には変化領域番号Ｓ３が付与される。

交差検知部８０は、記憶部２０、抽出部３０および第１追跡部４０と協働し、移動物体Ｍ１と移動物体Ｍ２とが交差した状態にあると検知して、１つ前の過去の時点Ｔ２の画像における移動物体Ｍ１、Ｍ２それぞれに複数の追跡用テンプレートを生成して関連づける。移動物体Ｍ１には、追跡用テンプレートＭ１−１、Ｍ１−２、Ｍ１−３が生成して関連づけられる。また移動物体Ｍ２には、追跡用テンプレートＭ２−１、Ｍ２−２、Ｍ２−３が生成して関連づけられる。

第１追跡部４０は、1つ前の過去の時点に戻って、交差した状態の複数の移動物体Ｍ１、Ｍ２それぞれの追跡処理を、関連づけられた複数の追跡用テンプレートＭ１−１〜３、Ｍ２−１〜３を用いて開始する。
この状態は判定手段４３により、交差状態と判定され、追跡情報記憶領域２２には、図１２に示すように、時点Ｔ３の状況が、交差と記憶される。
そして、移動物体Ｍ１および移動物体Ｍ２の追跡処理は、第２追跡部９０から第１追跡部４０に引き継がれる。

次に時点Ｔ４では、図１１に示すように、移動物体Ｍ１と移動物体Ｍ２との交差した状態が解消して、それぞれが、別々に移動している。入力画像中の２つの移動物体Ｍ１、Ｍ２それぞれに対応した変化領域Ｓ４、Ｓ５が、抽出部３０により抽出される。

判定手段４３は、追跡情報記憶領域２２に記憶されている移動物体Ｍ１、Ｍ２それぞれの追跡用テンプレートＭ１−１〜３、Ｍ２−１〜３を用いて、移動物体Ｍ１、Ｍ２を追跡する。そして、判定手段４３は、変化領域Ｓ４が、追跡用テンプレートＭ１−１〜３と対応するので、移動物体Ｍ１に対応する判定する。同様に、判定手段４３は、変化領域Ｓ５が、追跡用テンプレートＭ２−１〜３と対応するので、移動物体Ｍ２に対応する判定する。

追跡情報記憶領域２２には、図１２に示すように、変化領域Ｓ４が移動物体Ｍ１に対応すること、変化領域Ｓ５が移動物体Ｍ２に対応することを記憶すると共に、交差した状況が解消したことを状況として記憶する。追跡情報記憶領域２２の追跡用テンプレート番号を消去する。
そして、移動物体Ｍ１および移動物体Ｍ２の追跡処理は、第１追跡部４０から第２追跡部９０に引き継がれる。つまり、個別の移動物体Ｍ１、Ｍ２の追跡が、公知の追跡方法により継続される。

上述した本装置１によれば、複数の移動物体が交差した場合にも正確に追跡できる。
また、本発明は、交差した状態にある１つの移動物体に複数の追跡用テンプレートを生成して関連付け、この複数の追跡用テンプレートを用いて、交差した状態にある該移動物体それぞれを追跡することにより、交差の前後にわたり、移動物体それぞれを正確に追跡することができる。特に、複数の追跡用テンプレートを用いて、追跡することにより、追跡精度をさらに高めることができる。また、本発明は、交差した状態にない移動物体については、処理負担の少ない追跡方法を用いることにより、移動物体を追跡する全体としての画像処理の負担を少なくできる。

また、本装置１は、複数の移動物体が、はじめから交差した状態でカメラ６１の視野内に出現した場合でも、これらの移動物体が分離すれば、その後この移動物体が、他の移動物体と再度交差した状態を形成した場合には、この交差した状態にある移動物体それぞれの追跡を正確に行うことができる。

また、追跡用テンプレートが、交差した状態における他の移動物体と重なっている部分を含まないように生成されることにより、移動物体の追跡精度がさらに高められる。

また、移動物体との対応づけができないため、対応する移動物体を見失った追跡用テンプレートに対しても、所定の期間は、予測処理およびマッチング処理を行うことにより、一度見失われた移動物体も、再度追跡可能となされている。

本発明の移動物体追跡装置は、上述した実施形態に制限されることなく、本発明の趣旨を逸脱しない限り適宜変更が可能である。

例えば、本発明の移動物体追跡装置は、上述した実施形態において、現時点の移動物体が、カメラ６１の視野の外に移動した場合であって、この移動物体に関連付けられている追跡用テンプレートまたは変化領域の位置または速度から、現時点において、この移動物体が、視野の外に移動した推定される場合には、判定手段４３は、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。または、判定手段４３は、現時点の移動物体が、カメラ６１の視野の外に移動した場合には、ただちに、この移動物体の追跡を中止してもよい。

また、上述した実施形態において、交差した状態が解消した移動物体それぞれは、複数の追跡用テンプレートを用いた追跡処理が中止されているが、第１追跡部４０が、交差した状態が解消した移動物体それぞれを、追跡用テンプレートを用いて引き続き追跡処理を行ってもよい。

また、上述した実施形態において、過去画像記憶領域２３には、少なくとも、1つ前の過去の時点の画像が記憶されていればよく、それより前の時点の画像は消去されていてもよい。

また、上述した実施形態において、差分処理手段３１の差分処理には、背景画像差分処理を用いていたが、この差分処理にはフレーム間差分処理を用いても良い。

また、上述した実施形態では、第１追跡部４０において、予測手段４１が用いられており、追跡用テンプレートは、入力画像中の所定の範囲とのみマッチング処理が行われていたが、この予測手段４１を用いずに、追跡用テンプレートと入力画像の全ての範囲でマッチング処理を行ってもよい。

さらに、上述した実施形態では、記憶部２０が、背景画像記憶領域２１と追跡情報記憶領域２２とを有していたが、記憶部２０には、これらの記憶領域を分けることなく、背景画像または移動物体などに関する情報が記憶されてもよい。

本発明の移動物体追跡装置は、この装置単体でも用いてもよいが、監視装置などの他の装置の一部としてまたは他の装置と共に用いてもよい。

図１は、本発明の一実施形態である移動物体追跡装置の機能ブロックを示す図である。 図２（ａ）〜（ｅ）は、幾何学的に追跡用テンプレートを生成した例を示す図である。 図３は、移動物体の特徴的な部分を用いて追跡用テンプレートを生成した例を示す図である。 図４は、追跡用テンプレート内の輝度分散が大きくなるように追跡用テンプレートを生成した例を示す図である。 図５（ａ）は、２つの移動物体が交差した状態を示しており、図５（ｂ）は、図５（ａ）の各移動物体に追跡用テンプレートが生成された例を示す図である。 図６は、交差検知部が移動物体の交差した状態を検知する動作を示す図である。 図７は、交差検知部が移動物体の交差した状態を検知するために用いる予測領域を示す図である。 図８は、本発明の移動物体追跡装置の動作手順の一例を示すフローチャートである。 図９は、図８における対応付け処理の手順を詳細に示すフローチャートである。 図１０（ａ）〜（ｅ）は、図９の処理における変化領域および追跡用テンプレートの状態の一例を示す図である。 図１１は、移動物体の交差した状態前後の画像の推移を示す図である。 図１２は、追加情報記憶領域の記憶内容の推移を図１１の画像の推移と比較して示す図である。

符号の説明

１ 移動物体追跡装置
１０ 制御部
２０ 記憶部
２１ 背景画像記憶領域
２２ 追跡情報記憶領域
２３ 過去画像記憶領域
３０ 抽出部
３１ 差分処理手段
３２ ラベリング手段
３３ テンプレート生成手段
４０ 第１追跡部
４１ 予測手段
４２ マッチング手段
４３ 判定手段
５０ 更新部
５１ 背景画像更新手段
５２ テンプレート更新手段
６０ 入力部
６１ カメラ
７０ 出力部
８０ 交差検知部
９０ 第２追跡部

Claims (4)

1. 順次入力される入力画像から同一移動物体を追跡部にて追跡する移動物体追跡装置であって、
   前記入力画像中における複数の前記移動物体が交差した状態を検知する交差検知部と、
   前記移動物体に関連づけられるテンプレートを生成するテンプレート生成手段とを有し、
   前記テンプレート生成手段は、前記交差検知部が交差した状態を検知すると、前記交差した状態が生じる以前の画像を用いて、前記交差した状態の前記移動物体それぞれに複数の前記テンプレートを生成し、
   前記追跡部は、前記交差検知部が交差した状態を検知すると、前記複数のテンプレートを用いて、前記交差した状態の前記移動物体それぞれを追跡する第１追跡部を具備することを特徴とする移動物体追跡装置。
2. 前記テンプレート生成手段は、前記交差した状態の前記移動物体それぞれに対して、該交差した状態における他の移動物体と重なっている部分を含まないように、前記テンプレートを生成する請求項１に記載の移動物体追跡装置。
3. 前記入力画像から前記移動物体に起因する変化領域を抽出する抽出部と、
   前記変化領域から異なる複数の前記テンプレートを生成する前記テンプレート生成手段と、
   前記移動物体と前記複数のテンプレートとを関連づけて記憶した記憶部と、を有し、
   前記第１追跡部は、前記記憶部に記憶している前記テンプレートと前記入力画像との類似したテンプレート候補を抽出するマッチング手段と、前記テンプレート候補が前記入力画像にて抽出された変化領域に対応づくか否かを判定する判定手段と、を有し、
   前記判定手段が対応づくと判定したテンプレート候補にて前記記憶部のテンプレートを更新する更新手段を有する請求項１または２に記載の移動物体追跡装置。
4. 前記交差検知部は、前記入力画像において現時点以前において追跡されている複数の移動物体が現時点における予測領域が交差しており、該交差部分が現時点の入力画像における変化領域と重なることを少なくとも交差検知の条件とする請求項１から３のいずれか一項に記載の移動物体追跡装置。

Images