JP4969291B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、移動物体追跡装置に関し、特に、常に移動物体を正確に追跡できる移動物体追跡装置に関する。

従来、移動物体追跡装置が用いられている。この種の装置は、例えば監視装置の一部として用いられており、監視装置は、銀行の現金自動預け払い機コーナー、または、エレベータ内に、主に防犯を目的として設置されている。この場合には、移動物体追跡装置が追跡する対象物は、追跡領域内を移動する人々である。

そして、上記追跡領域が、例えば現金自動預け払い機コーナーである場合には、所定の範囲を有する該領域内を、複数の人々が同時に移動することがある。追跡領域内では、複数の人が移動により交差して重なり合い、その後重なりが解消し再び分離して移動する場合がある。

上述したように、移動物体追跡装置が、防犯を目的として設置されている場合には、移動する人々を、常に正しく追跡し続けることが求められる。そのため、複数の人々が移動中に交差して重なり合う場合にも、その重なりの前後において、正しく追跡を行わなくてはいけない。

ところで、従来の画像処理の技術分野では、輝度情報などを用いたテンプレートマッチング処理が知られており、この処理技術を、移動物体の追跡に適用することが試みられている。しかし、この処理技術にしても、複数の人々が移動中に交差して重なり合う場合に、正しく追跡し続けることが困難である。この理由は、複数の人々が重なり合うと、１つの移動物体には１つの変化領域を対応させるという前提が崩れてしまうので、マッチング処理が行えなくなるためである。

この問題を解決する手法として、例えば、特許文献１に記載の物体追跡方法がある。
特許文献１には、交差前の各々の移動物体に関する特徴量(色ヒストグラム)を記憶しておき、交差が解消されたことが検出された場合には、記憶してある特徴量と、交差解消後に各々の移動物体に関して得られる特徴量とを比較して、交差前後の移動物体の対応関係を決定する物体追跡方法が開示されている。

特開２００２−３４２７６２号公報

しかし、特許文献１に記載の方法では、移動物体の交差中は、この移動物体についての追跡処理を行わず、交差が解消されたと判断された時に、はじめてその交差前後における移動物体の対応関係を決定する。したがって、移動物体どうしの色合いや模様(例えば人の場合には服装）が近似している場合には、いくら交差前の特徴量(色ヒストグラム)を保存しておいても、どちらに対応しているのかを決定することは難しい場合がある。

したがって、本発明は、上記問題点を解決することを課題とし、移動物体を正確に追跡できる移動物体追跡装置を提供することを目的とする。

上記課題を解決するため、本発明に係る移動物体追跡装置は、順次入力される入力画像から同一移動物体をテンプレートを用いて追跡する移動物体追跡装置であって、上記入力画像から移動物体に起因する変化領域を抽出する抽出部と、上記変化領域から異なる複数の上記テンプレートを生成するテンプレート生成手段と、上記移動物体と上記複数のテンプレートとを関連づけて記憶した記憶部と、上記記憶部に記憶している上記テンプレートと上記入力画像との類似したテンプレート候補を抽出するマッチング手段と、上記テンプレート候補が上記入力画像にて抽出された変化領域に対応づくか否かを判定する判定手段と、上記判定手段が対応づくと判定したテンプレート候補にて上記記憶部のテンプレートを更新する更新手段と、を備えていることを特徴とする。

また本発明において、上記テンプレート生成手段は、複数の上記テンプレートのうち少なくとも１のテンプレートが、上記変化領域の少なくとも輪郭の一部を有するようにテンプレートを生成することが好ましい。

また本発明において、上記記憶部は、更に上記テンプレートごとに位置情報を記憶しており、上記記憶部に記憶されている上記テンプレートごとに、上記入力画像における上記テンプレート候補の位置を上記位置情報に基づき予測する予測手段を有し、上記マッチング手段は、上記予測手段が予測した範囲にて上記テンプレート候補を抽出し、上記更新手段は、更新した上記テンプレートの位置情報も併せて更新することが好ましい。

また本発明において、上記マッチング手段は、上記テンプレートと上記入力画像とのマッチングを調べてマッチングスコアを求め、該マッチングスコアが所定の閾値以上である該入力画像の部分をテンプレート候補とすることが好ましい。

また本発明において、上記判定手段は、一つの変化領域に同一移動物体に対応した複数の上記テンプレートのテンプレート候補の全てが対応していると、複数の該テンプレート候補の全てを上記変化領域に対応づけ、一つの変化領域に同一移動物体に対応した複数の上記テンプレートのテンプレート候補の一部が対応していると、該テンプレート候補の重みの総和に基づいて、該テンプレート候補が上記変化領域に対応づくか否かを判定することが好ましい。

また本発明において、上記入力画像は、天井に設置され下方向に撮影した画像であることが好ましい。

本発明の移動物体追跡装置によれば、移動物体を正確に追跡できる。また、本発明は、複数の移動物体が移動により交差して重なった場合にも、交差中の各移動物体を追跡し続けることにより、交差が解消した後の各移動物体を交差前の移動物体に正確に対応づけて追跡することができる。

以下、本発明の移動物体追跡装置をその好ましい一実施形態に基づいて、図１〜図４を参照しながら説明する。

図１は、本発明の一実施形態の移動物体追跡装置１（以下、単に本装置１ともいう）の機能ブロック図である。本装置１は、入力された画像中に捉えた移動物体の追跡を行う装置である。本装置１は、例えば監視装置の一部として用いられることにより、監視領域内を移動する人などを追跡し、その移動パターンなどから異常を検知する用途に用いることができる。

本装置１は、図１に示すように、外部から画像が順次入力される入力部６０と、入力された入力画像から、移動物体により生じた変化領域を抽出する抽出部３０と、抽出された変化領域の位置を記憶する記憶部２０と、移動物体を追跡する追跡部４０と、これら各構成要素の処理を制御する制御部１０とを備えている。
また本装置１において、抽出部３０は、変化領域を用いて、移動物体に複数のテンプレートを生成して関連づけ、追跡部４０は、複数の該テンプレートを用いて、同一移動物体を追跡する。
また本装置１は、複数のテンプレートを更新する更新部５０と、追跡した結果を外部に出力する出力部４０とを備えており、これらの処理は制御部１０により制御される。また本装置１では、抽出部３０および追跡部４０における画像処理として、デジタル処理を用いている。

本装置１のハードウェア構成は、例えば、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭまたはＲＡＭなどの半導体メモリ、磁気記録媒体または光記録媒体、入出力インターフェースなどから構成することができる。

以下、本装置１について、さらに詳細に説明する。

まず、入力部６０について以下に説明する。
入力部６０は、入力インターフェースであり、外部から本装置１により追跡される移動物体の画像を入力する働きを主に有する。入力された画像は、記憶部２０に記憶される。本装置１の入力部６０には、図１に示すように、外部のカメラ６１が接続されている。例えば、カメラ６１が画像データをアナログ信号で出力する場合には、このアナログ信号をデジタル信号に変換して、本装置１の各構成要素に出力できるように、入力部６０は、Ａ／Ｄ変換機能を有していることが好ましい。

カメラ６１は、その視野内の画像を撮像する画像化手段である。この視野内に、人などの移動物体が侵入すると、この移動物体が、背景画像と共に画像化される。カメラ６１は、上記視野内の１つの移動物体が他の移動物体などの後方に隠れて完全に見えなくなることを防止する観点から、例えば部屋の天井から下向きに設置されることが好ましい。
本装置１では、カメラ６１により、所定の間隔で１フレームの画像が撮像されて、この画像が入力部６０に出力される。

カメラ６１としては、公知のものを用いることができ、例えば電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）を備えたものを用いることができる。また、カメラ６１の解像度は、追跡対象などの具体的な用途に応じて、その解像度を選ぶことができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などを、追跡対象などの具体的な用途に応じて選択されることが好ましい。

入力部６０は、またキーボード、マウスなどの入力手段を有していてもよい。これらの入力手段を用いて、記憶部２０に新たな情報を入力し、記憶されている情報の変更などを行うことができる。

次に、記憶部２０について以下に説明する。
記憶部２０は、図１に示すように、背景画像記憶領域２１および追跡情報記憶領域２２を有している。また記憶部２０には、制御部１０が使用するプログラム、各種設定ファイル、パラメータなどが記憶されている。このプログラムとしては、例えば抽出処理、追跡処理および更新処理に用いるものがある。各種設定ファイルまたはパラメータとしては、例えば、各処理で用いられる閾値または処理の状態を表すフラグなどがある。また記憶部２０は、各プログラムが実行される場合のワークエリアを有している。

背景画像記憶領域２１には、画像から移動物体を抽出するための背景画像が記憶される。この背景画像は、カメラ６１の視野内に、移動物体が存在しない状態の画像である。また、この背景画像は、後述する背景画像更新手段５１により、所定の基準にしたがって更新される。

追跡情報記憶領域２２には、入力部６０から出力された現在および過去の時点における画像情報が、１フレームごとに記憶されている。具体的には、追跡情報記憶領域２２には、各時点における移動物体の情報、この移動物体から抽出された変化領域、この変化領域に関連づけられたテンプレートなどが記憶される。

また、追跡情報記憶領域２２には、後述する追跡部４０の予測手段４１により予測されたテンプレートの位置情報、マッチング手段４２により求められたマッチングスコア、また移動物体、変化領域およびテンプレートに対して管理のために付与された番号、移動物体の交差状態などの情報も記憶される。

次に、抽出部３０について以下に説明する。
抽出部３０は、入力画像から、移動物体により生じた変化領域を抽出し、この変化領域を用いて、移動物体に複数のテンプレートを生成して関連づける。抽出部３０は、図１に示すように、差分処理手段３１と、ラベリング手段３２と、テンプレート生成手段３３とを有している。

差分処理手段３１は、入力画像と、上記背景画像とから差分画像を作成し、この差分画像からさらに２値画像を作成する。
具体的には本装置１では、差分処理手段３１が、まずカメラ６１により取得された入カ画像と、背景画像記憶領域２１に記憶されている背景画像との差分の絶対値を画素毎に求めて、差分画像を作成し、次にこの差分画像を、記憶部２０に記憶されている２値化の閾値にしたがって２値化処理を行う。このように差分処理手段３１は、入カ画像から所定の値以上の変化が生じた画素を、移動物体の属性を有する画素として上記差分画像から抽出して、２値画像を作成する。

ラベリング手段３２は、差分処理手段３１が生成した２値画像における、移動物体の属性を有する画素に対して、所定の基準にしたがって、画素同士を１つの領域として関連づけ、変化領域を抽出する。入力画像に分離した複数の移動物体が存在する場合には、ラベリング手段３２は、それぞれの移動物体に対応した変化領域を抽出する。上記基準は、プログラムに組み込まれている。
上記基準としては、例えば中心画素に対して、上下左右方向の計４画素を連結させること、または、斜め方向の画素を含めた計８画素を連結させることが挙げられる。

具体的には本装置１では、ラベリング手段３２が、まず、差分処理手段３１が作成した２値画像に、例えばメディアンフィルタ、多数決フィルタまたは加重平均フィルタなどの公知の技術を用いてノイズ除去処理を行って、ノイズを除去する。

次に、ラベリング手段３２は、ノイズが除去された２値画像に対して、上記基準にしたがってラベリング処理を行い、画素同士を１つの領域として関連づけ、画素連結領域を抽出する。このラベリング処理により、上記基準にしたがって、ある中心画素に対して、その周囲に隣接する画素が連結される。

次に、抽出された上記画素連結領域が複数ある場合には、これら複数の画素連結領域が、所定の位置関係にあるのかが、ラベリング手段３２により判断されて、この位置関係を満たす複数の画素連結領域がまとめられて、新たな１つの画素連結領域が作成される。

上記の位置関係の判断基準としては、例えば、ある画素連結領域と隣接する他の画素連結領域との関係について、２つの画素連結領域それぞれの寸法が、撮像条件から仮定される現実の移動物体の大きさよりも小さいこと、もしくは２つの画素連結領域間の距離が所定の距離以下であることが挙げられる。

このようにして、ラベリング手段３２により抽出された、１つの画素連結領域は、原則１つの移動物体に対応しており、この画素連結領域を、本明細書では変化領域と称する。また、この変化領域には、個別に管理するための番号が付与される。番号が付与された変化領域は、その画像情報が、画像中の位置情報と共に、追跡情報記憶領域２２に記憶される。画像中の位置情報としては、例えば、変化領域の重心の画像中の座標を用いることができる。

上記２値画像は、カメラ６１により撮像された入力画像ごとに作成され、この２値画像ごとに、その画像中の移動物体に対して、変化領域が抽出されて記憶される。したがって、追跡情報記憶領域２２には、現時点および過去の時点ごとの画像における変化領域の位置情報が、時系列的に並んで記憶されている。また、各変化領域が関連づけられている移動物体にも個別に管理するための番号が付与され、この移動物体の番号が、対応する変化領域の情報と共に、追跡情報記憶領域２２に記憶される。

なお、ラベリング手段３２は、変化領域の寸法または縦横比などの形状の特徴を調べて、抽出された変化領域が、本装置１の追跡すべき移動物体としてふさわしくないと判断した場合には、追跡対象から除外し、追跡情報記憶領域２２に記憶しなくてもよい。このような移動物体としては、日照により生じた影、または、ねずみなどの小動物によるものなどが挙げられる。

テンプレート生成手段３３は、入力画像に１つの移動物体が新たに現れた場合に、その移動物体に対して、変化領域を用いて、複数のテンプレートを生成して関連づけを行う。つまり、入力画像よりも、１つ前に取得された画像には存在しなかった移動物体が現れた場合には、複数のテンプレートが、その移動物体に対して生成される。
入力画像における移動物体の位置および寸法は、上述した変化領域の情報として追跡情報記憶領域２２に記憶される。テンプレートの生成に際しては、この情報が用いられる。

このように、１つの移動物体に対して、複数のテンプレートを生成して関連づけることにより、例え１つのテンプレートが、この移動物体の追跡を失敗したとしても、残りのテンプレートを用いて、移動物体を引き続き追跡することが可能となる。

抽出部３０は、複数のテンプレートのうち少なくとも１のテンプレートが、変化領域の少なくとも輪郭の一部を有するようにテンプレートを生成することが、複数の移動物体が交差して重なった場合にも、カメラ６１から後方に位置する移動物体の一部がテンプレートに含まれる観点から好ましい。

生成された複数のテンプレートそれぞれは、その画像情報が、その移動物体に関連づけられたテンプレートを管理する番号が付され、テンプレートの位置情報と共に、追跡情報記憶領域２２に記憶される。

上述したテンプレートを生成する方法は、本装置１の具体的な用途に応じて適宜設計されることが可能であるが、例えば移動物体が人である場合には、以下に述べる方法を用いることができる。

（１）幾何学的にテンプレートを生成する方法
カメラ６１の視野内を人が立って歩行している場合には、図２（ａ）〜（ｅ）に示すように、人の形状は細長い。したがって、立って歩行する人から抽出された変化領域は、細長い形状を有している。そこで、この変化領域の長手方向の軸である主軸を求め、それを基準に対称性などを考慮して、幾何学的にテンプレートを生成する方法がある。

具体的には、図２（ａ）に示すように、テンプレートの中心が、主軸上に等間隔に並ぶように、テンプレートを生成して配置してもよい。また図２（ｂ）に示すように、一つのテンプレートを、移動物体の輪郭を覆うように生成して配置し、このテンプレートの内部に残りの２つのテンプレートを、その中心が主軸上に並ぶように生成して配置してもよい。また図２（ｃ）に示すように、人の頭部および脚部を覆うように、テンプレートの中心が主軸上に位置するように２つのテンプレートを生成して配置し、さらに両肩部それぞれを覆うように、２つのテンプレートを主軸からずらして生成して配置してもよい。また図２（ｄ）に示すように、複数のテンプレートを、頭部、脚部、肩部それぞれを覆うように生成して配置してもよい。さらに図２（ｅ）に示すように、１つのテンプレートを、移動物体の輪郭を覆うように生成して配置し、このテンプレートの内部には、図２（ｃ）のような複数のテンプレートを生成して配置してもよい。
図２（ａ）〜（ｅ）に示す例では、いずれにおいても、頭部は、その輪郭全体が覆われるように、１つのテンプレートが生成して配置されている。

テンプレートの形状は、本装置１の具体的な用途に応じて、適宜設定されることが好ましい。例えば、設置するカメラの数を低減するために、カメラ６１として、視野の広い魚眼レンズまたは広角レンズなどを用いる場合がある。このようなレンズを用いると、同じ移動物体であっても画像化された時点が異なると形状変化が大きいので、画像中の対称性が高い円形状のテンプレートを用いることが、画像処理を容易にする観点から好ましい。またカメラ６１の歪曲収差に応じて、テンプレートの形状を修正して生成してもよい、一方、入力画像間における移動物体の形状変化が小さいと仮定できる場合には、移動物体の形状に合致するテンプレートの形状を選択することが、追跡精度を向上する観点から好ましい。

また、テンプレートの寸法は、移動物体の大きさに依存して変更してもよいし、依存せずに固定してもよい。テンプレートの数は、少なくとも２つ以上を生成し、その数が多い程、移動物体の追跡が正確になるが、それに応じて処理量が多くなる。具体的なテンプレートの数は、本装置１の用途に応じて、適宜設定されることが好ましい。
一般に、人を追跡する際には、生成する追跡用テンプレートの数は、２〜８個、特に３〜５個であることが、上述した観点から好ましい。
上述した幾何学的にテンプレートを生成する方法は、単純であり画像処理が容易である。

以下に、さらに他のテンプレートを生成する方法について説明する。特に説明しない点については、上述したテンプレートを生成する方法に関して詳述した説明が適宜適用される。

（２）移動物体の特徴的な部分を用いてテンプレートを生成する方法
また、移動物体の特徴的な部分に着目し、その部分を含むようにテンプレートを生成することができる。移動物体間で異なる部分の指標となる特徴量としては、例えばテクスチャまたは色などの情報を用いることができる。

具体的に、テクスチャを特徴量として用いる例について以下に説明する。
まず、複数の移動物体それぞれを、テクスチャを測度として、複数のセグメントに領域分割（セグメンテーション）して、テンプレートを生成する。

セグメントの特徴量をあらわす具体的な手法としては、例えば、濃度共起行列、エントロピーまたはガボール変換を用いた変換結果の利用などが挙げられる。また、セグメント間の類似度として、特徴ベクトル間のユークリッド距離または内積などを用いることができる。

また、テクスチャを測度として領域分割を行う方法としては、例えば、ｋ平均法に基づくクラスタリングを用いることができる。また、下記の技術文献に開示されているように、画像をグラフで表現し、その切断を求めるグラフカットに基づく方法を用いても良い。

M.Galun, E.Sharon, R.Basri, A.Brandt, Texture Segmentation by Multiscale Aggregation of Filter Responses and Shape Elements, Proceedings IEEE International Conference on Computer Vision, 716-723, Nice, France, 2003.

テクスチャを特徴量としてテンプレートを生成する例を、図３に示す例を用いて説明する。図３（ａ）に示すように、移動物体Ｍ１があり、頭部、胴体部および脚部に、それぞれテクスチャが異なった特徴的な部分を有している。移動物体Ｍ１は、頭部の上部に図３（ｃ）に示す移動物体Ｍ２とは異なる特徴的なテクスチャを有しており、また胴体部から脚部にかけて、その中央部には上下に縦長の特徴的なテクスチャを有している。

この場合に移動物体Ｍ１に複数のテンプレートを生成する方法としては、図３（ｂ）に示すように、頭部の上部を含むようにテンプレートＭ１−１を生成して配置し、また胴体部の中央部を含むようにテンプレートＭ１−２を生成して配置し、さらに脚部の特徴的なテクスチャを含むようにテンプレートＭ１−３を生成して配置することが挙げられる。

また、カメラ６１としてカラーカメラを用い、入力部６０がカラー画像信号に対応するものを用いれば、特徴量として、テクスチャに代えて色情報を用いてもよい。
上述したテンプレートを生成する方法は、複数の移動物体の画像情報それぞれについて、他の移動物体とは異なる特徴的な部分に着目するので、移動物体の高い追跡精度が期待できる。

（３）テンプレート内の輝度分散が大きくなるようにテンプレートを生成する方法
また、テンプレート内の輝度分散が大きくなるように、すなわち、テンプレート内に多くの輝度値が含まれるようにテンプレート生成してもよい。
具体的には、テンプレートを移動物体の主軸上で中心の位置をずらし、該テンプレート内部の輝度分散を計算しながら、複数のテンプレートを生成し、生成したテンプレートを、その輝度分散の値が大きい順に並べる。そして、輝度分散の値が大きい順から必要な数だけのテンプレートを選択して、移動物体に関連づけてもよい。

また、図４に示すように、輝度を測度に、移動物体を複数のセグメントに領域分けし、複数のセグメントを跨ぐように、テンプレートＭ１−１，Ｍ１−２を生成して配置してもよい。

上述したテンプレート内の輝度分散が大きくなるようにテンプレートを生成する方法は、処理量が少ないので画像処理が容易である。
また、前述の幾何学的な方法によりテンプレートを生成した場合、移動物体によってはテンプレート内の輝度分散がごく小さくなることがある。このような場合、テンプレートが単輝度（単色）となってしまい、テンプレート追跡においてその一致箇所を一意に特定できない、という問題（開口問題と呼ばれる）が起こり得る。本手法を用いてテンプレートを作成すれば、このような問題を回避し、安定に追跡を行うことができる。

上述した３つのテンプレートを生成する方法は、単独で用いてもよいし、または、複数の方法を組み合わせて用いてもよい。

次に、追跡部４０について以下に説明する。
追跡部４０は、図１に示すように、予測手段４１と、マッチング手段４２と、判定手段４３とを有している。追跡部４０は、追跡情報記憶領域２２に記憶されている全ての移動物体に対して、この移動物体に関連づけられている各テンプレートを用いて、移動物体の追跡処理を行う。

以下、追跡部４０の各手段について説明する。

予測手段４１は、各テンプレートについて、その過去の時点における位置または速度から、現時点のテンプレートの位置を予測する。そして、現時点の移動物体は、予測手段４１により予測された各テンプレートの位置近傍に位置すると仮定される。

１つの移動物体に関連づけられているテンプレート全てに対して、各テンプレートの過去の時点における位置または速度から、現時点のテンプレートの位置が、予測手段４１により予測される。また、カメラ６１の視野内に存在していると考えられている移動物体の全てに対して、そのテンプレートの位置が予測手段４１により予測される。

追跡情報記憶領域２２には、ある移動物体に関連づけられているテンプレートの位置情報が、時系列的に並んで記憶されているので、あるテンプレートの画像中のフレーム間の移動距離を求め、その移動距離を撮像間隔で除することにより、画像中のテンプレートの移動速度が求められる。この移動速度は、テンプレートごとに求められる。求められたテンプレートの移動速度は、追跡情報記憶領域２２に記憶される。

テンプレートの位置を表わす量として、例えばテンプレートの重心座標を用いることができる。予測手段４１により用いられる予測方法としては、例えば、移動物体が等速度運動または等加速度運動を行っていると仮定し、追跡情報記憶領域２２に記憶されている過去の時点のテンプレートの位置および速度から、時系列的に現時点のテンプレートの位置を予測する方法が挙げられる。具体的には、時系列解析で一般的に用いられる線形予測やカルマンフィルタなどを用いることができる。
予測されたテンプレートの位置は、移動物体に関連づけられて、追跡情報記憶領域２２に記憶される。

マッチング手段４２は、予測されたテンプレートの位置に基づき、現時点の入力画像の該位置近傍における所定の範囲に移動物体が存在すると仮定して、テンプレートと入力画像の上記範囲とのマッチングを調べてマッチングスコアを求め、このマッチングスコアが最大となる部分であって、所定の閾値以上であるテンプレート候補を探し出す。移動物体は、テンプレート候補がこの最大マッチングスコアを有する部分に存在すると判断される。このように求めた最大マッチングスコアは、テンプレートごとに追跡情報記憶領域２２に記憶される。
なお、本実施の形態では、予測手段４１にてテンプレートの位置を予測しているが、コンピュータの処理負荷に余裕があれば予測手段４１を省略し、画像全体に対してマッチングスコアを求めるようにしてもよい。

マッチング手段４２により用いられるマッチングの方法としては、公知の方法を用いることができるが、例えばパターンマッチング法またはヒストグラムマッチング法などを用いることができる。

上記パターンマッチング法を用いる場合には、テンプレートの予測された位置を中心として設定された探索範囲内で、テンプレートを、上下左右または回転をさせてずらしマッチング処理を行い、マッチングスコアを調べる。この探索範囲は、固定していてもよいし、または、移動物体の運動に応じてダイナミックに変更させても良い。また、ずらしマッチング処理の代わりに山登り法などの最適化手法を用いても良い。

また、上記パターンマッチング法の代わりに、テンプレートの輝度(例えばカラー画像を用いる場合には、各色の輝度)のヒストグラムを用いるヒストグラムマッチング法を用いてもよい。ヒストグラムマッチング法は、輝度ヒストグラムを用いることで、移動物体の形状による直接の影響を受けないため、移動物体の変形に対する耐性が向上する。

マッチング手段４２は、最大マッチングスコアが、テンプレートと略同一とみなせる程度に所定の閾値以上である部分をテンプレート候補とする。

次に、判定手段４３は、テンプレート候補が現時点の入力画像の変化領域と一部または全部が重なっているか判定する。そして、テンプレート更新手段５２は、テンプレート候補が入力画像の変化領域と一部または全部が重なっていれば、このテンプレート候補およびその位置を、入力画像に関連づけて追跡情報記憶領域２２に新たなテンプレートとして記憶する。また、最大マッチングスコアが得られたテンプレート候補の位置と、予測されたテンプレートの位置との差が、予測位置からのズレとして、追跡情報記憶領域２２に記憶される。

一方、あるテンプレートに対してマッチングを調べた結果、最大マッチングスコアが上記閾値未満である場合には、このテンプレートに関してこの移動物体が見失われたと判定手段４３により判定される。本装置１では、あるテンプレートに対して、その移動物体が見失われたと判定された場合にも、該見失われた移動物体に関連づけられていた上記テンプレートを用いて、予測手段４１およびマッチング手段４２による処理を所定の期間（例えば、３０秒間）にわたって行ない続ける。そして、判定手段４３により、最大マッチングスコアが、上記閾値以上と判定された場合には、このテンプレートを用いた移動物体の追跡が再開される。上記所定の期間の経過後も、見失われた移動物体が見つからない場合には、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。本装置１は、上述したように、あるテンプレートが、その移動物体を見失ったとしても、残りのテンプレートを用いて移動物体の追跡処理を行うことができる。
上述したマッチング手段４２で用いられる、最大マッチングスコアの判定に使用される閾値、および、上記所定の期間は、記憶部２０に記憶されている。

また、現時点の移動物体が、カメラ６１の視野の外に移動した場合、または、他の移動物体の後方に完全に隠れてしまった場合には、この移動物体に関連づけられているテンプレートのいずれに対しても、最大マッチングスコアが上記閾値未満である結果が得られる。このように、ある移動物体に関連づけられていた全てのテンプレートにおいて、移動物体が見失われた場合にも、マッチング手段４２は、見失われた該移動物体の位置の予測およびマッチングの調査を、所定の期間にわたって続ける。

判定手段４３は、テンプレート候補の位置と、現時点の移動物体から抽出された変化領域の位置との対応関係を調べ、所定の基準にしたがって、テンプレートと変化領域との関連づけ処理を行う。

上記基準としては、例えば、テンプレートの重心の位置が、変化領域の内部に含まれていること、または、テンプレートが、変化領域に所定の割合以上の重なりを有していることなどがある。

ある移動物体に対して、過去の時点においてこの移動物体に関連づけられている複数のテンプレートの全てが、１つの変化領域に関連づけられた場合には、この移動物体の現時点の位置が追跡されたことになる。つまり、この移動物体から抽出された変化領域と、過去の時点の複数のテンプレートとが関連づけられる。その結果は、追跡情報記憶領域２２に記憶される。したがって、この移動物体は、過去の時点から現時点にわたって、本装置１により追跡が成功された状態にある。

一方、入力画像に複数の移動物体が存在する場合には、過去の時点において１つの移動物体に関連づけられていた複数のテンプレートが、複数の変化領域に分かれて関連づけられる場合がある。
このような場合には、判定手段４３が、以下に述べるように、重み付きの評価処理を行うことによって、対応する移動物体を決定する。

判定手段４３は、まず、各テンプレートについて、過去の時点から現時点までの、テンプレートの動きの滑らかさを表わす量δ_sを求める。δ_sは、例えば、上記予測位置からのズレを、時間平均して求めることができる。
次に、判定手段４３は、各テンプレートについて、テンプレートと入力画像との一致の度合いを表わす量δ_mを求める。δ_mは、例えば、最大マッチングスコアの時間平均から求めることができる。

次に、判定手段４３は、各テンプレートについて、δ_sおよびδ_mの和を用いた重みをそれぞれ求める。

次に、判定手段４３は、過去の時点において１つの移動物体に関連づけられていた複数のテンプレートが、現時点において関連づけられている各変化領域に対して、テンプレートの重みの和から評価値をそれぞれ求める。
そして、判定手段４３は、最大の評価値を有する変化領域に、現時点の移動物体が対応すると考える。このようにして、移動物体の現時点の位置が追跡される。

また、上述した場合とは別な状況として、一つのテンプレートが複数の変化領域にまたがって存在する場合がある。この場合には、テンプレートとの重なりの割合が大きい方の変化領域に、このテンプレートを関連づけてもよい。あるいは、重なりの割合に応じて重みを内分してもよい。

上述した説明は、過去の時点において１つの移動物体に関連づけられていた複数のテンプレートが、現時点における複数の変化領域それぞれに関連づけられた場合について述べたものである。
一方、過去の時点において複数の移動物体それぞれに関連づけられていた複数のテンプレートが、現時点における１つの変化領域に関連づけられる場合もある。これは、複数の移動物体が移動により交差して重なることにより、それらに対応した変化領域が結合して、一体化した変化領域となった場合である。このような交差した状態は、状態の変化として、追跡情報記憶領域２２に記憶される。

また、１つ前の過去の時点では交差状態にあった複数の移動物体が、現時点では交差が解消した状態にある場合には、１つの変化領域に関連づけられていた複数のテンプレートが、現時点における複数の変化領域それぞれに関連づけられることになる。この交差した状態が解消される場合については、具体例を用いて後述する。

次に、更新部５０について以下に説明する。
更新部５０は、図１に示すように、背景画像更新手段５１と、テンプレート更新手段５２とを有している。

背景画像更新手段５１は、背景画像記憶領域２１に記憶されている背景画像を、所定の基準にしたがって、更新処理を行う。更新された背景画像は、また背景画像記憶領域２１に記憶される。上記基準は、記憶部２０に記憶されている。
カメラ６１の視野の状況には、例えば、日照変動により、明るさまたは影の形状などに経時変化がある。そこで、視野内に移動物体が存在しないという条件のもと、背景画像更新手段５１により、背景画像が更新される。上記基準としては、例えば、所定の時間間隔を用いてもよい。

また、上記基準の代わりとして、過去の画像を用いた移動平均法などの公知の技術を用いて、背景画像の更新処理が行われてもよい。例えば、この移動平均法を用いる場合には、時刻ｔにおける背景画像Ｂ（ｔ）は、Ｂ（ｔ）＝ａＢ（ｔ−１）＋ｂＢ（ｔ−２）と表わされる。つまり、時刻ｔにおける背景画像Ｂ（ｔ）は、過去の時刻ｔ−１およびｔ−２における背景画像の線形和として表わされる。ここで、ａおよびｂは、係数であり、カメラ６１の設置条件などから定めることができる。

テンプレート更新手段５２は、上述した判定手段４３により、追跡が成功したテンプレートの更新処理を行う。更新されたテンプレートは、また追跡情報記憶領域２２に記憶される。

カメラ６１により画像化された移動物体の形状または寸法は、移動物体の移動にともなって、変化する場合がある。例えば、カメラ６１として、超広角レンズ、広角レンズまたは魚眼レンズなどを有するものを用いており、また画像が、下向きに設置されたカメラ６１により撮像されたものである場合には、画像における移動物体の形状および大きさが、移動物体の視野内の位置によって特に大きく変化する。

このような場合には、入力画像ごとに、該画像中の各移動物体に対して、この移動物体に関連づけられているテンプレートそれぞれを更新することが好ましい。したがって、上述した予測手段４１では、常に最新のテンプレートを用いて、予測処理を行うことができる。

テンプレートの更新には、例えばマッチング手段４２によって最大マッチングスコアが得られた位置におけるテンプレートと現時点の入力画像との一致部分を、新しいテンプレートとして用いることができる。

また、上述したテンプレートを更新するタイミングとしては、例えば以下に説明する方法を用いることができる。

（１）一定の間隔をあけてテンプレートを更新する方法
この方法では、ある一定の間隔（例えば５フレームごとなど）をあけて、テンプレートの更新処理が行われる。

（２）誤差から判断する方法
この方法では、マッチング手段４２により得られた上記最大マッチングスコアの値が、所定の値以下になった場合に、テンプレートの更新処理が行われる。つまり、過去の時点の最大マッチングスコアと比べて現時点での最大マッチングスコアが減少して、テンプレートが有する誤差が大きくなったと判断された場合に、テンプレートが更新される。

（３）重み付き平均による方法
マッチング手段４２でヒストグラムマッチング法が用いられた場合、この方法では、マッチング手段４２によって上記最大マッチングスコアが得られた位置における入力画像の輝度ヒストグラムと、テンプレートの輝度ヒストグラムとを用いて、各輝度ヒストグラムに重みづけをして線形和をとり、この線形和を更新されたテンプレートとすることもできる。

また、テンプレート更新手段５２は、ある移動物体に関連づけられている複数のテンプレート相互間の位置関係を考慮して、テンプレートの更新処理を行ってもよい。
詳述すると、複数のテンプレートの中から基準となる基準テンプレートを選択し、この基準テンプレートから所定の距離以上を離れた乖離テンプレートを、基準プレートの位置を加味して、この乖離テンプレートの位置を修正する。上記基準テンプレートとしては、例えば最大マッチングスコアが最も高い値を有するテンプレートを選択することが、関連付けられている移動物体の動きを適切にとらえる観点から好ましい。上記乖離テンプレートの位置の修正方法としては、例えば、乖離テンプレートの位置の変化量（例えば重心の位置の変化量）と、基準テンプレートの変化量とに、所定の重みを付けて線形和をとる方法が挙げられる。この重みは、固定値でもよいし、または、基準テンプレートと乖離テンプレートとの間の距離にしたがって大きくしてもよい。また上記重みは、テンプレートごとに異なった値を有していてもよい。

また、複数の移動物体が存在する場合には、テンプレート更新手段５２は、移動物体それぞれの特徴的な部分を用いてテンプレートの更新処理を行ってもよい。
このテンプレートの更新処理を、図３に示す例を用いて説明する。図３（ａ）および（ｃ）に示すように、移動物体Ｍ１、Ｍ２があり、頭部、胴体部および脚部に、それぞれテクスチャが異なった特徴的な部分を有している。具体的に移動物体Ｍ１に着目してみると、移動物体Ｍ１は、頭部の上部に移動物体Ｍ２とは異なる特徴的なテクスチャを有しており、また胴体部から脚部にかけて、その中央部には上下に縦長の特徴的なテクスチャを有している。

この場合に、２つの移動物体Ｍ１、Ｍ２を識別するようにテンプレートを更新するには、テンプレートの生成方法において上述したように、移動物体の特徴的な部分を用いてテンプレートを生成する方法に従って行うことができる。例えば、移動物体Ｍ１、Ｍ２を同様に複数のセグメントに領域分けし、各セグメントの特徴量を求めて、移動物体Ｍ１、Ｍ２の対応するセグメントの特徴量の類似度が最も低いセグメントを用いてテンプレートを生成し更新する。具体的には、図３（ｂ）に示すように、移動物体Ｍ１のテンプレートを生成して更新することができる。

またテンプレート生成手段３３は、カメラ６１の歪曲収差および画像上の位置に応じて、テンプレートの形状を適宜修正して更新してもよい。

次に、出力部７０について以下に説明する。
出力部７０は、本装置１の処理の結果などを外部に出力する。出力部７０は、画面、プリンタ、出力インターフェースなどの出力手段を有している。本装置１が、監視装置の一部として用いられている場合には、移動物体に関する追跡結果が、監視装置本体に、出力部７０から出力される。追跡結果の内容は、具体的には、移動物体の番号、移動物体から抽出された変化領域の番号、各時点における位置および速度などの情報がある。また、追跡している移動物体の動きが、所定の基準にしたがって異常と判断される場合には、異常の警報を、出力部７０から出力してもよい。

最後に、制御部１０について以下に説明する。
制御部１０は、記憶部２０に記憶されているプログラムに基づいて、上述した各構成要素の処理を制御する。また制御部１０は、外部から入力される画像などのデータを、入力部６０により入力する処理を制御し、追跡結果などの情報を、出力部７０から外部に出力する処理を制御する。

以下、上述した本発明の移動物体追跡装置の動作手順の一例を、図５〜７を参照しながら説明する。

図５は、本発明の移動物体追跡装置の動作手順の一例を示すフローチャートである。図６は、図５における対応付け処理の手順を詳細に示すフローチャートである。図７（ａ）〜（ｅ）は、図６の処理における変化領域およびテンプレートの状態の一例を示す図である。

まず、ステップＳ１００において、カメラ６１により撮像された画像を、入力部６０から入力して記憶部２０に記憶する。カメラ６１では、所定の間隔で１フレームごとの画像を撮像する。

次に、ステップＳ１０１において、抽出部３０の差分処理手段３１により、カメラ６１により撮像された入力画像から、２値画像を生成する。差分処理手段３１は、入力画像と、背景画像記憶領域２１に記憶されている背景画像との差分画像を生成し、この差分画像を２値化処理して２値画像を生成する。

次に、ステップＳ１０２において、抽出部３０のラベリング手段３２により、Ｓ１０１で生成した２値画像から、移動物体に対する変化領域の抽出処理を行う。ラベリング手段３２は、２値画像における、移動物体の属性を有する画素に対して、画素同士を１つの領域として関連づけ、変化領域を抽出して番号をつける。この変化領域の情報は、追跡情報記憶領域２２に記憶する。

次に、記憶部２０の追跡情報記憶領域２２に記憶されている全ての移動物体に対して、ステップＳ１０３〜Ｓ１０７の処理を行う。

まず、ステップＳ１０３において、追跡部４０の予測手段４１により、ある移動物体に関連づけられている複数のテンプレートの全てについての予測処理を行う。予測手段４１は、過去の時点の移動物体に関連づけられたテンプレートの位置および速度を用いて、現時点における移動物体の位置を予測する。

次に、ステップＳ１０４において、追跡部４０のマッチング手段４２により、入力画像において、予測した移動物体の位置を中心にした所定の範囲内で、テンプレートのマッチング処理を行って、最大マッチングスコアを求める。

次に、ステップＳ１０５において、追跡部４０の判定手段４３により、テンプレートと変化領域との対応付け処理を行う。判定手段４３は、最大マッチングスコアが所定の閾値以上である場合には、テンプレートを現時点の入力画像の移動物体から抽出された変化領域に関連づける。

Ｓ１０６において、判定手段４３により、現時点において抽出された変化領域に対して、移動物体が関連づけられる。詳細については図６と図７を用いて後述する。

一方、判定手段４３が、あるテンプレートのマッチングを調べた結果、最大マッチングスコアが上記閾値未満である場合には、このテンプレートに関してこの移動物体は、見失われたと判定する。そして追跡部４０は、該移動物体に関連づけられていた上記テンプレートを用いて、予測手段４１およびマッチング手段４２による処理を所定の期間にわたって行ない続ける。そして、このテンプレートの最大マッチングスコアが上記閾値と同等以上を示した場合には、判定手段４３により、このテンプレートを用いた移動物体の追跡が再開される。

また、ある移動物体に関連づけられていた全てのテンプレートにおいて、移動物体が見失われた場合には、判定手段４３は、この移動物体が、視野の外に移動したと判断して、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。または、この見失われた該移動物体に関連づけられたテンプレートの位置の予測およびマッチングの調査を、所定の期間にわたって続けてもよい。

次に、ステップＳ１０７において、更新部５０のテンプレート更新手段５２により、各テンプレートの更新処理を行う。また、所定の基準にしたがって、背景画像の更新処理を、背景画像更新手段５１により行う。

１つ前の過去の時点では存在しなかった移動物体が、現時点の入力画像に表れた場合には、この移動物体およびその抽出された変化領域の情報がまだ追跡情報記憶領域２２には記憶されていないので、この移動物体については、上述した手順では何らの処理もなされない。新たに現れた移動物体には、以下の手順にしたがって、複数のテンプレートを生成して関連づける。
そこで、テンプレートの対応づけがされていない全ての変化領域に対して、下記ステップＳ１０８の処理を行う。

ステップＳ１０８において、入力画像中に新たに現れた１つの変化領域に対して、抽出部３０のテンプレート生成手段３３により、変化領域を用いて、複数のテンプレートが生成して関連づける。この際、テンプレートを、移動物体の少なくとも輪郭の一部を含むように生成することが好ましい。

生成された複数のテンプレートそれぞれには、その画像情報を、その移動物体に関連づけられた該テンプレートを管理する番号を付して、追跡情報記憶領域２２に記憶する。

カメラ６１からは、所定の間隔をあけて１フレームずつの画像が入力されるので、上述した処理が、入力画像ごとに行われる。

次に、上述した判定手段４３によるステップＳ１０６の処理について、１つ前の過去の時点では交差状態にあった複数の移動物体が、現時点では交差が解消した状態にある場合を例にして、図６および図７（ａ）〜（ｅ）を参照して、さらに以下に説明する。

まず、ステップＳ２００において、判定手段４３により、入力画像における１つの変化領域に、ある移動物体に関連づけられている全てのテンプレートが対応しているのかを判断する。
図７（ａ）に示すように、もし、１つの変化領域に、ある移動物体に関連づけられている全てのテンプレートが対応しているのならば、Ｓ２００の判断はＹｅｓであり、次に、ステップＳ２０４の前に進む。
図７(ａ)に示す例では、移動物体Ｍ１から抽出された変化領域Ｓ１には、移動物体に関連づけられている全てのテンプレートＭ１−１、Ｍ１−２、Ｍ１−３が対応している。

一方、図７（ｂ）に示すように、１つの変化領域に、ある移動物体に関連づけられている全てのテンプレートが対応していない場合には、Ｓ２００の判断はＮｏであり、ステップＳ２０１〜Ｓ２０３の処理を行う。
図７（ｂ）に示す例では、移動物体Ｍ１から抽出された変化領域Ｓ１に、２つのテンプレートＭ１−１、Ｍ１−２が対応しており、移動物体Ｍ２から抽出された変化領域Ｓ２に、テンプレートＭ１−３が対応している。このテンプレートＭ１−３は、移動物体Ｍ１に関連づけられていたテンプレートである。実際には、この段階では、変化領域Ｓ１が移動物体Ｍ１に対応しており、変化領域Ｓ２が移動物体Ｍ２に対応しているとは判断されていない。

まず、ある移動物体に関連づけられている全てのテンプレートに対して、ステップＳ２０１の処理によりテンプレートの重みが計算される。

ステップＳ２０１において、ある移動物体に関連づけられている全てのテンプレートの重みを計算する。このテンプレートの重みとしては、上述した判定手段４３で説明した重みを用いることができる。
図７（ｃ）に示す例では、変化領域Ｓ１に対応しているテンプレートＭ１−１、Ｍ１−２の重みが、それぞれ、０．７、１．２であり、変化領域Ｓ２に対応しているテンプレートＭ１−３の重みが、１．０となっている。

次に、テンプレートが対応している全ての変化領域に対して、ステップＳ２０２およびＳ２０３の処理を行う。

まず、ステップＳ２０２において、各変化領域に関する評価値を計算する。この変化領域の評価値としては、上述した判定手段４３で説明した評価値を用いることができる。
図７（ｄ）に示す例では、変化領域Ｓ１に関する評価値は、１．９であり、変化領域Ｓ２に関する評価値は１．０である。

次に、ステップＳ２０３において、最大評価値を獲得する変化領域を、現時点の移動物体が対応する変化領域として選択する。

次に、ステップＳ２０４において、追跡部４０が、変化領域に移動物体を対応づける。
図７（ｅ）に示す例のように、変化領域Ｓ１が、テンプレートＭ１−１およびＭ１−２と対応付けられることにより、変化領域Ｓ１が移動物体Ｍ１であると判断される。
この移動物体Ｍ１のように、追跡を誤ってテンプレートの数が減少した場合には、残されたテンプレートを参照して、テンプレート生成手段３３により、新たなテンプレートを生成して移動物体Ｍ１に関連づけてもよい。

次に、記憶部２０の追跡情報記憶領域２２における記憶内容の推移を、入力画像の推移と比較して、図８および図９を参照しながら説明する。
図９に示す例では、追跡情報記憶領域２２に記憶されている記憶内容として、時点、移動物体番号、変化領域番号、移動物体に対応づけられているテンプレート番号、状況および追跡状態が示されている。

まず時点Ｔ０では、図８に示すように、入力画像中に移動物体が存在せず、追跡情報記憶領域２２には、記憶内容が存在しないため、図９に示すように、全てＮＵＬＬの状態にある。

次に時点Ｔ１では、移動物体が現れて、抽出部３０により番号Ｍ１が付与される。また移動物体Ｍ１には、抽出部３０により、変化領域Ｓ１が抽出され、テンプレートＭ１−１、Ｍ１−２、Ｍ１−３が生成して関連づけられる。
追跡情報記憶領域２２には、移動物体Ｍ１に関連した情報として、移動物体番号、変化領域番号、テンプレート番号が記憶される。また、こうした状況と、追跡開始の状態が記憶される。

次に時点Ｔ２では、図８に示すように、新たな移動物体が現れている。入力画像には、２つの移動物体Ｍ１、Ｍ２が含まれており、抽出部３０は、この画像に含まれる２つの移動物体Ｍ１、Ｍ２それぞれに対応した変化領域Ｓ１、Ｓ２を抽出する。そして、新たな移動物体Ｍ２には、抽出部３０により番号Ｍ２が付与される。また移動物体Ｍ２には、抽出部３０により、変化領域Ｓ２を用いて、テンプレートＭ２−１、Ｍ２−２、Ｍ２−３が生成して関連づけられる。

追跡情報記憶領域２２には、図９に示すように、移動物体Ｍ２に関連した情報として、移動物体番号、変化領域番号、テンプレート番号が記憶される。また、こうした状況と、追跡開始の状態が記憶される。

一方、時点Ｔ２の移動物体Ｍ１については、入力画像中の位置が移動しており、追跡部４０による追跡処理が行われて、追跡情報記憶領域２２の記憶内容が更新される。

次に時点Ｔ３では、図８に示すように、移動物体Ｍ１と移動物体Ｍ２とが移動により交差して重なっている。それらに対応した変化領域が結合して、一体化した変化領域となっており、この変化領域には変化領域番号Ｓ３が付与される。

追跡部は、一体化した変化領域Ｓ３と、重なる前の移動物体Ｍ１、Ｍ２それぞれに関連づけられていた複数のテンプレートＭ１−１〜３、Ｍ２−１〜３とを関連づけて、複数の移動物体Ｍ１、Ｍ２それぞれを追跡する。
この状態は判定手段４３により、交差状態と判定され、追跡情報記憶領域２２には、図９に示すように、状況が、交差と記憶される。

次に時点Ｔ４では、図８に示すように、移動物体Ｍ１と移動物体Ｍ２との交差した状態が解消して、それぞれが、別々に移動している。入力画像中の２つの移動物体Ｍ１、Ｍ２それぞれに対応した変化領域Ｓ４、Ｓ５が、抽出部３０により抽出される。

判定手段４３は、追跡情報記憶領域２２に記憶されている移動物体Ｍ１、Ｍ２それぞれのテンプレートＭ１−１〜３、Ｍ２−１〜３を用いて、移動物体Ｍ１、Ｍ２を追跡する。そして、判定手段４３は、変化領域Ｓ４が、テンプレートＭ１−１〜３と対応するので、移動物体Ｍ１に対応する判定する。同様に、判定手段４３は、変化領域Ｓ５が、テンプレートＭ２−１〜３と対応するので、移動物体Ｍ２に対応する判定する。

追跡情報記憶領域２２には、図９に示すように、変化領域Ｓ４が移動物体Ｍ１に対応すること、変化領域Ｓ５が移動物体Ｍ２に対応することを記憶すると共に、交差した状況が解消したことを状況として記憶する。そして、移動物体Ｍ１、Ｍ２の追跡が継続される。

上述した本装置１によれば、移動物体を常に正確に追跡できる。特に、本装置１は、複数の移動物体が移動により交差して重なった場合にも、複数のテンプレートおよび変化領域を用いて、交差中の各移動物体を追跡し続けることにより、交差が解消した後の各移動物体を交差前の移動物体に正確に対応づけて追跡することができる。

また、テンプレートが、移動物体の少なくとも輪郭の一部を含むように、抽出部により生成されることにより、移動物体の追跡精度がさらに高められる。

また、移動物体との対応づけができないため、対応する移動物体を見失ったテンプレートに対しても、所定の期間は、予測処理およびマッチング処理を行うことにより、一度見失われた移動物体も、再度追跡可能となされている。

本発明の移動物体追跡装置は、上述した実施形態に制限されることなく、本発明の趣旨を逸脱しない限り適宜変更が可能である。

例えば、本発明の移動物体追跡装置は、上述した実施形態において、現時点の移動物体が、カメラ６１の視野の外に移動した場合であって、この移動物体に関連付けられているテンプレートまたは変化領域の位置または速度から、現時点において、この移動物体が、視野の外に移動した推定される場合には、判定手段４３は、この移動物体の追跡を中止して、この移動物体に関連づけられた追跡情報記憶領域２２に記憶されている情報を消去してもよい。または、判定手段４３は、現時点の移動物体が、カメラ６１の視野の外に移動した場合には、ただちに、この移動物体の追跡を中止してもよい。

また、上述した実施形態において、差分処理手段３１の差分処理には、背景画像差分処理を用いていたが、この差分処理にはフレーム間差分処理を用いても良い。

また、上述した実施形態では、追跡部４０において、予測手段４１が用いられており、テンプレートは、入力画像中の所定の範囲とのみマッチング処理が行われていたが、この予測手段４１を用いずに、テンプレートと入力画像の全ての範囲でマッチング処理を行ってもよい。

さらに、上述した実施形態では、記憶部２０が、背景画像記憶領域２１と追跡情報記憶領域２２とを有していたが、記憶部２０には、これらの記憶領域を分けることなく、背景画像または移動物体などに関する情報が記憶されてもよい。

本発明の移動物体追跡装置は、この装置単体でも用いてもよいが、監視装置などの他の装置の一部としてまたは他の装置と共に用いてもよい。

図１は、本発明の一実施形態である移動物体追跡装置の機能ブロックを示す図である。 図２（ａ）〜（ｅ）は、幾何学的にテンプレートを生成した例を示す図である。 図３は、移動物体の特徴的な部分を用いてテンプレートを生成した例を示す図である。 図４は、テンプレート内の輝度分散が大きくなるようにテンプレートを生成した例を示す図である。 図５は、本発明の移動物体追跡装置の動作手順の一例を示すフローチャートである。 図６は、図５における対応付け処理の手順を詳細に示すフローチャートである。 図７（ａ）〜（ｅ）は、図６の処理における変化領域およびテンプレートの状態の一例を示す図である。 図８は、移動物体の交差した状態前後の画像の推移を示す図である。 図９は、追加情報記憶領域の記憶内容の推移を図８の画像の推移と比較して示す図である。

符号の説明

１ 移動物体追跡装置
１０ 制御部
２０ 記憶部
２１ 背景画像記憶領域
２２ 追跡情報記憶領域
３０ 抽出部
３１ 差分処理手段
３２ ラベリング手段
３３ テンプレート生成手段
４０ 追跡部
４１ 予測手段
４２ マッチング手段
４３ 判定手段
５０ 更新部
５１ 背景画像更新手段
５２ テンプレート更新手段
６０ 入力部
６１ カメラ
７０ 出力部

Claims (6)

1. 順次入力される入力画像から同一移動物体をテンプレートを用いて追跡する移動物体追跡装置であって、
   前記入力画像から移動物体に起因する変化領域を抽出する抽出部と、
   前記変化領域から異なる複数の前記テンプレートを生成するテンプレート生成手段と、
   前記移動物体と前記複数のテンプレートとを関連づけて記憶した記憶部と、
   前記記憶部に記憶している前記テンプレートと前記入力画像との類似したテンプレート候補を抽出するマッチング手段と、
   前記テンプレート候補が前記入力画像にて抽出された変化領域と重なりを有するか否かを判定し、前記重なりを有すると判定されたテンプレート候補が当該変化領域に対応づくと判定する判定手段と、
   前記判定手段が対応づくと判定したテンプレート候補にて前記記憶部のテンプレートを更新する更新手段と、
   を備えていることを特徴とする移動物体追跡装置。
2. 前記テンプレート生成手段は、複数の前記テンプレートのうち少なくとも１のテンプレートが、前記変化領域の少なくとも輪郭の一部を有するようにテンプレートを生成する請求項１に記載の移動物体追跡装置。
3. 前記記憶部は、更に前記テンプレートごとに位置情報を記憶しており、
   前記記憶部に記憶されている前記テンプレートごとに、前記入力画像における前記テンプレート候補の位置を前記位置情報に基づき予測する予測手段を有し、
   前記マッチング手段は、前記予測手段が予測した範囲にて前記テンプレート候補を抽出し、
   前記更新手段は、更新した前記テンプレートの位置情報も併せて更新する請求項１または２に記載の移動物体追跡装置。
4. 前記マッチング手段は、前記テンプレートと前記入力画像とのマッチングを調べてマッチングスコアを求め、該マッチングスコアが所定の閾値以上である該入力画像の部分を前記テンプレート候補とする請求項１から３のいずれか一項に記載の移動物体追跡装置。
5. 前記判定手段は、一つの変化領域に同一移動物体に対応した複数の前記テンプレートのテンプレート候補の全てが対応していると、複数の該テンプレート候補の全てを前記変化領域に対応づけ、
   複数の変化領域に同一移動物体に対応した複数の前記テンプレートのテンプレート候補の一部が対応していると、当該テンプレート候補と前記入力画像との類似度合いの総和を前記変化領域ごとに算出し、該テンプレート候補が前記総和の最大の変化領域に対応づくと判定する請求項１から４のいずれか一項に記載の移動物体追跡装置。
6. 前記入力画像は、天井に設置され下方向に撮影した画像である請求項１から５のいずれか一項に記載の移動物体追跡装置。

Images