JP4597543B2 - 自動追尾装置及び自動追尾方法 - Google Patents

Description

本発明は、侵入物体等の監視システムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法に関する。

遠隔監視カメラシステムが普及し、遠隔地にある特定地点を撮影した画像を監視し、侵入者等の追跡ができるようになってきた。監視カメラシステムで用いられるカメラは、一般的に広域を監視するため撮影用レンズとして広角レンズが装着されており、侵入物体の有無は判定できるものの、例えば侵入者の人相や表情などの詳細までは把握ことができない欠点がある。

そこで、広角レンズを装着したカメラ以外に、パン、チルト、ズーム（以下、まとめてＰＴＺとよぶ）の機能を備えたカメラを設置し、監視員のＰＴＺ制御により、侵入者の人相等のより詳細な画像を取得できるようにした監視システムがある（非特許文献１）。しかし、ジョイスティック等の操作装置によりＰＴＺ機能を持つカメラを手動操作して侵入者を追尾し続けることは高度な技術が必要であり、困難を感じる監視員が多い。このため、画像認識技術を用いて、自動的に撮影画像中の侵入者等の追跡物体を追尾できる自動追尾装置が望まれている。

このような自動追尾が可能な装置として、テンプレートマッチングの手法を利用した物体追跡方法及び物体追跡装置が提案されている（特許文献１）。テンプレートマッチングは、ある時刻の追跡物体の画像領域を切り出した部分画像をテンプレート画像として、異なる時刻の画像内でテンプレート画像と最も相関が高い領域を相関演算などにより求め、追跡物体を追跡する方法である。

図８は上記特許文献１の従来例における物体追跡時の動作を示すフローチャートである。まず、ある時刻ｔ１の入力画像において物体検出処理を行い（ステップ９０１）、検出された物体領域の画像を初期のテンプレート画像として登録する（ステップ９０２）。次に、新たな時刻ｔ２の入力画像を入力し（ステップ９０３）、テンプレートマッチングを行って入力画像からテンプレート画像と相関が最も高い領域を検出し、物体を追跡する（ステップ９０４）。

そして、保存されているすべてのテンプレート画像についてテンプレートマッチング処理がなされたかを判定し（ステップ９０５）、すべてのテンプレートマッチング処理が終了している場合には、最大一致度の判定処理を行う（ステップ９０６）。すべてのテンプレートマッチング処理が終了していない場合は、終了するまでステップ９０４のテンプレートマッチング処理を繰り返す。

ステップ９０６において、最大一致度が所定値以下の場合は、入力画像中に追跡物体がいなくなったものとして、ステップ９０１に戻って再度物体検出処理を行う。一方、最大一致度が所定値以上である場合、テンプレートマッチングの結果に応じてテンプレート画像の位置を補正し（ステップ９０７）、補正した複数のテンプレート画像を保存する（ステップ９０８）。複数のテンプレート画像は、それぞれ取得時刻または更新時刻が異なり、見掛けが多少異なるものの同一物体に関するテンプレート画像である。続いて、カメラの光軸方向が追跡物体に向くようにカメラ雲台を制御する（ステップ９０９）。そして、例えば追跡物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに追跡物体の画像を表示したりする（ステップ９１０）。

特開２００１−６０２６９号公報 羽下、藤原、鷲見著「首振り、ズームカメラを用いたトラッキング型侵入監視システム」、電子情報通信学会 信学技報ＰＲＭＵ９９−６７（Ｐ２３−３０）、１９９９年９月

しかしながら、上記のような従来の自動追尾方法においては、複数のテンプレート画像中に、最新の追跡物体の見掛けの形状とは差異が大きく、むしろ背景領域と相関が高い不適切なデータが保持されてしまうことがあった。このような場合、テンプレートマッチングにおいて背景への誤対応が発生しやすく、結果として追跡物体の追跡が中断され、追跡に失敗しやすいという問題が生じる。

本発明は、上記事情に鑑みてなされたもので、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

本発明の自動追尾装置は、撮像手段によって撮像された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、前記画像中の追跡したい対象物体を含む領域をテンプレート画像として設定し、前記テンプレート画像を所定枚数保存するテンプレート設定手段と、前記対象物体の前記テンプレート設定手段に保存されている全てのテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、前記対象物体の形状変化を検出する形状変化検出手段と、前記形状変化検出手段の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御手段と、を備え、前記形状変化検出手段が前記対象物体の形状の変化が大きいと判断した場合、前記テンプレート保持制御手段は前記テンプレート設定手段の前記テンプレートの保存する所定枚数を下げるものである。

この構成により、例えば、対象物体の形状変化があった場合、テンプレート画像の更新アルゴリズムを変更することにより、テンプレート画像の保持内容を適応的に変更することができ、物体をより安定に追跡することが可能となる。テンプレート画像の更新アルゴリズムとしては、例えば、通常はテンプレート画像を複数保持して相関演算を行うため、この保持するテンプレートの上限数、テンプレート画像の更新頻度などがある。

また、本発明の一態様として、上記の自動追尾装置であって、前記形状変化検出手段は、前記対象物体が前記撮像手段の光軸を横切る方向に移動する場合には見掛けの変化が大きく、前記光軸に沿う方向に移動する場合には見掛けの変化が小さいと判断するものも含まれる。

この構成により、対象物体の移動方向によってこの対象物体の形状の変化を適切に判断することが可能となり、テンプレート画像の保持内容を適切に制御することができる。

また、本発明の一態様として、上記の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の保持数上限を下げるものも含まれる。

この構成により、対象物体の形状変化がある場合にテンプレート画像の保持数上限を小さくすることで、背景との相関が高いテンプレート画像が保存されることを低減できる。このため、背景とのテンプレートマッチングにより物体の追跡が中断されてしまうことを防止でき、より安定して物体を追跡することが可能になる。

また、本発明の一態様として、上記の自動追尾装置であって、前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の更新頻度を上げるものも含まれる。

この構成により、対象物体の形状変化がある場合にテンプレート画像の更新頻度を上げることで、比較的近い時刻に更新したテンプレート画像の比率を高めることができ、より安定して物体を追跡することが可能になる。

本発明の自動追尾方法は、撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾方法であって、前記画像中の追跡したい対象物体を含む領域をテンプレート画像として設定し、前記テンプレート画像を所定枚数保存するテンプレート設定ステップと、前記対象物体の前記テンプレート設定手段に保存されている全てのテンプレート画像と入力画像との相関演算を行うテンプレートマッチングステップと、前記対象物体の形状変化を検出する形状変化検出ステップと、前記形状変化検出の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御ステップと、を有し、前記形状変化検出ステップで前記対象物体の形状の変化が大きいと判断した場合、前記テンプレート保持制御ステップは前記テンプレート設定ステップの前記テンプレートの保存する所定枚数を下げるものである。

この手順により、例えば、対象物体の形状変化があった場合、テンプレート画像の更新アルゴリズムを変更することにより、テンプレート画像の保持内容を適応的に変更することができ、物体をより安定に追跡することが可能となる。

また、本発明は、上記の自動追尾方法の各手順をコンピュータに実行させるためのプログラムを提供する。このプログラムにより、本発明に係る自動追尾方法をコンピュータにより実行させて実現することが可能となる。このプログラムは、メモリ、ハードディスク、ＣＤ−ＲＯＭなどの記録媒体に格納することも可能である。

本発明によれば、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能な自動追尾装置及び自動追尾方法を提供できる。

以下、本発明の実施形態として、侵入物体等を監視する遠隔監視システムにおいて、テンプレートを用いて撮影画像中の物体を追跡し、カメラのパン、チルト、ズーム動作（ＰＴＺ動作）を制御して詳細に侵入物体を監視するための自動追尾カメラ等の自動追尾装置、及び自動追尾方法の例を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る自動追尾装置の機能構成を示す図である。

自動追尾装置１００は、撮像装置１０８によって撮影された画像を入力する画像入力部１０１と、入力画像中の物体領域（対象物体の領域）をテンプレート画像として登録するテンプレート設定部１０２と、入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索するテンプレートマッチング部１０３と、テンプレートマッチング処理において追跡中の対象物体の見掛けの形状変化を検出する見掛け形状変化検出部１０４と、対象物体の見掛けの形状の変化に応じてテンプレートの保持数上限を制御するテンプレート保持制御部１０５と、対象物体が撮影画像の中央部に映る（位置する）ように撮像装置１０８をＰＴＺ動作させる撮像装置制御部１０６と、画像を外部の画像表示装置１０９に出力する画像出力部１０７とを有する構成である。

本実施形態では、撮像装置１０８で撮影され画像入力部１０１より入力された撮影画像について、テンプレート設定部１０２において画像中の物体領域がテンプレート画像として登録されてテンプレートが設定される。その後、画像入力部１０１より入力された新たな撮影画像について、テンプレートマッチング部１０３において登録済みのテンプレート画像との相関が高い領域が検索される。ここで、追跡中の物体の見掛けの形状変化が検出された場合、追跡物体の見掛けの変化に応じてテンプレート画像の保存数上限がテンプレート保持制御部１０５の制御により変更される。例えば、追跡物体の見掛けの形状が大きく変化したと判断された場合、テンプレート画像の保存数上限が下げられる。

次に、自動追尾装置１００の主要部分の動作について説明する。まず、テンプレート設定部１０２では、入力画像（撮像装置１０８による撮影画像）から追跡したい物体領域の画素を含む矩形領域をテンプレート画像として設定する。テンプレート画像の設定方法としては、操作者が入力画像を見ながら物体領域上に手動で指示操作して設定しても良いし、入力画像中に輝度変化が発生した領域を物体領域と見なして、ラベリング処理後同一ラベルを付与された画素を含む領域をテンプレート画像として自動設定しても良い。

テンプレート画像は、同一物体について取得時刻や更新時刻が異なる複数枚保持することを想定しているが、単数でも構わない。テンプレート画像と入力画像との相関が低くなった場合等には、テンプレートを保存可能な上限枚数まで追加する。上限枚数に達した際は、一部のテンプレートを削除して新しいものを追加する。テンプレート削除のルールとしては、例えば古いものから削除する、相関が低いものから削除するなどがある。

なお、テンプレートの設定方法としては、上記例に限らず、パターン認識技術を利用して、ある画像領域が追跡すべき物体と認識された場合にこの物体領域をテンプレートとして設定してもよい。また、テンプレートのサイズは、物体領域全体を含む大きさに設定するのが一般的であるが、物体領域の頭部周辺等の一部分をテンプレート画像として設定しても良い。また、テンプレート画像は、入力画像から切り出したものであり、入力画像の一部であるが、特に処理を加えずに用いても良いし、エッジ抽出や各種フィルタ処理を施してテンプレート画像としてもよい。

図２は、テンプレートマッチング部１０３の動作を説明する図である。テンプレートマッチング部１０３は、画像入力部１０１より入力された新たな入力画像と登録済みのテンプレート画像との相関を求め、相関性の高い領域を探索する。図２において、（ａ）に示すようなテンプレート設定部１０２で設定された直前のフレームのテンプレート画像をテンプレート画像Ｔとし、（ｂ）に示すような新たに入力された入力画像を入力画像Ｉとする。テンプレートマッチング部１０３では、入力画像Ｉからテンプレート画像Ｔと最も相関が高くなる対応領域２０１を探索する。ここで、対応領域２０１の探索は、数十〜数百ｍｓ周期毎に繰り返すことで物体位置を追跡することができる。複数のテンプレート画像Ｔが存在する場合には、対象となる全てのテンプレート画像を用いて探索する。

このとき、直前フレームの処理において相関が最も高かった領域を基準に、最新の入力画像Ｉに水平垂直数十画素程度の探索範囲２０２を設定する。相関性を求めるとき、探索範囲２０２内を走査しながらテンプレート画像Ｔとの相関を順次に求める。探索範囲２０２を入力画像全体とすることも考えられるが、演算量が大きすぎることや誤対応が発生しやすいこと等から、一般的には探索範囲を限定する。探索範囲２０２の広さは、物体の動きにもよるが、水平垂直方向に数画素から数十画素程度である。

画像における相関値の算出方法として、正規化相関を用いる場合の例を説明する。テンプレート画像Ｔの大きさをＫ（Ｈ）＊Ｌ（Ｖ）画素とし、このテンプレート画像Ｔ（ｐ，ｑ）が移動して、現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素になったものとする。このテンプレート画像Ｔ（ｐ，ｑ）と現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素との正規化相関値ＮＲＭＬ（ｘｖ，ｙｖ）は以下の式（１）のように表すことができる。

正規化相関値ＮＲＭＬは、両画像間の相関が高いほど１．０に近い値となり、相関が無い場合は０である。探索範囲２０２内にテンプレート画像Ｔと全く同じ画素値を持つ画像が存在した場合、正規化相関値ＮＲＭＬは１．０となる。最も相関が高くなる現フレーム上の位置を対応領域２０１とする。直前のフレームで抽出したテンプレート画像の位置からの対応領域２０１の移動量が（ｘｖ，ｙｖ）であり、これがテンプレートの動きベクトルを示す。

なお、上記例では正規化相関によって新たな入力画像とテンプレート画像との相関値を求める方法を説明したが、相関値の算出方法としては、より演算量が小さい差分法や差分絶対値和法などの手法も利用できる。

見掛け形状変化検出部１０４では、追跡中の物体の見かけの形状が変化したことを検知し、後述するテンプレート保持制御部１０５に通知する。追跡物体の見掛けが変化することは、例えば侵入者の移動方向を用いて判定することができる。

図３は、物体の移動方向とこの物体の撮影画像における見掛けの変化の一例を示す図であり、（ａ）は撮像装置の光軸を横切る方向へ移動する場合、（ｂ）は撮像装置の光軸に沿う方向へ移動する場合をそれぞれ示している。

図３（ａ）のように追跡物体３０１がカメラ等の撮像装置３０２の光軸を横切る方向へ移動する場合、撮像装置３０２から見ると、追跡物体３０１は初めの内は正面が観察されるが、移動するに従い側面を観察することなり、さらに移動すると裏面が観察される。この場合、撮像装置３０２による撮影画像において、追跡物体３０１の移動に伴って異なる面が撮影される。したがって、撮影画像において水平方向へ移動する物体は、移動に伴って見掛けの形状変化が大きくなる。

図３（ｂ）のように追跡物体３０１が撮像装置３０２の光軸に沿うような移動をする場合、撮像装置３０２から見ると、追跡物体３０１は常に正面付近が観察され、移動距離あたりの見掛けの変化が小さい。このとき、別途ズームの制御を適切に行えば画像上での物体の大きさをほぼ一定にすることができる。したがって、撮影画像において垂直方向や奥行き方向に移動する物体や、あるいは画像上での動きが小さい物体は、見掛けの形状変化が小さくなる。ただし、撮像装置の下を通過する場合のように、撮像装置のチルト角（俯角）が大きい状態では、移動方向によらず見掛けの形状変化は大きくなる。

追跡物体の移動方向は、テンプレートマッチングによって得られる画像上での移動画素数を方向別に積分することなどで把握することができるが、自動追尾装置の場合、常に物体が画像の中央付近となるよう撮像装置自体がパンチルト制御されるため、このパンチルト制御量を用いて移動方向を判定することができる。

したがって、見掛け形状変化検出部１０４は、追跡物体３０１が撮像装置３０２の光軸を横切る方向に移動する場合には見掛けの変化が大きく、撮像装置３０２の光軸に沿う方向に移動する場合には見掛けの変化が小さいと判断する。あるいは、撮像装置３０２のパンチルト角度またはズーム比率が所定値以上制御された場合に、見掛けの変化が発生したと判断する。

テンプレート保持制御部１０５は、見掛け形状変化検出部１０４の処理結果を受けて、画像の保持数上限を適応的に変更した後、テンプレート画像を保存する。このテンプレート画像は、同一物体について複数枚設定し保持することを想定しているが、単数でも構わない。テンプレート画像と入力画像との相関が低くなった場合等には、保存可能な上限枚数までテンプレート画像を追加する。上限枚数に達した際は、所定のルールでテンプレート画像を更新する。例えば古いものを削除した後に新しく追加する。以下に、テンプレート画像と入力画像との相関値とテンプレート画像の数との関係について説明する。

テンプレートマッチング部１０３において相関演算を行うと、各テンプレート画像と入力画像との相関値ＣＯＲＲ、例えば上記式（１）記載の正規化相関値ＮＲＭＬが結果として得られる。ここで、入力画像と複数のテンプレート画像との相関値が下記の式（２）の条件を満たす場合には、テンプレート画像を追加する。

相関値ＣＯＲＲ≦相関値閾値ＴＨ＿ＣＯＲＲ …（２）

複数のテンプレート画像が存在する場合は複数の相関値が得られるが、最大値をもって式（２）の相関値ＣＯＲＲとする。つまり、複数のテンプレート画像と入力画像との相関値ＣＯＲＲが所定の相関値閾値ＴＨ＿ＣＯＲＲ以下となり、相関が低くなった場合は、新しいテンプレートを追加する。

テンプレート画像の保存数は、ある程度保持した方が追跡物体の形状変化に対応することができると考えられるが、多すぎる場合には背景パターンとの相関が高いテンプレートも保存される可能性が高くなる。実際、長時間にわたって取得した多数のテンプレート画像を保持していると、背景のパターンと相関が高いものも保存されてしまい、テンプレートが背景に貼り付いて物体追跡が中断する現象が発生する。

そこで、本実施形態では、物体の見掛けが大きく変化したと判定された場合には、テンプレート画像の保存数上限を通常より少なくし、追跡性能を劣化させるテンプレート画像を削除して利用されないようにする。既に保存数上限を超えていた場合は、所定のルールで一部のテンプレート画像を削除する。例えば、削除するルールとしては、古いものから削除したり、テンプレートマッチングで追跡物体との相関が低いものから削除したりすることが考えられる。

図４は第１の実施形態におけるテンプレート保持制御部１０５によるテンプレート画像の制御動作を示すフローチャートである。

テンプレート保持制御部１０５は、見掛け形状変化検出部１０４における検出結果により、追跡物体の見掛けの形状変化があるかを判断する（ステップ４０１）。ステップ４０１において、追跡物体の見掛けの形状変化が所定量以上あると判断した場合、テンプレート画像の保存数上限を通常より少なくする（ステップ４０２）。これにより、追跡物体の見掛けの形状が大きく変化した場合に、追跡性能を劣化させるテンプレート画像を削除して利用されないようにする。既に保存数上限を超えていた場合は、所定のルールで一部のテンプレート画像を削除する。一方、ステップ４０１で追跡物体の見掛けの形状変化がないと判断した場合、テンプレート画像の保存数上限を変化させずに処理を終了する。

撮像装置制御部１０６は、追跡物体が存在する方向に撮像装置１０８のカメラの光軸（カメラの視野方向）が向くように、パン、チルト等を行うカメラ駆動機構を制御する。これにより、追跡物体が撮影画像の中央部に位置するように撮像装置１０８が駆動制御される。このとき、テンプレートマッチングによって検出された追跡物体の中心位置と入力画像の中心位置とを比較し、検出された追跡物体の中心位置が入力画像の中心位置に対して左右方向のずれがあった場合、カメラのパンモータを制御し、カメラの光軸を水平方向へ移動させて調節する。また、追跡物体の中心位置が入力画像の中心位置に対して上下方向のずれがあった場合、カメラのチルトモータを制御し、カメラの光軸を垂直方向へ移動させて調節する。

次に、上記のように構成された第１の実施形態の自動追尾装置の全体の動作を図５に基づき説明する。図５は第１の実施形態における自動追尾装置の動作手順を示すフローチャートである。

まず、画像入力部１０１において、撮像装置１０８によって撮影された画像を入力する（ステップ５０１）。そして、テンプレート設定部１０２において、入力された画像の中の物体領域（追跡対象となる物体の画素領域）をテンプレート画像として登録することで、テンプレートを設定する（ステップ５０２）。次に、画像入力部１０１において撮像装置１０８によって新たに撮影された画像を入力する（ステップ５０３）。

そして、テンプレートマッチング部１０３において、新たな入力画像とテンプレート画像とを比較して相関値を算出し、新たな入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索する（ステップ５０４）。このテンプレートマッチング処理により、追跡物体の画素位置が抽出される。

次に、見掛け形状変化検出部１０４において、追跡物体の見掛けの形状変化があるかどうかを判定し、判定結果をテンプレート保持制御部１０５に通知する（ステップ５０５）。ここで、追跡物体の見掛けの形状変化が大きいと判断した場合、テンプレート保持制御部１０５において、追跡物体の見掛けの変化に応じてテンプレート画像の保持数上限を下げるように制御する（ステップ５０６）。一方、追跡物体の見掛けの形状変化が小さいと判断した場合、ステップ５０６をスキップする。なお、テンプレートの保持数上限を下げるときに、テンプレートの保持数上限を超えている場合は、一部のテンプレート画像を削除する。

そして、テンプレート保持制御部１０５において、テンプレートマッチング部１０３での処理結果に基づき、入力画像とテンプレート画像との相関値が所定の閾値以下かどうかを判定し、閾値以下の場合はテンプレート画像を更新する。そして、更新後のテンプレート画像を保存する（ステップ５０７）。

その後、撮像装置制御部１０６において、撮像装置１０８のパン、チルト、ズームの制御を行い、追跡物体が画像の中央部に位置するように撮像装置１０８をＰＴＺ動作させ（ステップ５０８）、撮像装置１０８で追跡物体を含む監視領域を撮像する（ステップ５０９）。そして、画像出力部１０７において、撮像装置１０８で撮影した画像を外部の画像表示装置に出力する（ステップ５１０）。その後、ステップ５０３の新たな画像入力処理に戻り、同様の処理を繰り返す。

上記のように、第１の実施形態の自動追尾装置では、見掛け形状変化検出部１０４において追跡対象の物体の見掛けの形状変化を物体の移動方向を元に判定し、見掛けの形状変化がある場合に、相関演算で用いるテンプレート画像の更新アルゴリズムを変更する。具体的には、テンプレート保持制御部１０５においてテンプレート画像の保存数上限を小さくするようにする。このように、追跡物体の見掛けの変化の検出結果に応じて、テンプレート画像の保持内容を適応的に変更する制御によって、背景パターンとの相関が高いテンプレート画像が保存されることを低減できる。これにより、物体の追跡が中断されてしまうことを防止でき、より安定して物体を追跡することが可能になる。

（第２の実施形態）
第２の実施形態は、自動追尾装置１００におけるテンプレート保持制御部１０５の機能を変更した例である。その他の構成及び動作は前述した第１の実施形態と同様であり、ここでは第２の実施形態の特徴部分を中心に説明する。

第２の実施形態では、テンプレート保持制御部１０５は対象物体の見掛けの形状の変化に応じてテンプレートの更新頻度を制御する。すなわち、テンプレート保持制御部１０５は、見掛け形状変化検出部１０４の処理結果を受けて、画像の更新頻度を適応的に変更した後、テンプレート画像を保存する。画像入力部１０１より入力された画像は、テンプレートマッチング部１０３において登録済みのテンプレート画像との相関が高い領域が探索され、追跡中の物体の見掛けの変化が検出された場合、この変化量に応じてテンプレート保持制御部６０５の制御によりテンプレートの更新頻度が変更される。このとき、物体の見掛けの形状が大きく変化したと判定された場合には、テンプレート画像の更新頻度を通常より高くする。

テンプレート画像は、物体の形状変化に対応すべく、複数持つことが有効であるが、比較的大きな見掛け形状の変化を伴なう動き方をする場合には、テンプレートの更新頻度を高くし、より現在の形状に近いテンプレート画像を保持できるようにする。具体的には、見掛けが大きく変化したと判定された場合には、例えば式（２）で利用したようなテンプレート更新の際に用いる相関値閾値を下げて、テンプレート画像の更新がより頻繁に行われるように変更する。

図６は第２の実施形態におけるテンプレート保持制御部１０５によるテンプレート画像の制御動作を示すフローチャートである。

テンプレート保持制御部１０５は、見掛け形状変化検出部１０４における検出結果により、追跡物体の見掛けの形状変化があるかを判断する（ステップ６０１）。ステップ６０１において、追跡物体の見掛けの形状変化が所定量以上あると判断した場合、テンプレート画像の更新頻度を上げる（ステップ６０２）。これにより、追跡物体の見掛けの形状が大きく変化した場合に、テンプレート画像更新がより頻繁に行われるようにする。一方、ステップ６０１で追跡物体の見掛けの形状変化がないと判断した場合、テンプレート画像の更新頻度を変化させずに処理を終了する。

次に、第２の実施形態の自動追尾装置の全体の動作を図７に基づき説明する。図７は第２の実施形態における自動追尾装置の動作手順を示すフローチャートである。

図７において、画像入力から追跡物体の見掛けの変化を判断するまでの手順、すなわちステップ５０１〜５０５の動作は、図５に示した第１の実施形態と同様である。ステップ５０５で追跡物体の見掛けの形状変化が大きいと判断した場合、テンプレート保持制御部１０５において、追跡物体の見掛けの変化に応じてテンプレート画像の更新頻度を上げるように制御する（ステップ７０６）。一方、追跡物体の見掛けの形状変化が小さいと判断した場合、ステップ７０６をスキップする。なお、テンプレート画像の更新、保存を行う手順以降、すなわちステップ５０７以降の動作についても、図５に示した第１の実施形態と同様である。

上記のように、第２の実施形態の自動追尾装置では、見掛け形状変化検出部１０４において追跡対象の物体の見掛けの形状変化を物体の移動方向を元に判定し、見掛けの形状変化がある場合に、相関演算で用いるテンプレート画像の更新アルゴリズムを変更する。具体的には、テンプレート保持制御部１０５においてテンプレート画像の更新頻度を上げるようにする。このように、追跡物体の見掛けの変化の検出結果に応じて、テンプレート画像の保持内容を適応的に変更する制御によって、より現在の形状に近いテンプレート画像を保持することができ、追跡物体の見掛け形状の変化に追従してより安定に物体を追跡することができる。

本発明は、画像中の侵入者等の物体を追跡する際に、追跡の中断がなく安定した追尾が可能となる効果を有し、侵入物体等の監視システムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法等に有用である。

本発明の第１の実施形態に係る自動追尾装置の機能構成を示す図 （ａ）本実施形態のテンプレートマッチング部の動作において直前のフレームのテンプレート画像Ｔを示す図、（ｂ）本実施形態のテンプレートマッチング部の動作において入力画像Ｉを示す図 （ａ）本実施形態において物体が撮像装置の光軸を横切る方向へ移動する場合の見掛けの変化の一例を示す図、（ｂ）本実施形態において物体が撮像装置の光軸に沿う方向へ移動する場合の見掛けの変化の一例を示す図 第１の実施形態におけるテンプレート保持制御部によるテンプレート画像の制御動作を示すフローチャート 第１の実施形態における自動追尾装置の動作手順を示すフローチャート 第２の実施形態におけるテンプレート保持制御部によるテンプレート画像の制御動作を示すフローチャート 第２の実施形態における自動追尾装置の動作手順を示すフローチャート 従来例における物体追跡時の動作を示すフローチャート

符号の説明

１００ 自動追尾装置
１０１ 画像入力部
１０２ テンプレート設定部
１０３ テンプレートマッチング部
１０４ 見かけ形状変化検出部
１０５ テンプレート保持制御部
１０６ 撮像装置制御部
１０７ 画像出力部
１０８、３０２ 撮像装置
１０９ 画像表示装置
３０１ 追跡物体

Claims (5)

1. 撮像手段によって撮像された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、
   前記画像中の追跡したい対象物体を含む領域をテンプレート画像として設定し、前記テンプレート画像を所定枚数保存するテンプレート設定手段と、
   前記対象物体の前記テンプレート設定手段に保存されている全てのテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、
   前記対象物体の形状変化を検出する形状変化検出手段と、
   前記形状変化検出手段の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御手段と、を備え、
   前記形状変化検出手段が前記対象物体の形状の変化が大きいと判断した場合、前記テンプレート保持制御手段は前記テンプレート設定手段の前記テンプレートの保存する所定枚数を下げることを特徴とする自動追尾装置。
2. 請求項１に記載の自動追尾装置であって、
   前記形状変化検出手段は、前記対象物体が前記撮像手段の光軸を横切る方向に移動する場合には形状の変化が大きく、前記光軸に沿う方向に移動する場合には形状の変化が小さいと判断することを特徴とする自動追尾装置。
3. 撮像手段によって撮像された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、
   前記画像中の追跡したい対象物体を含む領域を、テンプレート画像として保存するテンプレート設定手段と、
   前記対象物体の前記テンプレート設定手段に保存されているテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、
   前記対象物体の形状変化を検出する形状変化検出手段と、
   前記形状変化検出手段の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御手段と、を備え、
   前記テンプレート保持制御手段は、前記形状変化検出手段において前記対象物体に形状変化があったと判断された場合に、前記テンプレート画像の更新頻度を上げることを特徴とする自動追尾装置。
4. 撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾方法であって、
   前記画像中の追跡したい対象物体を含む領域をテンプレート画像として設定し、前記テンプレート画像を所定枚数保存するテンプレート設定ステップと、
   前記対象物体の前記テンプレート設定手段に保存されている全てのテンプレート画像と入力画像との相関演算を行うテンプレートマッチングステップと、
   前記対象物体の形状変化を検出する形状変化検出ステップと、
   前記形状変化検出の処理結果に応じて、前記テンプレート画像の更新アルゴリズムを制御するテンプレート保持制御ステップと、を有し、
   前記形状変化検出ステップで前記対象物体の形状の変化が大きいと判断した場合、前記テンプレート保持制御ステップは前記テンプレート設定ステップの前記テンプレートの保存する所定枚数を下げることを特徴とする自動追尾方法。
5. 請求項４記載の自動追尾方法の各手順をコンピュータに実行させるためのプログラム。

Images