JP4699056B2 - 自動追尾装置及び自動追尾方法 - Google Patents

Description

本発明は、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置及び自動追尾方法に関する。

一般に、監視カメラシステムで用いられるカメラには、広域を監視するための広角レンズが装着されている。このようなカメラは、侵入物体の有無を判定するものの、例えば侵入者の人相や表情までを把握することができない。これに対し、広角レンズを装着したカメラとは別に、パン、チルト、ズーム機能（以下、これらの動作をまとめてＰＴＺとも称する）を有するカメラを設置し、監視員がＰＴＺ制御を行うことにより、侵入者の人相など、より詳細な画像を取得できる監視カメラシステムが知られている（非特許文献１参照）。

しかし、ジョイスティック等の入力手段を用いて、ＰＴＺ機能を有するカメラを手動で操作し、侵入者を追尾し続けるためには、熟練した操作が必要であり、多くの監視員にとって困難であった。このため、画像認識技術を用いて、自動的に侵入物体を追跡する自動追尾装置の普及が望まれていた。

このような自動追尾装置として、特許文献１に記載のものが知られている。図１３は従来の自動追尾装置の動作処理手順を示すフローチャートである。物体を検出すると（Ｓ１０１）、検出された物体領域の画像をテンプレート画像として登録し（Ｓ１０２）、入力画像とテンプレート画像の相関が最も高い領域を検出して物体を追跡する（Ｓ１０３〜Ｓ１１０）。追跡中、複数のテンプレート画像を保存し（Ｓ１０８）、更新されたテンプレート画像を用いて追跡が行われる。これら複数のテンプレート画像は、それぞれ取得時刻、更新時刻が異なるものであり、見掛けが多少異なるものの同一物体のテンプレート画像である。

特開２００１−６０２６９号公報 羽下、藤原、鷲見著 「首振り、ズームカメラを用いたトラッキング型侵入監視システム」、電子情報通信学会 信学技報ＰＲＭＵ９９−６７ （Ｐ２３−３０）、１９９９年９月

しかしながら、上記従来の自動追尾装置では、背景の中にテンプレート画像と相関の高い領域が存在すると、誤対応によりテンプレート画像が背景に貼り付き易く、物体の追跡に失敗してしまうことがあった。

また、移動物体である人物の体全体の特徴を利用して追尾を行うので、例えば屋内にある机や屋外にある乗用車等の他の物体に身体の一部が隠蔽された場合、テンプレートマッチングの相関値が急変し、追尾が不安定になり易かった。

本発明は、上記事情に鑑みてなされたもので、テンプレート画像の背景への貼り付きを減少させるとともに、他の物体による隠蔽の影響を低減し、追尾を安定化させることが可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

本発明の自動追尾装置は、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置であって、探索範囲内の入力画像とテンプレート画像との相関を算出する相関算出手段と、前記探索範囲内の水平方向の入力画像に対し、頭部の幅に相当するように周波数選択フィルタを適用し、垂直方向の入力画像に対し、背景領域から物体領域への変化を検出するような方向選択フィルタを適用し、前記周波数選択フィルタ及び前記方向選択フィルタの処理結果を重ねることにより、頭部らしさを検出する頭部検出手段と、前記算出された相関及び前記検出された頭部らしさを基に、頭部を追跡する頭部追跡手段とを備えたものである。
これにより、人物の頭部を少ない演算量で安定して検出し、頭部マップを取得することができる。

また、本発明は、上記の自動追尾装置であって、前記撮像手段によって撮影された入力画像の画像全体の動きを表す背景の動きベクトルを推定する背景ベクトル推定手段を備え、前記頭部検出手段は、前記背景の動きベクトルを用いて、前記画像全体の動きを打ち消すように、フレーム間の画像の差分を取得した後、前記差分の画像に対して前記フィルタ処理を施し、前記頭部らしさを検出するものとする。
これにより、パン、チルト動作可能な撮像手段で撮影する際、背景の動きがあっても、物体の動きのみ抽出することが可能であり、追尾を安定して行うことができる。

また、本発明は、上記の自動追尾装置であって、前記相関算出手段は、前記入力画像と前記テンプレート画像との相関を算出して相関マップを生成し、前記頭部検出手段は、前記頭部らしさを検出して頭部マップを生成し、前記頭部追跡手段は、前記相関マップ及び前記頭部マップを基に追尾点を設定し、前記設定された追尾点を用いて前記頭部を追跡するものとする。
これにより、背景中の特徴が類似する領域に追尾点が貼り付く現象を回避でき、他の物体に隠蔽される可能性が最も低い人物の頭部を追尾点とすることができる。この結果、安定した人物の自動追尾を行うことができる。

また、本発明は、上記の自動追尾装置であって、前記頭部追跡手段は、前記追尾点を設定する際、前記相関マップ及び前記頭部マップの依存度を変更するものとする。
これにより、各マップの依存度を制御し、外乱等による環境変化に対して追尾性能を向上させることができる。

本発明の自動追尾方法は、撮像手段によって、撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾方法であって、探索範囲内の入力画像とテンプレート画像との相関を算出する相関算出ステップと、前記探索範囲内の水平方向の入力画像に対し、頭部の幅に相当するように周波数選択フィルタを適用し、垂直方向の入力画像に対し、背景領域から物体領域への変化を検出するような方向選択フィルタを適用し、前記周波数選択フィルタ及び前記方向選択フィルタの処理結果を重ねることにより、頭部らしさを検出する頭部検出ステップと、前記算出された相関及び前記検出された頭部らしさを基に、頭部を追跡する頭部追跡ステップとを有するものである。
これにより、人物の頭部を少ない演算量で安定して検出し、頭部マップを取得することができる。

また、本発明は、上記いずれかに記載の自動追尾装置の各手段の機能をコンピュータにより実現させるためのプログラムを提供する。

本発明によれば、テンプレート画像の背景への貼り付きを減少させるとともに、他の物体による隠蔽の影響を低減し、追尾を安定化させることが可能な自動追尾装置及び自動追尾方法を提供できる。

本実施形態の自動追尾装置は、監視カメラシステム等に用いられるものであり、撮像手段として、パン、チルト、ズーム（ＰＴＺ）動作可能な自動追尾カメラを搭載する。図１は本発明の実施形態に係る自動追尾装置の外観を示す図である。この自動追尾装置１は、ドーム型ケース３を有し、天井６に設置される。ドーム型ケース３には、その先端中央部を通過するように形成された溝部３ａから露出するズーム機能付きのカメラ８、及びこのカメラ８をパン方向に３６０度かつチルト方向に１８０度旋回自在である旋回部１１（図２参照）が収納される。

図２は本実施形態の自動追尾装置１のハードウェア構成を示すブロック図である。この自動追尾装置１は、大きく分けて撮影部１０及び制御部２０を有して構成される。撮像部１０は、前述したカメラ８及び旋回部１１を有する。制御部２０は、周知のＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、カメラ８によって撮影された画像を蓄積する画像メモリ２４、旋回部１１を駆動するための駆動インタフェース（Ｉ／Ｆ）２５、カメラ８のズーム、シャッタ等を制御するとともに撮影された画像を入力するためのカメラＩ／Ｆ２６、及び外部のモニタ３０に撮影された画像を出力するためのモニタＩ／Ｆ２７を有し、これらがバス２８を介して接続された構成となっている。また、画像メモリ２４には、後述するテンプレート画像が登録される。

図３は本実施形態の自動追尾装置１の制御部２０における機能的構成を示す図である。制御部２０は、カメラ１０によって撮影された画像をカメラＩ／Ｆ２６を介して入力する画像入力部１０２、入力された画像の中から登録済みのテンプレート画像との相関が高い領域を探索するテンプレートマッチング部１０３、物体以外の背景の動きベクトルを推定する背景ベクトル推定部１０４、頭部を検出する頭部検出部１０５、検出された頭部を追跡する頭部追跡部１０６、追跡した物体が画像の中央付近に映るように、駆動Ｉ／Ｆ２５を介してカメラ８のパン、チルト、ズーム（ＰＴＺ）動作を制御するＰＴＺ制御部１０７、及びカメラ８によって撮影され、画像メモリ２４に蓄積された画像を、モニタＩ／Ｆ２７を介して外部の画像表示装置（モニタ）３０に出力する画像出力部１０８を有して構成される。これらの各部は、ＲＯＭ２２に格納されたプログラムを構成する各モジュールを、ＣＰＵ２１が実行することによって実現される。ここで、テンプレートマッチング部１０３が相関算出手段の一例に相当し、背景ベクトル推定部１０４が背景ベクトル推定手段の一例に相当し、頭部検出部１０５が頭部検出手段の一例に相当し、頭部追跡部１０６が頭部追跡手段の一例に相当する。

上記構成を有する自動追尾装置の動作を示す。図４は本実施形態の自動追尾装置１の動作処理手順を示すフローチャートである。この処理プログラムは、前述したようにＲＯＭ２２に格納されており、ＣＰＵ２１によって実行される。また、この処理の開始は、例えば、カメラ８に備わるズームレンズを広角側に設定しておき、撮影された画像の中に移動物体が検出されたことによるイベントの発生、あるいは別体の広角レンズカメラで撮影された画像の中に移動物体が検出されたことによるイベントの発生に応答して行われる。

まず、画像入力部１０２により、カメラ８によって撮影された画像を入力して画像メモリ２４に格納する（ステップＳ１）。入力された画像の中から、テンプレートマッチング部１０３により、登録済みのテンプレート画像との相関が高い領域を探索する（ステップＳ２）。また、背景ベクトル推定部１０４により、物体以外の背景の動きベクトルを推定する（ステップＳ３）。頭部検出部１０５により、入力画像から背景の動きを打ち消し、探索領域内で人物の頭部らしさを検出する（ステップＳ４）。頭部追跡部１０６により、前述した相関及び頭部らしさを基に、頭部を追跡する（ステップＳ５）。ＰＴＺ制御部１０７により、追跡した物体（頭部）が画像の中央付近に映るように、旋回部１１及びカメラ８を制御し、パン、チルト、ズーム（ＰＴＺ）動作を行う（ステップＳ６）。そして、画像出力部１０８により、カメラ８で撮影された画像を外部のモニタ３０に出力する（ステップＳ７）。この後、ステップＳ１の処理に戻る。この処理の終了は、例えば、別体の広角レンズカメラで撮影された画像の中に移動物体が検出されなくなったことによるイベントの発生や、強制終了スイッチを設け、操作者によるこのスイッチ操作などによって行われる。

図５は本実施形態におけるテンプレートマッチング部１０３の処理動作を示す図である。テンプレートマッチング部１０３では、カメラ８で撮影された入力画像Ｉの中から、テンプレート画像と最も相関が高くなる対応領域２０１を探索する。この探索処理を数十〜数百ｍｓ周期毎に繰り返すことで、物体の位置を追跡することができる。このとき、複数のテンプレート画像が存在する場合、対象となる全てのテンプレート画像を用いて探索する。

直前のフレーム処理において、相関が最も高かった領域を基準に、最新の入力画像Ｉに対し、水平、垂直方向に数十画素程度の探索範囲２０２を設定する。探索範囲内を走査しながらテンプレート画像Ｔとの相関を順次求める。なお、この相関を順次求める際、探索範囲を入力画像全体とすることも考えられるが、多過ぎることや誤対応が発生しやすいこと等から、一般的には探索範囲を限定する。探索範囲の広さは、物体の動きにもよるが、水平、垂直方向に数画素から数十画素程度であることが望ましい。

本実施形態では、相関値の指標として、正規化相関を用いる場合を示す。テンプレート画像の大きさを、Ｋ（Ｈ）＊Ｌ（Ｖ）画素とした場合、テンプレート画像Ｔ（ｐ，ｑ）と、現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素との正規化相関値ＮＲＭ（ｘｖ，ｙｖ）は、数式（１）で示される。

正規化相関値ＮＲＭＬは、両画像間の相関が高い程、値１．０に近い値となり、相関が無い場合、値０である。探索領域内の各位置の相関値を２次元配列としたものを、相関マップと称し、後述する頭部追跡部１０６で使用する。この段階では、テンプレート画像の移動先は決定されない。

なお、上記実施形態では、正規化相関により、入力画像とテンプレート画像の相関値を求める場合を示したが、正規化相関の代わりに、より演算量の少ない差分法や差分絶対値和法といった手法を用いてもよい。また、上記実施形態では、相関値の計算に輝度値を用いる場合を示したが、色やエッジ等を用いてもよい。また、テンプレート画像のサイズは、物体領域全体を含む大きさに設定することが一般的であるが、頭部周辺等、物体領域の一部分をテンプレート画像に設定してもよい。なお、ズーム制御により画像上での物体領域の大きさを調整可能なので、テンプレート画像のサイズの制御を動的に行わず、ズーム制御後の頭部の大きさ程度で固定したままでも構わない。

また、追尾開始時における初期テンプレート画像を作成する際、操作者が追尾したい物体をマウス等のポインティングデバイスで指定してもよいし、画像中に所望の物体が存在する確率が高い領域を認識して抽出してもよいし、あるいは予め追尾したい物体に関するテンプレート画像を保持してもよく、テンプレート画像の作成は任意の手法で行うことが可能である。また、同一物体に対し、取得時刻や更新時刻が異なる複数枚のテンプレート画像を保持することが想定されるが、１枚であってもよい。また、テンプレート画像と入力画像との相関が低くなった場合、テンプレート画像を保存可能な上限枚数まで追加することが可能である。そして、上限枚数に達すると、古いテンプレート画像から新しいテンプレート画像に更新する。

背景ベクトル推定部１０４では、背景の動きベクトルが推定される。パン、チルト動作可能なカメラでは、カメラの追尾制御中、追跡物体以外の背景にも動きが発生する。したがって、物体領域のみ抽出するためには、背景の動きを推定する必要がある。

図６及び図７は本実施形態における背景の動きを推定する際の処理動作を示す図である。背景の動きの推定では、図６（Ａ）に示すように、現フレームを４つの領域に分割し、領域毎に前フレームからの動き量である動きベクトルを推定する。この手法としては、ブロックマッチング手法等、一般に知られている手法を用いることができる。各領域から得られた動きベクトルを基に、水平、垂直方向別に中間値を取るなどして代表ベクトルを求め、これを画面全体の動きを示す背景ベクトル（ｂｇｘ，ｂｇｙ）とする。なお、画像を分割せずに全体から背景ベクトルを推定してもよいし、４つの領域をさらに細かく分割して推定してもよい。

頭部検出部１０５は、探索領域（探索範囲２０２）内の各位置における人物の頭部らしさを算出する。まず、移動物体領域を取得した後、その頭部領域を求める手法について示す。パン、チルト動作中に画像を撮影する際、画面全体が一定方向に移動するので、単純なフレーム間差分法では、画面全体で移動物体領域が発生したようになる。このため、図６（Ｂ）に示すように、先に推定された背景ベクトル（ｂｇｘ，ｂｇｙ）を用いて、前フレームを平行移動して背景の動きをキャンセルし、現フレームとのフレーム間差分ＳＡ（ｘ，ｙ）を、数式（２）にしたがって求める。これにより、画面の中に、背景と異なる動きをする物体が存在する場合、移動物体領域として抽出することができる。

フレーム間差分ＳＡ(ｘ，ｙ)＝｜Ｉt(ｘ，ｙ)−Ｉt-1(ｘ＋ｂｇｘ，ｙ＋ｂｇｙ)｜
…（２）
演算結果のフレーム間差分を、適当な閾値で２値化することにより、図７（Ａ）に示すように、移動物体領域と背景領域とに区別された２値化画像を得る。

また、このように処理された２周期分の２値化画像に対して論理演算を行うことにより、３値化画像を得るようにしてもよい。そして、３値化された移動物体領域を用いて、頭部検出を行うことも可能である。このとき、２周期分の２値化画像の間には、背景ベクトル（ｂｇｘ２，ｂｇｙ２）に相当する画面全体の動きがあるので、一方の２値化画像を平行移動させて、画面全体の動きをキャンセルする。ここで、現フレームのみで発生した移動物体領域をラベル２とし、現フレームか前フレームのどちらかで発生した移動物体領域をラベル１とする。これら以外の背景領域をラベル０とする（図７（Ｂ）参照）。頭部マップを作成する際、最新の周期でのみ発生した移動物体領域（ラベル２）に対し、１周期前にも発生した移動物体領域（ラベル１）に比べ、より大きな重みを付与して頭部検出フィルタ処理を行うことにより、フレーム間差分特有の過去の物体領域を抽出してしまう現象、いわゆる尾引き現象の影響を低減することができる。

図８は本実施形態の処理動作における２値化された移動物体領域４０３を示す図である。図９は走査線（水平）方向における頭部の幅に相当する信号に反応しやすい周波数選択フィルタ４０１の特性を示すグラフである。図１０は垂直方向における背景領域から移動物体領域に変わる境界付近に相当する信号に反応しやすい方向選択フィルタ４０２の特性を示すグラフである。これら周波数選択フィルタ４０１及び方向選択フィルタ４０２を有するフィルタが頭部検出フィルタとして用いられる。図１１は頭部検出フィルタ処理の結果を示す画像である。

周波数選択フィルタ４０１及び方向選択フィルタ４０２の処理結果を重ねることで、図中、頭部付近に強い反応が現れることが分かる。ここで、頭部の幅は、カメラから頭部までの距離やカメラの焦点距離等のパラメータによって異なるので、パラメータに応じて設定される。この頭部検出フィルタにより、水平方向にある範囲の幅を持ち、垂直方向に長い棒状となる移動体物体領域の上部に強い反応が現れるようになる。即ち、人物はある範囲の幅を持ち、棒状物体と近似できるので、頭部付近に強い反応が得られる。したがって、頭部検出部１０５では、探索範囲内で頭部検出フィルタの処理結果を抜き出して頭部マップとして保存する。

このように、頭部検出フィルタを用いることにより、少ない演算量でも人物の頭部を精度良く抽出することができる。なお、本実施形態では、フレーム間の輝度の差分で移動物体領域を抽出する場合を示したが、フレーム間におけるエッジ等の特徴の変化を検出し、物体領域と背景領域を区別してもよい。また、本実施形態では、２値化した移動物体領域に対してフィルタ処理を施すことにより、頭部らしさを示す頭部マップを取得していたが、頭部マップを取得する手段はこれに限定されるものではなく、頭部形状を近似した図形、例えば楕円等を検出するべくハフ変換を行い、その投票結果を頭部マップとしてもよい。

頭部追跡部１０６は、テンプレートマッチング部１０３で取得した相関マップ、及び頭部検出部１０５で抽出した頭部マップを用いて頭部の位置を追跡する。図１２は相関マップ及び頭部マップから統合マップを作成する手順を示す図である。頭部検出処理への依存度を高める場合、頭部マップを相関マップに対して相対的に高いレベルで統合する。統合されたマップでは、頭部らしくかつテンプレート画像との相関の高い位置がピークとなって現れる。図中、各マップにおいて、値が小さい程、追尾点の存在する可能性が高くなっている。このピークに対応する位置を新しい追尾点の位置と判断する。

本実施形態の自動追尾装置によれば、テンプレートマッチング部１０３で得られる相関マップと、頭部検出部１０５で得られる頭部らしさを示す頭部マップとを用いて追尾点を決定することにより、常に頭部付近に追尾点が設定されるので、追尾点が背景に貼り付く現象を回避できる。このため、テンプレート画像の誤対応や背景中の類似パターン画像への貼り付きによる追跡失敗を防止でき、人物の頭部を安定して追跡することができる。また、他の物体により、追尾物体の一部が隠蔽された場合でも安定した追尾を実現することができる。よって、本実施形態の自動追尾装置及び自動追尾方法は、監視カメラシステム等に適用することで大きな効果が得られる。

本発明は、テンプレート画像の背景への貼り付きを減少させるとともに、他の物体による隠蔽の影響を低減し、追尾を安定化させることが可能となる効果を有し、撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置及び自動追尾方法等に有用である。

本発明の実施形態に係る自動追尾装置の外観を示す図 本実施形態の自動追尾装置のハードウェア構成を示すブロック図 本実施形態の自動追尾装置の制御部における機能的構成を示す図 本実施形態の自動追尾装置の動作処理手順を示すフローチャート 本実施形態におけるテンプレートマッチング部の処理動作を示す図 本実施形態における背景の動きを推定する際の処理動作を示す図 本実施形態における背景の動きを推定する際の処理動作を示す図 本実施形態の処理動作における２値化された移動物体領域を示す図 本実施形態における周波数選択フィルタの特性を示すグラフ 本実施形態における方向選択フィルタの特性を示すグラフ 本実施形態における頭部検出フィルタ処理の結果を示す画像 本実施形態における相関マップ及び頭部マップから統合マップを作成する手順を示す図 従来の自動追尾装置の動作処理手順を示すフローチャート

符号の説明

１ 自動追尾装置
８ カメラ
１０ 撮影部
１１ 旋回部
２０ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 画像メモリ
１０２ 画像入力部
１０３ テンプレートマッチング部
１０４ 背景ベクトル推定部
１０５ 頭部検出部
１０６ 頭部追跡部
１０７ ＰＴＺ制御部
１０８ 画像出力部
２０２ 探索領域
４０１ 周波数選択フィルタ
４０２ 方向選択フィルタ

Claims (6)

1. 撮像手段によって撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾装置であって、
   探索範囲内の入力画像とテンプレート画像との相関を算出する相関算出手段と、
   前記探索範囲内の水平方向の入力画像に対し、頭部の幅に相当するように周波数選択フィルタを適用し、垂直方向の入力画像に対し、背景領域から物体領域への変化を検出するような方向選択フィルタを適用し、前記周波数選択フィルタ及び前記方向選択フィルタの処理結果を重ねることにより、頭部らしさを検出する頭部検出手段と、
   前記算出された相関及び前記検出された頭部らしさを基に、頭部を追跡する頭部追跡手段と
   を備える自動追尾装置。
2. 前記撮像手段によって撮影された入力画像の画像全体の動きを表す背景の動きベクトルを推定する背景ベクトル推定手段を備え、
   前記頭部検出手段は、前記背景の動きベクトルを用いて、前記画像全体の動きを打ち消すように、フレーム間の画像の差分を取得した後、前記差分の画像に対して前記フィルタ処理を施し、前記頭部らしさを検出する請求項１に記載の自動追尾装置。
3. 前記相関算出手段は、前記入力画像と前記テンプレート画像との相関を算出して相関マップを生成し、
   前記頭部検出手段は、前記頭部らしさを検出して頭部マップを生成し、
   前記頭部追跡手段は、前記相関マップ及び前記頭部マップを基に追尾点を設定し、前記設定された追尾点を用いて前記頭部を追跡する請求項１または２に記載の自動追尾装置。
4. 前記頭部追跡手段は、前記追尾点を設定する際、前記相関マップ及び前記頭部マップの依存度を変更する請求項３に記載の自動追尾装置。
5. 撮像手段によって、撮影された画像を入力し、入力画像中の移動物体を追跡する自動追尾方法であって、
   探索範囲内の入力画像とテンプレート画像との相関を算出する相関算出ステップと、
   前記探索範囲内の水平方向の入力画像に対し、頭部の幅に相当するように周波数選択フィルタを適用し、垂直方向の入力画像に対し、背景領域から物体領域への変化を検出するような方向選択フィルタを適用し、前記周波数選択フィルタ及び前記方向選択フィルタの処理結果を重ねることにより、頭部らしさを検出する頭部検出ステップと、
   前記算出された相関及び前記検出された頭部らしさを基に、頭部を追跡する頭部追跡ステップとを有する自動追尾方法。
6. 請求項１から４のいずれか一項に記載の自動追尾装置の各手段の機能をコンピュータにより実現させるためのプログラム。