JP3973623B2 - 物体追尾方法及び物体追尾装置 - Google Patents

Description

本発明は、撮像装置を用いた物体追尾システムに係り、特に追尾対象領域内の物体を画像信号の処理により自動的に検出し、当該撮像装置を搭載するカメラ雲台を制御するようにして物体を追尾するようにした物体追尾方法及び物体追尾装置に関する。

ＴＶカメラ（テレビジョンカメラ）などの撮像装置（以下、カメラと称する）
を用いた遠隔モニタ方式の監視システム等の物体追尾システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行なう、いわゆる有人監視方式の監視システムである。しかし、この有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体（検出物体）をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。

人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入してくる物体の見逃しの発生を無視できず、監視の信頼性の面で問題がある。また、カメラが撮像した画像（カメラ映像）内にある侵入物体を見つけた場合に、侵入物体をカメラの視野（即ち、撮像視野）範囲内に捉えておくために、カメラを搭載するカメラ雲台（電動旋回台）を操作することが必要になる。しかし、近年の監視カメラの爆発的な普及もあって、監視員１人でそれぞれ、数多くのカメラ映像を複数のモニタを使って監視することも多くなっており、複数のカメラで同時に侵入物体を捉えた場合等、同時に複数のカメラ各々のカメラ雲台を同時に操作することは困難である。この場合にも侵入物体の見逃しが発生する可能性がある。

そこで、このような、人間による有人監視ではなく、カメラで撮像された画像（カメラ映像）から画像処理により侵入物体を自動的に検出し、必要に応じてカメラの視野内に侵入物体を捉えるようにカメラ雲台を制御し、所定の報知や警報処置が得られるようにした、いわゆる自動検出・自動追尾方式の監視システムが、近年、強く要求されるようになってきている。

ところで、このような監視システムの実現には、所定の監視方式を用い、侵入物体とみなすべき監視対象物体を画像信号から検出し、カメラの視野内に侵入物体を捉えるようにカメラ雲台を制御する機能が必要となる。

従来から、このような監視システムを実現するために、例えば、まず、差分法などによって視野内の侵入物体を検出する。差分法とはカメラ等の撮像装置により得られた画像（入力画像）と、検出すべき物体の映っていない画像（即ち、予め作成した基準背景画像）とを比較し、画素毎または複数の画素からなる画素ブロック毎に輝度値の差分を求め、その差分値の大きい領域（画像信号の変化領域）を侵入物体として検出するものである。

このようにして検出された侵入物体の画像をテンプレートとして登録し、カメラの視野内の侵入物体の動きを検出し、動きに応じてカメラ雲台を制御する。
この従来方式の侵入物体検出処理を図５のフローチャートを用いて説明する。

図５において、まず初期化処理ステップ１０１では、侵入物体追尾方式を実行するための外部機器、変数、画像メモリ等の初期化を行なう。
次に点線で囲ったステップ１０２は、差分法による侵入物体検出ステップであり、第１の画像入力ステップ１０２ａでは、カメラから、例えば横３２０画素、高さ２４０画素の入力画像を取得する。次に、差分処理ステップ１０２ｂでは、第１の画像入力ステップ１０２ａで得た入力画像と予め作成しておいた基準背景画像との各画素毎の輝度値の差分を差分画像の輝度値として算出する。次に、二値化処理ステップ１０２ｃでは、差分処理ステップ１０２ｂで得られた差分画像の画素値（差分値）について、画素毎に、所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”（１画素の画素値を８ビットで計算した）として二値化画像を取得する。次に、ラベリング処理ステップ１０２ｄでは、二値化処理ステップ１０２ｃで得られた二値化画像中の画素値“２５５”となる画素のかたまりを検出して各々に番号を付けて区別できるようにする。次に、侵入物体存在判定ステップ１０２ｅでは、ラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりが所定の条件（例えば大きさ横２０画素、高さ５０画素以上）であれば当該監視対象領域内に侵入物体が存在すると判定する（以上差分法の説明した）。

侵入物体存在判定ステップ１０２ｅでは、もし侵入物体が存在すると判定された場合は第１の警報・モニタ表示ステップ１０３へ分岐し、侵入物体が存在しないと判定された場合は再び第１の画像入力ステップ１０２ａに分岐し、差分法を実行する。

次に第１の警報・モニタ表示ステップ１０３では、例えば、侵入物体を発見したことを表す警報を鳴らして監視員に知らせる。
次にテンプレート登録ステップ１０４では、ラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりに基づいて、入力画像中の侵入物体の画像を切り出し、テンプレートとして登録する。

ここまで説明した図５のステップ１０１〜ステップ１０４の処理を、図６を用いて説明する。図６は、差分法を用いて侵入物体を検出し、検出された侵入物体の画像をテンプレートに登録するまでの処理の概略を説明するための図である。図６中、６０１は第１の画像入力ステップ１０２ａで得られた入力画像、６０９は入力画像６０１に映った人型の物体、６０２は予め作成しておいた基準背景画像、６０３は差分処理ステップ１０２ｂの処理を表す減算器、６０４は差分処理ステップ１０２ｂで得られた差分画像、６１０は差分画像６０４中の減算器６０３によって差分が生じた領域、６０５は二値化処理ステップ１０２ｃの処理を表す二値化器、６０６は二値化処理ステップ１０２ｃで得られた二値化画像、６１１は二値化画像６０６中の画素値が“２５５”以上の画素のかたまり（侵入物体の画像）、６０７はテンプレート登録ステップ１０４で入力画像６０１から侵入物体の画像６１１の外接矩形を切り出す処理を表す切り出し器、６１２はテンプレート登録ステップ１０４で登録されたテンプレート、６０８はテンプレート６１２を登録するときのテンプレート画像である。

図６において、減算器６０３は、入力画像６０１と基準背景画像６０２との画素毎の輝度値の差分を計算し、計算した値を該当する画素での輝度と画像（差分画像）６０４を出力する。次に、二値化器６０５は、差分画像６０４を所定のしきい値Ｔｈでしきい値処理し、しきい値Ｔｈ未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”とする処理を画素毎に行ない、二値化画像６０６を得る。

これによって入力画像６０１に映った人型の物体６０９は、（映像信号の変化領域）６１０として計算され、二値化器６０５によって画像６１１として検出される。
次に、切り出し器６０７では、二値化画像６０６中で番号付けされた画素値“２５５”のかたまり６１１の外接矩形を計算し、入力画像６０１の外接矩形の領域を切り出してテンプレート画像６０８を得る。テンプレート画像６０８では、入力画像６０１に映った人型の物体６０９の画像がテンプレート６１２として登録される。

次に、逐次入力される画像の中でテンプレートと一致度（類似度）が最大となる位置を検出することで、侵入物体の位置を検出する。この方法は、テンプレートマッチングと呼ばれて広く知られている（例えば、非特許文献１参照）。

ここで、テンプレートマッチングを使用する理由は、差分法を実行するためには基準背景画像６０２が必要であり、カメラの視野内に侵入物体を捉えるようにカメラ雲台を制御すると、カメラの光軸方向が変化してしまい、予め作成した基準背景画像６０２が使用できなくなってしまうからである。

通常、テンプレートマッチングを用いて侵入物体の位置を検出する場合、侵入物体の姿勢の変化に追従するため、マッチング処理によって検出された侵入物体の位置の画像を新たにテンプレートとして逐次更新する。

これらの処理は、図５における第２の画像入力ステップ１０５以降であり、以下に説明する。
第２の画像入力ステップ１０５では、第１の画像入力ステップ１０２ａと同様に、カメラから、例えば横３２０画素、高さ２４０画素の入力画像を取得する。

次にテンプレートマッチングステップ１０６では、第２の画像入力ステップ１０５で得た入力画像の中でテンプレートと最も一致度が高い画像を検出する。通常、テンプレートと入力画像全体を比較すると計算時間がかかるため、テンプレートに対して所定の範囲（例えば、テンプレートに対して上下２０画素、左右５０画素広げた領域）を探索領域として、その探索領域内でテンプレートと最も一致度が高い画像検出する。

一致度の算出には、例えば正規化相関値ｒ（Δｘ，Δｙ）が適用でき、式（１）で表される。

ここで、ｆ（ｘ，ｙ）は入力画像を表し、ｇ（ｘ，ｙ）はテンプレート画像を表す。また、（ｘ０，ｙ０）はテンプレート６０２の左上の座標を表し（画像の座標軸は画像の左上を原点（０，０）とする）、Ｄはテンプレートの大きさ（二値化画像６１１で検出された侵入物体の外接矩形の大きさで、上記の例では横２０画素、縦５０画素）を表す。正規化相関値ｒ（Δｘ，Δｙ）は、−１≦ｒ（Δｘ，Δｙ）≦１の値を取り、入力画像とテンプレートが全く一致した場合は、“１”となる。テンプレートマッチングは、Δｘ、Δｙを探索範囲内で走査、すなわち上記例では−５０≦Δｘ≦５０、−２０≦Δｙ≦２０と変化させた場合に、正規化相関値ｒ（Δｘ，Δｙ）が最も大きくなる位置（Δｘ，Δｙ）を検出する処理である。

次に一致度判定ステップ１０７では、一致度ｒ（Δｘ，Δｙ）を判定し、正規化相関値を用いた場合、例えば０．７以上であれば一致度が大きいと判定し侵入物体位置修正ステップ１０８へ分岐し、０．７未満であれば一致度が小さいと判定し第１の画像入力ステップ１０２ａに分岐する。

一致度が大きいということは、入力画像中でテンプレートに似た画像がある、即ち、入力画像中に侵入物体が存在することを意味し、その場合は引き続き侵入物体を追尾する。
また一致度が小さいということは、入力画像中でテンプレートに似た画像が無い、即ち、入力画像中に侵入物体が存在しないことを意味し、その場合は第１の画像入力ステップ１０２ａに分岐して、差分法によって再び侵入物体を検出する処理を実行する。

さて、一致度が大きい場合に実行される侵入物体位置修正ステップ１０８では、一致度が最も大きくなる位置（Δｘ，Δｙ）に基づいて（ｘ０＋Δｘ，ｙ０＋Δｙ）を新たな侵入物体の位置として修正する。

次に、テンプレート更新ステップ１１７では、新たに求められた侵入物体の位置に基づいて第２の画像入力ステップ１０５で得られた入力画像を切り出し、新たなテンプレート画像とする。

更に、カメラ雲台制御ステップ１１８では、テンプレートマッチングステップ１０６によって検出された侵入物体の位置と、入力画像の所定基準位置（即ち、撮像視野内の所定基準位置）、例えば、中心との変位によってカメラ雲台の制御を行なう。一例として、図８で示すような位置８０２に侵入物体が検出されたとする。この場合、侵入物体の中心位置をテンプレートの中心８０３とすると、画像の中心８０４からの変位ｄｘ、ｄｙが算出される。

ここで、テンプレートの中心位置８０３が入力画像の中心８０４より所定量ｓ以上左側（ｄｘ＜−ｓ）であればカメラ雲台を左にパンさせ、右側（ｄｘ＞ｓ）であれば右にパンさせる。侵入物体が画像の中心付近に存在する場合（−ｓ≦ｄｘ≦ｓ）は、カメラ雲台制御を制御する必要がないため、所定量ｓによってカメラ雲台制御を開始する位置を指定することができる。例えば、所定量ｓは、ｓ＝５０である。

また、テンプレートの中心位置８０３が入力画像の中心８０４より上側（ｄｙ＜−ｓ））であればカメラ雲台を上にチルトさせ、下側（ｄｙ＞ｓ）であれば下にチルトさせる。
なお、ｄｘ及びｄｙの絶対値によってパンモータやチルトモータの制御速度を変化させるようにしても良い（ｄｘあるいはｄｙの絶対値が大きいほど制御速度を大きくする）。

最後に第２の警報・モニタ表示ステップ１１９では、例えば侵入物体を追尾中であることを表す警報を鳴らして監視員に知らせる。
ここまでの処理が実行されていく過程を、図７によって説明する。図７は、テンプレートマッチングを逐次実行することによって侵入物体の位置を追跡する一例を表す図である。図７において、７０１は時刻ｔ０−１におけるテンプレート画像を表しており、７０１ａは時刻ｔ０−１におけるテンプレートであり、７０２は時刻ｔ０における入力画像である。画像７０２において、７０２ａは時刻ｔ０−１における侵入物体の位置（テンプレート７０１ａの位置）を示す矩形領域、７０２ｂはテンプレートマッチングの対象となる領域（探索領域）を示す矩形領域を表す。

ここで、テンプレートマッチング処理７０９（テンプレートマッチングステップ１０６）を実行すると、テンプレートマッチングの探索領域７０２ｂの中でテンプレート７０１ａに最も一致する画像７０２ｃで一致度が最も大きくなり、侵入物体は時刻ｔ０において画像７０２ｃの位置に存在していることが分かる。即ち、侵入物体は矢印７０２ｄだけ移動したことが分かる。

次に、テンプレート更新処理７１０（テンプレート更新ステップ１１７）において、テンプレート７０１ａに最も一致した画像７０２ｃを時刻ｔ０における新たなテンプレートとして更新する。即ち、入力画像７０２から侵入物体の位置７０２ｃを切り出し、これをテンプレート画像７０３とし、侵入物体の画像７０２ｃを時刻ｔ０における新たなテンプレート７０３ａとして更新する。

この処理をカメラから逐次入力される入力画像に対して適用すると、時刻ｔ０＋１における入力画像７０４中にテンプレート７０３ａの位置７０４ａに基づいて探索領域７０４ｂを設定し、時刻ｔ０におけるテンプレート画像７０３中のテンプレート７０３ａを用いてテンプレートマッチング処理７０９によって侵入物体の位置７０４ｃを検出する。すると侵入物体は矢印７０４ｄのように移動したことが分かる。

更にテンプレート更新処理７１０によって時刻ｔ０＋１におけるテンプレート画像７０５、および侵入物体のテンプレート７０５ａを更新する。更に、時刻ｔ０＋２における入力画像７０６中にテンプレート７０５ａの位置７０６ａに基づいて探索領域７０６ｂを設定し、時刻ｔ０＋１におけるテンプレート画像７０５中のテンプレート７０５ａを用いてテンプレートマッチング処理７０９によって侵入物体の位置７０６ｃを検出する。

すると侵入物体は矢印７０６ｄのように移動したことが分かる。さらにテンプレート更新処理７１０によって時刻ｔ０＋２におけるテンプレート画像７０７、および侵入物体のテンプレート７０７ａを更新する。

更に、時刻ｔ０＋３における入力画像７０８中にテンプレート７０７ａの位置７０８ａに基づいて探索領域７０７ｂを設定し、時刻ｔ０＋２におけるテンプレート画像７０７中のテンプレート７０７ａを用いてテンプレートマッチング処理７０９によって侵入物体の位置７０８ｃを検出する。すると侵入物体は矢印７０８ｄのように移動したことが分かる。すなわち、テンプレートマッチングを逐次実行することで侵入物体を追跡することができる。

ところで、前述のテンプレートマッチングを用いた侵入物体の追尾法では、追尾対象の侵入物体の向きが変化（例えば、侵入物体の人が右を向いたり、後ろを向いたり）すると、侵入物体とテンプレートマッチングによって検出される位置とのずれが大きくなり、正確かつ安定した追尾が行なえなくなるという問題がある。これは、テンプレートマッチングは、テンプレート内の高いコントラストの模様部分（輝度値の差が大きい部分）が一致するようにマッチングされるという性質があるためである。例えば、侵入物体が車両である場合において、はじめは正面を向いていて、車両のほとんどすべてをテンプレート内に捉えていた場合でも、その後進行方向（向き）が変わり横向きになってしまうと車両の前面部分だけしかテンプレートに捉えられなくなり、車両全体がテンプレート内に捉えていた時に比べて、テンプレートの中心が車両の中心から車両の前部に移動するため、侵入物体の位置がずれて検出されてしまう。

この現象を図９によって説明する。図９は、テンプレートマッチングを用いた侵入物体の追尾法でテンプレート内に侵入物体を捉えられなくなる現象を説明するために、撮像視野内で曲線を描く車道を通過する車両を侵入物体として追尾した場合の処理が実行されていく過程を示した図である。簡単のために、この図９では、カメラ雲台の制御は行なっていない場合の例を示している。

９０１、９０３、９０５、９０７は、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレート画像、９０１ａ、９０３ａ、９０５ａ、９０７ａは、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレートを表す。また、９０２、９０４、９０６、９０８は、それぞれ、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２、時刻ｔ１＋３における入力画像、９０２ａ、９０４ａ、９０６ａ、９０８ａは、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレートの位置（時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２における侵入物体の位置）、９０２ｂ、９０４ｂ、９０６ｂ、９０６ｂは、それぞれ、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２、時刻ｔ１＋３においてテンプレートマッチング処理によって検出された侵入物体の位置である。

図９において、時刻ｔ１−１で登録されているテンプレート９０１ａは、車両のフロント部分がほぼ正面を向いている画像である。時刻ｔ１では、このテンプレート９０１ａを用いてテンプレートマッチング（テンプレートマッチング処理７０９）を行ない、侵入物体の移動した位置を検出すると共に、テンプレート９０１ａをテンプレート９０３ａに更新する（テンプレート更新処理７１０）。続いて、時刻ｔ１＋１ではテンプレート９０５ａに更新され、時刻ｔ１＋２ではテンプレート９０７ａに更新され、この処理を時刻ｔ１＋３まで行なうと、テンプレートは、追尾開始時刻ｔ１１で車両のライトなどがあるフロント部分を捉えていたものが、時刻ｔ１＋３では、車両の左側にずれて捉えている。この現象は、テンプレートマッチングが対象とする入力画像とテンプレート画像中のコントラストが高い画像部分のずれを小さくするようにマッチングが行なわれるように働くためで、この例では車両のライト部分がそれにあたる。そのため、図９のように、侵入物体が向って右から左に向きを変えるような場合には左側にずれ、向って左から右に向きを変えるような場合に右側にずれる。

さらに、時刻ｔ１−１では、テンプレート９０１ａの中に車両の画像だけが入っていたが、侵入物体が向きを変えて、侵入物体に対してテンプレートがずれたことによって、時刻ｔ１＋３ではテンプレート９０８ｂ中に侵入物体以外の背景部分の画像が入り込んでしまう。このテンプレート９０８ｂのような追尾すべき侵入物体以外の画像を多く含んだテンプレートを用いてテンプレートマッチングを続けた場合には、侵入物体を捉えることができずに、テンプレートに入り込んだ背景部分とマッチングしてしまう。従って、テンプレートマッチングを用いた侵入物体追尾法は、侵入物体の向きが変化するような場合には、侵入物体の模様が見かけ上移動し、それに引っ張られてテンプレートの位置が侵入物体の位置からずれてしまうため、追尾対象である侵入物体を追尾している保証ができず、安定な追尾を行なうことができない。

なお、本発明に係る先行出願には、例えば、例えば先行特許文献１がある。
特開２００１−０６２６３号公報（第７−８ページ、第９−１０図） 田村秀行監修参照「コンピュータ画像処理」総研出版、１９８５年３月１０日、Ｐ．１４９〜Ｐ．１５３。

このように、上記従来技術には、例えば、検出物体の向きの変化が大きい場合には安定な追尾が行なえなくなるという欠点があった。
本発明の目的は、上記従来技術の欠点を除去しうる物体追尾方法及び物体追尾装置を提供するにある。

本発明の別の目的は、例えば、検出物体の向きの変化が大きい場合にも、正確に検出物体を検出し、追尾することができる、信頼性が高く安定に動作する物体追尾方法及び物体追尾装置を提供することにある。

本発明の物体追尾方法は、撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成するテンプレート画像作成ステップと、前記撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物体位置を前記テンプレート画像に代えて新たなテンプレート画像とする、物体位置修正ステップとを備える。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置の制御状態の停止時において、前記撮像装置から異なる時刻に取得した２フレームの画像を比較することによって、画像の変化領域を検出する。

また、本発明の物体追尾方法において、前記撮像装置の制御状態の停止とは、前記撮像装置の撮像方向が固定の状態を示す。
また、本発明の物体追尾方法において、更に、前記検出された物体位置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾装置は、撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾装置において、該撮像装置が取得した映像信号を逐次画像信号に変換する画像入力部と、前記画像入力部によって変換された前記画像信号を予め決めた手順で処理する処理部とを備え、前記処理部は、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成し、前記撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出し、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物体位置を前記テンプレート画像に代えて新たなテンプレート画像とするように構成される。

また、本発明の物体追尾装置において、前記処理部は、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出するように構成される。

また、本発明の物体追尾装置において、前記処理部は、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、該変化された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を前記物体の位置として検出するように構成される。

また、本発明の物体追尾方法は、撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、前記撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物体位置を現在の物体検出位置に代えて新たな物体検出位置とする、物体位置修正ステップとを備える。

また、本発明の物体追尾方法において、画像変化検出ステップは、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置の制御状態の停止時において、前記撮像装置から異なる時刻に取得した２フレームの画像を比較することによって、画像の変化領域を検出する。

また、本発明の物体追尾方法において、前記撮像装置の制御状態の停止とは、前記撮像装置の撮像方向が固定の状態を示す。
また、本発明の物体追尾方法において、前記検出された物体位置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在の物体検出位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在の物体検出位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲を段階的に変化し、該変化された各探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記物体位置修正ステップは、前記変化された探索範囲において検出された変化領域において最も多い差分が所定値以上となると、該最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、該設定された探索範囲を段階的に拡大または移動する。
また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在の物体検出位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在の物体検出位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲を段階的に変化し、該変化された各探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、該設定された探索範囲を段階的に拡大または移動する。
また、本発明の物体追尾方法は、撮像装置から得られる画像信号に基づいて撮像画像中の物体を検出し追跡する物体追尾方法において、前記撮像装置から取得した画像から前記物体の一部を含む所定サイズのテンプレート画像を作成するテンプレート画像作成ステップと、前記撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、該フレーム間での画像の変化領域を検出する画像変化検出ステップと、該検出された画像の変化領域に基づいて該物体の位置を検出し、該検出された物体位置を前記テンプレート画像に代えて新たなテンプレート画像とする、物体位置修正ステップとを備える。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置から異なる時刻に取得した２フレームの画像を比較し、所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記撮像装置の制御状態の停止時において、前記撮像装置から異なる時刻に取得した２フレームの画像を比較することによって、画像の変化領域を検出する。

また、本発明の物体追尾方法において、前記撮像装置の制御状態の停止とは、前記撮像装置の撮像方向が固定の状態を示す。
また、本発明の物体追尾方法において、前記検出された物体位置と、前記撮像装置の撮像視野内の所定基準位置との関係に基づいて該撮像装置の撮像方向を制御するステップを備える。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲を段階的に変化し、該変化された各探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記物体位置修正ステップは、前記変化された探索範囲において検出された変化領域において最も多い差分が所定値以上となると、該最も多い差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、該設定された探索範囲を段階的に拡大または移動する。
また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、前記現在のテンプレート画像の位置に基づき該物体の位置を検出するための探索範囲を設定し、該設定された探索範囲を段階的に変化し、該変化された各探索範囲において前記２フレーム間での画像の変化領域を検出し、前記物体位置修正ステップは、該変化された探索範囲において所定値以上の差分が検出された領域を前記物体の位置として検出する。

また、本発明の物体追尾方法において、前記画像変化検出ステップは、該設定された探索範囲を段階的に拡大または移動する。
また、本発明の侵入物体追尾方法は、監視対象領域に侵入する物体を監視対象領域を撮像して取得した画像信号に基づいて検出し、検出した結果に基づいて撮像装置を搭載するカメラ雲台を制御して侵入物体を追尾する方式の侵入物体追尾方法において、カメラ雲台の制御状態に応じて撮像装置から異なる時刻に取得した少なくとも２フレーム以上の画像信号に基づいて画像信号の変化領域を検出する画像信号変化検出ステップと、画像信号変化検出ステップで検出された画像信号の変化領域に基づいて侵入物体の正確な位置を検出して侵入物体の位置情報を修正する侵入物体位置修正ステップとを備えることによって達成される。

また好ましくは、本発明の侵入物体追尾方法の画像信号変化検出ステップは、カメラ雲台停止時に撮像装置から異なる時刻に取得した２フレームの画像信号を比較することによって画像信号の変化領域を検出するものである。

またさらに好ましくは、本発明の侵入物体追尾方法の侵入物体位置修正ステップは、侵入物体の位置情報に基づいて侵入物体の正確な位置を検出する対象領域を段階的に拡大し、画像信号変化検出ステップで得られた画像信号の変化領域と、対象領域に基づいて侵入物体の正確な位置を検出して侵入物体の位置情報を修正するものである。

また、本発明の侵入物体監視装置は、監視対象領域を撮像する撮像装置から入力される画像信号の変化部分を検出し、検出した結果に基づいて撮像装置を搭載するカメラ雲台を制御することにより侵入物体を追尾する方式の侵入物体追尾装置において、監視対象領域を逐次撮像する装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力部と、カメラ雲台を制御する雲台制御部と、画像入力部によって変換された画像信号を予め決めた手順で処理する処理手段を備え、記処理手段は、画像入力部を介して得られた画像信号の変化領域を検出し、変化領域に基づいて雲台制御部を介してカメラ雲台を制御し、侵入物体を撮像装置の視野内に捉えながら侵入物体を追尾するものである。

本発明によれば、検出物体が向きを変えた場合に検出物体に対してテンプレートがずれる場合があり、テンプレートに追尾すべき検出物体以外の画像を多く含んでしまい検出物体を捉えることができずに、テンプレートに入り込んだ背景部分とマッチングしてしまうという従来の問題を除去できる。更に、検出物体の向きの変化が大きい場合にも、正確に物体を検出し、追尾することができる。従って、信頼性が高く安定に動作する物体追尾方法及び物体追尾装置を提供することができる。

以下、本発明による侵入物体追尾方法および侵入物体追尾装置について、図示の実施の形態により詳細に説明する。
先ず、図４は、本発明の一実施例が適用された監視システムのハードウエア構成の一例である。４０１は撮像装置である。撮像装置４０１はカメラ４０１ａとズームレンズ４０１ｂ、及びカメラ雲台（電動旋回台）４０１ｃで少なくとも構成されている。次に、４０２は処理装置で、画像入力部（画像入力Ｉ／Ｆ）４０２ａと雲台制御部（雲台制御Ｉ／Ｆ）４０２ｂ、レンズ制御部（レンズ制御Ｉ／Ｆ）４０２ｃ、操作入力部（操作入力Ｉ／Ｆ）４０２ｄ、画像メモリ４０２ｅ、ＭＰＵ（マイクロプロセッシングユニット、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０２ｆ、ワークメモリ４０２ｇ、外部入出力部（外部入出力Ｉ／Ｆ）４０２ｈ、画像出力部（画像出力Ｉ／Ｆ）４０２ｉ、警報出力部（警報出力Ｉ／Ｆ）４０２ｊ、それにデータバス４０２ｋで構成され、これに、操作手段４０３と外部記憶装置４０４、画像モニタ４０５、更に警告灯４０６が組合わされている。

更に、操作手段４０３は、ジョイスティック４０３ａと第１のボタン４０３ｂ、第
２のボタン４０４ｃで構成されている。そして、カメラ４０１ａの出力は画像入力部
４０２ａを介してデータバス４０２ｋに接続され、ズームレンズ４０１ｂの制御部はレンズ制御部４０２ｃを介してデータバス４０２ｋに接続され、カメラ４０１ａを搭載するカメラ雲台４０１ｃは雲台制御部４０２ｂを介してデータバス４０２ｋに接続され、操作手段４０３の出力は操作入力部４０２ｄを介してデータバス４０２ｋに接続されている。

また、外部記憶装置４０４は外部入出力部４０２ｈを介してデータバス４０２ｋに
接続され、監視用の画像モニタ４０５は画像出力部４０２ｉを介してデータバス４０
２ｋに接続され、警告灯４０６は警報出力部４０２ｊを介してデータバス４０２ｋに接続されている。一方、ＭＰＵ４０２ｇとワークメモリ４０２ｇは、そのままデータバス４０２ｋに接続されている。

ここで、カメラ４０１ａは、監視対象領域を所定の視野内に捉え、監視対象領域撮像して映像信号を出力する。このため、ズームレンズ４０１ｂを備え、カメラ雲台４０１ｃに搭載されている。そして、撮像された映像信号は、画像入力部４０２ａからデータバス４０２ｋを介して画像メモリ４０２ｅに蓄積される。外部記憶装置４０４は、プログラムやデータなどを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部４０２ｈを介してワークメモリ４０２ｇに読み込まれ、また反対にワークメモリ４０２ｇから画像記憶装置４０４に保存される。

ＭＰＵ４０２ｆは、外部記憶装置４０４に保存され、処理手段４０２動作時にワークメモリ４０２ｇに読み込まれたプログラムに従って処理を実行し、ワークメモリ４
０２ｇ内で画像メモリ４０２ｅに蓄積された画像の解析を行なう。そして、この処理
結果に応じて、ＭＰＵ４０２ｆは、ズームレンズ４０１ｂを制御し、カメラ雲台４０１ｃを制御して、カメラ４０１ａの撮像視野を変えると共に、必要に応じて監視モニタ４０５に侵入物体検出結果の画像を表示し、警告灯４０６を点灯させる。

次に、本発明の実施の形態の動作の一例について説明する。ここで、以下に説明する実施形態は、図４で説明したハードウエア構成により動作するもので、この本発明の第１の実施例の動作を、図２により説明する。ここで、この図２は、本発明の第１の実施例における処理プロセスの一例をフローチャートで示した図である。

この図２の処理プロセスは、まず初期化処理ステップ１０１から開始される。この初期化処理ステップ１０１では、画像メモリ領域や記録領域の初期化を実行する。また、外部記憶装置４０４に記録した基準背景画像を読み込んで画像メモリ４０２ｅに記憶する。画像メモリ領域は、侵入物体追尾処理に使用するためのメモリ領域で、画像メモリ４０２ｅ内に確保される。また、記録領域は、ワークメモリ４０２ｇ内に確保された領域で、処理プロセスの処理に必要な変数などを記憶する。

次に、侵入物体検出処理ステップ１０２は、図５、６を用いて説明した従来方式の侵入物体検出処理ステップ１０２と同じ処理を行なう。図２では、侵入物体検出処理ステップ１０２を構成する各ステップは、１つのステップとして省略して表示している。また、各ステップの動作については、従来方式の処理動作で説明したため、ここでは説明を省略する。

次に第１の警報・モニタ表示ステップ１０３では、例えば画像モニタ４０５に検出した侵入物体の画像を表示し、警告灯４０６を点灯させ、監視対象領域内に侵入物体が存在することを意味する報知が行なわれる。または警報を示す画像、文字等を画像モニタ４０５に表示しても良い。

画像入力ステップ１０５では、画像入力部４０２ａを介して、カメラ４０１ａで撮像された画像信号を入力し、例えば横方向３２０画素、高さ方向２４０画素、１画素当たりデータビット数８（３２０×２４０画素、８ｂｉｔ／画素）の入力画像を取得する。この際、前の処理フレーム（１巡前のステップの処理で）で取得した入力画像を画像メモリ４０２ｅに記憶しておく。画像メモリ４０２ｅに記憶された入力画像は、それが入力された時刻から所定の時間（例えば１０秒）が経過した場合に消去される。

次に、カメラ雲台停止判定ステップ１０９では、カメラ雲台４０１ｃが停止中か、即ち、カメラの撮像方向（言い替えれば、カメラの光軸方向）が固定中か否かを判定する。停止中の場合はフレーム間差分処理ステップ１１０へ分岐し、停止中でない場合はカメラ雲台制御ステップ１１８へ分岐する（理由は後述する）。

フレーム間差分処理ステップ１１０では、フレーム間差分法の処理を実行する。フレーム間差分法とは、図６で説明した従来技術で使用している侵入物体の検出方法である差分法の基準背景画像６０２の代わりに画像メモリ４０２ｅに記憶された前処理フレームの入力画像を使用する。即ち、異なる時刻に得られた２フレームの入力画像を差分法に適用すると、入力画像中で動いている部分（画素値に変化がある部分）が検出される。侵入物体は動いているため、侵入物体の画素値に差分が生じるため、侵入物体の検出が行なえるのである。この差分法は、特にフレーム間差分法と呼ばれ広く使用されている。なお、図６で説明した入力画像と基準背景画像との差分を求める方法は、背景差分法と呼ばれている。

次に差分量最大位置探索ステップ１１２では、フレーム間差分処理ステップ１１０で得られた差分画像から、差分が多く含まれる領域を探索する。この処理を図１５によって説明する。図１５（１）は、画像入力ステップ１０５で入力した入力画像１５０１、図１５（２）は、画像メモリ４０２ｅに記憶された入力画像１５０２を表す。入力画像１５０２は、入力画像１５０１に比べ取得時刻が所定の時間（例えば１秒）離れているものを使用する。すると、差分画像として図１５（３）の斜線で囲んだ領域１５０３が得られる。

ここで、侵入物体位置１５０３ａ（この時点では、現在の侵入物体の位置は分からないため前処理フレームでの侵入物体の位置を使用する）に対し、Ｘ軸、Ｙ軸方向にそれぞれ所定の画素ｄ分（例えばｄ＝１００画素）だけ拡大した領域を探索領域１５０３ｂとして設定し、その領域内の画素の差分の累積値を、Ｘ軸、Ｙ軸に対して投影すると、図１５（３）で示す投影像１５０３ｃ、１５０３ｄのようになる。これらを、それぞれｈｘ（ｘ）、ｈｙ（ｙ）と表記する。なお、図１５（３）は、分かりやすくするために差分画像上に投影したグラフを重ねて表示している。

次に、図１５（４）は、探索領域内の画素の差分の累積値をＸ軸に投影したｈｘ（ｘ）を示し、点線で示した領域１５０３ｅは、前処理フレームで侵入物体の検出位置を表わす範囲である。ここで、侵入物体の幅ｔｘ（侵入物体検出処理ステップ１０２で検出された侵入物体の幅）内に最も差分の多い位置を検出する。この例では、実線の領域１５０３ｆになる。これを式で表すと式（２）のようになる。

式（２）において、ｘ０は前フレームで検出された侵入物体の位置（侵入物体に外接する矩形の左上の座標を基準とする）を表し、ｘ１は検出した侵入物体の幅ｔｘ内で最も差分の多い位置を表す。このようにして検出された差分が最も多く検出された領域には、動く物体が存在している。同様にＹ軸に対して差分を投影した図１５（５）で表されるグラフに対しても、点線で示した前処理フレームで侵入物体の存在していた領域１５０３ｇから、侵入物体の高さｔｙ（侵入物体検出処理ステップ１０２で検出された侵入物体の高さ）内で差分が最も多く検出された領域１５０３ｈが検出される。

これを式で表すと式（３）のようになる。

式（３）において、ｙ０は前フレームで検出された侵入物体の位置を表すし、ｙ１は検出した侵入物体の高さｔｙ内で最も差分の多い位置を表す。

従って、フレーム間差分処理ステップ１１０によって、差分が多く存在する位置（ｘ１，ｙ１）が検出される。
なお、本実施例では、式（２）、（３）で表される通り、ｘ１もしくはｙ１をｘ０−ｄ＜ｘ１＜ｘ０＋ｄ、ｙ０−ｄ＜ｙ１＜ｙ０＋ｄと変化させた場合に、ｘ１＜ｘ＜ｘ１＋ｄｘ、ｙ１＜ｙ＜ｙ１＋ｄｙにおいてｈｘ（ｘ）、ｈｙ（ｙ）の累積値が最も大きくなるｘ１、ｙ１を求めている。これに代わり、ｘ０−ｄ＜ｘ１＜ｘ０＋ｄ、ｙ０−ｄ＜ｙ１＜ｙ０＋ｄと変化させる過程で式（２）のΣｈｘ（ｘ１＋ｉ）、ｉ＝０〜ｔｘ−１、式（３）のΣｈｙ（ｙ１＋ｊ）、ｊ＝０〜ｔｙ−１が所定のしきい値を超えた場合に式（２）、（３）の計算を中止し、その時のｘ１もしくはｙ１を侵入物体位置の修正位置としても良い。この場合、所定のしきい値とは、例えば累積値の最大値２５５×（ｄｙ＋２ｄ）（ｙ軸に対しては２５５×（ｄｘ＋２ｄ））の３０％の値を設定する。この値によって検出される範囲は、差分の最大累積値の３０％以上の差分を含む部分となり、これによって式（２）、（３）の計算量を減らすことができる。

以上の方法は、フレーム間差分によって得られた差分をＸ軸方向、Ｙ軸方向に投影して、投影した差分量に基づいて差分が最大となる領域を求め、侵入者の位置を修正するものである。この方法以外にも、探索範囲内であってテンプレートサイズの領域を、例えば左上から右下へと走査し、領域内に含まれる差分の合計量が最も大きくなる部分を検出して、その部分の位置を侵入物体の位置として修正する方法を用いても良い。またこの方法で、走査中に領域内の差分の合計量が所定の値以上になった場合に走査を中止し、その領域を侵入物体の位置として修正しても良い。

次に、差分量判定ステップ２０１では、検出した差分が多く存在する領域（ｘ１，ｙ１）−（ｘ１＋ｔｘ，ｙ１＋ｔｙ）内の差分の合計値を求め、その値がｔｘ×ｔｙ×ｔｈ×０．１（この値は検出した領域内にしきい値の１割相当の差分が含まれているかを判定するものである）未満であった場合には、差分量が少ない、即ち、検出された領域内の動く物体は侵入物体ではないとして侵入物体検出処理ステップ１０２へ分岐する。また、その値がｔｘ×ｔｙ×ｔｈ×０．１以上であった場合には差分量が多い、即ち、検出された領域内の動く物体は侵入物体であるとして侵入物体位置修正ステップ１１５へ分岐する。ここで、この値０．１は検出した領域内にしきい値の、例えば、１割相当の差分が含まれているかを判定するものである。なお、０．１（１割）は、一例であり、実際のシステムの設定状況に応じて任意に設定すればよい。

そして、侵入物体位置修正ステップ１１５では、検出された位置（ｘ１，ｙ１）を侵入物体の存在する位置（ｘ０，ｙ０）と置きかえる。
なお、カメラ雲台停止判定ステップ１０９によって、カメラ雲台４０１ｃが停止している場合にのみフレーム間差分処理ステップ１１０から侵入物体位置修正ステップ１１５が実行されるようになっているが、フレーム間差分法は、異なる時刻に得られた２フレームの入力画像を比較することによって行なわれるため、カメラ雲台４０１ｃが動いている間はフレーム間差分を実行することができないためである。

次に、カメラ雲台制御ステップ１１８は、図５と図８を用いて説明した従来のカメラ雲台制御方法と同様にカメラ雲台を制御する。さらに、第２の警報・モニタ表示ステップ１１９では、例えば画像モニタ４０５に追尾中の侵入物体の画像を表示し、警告灯４０６を点灯させ、監視対象領域内の侵入物体を追尾中であることを意味する報知が行なわれる。または侵入物体を追尾中であることを表す警報を示す画像、文字等を画像モニタ４０５に表示しても良い。

つまり、この図２の実施例によれば、検出した領域内には動く物体である侵入物体が存在し、テンプレートマッチングを使用した侵入物体追尾方法で、追尾すべき侵入物体以外の画像を多く含んだテンプレートを用いてテンプレートマッチングを続けた場合には、侵入物体を捉えることができずに、テンプレートに入り込んだ背景部分とマッチングしてしまい、追尾対象である侵入物体を追尾している保証ができず、安定な追尾を行なうことができないという問題を解決することができ、確実に動く物体である侵入物体を捉え追尾することができる。以上のような結果、侵入物体追尾処理の性能を向上させることができ、信頼性の高い監視システムが容易に構築できる。

次に、本発明の第２の実施例の動作を、図３により説明する。ここで、この図３は、本発明の第２の実施例における処理プロセスの一例をフローチャートで示したものである。
この図３の処理プロセスは、図２で表される処理プロセスに、図５で示される従来法のテンプレートマッチングを用いた侵入物体追尾方法を組合わせたものであり、差分量判定ステップ１１３、及び侵入物体停止判定ステップ１１６以外は、すでに説明しているため、ここでは説明は省略する。ただし、差分量最大位置探索ステップ１１２については、図２の処理プロセスのステップ１１２とは若干異なるので、この点は図１０を用いて後述する。

この処理プロセスでは、先ずテンプレートマッチングステップ１０６から第１の侵入物体位置修正ステップ１０８までの処理で、テンプレートマッチングによって侵入物体の位置を検出する。ただし、検出された侵入物体の位置には、上記従来技術の問題のように侵入物体とテンプレートの位置がずれている可能性があるため、続くカメラ雲台停止判定ステップ１０９から第２の侵入物体位置修正ステップ１１５までの処理で侵入物体の位置を正しい位置に補正するようにしている。

ここで、前記第１の実施例での差分量判定ステップ２０１では、検出した位置の差分量が所定値以下であった場合に侵入物体追尾を中止し、再び侵入物体検出処理ステップ１０２へ戻る構成になっていたが、図３の実施例での差分量判定処理ステップ１１３は、差分量が所定値以下であっても侵入物体追尾を続けるようにしている。

ただし、差分量が所定値以下である場合には、侵入物体位置の修正は行なわず、侵入物体停止判定ステップ１１６へ分岐するようにしている。
次に、侵入物体停止判定ステップ１１６では、検出した侵入物体の位置が所定時間（例えば１０秒）変わらない場合には侵入物体検出処理ステップ１０２へ分岐し、検出した侵入物体の位置が変わっている場合にはテンプレート更新ステップ１１７へ分岐する。

上述の本発明の第１の実施例では、フレーム間差分法のみを使って侵入物体の位置を検出している。しかし、フレーム間差分法は、侵入物体の動きが止まった場合には差分が現れなくなってしまうため、すぐさま侵入物体追尾を中止し、新たな侵入物体を探すようになってしまう。そこで、この本発明の第２の実施例では、テンプレートマッチングを使用することで、侵入物体の動きが止まった場合でも所定時間内（上記例では１０秒）であれば侵入物体を追尾し続けることができるようにする。

この処理プロセスの流れを図１１によって説明する。図１１は、本発明の第２の実施例での処理が実行されていく過程の一例を表す図であり、図９で示した撮像視野内で曲線を描く車道を通過する車両を侵入物体として追尾した場合の図である。

なお、図１１では、フレーム間差分処理１１０と差分量最大位置検索１１２の効果を説明するために、カメラ雲台の制御は行っていない場合の例を示している。カメラ雲台制御処理とフレーム間差分処理の動作タイミングについては後述する。１１０１、１１０３、１１０５、１１０７は、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレート画像、１１０１ａ、１１０３ａ、１１０５ａ、１１０７ａは、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレートを表す。また、１１０２、１１０４、１１０６、１１０８は、それぞれ、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２、時刻ｔ１＋３における入力画像、１１０２ｂ、１１０４ｂ、１１０６ｂ、１１０８ｂは、それぞれ、時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２におけるテンプレートの位置（時刻ｔ１−１、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２における侵入物体の位置）、１１０２ａ、１１０４ａ、１１０６ａ、１１０８ａは、それぞれ、時刻ｔ１、時刻ｔ１＋１、時刻ｔ１＋２、時刻ｔ１＋３においてテンプレートマッチング処理によって検出された侵入物体の位置である。

図１１において、時刻ｔ１−１で登録されているテンプレート１１０１ａは、車両のフロント部分がほぼ正面を向いている画像である。時刻ｔ１では、このテンプレート１１０１ａを用いてテンプレートマッチング（テンプレートマッチング処理７０９）を行ない、侵入物体の移動した位置を検出すると共に、フレーム間差分法（フレーム間差分処理ステップ１１０から侵入物体補正処理ステップ１１５）によって侵入物体位置を正確に補正し、更にテンプレート１１０１ａをテンプレート１１０３ａに更新する（テンプレート更新処理７１０）。

続いて、時刻ｔ１＋１ではテンプレート１１０５ａに更新され、時刻ｔ１＋２ではテンプレート１１０７ａに更新され、この処理を時刻ｔ１＋３まで行なうと、テンプレートは、追尾開始時刻ｔ１において車両のライトなどがあるフロント部分を捉えていた。しかし、時刻ｔ１＋３において、図９で示される従来技術では車両の左側にずれて捉えている（テンプレート９０７ａ）のに対して、本発明の第２の実施例ではテンプレートは正確に侵入物体を捉えている（テンプレート１１０７ａ）。

従って、図１１のように、侵入物体が向きを変えるような場面でも、従来のテンプレートマッチングのみを使ったときに生じる侵入物体の向きの変化に伴う侵入物体とテンプレートのずれを解決することができ、正確に侵入物体を追尾することができる。

また、本実施形態によれば、テンプレートマッチングステップ１０６によって、侵入物体の大まかな位置（範囲）を特定し、この特定された範囲（現在のテンプレートの位置）に基づき探索範囲を設定し、フレーム間差分処理１１０、及び、差分量最大位置探索１１２を行っている。従って、本発明の第１の実施例の範囲（上記例ではｄ＝１００画素）に比べて例えばｄ＝５０画素などのように小さくできるため、フレーム間差分法に関わる計算量を低減することができる。

ここで、第２の実施例における差分量最大位置探索ステップ１１２の処理の様子を図１０に示す。第１の実施例の図１５と同様の部分の説明は省略するが、図１０（３）に示すように、テンプレートマッチングにより検出された侵入物体位置（現在のテンプレート位置）１００３ａに対し、Ｘ軸、Ｙ軸方向にそれぞれ所定の画素ｄ（例えば、ｄ＝５０画素）だけ拡大した領域が探索領域１００３ｂとして設定される。

さらに、第２の実施例によれば、ＴＶカメラの撮像視野内に複数の物体が存在した場合に、第１の実施例に比べて侵入物体をより正確に追尾できるという効果もある。この効果を図１３（１）、（２）を用いて説明する。図１３（１）は、撮像視野内の車両１３０１ａを追尾中に、車両より手前に別の物体１３０１ｂが存在する例を示している。物体１３０１ｂは、車両１３０１ａよりも手前に存在するため、見かけの大きさ、見かけの速度が車両１３０１ａよりも大きい。このような場合、フレーム間差分処理によって得られる差分は、物体１３０１ｂの方が大きくなる。今、前フレームの侵入物体の検出位置を表す範囲を１３０１ｃとすると、本発明の第１の実施例によると、フレーム間差分処理の対象となる範囲は、１３０１ｄのようになる。この場合、範囲１３０１ｄの中に物体１３０１ｂが写っており、このような場面で差分量最大位置探索ステップ１１２を実行すると、得られる差分の累積値が最大となる範囲は、物体１３０１ｂの部分になってしまう。

それに対し、第２の実施例によれば、図１３（２）に示す様に、まずテンプレートマッチングステップ１０６によって侵入物体の存在する範囲１３０２ａを大まかに検出し、範囲１３０２ａに基づいてフレーム間差分処理の対象となる範囲１３０２ｂを決定する。この例では、範囲１３０２ｂの中に物体１３０１ｂは写っておらず、差分量最大位置探索ステップ１１２を実行しても第１の実施例のように得られる差分の累積値が最大となる範囲が物体１３０１ｂの部分になってしまうことはなく、正確に車両１３０１ａを捉えることができる。

以上のような結果、侵入物体追尾処理の性能を向上させることができ、信頼性の高い監視システムが容易に構築できる。
ここで、図１４（１）−（３）にテンプレートマッチング処理とカメラ雲台制御処理、フレーム間差分を利用した侵入物体位置修正処理の動作タイミングを示す。図１４（１）−（３）は、各処理の動作をある時刻ｔ０から時刻ｔ０＋１２にわたって表示した図である。１４０１は時間の流れを表す軸であり、テンプレートマッチングの処理サイクルに合わせてｔ０、ｔ０＋１…と目盛を付けてある。図１４（１）に示す１４０２はテンプレートマッチング処理の動作を表し、１４０２において斜線で図示した時間帯、例えば時間帯１４０２ａ、１４０２ｂは、テンプレートマッチング処理ステップ１０６が実際に処理を行なっている時間である。次に、１４０３はカメラ雲台制御処理ステップ１１８の動作を表し、図１４（２）に示す１４０３において斜線で図示した時間帯は、カメラ雲台が実際に動作している時間である。

ここで、カメラ雲台が動作している時間帯を順を追って説明する。今、時刻ｔ０の処理フレームにおいて検出された侵入物体の位置がカメラの視野中央から離れている場合、カメラ雲台制御処理ステップ１１８はカメラ雲台の制御を開始し、さらに時刻ｔ０＋１の処理フレームにおいて検出された侵入物体の位置がカメラの視野中央に捉えられた場合、カメラ雲台制御処理ステップ１１８はカメラの雲台制御を停止させる。すなわち、カメラ雲台の動作時間は時間帯１４０３ａのようになる。同様に、時刻ｔ０＋３、時刻ｔ０＋４、時刻ｔ０＋５の処理フレームにおいて侵入物体の検出位置がカメラの視野中央から離れており、時刻ｔ０＋６の処理フレームにおいて侵入物体の検出位置がカメラの視野中央に捉えられた場合、カメラ雲台の動作時間は時間帯１４０３ｂのようになる。さらに、時刻ｔ０＋９、時刻ｔ０＋１０の処理フレームにおいて侵入物体の検出位置がカメラの視野中央から離れており、時刻ｔ０＋１１の処理フレームにおいて侵入物体の検出位置がカメラの視野中央に捉えられた場合、カメラ雲台の動作時間は時間帯１４０３ｃのようになる。

次に図１４（３）に示す１４０４はフレーム間差分処理ステップ１１０によって得られる差分に基づいた侵入物体修正処理（ステップ１１０−１１５）の動作を表し、１４０４において斜線で図示した時間帯は、フレーム間差分処理ステップ１１０等を実行している時間である。前述の通り、時刻ｔ０＋１の処理フレームにおいて、検出した侵入物体の位置はカメラ視野の中央付近に捉えられているため、カメラ雲台の動作は時間帯１４０３ａで停止する。すると次の時刻ｔ０＋２の処理フレームでは、カメラ雲台停止判定処理ステップ１０９において、カメラ雲台の動作が停止していると判定されるため、フレーム間差分が実行される。すなわち、時間帯１４０４ａにおいて、フレーム間差分処理ステップ１１０が実行され、侵入物体位置の修正が実行される（ステップ１１２−１１５）。続く時刻ｔ０＋３の処理フレームの時間帯１４０４ｂにおいてもフレーム間差分は実行されるが、時刻ｔ０＋３の処理フレームで検出された侵入物体の位置はカメラの視野中央から離れており、続くｔ０＋４の処理フレームではフレーム間差分は実行されない。同様に、侵入物体の検出位置がカメラの視野の中央に捉えられた時刻ｔ０＋６の処理フレームにおいて、カメラ雲台の動作が停止し（時間帯１４０３ｂ）、再びカメラ雲台の動作が開始されるまでの時刻ｔ０＋７、時刻ｔ０＋８、時刻ｔ０＋９の処理フレームでは、時間帯１４０４ｃ、時間帯１４０４ｄ、時間帯１４０４ｅにおいてフレーム間差分処理ステップ１１０等が実行され、侵入物体の位置が修正される。すなわち、カメラ雲台が動作していないタイミングで、フレーム間差分を利用した侵入物体位置修正処理が動作する。

更に、本発明の第３の実施例の動作を図１（１）、（２）により説明する。図１（１）、（２）は、本発明の第３の実施例における処理プロセスの一例をフローチャートで示した図である。この図１（１）の処理プロセスは、図３で表される処理プロセスに、探索範囲拡大ループ１１１（ステップ１１１−１１４）を追加したものである。なお、これ以外の処理ステップはすでに説明しているため、ここでは説明は省略する。

図１（２）は、探索範囲拡大処理（ステップ１１１から１１４までの間の処理）の詳細を示すフローチャートである。
探索範囲拡大ループ（ステップ１１１−１１４）は、図１０（３）で示されるフレーム間差分による差分画像の投影範囲である探索領域１００３ｂを段階的に（例えば、この例では５段階に）拡大する。本実施例では、１処理フレームにつき、探索範囲拡大処理（ステップ１１１から１１４まで）を複数回、例えば、５回繰り返す。上記第２の実施例では、探索範囲ｄをｄ＝５０として実行しているが、本実施例では、探索範囲拡大処理、即ち、探索ステップ１１１からステップ１１４までの処理を最初に実行する場合には、探索範囲ｄの初期値をｄ＝１０とする（ステップ１１１ａ）。次いで、２回目の探索範囲拡大処理ではステップ１１４ａにおいて、ｄ＋１０を新たなｄ（即ちｄ＝２０）とし、３回目の探索範囲拡大処理では同様にステップ１１４ａでｄを更新してｄ＝３０とし、段階的に探索範囲を拡大し、５回目の探索範囲拡大処理でｄ＝５０の探索範囲となるようにすることで、探索範囲を段階的に拡大することができる。なお、探索範囲拡大処理はステップ１１４ｂにより５回を超えないようにする。

なお、ステップ１１１から１１４の間のステップを５回繰り返す間に、差分量判定ステップ１１３によって所定値以上の差分が検出された場合、探索範囲拡大処理の繰り返しを中断し、侵入物体位置修正ステップ１１５を実行するように構成している。

第２の実施例では、侵入物体の探索範囲内に複数の動く物体が存在する場合、差分が最も多い（差分量判定ステップ１１３の判定結果による）部分に侵入物体が存在するものとして無条件に侵入物体の位置を決定してしまう。それに対して、この第３の実施例のように処理プロセスを構成することで、テンプレートマッチングによって検出された侵入物体の位置を基準に、その位置に近く、差分が多く存在する場所を侵入物体の位置として決定できるため、侵入物体の探索範囲内に複数の動く物体が存在する場合でも、正しい侵入物体の位置を検出することができるようになる。この効果を図１２によって説明する。

図１２は、本発明の第３の実施例における侵入物体位置の検出方法を説明するための図で、ある時刻におけるフレーム間差分を適用した場合の差分画像１２０１を表している。図１２は、侵入物体１２０２を追尾している途中で別の物体１２０３が監視視野内に現れた瞬間の画像を表している。矩形１２０４はテンプレートマッチングステップ１０６によって検出された侵入物体位置を表している。また、矩形１２０４ａ、１２０４ｂ、１２０４ｃ、１２０４ｄ、１２０４ｅは、それぞれ、探索範囲を段階的に拡大した場合の各段階での探索範囲である。

この場合において、本発明の第２の実施例によれば、矩形１２０４ｅの範囲で差分が最も多い部分を検出するため、侵入物体位置修正ステップ１１５によって追尾中の侵入物体１２０２ではなく、差分量の多い別の物体１２０３の位置に補正してしまう。従って、追尾中の侵入物体１２０２ではなく、誤った別の物体１２０３を追尾してしまう。それに対して、本発明の第３の実施例によれば、テンプレートマッチングにより見つけた侵入物体位置１２０４を、例えば、２回拡大した段階での探索範囲１２０４ｂの時点で侵入物体１２０２を捉えることができる。即ち、最初の探索範囲１２０４ａでは差分が所定値に達しないため、次の拡大された探索範囲１２０４ｂで探索を行う。すると、この探索範囲１２０４ｂでは差分が所定値に達するため追尾中の正しい侵入物体１２０２を捉えることができ、該物体１２０２の正しい位置を検出しそれに修正できる。

なお、本実施例では、探索範囲を表すＸ軸、Ｙ軸方向それぞれの画素数ｄを１回目の探索ではｄ＝１０、２回目の探索ではｄ＝２０と段階的に大きくしているが、探索範囲の設定方法はこれに限らない。即ち、他の探索範囲の設定方法としては、例えば、探索範囲の大きさをテンプレートの大きさに固定し、テンプレートマッチングステップ１０６で検出した位置１２０４を基準に、例えば、上方向に１０画素移動後の探索範囲で探索し、次に上方向に１０画素かつ左方向に１０画素移動後の探索範囲で探索し、次に左方向に１０画素移動後の探索範囲で探索し、次に下方向に１０画素かつ左方向に１０画素移動後の探索範囲で探索し、次に下方向に１０画素移動後の探索範囲で探索し、次に下方向に１０画素かつ右方向に１０画素移動後の探索範囲で探索し、次に右方向に１０画素移動後の探索範囲で探索し、次に上方向に１０画素かつ右方向に１０画素移動後の探索範囲で探索し、次に上方向に２０画素移動後の探索範囲で探索し、次に上方向に２０画素かつ左方向に２０画素移動後の探索範囲で探索し、次に左方向に２０画素移動後の探索範囲で探索し…、というように螺旋状に探索範囲を移動しながら差分の累積値が最大となる範囲或いは差分の累積値が所定値以上となる範囲を検出するようにしても良い。

従って、侵入物体の探索範囲内に複数の動く物体が存在する場合でも、正しい侵入物体の位置を検出することができるようになるのである。以上のような結果、侵入物体追尾処理の性能を向上させることができ、信頼性の高い監視システムが容易に構築できる。

なお、上記の各実施例では、侵入物体を検出し追跡する場合を例に挙げて説明したが、検出対象としては、種々なものが用いられてもよく、例えば、侵入物体以外の移動物体であっても良い。また、上記の実施例では、本発明を監視システムに適用した例を説明したが「監視」を目的としない単に移動物体を検出して追跡するシステムなどに適用してもよい。その場合にも上記実施例と同様の効果が得られる。

また、本発明においては、第１の実施例に第３実施例の探索範囲拡大処理を適用するようにしても良い。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。

また、本発明に係る物体追尾装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例の処理の流れの一例を説明するためのフローチャートである。 本発明の一実施例の処理の流れの一例を説明するためのフローチャートである。 本発明の一実施例の処理の流れの一例を説明するためのフローチャートである。 本発明の一実施例が適用された監視システムの一例を示す構成図である。 従来の侵入物体追尾方法の処理の流れを説明するためのフローチャートである。 差分法による侵入物体検出動作の説明するための図である。 テンプレートマッチングによる侵入物体追跡動作を説明するための図である。 カメラ雲台の制御方法を説明するための図である。 従来の侵入物体追尾方法の課題を説明するための図である。 本発明の一実施例のフレーム間差分法による物体位置の検出方法を説明するための図である。 本発明の一実施例の侵入物体追尾方法の処理の流れの一例を説明するための図である。 本発明の一実施例の侵入物体位置の検出方法を説明するための図である。 本発明の一実施例の効果を説明するための図である。 本発明の一実施例のテンプレートマッチング処理とカメラ雲台制御処理、フレーム間差分を利用した物体位置修正処理の動作タイミングを示す図である。 本発明の一実施例のフレーム間差分法による物体位置の検出方法を説明するための図である。

符号の説明

１０１：初期化処理ステップ、１０２：侵入物体検出処理ステップ、１０２ａ：画像入力ステップ、１０２ｂ：差分処理ステップ、１０２ｃ：二値化処理ステップ、１０２ｄ：ラベリング処理ステップ、１０２ｅ：侵入物体存在判定ステップ、１０３：警報・モニタ表示ステップ、１０４：テンプレート登録ステップ、１０５：画像入力ステップ、１０６：テンプレートマッチングステップ、１０７：一致度判定ステップ、１０８：侵入物体位置補正ステップ、１０９：カメラ雲台停止判定ステップ、１１０：フレーム間差分処理ステップ、１１１：探索範囲拡大ループ（開始）、１１２：差分量最大位置探索ステップ、１１３：差分量判定ステップ、１１４：探索範囲拡大ループ（終了）、１１５：侵入物体位置修正ステップ、１１６：侵入物体停止判定ステップ、１１７：テンプレート更新ステップ、１１８：カメラ雲台制御ステップ、１１９：警報・モニタ表示ステップ、２０１：差分量判定ステップ、４０１：撮像装置、４０１ａ：カメラ、４０１ｂ：ズームレンズ、４０１ｃ：カメラ雲台、４０２：処理装置、４０２ａ：画像入力部、４０２ｂ：雲台制御部、４０２ｃ：レンズ制御部、４０２ｄ：操作入力部、４０２ｅ：画像メモリ、４０２ｆ：ＭＰＵ、４０３ｇ：ワークメモリ、４０２ｈ：外部入出力部、４０２ｉ：画像出力部、４０２ｊ：警報出力部、４０２ｋ：データバス、４０３：操作手段、４０３ａ：ジョイスティック、４０３ｂ，４０３ｃ：ボタン、４０４：外部記憶装置、４０５：出力モニタ、４０６：警告灯。

Claims (8)

1. 撮像装置から得られる画像に基づいて撮像画像中の移動物体を検出し追跡する物体追尾方法において、
   撮像装置から取得した画像から前記移動物体の一部を含むテンプレート画像を作成するテンプレート画像作成ステップと、
   テンプレート画像に基づいてテンプレートマッチングを行い、マッチング位置を移動物体の位置として検出するテンプレートマッチングステップと、
   撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、フレーム間での画像の変化領域を検出する変化領域検出ステップと、
   検出された画像の変化領域に基づいて移動物体の位置を検出し、該検出された移動物体の位置をテンプレートマッチングステップにより検出された移動物体の位置に代えて新たな移動物体の位置とする物体位置修正ステップと、
   前記新たな移動物体の位置に対応する撮像装置から取得した画像の部分画像を新たなテンプレート画像とするテンプレート画像更新ステップとを備えることを特徴とする物体追尾方法。
2. 請求項１記載の物体追尾方法において、
   前記物体位置修正ステップは、検出された画像の変化領域に基づいて最も多い差分或いは所定値以上の差分が検出された領域を移動物体の位置として検出することを特徴とする物体追尾方法。
3. 請求項１記載の物体追尾方法において、
   前記物体位置修正ステップは、テンプレートマッチングステップにより検出された移動物体の位置に基づき移動物体の位置を検出するための探索範囲を設定し、設定された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を移動物体の位置として検出することを特徴とする物体追尾方法。
4. 請求項３記載の物体追尾方法において、
   前記探索範囲を段階的に拡大または移動し、段階的に拡大または移動している間に、所定値以上の差分が検出された場合は、当該差分が検出された領域を移動物体の位置として検出し、それ以上は拡大または移動は行わない、ことを特徴とする物体追尾方法。
5. 撮像装置から得られる画像に基づいて撮像画像中の移動物体を検出し追跡する物体追尾装置において、
   画像を予め決めた手順で処理する処理部を備え、
   前記処理部は、撮像装置から取得した画像から前記移動物体の一部を含むテンプレート画像を作成し、テンプレート画像に基づいてテンプレートマッチングを行い、マッチング位置を移動物体の位置として検出し、撮像装置から異なる時刻に取得した２フレーム以上の画像に基づいて、フレーム間での画像の変化領域を検出し、検出された画像の変化領域に基づいて移動物体の位置を検出し、該検出された移動物体の位置をテンプレートマッチングにより検出された移動物体の位置に代えて新たな移動物体の位置とし、該新たな移動物体の位置に対応する撮像装置から取得した画像の部分画像を新たなテンプレート画像とすることを特徴とする物体追尾装置。
6. 請求項５記載の物体追尾装置において、
   前記処理部は、検出された画像の変化領域に基づいて最も多い差分或いは所定値以上の差分が検出された領域を移動物体の位置として検出することを特徴とする物体追尾装置。
7. 請求項５記載の物体追尾装置において、
   前記処理部は、テンプレートマッチングにより検出された移動物体の位置に基づき移動物体の位置を検出するための探索範囲を設定し、設定された探索範囲において最も多い差分或いは所定値以上の差分が検出された領域を移動物体の位置として検出することを特徴とする物体追尾装置。
8. 請求項７記載の物体追尾装置において、
   前記探索範囲を段階的に拡大または移動し、段階的に拡大または移動している間に、所定値以上の差分が検出された場合は、当該差分が検出された領域を移動物体の位置として検出し、それ以上は拡大または移動は行わない、ことを特徴とする物体追尾装置。

Images