JP4444529B2 - 侵入物体追跡方法及び侵入物体監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を撮像装置から入力する映像信号の中から自動的に検出し、操作手段を用いて設定されたテンプレート画像の大きさに基づいて検出した物体の画像をテンプレート画像として登録し、該テンプレート画像をもとにテンプレートマッチングによって検出した物体の動きを自動的に検出するようにした侵入物体追跡方法と、検出した物体の動きを監視モニタ上に表示し、監視員に所定の報知を行なうようにした侵入物体監視装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このような監視システムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、カメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する処理方法である。このようにして検出された侵入物体の画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１４９〜１５３で解説されている。通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。従来技術のこれらの処理を図４と図５を用いて説明する。
【０００４】
図４は、差分法によって撮像装置の視野内に侵入した物体を検出し、検出した物体をテンプレートマッチングで使用できるように初期のテンプレート画像として登録する処理のプロセスを説明するための図である。図４で、401 は入力画像、402 は基準背景画像、403 は入力画像 401 と基準背景画像 402 の差分画像、404 は差分画像 403 の二値化画像、405 は差分処理部、406 は二値化処理部、407 は入力画像 401 中に写る人型の物体、408 は人型の物体 407 に相当する差分画像 403 中の人型の差分画像、409 は人型の差分画像 408 に相当する二値化画像 404 中の人型の物体（人型の二値化画像）、410 は検出された人型の物体 409 の外接矩形、411 は入力画像 401 から指定された領域を抽出する抽出処理部、412 は抽出画像、413 はテンプレート画像である。
【０００５】
図４において、先ず、カメラ等の撮像装置から、例えば、320 × 240 画素の入力画像 401 を入力する。次に、差分処理部 405 において、入力画像 401 と、予め作成した基準背景画像 402 との画素毎の差分を計算し、差分画像 403 を取得する。この時、入力画像 401 中の人型の物体 407 は差分画像 403 中に、人型の差分画像 408 として現れる。そして、二値化処理部 406 において、差分画像 403 の各画素に対して差分値が所定のしきい値未満の画素の値を“ 0 ”、しきい値以上の画素の値を“ 255 ”（ 1 画素を 8 ビットとして取り扱う）に置き換えて、二値化画像 404 を得る。
この時、入力画像 401 に撮像された人型の物体 407 は、二値化画像 404 中の人型の物体 409 として検出される。
以上が、差分法による物体検出処理プロセスの概略である。
【０００６】
次に、二値化画像 404 中の差分法によって検出された人型の物体 409 の外接矩形 410 を検出する。次に、抽出処理部 411 において、入力画像 401 から外接矩形 410 で表される領域を抽出する。抽出された画像は抽出画像 412 中のテンプレート画像 413 として登録される。
以上が、初期のテンプレート画像登録処理プロセスの概略である。
【０００７】
図５は、テンプレートマッチングによって侵入物体を追跡する処理プロセスを説明するための図である。図５において、501 、503 、505 、507 は時刻 t0-1 、t0 、t0+1 、t0+2 における抽出画像、501a 、503a 、505a 、507a は時刻 t0-1 、t0 、t0+1 、t0+2 で得られたテンプレート画像、502 、504 、506 、508 は時刻 t0 、t0+1 、t0+2 、t0+3 における入力画像、509a 、509b 、509c 、509d はマッチング処理部、510a 、510b 、510c はテンプレート画像更新部である。
【０００８】
図５において、マッチング処理部 509a 、509b 、509c 、509d は、抽出画像 501 、503 、505 、507 中のそれぞれのテンプレート画像 501a 、503a 、505a 、507a とそれぞれの入力画像 502 、504 、506 、508 を比較し、入力画像中でテンプレート画像と最も一致度が高くなる部分を検出する。
以上が、テンプレートマッチング処理プロセスである。
【０００９】
テンプレート画像更新部 510a、510b、510c は、マッチング処理部 509a、509b、509c、509d で検出された最も一致度が高い部分を新たな侵入物体の位置とし、その画像を用いて抽出画像及びテンプレート画像を置き換えることでテンプレート画像の更新を行なう。ここで、テンプレートマッチング、テンプレート画像更新を、図５によって時刻 t0-1、t0、t0+1、t0+2、t0+3 と順を追って説明する。
【００１０】
先ず、時刻 t0-1 において得られたテンプレート画像 501a と時刻 t0 に得られた入力画像 502 を使ってテンプレートマッチング処理を行なう。ここで、追跡処理の最初の処理フレームでは、テンプレート画像 501a は差分法によって検出された人型の物体 407 の画像となる。
テンプレートマッチング処理部 509a では、入力画像 502 におけるテンプレート画像 501a の位置に相当する領域（領域 502b）の周囲 502c を探索領域とし、テンプレート画像 501a との一致度を求め、探索領域 502c 中でテンプレート画像 501a と最も一致している（最も一致度が高い）領域 502a を検出（マッチング）する。ここで、探索領域 502c は、領域 502b を基準として、横方向 ±Sx 画素、縦方向 ±Sy 画素として設定される。ここで、例えば、Sx = 30 、Sy = 10 とする。Sx 、Sy は、追跡すべき対象の入力画像 502 上での見かけの最大移動量に設定する。
また、一致度を求めるために、例えば、式(1) に示す正規化相関 r(x,y,u,v) を用いることができる。
【数１】

【００１１】
式(1) において、f( ) は入力画像、g( ) はテンプレート画像を表し、(x,y) は入力画像の探索領域 502c 内の座標（マッチング対象領域と呼ぶ）、(u,v) はテンプレート画像 501a の左上の座標（テンプレート画像登録時の座標）を表す。ただし、画像は全て左上を原点 (0,0) とする。また、W はテンプレート画像の幅、H はテンプレート画像の高さを表す。また、式(1) において、f( )とg( )の上に棒線は平均値を表し、それぞれ、入力画像内のマッチング対象領域、テンプレート画像の平均輝度値であり、式(2) と式(3) で表される。
【数２】

【式３】

【００１２】
正規化相関 r(x,y,u,v) は、入力画像 f( ) の位置 (x,y) を左上の座標とする幅 W と高さ H の領域の輝度値分布と、テンプレート画像 g( ) の位置 (u,v)を左上の座標とする幅 W と高さ H の領域の輝度値分布との一致度を表すもので、入力画像 f( ) とテンプレート画像 g( ) の各画素の輝度値が全て同じ値であった場合、1.0 となる。
テンプレートマッチングは、入力画像 f( ) 中でテンプレート画像 g( ) と最も一致度が高くなる部分を検出する処理である。すなわち、テンプレート画像 g( ) の位置 (u,v) を基準として (x,y) を u-Sx≦x＜u+Sx、v-Sy≦y＜v+Sy と変化させ、式(1) で表される正規化相関 r(x,y,u,v) が最大となる (x,y) を見つける。
図５の例では、侵入物体は入力画像 502 中で位置 502e に写っているため、最も一致している領域は 502a（左上の座標 (x,y)）となる。なお、正規化相関の他にも入力画像 f( ) の位置 (x,y) を左上の座標とする幅 W と高さ
H の領域とテンプレート画像 g() の位置 (u,v) を左上の座標とする幅 W と高さ H の領域の各画素の輝度値の差の絶対値の平均値を一致度として用いても良い。この場合、入力画像 f( ) とテンプレート画像 g( ) の各画素の輝度値が全て同じ値であった場合、0.0 となる。テンプレートマッチング処理部 509a の処理結果によれば、領域 502b（左上の座標 (u,v)）に存在していた侵入物体は、領域 502a（左上の座標 (x,y)）に移動したと判定される。したがって、領域 502b の中心と領域 502a の中心を結ぶ矢印 502d が侵入物体の移動方向となる。次に、テンプレート画像更新部 510a では、入力画像 502 のマッチングした領域 502a を抽出して抽出画像 503 を得て、テンプレート画像 501a を新たなテンプレート画像 503a として更新する。
【００１３】
次に、時刻 t0+1 に入力された入力画像 504 について、テンプレートマッチング処理部 509b では、時刻 t0 の場合と同様に、入力画像 504 におけるテンプレート画像 503a の位置に相当する領域（領域 504b）の周囲 504c を探索領域とし、探索領域 504c 中でテンプレート画像 503a と最も一致している領域 504a を検出する。この例では、侵入物体の移動方向は、矢印 504d になる。さらに、テンプレート画像更新処理部 510b では、入力画像 504 のマッチングした領域 504a を抽出して抽出画像 505 を得て、テンプレート画像 503a を新たなテンプレート画像 505a として更新する。
【００１４】
続く、時刻 t0+2 に入力された入力画像 506 について、テンプレートマッチング処理部 509c では、時刻 t0+1 の場合と同様に、入力画像 506 におけるテンプレート画像 505a の位置に相当する領域（領域 506b）の周囲 506c を探索領域とし、探索領域 506c 中でテンプレート画像 504a と最も一致している領域 506a を検出する。この例では、侵入物体の移動方向は、矢印 506d になる。さらに、テンプレート画像更新処理部 510c では、入力画像 506 のマッチングした領域506a を抽出して抽出画像 507 を得て、テンプレート画像 505a を新たなテンプレート画像 507a として更新する。
【００１５】
さらに続いて、時刻 t0+3 に入力された入力画像 508 について、テンプレートマッチング処理部 509d では、時刻 t0+2 の場合と同様に、入力画像 508 におけるテンプレート画像 507a の位置に相当する領域（領域 508b）の周囲 508cを探索領域とし、探索領域 508c 中でテンプレート画像 506a と最も一致している領域 508a を検出する。この例では、侵入物体の移動方向は、矢印 508d になる。このようにして、入力画像 502 に写る侵入物体 502e は、矢印 502d、504d、506d、508d の順に移動したと判断できる。
【００１６】
前述の差分法とテンプレートマッチングを用いた侵入物体の追跡法では、差分法によって検出された検出物体の外接矩形がテンプレート画像の大きさとなる（幅 W、高さ H）。しかし、撮像装置の視野内に複数の侵入物体が存在し、かつ、それらが重なって写っている場合、実際の侵入物体の大きさよりも大きく観測されてしまう。このような現象が発生すると、テンプレート画像には侵入物体以外の画素も多く含まれるようになってしまうため、正確な侵入物体の追跡が困難になる。
【００１７】
また、差分法は、入力画像と予め用意した基準背景画像との画素毎の輝度差に基づいて侵入物体を検出する処理方法であるため、侵入物体の像を構成する画素の輝度値と、基準背景画像中の背景の像を構成する画素の輝度値が近い値の場合には、その画素は検出されなくなる。したがって、検出される物体 409 の一部が欠けてしまったり、一部が分離して検出され、検出物体の外接矩形は侵入物体に対して小さくなってしまう。このような現象が発生すると、侵入物体よりも小さいテンプレート画像を用いてテンプレートマッチング処理を行なわなければならなくなるため、正確な侵入物体の追跡が困難になる。
このような問題に対して、予め追跡すべき侵入物体の見かけ上の大きさを決めておく（テンプレート画像の大きさを固定にする）方法が取られる。しかし、この方法を用いると、大きさの異なる侵入物体に対しては、適切なテンプレート画像の大きさが設定できず、侵入物体の追跡が困難となる。
【００１８】
【発明が解決しようとする課題】
前述の従来技術には、撮像装置の視野内に複数の侵入物体が存在してそれらが重なって写っている場合、侵入物体の大きさが大きく観測されるという欠点があった。また、侵入物体の像を構成する画素の輝度値と、基準背景画像中の背景の像を構成する画素の輝度値が近い値の場合、侵入物体の大きさが小さく観測されるという欠点があった。さらにまた、予め追跡すべき侵入物体の見かけ上の大きさを決めておく方法を用いても、大きさの異なる侵入物体に対しては正確に追跡できない欠点があった。
本発明の目的は、上記のような欠点を除去し、複数の侵入物体が重なって写った場合や、侵入物体の像を構成する画素の輝度値と基準背景画像中の背景の像を構成する画素の輝度値が近い値の場合でも、適切なテンプレート画像の大きさを設定できるようにして、正確に侵入物体を追跡することができる信頼性の高い侵入物体追跡方法及び侵入物体監視装置を提供することにある。
【００１９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体追跡方法は、操作手段を用いて入力される操作信号に応じて移動する操作マーカを、撮像装置により撮像された入力画像に重畳してモニタに表示し、操作マーカの位置に基づいてテンプレート画像の大きさを設定し、入力画像と、操作マーカの位置と、テンプレート画像の大きさとに基づいて、初期のテンプレート画像を登録することで、侵入物体を追跡するようにしたものである。
【００２０】
即ち、本発明の侵入物体追跡方法は、テンプレート画像をもとにしたテンプレートマッチングによって、撮像視野内を撮像して取得した入力画像から撮像視野内の物体を検出し、検出した物体を追跡する侵入物体追跡方法において、入力画像を表示装置の表示画面上に表示し、表示画面上に操作マーカを重畳して表示し、操作者の指示に応じて操作マーカを移動し、操作マーカの位置に基づいて、入力画像の画像領域の一部をテンプレート画像に設定するものである。
【００２１】
また、本発明の侵入物体追跡方法で設定するテンプレート画像は、操作マーカの位置を１つの頂点とする多角形に相当する入力画像の画像領域の一部を切り取るものである。
更にまた、テンプレート画像の大きさまたは形状の少なくとも１つをテンプレート大きさ候補として記憶し、操作者が、入力画像の所望の位置に、選択したテンプレート大きさ候補の１つを指定することによって、入力画像の画像領域の一部をテンプレート画像に設定するものである。
また、設定されたテンプレート画像の大きさまたは形状を、テンプレート画像の大きさ候補として追加または更新するものである。
【００２２】
更に、本発明の侵入物体監視装置は、テンプレート画像をもとにテンプレートマッチングによって、撮像視野内の物体を検出し、検出した物体を追跡する場合、撮像装置が取得した映像信号を逐次入力画像に変換する画像入力インターフェイスと、ユーザからの指示を入力する操作手段と、入力画像を記憶する画像記憶手段と、入力画像を処理する画像処理手段と、入力画像に、処理マーカを重畳して表示する表示装置とを備え、画像処理手段によって、操作手段からの入力信号に基づいて表示装置の画像上に表示された操作マーカを移動し、画像処理手段が、操作手段の入力信号と操作マーカの位置座標に基づいてテンプレート画像の大きさを設定し、入力画像と、操作マーカの位置と、テンプレート画像の大きさとに基づいて、テンプレート画像を登録する初期テンプレート登録し、テンプレート画像をもとにテンプレートマッチングによって撮像視野内の物体を追跡するものである。
【００２３】
さらに、本発明の侵入物体追跡方法は、テンプレート画像の大きさ設定では、操作マーカによって指定される位置を頂点とする多角形を用いてテンプレート画像の大きさを設定するようにしたものである。
また、本発明の侵入物体追跡方法は、操作手段を用いて入力される操作信号に応じて移動する操作マーカを、撮像装置により撮像された入力画像に重畳してモニタに表示し、操作手段を用いて入力される操作信号に応じてテンプレート画像の大きさの候補を表示し、操作手段を用いて入力される操作信号に応じてテンプレート画像の大きさの候補からテンプレート画像の大きさを選択し、入力画像と、操作マーカの位置と、テンプレート画像の大きさとに基づいて、初期のテンプレート画像を登録することで、侵入物体を追跡するようにしたものである。
さらに、本発明の侵入物体追跡方法は、テンプレート画像の大きさ設定で設定されたテンプレート画像の大きさを新たにテンプレート画像の大きさの候補として登録し、後のテンプレート画像の大きさ選択で使用することが出来るようにしたものである。
【００２４】
即ち、本発明の侵入物体監視装置は、カメラ等の撮像手段と、カメラ等の撮像手段が撮像した画像を入力する画像入力 I/F と、画像入力 I/F から出力された画像を記憶する画像メモリと、撮像手段の視野内の侵入物体を検出し、操作者の操作信号に応じてテンプレート画像の大きさを設定し、テンプレート画像の大きさに基づいて侵入物体を追跡する処理を行なう侵入物体監視装置の動作プログラムを記憶しているプログラムメモリと、動作プログラムにしたがって侵入物体の検出、テンプレート画像の大きさ設定、侵入物体の追跡処理を行なう CPU と、画像メモリに記憶された画像の解析を行なう際に一時的にデータを記憶するワークメモリと、操作者の音声、身振りや手振り、視線方向などの少なくとも１つ以上の動作によって操作可能な操作手段と、操作手段の操作信号を入力する入力 I/F と、操作手段の操作信号に対応して画像上を移動する所定の操作マーカを入力画像に重畳して出力する画像出力 I/F とを有し、プログラムメモリに保持されているプログラムが、前記撮像手段から画像入力 I/F を介して入力された入力画像と、画像メモリに予め記録しておいた基準背景画像とから、差分法を用いて侵入物体を検出する手段と、操作手段からの操作信号と、操作マーカの位置座標に基づいてテンプレート画像の大きさを設定する手段と、入力画像と、テンプレート画像の大きさに基づいてテンプレートマッチングを用いて侵入物体を追跡するようにしたものである。
【００２５】
【発明の実施の形態】
本発明の侵入物体監視装置に係る実施形態の一つを図３に示す。図３は、侵入物体監視装置のハードウエア構成を示すブロック構成図である。301 は撮像装置（以下、カメラと呼ぶ）、302 は電動旋回台（以下カメラ雲台と呼ぶ）、303 は操作手段、303a は操作手段 303 に付属する第１のボタン、303b は操作手段 303 に付属する第２のボタン、304 は侵入物体監視装置、304a は画像入力 I/F（ I/F：Interface ）、304b は雲台制御 I/F 、304c は入力 I/F 、304d は画像メモリ、304e は画像出力 I/F 、304f は出力 I/F 、304g は CPU（ CPU：Central Processing Unit ）、304h はプログラムメモリ、304i はワークメモリ、304j はデータバス、305 は出力モニタ、306 は警告灯である。
【００２６】
カメラ 301 は画像入力 I/F 304a に接続され、カメラ雲台 302 は雲台制御 I/F 304b に接続され、操作手段 303 は入力 I/F 304c に接続され、出力モニタ 305 は画像出力 I/F 304e に接続され、警告灯 306 は出力 I/F 304f に接続されている。また、画像入力 I/F 304a、雲台制御 I/F 304b、入力 I/F 304c、画像メモリ 304d、画像出力 I/F 304e、出力 I/F 304f、CPU 304g、プログラムメモリ 304h、及びワークメモリ 304i は、データバス 304j に接続されている。
【００２７】
図３において、カメラ 301 は、対象とする撮像視野内を撮像する。カメラ 301 は、撮像した映像を電気的な映像信号（例えば NTSC 映像信号）に変換して、映像信号を画像入力 I/F 304a に出力する。画像入力 I/F 304a は、入力した映像信号を侵入物体監視装置で扱うフォーマット（例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix ）の画像データに変換し、データバス 304i を介して画像メモリ 304d に送る。画像メモリ 304d は、送られてきた画像データを蓄積する。操作手段 303 は、操作者の操作方向及びボタン 303a、303b の状態を電気的な信号（例えば接点信号）に変換し、信号を入力 I/F 304c に出力する。CPU 304gは、プログラムメモリ 304h に保存されているプログラムに従って、ワークメモリ 304i 内で入力 I/F 304c に入力された信号と画像メモリ 304d に蓄積された画像の解析を行なう。
【００２８】
以上の解析結果、カメラ 301 の視野内に写る侵入物体を検出及び追跡する。
CPU 304g は、画像メモリ 304d に蓄積された入力画像上にワークメモリ 304iに記憶されている操作ポインタ位置に基づいて操作ポインタを描画（重畳）し、画像出力 I/F 304e を介して出力モニタ 305 にカメラ映像を表示する。
画像出力 I/F 304e は、 CPU 304g からの信号を出力モニタ 305 が使用できるフォーマット（例えば、NTSC 映像信号）に変換して、表示モニタ 305 に送る。表示モニタ 305 は、例えば、カメラ映像を表示する。
さらに、 CPU 304g は、プログラムメモリ 304h に保存されているプログラムに従って、例えば、侵入物体を検出した場合は、出力 I/F 304f を介して警告灯 306 を点灯させる。出力 I/F 304f は、 CPU 304g からの信号を警告灯 306 が使用できるフォーマット（例えば、接点信号）に変換して、警告灯 306 に送る。警告灯 306 は、例えば点灯する。
【００２９】
以下に説明する実施例は、上記侵入物体監視装置のハードウエア構成の一例である図３を用いて実行される。また、各実施例では、使用する画像を幅 320 pix、高さ 240 pix 、8 bit/pix として説明する。もちろん、これ以外の画素数の画像を用いても同じ動作をすることは言うまでもない。
【００３０】
本発明の第１の実施例を図２によって説明する。図２は、本発明の第１の実施例の処理動作の一例を表すフローチャートである。
この第１の実施例は、差分法によって侵入物体が検出された場合に、操作者（監視員）が、操作手段を操作してテンプレート画像の大きさを設定できるようにしたものである。
【００３１】
画像入力ステップ 101 から物体存在判定ステップ 104 までの処理動作を、従来技術で用いた図４の差分法の説明図によって説明する。
画像入力ステップ 101 では、カメラ 301 から、例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix の入力画像 401 を取得する。
差分処理ステップ 102 では、画像入力ステップ 101 で得られた入力画像 401と、予め画像メモリ 304d に記録しておいた基準背景画像 402 との画素毎の差分を計算し、差分画像 403 を得る。
次に、二値化処理ステップ 103 では、差分処理ステップ 103 で得られた差分画像 403 の各画素についてしきい値処理を行ない、画素値がしきい値（例えば、20 ）未満の場合は画素値を“ 0 ”、しきい値以上の場合は画素値を“ 255 ”となるようにして二値化画像 404 を得る。
次に、物体存在判定ステップ 104 では、二値化処理ステップ 103 で得られた二値化画像 404 中に“ 255 ”のかたまり（人型の物体の二値化画像） 409 が存在するか否かを判定し、存在した場合には操作開始判定ステップ 105 へ、存在しなかった場合は画像入力ステップ 101 へ分岐する。
【００３２】
操作開始判定ステップ 105 では、入力 I/F 304c を介して得られる操作手段 303 からの操作信号を判定し、テンプレート画像の大きさ設定を開始する操作信号（例えば、操作手段 303 に付属する操作ボタン 303a を押したという操作信号）の場合には操作マーカ表示ステップ 106 へ分岐し、テンプレート画像の大きさ設定を開始する操作信号でない場合はテンプレート画像登録ステップ 111 へ分岐する。
操作マーカ表示ステップ 106 では、入力画像（例えば、図４の入力画像 401 ）上に操作手段 303 の操作によって移動する操作マーカ（例えば、矢印マーク等、移動場所が特定できるマークであれば何でもよい）を描画（画像に重畳）する。
次にテンプレート大きさ設定ステップ 108 では、操作マーカの位置と、例えば、操作手段 303 に付属する操作ボタン 303b を押したという操作信号に基づいて、操作ボタン 303b を押した瞬間の操作マーカの位置を設定点として、ワークメモリ 304i に記録する。
設定終了判定ステップ 109 では、例えば、操作手段 303 に付属する操作ボタン 303a が押されたことによってテンプレート画像の大きさ設定処理が終了したと判断し、操作ボタン 303a が押されていなければテンプレート画像の大きさ設定処理が終了していないと判断する。
設定が終了した場合はテンプレート画像登録ステップ 111 へ分岐し、終了していない場合は操作マーカ表示ステップ 106 へ分岐する。
従って、操作者（監視者）は、表示された入力画像を見ながら、追跡したい物体を示す画像領域を操作マーカで指定することによってテンプレート画像を設定することができる。
【００３３】
テンプレート画像登録ステップ 111 では、入力画像（例えば、図４の入力画像 401 ）から、テンプレート大きさ設定ステップ 108 においてワークメモリ 304i に記録された設定点を頂点とする多角形に相当する領域を切り出し、これを初期のテンプレート画像（例えば、図４の初期のテンプレート画像 413 ）として画像メモリ 304d に登録する。ここで、操作開始判定ステップ 105 で操作手段 303 の操作がないと判定された場合は、二値化画像（例えば、図４のニ値化画像 404 ）中に検出された物体（例えば、図４の物体 409 ）の外接矩形（例えば、図４の外接矩形 410 ）の大きさをテンプレート画像の大きさとして、その位置に相当する入力画像（例えば、図４の入力画像 401 ）を切り出して、これを初期のテンプレート画像（例えば、図４の初期のテンプレート画像 413 ）として画像メモリ 304d に登録する。
【００３４】
次に、画像入力ステップ 112 から警報・モニタ表示ステップ 116 までの処理動作を、従来技術で用いた図５のテンプレートマッチング法による物体追跡処理プロセスの説明図によって説明する。
画像入力ステップ 112 では、画像入力ステップ 101 と同様に、カメラ 301 から、例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix の入力画像 502 を取得する。次に、テンプレートマッチングステップ 113 では、テンプレートマッチング処理部 509a から 509d と同様の処理を行ない、探索領域 502c 中でテンプレート画像 501a と最も一致度が高くなる領域 502a を検出（マッチング）して、侵入物体の移動位置を検出する。
【００３５】
次に最大一致度判定ステップ 114 では、テンプレートマッチング 113 で得られた一致度が所定の値（例えば、一致度として正規化相関を用いた場合 0.5）以上であった場合は、マッチングが正常に完了したものとしてテンプレート更新ステップ 115 へ分岐し、所定の値未満であった場合はマッチングが正常に完了しなかった（侵入物体を見失った）として画像入力ステップ 101 へ分岐する。
さらにテンプレート更新ステップ 115 では、テンプレート画像更新部 510a と同様の処理を行ない、入力画像 502 の中でマッチングした領域 502a に相当する領域を切り出し、これを新たなテンプレート画像 503a として、テンプレート画像を更新する。
警報・モニタ表示ステップ 116 では、例えば、監視モニタ 305 に対象物体の画像を表示したり、警告灯 306 を点灯させたりして、侵入物体が存在することを表す報知を行なう。そして、画像入力ステップ 112 に戻り、監視を続行する。
以上のステップによって、カメラ 301 の視野内に写る侵入物体を自動的に検出し、侵入物体の見かけの大きさに応じて必要であれば監視員が操作手段 303 を操作してテンプレート画像の大きさを設定し、侵入物体を追跡させることができる。
【００３６】
上記の本発明の第１の実施例では、テンプレート大きさ設定ステップ 108 で設定された設定点を頂点とする多角形の領域をテンプレート画像としているが、設定点を２つとし、これを対角とする矩形の領域をテンプレート画像としても良い。この例を図６と図７を用いて説明する。
図６は、設定点を２つとし、これを対角とする矩形領域をテンプレート画像とする例である。601 は入力画像、602 は操作マーカ、603 は入力画像 601 に写る人型の物体、601aと601b は設定点、604 はテンプレート画像とする領域である。
この例では、操作手段 303 を操作し、設定点 601a 及び設定点 601b を指定したものであり、テンプレート画像登録ステップ 111 では、この２つの設定点 601a、601b に基づいて矩形領域 604 を算出し、これをテンプレート画像の領域とする。
【００３７】
次に、図７は、設定点を 12 とし、これを頂点とする多角形領域をテンプレート画像とする例である。701 は入力画像、702 は操作マーカ、703 は入力画像 701 に写る人型の物体、701a から 701l は設定点、704 はテンプレート画像とする領域である。
この例では、操作手段 303 を操作し、設定点 701a から設定点 701l を指定したものであり、テンプレート画像登録ステップ 111 では、この設定点 701a から 701l に基づいて多角形領域 704 を算出し、これをテンプレート画像の領域とする。
【００３８】
図６と図７の例では、テンプレート画像の領域を矩形、12 角形としているが、これ以外の多角形でも良いし、円（中心点と円周の１点を設定点とする）、楕円（２つの焦点と円周上の１点を設定点とする）等の任意の形状のでも良いことは言うまでもない。
【００３９】
本発明の第２の実施例を図１によって説明する。図１は、本発明の第２の実施例の処理動作の一例を示すフローチャートである。この第２の実施例は、差分法によって侵入物体が検出された場合に、操作者（監視員）が操作手段を操作してこれまでに設定したテンプレート画像の大きさの中からテンプレート画像の大きさを選択できるようにしたものである。
図１は、図２で示されるフローチャートの操作マーカ表示ステップ 106 とテンプレート大きさ設定ステップ 108 の間に、テンプレート大きさ候補表示ステップ 107 を挿入し、かつ、設定終了判定ステップ 109 とテンプレート画像登録ステップ 111 の間に、大きさ候補登録ステップ 111 を挿入したものである。
したがって、ここでは、大きさ候補表示ステップ 107 と大きさ候補登録ステップ 111 以外の処理動作は、図２と同様なので説明を省略する。
【００４０】
大きさ候補表示ステップ 107 は、ワークメモリ 304i に記憶されているこれまでに登録したテンプレート画像の大きさ候補を表示する。表示例としては、例えば、図８に示すように、操作マーカ 802 を中心として、これまでに登録したテンプレート画像の大きさ候補 803a、803b、803c、803d のいずれか１つを表示する。
表示されるテンプレート画像の大きさ候補は、例えば、操作手段 303b を押しながら操作手段を操作することによって切り替えられ、切替え操作をする度に、大きさ候補 803a から大きさ候補 803b 、大きさ候補 803b から大きさ候補 803c 、大きさ候補 803c から大きさ候補 803d 、大きさ候補 803d から大きさ候補 803a と切り替わる（この例では登録数の最大が 4 ）。
操作者（監視者）は、侵入者の見かけの大きさに適合するテンプレート画像の大きさ候補を選択し、これをテンプレート画像の大きさとすることができる。
なお、図８で示されるようなテンプレート画像の大きさ候補の切替えを行なわない場合（操作手段 303b を押しながら操作手段を操作しない）、第１の実施例で説明したように、矩形、多角形、円、楕円等のテンプレート画像の大きさ設定を行なうことができる。
【００４１】
大きさ候補登録ステップ 110 では、操作マーカ表示ステップ 106 から 設定終了判定ステップ 109 の処理によってテンプレート画像の大きさを新たに設定した場合（テンプレート画像の大きさ候補の中からテンプレート画像の大きさを選択しなかった場合）、新たなテンプレート画像の大きさ候補としてワークメモリ 304i に記録する。この時、テンプレート画像の大きさ候補が所定数（例えば、10 ）になった場合、最も古い大きさ候補をワークメモリ 304i から削除するようにしても良い。また、操作者の指定に応じて、登録されていたテンプレート画像の大きさ候補と新たなテンプレート画像の大きさ候補とを置換え（更新）しても良い。
以上の処理ステップによって、カメラ 301 の視野内に写る侵入物体を自動的に検出し、侵入物体の見かけの大きさに応じて必要であれば監視員が操作手段 303 を操作してテンプレート画像の大きさ候補の中から適切なテンプレート画像の大きさを選択し、侵入物体を追跡させることができる。
【００４２】
【発明の効果】
したがって、本発明によれば、複数の侵入物体が重なって写った場合や、侵入物体の像を構成する画素の輝度値と基準背景画像中の背景の像を構成する画素の輝度値が近い場合でも、適切なテンプレート画像の大きさを設定できるようにし、さらに、これまでに設定したテンプレート画像の大きさの中から適切なテンプレート画像の大きさを選択できるようにすることで、侵入物体の追跡性能をさらに一層向上することができ、侵入物体監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の処理動作の一例を説明するためのフローチャート。
【図２】 本発明の一実施例の処理動作の一例を説明するためのフローチャート。
【図３】 本発明の実施例の構成の一例を示すブロック図。
【図４】 従来の差分法による物体検出処理プロセスを説明するための図。
【図５】 従来の物体追跡処理プロセスを説明するための図。
【図６】 本発明の矩形によるテンプレート画像大きさ設定の概要を説明するための図。
【図７】 本発明の多角形によるテンプレート画像大きさ設定の概要を説明するための図。
【図８】 本発明のテンプレート画像大きさ候補選択の概要を説明するための図。
【符号の説明】
101：画像入力ステップ、 102：差分処理ステップ、 103：二値化処理ステップ、 104：物体存在判定ステップ、 105：操作開始判定ステップ、 106：操作マーカ表示ステップ、 107：大きさ候補表示ステップ、 108：テンプレート大きさ設定ステップ、 109：設定終了判定ステップ、 110：大きさ候補登録ステップ、 111：テンプレート画像登録テップ、 112：画像入力ステップ、 113：テンプレートマッチングステップ、 114：最大一致度判定ステップ、 115：テンプレート更新ステップ、 116：警報・モニタ表示ステップ、 301：カメラ、 302：カメラ雲台、 303：操作手段、 303a：操作ボタン、 303b：操作ボタン、 304a：画像入力 I/F、 304b：雲台制御 I/F、 304c：入力 I/F、 304d：画像メモリ、 304e：画像出力 I/F、 304f：出力 I/F、 304g：CPU、 304h：プログラムメモリ、 304i：ワークメモリ、 304j：データバス、 305：出力モニタ、 306：警告灯、 401：入力画像、 402：基準背景画像、 403：差分画像、 404：二値化画像、 405：差分処理部、 406：二値化処理部、 407：人型の物体、 408：差分画像、 409：人型の二値化画像、 410：、 411：抽出処理部、 412：抽出画像、 413：テンプレート画像、 509a：テンプレートマッチング処理部、 509b：テンプレートマッチング処理部、 509c：テンプレートマッチング処理部、 509d：テンプレートマッチング処理部、 510a：テンプレート画像更新処理部、 510b：テンプレート画像更新処理部、 510c：テンプレート画像更新処理部、 510d：テンプレート画像更新処理部、 601：入力画像、 602：操作マーカ、 604：設定したテンプレート画像の大きさ、 701：入力画像、 702：操作マーカ、 704：設定したテンプレート画像の大きさ、 801：入力画像、 802：操作マーカ、 803：設定したテンプレート画像の大きさ。

Claims (4)

1. テンプレート画像をもとにしたテンプレートマッチングによって、撮像視野内を撮像して取得した入力画像から該撮像視野内の物体を検出し、該検出した物体を追跡する侵入物体追跡方法において、
   前記入力画像を表示装置の表示画面上に表示し、
   該表示画面上に操作マーカを重畳して表示し、
   操作者の指示に応じて該操作マーカを移動し、
   該操作マーカの位置に基づいて、前記入力画像の画像領域の一部を前記テンプレート画像に設定し、更に、
   前記テンプレート画像の大きさまたは形状の少なくとも１つをテンプレート大きさ候補として記憶し、
   操作者が、前記入力画像の所望の位置に、前記選択したテンプレート大きさ候補の１つを指定することによって、前記入力画像の画像領域の一部をテンプレート画像に設定することを特徴とする侵入物体追跡方法。
2. 請求項１記載の侵入物体追跡方法において、
   前記テンプレート画像は、前記操作マーカの位置を１つの頂点とする多角形に相当する前記入力画像の画像領域の一部を切り取ることを特徴とする侵入物体追跡方法。
3. 請求項１記載の侵入物体追跡方法において、
   前記設定された前記テンプレート画像の大きさまたは形状を、前記テンプレート画像の大きさ候補として追加または更新することを特徴とする侵入物体追跡方法。
4. テンプレート画像をもとにテンプレートマッチングによって、撮像装置によって撮像した撮像視野内の物体を検出し追跡する侵入物体追跡装置において、
   前記撮像装置が撮像した映像信号を逐次入力画像に変換する画像入力インターフェイスと、ユーザからの指示を入力する操作手段と、前記入力画像を記憶する画像記憶手段と、前記入力画像を処理する画像処理手段と、前記入力画像に、操作マーカを重畳して表示する表示装置とを備え、
   前記画像処理手段によって、前記操作手段からの入力信号に基づいて前記表示装置の画像上に表示される前記操作マーカを移動し、
   前記画像処理手段が、前記操作手段の入力信号と前記操作マーカの位置座標に基づいて前記テンプレート画像の大きさを設定し、
   前記操作マーカの位置と、前記テンプレート画像の大きさとに基づいて、前記入力画像の画像領域の一部を初期のテンプレート画像として登録し、
   これまでに登録されたテンプレート画像の大きさまたは形状の少なくとも一方を備えるテンプレート大きさ候補を、前記表示装置の画像上の前記操作マーカを中心とする位置に、切り替え可能に表示し、
   操作者が、前記選択したテンプレート大きさ候補の１つを指定することによって、当該位置における前記入力画像の画像領域の一部をテンプレート画像に設定することを特徴とする侵入物体監視装置。

Images