JP3857558B2 - 物体追跡方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像装置の撮像視野内に侵入した物体をテンプレート画像を基に検出して追跡する侵入物体追跡方法及び侵入物体監視装置に関する。
【０００２】
【従来の技術】
テレビジョンカメラ（以下、単に「カメラ」と称する）等の撮像装置を用いた映像監視装置は、従来から広く用いられている。このような映像監視装置を監視システムとして使用する場合、監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なうのが一般的であった。しかし、最近に至り、そのような有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出することによってその動きを自動的に追跡するようにし、所定の報知や警報処置を行なうシステムが出現している。
【０００３】
このような監視システムでは、まず、差分法などによって視野内の侵入物体が検出される。差分法では、カメラ等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とが比較され、比較によって画素毎に輝度値の差分が求められ、その差分値の大きい領域が物体として検出される。検出された侵入物体の画像はテンプレートとして登録され、逐次入力される画像の中でテンプレート画像との一致度が最大となる位置が検出され、追跡が行なわれる。
【０００４】
テンプレート画像との一致度を求めるテンプレートマッチングを用いた検出方法が、例えば、１９８５年３月総研出版発行 田村秀行監修 「コンピュータ画像処理入門」第１４９頁〜第１５３頁に記載されている。通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。このようなテンプレートマッチングによる処理方法は、本発明にも関係するので、以下に図１０及び図１１を用いて詳しく説明する。
【０００５】
図１０は、差分法によって撮像装置の視野内に侵入した物体を検出し、検出した物体をテンプレートマッチングで使用できるように初期のテンプレート画像として登録する処理の流れを説明するための図である。図１０で、S01 は入力画像、S02 は基準背景画像、S03 は入力画像と基準背景画像の差分画像、S04 は差分画像の二値化画像、S102 は差分処理ステップ、S103 は二値化処理テップ、S07 は入力画像 S01 中に写る人型の物体、S08 は人型の物体 S07 に相当する差分画像 S03 中の人型の差分画像、S09 は人型の差分画像 S08 に相当する二値化画像 S04 中の人型の物体（人型の二値化画像）を表す。
【０００６】
図１０において、先ず、カメラから例えば３２０×２４０画素の入力画像 S01を入力する。次に、差分処理ステップ S102 において、入力画像 S01 と、予め作成した基準背景画像 S02 との画素毎の画素値の差分を計算し、差分画像 S03 を取得する。このとき、入力画像 S01 中の人型の物体 S07 は差分画像 S03 中に、人型の差分画像 S08 として現れる。そして、二値化処理テップ S103 において、１画素を８ビットとして取り扱う場合、差分画像 S03 の各画素に対して差分値が所定の閾値未満の画素の値を“０”、閾値以上の画素の値を“２５５”に置き換えて、二値化画像 S04 を得る。このとき、入力画像 S01 に撮像された人型の物体 S07 は、二値化画像 S04 中の人型の物体 S09 として検出される。以上が差分法による物体検出処理の概略である。
【０００７】
更に、図１０で、S10 は検出された人型の物体 S09 の外接矩形、S105 は入力画像 S01 から指定された領域を抽出する抽出処理テップ、S12 は抽出画像、S13はテンプレート画像を表す。図１０において、二値化画像 S04 中の差分法によって検出された人型の物体 S09 の外接矩形 S10 が検出される。次に、抽出処理テップ S105 において、入力画像 S01 から外接矩形 S10 で表される領域を抽出する。抽出された画像は、抽出画像 S12 中のテンプレート画像 S13 として登録される。以上が初期のテンプレート画像登録処理の概略である。
【０００８】
図１１は、テンプレートマッチングによって侵入物体を追跡する処理の流れを説明するための図である。図１１において、T01，T03，T05，T07 は時刻 t0-1，t0，t0+1，t0+2 における抽出画像、T01a，T03a，T05a，T07a は時刻 t0-1，t0，t0+1，t0+2 で得られたテンプレート画像、T02，T04，T06，T08 は時刻 t0，t0+1，t0+2，t0+3 における入力画像、S107a，S107b，S107c，S107d はマッチング処理ステップ、S118a，S118b，S118c はテンプレート画像更新ステップを表す。マッチング処理ステップ S107a，S107b，S107c，S107d は、抽出画像中のテンプレート画像と入力画像を比較し、入力画像中でテンプレート画像と最も一致度が高くなる部分を検出する（テンプレートマッチング処理）。テンプレート画像更新ステップ S118a，S118b，S118c は、マッチング処理ステップ S107a，S107b，S107c，S107d で検出された最も一致度が高い部分を新たな侵入物体の位置とし、その画像を用いて抽出画像及びテンプレート画像を置き換えることでテンプレート画像の更新を行なう。
【０００９】
続いて、テンプレートマッチング、テンプレート画像更新を図１１を用いて時刻 t0-1，t0，t0+1，t0+2，t0+3 と順を追って説明する。先ず、時刻 t0-1 において得られたテンプレート画像 T01a と時刻 t0 に得られた入力画像 T02 を使ってテンプレートマッチング処理を行なう。ここで、追跡処理の最初の処理フレームでは、テンプレート画像 T01a は差分法によって検出された人型の物体 S07を含む画像となる。テンプレートマッチング処理ステップ S107a では、入力画像 T02 におけるテンプレート画像 T01a の位置に相当する領域（領域 T02b）の周囲 T02c を探索領域とし、探索領域 T02c 中でテンプレート画像 T01a と最も一致している（最も一致度が高い）領域 T02a を検出（マッチング）する。
【００１０】
ここで、探索領域 T02c は、領域 T02b を基準として、横方向 ±Sx 画素、縦方向 ±Sy 画素として設定される（例えば、Sx=30、Sy=10 とする。Sx、Sy は、追跡すべき対象の入力画像 T02 上での見かけの最大移動量に設定する）。また、一致度として、例えば式１で表される正規化相関 r(x,y,u,v) を用いることができる。
【００１１】
【数１】

【００１２】
式(１) において、f() は入力画像、g() はテンプレート画像を表し、(x,y) は入力画像の探索領域 T02c 内の座標（マッチング対象領域と呼ぶ）、(u,v) はテンプレート画像 T01a の左上の座標（テンプレート画像登録時の座標）を表す。ただし、画像は全て左上を原点 (0,0) とする。また、W はテンプレート画像の幅、H はテンプレート画像の高さを表す。また、式１において、
【００１３】
【数２】

【００１４】
は、それぞれ、入力画像内のマッチング対象領域、テンプレート画像の平均輝度値を表し、式(２)、式(３) で表される。
【００１５】
【数３】

【００１６】
【数４】

【００１７】
正規化相関 r(x,y,u,v) は、入力画像 f() の位置 (x,y) を左上の座標とする幅 W と高さ H の領域の輝度値分布と、テンプレート画像 g() の位置 (u,v) を左上の座標とする幅 W と高さ H の領域の輝度値分布との一致度を表すもので、入力画像 f() とテンプレート画像 g() の各画素の輝度値が全て同じ値であった場合、1.0 となる。テンプレートマッチングは、入力画像 f() 中でテンプレート画像 g() と最も一致度が高くなる部分を検出する処理である。即ち、テンプレート画像 g() の位置 (u,v) を基準として (x,y) を u-Sx≦x＜u+Sx、v-Sy≦y＜v+Sy と変化させ、式(１) で表される正規化相関 r(x,y,u,v) が最大となる (x,y) を見つける。図１１の例では、侵入物体は入力画像 T02 中で位置 T02e に写っているため、最も一致している領域は T02a（左上の座標 (x,y)）となる。
【００１８】
なお、正規化相関の他にも入力画像 f() の位置 (x,y) を左上の座標とする幅 W と高さ H の領域とテンプレート画像 g() の位置 (u,v) を左上の座標とする幅 W と高さ H の領域の各画素の輝度値の差の絶対値の平均値を一致度として用いても良い。この場合、入力画像 f() とテンプレート画像 g() の各画素の輝度値が全て同じ値であった場合 0.0 となり、入力画像 f() とテンプレート画像 g() の各画素の輝度値が差が大きくなるほど高い値を取る。テンプレートマッチング処理ステップ S107a の処理結果によれば、領域 T02b（左上の座標 (u,v)）に存在していた侵入物体は、領域 T02a（左上の座標 (x,y)）に移動したと判定される。従って、領域 T02b の中心と領域 T02a の中心を結ぶ矢印 T02d が侵入物体の移動方向となる。
【００１９】
続いて、テンプレート画像更新ステップ S118a では、入力画像 T02 のマッチングした領域 T02a を抽出して抽出画像 T03 を得、テンプレート画像 T01a を新たなテンプレート画像 T03a として更新する。
【００２０】
次に、時刻 t0+1 に入力された入力画像 T04 について、テンプレートマッチング処理ステップ S107b では、時刻 t0 の場合と同様に、入力画像 T04 におけるテンプレート画像 T03a の位置に相当する領域（領域 T04b）の周囲 T04c を探索領域とし、探索領域 T04c 中でテンプレート画像 T03a と最も一致している領域 T04a を検出する。この例では、侵入物体の移動方向は、矢印 T04d になる。
【００２１】
更に、テンプレート画像更新処理部 S118b では、入力画像 T04 のマッチングした領域 T04a を抽出して抽出画像 T05 を得、テンプレート画像 T03a を新たなテンプレート画像 T05a として更新する。
【００２２】
続く、時刻 t0+2 に入力された入力画像 T06 について、テンプレートマッチング処理ステップ S107c では、時刻 t0+1 の場合と同様に、入力画像 T06 におけるテンプレート画像 T05a の位置に相当する領域（領域 T06b）の周囲 T06c を探索領域とし、探索領域 T06c 中でテンプレート画像 T04a と最も一致している領域 T06a を検出する。この例では、侵入物体の移動方向は、矢印 T06d になる。
【００２３】
更に、テンプレート画像更新処理部 S118c では、入力画像 T06 のマッチングした領域 T06a を抽出して抽出画像 T07 を得、テンプレート画像 T05a を新たなテンプレート画像 T07a として更新する。
【００２４】
更に続いて、時刻 t0+3 に入力された入力画像 T08 について、テンプレートマッチング処理ステップ S107d では、時刻 t0+2 の場合と同様に、入力画像 T08 におけるテンプレート画像 T07a の位置に相当する領域（領域 T08b）の周囲 T08c を探索領域とし、探索領域 T08c 中でテンプレート画像 T06a と最も一致している領域 T08a を検出する。この例では、侵入物体の移動方向は、矢印 T08d になる。このようにして、入力画像 T02 に写る侵入物体 T02e は、矢印 T02d、T04d、T06d、T08d の順に移動したと判断できる。
【００２５】
【発明が解決しようとする課題】
前述の差分法とテンプレートマッチングを用いた侵入物体の追跡法では、差分法によって検出された検出物体の外接矩形がテンプレート画像の形状となる。しかし、追跡の対象となる侵入物体は複雑な形状をしており、さらに時時刻々その形状を変化させるため、テンプレート画像の中には侵入物体以外の画素も多く含まれてしまう。そのため、テンプレートマッチングを繰り返す毎に、追跡の対象となる侵入物体とテンプレート画像の位置がずれてしまい、最終的には侵入物体を追跡できなくなってしまう場合がある。
【００２６】
このような現象が生ずると、差分法による物体検出を再度行ない、新たにテンプレート画像を作成する必要がある。従来の侵入物体追跡方法は、侵入物体を検出するために基準背景画像が必要であるため、撮像装置の視野を変えながら監視を行なう装置に応用した場合、視野を変える度に基準背景画像を作成しなければならない。この場合、所定の場所を初期位置とし、侵入物体を追跡できなかった場合は初期位置に戻るという方式も考えられるが、追跡中の侵入物体を継続して追跡することが不可能になる。
【００２７】
また、従来の侵入物体追跡法では、撮像装置の監視視野内に複数の侵入物体が存在する場合には、検出される物体の見かけの大きさ、見かけの速度、所定領域内に存在するか否か等の条件により、追跡すべき侵入物体を選択するということが行なわれる。しかし、追跡すべき侵入物体を見かけの大きさで選択する場合、複数の侵入物体が入力画像中に重なって写っていると見かけの大きさが大きくなってしまったり、侵入物体の一部が欠けて検出されて見かけの大きさが小さくなってしまったり、複数に分裂して検出されて本来一つの侵入物体が複数の物体として検出されてしまったりして、追跡すべき侵入物体を正確に選択できなくなるという問題がある。また、追跡すべき侵入物体を見かけの速度で選択する場合、侵入物体の見かけの速度は侵入物体と撮像装置との距離によって異なるため、見かけの速度を精度良く計測することが不可欠となる。この場合、撮像装置から侵入物体までの距離計測手段が必要になるという問題がある。さらに、追跡すべき侵入物体を所定領域内に存在するか否かの条件で選択する場合、所定領域内に複数の侵入物体が存在した場合に、上記と同様の問題が生ずる。
【００２８】
本発明の第１の目的は、前記課題を解決し、侵入物体の追尾を継続して行なえる操作性の高い侵入物体追跡方法及び侵入物体監視装置を提供することにある。
【００２９】
本発明の第２の目的は、前記課題を解決し、撮像装置視野内に複数の侵入物体が存在する場合でも適切な侵入物体を選択して追跡できる操作性の高い侵入物体追跡方法及び侵入物体監視装置を提供することにある。
【００３０】
【課題を解決するための手段】
上記の第１の目的を達成するために、本発明の侵入物体追跡方法は、テンプレート画像を登録し、該テンプレート画像を基にテンプレートマッチングによって撮像視野内の侵入物体を検出し、該検出した侵入物体を追跡する方法において、操作装置を用いて入力される操作信号に応じて移動する操作マーカを撮像装置により撮像された入力画像に重畳してモニタに表示し、該操作マーカを使って画面中に位置が指定された場合に、該指定された位置を基準位置とし、該基準位置に基づいて前記テンプレート画像とする領域を算出し、前記入力画像の該領域を新たなテンプレート画像として再登録することにより、侵入物体を追跡することを特徴とする。
【００３１】
なお、テンプレート画像とする該領域は、前記検出した侵入物体が人間であった場合に、前記基準位置に該侵入物体の頭部があるものとして算出される。
【００３２】
また、テンプレート画像とする該領域は、前記検出した侵入物体が車両あった場合に、前記基準位置に該侵入物体のフロントガラス部があるものとして算出される。
【００３３】
また、テンプレート画像とする該領域は、前記検出した侵入物体が人間、車両のいずれでもない場合に、前記基準位置に該侵入物体の中心部があるものとして算出される。
【００３４】
更に、前記検出した侵入物体の見かけの大きさに基づいて前記基準位置が該侵入物体のどの部位を指すのかが判定される。
【００３５】
また、前記検出した侵入物体の見かけの移動量に基づいて前記基準位置が該侵入物体のどの部位を指すのかが判定される。
【００３６】
また、前記侵入物体の追跡が停止したか否かを判定し、該侵入物体の追跡が停止したと判定された場合に、監視員に対して追跡停止警告が出力される。
【００３７】
上記の侵入物体追跡方法を実行するための本発明の侵入物体監視装置は、カメラ等の撮像装置が撮像した映像を逐次入力画像に変換する画像入力インタフェース （以下インタフェースを「I/F」と略称する）と、画像入力 I/F から出力された入力画像を記憶する画像メモリと、該撮像装置からの入力画像に基づくテンプレート画像の生成及び侵入物体の追跡に関わる画像処理を実行するための動作プログラムを記憶しているプログラムメモリと、該動作プログラムによって該画像処理を実行する画像処理手段と、該画像処理手段が画像処理を実行する際に一時的にデータを記憶するワークメモリと、操作マーカを上記入力画像に重畳し、該操作マーカ及び該入力画像を含む処理画像を画像表示装置の画面に表示するための画像信号を出力する画像出力 I/F と、画面中の該操作マーカを移動させ、該操作マーカを使って画面中に位置を指定する操作を行なうための操作器の操作信号を入力する操作入力 I/F とを有し、上記画像処理手段は、上記撮像装置から上記画像入力 I/F を介して入力された第１の入力画像と上記画像メモリに予め記録しておいた基準背景画像とから、差分法を用いて侵入物体を検出する手段と、該検出した侵入物体と該第１の入力画像に基づいてテンプレート画像を生成して該画像メモリに登録する手段と、該テンプレート画像と該撮像装置からの該第１の入力画像に続く第２の入力画像に基づいてテンプレートマッチングにより侵入物体を検出して追跡する手段と、上記操作マーカの操作によって上記操作器から位置を指定する操作信号が操作入力 I/F から出力された場合に、該位置を基準位置として算出される該第２の入力画像中のテンプレート画像となる領域を、侵入物体を追跡するための新たなテンプレート画像として該画像メモリに再登録する手段とを有していることを特徴とする。
【００３８】
上記の第２の目的を達成するために、本発明の侵入物体追跡方法は、差分法によって撮像装置の視野内に存在する侵入物体を検出し、検出した該侵入物体の中から、画像表示装置の画面上を移動する操作マーカを使った位置指定によって特定の侵入物体を選択し、選択した侵入物体と前記撮像装置からの入力画像に基づいてテンプレート画像を生成して登録し、登録した該テンプレート画像を基にテンプレートマッチングによって侵入物体を追跡することを特徴とする。
【００３９】
なお、前記差分法を適用する範囲は、前記操作マーカの位置情報に基づいて決定される。
【００４０】
また、前記選択される侵入物体は、前記差分法によって検出された侵入物体の中で、前記操作マーカの位置に最も近い検出物体である。
【００４１】
更に、侵入物体を追跡中に、上記操作マーカの操作によって画面上に位置が指定された場合、該位置を基準位置としてテンプレート画像となる領域を算出し、前記撮像装置からの上記第１の入力画像に続く第２の入力画像中の該領域を新たなテンプレート画像とし、該新たなテンプレート画像が侵入物体を追跡するためのテンプレート画像として再登録される。
【００４２】
上記の第２の目的を達成する侵入物体追跡方法を実行するための本発明の侵入物体監視装置は、上記の第１の目的を達成する侵入物体追跡方法を実行するための本発明の侵入物体監視装置において、前記テンプレート画像を生成して登録する手段がテンプレート画像を生成するために用いる侵入物体が、前記侵入物体を検出する手段が検出した侵入物体の中から、前記操作マーカによる位置指定によって選択された特定の侵入物体であることを特徴とする。
【００４３】
【発明の実施の形態】
以下、本発明に係る侵入物体追跡方法及び侵入物体監視装置を図面に示した幾つかの発明の実施の形態を参照して更に詳細に説明する。
【００４４】
本発明の侵入物体監視装置の実施形態の一例を図１に示す。図１において、E04 は侵入物体監視装置であり、侵入物体監視装置 E04 は、撮像装置であるカメラ E01 と、電動旋回台（以下「カメラ雲台」という）E02 と、操作者が画面上の操作マークを操作するための操作器 E03 と、出力モニタ（画像表示装置）E05と、警告灯 E06と共に、本発明の侵入物体追跡方法を実行するために用いられる。
【００４５】
侵入物体監視装置 E04 は、図１に示すように、画像入力 I/F（Interface）E04aと、雲台制御 I/FE 04bと、操作入力 I/F E04cと、画像メモリ E04dと、画像出力 I/F E04eと、警告出力 I/F E04fと、CPU（Central Processing Unit）E04gと、プログラムメモリ E04hと、ワークメモリ E04iと、データバス E04j とを備えている。また、操作器 E03には、第一のボタン E03aと、第二のボタン E03bが附属する。
【００４６】
カメラ E01 は画像入力 I/F E04a に接続され、カメラ雲台 E02 は雲台制御 I/F E04b に接続され、操作器 E03 は操作入力 I/F E04c に接続され、出力モニタ E05 は画像出力 I/F E04e に接続され、警告灯 E06 は警告出力 I/F E04f に接続されている。また、画像入力 I/F E04a、雲台制御 I/F E04b、操作入力 I/F E04c、画像メモリ E04d、画像出力 I/F E04e、警告出力 I/F E04f、CPU E04g、プログラムメモリ E04h 及びワークメモリ E04i は、データバス E04j に接続されている。
【００４７】
更に、図１において、カメラ E01 は、対象とする撮像視野内を撮像する。カメラ E01 は、撮像した映像を電気的な映像信号（例えば NTSC 映像信号）に変換し、該映像信号を画像入力 I/F E04a に入力する。画像入力 I/F E04a は、入力した該映像信号を侵入物体監視装置 E04 で扱うフォーマット（例えば、幅320pix、高さ240pix、8bit/pix）の画像データに変換し、データバス E04i を介して画像メモリ E04d に送る。画像メモリ E04d は、送られてきた画像データを蓄積する。操作器 E03 は、操作者の操作方向及びボタン E03a、E03b の状態を電気的な信号（例えば接点信号）に変換し、該信号を操作入力 I/F E04c に入力する。
【００４８】
CPU E04g は、プログラムメモリ E04h に保存されているプログラムに従って、ワークメモリ E04i 内で操作入力 I/F E04c に入力された信号と画像メモリ E04d に蓄積された画像の解析を行なう。以上の解析の結果、カメラ E01 の視野内に写る侵入物体が検出され、追跡される。
【００４９】
また、CPU E04g は、画像メモリ E04d に蓄積された入力画像上にワークメモリ E04i に記憶されている操作マーク位置に基づいて操作マーク（例えば、矢印マーク。画面中で移動場所が特定できるマークであれば何でもよい）を描画（重畳）し、画像出力 I/F E04e を介して出力モニタ E05 にカメラ映像を表示する。画像出力 I/F E04e は、CPU E04g からの信号を出力モニタ E05 が使用できるフォーマット（例えば、NTSC 映像信号）に変換して、表示モニタ E05 に送る。表示モニタ E05 は、例えばカメラ映像及び操作マークを表示する。
【００５０】
更に、CPU E04g は、プログラムメモリ E04h に保存されているプログラムに従って、例えば侵入物体を検出した場合は、警告出力 I/F E04f を介して警告灯 E06 を点灯させる。警告出力 I/F E04f は、CPU E04g からの信号を警告灯 E06 が使用できるフォーマット（例えば接点信号）に変換して、警告灯 E06 に送る。警告灯 E06 は、例えば接点信号に応じて点灯する。
【００５１】
以下に説明する侵入物体追跡方法の実施形態は、侵入物体監視装置 E04 を用いて実行される。また、各実施形態では、使用する画像を幅320pix、高さ240pix、8bit/pix として説明する。もちろん、これ以外の画素数の画像を用いても同じ動作をすることは言うまでもない。
【００５２】
本発明の第１の侵入物体追跡方法の実施形態を図２を用いて説明する。本実施形態は、操作者（監視員）が操作器を操作して侵入物体の位置を指定した場合に、テンプレート画像を再登録できるようにしたものである。
【００５３】
画像入力ステップ 101 では、カメラ E01 から、例えば、幅 320pix、高さ 240pix、8bit/pix の入力画像（S01）を取得する。差分処理ステップ 102 では、画像入力ステップ 101 で得られた入力画像（S01）と、予め画像メモリ E04d に記録しておいた基準背景画像（S02）との画素毎の差分を計算し、差分画像（S03）を得る。
【００５４】
次に、二値化処理ステップ 103 では、差分処理ステップ 102 で得られた差分画像（S03）の各画素について閾値処理を行ない、画素値が閾値（例えば、２０）未満の場合は画素値を“０”、閾値以上の場合は画素値を“２５５”となるようにして二値化画像（S04）を得る。次に、物体存在判定ステップ 104 では、二値化処理ステップ 103 で得られた二値化画像（S04）中に“２５５”のかたまり（S09）が存在するか否かを判定し、存在した場合にはテンプレート画像登録ステップ 105 へ、存在しなかった場合は画像入力ステップ 101 へ分岐する。
【００５５】
テンプレート画像登録ステップ 105 では、画像入力ステップ 101 から 物体存在判定ステップ 104 までの処理によって検出された侵入物体の外接矩形（S10）を算出して、入力画像（S01）から、外接矩形（S10）に相当する領域を切り出し、これを初期のテンプレート画像T01a（S13）として画像メモリ E04d に登録する。次に、画像入力ステップ 106 では、画像入力ステップ 101 と同様に、カメラ E01 から、例えば、幅 320pix、高さ 240pix，8bit/pix の入力画像（T02）を取得する。
【００５６】
テンプレートマッチングステップ 107 では、図１１を用いて説明したテンプレートマッチング処理ステップ S107a から S107d と同様の処理を行ない、探索領域 T02c 中でテンプレート画像 T01a と最も一致度が高くなる領域 T02a を検出（マッチング）して、侵入物体の移動位置を検出する。次に最大一致度判定ステップ 201 では、テンプレートマッチング 107 で得られた一致度が所定の値（例えば、一致度として正規化相関を用いた場合 0.5）以上であった場合は、マッチングが正常に完了したものとしてテンプレート更新ステップ 110 へ分岐し、所定の値未満であった場合はマッチングが正常に完了しなかった（侵入物体を見失った）として画像入力ステップ 101 へ分岐する。
【００５７】
更に、テンプレート更新ステップ 110 では、図１１を用いて説明したテンプレート画像更新ステップ S118a と同様の処理を行ない、入力画像 T02 の中でマッチングした領域 T02a に相当する領域を切り出し、これを新たなテンプレート画像 T03a として、テンプレート画像を更新する。警報・モニタ表示ステップ 111 では、例えば監視モニタ E05 に対象物体の画像を表示したり、警告灯 E06 を点灯させたりして、侵入物体が存在することを表す報知を行なう。
【００５８】
以降、図１１に示した入力画像 T04〜入力画像 T08におけるような侵入物体の追跡が上記の処理を繰り返すことで継続して行なわれる。入力画像 T02以降のいずれかの過程で、操作器 E03による操作マークの操作が行なわれ、操作器 E03 からの操作信号が出力された場合、処理が以下に述べるように変更される。
【００５９】
まず、操作マーカ表示ステップ 114 で、先の入力画像 S01 に続いて入力される入力画像上に操作器 E03 の操作によって移動する操作マーカを描画（重畳）する。装置が起動時に操作マーカを表示するシステムである場合には、画面に操作マーカが表示されていることを確認する。なお、操作マーカは、操作器 E03を使った操作者の手による動作によって移動するようにするほか、操作者の音声、身振りや手振り、視線方向などの動作やこれらの組み合わせによって移動するようにしてもよい。
【００６０】
続いて、操作入力判定ステップ 115 は、操作入力 I/F E04c を介して得られる操作器 E03 からの操作信号を判定し、例えば、操作器 E03 に付属する操作ボタン E03a を押下したという操作信号を入力した場合には、テンプレート領域算出ステップ 202 へ分岐し、押下したという操作信号を入力しなかった場合は、画像入力ステップ 106 へ分岐する。
【００６１】
次に、テンプレート領域算出ステップ 202 では、操作マーカによって指定された画面中の位置から侵入物体の存在する領域を算出する。この算出手順を図３及び図４を用いて説明する。図３ａは、侵入物体を人間とした例で、入力画像 701 に人型の侵入物体 702 が存在する場面を表している。監視員は、操作マーカ 703 を操作して、侵入物体 702 の頭部を指し、例えば、操作器 E03 に付属する操作ボタン E03a を押下する。このとき、操作マーカ 703によって位置が指定されるので、その位置を、図３ｂに示すように、基準位置 705 （座標位置を (X,Y) とする）として表す。テンプレートとする領域704 は、予め設定した侵入物体の大きさ（幅 W 画素、縦 H 画素）と基準位置の示す部位の相対係数 rw と rh によって、式(４)のように算出される。
【００６２】
【数５】

【００６３】
ここで、テンプレート画像704 の大きさ W, H は、例えば、それぞれ、侵入物体 702 の平均の大きさを dx×dy = 0.5×1.7 [m]、CCD 素子の大きさを w×h = 6.5×4.6 [mm]（ここでは、１／２型ＣＣＤを想定している）、レンズの焦点距離 f = 25 [mm]、カメラから侵入物体までの距離 L=25 [m]、入力画像サイズ XS×YS = 320×240 [pix] とした場合、式(５)のようになる。
【００６４】
【数６】

【００６５】
また、相対係数 rw と rh は、侵入物体702 によって決定される数値で、図３ｂの人型の侵入物体702 の例では、それぞれ、rw = 0.5，rh = 0.07（侵入物体の頭を指定する場合、７等身を想定している）とする。この例では、基準位置 705が (100,100) であった場合、テンプレートとする領域は、(88,94)−(112,182)となる。
【００６６】
図４は、侵入物体を車両（正面を向いている車両）とした例で、入力画像 801に車両 802 が存在する場面を表している。図３の例と同様に、監視員は、操作マーカ 803 を操作して、図４ａのように侵入物体のフロントガラスを指し、例えば、操作器 E03 に付属する操作ボタン E03a を押下する。図４ｂにおいて、侵入物体の平均の大きさを dx×dy = 3.0×2.0 [m]、CCD 素子の大きさを w×h = 6.5×4.6 [mm]（ここでは、１／２型ＣＣＤを想定している）、レンズの焦点距離 f = 25 [mm]、カメラから侵入物体までの距離 L=25 [m]、入力画像サイズ XS×YS = 320×240 [pix] とした場合、W = 147.7 [pix]，H = 104.3 [pix] となる。更に、相対係数 rw と rh を、rw = 0.5，rh = 0.33 とし、基準位置 805が (200,200) であった場合、テンプレートとする領域は、(126,166)−(274,270) となる。
【００６７】
次にテンプレート画像再登録ステップ 118 では、入力画像（T02）のテンプレート領域算出ステップ 202 によって算出されたテンプレートとする領域に相当する部分を抽出し、テンプレート画像（S13）として画像メモリ E04d に再登録する。なお、侵入物体が人間や車両でない場合には、相対係数 rw と rh を、rw = 0.5，rh = 0.5 としてテンプレートとする領域（すなわち、基準位置 805 を中心とする矩形領域）を算出するようにしても良い。以上のステップによって、カメラ E01 の視野内に写る侵入物体を自動的に検出し、侵入物体監視装置 E04 の処理結果に基づき必要であれば監視員が操作器 E03 を操作して侵入物体の位置を指定し、侵入物体を追跡させることができる。
【００６８】
以上の説明では、侵入物体が１個であるとしたが、侵入物体が複数存在する場合は、例えば一番大きい（画素数が多い）侵入物体が追跡される。その過程で操作が行なわれる場合、複数の侵入物体の内の一つのみを選択し、以降その侵入物体のみを追跡することが可能である。
【００６９】
この場合の算出手順の一例を図５を用いて説明する。図５は、侵入物体を人間とした例で、入力画像 601 に人型の侵入物体 602 及び 603 が存在する場面を表している。図５ａに示すように、監視員は、操作マーカ 604 を操作して、侵入物体602 の頭部を指し、例えば、操作器 E03 に付属する操作ボタン E03a を押下する。
【００７０】
このときの操作マーカ 604 の位置を、図５ｂに示すように、基準位置 605 （座標位置を (X,Y) とする）として表す。テンプレートとする領域は、予め設定した侵入物体の大きさ（幅 W 画素、縦 H 画素）と基準位置の示す部位の相対係数 rw と rh によって、式(４)のように算出される。
【００７１】
ここで、上述したのと同じように、テンプレート画像の大きさ W, H は、例えば、それぞれ、侵入物体の平均の大きさを dx×dy = 0.5×1.7 [m]、CCD 素子の大きさを w×h = 6.5×4.6 [mm]（ここでは、１／２型ＣＣＤを想定している）、レンズの焦点距離 f = 25 [mm]、カメラから侵入物体までの距離 L=25 [m]、入力画像サイズ XS×YS = 320×240 [pix] とした場合、式(５)のようになる。
【００７２】
また、相対係数 rw と rh は、侵入物体によって決定される数値で、図５ｂの人型の侵入物体の例では、それぞれ、rw = 0.5，rh = 0.07（侵入物体の頭を指定する場合、７等身を想定している）とする。この例では、基準位置 605 が (100,100) であった場合、テンプレートとする領域 606 は、(88,94)−(112,182) となる。
【００７３】
以上のステップによって、カメラ E01 の視野内に複数の侵入物体が存在する場面でも、監視員が操作器 E03 を操作して追跡すべき侵入物体の位置を指定し、侵入物体を追跡させることができる。
【００７４】
本発明の第２の実施形態を図６を用いて説明する。本実施形態は、操作者（監視員）が操作器を操作器を操作して侵入物体の位置を指定してテンプレート画像を再登録する際に、差分法によって検出された二値化画像の検出物体の大きさ、テンプレートマッチングによって検出される移動量の大きさのいずれかによって、指定した侵入物体が人間であるのか車両であるのかを自動的に判定してテンプレート画像とする領域を算出し、テンプレート画像を再登録するようにしたものである。図６は、図２で示されるフローチャートにテンプレート領域算出ステップ 202 の代わりにテンプレート領域算出ステップ 117 を入換え、対象部位判定ステップ 116 を追加したものである。従って、ここでは、対象部位判定ステップ 116、テンプレート領域算出ステップ 117 以外の処理動作は、図２と同様なので説明を省略する。
【００７５】
対象部位判定ステップ 116 は、例えば、差分法によって検出された二値化画像の検出物体の大きさによって、指定した侵入物体が人間であるのか車両であるのかを判定し、相対係数 rw と rh を決定する。この判定方法を図３、図４の例を用いて説明する。二値化処理ステップ 103 で、例えば、高さ 100 [pix] の物体が検出されたとする。式(５)より、侵入物体が人間であった場合は、H = 88.7 [pix]、侵入物体が車両であった場合は、H = 104.3 [pix] となるため、検出された物体（高さ 100 [pix]）は、人間よりも大きい物体であると判断し、検出物体は車両であると判定する。
【００７６】
ここで、検出された物体の高さのみを用いて人間か車両かを判断している理由は、物体の高さの変化は、幅よりも見かけの変化が少ないためである（車両は向きを変えると見かけの幅が大きく変化する）。この場合、相対係数 rw と rh は、rw = 0.5，rh = 0.33 としてテンプレート画像とする領域を算出する。
【００７７】
テンプレート領域算出ステップ 117 では、対象部位判定ステップ 116 によって算出された相対係数 rw と rh に基づき式(４)で表される領域を算出する。以上のステップによって、検出された侵入物体の大きさに基づいてテンプレート画像とする領域が自動的に算出されて、カメラ E01 の視野内に写る侵入物体を追跡させることができる。
【００７８】
本発明の第３の実施形態を図７を用いて説明する。本実施形態は、侵入物体の追跡が停止したと判定された場合に、監視員に警告を出力し、監視員による侵入物体位置の指定操作を促すようにしたものである。図７は、図６で示されるフローチャートに、侵入物体移動量算出ステップ 108 を追加し、最大一致度判定ステップ 201 の代わりに追跡停止判定ステップ 109 を入れ換え、追跡停止警告出力ステップ 112 と警告出力所定時間経過判定ステップ 119 を追加したものである。従って、ここでは、侵入物体移動量算出ステップ 108 、追跡停止判定ステップ 109、追跡停止警告出力ステップ 112、警告出力所定時間経過判定ステップ 119 以外の処理動作は、図６と同様なので説明を省略する。
【００７９】
侵入物体移動量算出ステップ 108 では、テンプレートマッチング 107 で得られた移動量（T02d，T04d，T06d，T08d）の所定時間（例えば５秒）の合計を算出する。追跡停止判定ステップ 109 では、テンプレートマッチング 107 で得られた一致度が所定の値（例えば、一致度として正規化相関を用いた場合0.5）未満であった場合、或いは、侵入物体移動量算出ステップ 108 で算出した侵入物体の移動量が所定量（例えば、侵入物体の大きさの 1/5。侵入物体として人間を想定した場合、上記例では横方向 5 [pix]、縦方向 18 [pix]）以下であった場合、追跡が停止したとして追跡停止警告出力ステップ 112 に分岐し、それ以外の場合、テンプレート画像更新ステップ 110 へ分岐する。
【００８０】
追跡停止警告出力ステップ 112 では、例えば、監視モニタ E05 に“追跡停止。侵入物体を指定してください”等のメッセージを出力したり、警告灯 E06 を点灯（侵入物体を検出した場合の表示以外の方法であれば何でも良い）させたりして、監視員に侵入物体位置の指定操作を促す。
【００８１】
警告出力所定時間経過判定ステップ 119 では、追跡停止警告出力ステップ 112 で、追跡停止警告を出力してから所定時間（例えば 1 分）経過した場合は、画像入力ステップ 101 へ分岐し、経過していない場合は、画像入力ステップ 113 へ分岐する。以上のステップによって、侵入物体の追跡が停止した場合でも、監視員に追跡停止の警告を表示し、所定時間内に監視員が侵入物体位置の指定操作を行なった場合に侵入物体の追跡が継続して行なえるようになる。
【００８２】
本発明の第４の実施形態を図８を用いて説明する。本実施形態は、差分法によって検出された複数の侵入物体の中で、操作者（監視員）による操作器の操作に基づいて追跡すべき侵入物体を選択できるようにし、差分法による検出結果と侵入物体の選択結果に基づいてテンプレート画像を作成するようにしたものである。図８は、図２で示されるフローチャートに操作マーカ表示ステップ 204、操作入力判定ステップ 206 、侵入物体選択処理ステップ 207 を追加したものである。したがって、ここでは、操作マーカ表示ステップ 204、操作入力判定ステップ 206 、侵入物体選択処理ステップ 207 以外の処理動作は、図２と同様なので説明を省略する。
【００８３】
操作マーカ表示ステップ 204 は、図２における操作マーカ表示ステップ114の場合と同じような操作で、入力画像（S01）上に操作器 E03 の操作によって移動する操作マーカ（例えば、矢印マーク。移動場所が特定できるマークであれば何でもよい）を描画（重畳）する。さらに、操作入力判定ステップ 206 は、操作入力判定ステップ 115 と同様に、操作入力 I/F E04c を介して得られる操作器 E03 からの操作信号を判定し、例えば、操作器 E03 に付属する操作ボタン E03a を押下したという操作信号を入力した場合には、侵入物体選択処理ステップ 107 へ分岐し、押下したという操作信号を入力しなかった場合は、画像入力ステップ 101 へ分岐する。
【００８４】
次に、侵入物体選択処理ステップ 207 は、前記操作マーカの位置情報に基づいて追跡すべき侵入物体を選択する。この処理を図７を用いて説明する。図９は、差分法によって複数の侵入物体が検出された例であり、説明の都合上、二値化画像（S04）上に操作マーカを重ねて表示している。図９ａにおいて、二値化画像 701 は、撮像視野内に複数の侵入物体が存在する第一の例であり、702 及び 703 は侵入物体、704 は操作マーカである。侵入物体選択処理ステップ 207 では、このような場面で監視員が操作信号を入力した場合、操作マーカ 704 の位置座標に存在する侵入物体 702 を追跡すべき侵入物体として選択する（テンプレート画像には、侵入物体 702 の外接矩形に相当する入力画像（S01）が登録される）。
【００８５】
また、図９ｂにおいて、二値化画像 705 は、撮像視野内に複数の侵入物体が存在する第二の例であり、706 及び 707 は侵入物体、708 は操作マーカである。侵入物体選択処理ステップ 207 では、このような場面で監視員が操作信号を入力した場合、操作マーカ 708 の位置座標に最も近い侵入物体 707 を追跡すべき侵入物体として選択する（テンプレート画像には、侵入物体 707 の外接矩形に相当する入力画像（S01）が登録される）。
【００８６】
なお、上記では差分法が入力画像の全面に適用され、侵入物体の全てが検出されてその二値化画像が得られてから選択が行なわれるようにしたが、差分法を適用する範囲が操作マーカの指定する位置に基づいて決定されるようにすることが可能である。
【００８７】
以上のステップによって、カメラ E01 の視野内に複数の侵入物体が存在する場面で、差分法によって複数の侵入物体が検出された場合でも、監視員が操作器 E03 を操作して追跡すべき侵入物体の位置を指定し、侵入物体を追跡させることができる。
【００８８】
【発明の効果】
本発明によれば、監視員が操作する操作マーカによって侵入物体の追跡を継続して行なえるようにすることができるため、テンプレートマッチングの繰り返し実行によって侵入物体の追跡が停止してしまうような不都合を回避することができ。従って、侵入物体の追跡性能を更に向上させることができ、侵入物体監視装置の適用範囲を大きく広げることができる。
【００８９】
また、撮像装置視野内に複数の侵入物体が存在する場合でも、監視員が操作する操作マーカを使って追跡すべき適切な侵入物体を選択できるようにし、侵入物体追跡装置の操作性を更に向上させることができ、侵入物体監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明に係る侵入物体監視装置の発明の実施の形態を説明するための構成図。
【図２】本発明に係る侵入物体追跡方法の第１の発明の実施の形態を説明するためのフローチャート。
【図３】侵入物体を人間とした場合のテンプレートとする領域の算出方法を説明するための図。
【図４】侵入物体を車両とした場合のテンプレートとする領域の算出方法を説明するための図。
【図５】侵入物体が複数の人間である場合のテンプレートとする領域の算出方法を説明するための図。
【図６】本発明の侵入物体追跡方法の第２の発明の実施の形態を説明するためのフローチャート。
【図７】本発明の侵入物体追跡方法の第３の発明の実施の形態を説明するためのフローチャート。
【図８】本発明の侵入物体追跡方法の第４の発明の実施の形態を説明するためのフローチャート。
【図９】視野内に複数の侵入物体が存在する場面での侵入物体の選択処理を説明するための図。
【図１０】差分法による物体検出処理を説明するための図。
【図１１】テンプレートマッチングによる物体追跡処理を説明するための図。
【符号の説明】
E01：カメラ、E02：カメラ雲台、E03：操作器、E03a，E03b：操作ボタン、E04：侵入物体監視装置、E04a：画像入力 I/F、E04b：雲台制御 I/F、E04c：操作入力 I/F 、E04d：画像メモリ、E04e：画像出力 I/F、E04f：警告出力 I/F、E04g：CPU、E04h：プログラムメモリ、E04i：ワークメモリ、E04j：データバス、E05：出力モニタ、E06：警告灯，S01：入力画像、S02：基準背景画像、S03：差分画像、S04：二値化画像、S12：抽出画像、S13：テンプレート画像、702：侵入物体（人間）、703，803：操作マーカ、704，804：テンプレート画像とする領域、705，805：基準位置、802：侵入物体（車両）。

Claims (2)

1. 撮像装置より得られた第１の入力画像から撮像視野内の物体を検出する物体検出ステップと、
   該検出した物体を基にテンプレート画像を生成して登録するテンプレート画像登録ステップと、
   該テンプレート画像と前記撮像装置から前記第１の入力画像の別時刻に得られた第２の入力画像を基にテンプレートマッチングによって撮像視野内の物体を検出して追跡する物体追跡ステップと、
   前記入力画像及び追跡処理の画像を画像表示装置の画面に表示する画像表示ステップと、
   該画像表示装置の画面上を移動する操作マーカが操作された場合に、該操作マーカによって指定された位置を基準位置として、該基準位置に基づいてテンプレート画像とする領域を算出するテンプレート領域算出ステップと、
   該テンプレート算出ステップによって算出された該第２の入力画像中の該領域を新たなテンプレート画像として再登録するテンプレート画像再登録ステップとを有し、
   前記物体追跡ステップは、該再登録されたテンプレート画像を基に追跡を実行する物体追跡方法であって、
   前記検出した物体の見かけの大きさに基づいて前記基準位置が該物体のどの部位を指すのかを判定する対象部位判定ステップが更に設けられ、前記テンプレート領域算出ステップは、判定された基準位置を基にテンプレート画像とする領域を算出することを特徴とする物体追跡方法。
2. 撮像装置より得られた第１の入力画像から撮像視野内の物体を検出する物体検出手段と、
   該検出した物体を基にテンプレート画像を生成して登録するテンプレート画像登録手段と、
   該テンプレート画像と前記撮像装置から前記第１の入力画像の別時刻に得られた第２の入力画像を基にテンプレートマッチングによって撮像視野内の物体を検出して追跡する物体追跡手段と、
   前記入力画像及び追跡処理の画像を画像表示装置の画面に表示する画像表示手段と、
   該画像表示装置の画面上を移動する操作マーカが操作された場合に、該操作マーカによって指定された位置を基準位置として、該基準位置に基づいてテンプレート画像とする領域を算出するテンプレート領域算出手段と、
   該テンプレート算出手段によって算出された該第２の入力画像中の該領域を新たなテンプレート画像として再登録するテンプレート画像再登録手段とを有し、
   前記物体追跡手段は、該再登録されたテンプレート画像を基に追跡を実行する物体追跡装置であって、
   前記検出した物体の見かけの大きさに基づいて前記基準位置が該物体のどの部位を指すのかを判定する対象部位判定手段が更に設けられ、前記テンプレート領域算出手段は、判定された基準位置を基にテンプレート画像とする領域を算出することを特徴とする物体追跡装置。

Images