JP3758511B2 - Object detection apparatus and object detection program - Google Patents

Description

と表すことができる。
【００１１】
また、この監視条件において、入力画像の横方向の画素数2W、侵入物体1001の検出位置の第１のカメラ1002の視野中心からの横方向の変位Δxと、第１のカメラ1002の半監視角度θwと、第２のカメラ1003の雲台のパン制御角度θxとには、
【数２】

の関係がある。
【００１２】
即ち、第２のカメラ1003の雲台のパン制御角度θxは、
【数３】

となる。
【００１３】
例えば、半監視角度θwを30 ゜、第１のカメラ1002の入力画像の横方向の画素数2Wを320 pix、検出された侵入物体の第１のカメラ1002の視野中心からの変位Δxを40とした場合、第２のカメラ1003の雲台のパン制御角度は8.2 ゜となる。
【００１４】
以上のように、第１のカメラ1002によって異なる時刻に入力した複数フレームの画像を比較して画素毎に輝度値の差分を求め、その差分の大きい領域を侵入物体1001として検出した場合に、その侵入物体1001の大きさと検出位置に基いて第１のカメラ1002から送られる制御信号によって、第２のカメラ1003の雲台が制御される。これによって、第２のカメラ1003の視野範囲1005内に常に侵入物体1001を捕捉できるため、移動する侵入物体を第２のカメラ1003が常に自動的に追尾することができる。
上記２つのカメラ構成による監視装置としては、例えば、特開平５−３３４５７２号公報及び特開平６−１５３０５１号公報がある。
【００１５】
【発明が解決しようとする課題】
前述の従来技術には、複数の侵入物体を追尾するために複数の第２のカメラを制御する構成とした場合に、侵入物体の数に比例して、第１のカメラが複数の第２のカメラを制御するため、第１のカメラの処理量が増加する欠点があった。
更に、第１のカメラで侵入物体が一時的に検出できなくなった場合には、第２のカメラがその侵入物体を捉えられる位置にあっても、継続して追尾を行なうことができないという欠点があった。
【００１６】
本発明の目的は、第１のカメラによって得られる入力画像信号を第１の画像処理装置で処理し、第２のカメラによって得られる入力画像信号を第２の画像処理装置で処理し、それぞれの画像処理プロセスを独立に制御することによって監視処理の負荷を分散させることで複数の侵入物体を追尾できるようにすることにある。
また更に本発明の目的は、片方の画像処理装置で侵入物体を一時的に見失った場合でも、他方の画像処理装置の処理結果に基いて監視処理を継続するように制御を行うことによって、第１または第２の侵入物体監視装置の少なくとも１つで侵入物体を監視できるようにし、侵入物体を一時的に見失った場合でも、別の侵入物体監視装置の処理結果に基づいて監視処理を継続することによって、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い侵入物体監視方法及び侵入物体監視システムを提供することにある。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体監視システムは、それぞれ独立な画像処理手段を実行する第１と第２の侵入物体監視装置で構成する。
そして、第１の侵入物体監視装置によって、監視対象領域内に侵入する物体の第１の情報を検出し、第１の情報を第１の侵入物体監視装置から第２の侵入物体監視装置に送り、第２の侵入物監視装置によって、第１の侵入物体監視装置から送られた第１の情報に基づいて侵入物体を捕捉し、第２の侵入物体検出装置は、捕捉した侵入物体の第２の情報を取得し、第２の侵入物体監視装置は、第１の侵入物体監視装置の制御なしに、第２の侵入物体監視装置のカメラを少なくとも制御して、捕捉した侵入物体を追尾する。
また第１の侵入物体監視装置は、侵入物体の追跡を行い、第１の侵入物体監視装置による侵入物体の追跡が不可能になったとき、第２の侵入物体監視装置から侵入物体の第２の情報を取得して追跡を続ける。
また、第２の侵入物体監視装置による物体の追尾が不可能になったとき、第１の侵入物体監視装置から侵入物体の第１の情報を取得して追尾を続ける。
【００１８】
更に、本発明の侵入物体監視方法は、監視対象領域をカバーする視野範囲を持つ第１の侵入物体監視装置と、第１の侵入物体監視装置の視野範囲の一部を監視領域とする少なくとも１つの第２の侵入物体監視装置とを有する侵入物体監視システムを使用し、第１の侵入物体監視装置によって、監視対象領域の画像を入力する第１の画像入力ステップと、第１の画像入力ステップによって入力した画像から侵入物体の第１の情報を検出する第１の検出ステップと、第１の情報に応じて第２の侵入物体監視装置を制御して監視領域の画像を入力し、侵入物体を捕捉する第２の画像入力ステップと、第２の侵入物体監視装置によって、監視領域内の侵入物体の第２の情報を検出する第２の検出ステップとを設け、第２の検出ステップによって検出した第２の情報に応じて、第２の侵入物監視装置を制御して侵入物体を追尾する。
また、第２の検出ステップによって検出した第２の情報は、侵入物体の大きさと検出位置を含む情報であり、第２の侵入物体監視装置による捕捉した侵入物体の追尾は、第２の情報に基づき第２の侵入物体監視装置の雲台を制御して撮像装置の視線方向を変更して行う。
【００１９】
更に、第１の検出ステップは、侵入物体の第１の情報の検出を差分法によって行い、また更に、第２の検出ステップは、侵入物体の第２の情報の検出をテンプレートマッチング法によって行う。
その他更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、新規に検出された侵入物体であれば、新規に検出された侵入物体を第２の侵入物体監視装置によって追尾し、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
また更に、第２の侵入物体監視装置で撮像した画像を表示装置に表示し、第２の侵入物体監視装置で撮像した侵入物体の像に、侵入物体の移動軌跡を重ねて表示することを特徴とする。
また、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体を追尾させる。
【００２０】
更に、本発明の侵入物体監視方法において、侵入物体監視方法は更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体の第３の情報を伝達し、伝達された第３の情報に応じて、第２の侵入物体監視装置が新規に検出された侵入物体を捕捉し、捕捉後は、第２の侵入物体監視装置が、捕捉した侵入物体を第１の侵入物体監視装置とは独立に制御する。
また、新規検出物体判定ステップによって、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
【００２１】、
更に、本発明の侵入物体監視方法において、第２の検出ステップによって現時刻で検出された侵入物体の検出情報と、前に検出された侵入物体の検出情報とを比較し、比較した検出情報の差に応じて物体の追跡が失敗したか成功したかを判定する追跡判定ステップを設け、失敗と判定された場合には、更に、第１の検出ステップによって検出された第２の情報を取得して、追尾を続ける。
また、第１の情報と第２の情報とを、第１の侵入物体監視方法と第２の侵入物体監視方法との間で相互に交換することによって、監視領域内の侵入物体を監視する。
更にまた、ユーザからの画面切替え要求を入力する画面切替え入力ステップを備え、第１の侵入物体監視装置から入力する第１の検出情報と、第２の侵入物体監視装置から入力する第２の情報とについて、ユーザからの画面切替え要求に応じて、入力した第１の検出情報と第２の検出情報の表示方法を変更する。
また、画面切替え入力ステップは、更に、ユーザが指定した侵入物体の軌跡を重ねて表示する。
【００２２】
本発明の侵入物体監視システムは、監視対象領域の映像を撮像し、監視対象領域に侵入する侵入物体の第１の情報を検出する第１の侵入物体監視装置と、第１の侵入物体監視装置が検出した第１の情報に基づいて、侵入物体を捕捉し、第１の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも１つの第２の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。
また、第１の侵入物体監視装置は、侵入物体監視処理部を含み、第２の侵入物体監視装置は、第１の侵入物体監視装置の侵入物体監視処理部とは独立に侵入物体監視処理部を含み、第２の侵入物体監視装置が、第１の侵入物体監視装置とは独立に、第１の侵入物体監視装置が検出した侵入物体を追尾する。
更に、第２の侵入物体監視装置は、捕捉した侵入物体の第２の情報を検出し、第２の情報に基づいて、第１の侵入物体監視装置が検出した侵入物体を追尾する。
また更に、第２の侵入物体監視装置を複数有し、第１の侵入物体監視装置の第１の侵入物体監視装置の侵入物体監視処理部は、新規に侵入物体が検出されたか否かを判定し、新規に侵入物体が検出されたと判定した場合に、まだ追尾していない第２の侵入物体監視装置に新規に検出された侵入物体の追尾を割り当て、割り当てられた第２の侵入物体監視装置は新規に検出された侵入物体を捕捉して追尾する。
またその他、第２の侵入物体監視装置は、雲台を備え、第２の侵入物体監視装置が、第１の情報に基づいて雲台を制御して侵入物体を捕捉し、更に、第２の侵入物体監視装置が、第２の情報に基づいて雲台を制御して侵入物体を追尾する。そしてまた、第１の情報と第２の情報を表示する表示装置を有し、ユーザの指示に応じて、侵入物体の情報を表示する。また、侵入物体の情報には、第１の情報と第２の情報から抽出した軌跡を含む。
【００２３】
【発明の実施の形態】
まず、本発明の侵入物体監視システムの一実施例を図１によって説明する。
図１は、侵入物体監視システムのハードウエア構成を示すブロック図である。
第１の侵入物体監視装置101と第２の侵入物体監視装置102とは、第１の通信I/F101hと第２の通信I/F102hとが通信ケーブル107によって接続されている。
また、第１の侵入物体監視装置101側では、第１の入力I/F101gが入力装置105に接続されている。更に第１の出力I/F101jが画像切替合成装置106の制御信号入力端子に接続され、また、警告灯104にも接続されている。
更にまた、第１の侵入物体監視装置101側の第１の画像出力I/F101iと、第２の侵入物体監視装置102側の第２の画像出力I/F102iとは、画像切替合成装置106に接続され、画像切替合成装置106は監視モニタ103に接続されている。
【００２４】
第１の侵入物体監視装置101において、第１のカメラ101aは第１の画像入力I/F101bに接続され、第１の画像入力I/F101b、第１のCPU101c、第１の画像メモリ101d、第１のプログラムメモリ101e、第１のワークメモリ101f、第１の入力I/F101g、第１の通信I/F101h、第１の画像出力I/F101i、及び第１の出力I/F101jは、第１のデータバス101kにそれぞれ接続されている。
また、第２の侵入物体監視装置102において、第２のカメラ102aは第２の画像入力I/F102bに接続され、第２のカメラ102aはカメラ雲台102mに設置され、第２の出力I/F102jは雲台制御装置102lに接続され、雲台制御装置102lはカメラ雲台102mに接続されている。また、第２の画像入力I/F102b、第２のCPU102c、第２の画像メモリ102d、第２のプログラムメモリ102e、第２のワークメモリ102f、第２の通信I/F102h、第２の画像出力I/F102i、及び第２の出力I/F102jは、第２のデータバス102kにそれぞれ接続されている。
【００２５】
図１において、第１のカメラ101aは監視対象区域を含んだ撮像視野内全体を所定の時刻毎に連続的に撮像し、撮像した画像を映像信号に変換して、その映像信号を第１の画像入力I/F101bに与える。第１の画像入力I/F101bは、入力した映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第１のデータバス101kを介して第１の画像メモリ101dに送る。
第１の画像メモリ101dは、入力してきた画像データを蓄積する。第１のCPU101cは、第１のプログラムメモリ101eに保存されているプログラムに従って、第１のワークメモリ101fを処理作業領域として使用し、第１の画像メモリ101dに蓄積された画像の解析を行なう。
以上の解析の結果、第１の侵入物体監視装置101は、第１のカメラ101aの撮像視野内に侵入物体が侵入したか否か、また侵入物体が侵入した場合には、その検出された侵入物体の大きさや検出位置等の検出情報を得る。第１のCPU101cは、処理結果に応じて第１のデータバス101kから第１の通信I/F101hを介して第２の侵入物体監視装置102へ侵入物体の有無、侵入物体の位置情報、侵入物体追跡結果その他の検出情報を送信する。更に、新規に侵入物体を発見した場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102のうち、まだ追尾を割り当てられていない第２の侵入物体監視装置102に宛てて、侵入物体追尾割り当てと対象物体の位置情報を送信し、その他、例えば、第１の出力I/F101jを介して警告灯104を点灯したり、例えば監視結果画像を第１の画像出力I/F101iを介して画像切替合成装置106に与える。
【００２６】
第１の通信I/F101hは、第１のCPU101cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された１台以上の別の第２の侵入物体監視装置（図１では、１台で代表して描き、以下の説明も第２の侵入物体監視装置102の中の構成要素の参照符号を代表として説明する）へ送信する。また、第１の画像出力I/F101iは、第１のCPU101cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
また、監視モニタは、１台である必要はなく、２台またはそれ以上でもよく、表示する内容もユーザの要求により自由に変更できる。
その他、第１の侵入物監視装置101と第２の侵入物監視装置102、及び、入力装置105、画像切替え合成装置106、警告灯104、監視モニタ103間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法での良いことはいうまでもない。
【００２７】
次に、第２のカメラ102aは、第２のカメラ102aの有する撮像視野内を所定の時刻毎に連続的に撮像する。カメラ雲台102mは雲台制御装置102lが与える雲台制御信号によって第２のカメラ102aの撮像方向を変える。第２のカメラ102aは、撮像した画像を映像信号に変換し、変換した映像信号を第２の画像入力I/F102bに与える。第２の画像入力I/F102bは、入力した映像信号を第２の侵入物体監視装置102で扱うことができるフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第２のデータバス102kを介して第２の画像メモリ102dに送る。第２の画像メモリ102dは、送られてきた画像データを蓄積する。第２のCPU102cは第２のプログラムメモリ102eに保存されているプログラムに従って、第２のワークメモリ102f内で第２の画像メモリ102dに蓄積された画像の解析を行なう。以上の解析結果、第２のカメラ102aの撮像視野内に侵入物体が侵入した等の検出情報を得る。
【００２８】
第２のCPU102cは、処理結果に応じて第２のデータバス102kから第２の出力I/F102jを介して雲台制御装置102jへ制御信号を送信すると共に、第２の通信I/F102hを介して第１の侵入物体監視装置101へ侵入物体の位置情報、侵入物体追尾結果等の検出情報を送信する。また更に、検出情報、例えば監視結果画像を第２の画像出力I/F102iを介して画像切替合成装置106に与える。
第２の通信I/F102hは、第２のCPU102cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された第１の侵入物体監視装置へ送信する。更に、別の第２の侵入物体監視装置が１台以上通信ケーブル107で接続されている場合には、第２の通信I/F102hは、通信ケーブル107を介して、この別の第２の侵入物体監視装置102へも第２のCPU102cからの送信データを送信する。また、第２の画像出力I/F102iは、第２のCPU102cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
【００２９】
更にまた、入力装置105は、ユーザからの例えばマウス操作、キーボード操作等の指示によって表示画像の切替等の入力を行ない、監視モニタ103は、画像切替合成装置106を介して、第１の侵入物体監視装置101及び第２の侵入物体監視装置102による監視結果画像を、ユーザから入力された指示により、例えば２画面並べて表示したり、どちらか１つを切り替えて表示する。
以下に説明するフローチャートは、すべて上記の侵入物体監視システムのハードウエア構成の一例である図１を使って説明している。
【００３０】
図２と図３は、本発明の一実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートであり、上述の図１の侵入物体監視システムに言及しつつ、以下で説明する。
本実施例は、監視対象領域全体の映像を撮像する第１の撮像装置（第１のカメラ）から逐次入力する画像信号中から侵入物体を検出し、検出した侵入物体の位置変化を追跡する第１の侵入物体監視プロセスと、第１の侵入物体監視プロセスによって侵入物体が存在すると判定された場合に、第１の侵入物体監視装置から与えられた追尾割り当て要求と侵入物体の位置情報とに基づいて、第２の撮像装置（第２のカメラ）によって、逐次入力する画像信号中の侵入物体を検出し、雲台を制御しながら第２の撮像装置の視野内に常に侵入物体を捉えるように追尾するための第２の侵入物体監視プロセスとを備え、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの下で制御することによって、それぞれ独立に制御する。これによって、監視処理対象領域内の侵入物体を追尾させるようにした方法である。
図２は第１の侵入物体監視プロセスの一実施例を説明するフローチャートであり、図３は第２の侵入物体監視プロセスの一実施例を説明するフローチャートである。
【００３１】
図２において、侵入物体の監視を開始すると、
画像入力ステップ201では、第１のカメラ101aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
侵入物体検出ステップ202では、入力画像に基づき、例えば、図９で説明したように、侵入物体検出処理を行なう。
次に、新規検出物体判定ステップ203では、検出された物体の検出位置と、１フレーム前の検出物体との検出位置を比較し、その検出位置の変化量を求める。そして、求めた変化量が所定の量（第１のカメラ101aの視野角に依存する量、例えば、50画素（50 pix））未満の場合には検出物体が１フレーム前にも存在したもの、即ち、新規の検出物体ではないとし、侵入物体追跡ステップ204へ分岐する。ここで、画像入力ステップ201で入力画像を取得する時間間隔は、例えば、100 msecであり、従って、１フレーム前とは、100 msec前の時刻である。また、変化量が所定の量以上の場合には、以前に検出された物体が移動すると予想される距離以上離れた場所で検出されたので、新規に検出された物体として侵入物体追尾割当ステップ207へ分岐する。
【００３２】
侵入物体追跡ステップ204では、１フレーム前の検出物体を現時刻の検出物体の１フレーム前の検出物体とみなし、その位置変化を侵入物体の移動軌跡であるとする。
次に追跡失敗判定ステップ205では、侵入物体の１フレーム前に求めた移動軌跡と現時刻に求めた移動軌跡の角度変化量を計算し、角度変化量が所定の値（例えば90 ゜）以上変化していた場合には、追跡失敗と見なす。これは、侵入物体が、通常、急激に進行方向を変えないという知見に基づく。
１フレーム前に求めた移動軌跡と現在求めた移動軌跡の変化量θは、１フレーム前に侵入物体が座標(x11,y11)から座標(x12,y12)、現在のフレームで侵入物体が座標(x21,y21)から座標(x22,y22)と移動したものとすると、次式のように算出される。
【００３３】
【数４】

【００３４】
追跡失敗判定ステップ205で追跡失敗と判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ206に進み、視野外移動判定ステップ206において、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
以上のように、追跡失敗判定ステップ205で、追跡失敗と判定された場合には、追跡失敗という追跡結果を第２の侵入物体監視装置102に送信すると述べた。尚、上記「侵入物体の追跡結果」とは、侵入物体がどのように動いたかを表す情報で、例えば、対象物体の位置や移動量や移動方向などを含む情報である。例えば、次のような、ありえない数値を侵入物体の追跡結果として第２の侵入物体監視装置102に送信するようにしても良い。例えば、カメラ101aあるいは102aによって得られる入力画像が、横256画素、縦192画素で構成され、画像上の侵入物体の座標位置（X，Y）を横軸（X軸）の0から255までの数値と縦軸（Y軸）の0から191までの数値を組合せて指定するものとする。このとき、例えば、（999，999）は上記ありえない数値として、何か予め定めたところの情報を伝えるために使用することができる。
【００３５】
また、追跡失敗判定ステップ205で追跡が行なえたと判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の位置情報と共に追跡結果を送信し、全検出物体終了判定ステップ208へ分岐する。尚、図２の右向きの太い矢印は、第１の侵入物体監視プロセスの処理結果の情報を第２の侵入物体監視プロセスを処理する第２の侵入物体監視装置のいずれかに宛てて送信することを表す。
また、侵入物体追尾割当ステップ207では、第１の通信I/F101hを介して、現在追尾を行っていない第２の侵入物体監視装置102に侵入物体の位置情報と共に追尾割当の信号を送信し、全検出物体終了判定ステップ208へ分岐する。
【００３６】
図１１は、本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例である。
通信データは、７バイトのデータ列から構成されており、STX3201、DST3202、SRC3203、COM3204、DT13205、DT23206、ETX3207の順で送信される。ここで、STX3201は、通信データの先頭バイトを表し（Start of TeXt）、例えば $A0（$ は１６進数の数値であることを表す）を用いる。更に、DST3202は送信宛先（Destination）のID（識別名）、SRC3203は送信元（Source）のIDを表し、例えば、第１の侵入物体監視装置101のIDを“1”、第２の侵入物体監視装置102のIDを“2”とした場合、第１の侵入物体監視装置101から第２の侵入物体監視装置102へ通信データを送信する場合、DST = 2、SRC = 1となる。更に、COM3204は、通信データの内容（Command）を表し、このデータで通信データが、例えば、追尾割当要求なのか、追跡結果なのか、あるいは追尾結果なのかを表す。例えば、追尾割当要求の場合はCOM = 1、追跡結果の場合はCOM = 2、追尾結果の場合はCOM = 3とする。更に、DT13205、DT23206は、付加情報１（Data 1）と付加情報２（Data 2）を表し、通信データの内容COM3204と組合わせて用いる。例えば、追尾割当要求（COM = 1）とした場合、追尾すべき対象物体がどの位置に存在するかを第２の侵入物体監視装置に送信しなければならないが、この場合、付加情報１（Data 1）に対象物体のＸ座標、付加情報２（Data 2）に対象物体のＹ座標を指定する。さらに、ETX3207は、通信データの終了バイトを表し（End of TeXt）、例えば $AFを用いる。
以上の通信データを用いることで、複数の侵入物体監視装置間で追尾割当要求、対象物体の追跡結果、対象物体の追尾結果をやり取りすることができる。なお、ここでは、通信データを７バイトのデータ列で構成したが、７バイト以外のデータ列で構成したり、また送信するデータの内容に応じて可変長にすることも可能である。
【００３７】
全検出物体終了判定ステップ208では、侵入物体検出ステップ202において検出された全ての侵入物体に対して侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行された場合に画像入力ステップ201へ分岐し、侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行されていない物体が存在する場合は新規検出物体判定ステップ203へ分岐する。
【００３８】
次に図３の第２の侵入物体監視プロセスでは、
追尾割当待ちステップ301では、第２の通信I/F102hを介して、第１の侵入物体監視プロセスから、検出物体の位置情報と追尾割当信号が送信されて来るまで待機する。
追尾割当判定ステップ302では、追尾割当信号を受信した場合にカメラ雲台制御ステップ303へ分岐し、追尾割当の信号を受信しなかった場合に追尾割当待ちステップ301へ分岐する。
【００３９】
カメラ雲台制御ステップ303では、追尾割当待ちステップ301で受信した侵入物体位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御することによってカメラ雲台102mを操作して第２のTVカメラ102aの視野1005内（図１０）に第１の侵入物体監視プロセスで検出した侵入物体1001（図１０）を捉える。
カメラ雲台102mの制御量（パン角、チルト角）は、例えば、前述の図１０で示された方法によって算出される。
【００４０】
次に画像入力ステップ304では、第２のTVカメラ102aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
初期テンプレート作成ステップ305では、画像入力ステップ304で取得した入力画像に基づき図９で説明した侵入物体検出処理を行い、検出された侵入物体をテンプレート画像として第２の画像メモリ102dに記憶する。
【００４１】
次に画像入力ステップ306では、画像入力ステップ304と同様に入力画像を取得する。
そして、侵入物体追尾ステップ307では、第２の画像メモリ102dに記憶したテンプレート画像に基づき、画像入力ステップ306で取得した入力画像のテンプレートマッチングを行ない、例えば、第１の侵入物体監視プロセスで検出した侵入物体との位置変化を検出することで侵入物体を追尾する。
テンプレートマッチングとは、ある画像中でテンプレート画像として登録された画像がどの位置に存在するかを検出するもので、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP118〜125に解説されている。
【００４２】
次に、追尾失敗判定ステップ308では、侵入物体追尾ステップ307において、テンプレートに登録した侵入物体が検出されなかった場合には第２の通信I/F102hを介して第１の侵入物体監視装置101に侵入物体の追尾結果を送信し、追尾要求待ちステップ301へ分岐する。
また侵入物体が検出された場合には、第２の通信I/F102hを介して第１の侵入物体監視手段101に侵入物体の位置情報と共に追尾結果を送信し、テンプレート更新ステップ309へ分岐する。尚、図３の左向きの太い矢印は、第２の侵入物体監視プロセスの処理結果の情報を第１の侵入物体監視プロセスを処理する第１の侵入物体監視装置に宛てて送信することを表す。
【００４３】
テンプレート更新ステップ309では、テンプレートマッチングによって検出された侵入物体の位置の画像を使って、第２の画像メモリ102dに記憶したテンプレート画像を更新する。
次に、カメラ雲台制御ステップ310では、侵入物体追尾ステップ307でテンプレートマッチングによって検出された侵入物体の位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御する。
即ち、侵入物体が、画像中央から上方に存在する場合にはカメラ雲台102mのチルト角を適量上向きに変更し、画像中央から下方に存在する場合にはカメラ雲台102mのチルト角を適量下向きに変更する。
また、侵入物体が、画像中央から左方に存在する場合にはカメラ雲台102mのパン角を適量左向きに変更し、画像中央から右方に存在する場合にはカメラ雲台102mのパン角を適量右向きに変更する。
【００４４】
なお、上述の実施例では、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれ１台ずつで侵入物体監視システムを構成したが、第２の侵入物体監視手段を複数台で構成することも可能である。
【００４５】
即ち、本発明によれば、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの制御の下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの制御の下で制御することによって、それぞれ独立に制御する。第１の侵入物体監視装置は、これによって、監視処理の処理量を分散させることができ、監視対象領域内に複数の侵入物体が存在する場合であっても、監視処理に関わる処理量が増加することなく、それぞれの侵入物体を複数の第２の侵入物体監視装置のいずれかに割り当てることによって侵入物体を追尾させることが可能となる。
【００４６】
図４と図５は、本発明の別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて追跡が行なえなくなった場合でも、第２の侵入物体監視プロセスの追尾結果に応じて第１の侵入物体監視プロセスで追跡処理を継続できるようにしたものである。
また、本実施例は更に、第２の侵入物体監視プロセスにおいて追尾が行なえなくなった場合でも、第１の侵入物体監視プロセスの追跡結果に応じて第２の侵入物体監視プロセスで追尾処理を継続できるようにしたものである。
【００４７】
図４は、図２で説明したフローチャートにおいて、追跡失敗判定ステップ205と視野外移動判定ステップ206との間に、追尾失敗判定ステップ401を追加したものである。
また図５は、図３で示されるフローチャートにおいて、追尾失敗判定ステップ308から追尾割当待ちステップ301に分岐する間に、追跡失敗判定ステップ501を追加したものである。
【００４８】
図４または図５において、追加したステップ以外のステップの処理は、図２または図３の通りなので説明を省略する。
即ち、追跡失敗判定ステップ205において、追跡失敗と見なされた場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、追尾失敗判定ステップ401に進む。
【００４９】
次に、追尾失敗判定ステップ401では、通信I/F101hを介して得られた、第２の侵入物体監視プロセスにおける追尾失敗判定ステップ308（図５）からの追尾失敗の判定に基づき、第２の侵入物体監視プロセスで追尾が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）には、視野外移動判定ステップ206に分岐する。
また、追尾が継続して行なわれている場合には全検出物体終了判定ステップ208へ分岐する。
そして、視野外移動判定ステップ206では、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
【００５０】
図５において、追跡失敗判定ステップ501では、通信I/F102hを介して得られた、第１の侵入物体監視プロセスによる追跡失敗判定ステップ205（図４）から送信された追跡結果に基づき、第１の侵入物体監視プロセスで追跡が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）に追尾割当持ちステップ301へ分岐する。
また、第１の侵入物体監視プロセスで追跡が継続して行なわれている場合には、カメラ雲台制御ステップ303へ分岐して侵入物体を継続して追尾する。
【００５１】
即ち、上記本発明によると、第１の侵入物体監視装置と第２の侵入物体監視装置とがそれぞれ独立に制御されることによって、少なくとも片方の侵入物体監視プロセスで侵入物体を検出できていれば監視処理を継続することができるため、監視システムの信頼性を向上させることができる。
【００５２】
更に、図６は、本発明の更に別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて、入力I/F101gを介して、入力装置105から入力されたユーザ操作に応じて監視モニタ106に表示する監視結果画像を切り替えるものである。
図６は、図４で説明した処理フローチャートの全検出物体終了判定ステップ208によって全ての検出物体の処理を終了したと判断された後に、ユーザ入力判定ステップ601と出力画像切替ステップ602を追加したものである。
【００５３】
図６において、ユーザ入力判定ステップ601では、入力I/F101gを介して、入力装置105からのユーザ入力を監視し、ユーザが入力装置105を操作した場合に出力画像切替ステップ602へ分岐し、操作していない場合は画像入力ステップ201へ分岐する。
出力画像切替ステップ602では、ユーザの入力操作に応じて画像切替合成装置106を制御し、監視モニタ106へ出力する監視結果画像を切り替える。
【００５４】
図７に、第１の侵入物体監視装置１台と第２の侵入物体監視装置３台とで構成した場合の監視モニタ106へ表示される監視結果の画像の一例を示す。
図７は、監視対象領域内に２人の侵入者が存在する場面で、１台目（監視モニタ103で表示中のカメラ2）と２台目（監視モニタ103で表示中のカメラ3）の第２の侵入物体監視装置が、それぞれの侵入物体の追尾をそれぞれ行ない、３台目（監視モニタ103で表示中のカメラ4）の第２の侵入物体監視装置は待機中（追尾割当待ちステップ301及び追尾割当判定ステップ302を実行）の状態にあることを表す。
【００５５】
監視結果画像701は４台のカメラの監視結果画像を画面を４分割して表示したものである。また、監視結果画像702は第１の侵入物体監視装置の監視結果画像を表示し、視野内に写る２人の侵入者の移動軌跡702aと702bを表示したものである。更に、監視結果画像703は１台目の第２の侵入物体監視装置の監視結果画像を表示し、侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路703aが確認できるように表示したものである。また更に、監視結果画像704は２台目の第２の侵入物体監視装置の監視結果画像を表示し、監視結果画像703と同様に侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路704aが確認できるように表示したものである。
【００５６】
これらの監視結果画像は、ユーザからの入力操作がある度に監視結果画像701、702、703、704、701と表示（３台目の第２の侵入物体監視装置は待機中であるためスキップされる）される。
本発明によると、ユーザからの入力に応じて侵入物体の移動経路や細かな表情といった監視業務上重要な情報を監視員等に提供することができる。
【００５７】
【発明の効果】
以上のように本発明によれば、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれに内在するCPUの制御の下でそれぞれ独立に制御することによって、監視処理対象領域内の複数の侵入物体を追尾できるため、侵入物体監視システムの処理量を分散することができる。更に、１台の侵入物体監視装置が侵入物体を見失ったとしても、別の侵入物体監視装置によって侵入物体を検出できていれば、その情報を例えば通信ケーブル等を介して受け取ることにより、その情報を利用して侵入物体の監視を継続することができるため、迅速で効率的かつ正確な侵入物体監視が可能となった。これによって、侵入物体の監視性能を著しく向上させることができるため、侵入物体監視システムの適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の侵入物体監視システムの構成の一実施例を示すブロック図。
【図２】 本発明の一実施例の処理動作を説明するためフローチャート。
【図３】 本発明の一実施例の処理動作を説明するためフローチャート。
【図４】 本発明の一実施例の処理動作を説明するためフローチャート。
【図５】 本発明の一実施例の処理動作を説明するためフローチャート。
【図６】 本発明の一実施例の処理動作を説明するためフローチャート。
【図７】 本発明の監視モニタに表示される画像の一実施例を示す図。
【図８】 従来の２種類のカメラを用いた監視システムについて説明するための図。
【図９】 侵入物体検出処理方法の原理の一例を説明する図。
【図１０】 第１のカメラが検出した侵入物体を、第２のカメラが追尾する方法を説明するための図。
【図１１】 本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例。
【符号の説明】
101：第１の侵入物体監視装置、 101a：第１のカメラ、 101b：第１の画像入力I/F、 101c：第１のCPU、 101d：第１の画像メモリ、 101e：第１のプログラムメモリ、 101f：第１のワークメモリ、 101g：入力I/F、 101h：第１の通信I/F、 101i：第１の画像出力I/F、 101j：第１の出力I/F、 101k：第１のデータバス、 102：第２の侵入物体監視装置、 102a：第２のカメラ、 102b：第２の画像入力I/F、 102c：第２のCPU、 102d：第２の画像メモリ、 102e：第２のプログラムメモリ、 102f：第２のワークメモリ、 102h：第２の通信I/F、 102i：第２の画像出力I/F、 102j：第２の出力I/F、 102k：第２のデータバス、 102l：雲台制御装置、 102m：カメラ雲台、 103：監視モニタ、 104：警告灯、 106：入力装置、 106：画像切替合成装置、 107：通信ケーブル、 801：侵入物体、 802：第１のカメラ、 803：第２のカメラ、 804：監視対象領域、 805：第２のカメラの視野範囲、 901，902，903：入力画像、 904，905：差分画像、 906，907：二値化画像、 908：論理積画像、 909，910：減算器、 911，912：二値化器、 913：論理積器、 914，915，916：物体、 917，918：領域、 919，920，921：画像、 1001：侵入物体、 1002：第１のカメラ、 1003：第２のカメラ、 1004，1005：視野範囲。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system, and in particular, a first intruding object monitoring apparatus that images the entire monitoring target area and a second intruding object monitoring apparatus that controls the visual field direction of the imaging apparatus to follow the movement of the intruding object. The present invention relates to an intruding object monitoring method and an intruding object monitoring system that automatically monitor an intruding object independently of each other.
[0002]
[Prior art]
In recent years, intrusion object monitoring systems that use image input means such as cameras and other image input means in an intrusion object monitoring system do not rely on conventional methods of manned monitoring by observers, Automatically detects and controls the camera platform on which the camera is mounted based on the detection position of the intruding object so that the intruding object is always captured within the camera's field of view, and changes the camera's line-of-sight direction etc. There are some which can obtain a predetermined notification, alarm, intrusion object video recording and the like.
[0003]
As such a system, for example, there is a monitoring system composed of two types of cameras as shown in FIG. FIG. 8 is a diagram for explaining an intruding object monitoring system assuming tank yard monitoring.
In FIG. 8, the first camera 802 is an image input unit that continuously captures the entire monitoring target area 804 every predetermined time. The first monitoring means including the first camera 802 detects the detection information of the intruding object 801 from a plurality of frame images taken at different times, and sends the detected information on the intruding object 801 to the second camera 803. give. The second camera 803 is an image input unit that automatically tracks the intruding object 801 in accordance with detection information of the intruding object 801 given from the first camera 802 and continuously captures it at a predetermined time. .
[0004]
Further, the first monitoring means continues to monitor the entire monitoring target area 804, and further tracks the detected intruding object 802.
Here, “tracking” and “tracking” in the description of the present specification are defined as follows.
Tracking: A process of measuring a change in position on the screen of a target object that appears in the field of view of an imaging device such as a monitoring camera. For example, the temporal change from when the target object is detected to when it is no longer detected is monitored and recorded, for example, by obtaining the movement trajectory of the target object for the entire monitoring target region.
Tracking: A process involving pan head control (control in the optical axis direction of the camera) of the imaging apparatus. For example, the direction of the optical axis is controlled so that the current time position of the moving target object is always captured at the center of the optical axis of the camera, and the area portion of the target object that is a part of the monitoring target area is always followed.
[0005]
A method for the second camera 803 to track the intruding object 801 detected by the first camera 802 will be briefly described with reference to FIGS. 8 and 9.
In FIG. 8, for a plurality of frames of images input at different times obtained by the first camera 802, a difference in luminance value is obtained for each pixel, and an area having a large difference is detected as an intruding object 801. Further, when the intruding object 801 is detected, the pan head on which the second camera 803 is placed is controlled from the first camera 802 side based on the detection position of the intruding object. As a result, the intruding object 801 can always be captured within the field of view 805 of the second camera 803.
[0006]
FIG. 9 is a diagram for explaining the principle of the intruding object detection processing method by the first camera 802. This method is called an inter-frame difference method or the like and has been widely used conventionally.
In FIG. 9, a subtractor 909 calculates a luminance value difference for each pixel between the input image 901 acquired at time t 0-1 and the input image 902 acquired at time t 0, and the input image 901 and the input image 902 are A difference image 904 is output. Similarly, the subtractor 910 calculates a difference in luminance value for each pixel between the input image 902 acquired at time t0 and the input image 903 acquired at time t0 + 1, and a difference image between the input image 902 and the input image 903 is calculated. 905 is output.
Next, the binarizer 911 sets the luminance value for each pixel of the difference image 904 to a luminance value less than a predetermined threshold value “0”, and the luminance value of a pixel equal to or higher than the threshold value Th to “255”, for example. "(Luminance value of one pixel is calculated with 8 bits) to obtain a binary image 906. The binarizer 912 also performs the same processing, and obtains a binarized image 907 from the difference image 905.
[0007]
Next, the logical product unit 913 calculates a logical product of luminance values for each pixel of the binarized image 906 and the binarized image 907, and outputs a logical product image 908. As a result, the humanoid objects 914, 915, and 916 shown in the input images 901, 902, and 903 are calculated as regions 917 or 918 in which a difference is generated by the subtractor 909 or 910. The binarizer 911 or 912 extracts the image 919 or 920 having a luminance value of “255”, and the logical product 913 uses both the luminance values of the pixels constituting the images 919 and 920. A block image 921 of pixels having “255” is detected. That is, the pixel 921 is detected as an intruding object.
Note that any method other than the inter-frame difference method can be applied as long as it is a method for detecting an intruding object in the monitoring area.
[0008]
As described above, when an intruding object is detected by the first camera 802, based on the information on the size and detection position of the intruding object 801 detected by the first camera 802, the first camera 802 A control signal is given to the second camera 803. As a result, the direction of the monitoring visual field range 805 of the second camera 803 (the direction of the pan head) is controlled. Accordingly, the second camera 803 can capture the intruding object 801.
[0009]
A method for obtaining the control amount of the pan head of the second camera 803 will be described with reference to FIG. FIG. 10 is a diagram for explaining a method of tracking the intruding object 1001 detected in the visual field range 1004 of the first camera 1002 with the second camera 1003. In FIG. 10, the first camera 1002 and the second camera 1003 are installed at the same position for simplification, the direction of the center (optical axis) of the field of view of the first camera 1002 and the direction of the reference field of view of the second camera 1003. (The pan head control angle is set to pan 0 °, tilt 0 °), and the display is focused on only the x-axis direction.
[0010]
In FIG. 10, 2W is the number of pixels (unit: pix) in the horizontal (x-axis) direction of the input image for the entire field of view (monitoring target area) 1004 of the first camera 1002, and Δx is the first intruding object detected. Horizontal displacement from the center of the field of view of the camera 1002 (unit: pix), θw is the semi-monitoring angle (unit: °) of the first camera 1002, and θx is the pan control angle of the pan head of the second camera 1003 ( Unit: °). Here, the semi-monitoring angle θw of the first camera 1002 includes the horizontal size h (unit: mm) of the image sensor of the first camera 1002 and the focal length f (unit: mm) of the first camera 1002. )
[Expression 1]

It can be expressed as.
[0011]
In this monitoring condition, the number of pixels in the horizontal direction of the input image is 2 W, the displacement Δx in the horizontal direction from the center of the field of view of the first camera 1002 at the detection position of the intruding object 1001, and the semi-monitoring angle of the first camera 1002 θw and the pan control angle θx of the pan head of the second camera 1003 are
[Expression 2]

There is a relationship.
[0012]
That is, the pan control angle θx of the pan head of the second camera 1003 is
[Equation 3]

It becomes.
[0013]
For example, the semi-monitoring angle θw is 30 °, the number of pixels 2W in the horizontal direction of the input image of the first camera 1002 is 320 pix, and the displacement Δx of the detected intruding object from the field of view of the first camera 1002 is 40. In this case, the pan control angle of the pan head of the second camera 1003 is 8.2 °.
[0014]
As described above, when a plurality of frames of images input at different times by the first camera 1002 are compared to find a difference in luminance value for each pixel, and a region with a large difference is detected as an intruding object 1001, The camera platform of the second camera 1003 is controlled by a control signal sent from the first camera 1002 based on the size and detection position of the intruding object 1001. As a result, since the intruding object 1001 can always be captured within the field-of-view range 1005 of the second camera 1003, the second camera 1003 can always automatically track the moving intruding object.
As a monitoring device having the above two camera configurations, there are, for example, JP-A-5-334572 and JP-A-6-153051.
[0015]
[Problems to be solved by the invention]
In the prior art described above, when a plurality of second cameras are controlled to track a plurality of intruding objects, the first camera has a plurality of second in proportion to the number of intruding objects. Since the camera is controlled, there is a drawback that the processing amount of the first camera increases.
Further, when the intruding object cannot be temporarily detected by the first camera, there is a disadvantage that the tracking cannot be continuously performed even if the second camera is in a position where the intruding object can be captured. there were.
[0016]
An object of the present invention is to process an input image signal obtained by a first camera with a first image processing device, process an input image signal obtained by a second camera with a second image processing device, The object is to enable tracking of a plurality of intruding objects by distributing the monitoring processing load by independently controlling the image processing process.
Still another object of the present invention is to perform control so as to continue monitoring processing based on the processing result of the other image processing apparatus even when an intruding object is temporarily lost in one image processing apparatus. The intruding object can be monitored by at least one of the first or second intruding object monitoring device, and the monitoring process is continued based on the processing result of another intruding object monitoring device even if the intruding object is temporarily lost. Accordingly, it is an object of the present invention to provide a highly reliable intruding object monitoring method and intruding object monitoring system that tracks an intruding object quickly, efficiently and accurately.
[0017]
[Means for Solving the Problems]
In order to achieve the above object, the intruding object monitoring system of the present invention includes first and second intruding object monitoring apparatuses that execute independent image processing means.
Then, the first intruding object monitoring device detects the first information of the object that enters the monitoring target area, and sends the first information from the first intruding object monitoring device to the second intruding object monitoring device. The intruding object is captured by the second intruding object monitoring device based on the first information sent from the first intruding object monitoring device, and the second intruding object detecting device captures the second of the captured intruding object. The second intrusion object monitoring apparatus tracks at least the captured intrusion object by controlling at least the camera of the second intrusion object monitoring apparatus without the control of the first intrusion object monitoring apparatus.
The first intruding object monitoring apparatus tracks the intruding object, and when the intruding object cannot be tracked by the first intruding object monitoring apparatus, the second intruding object monitoring apparatus performs second intruding object monitoring. Get information and keep track of it.
Further, when the tracking of the object by the second intruding object monitoring device becomes impossible, the first information on the intruding object is acquired from the first intruding object monitoring device and the tracking is continued.
[0018]
Furthermore, the intruding object monitoring method of the present invention includes a first intruding object monitoring device having a visual field range that covers a monitoring target region, and at least one of the visual field range of the first intruding object monitoring device as a monitoring region. A first image input step of inputting an image of a monitoring target area by the first intrusion object monitoring device using a second intrusion object monitoring system, and a first image input step. A first detection step of detecting first information of the intruding object from the image input by the step of controlling the second intruding object monitoring device according to the first information and inputting an image of the monitoring area, A second image input step for capturing the image and a second detection step for detecting the second information of the intruding object in the monitoring area by the second intruding object monitoring device, and detecting by the second detecting step. Shi In response to the second information, to track the intruding object by controlling the second intruder monitoring device.
The second information detected by the second detection step is information including the size and detection position of the intruding object, and the tracking of the intruding object captured by the second intruding object monitoring device is the second information. Based on this, the pan head of the second intruding object monitoring device is controlled to change the line-of-sight direction of the imaging device.
[0019]
Further, in the first detection step, the first information of the intruding object is detected by a difference method, and in the second detection step, the second information of the intruding object is detected by a template matching method.
In addition, there is a new detection object determination step for determining whether or not the intruding object is a newly detected intruding object. If the intruding object is a newly detected intruding object, the newly detected intruding object is If the intruding object is determined not to be a newly detected intruding object, it is determined that the intruding object is being tracked by the first intruding object monitoring apparatus. The change from the previous position to the current position of the intruding object is set as the movement locus of the intruding object being tracked.
Still further, an image captured by the second intruding object monitoring device is displayed on a display device, and the moving locus of the intruding object is superimposed on the image of the intruding object imaged by the second intruding object monitoring device. And
In addition, when the first intruding object monitoring apparatus detects a new intruding object, the first intruding object monitoring apparatus tracks one of the second intruding object monitoring apparatuses that are not tracking the intruding object.
[0020]
Furthermore, in the intruding object monitoring method of the present invention, the intruding object monitoring method further includes a new detected object determining step for determining whether or not the intruding object is a newly detected intruding object. When the monitoring device detects a new intruding object, the monitoring device transmits the third information of the newly detected intruding object to one of the second intruding object monitoring devices that are not tracking the intruding object. In response to the third information, the second intruding object monitoring device captures the newly detected intruding object. After the capturing, the second intruding object monitoring device captures the captured intruding object as the first intruding object. It is controlled independently from the monitoring device.
Further, when it is determined by the new detected object determination step that the intruding object is not a newly detected intruding object, the previous intruding object is determined to be an intruding object being tracked by the first intruding object monitoring device. The change from the position of the current intruding object to the current position of the intruding object is used as the movement locus of the intruding object being tracked.
,
Furthermore, in the intruding object monitoring method of the present invention, the intruding object detection information detected at the current time by the second detection step is compared with the intruding object detection information detected before, and the detected information A tracking determination step for determining whether the tracking of the object has failed or succeeded according to the difference is provided. If it is determined that the tracking has failed, the second information detected by the first detection step is further acquired. And continue tracking.
Further, the first information and the second information are exchanged between the first intruding object monitoring method and the second intruding object monitoring method, thereby monitoring the intruding object in the monitoring area.
Furthermore, a screen switching input step for inputting a screen switching request from the user is provided, and first detection information input from the first intruding object monitoring device and second information input from the second intruding object monitoring device. In response to the screen switching request from the user, the display method of the input first detection information and second detection information is changed.
Further, the screen switching input step further displays the locus of the intruding object designated by the user in an overlapping manner.
[0022]
An intruding object monitoring system according to the present invention includes a first intruding object monitoring device that captures an image of a monitoring target region and detects first information of an intruding object that enters the monitoring target region, and a first intruding object monitoring device. And detecting at least one second intruding object monitoring device for capturing the intruding object and tracking the intruding object captured without the control of the first intruding object monitoring device based on the first information detected by the Monitor intruding objects entering the target area.
The first intruding object monitoring device includes an intruding object monitoring processing unit, and the second intruding object monitoring device is independent of the intruding object monitoring processing unit of the first intruding object monitoring device. And the second intruding object monitoring device tracks the intruding object detected by the first intruding object monitoring device independently of the first intruding object monitoring device.
Furthermore, the second intruding object monitoring device detects second information on the captured intruding object, and tracks the intruding object detected by the first intruding object monitoring device based on the second information.
Further, the intruding object monitoring processing unit of the first intruding object monitoring apparatus of the first intruding object monitoring apparatus determines whether or not an intruding object is newly detected. When it is determined that an intruding object is newly detected, the tracking of the newly detected intruding object is assigned to the second intruding object monitoring apparatus that has not been tracked, and the assigned second intruding object monitoring apparatus Captures and tracks newly detected intruding objects.
In addition, the second intruding object monitoring device includes a pan head, and the second intruding object monitoring device controls the pan head based on the first information to capture the intruding object. The intruding object monitoring device tracks the intruding object by controlling the pan head based on the second information. In addition, a display device that displays the first information and the second information is provided, and information on the intruding object is displayed according to a user instruction. The information on the intruding object includes a trajectory extracted from the first information and the second information.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
First, an embodiment of the intruding object monitoring system of the present invention will be described with reference to FIG.
FIG. 1 is a block diagram showing a hardware configuration of the intruding object monitoring system.
In the first intruding object monitoring apparatus 101 and the second intruding object monitoring apparatus 102, a first communication I / F 101h and a second communication I / F 102h are connected by a communication cable 107.
Further, on the first intruding object monitoring apparatus 101 side, the first input I / F 101g is connected to the input apparatus 105. Further, the first output I / F 101j is connected to the control signal input terminal of the image switching composition device 106, and is also connected to the warning lamp 104.
Furthermore, the first image output I / F 101i on the first intruding object monitoring device 101 side and the second image output I / F 102i on the second intruding object monitoring device 102 side are sent to the image switching composition device 106. The image switching composition device 106 is connected to a monitor monitor 103.
[0024]
In the first intruding object monitoring apparatus 101, the first camera 101a is connected to the first image input I / F 101b, the first image input I / F 101b, the first CPU 101c, the first image memory 101d, The first program memory 101e, the first work memory 101f, the first input I / F 101g, the first communication I / F 101h, the first image output I / F 101i, and the first output I / F 101j are the first Are respectively connected to the data bus 101k.
In the second intruding object monitoring apparatus 102, the second camera 102a is connected to the second image input I / F 102b, the second camera 102a is installed on the camera head 102m, and the second output I / F F102j is connected to a pan head control device 102l, and the pan head control device 102l is connected to a camera pan head 102m. In addition, the second image input I / F 102b, the second CPU 102c, the second image memory 102d, the second program memory 102e, the second work memory 102f, the second communication I / F 102h, and the second image output The I / F 102i and the second output I / F 102j are respectively connected to the second data bus 102k.
[0025]
In FIG. 1, a first camera 101a continuously captures an entire imaging field including a monitoring target area at a predetermined time, converts the captured image into a video signal, and converts the video signal into a first signal. Give to image input I / F101b. The first image input I / F 101b converts the input video signal into image data in a format (for example, width 320 pix, height 240 pix, 8 bit / pix) that is handled by the intruding object monitoring system. The data is sent to the first image memory 101d via the bus 101k.
The first image memory 101d accumulates input image data. The first CPU 101c uses the first work memory 101f as a processing work area in accordance with a program stored in the first program memory 101e, and analyzes an image stored in the first image memory 101d.
As a result of the above analysis, the first intruding object monitoring apparatus 101 determines whether or not an intruding object has entered the imaging field of view of the first camera 101a. Detection information such as the size and detection position of the object is obtained. The first CPU 101c determines whether there is an intruding object from the first data bus 101k to the second intruding object monitoring device 102 via the first communication I / F 101h according to the processing result, the position information of the intruding object, and the intruding object. Send tracking results and other detection information. Furthermore, when a new intruding object is discovered, the second intruding object monitoring device 102 to which tracking is not yet assigned among the second intruding object monitoring devices 102 via the first communication I / F 101h. The intruding object tracking assignment and the position information of the target object are transmitted to, for example, the warning lamp 104 is turned on via the first output I / F 101j, or the monitoring result image is output to the first image, for example. This is given to the image switching composition device 106 via the I / F 101i.
[0026]
The first communication I / F 101h converts transmission data from the first CPU 101c into, for example, an RS485 format, and one or more other second intruding object monitoring devices (in FIG. 1) connected by the communication cable 107. One unit is drawn as a representative, and the following description is also transmitted to the second intruding object monitoring apparatus 102 with reference numerals of the constituent elements as a representative). Also, the first image output I / F 101i converts the signal from the first CPU 101c into a format (for example, NTSC video signal) that can be used by the image switching synthesizer 106, and sends it to the image switching synthesizer 106.
Further, the number of monitoring monitors does not have to be one, but two or more may be used, and the contents to be displayed can be freely changed according to the user's request.
In addition, the physical connection among the first intruder monitoring device 101 and the second intruder monitoring device 102, the input device 105, the image switching / combining device 106, the warning light 104, and the monitoring monitor 103 is the same as in the above-described embodiment. It goes without saying that any other method can be used as long as it can transmit necessary information and signals.
[0027]
Next, the second camera 102a continuously captures images within the imaging field of view of the second camera 102a at predetermined times. The camera head 102m changes the imaging direction of the second camera 102a according to a head control signal provided by the head control device 102l. The second camera 102a converts the captured image into a video signal, and provides the converted video signal to the second image input I / F 102b. The second image input I / F 102b converts the input video signal into image data in a format (for example, width 320 pix, height 240 pix, 8 bit / pix) that can be handled by the second intruding object monitoring apparatus 102. The data is converted and sent to the second image memory 102d via the second data bus 102k. The second image memory 102d stores the sent image data. The second CPU 102c analyzes the image stored in the second image memory 102d in the second work memory 102f in accordance with the program stored in the second program memory 102e. As a result of the above analysis, detection information such as that an intruding object has entered the imaging field of view of the second camera 102a is obtained.
[0028]
The second CPU 102c transmits a control signal from the second data bus 102k to the pan head control device 102j via the second output I / F 102j according to the processing result, and via the second communication I / F 102h. Then, the detection information such as the position information of the intruding object and the intruding object tracking result is transmitted to the first intruding object monitoring apparatus 101. Furthermore, the detection information, for example, the monitoring result image is provided to the image switching composition device 106 via the second image output I / F 102i.
The second communication I / F 102h converts transmission data from the second CPU 102c into, for example, an RS485 format, and transmits the converted data to the first intruding object monitoring apparatus connected by the communication cable 107. Further, when one or more other second intrusion object monitoring devices are connected by the communication cable 107, the second communication I / F 102 h is connected to the other second intrusion via the communication cable 107. The transmission data from the second CPU 102c is also transmitted to the object monitoring apparatus 102. Also, the second image output I / F 102i converts the signal from the second CPU 102c into a format (for example, NTSC video signal) that can be used by the image switching synthesizer 106, and sends it to the image switching synthesizer 106.
[0029]
Furthermore, the input device 105 performs input such as switching of a display image in response to an instruction from the user such as a mouse operation or a keyboard operation, and the monitoring monitor 103 receives the first intruding object via the image switching composition device 106. The monitoring result images by the monitoring device 101 and the second intruding object monitoring device 102 are displayed, for example, by arranging two screens side by side according to an instruction input from the user, or switching one of them.
The flowcharts described below are all described with reference to FIG. 1 which is an example of the hardware configuration of the intruding object monitoring system.
[0030]
2 and 3 are flowcharts for explaining an example of the processing procedure of the intruding object monitoring method according to the embodiment of the present invention, which will be described below with reference to the intruding object monitoring system of FIG. 1 described above.
In the present embodiment, an intruding object is detected from image signals sequentially input from a first imaging device (first camera) that captures an image of the entire monitoring target region, and the position change of the detected intruding object is tracked. 1 based on the tracking assignment request and the position information of the intruding object given by the first intruding object monitoring device when it is determined by the first intruding object monitoring process that the intruding object exists. Thus, the second imaging device (second camera) detects the intruding object in the sequentially input image signal, and always captures the intruding object in the field of view of the second imaging device while controlling the pan head. A second intruding object monitoring process for tracking, wherein the first intruding object monitoring process is controlled under the CPU 101c of the first intruding object monitoring apparatus 101, and the second intruding object monitoring process is controlled by the second intruding object monitoring process. Intruder monitoring equipment The control is performed independently by controlling the CPU 102c of the device 102. This is a method of tracking an intruding object in the monitoring processing target area.
FIG. 2 is a flowchart for explaining an embodiment of the first intruding object monitoring process, and FIG. 3 is a flowchart for explaining an embodiment of the second intruding object monitoring process.
[0031]
In FIG. 2, when monitoring of the intruding object is started,
In the image input step 201, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from the first camera 101a.
In the intruding object detection step 202, for example, as described with reference to FIG. 9, an intruding object detection process is performed based on the input image.
Next, in a new detection object determination step 203, the detection position of the detected object is compared with the detection position of the detection object one frame before, and the change amount of the detection position is obtained. If the obtained change amount is less than a predetermined amount (an amount depending on the viewing angle of the first camera 101a, for example, 50 pixels (50 pix)), the detected object is also present one frame before, That is, it is determined that the detected object is not a new detected object, and the process branches to the intruding object tracking step 204. Here, the time interval at which the input image is acquired in the image input step 201 is, for example, 100 msec. Therefore, “one frame before” is the time before 100 msec. If the amount of change is greater than or equal to the predetermined amount, the detected object has been detected at a location more than the distance that the previously detected object is expected to move, so that the intruding object tracking allocation step 207 is detected as a newly detected object. Branch to
[0032]
In the intruding object tracking step 204, the detected object one frame before is regarded as the detected object one frame before the detected object at the current time, and the position change is assumed to be the movement locus of the intruding object.
Next, in the tracking failure determination step 205, the angle change amount of the movement locus obtained one frame before the intruding object and the movement locus obtained at the current time is calculated, and the angle change amount changes by a predetermined value (for example, 90 °) or more. If it does, it is regarded as a tracking failure. This is based on the finding that intruders usually do not change direction of travel abruptly.
The amount of change θ between the movement trajectory obtained one frame ago and the current movement trajectory is as follows: the intruding object coordinates (x11, y11) from the coordinates (x11, y11) one frame ago, and the intruding object coordinates (x12, y12) Assuming that the coordinate (x22, y22) is moved from x21, y21), the following equation is calculated.
[0033]
[Expression 4]

[0034]
If the tracking failure determination step 205 determines that the tracking has failed, the tracking result of the intruding object is transmitted to the second intruding object monitoring device 102 via the first communication I / F 101h, and the out-of-field movement determination is performed. Proceeding to step 206, in the out-of-field movement determination step 206, a signal is sent to the monitor monitor 103 via the image switching composition device 106, and the monitor monitor 103 displays, for example, “missing intruding object” and the like, and all detected objects are terminated. Processing branches to decision step 208.
As described above, it has been described that when it is determined that the tracking failure has occurred in the tracking failure determination step 205, the tracking result of the tracking failure is transmitted to the second intruding object monitoring device 102. The “tracking result of the intruding object” is information indicating how the intruding object has moved, for example, information including the position, moving amount, moving direction, and the like of the target object. For example, an impossible numerical value such as the following may be transmitted to the second intruding object monitoring apparatus 102 as a tracking result of the intruding object. For example, the input image obtained by the camera 101a or 102a is composed of 256 pixels horizontally and 192 pixels vertically, and the coordinate position (X, Y) of the intruding object on the image is from 0 to 255 on the horizontal axis (X axis). Specify a combination of a numeric value and a numeric value from 0 to 191 on the vertical axis (Y axis). At this time, for example, (999, 999) can be used as the above-mentioned impossible numerical value to convey information of a predetermined place.
[0035]
If it is determined in the tracking failure determination step 205 that the tracking can be performed, the tracking result together with the position information of the intruding object is transmitted to the second intruding object monitoring device 102 via the first communication I / F 101h. Then, the process branches to the all detection object end determination step 208. 2 indicates that the information on the processing result of the first intruding object monitoring process is sent to one of the second intruding object monitoring apparatuses that processes the second intruding object monitoring process. Represents.
In the intruding object tracking assignment step 207, a tracking assignment signal is transmitted together with the position information of the intruding object to the second intruding object monitoring device 102 that is not currently tracking through the first communication I / F 101h. The process branches to the all detection object end determination step 208.
[0036]
FIG. 11 is an example showing a configuration of communication information flowing through the communication cable 107 according to the embodiment of this invention.
The communication data is composed of a 7-byte data string, and is transmitted in the order of STX3201, DST3202, SRC3203, COM3204, DT13205, DT23206, and ETX3207. Here, STX3201 represents the first byte of communication data (Start of TeXt), for example, $ A0 ($ represents a hexadecimal number) is used. Further, DST3202 represents the ID (identification name) of the transmission destination (Destination), SRC3203 represents the ID of the transmission source (Source), for example, the ID of the first intruding object monitoring device 101 is “1”, and the second intruding object When the ID of the monitoring apparatus 102 is “2”, when communication data is transmitted from the first intruding object monitoring apparatus 101 to the second intruding object monitoring apparatus 102, DST = 2 and SRC = 1. Further, the COM 3204 indicates the content (Command) of the communication data, and this data indicates whether the communication data is, for example, a tracking assignment request, a tracking result, or a tracking result. For example, COM = 1 for a tracking allocation request, COM = 2 for a tracking result, and COM = 3 for a tracking result. Furthermore, DT13205 and DT23206 represent additional information 1 (Data 1) and additional information 2 (Data 2), and are used in combination with communication data content COM3204. For example, in the case of a tracking allocation request (COM = 1), the position of the target object to be tracked must be transmitted to the second intruding object monitoring apparatus. In this case, additional information 1 (Data Specify the X coordinate of the target object in 1) and the Y coordinate of the target object in additional information 2 (Data 2). Furthermore, ETX 3207 represents the end byte of communication data (End of TeXt), and uses, for example, $ AF.
By using the above communication data, a tracking allocation request, a tracking result of the target object, and a tracking result of the target object can be exchanged between a plurality of intruding object monitoring devices. Although the communication data is composed of a 7-byte data string here, it can be composed of a data string other than 7 bytes, or can have a variable length according to the content of data to be transmitted.
[0037]
In the all detection object end determination step 208, when the intruding object tracking step 204 or the intruding object tracking assignment step 207 is executed for all the intruding objects detected in the intruding object detecting step 202, the process branches to the image input step 201. If there is an object for which the intruding object tracking step 204 or the intruding object tracking assignment step 207 has not been executed, the process branches to the new detected object determining step 203.
[0038]
Next, in the second intruding object monitoring process of FIG.
In the tracking allocation waiting step 301, the process waits until the position information of the detected object and the tracking allocation signal are transmitted from the first intruding object monitoring process via the second communication I / F 102h.
In the tracking allocation determination step 302, the process branches to the camera head control step 303 when the tracking allocation signal is received, and branches to the tracking allocation waiting step 301 when the tracking allocation signal is not received.
[0039]
In the camera head control step 303, the camera head 102m is operated by controlling the head control device 102l via the second output I / F based on the intruding object position received in the tracking allocation waiting step 301. The intruding object 1001 (FIG. 10) detected by the first intruding object monitoring process is captured in the visual field 1005 (FIG. 10) of the second TV camera 102a.
The control amount (pan angle, tilt angle) of the camera head 102m is calculated by, for example, the method shown in FIG.
[0040]
Next, in an image input step 304, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from the second TV camera 102a.
In the initial template creation step 305, the intruding object detection process described with reference to FIG. 9 is performed based on the input image acquired in the image input step 304, and the detected intruding object is stored in the second image memory 102d as a template image.
[0041]
Next, in an image input step 306, an input image is acquired as in the image input step 304.
In the intruding object tracking step 307, template matching of the input image acquired in the image input step 306 is performed based on the template image stored in the second image memory 102d, for example, detected by the first intruding object monitoring process. The intruding object is tracked by detecting a change in position with the intruding object.
Template matching is to detect where an image registered as a template image exists in a certain image. For example, “Introduction to computer image processing” by Hideyuki Tamura published by Soken Publishing in 1985. Is described in pages 118-125 of the book entitled.
[0042]
Next, in the tracking failure determination step 308, if the intruding object registered in the template is not detected in the intruding object tracking step 307, the first intruding object monitoring device 101 is informed via the second communication I / F 102h. The tracking result of the intruding object is transmitted, and the process branches to the tracking request waiting step 301.
If an intruding object is detected, the tracking result is transmitted together with the position information of the intruding object to the first intruding object monitoring means 101 via the second communication I / F 102h, and the process branches to the template update step 309. Note that the thick left arrow in FIG. 3 indicates that information on the processing result of the second intruding object monitoring process is transmitted to the first intruding object monitoring apparatus that processes the first intruding object monitoring process.
[0043]
In the template update step 309, the template image stored in the second image memory 102d is updated using the image of the position of the intruding object detected by template matching.
Next, in the camera head control step 310, the head control device 102l is controlled via the second output I / F based on the position of the intruding object detected by template matching in the intruding object tracking step 307.
That is, when the intruding object is present above the center of the image, the tilt angle of the camera head 102m is changed upward by an appropriate amount, and when the intruding object is present from the center of the image, the tilt angle of the camera head 102m is decreased by an appropriate amount. Change to
If an intruding object is present to the left from the center of the image, the pan angle of the camera head 102m is changed to the left by an appropriate amount.If the intruding object is present to the right from the center of the image, the pan angle of the camera head 102m is changed. Change the right amount to the right.
[0044]
In the above-described embodiment, the intruding object monitoring system is configured by one each of the first intruding object monitoring device and the second intruding object monitoring device. However, a plurality of second intruding object monitoring units are provided. It is also possible to configure.
[0045]
That is, according to the present invention, the first intruding object monitoring process is controlled under the control of the CPU 101c of the first intruding object monitoring apparatus 101, and the second intruding object monitoring process is controlled by the second intruding object monitoring apparatus 102. By controlling under the control of the CPU 102c, each is controlled independently. Thus, the first intruding object monitoring apparatus can distribute the processing amount of the monitoring process, and the processing amount related to the monitoring process increases even when a plurality of intruding objects exist in the monitoring target area. Without entering, it is possible to track the intruding object by assigning each intruding object to any of the plurality of second intruding object monitoring devices.
[0046]
4 and 5 are flowcharts for explaining an example of the processing procedure of the intruding object monitoring method according to another embodiment of the present invention.
In the present embodiment, even when tracking cannot be performed in the first intruding object monitoring process, the tracking process can be continued in the first intruding object monitoring process according to the tracking result of the second intruding object monitoring process. Is.
Further, according to the present embodiment, even when tracking cannot be performed in the second intruding object monitoring process, the tracking process can be continued in the second intruding object monitoring process according to the tracking result of the first intruding object monitoring process. It is what I did.
[0047]
FIG. 4 is obtained by adding a tracking failure determination step 401 between the tracking failure determination step 205 and the out-of-field movement determination step 206 in the flowchart described in FIG.
FIG. 5 is obtained by adding a tracking failure determination step 501 to the tracking allocation waiting step 301 from the tracking failure determination step 308 in the flowchart shown in FIG.
[0048]
In FIG. 4 or FIG. 5, the processing of steps other than the added step is as shown in FIG.
That is, in the tracking failure determination step 205, when it is regarded as tracking failure, the tracking result of the intruding object is transmitted to the second intruding object monitoring device 102 via the first communication I / F 101h and the tracking is performed. Proceed to failure determination step 401.
[0049]
Next, in the tracking failure determination step 401, based on the determination of the tracking failure from the tracking failure determination step 308 (FIG. 5) in the second intruding object monitoring process obtained through the communication I / F 101h, the second If tracking fails in the intruding object monitoring process (that is, if the intruding object is lost in both the first intruding object monitoring process and the second intruding object monitoring process), the process branches to the out-of-field movement determination step 206. .
If tracking is being continued, the process branches to the all detected object end determination step 208.
In the out-of-field movement determination step 206, a signal is sent to the monitoring monitor 103 via the image switching composition device 106, and the monitoring monitor 103 displays, for example, “missing intruding object” and the like, and all-detected object end determination step 208 Branch to
[0050]
In FIG. 5, in the tracking failure determination step 501, based on the tracking result transmitted from the tracking failure determination step 205 (FIG. 4) by the first intruding object monitoring process obtained through the communication I / F 102 h, the first When tracking fails in the intruding object monitoring process (that is, when the intruding object is lost in both the first intruding object monitoring process and the second intruding object monitoring process), the process branches to the tracking allocation step 301.
If tracking is continuously performed in the first intruding object monitoring process, the process branches to the camera pan head control step 303 to continuously track the intruding object.
[0051]
That is, according to the present invention, if the first intruding object monitoring device and the second intruding object monitoring device are independently controlled, an intruding object can be detected by at least one intruding object monitoring process. Since the monitoring process can be continued, the reliability of the monitoring system can be improved.
[0052]
FIG. 6 is a flowchart for explaining an example of the processing procedure of the intruding object monitoring method according to still another embodiment of the present invention.
In this embodiment, in the first intruding object monitoring process, the monitoring result image to be displayed on the monitoring monitor 106 is switched according to the user operation input from the input device 105 via the input I / F 101g.
FIG. 6 is a diagram in which a user input determination step 601 and an output image switching step 602 are added after it is determined that all detected objects have been processed in the all detection object end determination step 208 of the processing flowchart described in FIG. It is.
[0053]
In FIG. 6, in the user input determination step 601, the user input from the input device 105 is monitored via the input I / F 101 g, and when the user operates the input device 105, the process branches to the output image switching step 602. If not, the process branches to the image input step 201.
In the output image switching step 602, the image switching composition device 106 is controlled in accordance with the user's input operation, and the monitoring result image to be output to the monitoring monitor 106 is switched.
[0054]
FIG. 7 shows an example of an image of the monitoring result displayed on the monitoring monitor 106 in the case where the first intruding object monitoring device and the second intruding object monitoring device 3 are configured.
FIG. 7 shows a scene in which two intruders exist in the monitoring target area, and the first unit (camera 2 being displayed on the monitoring monitor 103) and the second unit (camera 3 being displayed on the monitoring monitor 103). The second intruding object monitoring apparatus tracks each intruding object, and the third intruding object monitoring apparatus (camera 4 being displayed on the monitoring monitor 103) is on standby (tracking allocation waiting step 301). And the tracking allocation determination step 302 is executed).
[0055]
The monitoring result image 701 is a display of the monitoring result images of four cameras divided into four screens. The monitoring result image 702 displays the monitoring result image of the first intruding object monitoring apparatus, and displays the movement trajectories 702a and 702b of the two intruders appearing in the field of view. Further, the monitoring result image 703 displays the monitoring result image of the first second intruding object monitoring device, and the movement path 703a which is a rough trajectory of the intruder at the lower left of the screen along with the intruder's facial expression and detailed actions. Is displayed so that can be confirmed. Furthermore, the monitoring result image 704 displays the monitoring result image of the second second intruding object monitoring device, and in the same way as the monitoring result image 703, the intruder's facial expression and detailed actions are displayed at the lower left of the screen. The moving path 704a, which is a rough trajectory, is displayed so that it can be confirmed.
[0056]
These monitoring result images are displayed as monitoring result images 701, 702, 703, 704, and 701 every time there is an input operation from the user (the second second intruding object monitoring device is on standby and is skipped). It is done.
According to the present invention, it is possible to provide monitoring personnel and the like important information for monitoring work such as a moving path of an intruding object and a fine facial expression according to an input from a user.
[0057]
【The invention's effect】
As described above, according to the present invention, the first intruding object monitoring device and the second intruding object monitoring device are controlled independently of each other under the control of the CPUs contained in the first intruding object monitoring device. Since a plurality of intruding objects can be tracked, the processing amount of the intruding object monitoring system can be distributed. Further, even if one intruding object monitoring device loses sight of an intruding object, if the intruding object can be detected by another intruding object monitoring device, the information can be received by receiving the information via, for example, a communication cable. Since the monitoring of the intruding object can be continued using this, the intruding object monitoring can be performed quickly, efficiently and accurately. Thereby, since the monitoring performance of the intruding object can be remarkably improved, the application range of the intruding object monitoring system can be greatly expanded.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a configuration of an intruding object monitoring system according to the present invention.
FIG. 2 is a flowchart for explaining the processing operation of the embodiment of the present invention.
FIG. 3 is a flowchart for explaining the processing operation of the embodiment of the present invention.
FIG. 4 is a flowchart for explaining the processing operation of the embodiment of the present invention.
FIG. 5 is a flowchart for explaining the processing operation of the embodiment of the present invention.
FIG. 6 is a flowchart for explaining the processing operation of the embodiment of the present invention.
FIG. 7 is a diagram showing an example of an image displayed on the monitoring monitor of the present invention.
FIG. 8 is a diagram for explaining a conventional surveillance system using two types of cameras.
FIG. 9 is a diagram illustrating an example of the principle of an intruding object detection processing method.
FIG. 10 is a diagram for explaining a method in which the second camera tracks an intruding object detected by the first camera.
FIG. 11 is an example showing the configuration of communication information flowing in the communication cable 107 according to an embodiment of the present invention.
[Explanation of symbols]
101: first intruding object monitoring apparatus, 101a: first camera, 101b: first image input I / F, 101c: first CPU, 101d: first image memory, 101e: first program memory 101f: first work memory, 101g: input I / F, 101h: first communication I / F, 101i: first image output I / F, 101j: first output I / F, 101k: first 1 data bus, 102: second intruder monitoring device, 102a: second camera, 102b: second image input I / F, 102c: second CPU, 102d: second image memory, 102e: Second program memory, 102f: second work memory, 102h: second communication I / F, 102i: second image output I / F, 102j: second output I / F, 102k: second Data bus, 102l: pan head control device, 102m: camera pan head, 103: monitoring monitor, 104: warning light, 106: input device, 106: image switching composition device, 107: communication cable, 801: intruding object, 802: First camera 803: second camera, 804: monitoring target area, 805: second camera field of view, 901, 902, 903: input image, 904, 905: difference image, 906, 907: binarized image, 908: Logical product image, 909, 910: Subtractor, 911, 912: Binarizer, 913: Logical product, 914, 915, 916: Object, 917, 918: Area, 919, 920, 921: Image, 1001: Intruder, 1002: first camera, 1003: second camera, 1004, 1005: field of view.

Claims (4)

A first camera device that captures a wide area; and a second camera device that captures the object based on first detection information of the object detected from an image of the first camera device. The object is tracked using an image of the camera device of the camera, and the object is detected by the second camera device based on second detection information of the object detected from the image of the second camera device that has captured the object. An object detection device for tracking
Even when the tracking of the object cannot be performed, the tracking of the object is continued using the same image of the first camera device based on the second detection information.
An object detection apparatus characterized by that. A first camera device that captures a wide area; and a second camera device that captures the object based on first detection information of the object detected from an image of the first camera device. The object is tracked using an image of the camera device of the camera, and the object is detected by the second camera device based on second detection information of the object detected from the image of the second camera device that has captured the object. An object detection device for tracking
Even when the tracking of the object cannot be performed, the tracking of the object is continued by the same second camera device based on the first detection information.
An object detection apparatus characterized by that. A first camera device for imaging a wide area; and a second camera device for capturing the object based on first detection information of the object detected from an image of the first camera device. The object is tracked by using the image of the camera device of the camera, and the object is detected by the second camera device based on the second detection information of the object detected from the image of the second camera device that has captured the object. A program that is executed by a computer that constitutes an object detection device that performs tracking of
Even when the tracking of the object cannot be performed, the tracking of the object is continued using the same image of the first camera device based on the second detection information.
A program characterized by that. A first camera device for imaging a wide area; and a second camera device for capturing the object based on first detection information of the object detected from an image of the first camera device. The object is tracked by using the image of the camera device of the camera, and the object is detected by the second camera device based on the second detection information of the object detected from the image of the second camera device that has captured the object. A program that is executed by a computer that constitutes an object detection device that performs tracking of
Even when the tracking of the object cannot be performed, the tracking of the object is continued by the same second camera device based on the first detection information.
A program characterized by that.

Images