JP3643513B2 - 侵入物体監視方法および侵入物体監視装置 - Google Patents
侵入物体監視方法および侵入物体監視装置 Download PDFInfo
- Publication number
- JP3643513B2 JP3643513B2 JP2000060351A JP2000060351A JP3643513B2 JP 3643513 B2 JP3643513 B2 JP 3643513B2 JP 2000060351 A JP2000060351 A JP 2000060351A JP 2000060351 A JP2000060351 A JP 2000060351A JP 3643513 B2 JP3643513 B2 JP 3643513B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- intruding object
- zoom lens
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョンカメラ装置（以下、テレビカメラと省略する）を使用した侵入物体監視装置、特に、監視エリアに侵入する侵入物体を監視し、発見した侵入物体の移動にしたがって侵入物体を追従するようにテレビカメラの撮像方向を制御し、侵入物体を自動的に追尾し撮像させるようにした侵入物体監視方法および侵入物体監視装置に関するものである。
【０００２】
【従来の技術】
テレビカメラなどの画像入力手段を使用した侵入物体監視装置は、従来より行なわれてきた監視員の目視による侵入物体監視ではなく、監視エリア内に侵入した侵入物体を自動的に検出したり、テレビカメラの撮像範囲内に侵入物体が常に捉えられるように、侵入物体の検出位置にもとづいてテレビカメラを搭載した雲台（電動）を制御してテレビカメラの撮像方向を変更するようにし、所定の報知や警告、侵入物体の画像記録などの処理をさせるようしたものである。
このような侵入物体監視装置を実現するために使用される侵入物体監視方法には、例えば、監視エリアを撮像する第１のテレビカメラから出力される画像信号の異なる時刻に得られる複数フレームの画像信号を比較して、画素毎の輝度値の差分を求め、その差分の大きいエリアの画像信号を侵入物体として検出するようにし、さらに、侵入物体が検出された場合には、第２のテレビカメラを動作させ、第１のテレビカメラによる侵入物体の検出位置にもとづいて、第２のテレビカメラを搭載した雲台を制御して第２のテレビカメラの撮像範囲内に常に侵入物体を捉えられるようにする侵入物体監視方法がある。
【０００３】
この従来技術による侵入物体監視方法を図１３、図１４を使用して説明する。図１３は、第１のテレビカメラによる侵入物体監視方法の一例の処理原理を説明する図である。
この侵入物体監視方法は、フレーム間差分法などと呼ばれ、従来より広く使用されている。
図１３において、1301は、時刻ｔ０-1における撮像画像、1302は、時刻ｔ０における撮像画像、1303は、時刻ｔ０+1における撮像画像、1309は、撮像画像1301と撮像画像1302との減算を演算する減算器、1310は、撮像画像1302と撮像画像1303との減算を演算する減算器、1304は、撮像画像1301と撮像画像1302との減算の結果である差分画像、1305は、撮像画像1302と撮像画像1303との減算の結果の差分画像、1311は、差分画像1304を二値化する二値化器、1312は、差分画像1305を二値化する二値化器、1306は、差分画像1304の二値化画像、1307は、差分画像1305の二値化画像、1313は、二値化画像1306と二値化画像1307との論理積を演算する論理積器、1308は、二値化画像1306と二値化画像1307との論理積の結果の論理積画像を示す。
【０００４】
第１のテレビカメラで、異なる時刻に撮像された撮像画像1301と撮像画像1302とは減算器1309に入力され、異なる時刻に撮像された撮像画像1302と撮像画像1303とは減算器1310に入力される。
減算器1309は、撮像画像1301と撮像画像1302との画素毎の輝度値の差分を計算し差分画像1304を二値化器1311へ出力し、減算器1310は、撮像画像1302と撮像画像1303との画素毎の輝度値の差分を計算し差分画像1305を二値化器1312へ出力する。
つぎに、二値化器1311は、減算器1309から入力される差分画像1304を、画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、所定のしきい値Ｔｈ以上の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として二値化し、二値化画像1306を論理積器1313へ出力する。
同様に、二値化器1312は、減算器1310から入力される差分画像1305を、画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、所定のしきい値Ｔｈ以上の輝度値を“２５５”として二値化し、二値化画像1307を論理積器1313へ出力する。
論理積器1313は、二値化器1311から入力される二値化画像1306と、二値化器1312から入力される二値化画像1307との画素毎の輝度値の論理積を計算し、論理積画像1308を出力する。
【０００５】
このように第１のテレビカメラで撮像された撮像画像1301、1302、1303の中の人型の物体1314、1315、1316は、減算器1309、1310により差分が生じた部分の画像1317、1318として計算され（撮像画像で変化しているのは人型の物体だけであるので差分画像は人型の物体だけとなる）、二値化器1311、1312によって輝度値“２５５”のかたまりの画像1319、1320として抽出され（所定の輝度値以上の画像だけとなる）、さらに、論理積器1313により画像1319、1320を構成する画素の中で両画像共に輝度値“２５５”を持つ画素のかたまりの画像1321として出力される。
なお、監視エリア内の侵入物体を検出する方法であれば、前記フレーム間差分法以外の方法も適用することができる。
【０００６】
つぎに、第２のテレビカメラは、第１のテレビカメラにより撮像された画像から侵入物体が検出された場合に動作し、第１のテレビカメラにより撮像された画像から検出された侵入物体の大きさ、検出位置にもとづき、装着されているズームレンズ、撮像方向（雲台の方向）が制御される。
第２のテレビカメラに装着されているズームレンズの制御量は、例えば、第１のテレビカメラの縦方向の画像サイズを２４０画素とし、検出された侵入物体の縦方向の大きさが３０画素であった場合、第２のテレビカメラのズームレンズ制御量を第１のテレビカメラのズームレンズ制御量の８（＝２４０÷３０）倍に設定する。
第１のテレビカメラおよび第２のテレビカメラに装着されているそれぞれのズームレンズを、前記のように設定することで、第１のテレビカメラで検出された侵入物体を、第２のテレビカメラでは撮像範囲全体の画像として撮像することができる。
【０００７】
つぎに、第２のテレビカメラを搭載した雲台（電動雲台）の制御量の決定方法を、図１４を使用して説明する。
図１４は、第１のテレビカメラの撮像範囲1401で検出された侵入物体1402を、第２のテレビカメラ1403で追尾する場面を説明するための図である。
なお、図１４は、説明の簡略化のため第１のテレビカメラと第２のテレビカメラとを同じ位置に設置したものとし、第１のテレビカメラの撮像範囲の中心（光軸）方向と、第２のテレビカメラの基準とする撮像範囲の方向（雲台制御角をパン０度、チルト０度）とを一致させており、ｘ軸のみの方向に着目して表示している。
【０００８】
図１４において、２Ｗは、撮像画像の横方向の画素数［pix ］、Δｘは、検出された侵入物体が第１のテレビカメラの撮像範囲の中心から離れている場合の横方向の変位［pix ］、θｗは、第１のテレビカメラの半撮像角度［度］、θｘは、第２のテレビカメラを搭載した雲台のパン制御角度［度］を示す。
ここで、第１のテレビカメラの半撮像角度θｗは、第１のテレビカメラに備える撮像素子の横方向の大きさｈ［ｍｍ］と、第１のテレビカメラの焦点距離ｆ［ｍｍ］とによって、下記（１）式で表すことができる。
【数１】
【０００９】
また、この監視条件において、撮像画像の横方向の画素数２Ｗ、侵入物体の検出位置の第１のテレビカメラの撮像範囲の中心からの横方向の変位Δｘと、第１のテレビカメラの半撮像角度θｗと、第２のテレビカメラの雲台のパン制御角度θｘとには、下記（２）式に示す関係がある。
【数２】
すなわち、第２のテレビカメラを搭載した雲台のパン制御角度θｘは、下記（３）式となる。
【数３】
【００１０】
例えば、半撮像角度θｗを３０［度］、第１のテレビカメラの撮像画像の横方向の画素数２Ｗを３２０［pix ］、検出された侵入物体の第１のテレビカメラの撮像範囲の中心からの変位Δｘを４０［pix ］とした場合、第２のテレビカメラの雲台のパン制御角度は８．２度となる。
以上のように、第１のテレビカメラで侵入物体が検出された場合に、検出された侵入物体の大きさ、検出位置にもとづいて、第２のテレビカメラに装着されたズームレンズ、第２のテレビカメラを搭載した雲台を制御することで侵入物体を第２のテレビカメラで追尾することができる。
前記したような、２つのテレビカメラの構成による侵入物体監視装置に関する開示技術として、例えば、特開平６−１５３０５１号公報がある。
【００１１】
【発明が解決しようとする課題】
従来技術による侵入物体監視方法および侵入物体監視装置においては、第１のテレビカメラの撮像範囲内でしか侵入物体の検出が行なえず、侵入物体を正確に検出できるような大きさで侵入物体を撮像するように第１のテレビカメラの撮像範囲を設定すると、おのずと監視エリアが制限されてしまうということになる。例えば、横幅１．０ｍ以上の侵入物体を検出するために、侵入物体が二値化画像中で幅１０画素以上のかたまりとして検出されなければならないような場合、画像サイズを３２０×２４０画素として、１．０／（１０／３２０）＝３２．０となり、第１のテレビカメラの監視エリアは横方向３２ｍまでしか設定することがでず、さらに、ズームレンズと雲台とを制御しながら侵入物体を追尾する場合、第１のテレビカメラの撮像範囲から外れた監視エリアが死角となってしまうことになる。
また、監視エリア内に存在する建物の陰や、雲台の動作限界などによる死角に侵入物体が入った場合に、侵入物体を継続して追尾することができなくなってしまうということもある。
本発明は、前記問題点を解決し、監視エリアを２台以上の侵入物体監視装置で分担して監視することで監視エリアの制限を除去するように、１台の侵入物体監視装置の死角に入った侵入物体の追尾を、他の侵入物体監視装置に引き継ぐことで１台の侵入物体監視装置の死角を除去することができるようにした信頼性の高い侵入物体監視方法および侵入物体監視装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
前記目的を達成するために、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体の追尾が行なわれている監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信する視野拡大要求送信のステップと、隣接する他の監視エリアを監視する他の前記侵入物体監視装置から視野拡大要求を受信した場合には前記ズームレンズを制御して監視範囲を拡大する視野拡大のステップとを備え、複数監視エリアを侵入し移動する前記侵入物体を追尾する方法である。
また、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、該死角のエリアを監視エリアに含む他の前記侵入物体監視装置に追尾継続要求を送信する追尾継続要求送信のステップと、他の前記侵入物体監視装置から追尾継続要求を受信した場合に他の前記侵入物体監視装置が追尾している侵入物体の追尾を継続する侵入物体追尾のステップとを備え、監視エリアに侵入した前記侵入物体を追尾する方法である。
【００１３】
また、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体の追尾が行なわれている監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信する視野拡大要求送信のステップと、隣接する他の監視エリアを監視する他の前記侵入物体監視装置から視野拡大要求を受信した場合には前記ズームレンズを制御して監視範囲を拡大する視野拡大のステップと、前記侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、該死角のエリアを監視エリアに含む他の前記侵入物体監視装置に追尾継続要求を送信する追尾継続要求送信のステップと、他の前記侵入物体監視装置から追尾継続要求を受信した場合に他の前記侵入物体監視装置が追尾している侵入物体の追尾を継続する侵入物体追尾のステップとを備え、監視エリアに侵入した前記侵入物体を追尾する方法である。
【００１４】
また、本発明による侵入物体監視装置は、監視エリアを撮像するズームレンズを装着したテレビジョンカメラ装置と、該テレビジョンカメラ装置から出力される画像信号を順次所定フォーマットの画像データに変換する画像入力インターフェース手段と、該画像入力インターフェース手段により変換された前記画像データを差分処理して侵入物体を検出する画像処理手段と、搭載した前記テレビジョンカメラ装置の撮像方向を変える雲台と、該雲台を制御する雲台制御手段と、前記ズームレンズを制御するズームレンズ制御手段と、１つ以上の他の侵入物体監視装置とデータの通信を行なうデータ通信手段と、侵入物体監視の結果を表示する監視結果表示手段とを有するものである。
また、本発明による侵入物体監視装置は、監視エリアに侵入した侵入物体を追尾し監視する侵入物体監視装置であって、監視エリアを撮像するズームレンズを装着したテレビジョンカメラ装置と、該テレビジョンカメラ装置から出力される画像信号を順次所定フォーマットの画像データに変換する画像入力インターフェース手段と、該画像入力インターフェース手段により変換された前記画像データを差分処理して侵入物体を検出する画像処理手段と、搭載した前記テレビジョンカメラ装置の撮像方向を変える雲台と、該雲台を制御する雲台制御手段と、前記ズームレンズを制御するズームレンズ制御手段と、１つ以上の他の侵入物体監視装置とデータの通信を行なうデータ通信手段と、侵入物体監視の結果を表示する監視結果表示手段とを有し、前記画像処理手段が侵入物体を検出した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力し、前記データ通信手段を介して監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信し、前記データ通信手段を介して視野拡大要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、前記データ通信手段を介して前記死角のエリアを監視エリアとする他の前記侵入物体監視装置に追尾継続要求を送信し、前記データ通信手段を介して追尾継続要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力することによって監視エリアに侵入した侵入物体を追尾するものである。
【００１５】
【発明の実施の形態】
本発明による侵入物体監視方法および侵入物体監視装置の実施形態の一例を説明する。
図１は、本発明による侵入物体監視方法を使用した侵入物体監視装置のブロック図である。
図１において、１０１は、所要の監視エリアを撮像するテレビジョンカメラ装置（以下、テレビカメラと省略する）、１０２は、テレビカメラ１０１に装着されており撮像範囲と被写体の大きさを変更できるズームレンズ、１０３は、搭載したテレビカメラ１０１をパンあるいはチルトするための雲台、１１６は、ズームレンズ１０２へズーム制御信号を出力するズーム制御装置、１１５は、雲台１０３へ雲台制御信号を出力する雲台制御装置、１０４は、テレビカメラ１０１から入力される画像信号を所定フォーマットの画像データに変換する画像入力Ｉ／Ｆ、１０６は、画像入力Ｉ／Ｆ１０４で変換された画像データを記憶する画像メモリ、１０８は、侵入物体監視装置の各回路を制御するＣＰＵ、１０９は、ＣＰＵ１０８を制御する所要のプログラムを記憶するプログラムメモリ、１０７は、処理される所要の画像データを記憶するワークメモリ、１０５は、ズーム制御装置１１６および雲台制御装置１１５へ制御信号出力、他の侵入物体監視装置とのデータ伝送をする通信Ｉ／Ｆ、１１０は、侵入物体が検出されたことを警告する信号を出力する出力Ｉ／Ｆ、１１１は、撮像した画像信号、検出した侵入物体の画像信号などを出力する画像出力Ｉ／Ｆ、１１２は、デジタルデータが伝送されるデータバス、１１３は、侵入物体が検出されたことを警告する警告灯、１１４は、画像出力Ｉ／Ｆ１１１から出力される画像信号を表示する監視モニタを示す。
【００１６】
ズームレンズ１０２が装着されているテレビカメラ１０１は、ズームレンズ１０２の撮像範囲より広い監視エリアを撮像するためにパンおよびチルトが制御可能な雲台１０３に搭載されている。
テレビカメラ１０１に装着されているズームレンズ１０２は、ズーム制御装置１１６とケーブルで接続され、雲台１０３は、雲台制御装置１１５とケーブルで接続されており、さらに、ズーム制御装置１１６および雲台制御装置１１５は、通信Ｉ／Ｆ１０５に接続されている。
また、通信Ｉ／Ｆ１０５は、外部通信ケーブル１１７で他の侵入物体検出装置と接続することができる。
テレビカメラ１０１は、ケーブルで画像入力Ｉ／Ｆ１０４と接続されており、撮像した画像信号が画像入力Ｉ／Ｆ１０４へ出力される。
監視モニタ１１４は、ケーブルで画像出力Ｉ／Ｆ１１４と接続されており、テレビカメラ１０１で撮像された画像信号、検出した侵入物体の画像信号などが画像出力Ｉ／Ｆ１１４から入力される。
警告灯１１３は、出力Ｉ／Ｆ１１０と接続されており、侵入物体を検出した場合、点灯信号が出力Ｉ／Ｆ１１０から入力される。
なお、画像入力Ｉ／Ｆ１０４、通信Ｉ／Ｆ１０５、画像メモリ１０６、ワークメモリ１０７、ＣＰＵ１０８、プログラムメモリ１０９、出力Ｉ／Ｆ１１０、画像出力Ｉ／Ｆ１１１は、それぞれデータバス１１２に接続されている。
【００１７】
動作の説明をする。
テレビカメラ１０１は、装着されているズームレンズ１０２による撮像範囲より広い監視エリアを撮像できるようにするために雲台１０３に搭載されており、雲台制御装置１１５から出力される雲台制御信号によりパンおよびチルトされ、撮像方向を所要の方向へ移動させることができる。
また、テレビカメラ１０１に装着されているズームレンズ１０２は、ズーム制御装置１１６から出力されるズーム制御信号によってズームレンズ１０２のズーム比を変えることができる。
テレビカメラ１０１は、所要の監視エリアを撮像した画像信号を画像入力Ｉ／Ｆ１０４へ出力する。
画像入力Ｉ／Ｆ１０４は、テレビカメラ１０１から入力される監視エリアを撮像した画像信号を、侵入物体監視装置のデジタル処理部で扱うフォーマット（例えば、幅３２０pix 、高さ２４０pix 、８bit／pix）の画像データに変換し、データバス１１２を介して画像メモリ１０６へ伝送する。
画像メモリ１０６は、データバス１１２を介して伝送されてきた画像データを記憶する。
【００１８】
ＣＰＵ１０８は、プログラムメモリ１０９にあらかじめ記憶されているプログラムに従って、画像メモリ１０６に記憶された所要の画像データをワークメモリ１０７に読み出し、ワークメモリ１０７内において画像データの解析を行なう。画像データを解析することにより、テレビカメラ１０１の撮像範囲内に侵入物体が侵入した等の情報を得ることができる。
ＣＰＵ１０８は、解析した結果に応じ、データバス１１２を介して通信Ｉ／Ｆ１０５に指示を行ない、雲台制御装置１１５から雲台１０３へ所要の雲台制御信号を出力させる。
また、ＣＰＵ１０８は、解析した結果に応じ、データバス１１２を介して通信Ｉ／Ｆ１０５に指示を行ない、ズーム制御装置１１６からズームレンズ１０２へズーム制御信号を出力させる。
また、ＣＰＵ１０８は、外部通信ケーブル１１７で接続された１台以上の他の侵入物体監視装置がある場合は、外部通信ケーブル１１７を介して通信Ｉ／Ｆ１０５から他の侵入物体監視装置と所要のデータ通信を行なう。
また、ＣＰＵ１０８は、解析した結果に応じ、出力Ｉ／Ｆ１１０から警告灯１１３へ点灯信号を出力し警告灯１１３を点灯する。
また、ＣＰＵ１０８は、解析した結果に応じ、画像出力Ｉ／Ｆ１１１から監視モニタ１１４へ処理結果の画像信号を出力し、画面上に、例えば、処理結果の画像を表示する。
【００１９】
通信Ｉ／Ｆ１０５は、ＣＰＵ１０８からの所要の制御指示を受け、所要の制御指示を雲台制御装置１１５およびズーム制御装置１１６が認識できるフォーマット（例えば、ＲＳ２３２Ｃ通信信号）に変換し、雲台１０３やズームレンズ１０２の制御を行ない、また、ＣＰＵ１０８からの所要の制御指示を受け、外部通信ケーブル１１７で接続されている１台以上の他の侵入物体監視装置とデータ通信を行なう。
画像出力Ｉ／Ｆ１１１は、ＣＰＵ１０８から所要の制御指示を受け、画像データを監視モニタ１１４が表示できるフォーマット（例えば、ＮＴＳＣ方式画像信号）の画像信号に変換して、監視モニタ１１４へ出力する。
監視モニタ１１４は、画像出力Ｉ／Ｆ１１１から入力される画像信号の画像、例えば、侵入物体検出結果画像を表示する。
以下に説明するフローチャートを使用した説明は、すべて上記ハードウエア構成の侵入物体監視装置の一例である図１を使用して説明している。
【００２０】
本発明による侵入物体監視方法の第１の実施例の動作を、図２、図３、図４に示すフローチャートを使用して説明する。
第１の実施例は、追尾中の侵入物体が第１の侵入物体監視装置のテレビカメラの死角に入った場合に、その死角の監視エリアを監視する他の第２の侵入物体監視装置に追尾を継続させるようにした方法である。
第１の侵入物体監視装置が侵入物体の監視を開始すると、まず、初期化処理が行なわれる（図２参照）。
初期化処理のステップ２０１では、画像メモリ１０６、ワークメモリ１０７などの初期化処理が行なわれる。
初期監視状態のステップ２０２では、テレビカメラ１０１に装着されているズームレンズ１０２と、テレビカメラ１０１が搭載されている雲台１０３とが所定の初期位置にリセットされる。
監視モード設定のステップ２０３では、現在の監視モードを“通常”に設定する。
監視モード分岐のステップ２０４では、監視モードが“通常”である場合には通常モード処理のステップ２０５が選択され、監視モードが“追尾”である場合には追尾モード処理のステップ２０６が選択されるが、現在は、現在の監視モード“通常”の設定に従い、通常モード処理のステップ２０５が選択される。
【００２１】
つぎに、通常モード処理のステップ２０５が選択され、通常モード処理が開始された場合の説明をする（図３参照）。
侵入物体検出処理のステップ３０１では、例えば、先に、図１３を使用して説明した侵入物体検出処理が行なわれる。
侵入物体判定のステップ３０２では、侵入物体検出処理により侵入物体が検出された場合は侵入物体が存在すると判定されてズームレンズと雲台制御のステップ３０３を選択し、侵入物体検出処理により侵入物体が検出されなかった場合は侵入物体が存在しないと判定されて追尾継続要求受信のステップ３０６を選択する。
侵入物体が存在すると判定された場合は、ズームレンズと雲台制御のステップ３０３では、侵入物体検出処理のステップ３０１の検出結果にもとづき、例えば、上述したズームレンズ、雲台制御手順に従って、ズームレンズ１０２および雲台１０３を、通信Ｉ／Ｆ１０５、ズーム制御装置１１６、雲台制御装置１１５を介して制御する。
監視モード設定のステップ３０４では、現在の監視モードを“通常”から“追尾”に変更する。
警報、モニタ表示１のステップ３０５では、警告灯１１３を点灯して侵入物体発見の警告をするとともに、例えば、「通常モードで侵入物体を発見、追尾モードへ移行」等のメッセージ（メッセージの発生、表示の手段は省略）とともに、監視モニタ１１４の画面上に侵入物体の画像を表示する。
【００２２】
つぎに、侵入物体が存在しないと判定された場合は、追尾継続要求受信のステップ３０６では、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置からの追尾継続要求を受信する。
要求受信判定のステップ３０７では、追尾継続要求受信が有ると判定された場合はズームレンズと雲台制御のステップ３０８を選択し、追尾継続要求受信が無いと判定された場合は、通常モード処理を終了し、監視モード分岐のステップ２０４（図２参照）へ復帰する。
追尾継続要求受信が有ると判定した場合は、ズームレンズと雲台制御のステップ３０８では、追尾継続要求を受信したときの侵入物体の大きさと位置情報とにもとづき、例えば、上述したズームレンズ、雲台制御手順に従ってズームレンズ１０２および雲台１０３を制御する。
監視モード設定のステップ３０９では、現在の監視モードを“追尾”に設定する。
【００２３】
つぎに、追尾モード処理のステップ２０６（図２参照）では、通常モード処理開始の侵入物体検出処理のステップ３０１（図３参照）と同じ処理を行なう侵入物体検出処理のステップ４０１（図４参照）によって侵入物体を検出する。
侵入物体判定のステップ４０２では、侵入物体が存在すると判定した場合は死角移動判定のステップ４０３を選択し、侵入物体が存在しないと判定した場合は初期監視状態のステップ４０９を選択する。
死角移動判定のステップ４０３では、検出された侵入物体の位置があらかじめ設定したテレビカメラの死角近傍に移動したと判定した場合は追尾継続要求送信のステップ４０４を選択し、死角近傍に移動していないと判定した場合はズームレンズと雲台制御のステップ４０７を選択する。
追尾継続要求送信のステップ４０４では、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置へ追尾継続要求と侵入物体の検出位置データとを送信し、初期監視状態のステップ４０５へ移行する。
初期監視状態のステップ４０５は、初期監視状態のステップ２０２（図２参照）と同じ処理を行ないズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ４０６では、現在の監視モードを“通常”に設定する。
【００２４】
つぎに、ズームレンズと雲台制御のステップ４０７では、（侵入物体は死角へ移動していないので）侵入物体検出処理のステップ４０１の検出結果にもとづき、例えば、ズームレンズと雲台制御手順に従って、ズームレンズ１０２および雲台１０３を通信Ｉ／Ｆ１０５、ズーム制御装置１１６、雲台制御装置１１５を介して制御する。
警報、モニタ表示３のステップ４０８では、出力Ｉ／Ｆ１１０を介して警告灯１１３を点灯するとともに、画像出力Ｉ／Ｆ１１１を介して監視モニタ１１４に、例えば、「侵入物体を追尾中」等のメッセージとともに侵入物体の画像を表示する。
さらに、侵入物体判定のステップ４０２で侵入物体が存在しないと判定された場合は、初期監視状態のステップ４０９へ移行する。
初期監視状態のステップ４０９は、初期監視状態のステップ２０２（図２参照）と同じ処理を行ないズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ４１０では、現在の監視モードを“通常”に設定する。
【００２５】
上述の図２、図３、図４を使用して説明した監視モードの変化を、図１０を使用してさらに説明する。
図１０は、監視モードの設定が“通常”モード1001の状態と“追尾”モード1002の状態との間の遷移を表す図で、“通常”モード1001の状態では、侵入物体を検出したり、追尾継続要求があった場合に“追尾”モード1002へ遷移し（遷移1003）、侵入物体が検出されなかった場合には“通常”モード1001のまま推移する（推移1005）。
また、“追尾”モード1002の状態では、侵入物体を検出しなかったり、侵入物体が死角へ移動した場合には“通常”モード1001へ遷移し（遷移1004）、侵入物体が検出されており、かつ、侵入物体が死角へ移動していない場合には“追尾”モード1006のまま推移する（推移1006）。
【００２６】
前記処理の流れを、図１５を使用して説明する。
図１５は、監視エリア内に侵入した侵入物体1503を、２台の侵入物体監視装置1501、1502を使用して監視する例であり、２台の侵入物体監視装置1501、1502は、外部通信ケーブル1509を使用して相互にデータ通信できるようになっており、侵入物体1503は、移動経路1504および1505を移動するものとする。
また、２台の侵入物体監視装置1501、1502のそれぞれの監視エリア1507、1508内には建物1506が存在し、それぞれの監視エリア1507、1508は２台の侵入物体監視装置1501、1502がそれぞれ監視可能な最大の監視エリア（雲台を制御して確保できる監視エリア）を表している。
監視開始時は、２台の侵入物体監視装置1501、1502ともに監視モードが“通常”であるが、侵入物体1503が検出された場合に、侵入物体監視装置1501の監視モードが“追尾”に遷移し、侵入物体1503が移動経路1504を移動している間は、ズームレンズ、雲台を制御しながら侵入物体1503を追尾する。
【００２７】
さらに、侵入物体1503が移動経路の中の位置1510に移動すると、建物1506により侵入物体監視装置1501では追尾の継続が不可能となり、侵入物体監視装置1501は、侵入物体監視装置1502に、外部通信ケーブル1509を介して追尾継続要求を送信する。
侵入物体監視装置1502は、侵入物体監視装置1501からの追尾継続要求にもとづき、侵入物体監視装置1501が追尾していた侵入物体1503を継続して追尾する。
したがって、侵入物体1503が、侵入物体監視装置1501の死角である移動経路1505（点線で表示）を移動しても、侵入物体1503を継続して追尾することが可能となる。
【００２８】
本発明による侵入物体監視方法の第２の実施例の動作を図５、図６、図７、図８に示すフローチャートを使用して説明する。
第２の実施例は、第１の監視エリアの監視を担当する第１の侵入物体監視装置が侵入物体を検出し追尾していたが、監視できないエリアが生じた場合に、第１の監視エリアに隣接する第２の監視エリアの監視を担当する第２の侵入物体監視装置が、第１の侵入物体監視装置が監視できないエリアを補って監視するようにした侵入物体監視方法である。
図５に示すフローチャートは、図２に示し説明した第１の実施例のフローチャートの監視モード分岐のステップ２０４で選択する監視モードに、“広角”を追加したものである。
“広角”の追加に伴い、監視モード分岐のステップ２０４の代わりに監視モード分岐のステップ５０１、通常モード処理のステップ２０５の代わりに通常モード処理のステップ５０２、追尾モードの処理ステップ２０６の代わりに追尾モード処理のステップ５０４とし、広角モード処理のステップ５０３を追加したものである。
【００２９】
図５のフローチャートにおいて、監視モード分岐のステップ５０１は、監視モードのステップ２０３の現在の監視モードの設定に従って、監視モードが“通常”である場合には通常モード処理のステップ５０２を選択し、監視モードが“広角”である場合には広角モード処理のステップ５０３を選択し、監視モードが“追尾”である場合には追尾モード処理のステップ５０４を選択する。
前記各モード処理のうち、通常モード処理のステップ５０２が選択された場合は、図６に示す通常モード処理が開始される。
図６に示す通常モード処理ステップ５０２の処理を表すフローチャートは、図３に示す通常モード処理のフローチャートのズームレンズと雲台制御のステップ３０３の前に視野拡大要求送信のステップ６０１を追加し、図３に示すフローチャートの追尾継続要求受信のステップ３０６から監視モード設定のステップ３０９までの代わりに、視野拡大要求受信のステップ６０２から監視モード設定のステップ６０５までを設けたものである。
【００３０】
すなわち、侵入物体検出処理のステップ３０１および侵入物体判定のステップ３０２において侵入物体が存在すると判定された場合は、視野拡大要求送信のステップ６０１で、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置へ視野拡大要求を送信する。
侵入物体検出処理のステップ３０１および侵入物体判定のステップ３０２において侵入物体が存在しないと判定された場合は、視野拡大要求受信のステップ６０２で、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置からの視野拡大要求を受信する。
つぎに、視野拡大要求受信判定のステップ６０３では、視野拡大要求受信が有ると判定された場合はズームレンズと雲台制御のステップ６０４を選択し、視野拡大要求受信が無いと判定された場合は、通常モード処理を終了し、監視モード分岐のステップ５０１へ復帰する。
視野拡大要求受信が有ると判定した場合は、ズームレンズと雲台制御のステップ６０４では、視野拡大要求を送信した他の侵入物体監視装置の監視視野情報にもとづき、ズームレンズ１０２および雲台１０３を制御し、監視モード設定のステップ６０５では現在の監視モードを“広角”に設定する。
【００３１】
現在の監視モードを“広角”に設定した状態でのズームレンズ１０２および雲台１０３の制御を、図１６Ａ、図１６Ｂを使用して説明する。
図１６Ａは、第１の侵入物体監視装置1601と第２の侵入物体監視装置1602とで侵入物体の監視を行なっている実施例で、第１の侵入物体監視装置1601が監視エリア1603を、第２の侵入物体監視装置1602が監視エリア1604を監視している様子を示している。
図１６Ｂは、図１６Ａに示す侵入物体の監視において、侵入物体が検出された場合の様子を示している。
図１６Ｂにおいて、第２の侵入物体監視装置1602は、侵入物体1610を検出したので、視野拡大要求を隣接する監視エリアを担当する第１の侵入物体監視装置1601へ送信し（図６のステップ６０１参照）、ズームレンズ１０２と雲台１０３を制御（図６のステップ３０３参照）し、現在の監視モードの設定を“追尾”に移行する（図６のステップ３０４参照）。
【００３２】
つぎに、第１の侵入物体監視装置1601は、第２の侵入物体監視装置1602から送信された視野拡大要求を受信すると（図６のステップ６０２参照）、第１の侵入物体監視装置1606の監視エリア1603と第２の侵入物体監視装置1602の監視エリア1604を包含する新たな監視エリア1608を撮像するため、ズームレンズ１０２と雲台１０３を制御（図６のステップ６０４参照）し、現在の監視モードの設定を“広角”に移行する（図６のステップ６０５参照）。
現在の監視モードの設定が“広角”に移行することで、図５に示す広角モード処理のステップ５０３への移行となり、広角モード処理（図７参照）が開始される。
侵入物体検出処理のステップ７０１では、先に図１３を使用して説明した侵入物体検出処理のステップ３０１と同じ侵入物体検出処理が行なわれる。
侵入物体判定のステップ７０２では、侵入物体検出処理により侵入物体が検出された場合は侵入物体が存在すると判定されて警報、モニタ表示２のステップ７０３を選択し、侵入物体検出処理により侵入物体が検出されなかった場合は侵入物体が存在しないと判定されて追尾終了判定のステップ７０４を選択する。
【００３３】
警報、モニタ表示２のステップ７０３では、警告灯１１３を点灯して侵入物体発見の警告をするとともに、監視モニタ１１４の画面上に、例えば「広角モードで侵入物体を発見」等のメッセージとともに侵入物体1610の画像を表示する。
また、追尾終了判定のステップ７０４では、外部通信ケーブル１１７で接続される侵入物体監視装置の全てが追尾モードでなかった場合は初期監視状態のステップ７０５を選択し、初期監視状態のステップ２０２（図２参照）と同じ処理を行なう初期監視状態のステップ７０５では、ズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ７０６では、現在の監視モードを“通常”に設定する。
追尾終了判定のステップ７０４において、外部通信ケーブル１１７で接続される侵入物体監視装置の少なくとも１つが追尾モードであった場合には、広角モード処理から復帰し監視モード分岐のステップ５０１へ処理を移行する。
図５に示す追尾モード処理のステップ５０４では、図４に示される追尾モード処理のステップの内、追尾継続要求送信のステップ４０４が除かれた処理が行なわれる。
【００３４】
図５、図６、図７、図８を使用して説明した“通常”、“広角”、“追尾”の各監視モードの変化を、図１１を使用してさらに説明する。
図１１は、“通常”モード1101の状態と、“広角”モード1102の状態と、“追尾”モード1103の状態との遷移を表す図で、“通常”モード1101の状態では、視野拡大要求を受信した場合に“広角”モード1102へ遷移し（遷移1106）、侵入物体を検出した場合に“追尾”モード1103へ遷移し（遷移1105）、侵入物体が検出されなかった場合には“通常”モード1101のまま推移する（推移1104）。
また、“広角”モード1102の状態では、追尾終了の場合に“通常”モード1101へ遷移し（遷移1108）、追尾終了以外の場合には“広角”モードのまま推移する（推移1107）。
また、“追尾”モード1103の状態では、侵入物体を検出しなかったり、侵入物体が死角へ移動した場合には“通常”モード1101へ遷移し（遷移1110）、侵入物体が検出されており、かつ、侵入物体が死角へ移動していない場合には“追尾”モード1103のまま推移する（推移1109）。
【００３５】
すなわち、本発明の侵入物体監視方法を使用することにより、図１６Ａ、図１６Ｂにおいて、第２の侵入物体監視装置1602が追尾モードへ移行すると、本来の監視エリア1604の一部しか監視できなくなり、第２の侵入物体監視装置1602に死角が生じたような状態となるが、第１の侵入物体監視装置1601の監視範囲1603を広角モードで拡張することで第２の侵入物体監視装置1602の死角が生じたような状態を補うことができる。
なお、図１６の実施例では、２台の侵入物体監視装置を左右に設置しているが、上下左右斜めと、２台以上の侵入物体監視装置を配置しても同様の効果が得られることは言うまでもない。
【００３６】
本発明による侵入物体監視方法の第３の実施例の動作を図９に示すフローチャートを使用して説明する。
第３の実施例は、追尾中の侵入物体が第１の侵入物体監視装置のテレビカメラの死角に入った場合に、その死角の監視エリアを監視する他の第２の侵入物体監視装置に追尾を継続させるようにし、ある監視エリアを担当する第１の侵入物体監視装置が侵入物体の検出、追尾を行なっていて監視できないエリアが生じた場合に、この監視エリアに隣接する監視エリアを担当する他の第２の侵入物体監視装置が監視できないエリアを補って監視するようにした方法である。
図９は、図６に示した通常モード処理のフローチャートにおいて、視野拡大要求判定のステップ６０３で要求がなかった場合の処理に、図３に示した通常モード処理のフローチャートの追尾継続要求受信のステップ３０６から監視モード設定のステップ３０９までを加えたものである。
各ステップにおける動作の説明は、上述した通りであるので省略する。
【００３７】
図１２は、監視モード“通常”モード1101の状態と、“広角”モード1102の状態と、“追尾”モード1103の状態との間の遷移を表す図で、図１１に示す“通常”モード1101の状態と“追尾”モード1103の状態との間の遷移1105の代わりに、遷移1201を加えたものである。
遷移1201は、“通常”モード1101の状態のときに、侵入物体を検出した場合、あるいは、追尾継続要求を受信した場合に“追尾”モード1103へ遷移するものである。
したがって、図１５に示すように、侵入物体1503が侵入物体監視装置1501の死角である移動経路1505を移動しても、侵入物体1503を継続して追尾することが可能となる。
さらに、図１６Ａ、図１６Ｂで示すように、第２の侵入物体監視装置1602が追尾モードへ移行すると、本来の監視エリア1604の一部しか監視できなくなり、第２の侵入物体監視装置1602に死角が生じたような状態となるが、第１の侵入物体監視装置1601の監視範囲1603を広角の監視範囲1608にすることで、死角が生じたような状態を補うことが可能となる。
【００３８】
【発明の効果】
本発明によれば、監視エリアを２台以上の侵入物体監視装置で分担して監視することで監視エリアの制限を除去するように、１台の侵入物体監視装置の死角に入った侵入物体の追尾を、他の侵入物体監視装置に引き継ぐことで１台の侵入物体監視装置の死角を除去することができるようにした信頼性の高い侵入物体監視方法および侵入物体監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による侵入物体監視方法を使用した侵入物体監視装置のブロック図。
【図２】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第１のフローチャート。
【図３】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第２のフローチャート。
【図４】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第３のフローチャート。
【図５】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第１のフローチャート。
【図６】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第２のフローチャート。
【図７】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第３のフローチャート。
【図８】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第４のフローチャート。
【図９】本発明による侵入物体監視方法の第３の実施例の動作を説明するためのフローチャート。
【図１０】本発明による侵入物体監視方法の第１の実施例の状態遷移を説明する図。
【図１１】本発明による侵入物体監視方法の第２の実施例の状態遷移を説明する図。
【図１２】本発明による侵入物体監視方法の第３の実施例の状態遷移を説明する図。
【図１３】侵入物体監視装置におけるフレーム間差分検出を説明するための図。
【図１４】雲台の制御量を説明するための図。
【図１５】侵入物体の移動経路を監視する２台の侵入物体監視装置の動作を説明する図。
【図１６】２台の侵入物体監視装置の監視エリア割り当てを説明する第１の図。
【図１７】２台の侵入物体監視装置の監視エリア割り当てを説明する第２の図。
【符号の説明】
１…テレビジョンカメラ装置、１０２…ズームレンズ、１０３…雲台、１０４…画像入力Ｉ／Ｆ、１０５…通信Ｉ／Ｆ、１０６…画像メモリ、１０７…ワークメモリ、１０８…ＣＰＵ、１０９…プログラムメモリ、１１０…出力Ｉ／Ｆ、１１１…画像出力Ｉ／Ｆ、１１２…データバス、１１３…警告灯、１１４…監視モニタ、１１５…雲台制御装置、１１６…ズーム制御装置、１１７…外部通信ケーブル、１３０９、１３１０…減算器、１３１１、１３１２…二値化器、１３１３…論理積器、１５０１、１５０２、１６０１、１６０２…侵入物体監視装置。
【発明の属する技術分野】
本発明は、テレビジョンカメラ装置（以下、テレビカメラと省略する）を使用した侵入物体監視装置、特に、監視エリアに侵入する侵入物体を監視し、発見した侵入物体の移動にしたがって侵入物体を追従するようにテレビカメラの撮像方向を制御し、侵入物体を自動的に追尾し撮像させるようにした侵入物体監視方法および侵入物体監視装置に関するものである。
【０００２】
【従来の技術】
テレビカメラなどの画像入力手段を使用した侵入物体監視装置は、従来より行なわれてきた監視員の目視による侵入物体監視ではなく、監視エリア内に侵入した侵入物体を自動的に検出したり、テレビカメラの撮像範囲内に侵入物体が常に捉えられるように、侵入物体の検出位置にもとづいてテレビカメラを搭載した雲台（電動）を制御してテレビカメラの撮像方向を変更するようにし、所定の報知や警告、侵入物体の画像記録などの処理をさせるようしたものである。
このような侵入物体監視装置を実現するために使用される侵入物体監視方法には、例えば、監視エリアを撮像する第１のテレビカメラから出力される画像信号の異なる時刻に得られる複数フレームの画像信号を比較して、画素毎の輝度値の差分を求め、その差分の大きいエリアの画像信号を侵入物体として検出するようにし、さらに、侵入物体が検出された場合には、第２のテレビカメラを動作させ、第１のテレビカメラによる侵入物体の検出位置にもとづいて、第２のテレビカメラを搭載した雲台を制御して第２のテレビカメラの撮像範囲内に常に侵入物体を捉えられるようにする侵入物体監視方法がある。
【０００３】
この従来技術による侵入物体監視方法を図１３、図１４を使用して説明する。図１３は、第１のテレビカメラによる侵入物体監視方法の一例の処理原理を説明する図である。
この侵入物体監視方法は、フレーム間差分法などと呼ばれ、従来より広く使用されている。
図１３において、1301は、時刻ｔ０-1における撮像画像、1302は、時刻ｔ０における撮像画像、1303は、時刻ｔ０+1における撮像画像、1309は、撮像画像1301と撮像画像1302との減算を演算する減算器、1310は、撮像画像1302と撮像画像1303との減算を演算する減算器、1304は、撮像画像1301と撮像画像1302との減算の結果である差分画像、1305は、撮像画像1302と撮像画像1303との減算の結果の差分画像、1311は、差分画像1304を二値化する二値化器、1312は、差分画像1305を二値化する二値化器、1306は、差分画像1304の二値化画像、1307は、差分画像1305の二値化画像、1313は、二値化画像1306と二値化画像1307との論理積を演算する論理積器、1308は、二値化画像1306と二値化画像1307との論理積の結果の論理積画像を示す。
【０００４】
第１のテレビカメラで、異なる時刻に撮像された撮像画像1301と撮像画像1302とは減算器1309に入力され、異なる時刻に撮像された撮像画像1302と撮像画像1303とは減算器1310に入力される。
減算器1309は、撮像画像1301と撮像画像1302との画素毎の輝度値の差分を計算し差分画像1304を二値化器1311へ出力し、減算器1310は、撮像画像1302と撮像画像1303との画素毎の輝度値の差分を計算し差分画像1305を二値化器1312へ出力する。
つぎに、二値化器1311は、減算器1309から入力される差分画像1304を、画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、所定のしきい値Ｔｈ以上の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として二値化し、二値化画像1306を論理積器1313へ出力する。
同様に、二値化器1312は、減算器1310から入力される差分画像1305を、画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、所定のしきい値Ｔｈ以上の輝度値を“２５５”として二値化し、二値化画像1307を論理積器1313へ出力する。
論理積器1313は、二値化器1311から入力される二値化画像1306と、二値化器1312から入力される二値化画像1307との画素毎の輝度値の論理積を計算し、論理積画像1308を出力する。
【０００５】
このように第１のテレビカメラで撮像された撮像画像1301、1302、1303の中の人型の物体1314、1315、1316は、減算器1309、1310により差分が生じた部分の画像1317、1318として計算され（撮像画像で変化しているのは人型の物体だけであるので差分画像は人型の物体だけとなる）、二値化器1311、1312によって輝度値“２５５”のかたまりの画像1319、1320として抽出され（所定の輝度値以上の画像だけとなる）、さらに、論理積器1313により画像1319、1320を構成する画素の中で両画像共に輝度値“２５５”を持つ画素のかたまりの画像1321として出力される。
なお、監視エリア内の侵入物体を検出する方法であれば、前記フレーム間差分法以外の方法も適用することができる。
【０００６】
つぎに、第２のテレビカメラは、第１のテレビカメラにより撮像された画像から侵入物体が検出された場合に動作し、第１のテレビカメラにより撮像された画像から検出された侵入物体の大きさ、検出位置にもとづき、装着されているズームレンズ、撮像方向（雲台の方向）が制御される。
第２のテレビカメラに装着されているズームレンズの制御量は、例えば、第１のテレビカメラの縦方向の画像サイズを２４０画素とし、検出された侵入物体の縦方向の大きさが３０画素であった場合、第２のテレビカメラのズームレンズ制御量を第１のテレビカメラのズームレンズ制御量の８（＝２４０÷３０）倍に設定する。
第１のテレビカメラおよび第２のテレビカメラに装着されているそれぞれのズームレンズを、前記のように設定することで、第１のテレビカメラで検出された侵入物体を、第２のテレビカメラでは撮像範囲全体の画像として撮像することができる。
【０００７】
つぎに、第２のテレビカメラを搭載した雲台（電動雲台）の制御量の決定方法を、図１４を使用して説明する。
図１４は、第１のテレビカメラの撮像範囲1401で検出された侵入物体1402を、第２のテレビカメラ1403で追尾する場面を説明するための図である。
なお、図１４は、説明の簡略化のため第１のテレビカメラと第２のテレビカメラとを同じ位置に設置したものとし、第１のテレビカメラの撮像範囲の中心（光軸）方向と、第２のテレビカメラの基準とする撮像範囲の方向（雲台制御角をパン０度、チルト０度）とを一致させており、ｘ軸のみの方向に着目して表示している。
【０００８】
図１４において、２Ｗは、撮像画像の横方向の画素数［pix ］、Δｘは、検出された侵入物体が第１のテレビカメラの撮像範囲の中心から離れている場合の横方向の変位［pix ］、θｗは、第１のテレビカメラの半撮像角度［度］、θｘは、第２のテレビカメラを搭載した雲台のパン制御角度［度］を示す。
ここで、第１のテレビカメラの半撮像角度θｗは、第１のテレビカメラに備える撮像素子の横方向の大きさｈ［ｍｍ］と、第１のテレビカメラの焦点距離ｆ［ｍｍ］とによって、下記（１）式で表すことができる。
【数１】
また、この監視条件において、撮像画像の横方向の画素数２Ｗ、侵入物体の検出位置の第１のテレビカメラの撮像範囲の中心からの横方向の変位Δｘと、第１のテレビカメラの半撮像角度θｗと、第２のテレビカメラの雲台のパン制御角度θｘとには、下記（２）式に示す関係がある。
【数２】
【数３】
例えば、半撮像角度θｗを３０［度］、第１のテレビカメラの撮像画像の横方向の画素数２Ｗを３２０［pix ］、検出された侵入物体の第１のテレビカメラの撮像範囲の中心からの変位Δｘを４０［pix ］とした場合、第２のテレビカメラの雲台のパン制御角度は８．２度となる。
以上のように、第１のテレビカメラで侵入物体が検出された場合に、検出された侵入物体の大きさ、検出位置にもとづいて、第２のテレビカメラに装着されたズームレンズ、第２のテレビカメラを搭載した雲台を制御することで侵入物体を第２のテレビカメラで追尾することができる。
前記したような、２つのテレビカメラの構成による侵入物体監視装置に関する開示技術として、例えば、特開平６−１５３０５１号公報がある。
【００１１】
【発明が解決しようとする課題】
従来技術による侵入物体監視方法および侵入物体監視装置においては、第１のテレビカメラの撮像範囲内でしか侵入物体の検出が行なえず、侵入物体を正確に検出できるような大きさで侵入物体を撮像するように第１のテレビカメラの撮像範囲を設定すると、おのずと監視エリアが制限されてしまうということになる。例えば、横幅１．０ｍ以上の侵入物体を検出するために、侵入物体が二値化画像中で幅１０画素以上のかたまりとして検出されなければならないような場合、画像サイズを３２０×２４０画素として、１．０／（１０／３２０）＝３２．０となり、第１のテレビカメラの監視エリアは横方向３２ｍまでしか設定することがでず、さらに、ズームレンズと雲台とを制御しながら侵入物体を追尾する場合、第１のテレビカメラの撮像範囲から外れた監視エリアが死角となってしまうことになる。
また、監視エリア内に存在する建物の陰や、雲台の動作限界などによる死角に侵入物体が入った場合に、侵入物体を継続して追尾することができなくなってしまうということもある。
本発明は、前記問題点を解決し、監視エリアを２台以上の侵入物体監視装置で分担して監視することで監視エリアの制限を除去するように、１台の侵入物体監視装置の死角に入った侵入物体の追尾を、他の侵入物体監視装置に引き継ぐことで１台の侵入物体監視装置の死角を除去することができるようにした信頼性の高い侵入物体監視方法および侵入物体監視装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
前記目的を達成するために、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体の追尾が行なわれている監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信する視野拡大要求送信のステップと、隣接する他の監視エリアを監視する他の前記侵入物体監視装置から視野拡大要求を受信した場合には前記ズームレンズを制御して監視範囲を拡大する視野拡大のステップとを備え、複数監視エリアを侵入し移動する前記侵入物体を追尾する方法である。
また、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、該死角のエリアを監視エリアに含む他の前記侵入物体監視装置に追尾継続要求を送信する追尾継続要求送信のステップと、他の前記侵入物体監視装置から追尾継続要求を受信した場合に他の前記侵入物体監視装置が追尾している侵入物体の追尾を継続する侵入物体追尾のステップとを備え、監視エリアに侵入した前記侵入物体を追尾する方法である。
【００１３】
また、本発明による侵入物体監視方法は、テレビジョンカメラ装置を有する侵入物体監視装置を使用した侵入物体監視方法であって、前記テレビジョンカメラ装置から順次出力される異なる時刻の画像信号を差分処理して侵入物体を検出し、検出した侵入物体の情報にもとづきズームレンズと雲台とを制御し、侵入物体を追尾し監視する侵入物体監視方法において、前記侵入物体の追尾が行なわれている監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信する視野拡大要求送信のステップと、隣接する他の監視エリアを監視する他の前記侵入物体監視装置から視野拡大要求を受信した場合には前記ズームレンズを制御して監視範囲を拡大する視野拡大のステップと、前記侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、該死角のエリアを監視エリアに含む他の前記侵入物体監視装置に追尾継続要求を送信する追尾継続要求送信のステップと、他の前記侵入物体監視装置から追尾継続要求を受信した場合に他の前記侵入物体監視装置が追尾している侵入物体の追尾を継続する侵入物体追尾のステップとを備え、監視エリアに侵入した前記侵入物体を追尾する方法である。
【００１４】
また、本発明による侵入物体監視装置は、監視エリアを撮像するズームレンズを装着したテレビジョンカメラ装置と、該テレビジョンカメラ装置から出力される画像信号を順次所定フォーマットの画像データに変換する画像入力インターフェース手段と、該画像入力インターフェース手段により変換された前記画像データを差分処理して侵入物体を検出する画像処理手段と、搭載した前記テレビジョンカメラ装置の撮像方向を変える雲台と、該雲台を制御する雲台制御手段と、前記ズームレンズを制御するズームレンズ制御手段と、１つ以上の他の侵入物体監視装置とデータの通信を行なうデータ通信手段と、侵入物体監視の結果を表示する監視結果表示手段とを有するものである。
また、本発明による侵入物体監視装置は、監視エリアに侵入した侵入物体を追尾し監視する侵入物体監視装置であって、監視エリアを撮像するズームレンズを装着したテレビジョンカメラ装置と、該テレビジョンカメラ装置から出力される画像信号を順次所定フォーマットの画像データに変換する画像入力インターフェース手段と、該画像入力インターフェース手段により変換された前記画像データを差分処理して侵入物体を検出する画像処理手段と、搭載した前記テレビジョンカメラ装置の撮像方向を変える雲台と、該雲台を制御する雲台制御手段と、前記ズームレンズを制御するズームレンズ制御手段と、１つ以上の他の侵入物体監視装置とデータの通信を行なうデータ通信手段と、侵入物体監視の結果を表示する監視結果表示手段とを有し、前記画像処理手段が侵入物体を検出した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力し、前記データ通信手段を介して監視エリアに隣接する他の監視エリアを監視する他の前記侵入物体監視装置に視野拡大要求を送信し、前記データ通信手段を介して視野拡大要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体が前記テレビジョンカメラ装置の死角に入った場合に、前記データ通信手段を介して前記死角のエリアを監視エリアとする他の前記侵入物体監視装置に追尾継続要求を送信し、前記データ通信手段を介して追尾継続要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、侵入物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力することによって監視エリアに侵入した侵入物体を追尾するものである。
【００１５】
【発明の実施の形態】
本発明による侵入物体監視方法および侵入物体監視装置の実施形態の一例を説明する。
図１は、本発明による侵入物体監視方法を使用した侵入物体監視装置のブロック図である。
図１において、１０１は、所要の監視エリアを撮像するテレビジョンカメラ装置（以下、テレビカメラと省略する）、１０２は、テレビカメラ１０１に装着されており撮像範囲と被写体の大きさを変更できるズームレンズ、１０３は、搭載したテレビカメラ１０１をパンあるいはチルトするための雲台、１１６は、ズームレンズ１０２へズーム制御信号を出力するズーム制御装置、１１５は、雲台１０３へ雲台制御信号を出力する雲台制御装置、１０４は、テレビカメラ１０１から入力される画像信号を所定フォーマットの画像データに変換する画像入力Ｉ／Ｆ、１０６は、画像入力Ｉ／Ｆ１０４で変換された画像データを記憶する画像メモリ、１０８は、侵入物体監視装置の各回路を制御するＣＰＵ、１０９は、ＣＰＵ１０８を制御する所要のプログラムを記憶するプログラムメモリ、１０７は、処理される所要の画像データを記憶するワークメモリ、１０５は、ズーム制御装置１１６および雲台制御装置１１５へ制御信号出力、他の侵入物体監視装置とのデータ伝送をする通信Ｉ／Ｆ、１１０は、侵入物体が検出されたことを警告する信号を出力する出力Ｉ／Ｆ、１１１は、撮像した画像信号、検出した侵入物体の画像信号などを出力する画像出力Ｉ／Ｆ、１１２は、デジタルデータが伝送されるデータバス、１１３は、侵入物体が検出されたことを警告する警告灯、１１４は、画像出力Ｉ／Ｆ１１１から出力される画像信号を表示する監視モニタを示す。
【００１６】
ズームレンズ１０２が装着されているテレビカメラ１０１は、ズームレンズ１０２の撮像範囲より広い監視エリアを撮像するためにパンおよびチルトが制御可能な雲台１０３に搭載されている。
テレビカメラ１０１に装着されているズームレンズ１０２は、ズーム制御装置１１６とケーブルで接続され、雲台１０３は、雲台制御装置１１５とケーブルで接続されており、さらに、ズーム制御装置１１６および雲台制御装置１１５は、通信Ｉ／Ｆ１０５に接続されている。
また、通信Ｉ／Ｆ１０５は、外部通信ケーブル１１７で他の侵入物体検出装置と接続することができる。
テレビカメラ１０１は、ケーブルで画像入力Ｉ／Ｆ１０４と接続されており、撮像した画像信号が画像入力Ｉ／Ｆ１０４へ出力される。
監視モニタ１１４は、ケーブルで画像出力Ｉ／Ｆ１１４と接続されており、テレビカメラ１０１で撮像された画像信号、検出した侵入物体の画像信号などが画像出力Ｉ／Ｆ１１４から入力される。
警告灯１１３は、出力Ｉ／Ｆ１１０と接続されており、侵入物体を検出した場合、点灯信号が出力Ｉ／Ｆ１１０から入力される。
なお、画像入力Ｉ／Ｆ１０４、通信Ｉ／Ｆ１０５、画像メモリ１０６、ワークメモリ１０７、ＣＰＵ１０８、プログラムメモリ１０９、出力Ｉ／Ｆ１１０、画像出力Ｉ／Ｆ１１１は、それぞれデータバス１１２に接続されている。
【００１７】
動作の説明をする。
テレビカメラ１０１は、装着されているズームレンズ１０２による撮像範囲より広い監視エリアを撮像できるようにするために雲台１０３に搭載されており、雲台制御装置１１５から出力される雲台制御信号によりパンおよびチルトされ、撮像方向を所要の方向へ移動させることができる。
また、テレビカメラ１０１に装着されているズームレンズ１０２は、ズーム制御装置１１６から出力されるズーム制御信号によってズームレンズ１０２のズーム比を変えることができる。
テレビカメラ１０１は、所要の監視エリアを撮像した画像信号を画像入力Ｉ／Ｆ１０４へ出力する。
画像入力Ｉ／Ｆ１０４は、テレビカメラ１０１から入力される監視エリアを撮像した画像信号を、侵入物体監視装置のデジタル処理部で扱うフォーマット（例えば、幅３２０pix 、高さ２４０pix 、８bit／pix）の画像データに変換し、データバス１１２を介して画像メモリ１０６へ伝送する。
画像メモリ１０６は、データバス１１２を介して伝送されてきた画像データを記憶する。
【００１８】
ＣＰＵ１０８は、プログラムメモリ１０９にあらかじめ記憶されているプログラムに従って、画像メモリ１０６に記憶された所要の画像データをワークメモリ１０７に読み出し、ワークメモリ１０７内において画像データの解析を行なう。画像データを解析することにより、テレビカメラ１０１の撮像範囲内に侵入物体が侵入した等の情報を得ることができる。
ＣＰＵ１０８は、解析した結果に応じ、データバス１１２を介して通信Ｉ／Ｆ１０５に指示を行ない、雲台制御装置１１５から雲台１０３へ所要の雲台制御信号を出力させる。
また、ＣＰＵ１０８は、解析した結果に応じ、データバス１１２を介して通信Ｉ／Ｆ１０５に指示を行ない、ズーム制御装置１１６からズームレンズ１０２へズーム制御信号を出力させる。
また、ＣＰＵ１０８は、外部通信ケーブル１１７で接続された１台以上の他の侵入物体監視装置がある場合は、外部通信ケーブル１１７を介して通信Ｉ／Ｆ１０５から他の侵入物体監視装置と所要のデータ通信を行なう。
また、ＣＰＵ１０８は、解析した結果に応じ、出力Ｉ／Ｆ１１０から警告灯１１３へ点灯信号を出力し警告灯１１３を点灯する。
また、ＣＰＵ１０８は、解析した結果に応じ、画像出力Ｉ／Ｆ１１１から監視モニタ１１４へ処理結果の画像信号を出力し、画面上に、例えば、処理結果の画像を表示する。
【００１９】
通信Ｉ／Ｆ１０５は、ＣＰＵ１０８からの所要の制御指示を受け、所要の制御指示を雲台制御装置１１５およびズーム制御装置１１６が認識できるフォーマット（例えば、ＲＳ２３２Ｃ通信信号）に変換し、雲台１０３やズームレンズ１０２の制御を行ない、また、ＣＰＵ１０８からの所要の制御指示を受け、外部通信ケーブル１１７で接続されている１台以上の他の侵入物体監視装置とデータ通信を行なう。
画像出力Ｉ／Ｆ１１１は、ＣＰＵ１０８から所要の制御指示を受け、画像データを監視モニタ１１４が表示できるフォーマット（例えば、ＮＴＳＣ方式画像信号）の画像信号に変換して、監視モニタ１１４へ出力する。
監視モニタ１１４は、画像出力Ｉ／Ｆ１１１から入力される画像信号の画像、例えば、侵入物体検出結果画像を表示する。
以下に説明するフローチャートを使用した説明は、すべて上記ハードウエア構成の侵入物体監視装置の一例である図１を使用して説明している。
【００２０】
本発明による侵入物体監視方法の第１の実施例の動作を、図２、図３、図４に示すフローチャートを使用して説明する。
第１の実施例は、追尾中の侵入物体が第１の侵入物体監視装置のテレビカメラの死角に入った場合に、その死角の監視エリアを監視する他の第２の侵入物体監視装置に追尾を継続させるようにした方法である。
第１の侵入物体監視装置が侵入物体の監視を開始すると、まず、初期化処理が行なわれる（図２参照）。
初期化処理のステップ２０１では、画像メモリ１０６、ワークメモリ１０７などの初期化処理が行なわれる。
初期監視状態のステップ２０２では、テレビカメラ１０１に装着されているズームレンズ１０２と、テレビカメラ１０１が搭載されている雲台１０３とが所定の初期位置にリセットされる。
監視モード設定のステップ２０３では、現在の監視モードを“通常”に設定する。
監視モード分岐のステップ２０４では、監視モードが“通常”である場合には通常モード処理のステップ２０５が選択され、監視モードが“追尾”である場合には追尾モード処理のステップ２０６が選択されるが、現在は、現在の監視モード“通常”の設定に従い、通常モード処理のステップ２０５が選択される。
【００２１】
つぎに、通常モード処理のステップ２０５が選択され、通常モード処理が開始された場合の説明をする（図３参照）。
侵入物体検出処理のステップ３０１では、例えば、先に、図１３を使用して説明した侵入物体検出処理が行なわれる。
侵入物体判定のステップ３０２では、侵入物体検出処理により侵入物体が検出された場合は侵入物体が存在すると判定されてズームレンズと雲台制御のステップ３０３を選択し、侵入物体検出処理により侵入物体が検出されなかった場合は侵入物体が存在しないと判定されて追尾継続要求受信のステップ３０６を選択する。
侵入物体が存在すると判定された場合は、ズームレンズと雲台制御のステップ３０３では、侵入物体検出処理のステップ３０１の検出結果にもとづき、例えば、上述したズームレンズ、雲台制御手順に従って、ズームレンズ１０２および雲台１０３を、通信Ｉ／Ｆ１０５、ズーム制御装置１１６、雲台制御装置１１５を介して制御する。
監視モード設定のステップ３０４では、現在の監視モードを“通常”から“追尾”に変更する。
警報、モニタ表示１のステップ３０５では、警告灯１１３を点灯して侵入物体発見の警告をするとともに、例えば、「通常モードで侵入物体を発見、追尾モードへ移行」等のメッセージ（メッセージの発生、表示の手段は省略）とともに、監視モニタ１１４の画面上に侵入物体の画像を表示する。
【００２２】
つぎに、侵入物体が存在しないと判定された場合は、追尾継続要求受信のステップ３０６では、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置からの追尾継続要求を受信する。
要求受信判定のステップ３０７では、追尾継続要求受信が有ると判定された場合はズームレンズと雲台制御のステップ３０８を選択し、追尾継続要求受信が無いと判定された場合は、通常モード処理を終了し、監視モード分岐のステップ２０４（図２参照）へ復帰する。
追尾継続要求受信が有ると判定した場合は、ズームレンズと雲台制御のステップ３０８では、追尾継続要求を受信したときの侵入物体の大きさと位置情報とにもとづき、例えば、上述したズームレンズ、雲台制御手順に従ってズームレンズ１０２および雲台１０３を制御する。
監視モード設定のステップ３０９では、現在の監視モードを“追尾”に設定する。
【００２３】
つぎに、追尾モード処理のステップ２０６（図２参照）では、通常モード処理開始の侵入物体検出処理のステップ３０１（図３参照）と同じ処理を行なう侵入物体検出処理のステップ４０１（図４参照）によって侵入物体を検出する。
侵入物体判定のステップ４０２では、侵入物体が存在すると判定した場合は死角移動判定のステップ４０３を選択し、侵入物体が存在しないと判定した場合は初期監視状態のステップ４０９を選択する。
死角移動判定のステップ４０３では、検出された侵入物体の位置があらかじめ設定したテレビカメラの死角近傍に移動したと判定した場合は追尾継続要求送信のステップ４０４を選択し、死角近傍に移動していないと判定した場合はズームレンズと雲台制御のステップ４０７を選択する。
追尾継続要求送信のステップ４０４では、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置へ追尾継続要求と侵入物体の検出位置データとを送信し、初期監視状態のステップ４０５へ移行する。
初期監視状態のステップ４０５は、初期監視状態のステップ２０２（図２参照）と同じ処理を行ないズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ４０６では、現在の監視モードを“通常”に設定する。
【００２４】
つぎに、ズームレンズと雲台制御のステップ４０７では、（侵入物体は死角へ移動していないので）侵入物体検出処理のステップ４０１の検出結果にもとづき、例えば、ズームレンズと雲台制御手順に従って、ズームレンズ１０２および雲台１０３を通信Ｉ／Ｆ１０５、ズーム制御装置１１６、雲台制御装置１１５を介して制御する。
警報、モニタ表示３のステップ４０８では、出力Ｉ／Ｆ１１０を介して警告灯１１３を点灯するとともに、画像出力Ｉ／Ｆ１１１を介して監視モニタ１１４に、例えば、「侵入物体を追尾中」等のメッセージとともに侵入物体の画像を表示する。
さらに、侵入物体判定のステップ４０２で侵入物体が存在しないと判定された場合は、初期監視状態のステップ４０９へ移行する。
初期監視状態のステップ４０９は、初期監視状態のステップ２０２（図２参照）と同じ処理を行ないズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ４１０では、現在の監視モードを“通常”に設定する。
【００２５】
上述の図２、図３、図４を使用して説明した監視モードの変化を、図１０を使用してさらに説明する。
図１０は、監視モードの設定が“通常”モード1001の状態と“追尾”モード1002の状態との間の遷移を表す図で、“通常”モード1001の状態では、侵入物体を検出したり、追尾継続要求があった場合に“追尾”モード1002へ遷移し（遷移1003）、侵入物体が検出されなかった場合には“通常”モード1001のまま推移する（推移1005）。
また、“追尾”モード1002の状態では、侵入物体を検出しなかったり、侵入物体が死角へ移動した場合には“通常”モード1001へ遷移し（遷移1004）、侵入物体が検出されており、かつ、侵入物体が死角へ移動していない場合には“追尾”モード1006のまま推移する（推移1006）。
【００２６】
前記処理の流れを、図１５を使用して説明する。
図１５は、監視エリア内に侵入した侵入物体1503を、２台の侵入物体監視装置1501、1502を使用して監視する例であり、２台の侵入物体監視装置1501、1502は、外部通信ケーブル1509を使用して相互にデータ通信できるようになっており、侵入物体1503は、移動経路1504および1505を移動するものとする。
また、２台の侵入物体監視装置1501、1502のそれぞれの監視エリア1507、1508内には建物1506が存在し、それぞれの監視エリア1507、1508は２台の侵入物体監視装置1501、1502がそれぞれ監視可能な最大の監視エリア（雲台を制御して確保できる監視エリア）を表している。
監視開始時は、２台の侵入物体監視装置1501、1502ともに監視モードが“通常”であるが、侵入物体1503が検出された場合に、侵入物体監視装置1501の監視モードが“追尾”に遷移し、侵入物体1503が移動経路1504を移動している間は、ズームレンズ、雲台を制御しながら侵入物体1503を追尾する。
【００２７】
さらに、侵入物体1503が移動経路の中の位置1510に移動すると、建物1506により侵入物体監視装置1501では追尾の継続が不可能となり、侵入物体監視装置1501は、侵入物体監視装置1502に、外部通信ケーブル1509を介して追尾継続要求を送信する。
侵入物体監視装置1502は、侵入物体監視装置1501からの追尾継続要求にもとづき、侵入物体監視装置1501が追尾していた侵入物体1503を継続して追尾する。
したがって、侵入物体1503が、侵入物体監視装置1501の死角である移動経路1505（点線で表示）を移動しても、侵入物体1503を継続して追尾することが可能となる。
【００２８】
本発明による侵入物体監視方法の第２の実施例の動作を図５、図６、図７、図８に示すフローチャートを使用して説明する。
第２の実施例は、第１の監視エリアの監視を担当する第１の侵入物体監視装置が侵入物体を検出し追尾していたが、監視できないエリアが生じた場合に、第１の監視エリアに隣接する第２の監視エリアの監視を担当する第２の侵入物体監視装置が、第１の侵入物体監視装置が監視できないエリアを補って監視するようにした侵入物体監視方法である。
図５に示すフローチャートは、図２に示し説明した第１の実施例のフローチャートの監視モード分岐のステップ２０４で選択する監視モードに、“広角”を追加したものである。
“広角”の追加に伴い、監視モード分岐のステップ２０４の代わりに監視モード分岐のステップ５０１、通常モード処理のステップ２０５の代わりに通常モード処理のステップ５０２、追尾モードの処理ステップ２０６の代わりに追尾モード処理のステップ５０４とし、広角モード処理のステップ５０３を追加したものである。
【００２９】
図５のフローチャートにおいて、監視モード分岐のステップ５０１は、監視モードのステップ２０３の現在の監視モードの設定に従って、監視モードが“通常”である場合には通常モード処理のステップ５０２を選択し、監視モードが“広角”である場合には広角モード処理のステップ５０３を選択し、監視モードが“追尾”である場合には追尾モード処理のステップ５０４を選択する。
前記各モード処理のうち、通常モード処理のステップ５０２が選択された場合は、図６に示す通常モード処理が開始される。
図６に示す通常モード処理ステップ５０２の処理を表すフローチャートは、図３に示す通常モード処理のフローチャートのズームレンズと雲台制御のステップ３０３の前に視野拡大要求送信のステップ６０１を追加し、図３に示すフローチャートの追尾継続要求受信のステップ３０６から監視モード設定のステップ３０９までの代わりに、視野拡大要求受信のステップ６０２から監視モード設定のステップ６０５までを設けたものである。
【００３０】
すなわち、侵入物体検出処理のステップ３０１および侵入物体判定のステップ３０２において侵入物体が存在すると判定された場合は、視野拡大要求送信のステップ６０１で、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置へ視野拡大要求を送信する。
侵入物体検出処理のステップ３０１および侵入物体判定のステップ３０２において侵入物体が存在しないと判定された場合は、視野拡大要求受信のステップ６０２で、外部通信ケーブル１１７に接続された１台以上の他の侵入物体監視装置からの視野拡大要求を受信する。
つぎに、視野拡大要求受信判定のステップ６０３では、視野拡大要求受信が有ると判定された場合はズームレンズと雲台制御のステップ６０４を選択し、視野拡大要求受信が無いと判定された場合は、通常モード処理を終了し、監視モード分岐のステップ５０１へ復帰する。
視野拡大要求受信が有ると判定した場合は、ズームレンズと雲台制御のステップ６０４では、視野拡大要求を送信した他の侵入物体監視装置の監視視野情報にもとづき、ズームレンズ１０２および雲台１０３を制御し、監視モード設定のステップ６０５では現在の監視モードを“広角”に設定する。
【００３１】
現在の監視モードを“広角”に設定した状態でのズームレンズ１０２および雲台１０３の制御を、図１６Ａ、図１６Ｂを使用して説明する。
図１６Ａは、第１の侵入物体監視装置1601と第２の侵入物体監視装置1602とで侵入物体の監視を行なっている実施例で、第１の侵入物体監視装置1601が監視エリア1603を、第２の侵入物体監視装置1602が監視エリア1604を監視している様子を示している。
図１６Ｂは、図１６Ａに示す侵入物体の監視において、侵入物体が検出された場合の様子を示している。
図１６Ｂにおいて、第２の侵入物体監視装置1602は、侵入物体1610を検出したので、視野拡大要求を隣接する監視エリアを担当する第１の侵入物体監視装置1601へ送信し（図６のステップ６０１参照）、ズームレンズ１０２と雲台１０３を制御（図６のステップ３０３参照）し、現在の監視モードの設定を“追尾”に移行する（図６のステップ３０４参照）。
【００３２】
つぎに、第１の侵入物体監視装置1601は、第２の侵入物体監視装置1602から送信された視野拡大要求を受信すると（図６のステップ６０２参照）、第１の侵入物体監視装置1606の監視エリア1603と第２の侵入物体監視装置1602の監視エリア1604を包含する新たな監視エリア1608を撮像するため、ズームレンズ１０２と雲台１０３を制御（図６のステップ６０４参照）し、現在の監視モードの設定を“広角”に移行する（図６のステップ６０５参照）。
現在の監視モードの設定が“広角”に移行することで、図５に示す広角モード処理のステップ５０３への移行となり、広角モード処理（図７参照）が開始される。
侵入物体検出処理のステップ７０１では、先に図１３を使用して説明した侵入物体検出処理のステップ３０１と同じ侵入物体検出処理が行なわれる。
侵入物体判定のステップ７０２では、侵入物体検出処理により侵入物体が検出された場合は侵入物体が存在すると判定されて警報、モニタ表示２のステップ７０３を選択し、侵入物体検出処理により侵入物体が検出されなかった場合は侵入物体が存在しないと判定されて追尾終了判定のステップ７０４を選択する。
【００３３】
警報、モニタ表示２のステップ７０３では、警告灯１１３を点灯して侵入物体発見の警告をするとともに、監視モニタ１１４の画面上に、例えば「広角モードで侵入物体を発見」等のメッセージとともに侵入物体1610の画像を表示する。
また、追尾終了判定のステップ７０４では、外部通信ケーブル１１７で接続される侵入物体監視装置の全てが追尾モードでなかった場合は初期監視状態のステップ７０５を選択し、初期監視状態のステップ２０２（図２参照）と同じ処理を行なう初期監視状態のステップ７０５では、ズームレンズ１０２と雲台１０３とを初期位置にリセットする。
監視モード設定のステップ７０６では、現在の監視モードを“通常”に設定する。
追尾終了判定のステップ７０４において、外部通信ケーブル１１７で接続される侵入物体監視装置の少なくとも１つが追尾モードであった場合には、広角モード処理から復帰し監視モード分岐のステップ５０１へ処理を移行する。
図５に示す追尾モード処理のステップ５０４では、図４に示される追尾モード処理のステップの内、追尾継続要求送信のステップ４０４が除かれた処理が行なわれる。
【００３４】
図５、図６、図７、図８を使用して説明した“通常”、“広角”、“追尾”の各監視モードの変化を、図１１を使用してさらに説明する。
図１１は、“通常”モード1101の状態と、“広角”モード1102の状態と、“追尾”モード1103の状態との遷移を表す図で、“通常”モード1101の状態では、視野拡大要求を受信した場合に“広角”モード1102へ遷移し（遷移1106）、侵入物体を検出した場合に“追尾”モード1103へ遷移し（遷移1105）、侵入物体が検出されなかった場合には“通常”モード1101のまま推移する（推移1104）。
また、“広角”モード1102の状態では、追尾終了の場合に“通常”モード1101へ遷移し（遷移1108）、追尾終了以外の場合には“広角”モードのまま推移する（推移1107）。
また、“追尾”モード1103の状態では、侵入物体を検出しなかったり、侵入物体が死角へ移動した場合には“通常”モード1101へ遷移し（遷移1110）、侵入物体が検出されており、かつ、侵入物体が死角へ移動していない場合には“追尾”モード1103のまま推移する（推移1109）。
【００３５】
すなわち、本発明の侵入物体監視方法を使用することにより、図１６Ａ、図１６Ｂにおいて、第２の侵入物体監視装置1602が追尾モードへ移行すると、本来の監視エリア1604の一部しか監視できなくなり、第２の侵入物体監視装置1602に死角が生じたような状態となるが、第１の侵入物体監視装置1601の監視範囲1603を広角モードで拡張することで第２の侵入物体監視装置1602の死角が生じたような状態を補うことができる。
なお、図１６の実施例では、２台の侵入物体監視装置を左右に設置しているが、上下左右斜めと、２台以上の侵入物体監視装置を配置しても同様の効果が得られることは言うまでもない。
【００３６】
本発明による侵入物体監視方法の第３の実施例の動作を図９に示すフローチャートを使用して説明する。
第３の実施例は、追尾中の侵入物体が第１の侵入物体監視装置のテレビカメラの死角に入った場合に、その死角の監視エリアを監視する他の第２の侵入物体監視装置に追尾を継続させるようにし、ある監視エリアを担当する第１の侵入物体監視装置が侵入物体の検出、追尾を行なっていて監視できないエリアが生じた場合に、この監視エリアに隣接する監視エリアを担当する他の第２の侵入物体監視装置が監視できないエリアを補って監視するようにした方法である。
図９は、図６に示した通常モード処理のフローチャートにおいて、視野拡大要求判定のステップ６０３で要求がなかった場合の処理に、図３に示した通常モード処理のフローチャートの追尾継続要求受信のステップ３０６から監視モード設定のステップ３０９までを加えたものである。
各ステップにおける動作の説明は、上述した通りであるので省略する。
【００３７】
図１２は、監視モード“通常”モード1101の状態と、“広角”モード1102の状態と、“追尾”モード1103の状態との間の遷移を表す図で、図１１に示す“通常”モード1101の状態と“追尾”モード1103の状態との間の遷移1105の代わりに、遷移1201を加えたものである。
遷移1201は、“通常”モード1101の状態のときに、侵入物体を検出した場合、あるいは、追尾継続要求を受信した場合に“追尾”モード1103へ遷移するものである。
したがって、図１５に示すように、侵入物体1503が侵入物体監視装置1501の死角である移動経路1505を移動しても、侵入物体1503を継続して追尾することが可能となる。
さらに、図１６Ａ、図１６Ｂで示すように、第２の侵入物体監視装置1602が追尾モードへ移行すると、本来の監視エリア1604の一部しか監視できなくなり、第２の侵入物体監視装置1602に死角が生じたような状態となるが、第１の侵入物体監視装置1601の監視範囲1603を広角の監視範囲1608にすることで、死角が生じたような状態を補うことが可能となる。
【００３８】
【発明の効果】
本発明によれば、監視エリアを２台以上の侵入物体監視装置で分担して監視することで監視エリアの制限を除去するように、１台の侵入物体監視装置の死角に入った侵入物体の追尾を、他の侵入物体監視装置に引き継ぐことで１台の侵入物体監視装置の死角を除去することができるようにした信頼性の高い侵入物体監視方法および侵入物体監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による侵入物体監視方法を使用した侵入物体監視装置のブロック図。
【図２】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第１のフローチャート。
【図３】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第２のフローチャート。
【図４】本発明による侵入物体監視方法の第１の実施例の動作を説明するための第３のフローチャート。
【図５】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第１のフローチャート。
【図６】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第２のフローチャート。
【図７】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第３のフローチャート。
【図８】本発明による侵入物体監視方法の第２の実施例の動作を説明するための第４のフローチャート。
【図９】本発明による侵入物体監視方法の第３の実施例の動作を説明するためのフローチャート。
【図１０】本発明による侵入物体監視方法の第１の実施例の状態遷移を説明する図。
【図１１】本発明による侵入物体監視方法の第２の実施例の状態遷移を説明する図。
【図１２】本発明による侵入物体監視方法の第３の実施例の状態遷移を説明する図。
【図１３】侵入物体監視装置におけるフレーム間差分検出を説明するための図。
【図１４】雲台の制御量を説明するための図。
【図１５】侵入物体の移動経路を監視する２台の侵入物体監視装置の動作を説明する図。
【図１６】２台の侵入物体監視装置の監視エリア割り当てを説明する第１の図。
【図１７】２台の侵入物体監視装置の監視エリア割り当てを説明する第２の図。
【符号の説明】
１…テレビジョンカメラ装置、１０２…ズームレンズ、１０３…雲台、１０４…画像入力Ｉ／Ｆ、１０５…通信Ｉ／Ｆ、１０６…画像メモリ、１０７…ワークメモリ、１０８…ＣＰＵ、１０９…プログラムメモリ、１１０…出力Ｉ／Ｆ、１１１…画像出力Ｉ／Ｆ、１１２…データバス、１１３…警告灯、１１４…監視モニタ、１１５…雲台制御装置、１１６…ズーム制御装置、１１７…外部通信ケーブル、１３０９、１３１０…減算器、１３１１、１３１２…二値化器、１３１３…論理積器、１５０１、１５０２、１６０１、１６０２…侵入物体監視装置。
Claims (5)
- カメラ装置と接続される物体監視装置を使用した物体監視方法であって、
前記カメラ装置からの画像中の物体を検出し、検出した物体の情報にもとづきズームレンズと雲台とを制御し、物体を追尾し監視する物体監視方法において、
前記物体の追尾が行われている監視エリアに隣接する他の監視エリアを監視する他の前記物体監視装置に視野拡大要求を送信する視野拡大要求送信のステップと、
隣接する他の監視エリアを監視する他の前記物体監視装置から視野拡大要求を受信した場合には前記ズームレンズを制御して監視範囲を拡大する視野拡大のステップと、
前記物体が前記カメラ装置の死角に入った場合に、該死角のエリアを監視エリアに含む他の前記物体監視装置に追尾継続要求を送信する追尾継続要求送信のステップと、
他の前記物体監視装置から追尾継続要求を受信した場合に他の前記物体監視装置が追尾している物体の追尾を継続する物体追尾のステップとを備え、物体を追尾することを特徴とする物体監視方法。 - 監視エリアの物体を追尾し監視する物体監視方法であって、
監視エリアを撮像するズームレンズを装着したカメラ装置と、
該カメラ装置から出力される画像信号を順次所定フォーマットの画像データに変換する画像入力インターフェース手段と、
該画像入力インターフェース手段により変換された前記画像データ中の物体を検出する画像処理手段と、
搭載した前記カメラ装置の撮像方向を変える雲台と、
該雲台を制御する雲台制御手段と、
前記ズームレンズを制御するズームレンズ制御手段と、
１つ以上の他の物体監視装置とデータの通信を行うデータ通信手段と、
物体監視の結果を表示する監視結果表示手段とを有する物体監視装置を使用し、
前記画像処理手段が物体を検出した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力し、
前記データ通信手段を介して監視エリアに隣接する他の監視エリアを監視する他の前記物体監視装置に視野拡大要求を送信し、
前記データ通信手段を介して視野拡大要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体が前記テレビジョンカメラ装置の死角に入った場合に、前記データ通信手段を介して前記死角のエリアを監視エリアとする他の前記物体監視装置に追尾継続要求を送信し、
前記データ通信手段を介して追尾継続要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力することによって監視エリアの物体を追尾することを特徴とする物体監視方法。 - 監視エリアを撮像するズームレンズを装着したカメラ装置からの画像中の物体を検出する画像処理手段と、
前記カメラ装置の撮像方向を変える雲台を制御する雲台制御手段と、
前記ズームレンズを制御するズームレンズ制御手段と、
１つ以上の他の物体監視装置とデータの通信を行うデータ通信手段とを有し、
前記画像処理手段が物体を検出した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力し、
前記データ通信手段を介して監視エリアに隣接する他の監視エリアを監視する他の前記物体監視装置に視野拡大要求を送信し、
前記データ通信手段を介して視野拡大要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体が前記カメラ装置の死角に入った場合に、前記データ通信手段を介して前記死角のエリアを監視エリアとする他の前記物体監視装置に追尾継続要求を送信し、
前記データ通信手段を介して追尾継続要求を受信した場合に、前記ズームレンズ制御手段にズームレンズ制御信号を出力し、
物体の検出位置にもとづいて前記雲台制御手段に雲台制御信号を出力することによって物体を追尾することを特徴とする物体監視装置。 - 請求項３記載の物体監視装置を、２台以上使用した構成としたことを特徴とする物体監視装置。
- 所定の監視領域をそれぞれ監視する複数の物体監視装置と該複数の物体監視装置相互間で通信するための通信手段とを有し、
各監視装置は、前記監視領域の物体を検出する通常モードと、前記物体を追尾する追尾モードと、視野を拡大する広角モードとを有し、前記通信手段の情報に応じて前記モードのいずれかで動作することを特徴とする物体監視装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000060351A JP3643513B2 (ja) | 2000-03-01 | 2000-03-01 | 侵入物体監視方法および侵入物体監視装置 |
| EP08010344.3A EP1968321B1 (en) | 2000-02-28 | 2001-02-26 | Intruding object monitoring method and intruding object monitoring system |
| DE60138330T DE60138330D1 (de) | 2000-02-28 | 2001-02-26 | Vorricht ung und Systemzur Überwachung von eingedrungenen Objekte |
| EP01103693A EP1128676B1 (en) | 2000-02-28 | 2001-02-26 | Intruding object monitoring method and intruding object monitoring system |
| US09/791,725 US6812835B2 (en) | 2000-02-28 | 2001-02-26 | Intruding object monitoring method and intruding object monitoring system |
| KR10-2001-0010214A KR100432870B1 (ko) | 2000-02-28 | 2001-02-28 | 침입물체 감시방법 및 침입물체 감시시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000060351A JP3643513B2 (ja) | 2000-03-01 | 2000-03-01 | 侵入物体監視方法および侵入物体監視装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004264084A Division JP4499514B2 (ja) | 2004-09-10 | 2004-09-10 | 物体監視装置及び監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001245284A JP2001245284A (ja) | 2001-09-07 |
| JP3643513B2 true JP3643513B2 (ja) | 2005-04-27 |
Family
ID=18580684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000060351A Expired - Fee Related JP3643513B2 (ja) | 2000-02-28 | 2000-03-01 | 侵入物体監視方法および侵入物体監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3643513B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005033827A (ja) * | 2004-09-10 | 2005-02-03 | Hitachi Kokusai Electric Inc | 物体監視装置及び監視システム |
| US11290631B2 (en) * | 2020-02-21 | 2022-03-29 | Canon Kabushiki Kaisha | Image capture apparatus, image capture system, and control method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4568009B2 (ja) * | 2003-04-22 | 2010-10-27 | パナソニック株式会社 | カメラ連携による監視装置 |
| JP4855662B2 (ja) * | 2003-09-16 | 2012-01-18 | 富士フイルム株式会社 | カメラシステム、カメラ制御方法、及びプログラム |
| JP3902222B2 (ja) | 2005-06-07 | 2007-04-04 | 松下電器産業株式会社 | 監視システム、監視方法及びカメラ端末 |
| US8154599B2 (en) | 2005-07-29 | 2012-04-10 | Panasonic Corporation | Imaging region adjustment device |
| JP4188394B2 (ja) | 2005-09-20 | 2008-11-26 | フジノン株式会社 | 監視カメラ装置及び監視カメラシステム |
| JP4942185B2 (ja) * | 2007-04-06 | 2012-05-30 | キヤノン株式会社 | 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体 |
| US9398231B2 (en) * | 2010-03-15 | 2016-07-19 | Omron Corporation | Surveillance camera terminal |
| JP6184271B2 (ja) | 2013-09-19 | 2017-08-23 | キヤノン株式会社 | 撮像管理装置、撮像管理システムの制御方法およびプログラム |
| CN104349140A (zh) * | 2013-11-25 | 2015-02-11 | 深圳辉锐天眼科技有限公司 | 基于视频分析的枪球机视频获取设备的联动方法 |
| WO2017047688A1 (ja) * | 2015-09-17 | 2017-03-23 | 株式会社日立国際電気 | 落下物検知追跡システム |
| CN107578594A (zh) * | 2017-09-04 | 2018-01-12 | 武汉阿卡瑞思光电自控有限公司 | 油气管道区域入侵检测装置与方法 |
-
2000
- 2000-03-01 JP JP2000060351A patent/JP3643513B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005033827A (ja) * | 2004-09-10 | 2005-02-03 | Hitachi Kokusai Electric Inc | 物体監視装置及び監視システム |
| JP4499514B2 (ja) * | 2004-09-10 | 2010-07-07 | 株式会社日立国際電気 | 物体監視装置及び監視システム |
| US11290631B2 (en) * | 2020-02-21 | 2022-03-29 | Canon Kabushiki Kaisha | Image capture apparatus, image capture system, and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001245284A (ja) | 2001-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100432870B1 (ko) | 침입물체 감시방법 및 침입물체 감시시스템 | |
| JP3643513B2 (ja) | 侵入物体監視方法および侵入物体監視装置 | |
| US20110090341A1 (en) | Intruding object detection system and controlling method thereof | |
| US7256817B2 (en) | Following device | |
| JP5061444B2 (ja) | 撮像装置及び撮像方法 | |
| KR101029202B1 (ko) | 파노라마 화상을 이용한 감시 장치 및 감시 방법 | |
| JP6574645B2 (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
| GB2411229A (en) | Controller for an object tracking apparatus responding to manipulation information input when a current visual field range is not a prohibited region | |
| JP2005176143A (ja) | 監視装置 | |
| JP3681152B2 (ja) | テレビカメラの制御方法及びテレビカメラ | |
| KR20100129125A (ko) | 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템 | |
| JP2001358984A (ja) | 動画像処理カメラ | |
| KR20110075250A (ko) | 객체 추적 모드를 활용한 객체 추적 방법 및 장치 | |
| JP4499514B2 (ja) | 物体監視装置及び監視システム | |
| JP2005135014A (ja) | 物体検出装置 | |
| KR100761817B1 (ko) | 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법 | |
| JP4508043B2 (ja) | 映像監視装置及び映像監視用プログラム | |
| JP2004289658A (ja) | 撮像システムおよび撮像装置の操作方法 | |
| JP4407530B2 (ja) | 動き検出装置 | |
| JP4205020B2 (ja) | テレビカメラの制御方法及び画像記録装置の制御方法 | |
| KR20000004436A (ko) | 씨씨티브이 시스템의 움직임 추적 감시 방법 | |
| JPH11331833A (ja) | 広視野監視カメラシステム | |
| JP2021148984A (ja) | 撮像装置、撮像システム、情報処理装置、制御方法、プログラム、および、記憶媒体 | |
| KR20030085810A (ko) | 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법 | |
| JP2005109557A (ja) | 監視装置および監視方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |