JP3801345B2 - Image monitoring device - Google Patents

Image monitoring device Download PDF

Info

Publication number
JP3801345B2
JP3801345B2 JP08683598A JP8683598A JP3801345B2 JP 3801345 B2 JP3801345 B2 JP 3801345B2 JP 08683598 A JP08683598 A JP 08683598A JP 8683598 A JP8683598 A JP 8683598A JP 3801345 B2 JP3801345 B2 JP 3801345B2
Authority
JP
Japan
Prior art keywords
image
abnormality
images
controller
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP08683598A
Other languages
Japanese (ja)
Other versions
JPH11284984A (en
Inventor
憲一 松本
秀之 古坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP08683598A priority Critical patent/JP3801345B2/en
Publication of JPH11284984A publication Critical patent/JPH11284984A/en
Application granted granted Critical
Publication of JP3801345B2 publication Critical patent/JP3801345B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、監視領域を画像センサ、監視カメラ等により撮影し、異常の発生を検出したときに、異常検出前後の監視領域の画像を記憶する画像監視装置に関する。
【0002】
【従来の技術】
従来の画像監視装置として、異常発生を検出すると、異常検出の前後の監視領域の画像を記憶するものがあった。このような画像監視装置は、監視領域を撮影する画像センサから入力される画像を、常時、画像記憶領域に記憶していく。この画像記憶領域は所定数の画像を記憶するもので、記憶領域が一杯になると、順次、古い画像を新しく入力された画像に書換えていく。
【0003】
異常が検出されると、画像監視装置は、異常検出後に、所定数の画像の内の一定数について画像の書換えを行ってから、画像の記憶を中止する。異常検出後に書換えが行われなかった記憶領域については、異常発生前の画像が記憶されて残っている。これにより、異常が発生すると、監視領域における異常検出前後の所定数の画像が記憶されるので、記憶された画像を再生することにより、異常発生時の状況把握が容易に行えることとなる。
【0004】
【発明が解決しようとする課題】
上記従来の画像監視装置では、記憶領域に記憶される画像は、異常検出前の画像の数と異常検出後の画像の数が固定されていた。しかしながら、異常の種類によっては、異常検出前の画像が重要であったり、検出後の画像が重要であったりする。例えば、異常が侵入異常であれば、侵入を検出する前の画像より侵入を検出した後の画像の方が重要である。一方、異常の検出が非常通報によるものであれば、異常検出となる非常通報ボタンを押す前の画像が、押した後の画像より重要である。
【0005】
上記従来の画像監視装置では、異常検出前の画像の数と検出後の画像の数は固定であるため、異常の種類によっては重要な画像が充分に記憶されないことがあるという問題が発生する。
本発明は、異常検出前後の画像を記憶する画像監視装置において、検出した異常の種別に応じて、最適な画像を記憶することを目的とするものである。
【0006】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明の画像監視装置は、所定数の画像を記憶する領域を有し、監視領域を撮影する画像入力手段から入力される画像を、常時、前記記憶領域に記憶し、順次記憶した画像の書換え処理を行うことにより、最新の所定数の画像を記憶する画像記憶手段と、異常の発生を検出したとき異常の種類を判定し、前記画像記憶手段に対して、前記異常の種類に応じた枚数だけ画像の書換え処理を行わせた後に、書換え処理を中止させる制御手段とを具備する。
【0007】
ここで、異常が侵入異常などであれば、異常検出後の画像が重要である。また、異常が非常通報などであれば、異常検出前の画像が重要である。本発明によれば、異常種別が侵入異常などであれば、前記書換え処理を中止するタイミングを遅くすることにより、異常検出後の画像の数を多くする。また、非常通報などであれば、前記書換え処理を中止するタイミングを早くすることにより、異常検出前の画像の数を多くすることができる。
【0008】
これにより、異常種別に応じた最適な画像を記憶することができる。この記憶された画像を再生することにより、異常発生時の状況把握が正確に行える。
【0009】
【発明の実施の形態】
本発明の実施形態について図を用いて説明する。
図1は、本発明の画像監視装置を適用した監視システムの全体構成を示す。
監視対象の建物にコントローラ1が設置され、このコントローラ1に画像センサ2、火災センサ3、非常ボタン4、侵入センサ8、モード設定器5が接続される。コントローラ1は、通信回線としての電話回線6を介して、遠隔地の警備センター7と接続される。
【0010】
図2のタイムチャートを用いて、異常を検出した場合の画像監視システム全体の概略の動作を説明する。図2のタイムチャートは、火災センサ3,非常ボタン4、侵入センサ8のいずれかが異常を検出した場合の動作を示している。
コントローラ1は、各画像センサ2A,2B……に、順次、状態呼出し信号を送る(ポーリング)。
【0011】
各画像センサ2A,2B……は、建物内に複数設置され、窓、ドアなどの監視対象を含む監視領域を撮影する。本例の画像センサ2は、得られた画像から侵入などの異常の有無を判定する機能を有する。画像センサ2は、判定の結果、正常状態又は異常状態を表す状態信号を記憶する。コントローラ1からの状態呼出し信号に応じて、コントローラ1に対して状態信号として正常信号又は異常信号を送る。
【0012】
警戒解除モードから警戒セットモードに移行すると、モード移行信号を全画像センサ2へブロードキャストにより送信する。各画像センサ2A,2B…がこのモード移行信号を受信すると、記憶している監視領域のモードを警戒解除モードから警戒セットモードに変更記憶する。例えば画像センサ2Aが正常信号をコントローラ1に送った後、火災センサ3、非常ボタン4、侵入センサ8のいずれかから異常信号がコントローラ1に入力されると、コントローラ1は、その異常が発生した監視領域を撮影している画像センサ2Aに画像蓄積制御信号を出力する。
【0013】
ここで、画像センサ2の画像蓄積について説明する。
画像センサ2は、所定数の画像を記憶する画像記憶領域を有し、常時、監視領域を撮影した画像を画像記憶領域に記憶している。また、画像記憶領域が一杯になると、古い画像から新たに撮影した画像に書き換えていく。画像センサ2Aでは、コントローラ1から受信した画像蓄積制御信号から、異常の種類を判定し、その種類に応じた数だけ画像の書換えを行った後、画像の記憶を中止する。この結果、画像センサ2Aの画像記憶領域には、異常検出前後の画像が記憶されるが、検出前の画像の数と検出後の画像の数は、異常の種類によって決められていることとなる。例えば、侵入異常であれば、異常検出後の画像の数が多くなり、非常通報であれば、異常検出前の画像の数が多くなる。
【0014】
コントローラ1は、画像蓄積制御信号を送信した後、ダイヤリングをして、警備センター7と電話回線6を介して接続する。また、画像蓄積制御信号を送った画像センサ2Aに、異常画像送信要求信号を送信する。
画像センサ2Aは、異常画像送信要求信号に応じて、記憶していた異常画像をコントローラ1に送信する。
【0015】
コントローラ1は、警備センター7から応答があると、画像センサ2Aから送られてきた異常信号と異常画像を電話回線6を介して警備センター7に送信する。この送信が終了すると、当該画像センサ2Aに対して異常画像消去信号を出力し、画像センサ2Aでは、記憶していた異常画像を消去し、その後監視動作を継続する。
【0016】
警備センター7は、異常信号受信をトリガとして、異常画像を表示部に表示し、管制員はこの画像を見て、状況を把握し、必要な対応をする。
コントローラ1は、警備センター7に異常信号と異常画像を送信した後、電話回線6を開放する。以後は、上記と同様の動作が繰り返される。
以上の動作は、火災センサ3、非常ボタン4、侵入センサ5が異常を検出した場合であるが、画像センサ2が異常を検出した場合には、コントローラ1からの状態呼出信号に応じて、異常信号が画像センサ2からコントローラ1へ送出される。コントローラ1は、この異常信号の受信により、ダイヤリングをして、警備センター7との接続処理を行い、当該画像センサ2に対して異常画像送出要求信号を送出する。この場合、画像蓄積制御は画像センサ2においてされるので、コントローラ1から画像蓄積制御信号を送出しない。その他の点は図2の動作と同様である。
【0017】
次に、画像監視システムに使用されるコントローラ1、画像センサ2の具体的な構成を説明する。
図3は、画像センサ2の構成を示す。
画像センサ2には、CPUなどにより構成される制御手段201と電源202が設けられる。センサ内の各部分は、制御手段201により制御され、電源202から電力の供給を受ける。電源202は、外部から供給されるAC電圧をDC電圧に変換する変換装置から構成される。なお、電源202を画像センサ2内に設ける代わりに、コントローラ1から電力供給をさせても良い。
【0018】
また、制御手段201には記憶手段220が接続される。
図4は、記憶手段220の構成を示す。
記憶手段220には、画像センサ2に所定の動作を実行させるためのプログラムを記憶したプログラム領域221、パラメータを記憶したパラメータ領域222、ワークエリア223、監視領域の状態、即ち、異常が発生しているか又は正常であるかの区別を記憶する状態記憶領域224、監視領域が警戒セットモード又は警戒解除モードのいずれにあるかを記憶するモード記憶領域225が設けられる。
【0019】
記憶手段220は、更に、撮像手段203が撮影した画像を記憶する領域として、基準画像記憶領域226、逐次画像記憶領域227を備える。逐次画像記憶領域227には、撮像手段203が撮影した所定数の最新の画像が記憶される。基準画像記憶領域226には、画像センサ2により侵入異常の有無の判定をするための基準画像が記憶される。なお、この基準画像及び異常の発生の有無の判定の方法などについては本発明の要旨と直接関係がないのでここでの説明は省略するが、任意の方法を採用することができる。
【0020】
図5は、逐次画像記憶領域227の構成を示す図である。
逐次画像記憶領域227は、所定数(図示の例では10)の画像を記憶する画像メモリ1〜画像メモリ10から構成される。撮像手段203から入力された画像は、画像メモリ1、画像メモリ2、画像メモリ3といった順番で逐次記憶されていく。この記憶のインターバルは、例えば1秒間隔とされる。そして、画像メモリ10に画像が記憶されると、次には、画像メモリ1に戻って、画像メモリ1に記憶されていた画像が、新たに入力された画像に書き換えられる。以後、同様に書換えが行われる。
【0021】
この結果、現時点(t)の画像が画像メモリ4に記憶されたとすると、その直前の画像メモリ3には、1つ前の時点(t−1)の画像が記憶され、2つ前画像メモリ2には2つ前の時点(t−2)の画像が記憶されていく。そして、画像メモリ5の直後の画像メモリ5には、9つ前の時点(t−9)の画像が記憶される。このように、逐次画像記憶領域227には、最新の10枚の画像が常時記憶される。
【0022】
図3に戻ると、監視領域を撮影する撮像手段203は、CCDカメラにより構成され、可視領域から赤外領域までの感度を有する。赤外線投光手段204が設けられ、夜間など暗くなった時に、監視領域に赤外線が投光される。
画像処理手段205は、記憶手段220に記憶された現画像と基準画像とを対比して、異常が発生したか否かを判定する。表示手段206は、LEDにより構成され、異常検出時に点灯し、非検出時には消灯して、異常検出の有無を画像センサ2の外部に表示する。
【0023】
通信手段207は、コントローラ1と信号の送受信を行うインターフェースで、コントローラ1の画像センサ通信制御部105と接続される。
画像出力手段208は、逐次画像記憶領域227に記憶していた異常画像を出力するためのインターフェースで、コントローラ1の映像入出力制御部106へ接続される。
【0024】
アドレス設定部210は、ディップスイッチにより構成され、コントローラ1が画像センサ2を特定するためのアドレスが設定される。操作手段211は、電源をオンオフするための手段である。
図6は、コントローラ1の構成を示す。
コントローラ1には、MPUなどにより構成される制御部101と電源回路102が設けられる。コントローラ1内の各部分は、制御部分101により制御され、電源回路102から電力の供給を受ける。電源回路102は、外部からのAC電圧をDC電圧に変換する変換回路とバッテリを有する。また、モード設定器5が接続される。
【0025】
コントローラ1には、更に、以下の部分が設けられる。
センサ監視回路103は、火災センサ3、非常ボタン4、侵入センサ8とのインターフェースである。モデム104が電話回線6との間に設けられる。画像センサ通信制御部105は、画像センサ2と接続される。映像入出力制御部106は、画像センサ2と接続される。この映像入出力制御部106は、画像センサ2から送られてきた映像信号を、モデム104と外部に接続されたモニタ装置10に分配する。
【0026】
表示部107は、通常は、監視領域の監視状態を画面上に表示し、異常が検出されたときは、ブザーを鳴動させ、画面上に異常の種類、異常発生箇所などを表示する。また、表示部107は、画像センサ2の設定作業時にも使用される。設定手段108は、画像センサ2の初期設定又は設定変更時に使用される。
コントローラ1の動作について説明をする。なお、コントローラ1、画像センサ2、警備センター7との間の信号のやりとりは図2を使用して説明済であるので、それを参照されたい。
【0027】
画像センサ2の初期設定時又は設定変更時には、作業員は、モニタ装置10を映像入出力制御部106に接続し、表示部107に表示される指示に従い、モニタ装置10に表示される監視領域を確認しながら、設定手段108から画像センサ2の設定(例、高さ、角度、感度など)を行う。このように、コントローラ1において、各画像センサ2の設定が行えるようにすることにより、一箇所で全画像センサ2の設定を行うことができる。モニタ装置10は、設定終了後、コントローラ1から取り外される。
【0028】
図7、図8のフローチャートを用いて、初期設定終了後のコントローラ1の通常の動作について説明する。図7の動作は、コントローラ1の電源オンにより開始する。
始めに、異常が検出されていない場合の動作について説明する。
ステップS11で、各画像センサ2に対して、パラメータ、警備モードなどを送信する。ステップS12で、各画像センサに対し状態呼出信号を送信し、ステップS13で各画像センサ2から現状態信号を受信する。その後、ステップS14、15、16を通ってステップS12へ戻る。なお、以上の各ステップは、既述のように、各画像センサ2に対して順次実行される(ポーリング)。
【0029】
また、モード設定器5においてモード移行操作があった場合は、ステップS16からステップS17へ進み、全画像センサ2に対して、設定されたモード情報を送信する。
次に、異常が検出された場合の動作について説明する。
ステップ11〜ステップ13の動作は上記と同様である。ステップ14では、画像センサ2から異常信号を受信したか否かを判定する。ステップ15では、画像センサ2以外のセンサから異常信号の入力があったか否かを判定する。画像センサ2から異常信号を受信すると、ステップ14からステップ22へ進む。また、火災センサ3、非常ボタン4、侵入センサ8のいずれかから異常信号を受信すると、ステップS15からステップS21へ進み、対応する画像センサ2、即ち、異常が検出された領域を撮影する画像センサ2に対して画像蓄積制御信号を送出して、ステップS22へ進む。
【0030】
ステップS22では、警備センター7との回線接続処理を行い、異常の種類を警備センター7及び当該画像センサ2に送出する。ステップS23では、画像センサ2から送られた異常画像を警備センター7へ転送する。ステップS24で、異常画像を送ってきた画像センサ2に対して異常画像消去信号を送出する。その後、ステップS25で警備センターとの間の電話回線を切断する。ステップS26で、コントローラ1の表示部107に異常表示を行う。なお、表示内容については図6の説明において説明済みである。
【0031】
図9、図10のフローチャートを用いて、画像センサ2における画像蓄積制御の動作を説明する。
始めに、異常が現在及び過去に検出されていない場合について説明する。
ステップS31で、撮像手段211から画像を取り込む。異常が過去においても検出されていない場合は、書き込み禁止フラグはオフであるので、ステップS32からステップS33へ進んで、取り込んだ画像を逐次画像記憶領域227に記憶する。書き込み禁止フラグは、逐次画像記憶領域226に異常画像を記憶している場合に、オンとなっているフラグである。なお、書き込み禁止フラグのオンオフのタイミングについては、後述する。この逐次画像記憶領域227への記憶の手順については、図5を用いて説明済みであるので、それを参照されたい。
【0032】
異常が検出されていない場合は、ステップS34(各種センサからの異常受信がないとき),S35(画像センサ2が異常を検出しないとき),S36,S37を通って処理を停止する。以後、同様の動作を繰り返し、逐次画像記憶領域227に画像を記憶していく。
次に異常が検出された場合の動作について説明する。
【0033】
ステップS31〜33の動作は上記と同様である。異常検出は、コントローラ1から画像蓄積制御信号を受信した場合と、画像センサ2の自身が異常を検出(自己検知)した場合とがある。なお、画像センサ2の異常信号の検出方法、伝達方法などは当該技術分野において良く知られたものであるので、ここでの詳細な説明は省略する。画像蓄積制御信号を受信した場合には、ステップS34からステップS41へ進む。ステップS35で自己検知をした場合には、ステップS36でその異常が侵入異常であるか否かを判定し、侵入異常でなければステップS37へ進み、侵入異常であればステップS41へ進む。
【0034】
ステップS41では、異常を検出した直後は書き込み停止フラグはオフであるから、ステップS42へ進む。
ステップS42では、異常種別を判定し、当該種別に応じた値nをKに代入する。ステップS34で受信した画像蓄積制御信号には、異常の種別が含まれている。この異常種別から図11に示すテーブルによりnの値を読み取り、Kに代入をする。既に説明したように、nの値が記憶された画像の内の異常検出後の画像の数を表し、残りの値(10−n)が異常検出前の画像の数を表す。なお、画像蓄積制御信号に異常の種別を含ませる代わりに、nの値を直接含ませることも可能である。
【0035】
ステップS43からステップS44へ進んで、K=K−1の演算が行われ、1秒の経過を待つ。ステップS45で撮像手段211から画像を取り込み、ステップS46で取り込んだ画像を逐次画像記憶領域227に記憶する。ステップS43〜46の処理がn回行われて、K=0となると、ステップS43からステップS47へ進む。
【0036】
図12は、この時点での逐次画像記憶領域227の内容を示す。
いま、異常が外部入力の侵入異常であるとすると、nは7(図11)となる。画像メモリ5に画像を記憶した時点(t)で異常が検出されたとすると、以後、7つの画像メモリ6〜10,1,2が後続の時点(t+1〜t+7)で7枚書換えられる。一方、残りの画像メモリ3〜5については、書換えが行われる前に、書換え処理が終了するので、異常検出前の時点(t、t−1、t−2)で記憶された3枚の画像が記憶されている。つまり、侵入異常の場合、異常検出後の画像が7枚、検出前の画像が3枚記憶されることとなる。
【0037】
また、図11のテーブルに示すように、非常通報による異常の場合は、検出後の画像が3枚、検出前の画像が7枚となり、火災異常の場合は、検出後の画像が2枚、検出前の画像が8枚となる。また、画像センサ2の自己検知による侵入異常の場合は、検出後及び前の画像は5枚ずつとなる。このように、画像を記憶する領域が少なくても、異常の種類に応じて、状況把握に必要な異常検出前の画像又は検出後の画像が十分な数だけ記憶される。
【0038】
図9、図10に戻ると、逐次画像記憶領域227に異常検出前後の画像を記憶した後、ステップS47で、書き込み禁止フラグをオンとする。このフラグがオンとされることにより、ステップS32の判定によりステップS33の画像記憶がスキップされ、ステップS41の判定によりステップS46の画像記憶がスキップされるので、書き込み禁止フラグがオンの間は逐次画像記憶領域227での画像の書換えは行われない。
【0039】
その後、コントローラ1から異常画像消去信号を受信すると、ステップS37からステップS38へ進み、書き込み禁止フラグをオフとし、逐次画像記憶領域227をクリアする。以後は、上記の動作が繰り返され、逐次画像記憶領域への画像の記憶と書換えが行われる。
なお、逐次画像記憶領域227は1つ設けることに限定されず、逐次画像記憶領域227を複数個設け、各領域ごとに書き込み禁止フラグを持たせることができる。この場合は、書き込み禁止フラグがオンとなった領域への書き込みが終了すると、次の逐次画像記憶領域に逐次画像の記憶が移っていく。
【図面の簡単な説明】
【図1】本発明の画像監視装置を適用した監視システムの全体構成を示す図。
【図2】図1の監視システムの動作を示すタイムチャート。
【図3】図1における画像センサの構成を示す図。
【図4】図3における記憶手段の構成を示す図。
【図5】図4における逐次画像記憶領域の構成を示す図。
【図6】図1におけるコントローラの構成を示す図。
【図7】図6のコントローラの動作を示すフローチャート(その1)。
【図8】図6のコントローラの動作を示すフローチャート(その2)。
【図9】図3の画像センサの動作を示すフローチャート(その1)。
【図10】図3の画像センサの動作を示すフローチャート(その2)。
【図11】図3の画像センサが使用する異常の種類と値nとの関係を示すテーブルを示す図。
【図12】図8の動作における逐次画像記憶領域の記憶内容を示す図。
【符号の説明】
1…コントローラ
101…制御部
102…電源回路
103…センサ監視回路
104…モデム
105…画像センサ通信制御部
106…映像入出力制御部
107…表示部
108…設定手段
2…画像センサ
201…制御手段
202…電源
203…撮像手段
204…赤外線投光手段
205…画像処理手段
206…表示手段
207…通信手段
208…画像出力手段
210…アドレス設定部
211…操作手段
220…記憶手段
221…プログラム領域
222…パラメータ領域
223…ワークエリア
224…状態記憶領域
225…モード記憶領域
226…基準画像記憶領域
227…逐次画像記憶領域
3…火災センサ
4…非常ボタン
5…モード設定器
6…電話回線
7…警備センター
8…侵入センサ
10…モニタ装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image monitoring apparatus that captures images of a monitoring area before and after the detection of an abnormality when the monitoring area is photographed by an image sensor, a monitoring camera, or the like and the occurrence of the abnormality is detected.
[0002]
[Prior art]
As a conventional image monitoring apparatus, when an abnormality is detected, an image of a monitoring area before and after the abnormality detection is stored. Such an image monitoring apparatus always stores an image input from an image sensor that captures the monitoring area in the image storage area. This image storage area stores a predetermined number of images. When the storage area is full, old images are sequentially rewritten with newly input images.
[0003]
When an abnormality is detected, the image monitoring apparatus, after detecting the abnormality, rewrites the image for a certain number of a predetermined number of images, and then stops storing the image. In a storage area that has not been rewritten after an abnormality is detected, an image before the occurrence of the abnormality is stored and remains. As a result, when an abnormality occurs, a predetermined number of images before and after the abnormality detection in the monitoring area is stored, so that the situation at the time of the abnormality can be easily grasped by reproducing the stored images.
[0004]
[Problems to be solved by the invention]
In the conventional image monitoring apparatus, the number of images before abnormality detection and the number of images after abnormality detection are fixed as images stored in the storage area. However, depending on the type of abnormality, the image before abnormality detection is important, or the image after detection is important. For example, if the abnormality is an intrusion abnormality, the image after detecting the intrusion is more important than the image before detecting the intrusion. On the other hand, if the abnormality is detected by an emergency notification, the image before pressing the emergency notification button for detecting the abnormality is more important than the image after the pressing.
[0005]
In the above-described conventional image monitoring apparatus, the number of images before abnormality detection and the number of images after detection are fixed. Therefore, there is a problem that important images may not be sufficiently stored depending on the type of abnormality.
An object of the present invention is to store an optimal image according to the type of detected abnormality in an image monitoring apparatus that stores images before and after the detection of the abnormality.
[0006]
[Means for Solving the Problems]
The present invention has been made to achieve the above object. The image monitoring apparatus of the present invention has an area for storing a predetermined number of images, and always stores an image input from the image input means for photographing the monitoring area in the storage area, and rewrites the sequentially stored images. By performing the processing, the image storage means for storing the latest predetermined number of images, and the type of abnormality when the occurrence of the abnormality is detected, the number of images corresponding to the type of abnormality is determined with respect to the image storage means And a control unit for stopping the rewriting process after the image rewriting process is performed.
[0007]
Here, if the abnormality is an intrusion abnormality or the like, the image after the abnormality is detected is important. Also, if the abnormality is an emergency call or the like, the image before the abnormality detection is important. According to the present invention, if the abnormality type is an intrusion abnormality or the like, the number of images after the abnormality detection is increased by delaying the timing at which the rewriting process is stopped. In the case of an emergency report or the like, the number of images before abnormality detection can be increased by increasing the timing at which the rewriting process is stopped.
[0008]
Thereby, an optimal image according to the abnormality type can be stored. By reproducing this stored image, it is possible to accurately grasp the situation when an abnormality occurs.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the overall configuration of a monitoring system to which an image monitoring apparatus of the present invention is applied.
A controller 1 is installed in a building to be monitored, and an image sensor 2, a fire sensor 3, an emergency button 4, an intrusion sensor 8, and a mode setting device 5 are connected to the controller 1. The controller 1 is connected to a remote security center 7 via a telephone line 6 as a communication line.
[0010]
A schematic operation of the entire image monitoring system when an abnormality is detected will be described using the time chart of FIG. The time chart of FIG. 2 shows an operation when any of the fire sensor 3, the emergency button 4, and the intrusion sensor 8 detects an abnormality.
The controller 1 sequentially sends status call signals to each of the image sensors 2A, 2B,... (Polling).
[0011]
Each of the image sensors 2A, 2B,... Is installed in a building and images a monitoring area including monitoring objects such as windows and doors. The image sensor 2 of this example has a function of determining the presence or absence of abnormality such as intrusion from the obtained image. As a result of the determination, the image sensor 2 stores a state signal indicating a normal state or an abnormal state. In response to a status call signal from the controller 1, a normal signal or an abnormal signal is sent to the controller 1 as a status signal.
[0012]
When shifting from the warning release mode to the warning set mode, a mode shift signal is transmitted to all the image sensors 2 by broadcast. When each of the image sensors 2A, 2B... Receives this mode transition signal, the stored monitoring area mode is changed and stored from the warning release mode to the warning set mode. For example, after the image sensor 2A sends a normal signal to the controller 1, when an abnormal signal is input to the controller 1 from any of the fire sensor 3, the emergency button 4, and the intrusion sensor 8, the controller 1 has the abnormality. An image accumulation control signal is output to the image sensor 2A that images the monitoring area.
[0013]
Here, image accumulation of the image sensor 2 will be described.
The image sensor 2 has an image storage area for storing a predetermined number of images, and always stores an image obtained by photographing the monitoring area in the image storage area. When the image storage area becomes full, the old image is rewritten to a newly taken image. In the image sensor 2A, the type of abnormality is determined from the image accumulation control signal received from the controller 1, and after rewriting the image by the number corresponding to the type, the image storage is stopped. As a result, the images before and after the abnormality detection are stored in the image storage area of the image sensor 2A, but the number of images before detection and the number of images after detection are determined by the type of abnormality. . For example, if there is an intrusion abnormality, the number of images after abnormality detection will increase, and if an emergency call, the number of images before abnormality detection will increase.
[0014]
After transmitting the image accumulation control signal, the controller 1 dials and connects to the security center 7 via the telephone line 6. In addition, an abnormal image transmission request signal is transmitted to the image sensor 2A that has transmitted the image accumulation control signal.
The image sensor 2A transmits the stored abnormal image to the controller 1 in response to the abnormal image transmission request signal.
[0015]
When there is a response from the security center 7, the controller 1 transmits an abnormal signal and an abnormal image sent from the image sensor 2 </ b> A to the security center 7 via the telephone line 6. When this transmission ends, an abnormal image erasure signal is output to the image sensor 2A, and the image sensor 2A erases the stored abnormal image, and then continues the monitoring operation.
[0016]
The security center 7 displays an abnormal image on the display unit with the reception of the abnormal signal as a trigger, and the controller looks at this image to grasp the situation and takes necessary measures.
The controller 1 opens the telephone line 6 after transmitting an abnormal signal and an abnormal image to the security center 7. Thereafter, the same operation as described above is repeated.
The above operation is a case where the fire sensor 3, the emergency button 4, and the intrusion sensor 5 detect an abnormality. However, when the image sensor 2 detects an abnormality, the abnormality is detected according to the status call signal from the controller 1. A signal is sent from the image sensor 2 to the controller 1. Upon receiving this abnormal signal, the controller 1 dials, performs connection processing with the security center 7, and transmits an abnormal image transmission request signal to the image sensor 2. In this case, since image accumulation control is performed by the image sensor 2, no image accumulation control signal is transmitted from the controller 1. The other points are the same as the operation of FIG.
[0017]
Next, specific configurations of the controller 1 and the image sensor 2 used in the image monitoring system will be described.
FIG. 3 shows the configuration of the image sensor 2.
The image sensor 2 is provided with a control unit 201 including a CPU and a power source 202. Each part in the sensor is controlled by the control unit 201 and receives power supply from the power source 202. The power source 202 includes a conversion device that converts an AC voltage supplied from the outside into a DC voltage. Note that power may be supplied from the controller 1 instead of providing the power source 202 in the image sensor 2.
[0018]
A storage unit 220 is connected to the control unit 201.
FIG. 4 shows the configuration of the storage means 220.
In the storage means 220, a program area 221 storing a program for causing the image sensor 2 to execute a predetermined operation, a parameter area 222 storing a parameter, a work area 223, and a monitoring area state, that is, an abnormality has occurred. A state storage area 224 for storing the distinction between the normal state and the normal state, and a mode storage area 225 for storing whether the monitoring area is in the alert set mode or the alert release mode.
[0019]
The storage means 220 further includes a reference image storage area 226 and a sequential image storage area 227 as areas for storing images taken by the image pickup means 203. In the sequential image storage area 227, a predetermined number of latest images captured by the imaging unit 203 are stored. In the reference image storage area 226, a reference image for determining whether there is an intrusion abnormality by the image sensor 2 is stored. Since the reference image and the method for determining whether or not an abnormality has occurred are not directly related to the gist of the present invention, description thereof is omitted here, but any method can be adopted.
[0020]
FIG. 5 is a diagram showing the configuration of the sequential image storage area 227.
The sequential image storage area 227 includes an image memory 1 to an image memory 10 that store a predetermined number (10 in the illustrated example) of images. Images input from the imaging unit 203 are sequentially stored in the order of the image memory 1, the image memory 2, and the image memory 3. This storage interval is, for example, one second. When the image is stored in the image memory 10, the image memory 1 is then returned to and the image stored in the image memory 1 is rewritten with the newly input image. Thereafter, rewriting is performed in the same manner.
[0021]
As a result, if the image at the current time (t) is stored in the image memory 4, the image at the previous time (t-1) is stored in the immediately preceding image memory 3, and the previous image memory 2 is stored. Stores the image at the previous time (t-2). The image memory 5 immediately after the image memory 5 stores an image at the previous nine points (t-9). Thus, the latest 10 images are always stored in the sequential image storage area 227.
[0022]
Returning to FIG. 3, the image pickup means 203 for photographing the monitoring region is constituted by a CCD camera and has sensitivity from the visible region to the infrared region. Infrared light projecting means 204 is provided, and infrared light is projected onto the monitoring area when it becomes dark, such as at night.
The image processing unit 205 compares the current image stored in the storage unit 220 with the reference image to determine whether an abnormality has occurred. The display unit 206 is configured by an LED, and is turned on when an abnormality is detected, and is turned off when an abnormality is not detected. The display unit 206 displays the presence / absence of abnormality detection outside the image sensor 2.
[0023]
The communication unit 207 is an interface that transmits and receives signals to and from the controller 1 and is connected to the image sensor communication control unit 105 of the controller 1.
The image output unit 208 is an interface for sequentially outputting abnormal images stored in the image storage area 227 and is connected to the video input / output control unit 106 of the controller 1.
[0024]
The address setting unit 210 includes a dip switch, and an address for the controller 1 to specify the image sensor 2 is set. The operating unit 211 is a unit for turning on and off the power.
FIG. 6 shows the configuration of the controller 1.
The controller 1 is provided with a control unit 101 and a power supply circuit 102 configured by an MPU or the like. Each part in the controller 1 is controlled by the control part 101 and receives power supply from the power supply circuit 102. The power supply circuit 102 includes a conversion circuit that converts an external AC voltage into a DC voltage and a battery. A mode setting device 5 is also connected.
[0025]
The controller 1 is further provided with the following parts.
The sensor monitoring circuit 103 is an interface with the fire sensor 3, the emergency button 4, and the intrusion sensor 8. A modem 104 is provided between the telephone line 6 and the modem 104. The image sensor communication control unit 105 is connected to the image sensor 2. The video input / output control unit 106 is connected to the image sensor 2. The video input / output control unit 106 distributes the video signal sent from the image sensor 2 to the modem 104 and the monitor device 10 connected to the outside.
[0026]
The display unit 107 normally displays the monitoring state of the monitoring area on the screen. When an abnormality is detected, the display unit 107 sounds a buzzer and displays the type of abnormality and the location where the abnormality has occurred on the screen. The display unit 107 is also used when setting the image sensor 2. The setting means 108 is used at the time of initial setting or setting change of the image sensor 2.
The operation of the controller 1 will be described. In addition, since the exchange of the signal between the controller 1, the image sensor 2, and the security center 7 has been described using FIG. 2, please refer to it.
[0027]
At the time of initial setting or setting change of the image sensor 2, the worker connects the monitor device 10 to the video input / output control unit 106, and follows the instruction displayed on the display unit 107 to change the monitoring area displayed on the monitor device 10. While confirming, the setting unit 108 sets the image sensor 2 (eg, height, angle, sensitivity, etc.). In this way, by setting the image sensors 2 in the controller 1, it is possible to set all the image sensors 2 at one place. The monitor device 10 is removed from the controller 1 after the setting is completed.
[0028]
The normal operation of the controller 1 after the end of the initial setting will be described using the flowcharts of FIGS. The operation of FIG. 7 starts when the controller 1 is powered on.
First, an operation when no abnormality is detected will be described.
In step S11, parameters, security mode, and the like are transmitted to each image sensor 2. In step S12, a state calling signal is transmitted to each image sensor, and in step S13, a current state signal is received from each image sensor 2. Then, it returns to step S12 through steps S14, 15, and 16. The above steps are sequentially executed for each image sensor 2 as described above (polling).
[0029]
If there is a mode transition operation in the mode setting device 5, the process proceeds from step S16 to step S17, and the set mode information is transmitted to all the image sensors 2.
Next, an operation when an abnormality is detected will be described.
The operations of Step 11 to Step 13 are the same as described above. In step 14, it is determined whether an abnormal signal is received from the image sensor 2. In step 15, it is determined whether or not an abnormal signal is input from a sensor other than the image sensor 2. When an abnormal signal is received from the image sensor 2, the process proceeds from step 14 to step 22. When an abnormal signal is received from any of the fire sensor 3, the emergency button 4, and the intrusion sensor 8, the process proceeds from step S15 to step S21, and the corresponding image sensor 2, that is, an image sensor that captures an area where the abnormality is detected. 2 sends an image accumulation control signal to step S22.
[0030]
In step S <b> 22, line connection processing with the security center 7 is performed, and the type of abnormality is sent to the security center 7 and the image sensor 2. In step S23, the abnormal image sent from the image sensor 2 is transferred to the security center 7. In step S24, an abnormal image erasing signal is sent to the image sensor 2 that has sent the abnormal image. Thereafter, in step S25, the telephone line with the security center is disconnected. In step S26, an abnormality is displayed on the display unit 107 of the controller 1. The display contents have already been described in the description of FIG.
[0031]
The operation of image accumulation control in the image sensor 2 will be described using the flowcharts of FIGS. 9 and 10.
First, a case where no abnormality has been detected at present and in the past will be described.
In step S31, an image is captured from the imaging unit 211. If no abnormality has been detected in the past, the write prohibition flag is off, so the process proceeds from step S32 to step S33, and the captured images are sequentially stored in the image storage area 227. The write prohibition flag is a flag that is turned on when an abnormal image is sequentially stored in the image storage area 226. The on / off timing of the write prohibition flag will be described later. The procedure for storing in the sequential image storage area 227 has already been described with reference to FIG.
[0032]
If no abnormality is detected, the process is stopped through steps S34 (when no abnormality is received from various sensors), S35 (when the image sensor 2 does not detect abnormality), S36, and S37. Thereafter, similar operations are repeated, and images are sequentially stored in the image storage area 227.
Next, the operation when an abnormality is detected will be described.
[0033]
The operations in steps S31 to S33 are the same as described above. The abnormality detection includes a case where an image accumulation control signal is received from the controller 1 and a case where the image sensor 2 itself detects abnormality (self-detection). Note that the detection method and transmission method of the abnormal signal of the image sensor 2 are well known in the technical field, and a detailed description thereof will be omitted here. When the image accumulation control signal is received, the process proceeds from step S34 to step S41. If self-detection is made in step S35, it is determined in step S36 whether or not the abnormality is an intrusion abnormality. If the intrusion abnormality is not detected, the process proceeds to step S37. If the intrusion abnormality is detected, the process proceeds to step S41.
[0034]
In step S41, the write stop flag is off immediately after the abnormality is detected, so the process proceeds to step S42.
In step S42, the abnormality type is determined and a value n corresponding to the type is substituted for K. The image accumulation control signal received in step S34 includes an abnormality type. From this abnormality type, the value of n is read from the table shown in FIG. As already described, the value of n represents the number of images after abnormality detection in the stored images, and the remaining value (10-n) represents the number of images before abnormality detection. Note that the value of n can be directly included instead of including the type of abnormality in the image accumulation control signal.
[0035]
Proceeding from step S43 to step S44, calculation of K = K-1 is performed, and one second is awaited. In step S45, an image is captured from the imaging unit 211, and the image captured in step S46 is sequentially stored in the image storage area 227. When the processes in steps S43 to S46 are performed n times and K = 0, the process proceeds from step S43 to step S47.
[0036]
FIG. 12 shows the contents of the sequential image storage area 227 at this time.
If the abnormality is an external input intrusion abnormality, n is 7 (FIG. 11). Assuming that an abnormality is detected at the time (t) when the image is stored in the image memory 5, then the seven image memories 6 to 10, 1, and 2 are rewritten at the subsequent time (t + 1 to t + 7). On the other hand, for the remaining image memories 3 to 5, since the rewriting process is completed before the rewriting is performed, the three images stored at the time (t, t-1, t-2) before the abnormality is detected. Is remembered. That is, in the case of an intrusion abnormality, seven images after abnormality detection and three images before detection are stored.
[0037]
In addition, as shown in the table of FIG. 11, in the case of an abnormality due to an emergency call, there are 3 images after detection and 7 images before detection, and in the case of a fire abnormality, 2 images after detection, There are 8 images before detection. In the case of an intrusion abnormality due to self-detection of the image sensor 2, there are five images after detection and before. As described above, even if the area for storing images is small, a sufficient number of pre-abnormality detection images or post-detection images necessary for grasping the situation are stored according to the type of abnormality.
[0038]
Returning to FIG. 9 and FIG. 10, after the images before and after the abnormality detection are sequentially stored in the image storage area 227, the write prohibition flag is turned on in step S47. When this flag is turned on, the image storage in step S33 is skipped by the determination in step S32, and the image storage in step S46 is skipped by the determination in step S41. The image is not rewritten in the storage area 227.
[0039]
Thereafter, when an abnormal image erasing signal is received from the controller 1, the process proceeds from step S37 to step S38, the writing prohibition flag is turned off, and the image storage area 227 is sequentially cleared. Thereafter, the above operation is repeated, and the image is sequentially stored and rewritten in the image storage area.
Note that the number of sequential image storage areas 227 is not limited to one, and a plurality of sequential image storage areas 227 can be provided, and each area can have a write prohibition flag. In this case, when the writing to the area where the write prohibition flag is turned on is completed, the storage of the image sequentially moves to the next sequential image storage area.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a monitoring system to which an image monitoring apparatus of the present invention is applied.
FIG. 2 is a time chart showing the operation of the monitoring system of FIG. 1;
3 is a diagram showing a configuration of an image sensor in FIG. 1. FIG.
4 is a diagram showing a configuration of storage means in FIG. 3. FIG.
5 is a diagram showing a configuration of a sequential image storage area in FIG. 4;
6 is a diagram showing a configuration of a controller in FIG. 1. FIG.
FIG. 7 is a flowchart (part 1) showing the operation of the controller of FIG. 6;
FIG. 8 is a flowchart (part 2) showing the operation of the controller of FIG. 6;
FIG. 9 is a flowchart (part 1) illustrating the operation of the image sensor in FIG. 3;
FIG. 10 is a flowchart (part 2) illustrating the operation of the image sensor in FIG. 3;
11 is a table showing a relationship between the type of abnormality used by the image sensor of FIG. 3 and a value n. FIG.
12 is a view showing the stored contents of a sequential image storage area in the operation of FIG. 8;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Controller 101 ... Control part 102 ... Power supply circuit 103 ... Sensor monitoring circuit 104 ... Modem 105 ... Image sensor communication control part 106 ... Video input / output control part 107 ... Display part 108 ... Setting means 2 ... Image sensor 201 ... Control means 202 ... Power supply 203 ... Imaging means 204 ... Infrared projection means 205 ... Image processing means 206 ... Display means 207 ... Communication means 208 ... Image output means 210 ... Address setting section 211 ... Operation means 220 ... Storage means 221 ... Program area 222 ... Parameter Area 223 ... Work area 224 ... Status storage area 225 ... Mode storage area 226 ... Reference image storage area 227 ... Sequential image storage area 3 ... Fire sensor 4 ... Emergency button 5 ... Mode setting device 6 ... Phone line 7 ... Security center 8 ... Intrusion sensor 10 ... monitor device

Claims (3)

所定数の画像を記憶する領域を有し、監視領域を撮影する画像入力手段から入力される画像を、常時、前記記憶領域に記憶し、順次記憶した画像の書換え処理を行うことにより、最新の所定数の画像を記憶する画像記憶手段と、
異常の発生を検出したとき異常の種類を判定し、前記画像記憶手段に対して、前記異常の種類に応じた枚数だけ画像の書換え処理を行わせた後に、書換え処理を中止させる制御手段と
を具備する画像監視装置。
An image that has an area for storing a predetermined number of images and that is input from an image input unit that captures a monitoring area is always stored in the storage area, and the latest image is rewritten by sequentially rewriting the stored image. Image storage means for storing a predetermined number of images;
Control means for determining the type of abnormality when the occurrence of abnormality is detected, causing the image storage means to perform image rewriting processing for the number of sheets corresponding to the type of abnormality, and then stopping the rewriting processing; An image monitoring apparatus provided.
前記異常の種類が異常検知後の画像が重要な異常であるときは、前記書換え処理を行う画像の枚数を多くする請求項1に記載の画像監視装置。The image monitoring apparatus according to claim 1, wherein when the type of abnormality is an abnormality after an abnormality is detected, the number of images to be rewritten is increased. 前記異常の種類が異常検知前の画像が重要な異常であるときは、前記書換え処理を行う画像の枚数を少なくする請求項1に記載の画像監視装置。The image monitoring apparatus according to claim 1, wherein when the type of abnormality is an important abnormality before the abnormality is detected, the number of images to be rewritten is reduced.
JP08683598A 1998-03-31 1998-03-31 Image monitoring device Expired - Lifetime JP3801345B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08683598A JP3801345B2 (en) 1998-03-31 1998-03-31 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08683598A JP3801345B2 (en) 1998-03-31 1998-03-31 Image monitoring device

Publications (2)

Publication Number Publication Date
JPH11284984A JPH11284984A (en) 1999-10-15
JP3801345B2 true JP3801345B2 (en) 2006-07-26

Family

ID=13897879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08683598A Expired - Lifetime JP3801345B2 (en) 1998-03-31 1998-03-31 Image monitoring device

Country Status (1)

Country Link
JP (1) JP3801345B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4558338B2 (en) * 2004-01-29 2010-10-06 パナソニック株式会社 Image monitoring automatic notification system, automatic notification system, and terminal device
JP5203236B2 (en) * 2009-01-21 2013-06-05 セコム株式会社 Surveillance camera device and remote image monitoring system
JP5204707B2 (en) * 2009-03-30 2013-06-05 セコム株式会社 Image monitoring device
JP2012059002A (en) * 2010-09-08 2012-03-22 Sogo Keibi Hosho Co Ltd Call terminal and image transmission method
JP2019161362A (en) * 2018-03-09 2019-09-19 京セラドキュメントソリューションズ株式会社 Monitoring system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH062380Y2 (en) * 1984-05-22 1994-01-19 パイオニア株式会社 Electronic camera device
JPS63177676A (en) * 1987-01-19 1988-07-21 Fujitsu Ltd Image recorder
JPH03198594A (en) * 1989-12-27 1991-08-29 Sanyo Electric Co Ltd Picture monitoring system
JPH0678306A (en) * 1992-05-12 1994-03-18 C Maunto:Kk Picture recording and reproducing device
JPH07325990A (en) * 1994-06-01 1995-12-12 Toshiba Corp Plant monitor device
JPH08163484A (en) * 1994-12-05 1996-06-21 Sony Corp Video printer

Also Published As

Publication number Publication date
JPH11284984A (en) 1999-10-15

Similar Documents

Publication Publication Date Title
KR920010745B1 (en) Tele-alarming system
JP2000083241A (en) Network camera monitoring system
JP3801345B2 (en) Image monitoring device
JP3986193B2 (en) Image sensor and image monitoring system
JP5323508B2 (en) Surveillance camera device
JP3878338B2 (en) Image monitoring device
JP3266394B2 (en) Security monitoring device
JP3874539B2 (en) Image monitoring device
JP3969839B2 (en) Image monitoring device
JP3939023B2 (en) Image surveillance system
JP3547330B2 (en) Image monitoring system
JP3888793B2 (en) Image sensor
JP3968813B2 (en) Camera system
JP4262838B2 (en) Security system and image monitoring device
JPH11234655A (en) Image supervisory system
JP3904330B2 (en) Image surveillance system
JPH0540889A (en) Terminal equipment for image remote monitoring system
JP4070307B2 (en) Image monitoring system and image monitoring apparatus
JP2003348572A (en) Video intercom device
JP3797525B2 (en) Image surveillance system
JP3859363B2 (en) Image surveillance system
JP4461649B2 (en) Surveillance camera and security system using surveillance camera
JP3904347B2 (en) Monitoring device
JP4085405B2 (en) TV door phone device
JP2000194970A (en) Image monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term