JP4634689B2 - フレーム監視システム - Google Patents

フレーム監視システム Download PDF

Info

Publication number
JP4634689B2
JP4634689B2 JP2002224262A JP2002224262A JP4634689B2 JP 4634689 B2 JP4634689 B2 JP 4634689B2 JP 2002224262 A JP2002224262 A JP 2002224262A JP 2002224262 A JP2002224262 A JP 2002224262A JP 4634689 B2 JP4634689 B2 JP 4634689B2
Authority
JP
Japan
Prior art keywords
television camera
light
frame information
frame
fire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002224262A
Other languages
English (en)
Other versions
JP2004064714A (ja
Inventor
正 本田
Original Assignee
アドバンス・デザイン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アドバンス・デザイン株式会社 filed Critical アドバンス・デザイン株式会社
Priority to JP2002224262A priority Critical patent/JP4634689B2/ja
Publication of JP2004064714A publication Critical patent/JP2004064714A/ja
Application granted granted Critical
Publication of JP4634689B2 publication Critical patent/JP4634689B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は事務所や工場、又は個人の家庭等に設置され、フレームを監視するフレーム監視システムに関する。
【0002】
【従来の技術】
今日、事務所や工場、各種プラント設備の監視にはCCD(charge coupled device )を用いた複数台のカメラ(例えば、テレビカメラ)が使用され、このカメラの撮影画像をモニタに表示し、監視や点検を行っている。
【0003】
このような監視システムにおいては、撮影画像をビデオテープや、ハードディスク等に記録すると共に、火災や不審者の侵入に対して警報を発し、火災や盗難を未然に防いでいる。また、複数のテレビカメラが使用する場合には、それぞれのカメラで撮影した画像をビデオテープや、ハードディスク等に記録している。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来の監視システムでは、カメラで撮影した全て画像を記録する為、多量のテープが必要となり、また大容量のハードディスク等を必要とする。特に、複数台のカメラを使用する場合、それぞれの撮影画像を記録する為、問題は大きくなる。
【0005】
また、過去の記録を早期に消去し、記録メディアを効率よく利用することも行われているが、重要な記録を消去してしまう危険もある。
そこで、本発明は上記課題を解決するため、火災が発生する際のフレームを検知し、早期に火災を検知すると共に、フレーム検知に基づいて記録メディアへの撮影画像の記録を開始するフレーム監視システムを提供するものである。
【0006】
【課題を解決するための手段】
本発明の課題は、請求項1記載の発明によれば、複数の監視場所に設けられたテレビカメラと、前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと、前記テレビカメラの前記撮影画像と同期が取られて前記ディテクタから前記フレーム情報が入力され、該フレーム情報中に火災による成分が含まれているか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行う判別手段と、前記火災による成分が前記フレーム情報中に含まれていると前記判別手段が判別した場合、及び前記危険な紫外光による成分が該フレーム情報中に含まれている、或いは前記動物による成分が該フレーム情報中に含まれていると該判別手段が判別した場合、報知を行う報知手段とを備えるフレーム監視システムを提供することによって達成できる。
【0009】
このように構成することにより、火災の際発生するフレームを早期に検出し、火災を未然に防ぐ構成である。また、ディテクタが検知する光は紫外光や赤外光等であり、例えば紫外光を検知する場合人体に危険を及ぼす場合があり、その量を測定し、危険を報知する。また、赤外光を検知する場合発熱物の存在を検知でき、例えば暗闇に潜む動物の検知に利用することができる。
【0010】
本発明の課題は、請求項2記載の発明によれば、複数の監視場所に設けられたテレビカメラと、前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと、前記テレビカメラの前記撮影画像と同期が取られて前記ディテクタから前記フレーム情報が入力され、該フレーム情報中に火災による成分が含まれているか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行う判別手段と、前記火災による成分が前記フレーム情報中に含まれていると前記判別手段が判別した場合、及び前記危険な紫外光による成分が該フレーム情報中に含まれている、或いは前記動物による成分が該フレーム情報中に含まれていると該判別手段が判別した場合、記録メディアに以後の撮影画像を記録する記録手段とを備えるフレーム監視システムを提供することによって達成できる。
【0011】
このように構成することにより、ハードディスクやフラッシュメモリ、ビデオテープ等の記録メディアを効率よく使用することができる
【0017】
本発明の課題は、請求項3記載の発明によれば、フレーム監視システムを構成し、前記複数のテレビカメラとネットワークを介して接続された管理サーバにおいて、前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと前記ネットワークを介して接続され、前記ディテクタから送信される前記フレーム情報を解析して、火災が発生したか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行い、該火災が発生したと判別した場合、及び前記危険な紫外光による成分が含まれている、或いは前記動物による成分が含まれていると判別した場合、報知する管理サーバを提供することによって達成できる。
【0025】
【発明の実施の形態】
以下、本発明の実施形態例を図面を用いて詳細に説明する。
図1は本実施形態のフレーム監視装置のシステム構成図である。尚、本システムは、例えば図2に示すように、ある家庭に設置されたものである。
【0026】
本例のフレーム監視システムは3台の監視用のテレビカメラ1a〜3a、フレームディテクタ1b〜3b、制御装置4、テレビモニタ5、記録装置6、ブザー7、及び発光装置8で構成されている。
【0027】
3台のテレビカメラ1a〜3aは、例えば図2に示すように、火災や防犯上重要な場所に設置され、例えばテレビカメラ1aは玄関に設置され、テレビカメラ2aは台所に設置され、テレビカメラ3aは寝室に設置されている。上記テレビカメラ1aは、例えばCCDカメラであり、所定範囲の画像を撮影する。また、テレビカメラ1aは回転自在に構成され、一定の範囲を撮影することができる。
【0028】
また、フレームディテクタ1b〜3bは、それぞれ対応するテレビカメラ1a〜3aに一体に取り付けられ、テレビカメラ1a〜3aの移動に伴って移動し、テレビカメラ1a〜3aが撮影する範囲と同じ範囲に含まれる可視光以外の特定波長の光を検知する。例えば、火災の際に発生するフレーム特有の波長の光を検知することができる。このフレームディテクタ1b〜3bによって検知された情報は、制御装置4に送信される。勿論、上記テレビカメラ1a〜3aによって撮影された画像情報も制御装置4に送信される。
【0029】
制御装置4は画像入力部4a、画像切換部4b、フレーム検知部4c、記録装置制御部4d、センサ情報入力部4e、同期制御部4fで構成され、上記テレビカメラ1a〜3aによって撮影された画像データは画像入力部4aに供給され、フレームディテクタ1b〜3bによって検知された情報はセンサ情報入力部4eに供給される。
【0030】
画像入力部4aでは画像切換部4bから出力される画像切換信号に従ってテレビカメラ1a〜3aから供給される画像データを切り替える。尚、画像切換部4bは不図示の発振器から出力される一定周期のタイミング信号に従って、画像切換信号を画像入力部4aに出力する。そして、上記画像切換信号に従って、テレビカメラ1a〜3aの撮影画像は一定周期で切換えられ、画像入力部4aから異常判別部4cに送信される。
【0031】
一方、センサ情報入力部4eに入力するフレームディテクタ1b〜3bからの情報は、同期制御部4fの同期制御に従ってテレビカメラ1a〜3aの画像と同期が取られ、異常判別部4cに供給される。
【0032】
異常判別部4cでは、撮影範囲に火災発生の際出力される特定波長の信号が含まれていないか監視し、含まれている場合には記録装置制御部4dに対して記録開始指示信号を出力する。
【0033】
記録装置制御部4dでは上記記録開始指示信号が供給されると、記録装置6に対して駆動指示を行い、記録装置6を駆動する。また、テレビモニタ5は画像入力部4aに供給される撮影画像をディスプレイに表示する。
【0034】
また、ブザー7は異常判別部4cがフレーム情報を検知した時、警報音を発する為の装置であり、異常判別部4cから出力される制御信号によって駆動する。また、発光装置8も異常判別部4cがフレーム情報を検知した時、点滅発光する為の装置であり、異常判別部4cから出力される制御信号によって駆動する。
【0035】
以上の構成において、以下に本例の処理動作を説明する。
図3は本例の処理動作を説明するフローチャートである。同図において、先ず制御装置4は画像入力部4aにテレビカメラ1a〜3aからの撮影画像を取り込み、フレームディテクタ1b〜3bからフレーム情報を取り込む(ステップ(以下、Sで示す)1)。そして、取り込んだフレーム情報を異常判別部4cに出力し、フレーム成分が含まれているか判断する(S2、S3)。
【0036】
ここで、フレーム成分が含まれていない場合(S3がNO)、次のテレビカメラからの入力を待つ(S4がNO)。一方、前述の画像切換部4bからの画像切換信号が出力され、テレビカメラからの撮影画像が切り替わると(S4がYES)、前述の撮影画像の取り込み処理に戻り(S1がYES)、異常判別部4cへの撮影画像の出力処理(S2)、フレーム成分の検出処理(S3)を繰り返す。
【0037】
一方、上記フレームの監視中、異常判別部4cがフレーム成分を検知すると (S3がYES)、ブザー7に対して制御信号を出力し、警報音を鳴らす(S5)。また、同時に発光装置8に対して制御信号を出力し、発光装置8を点滅発光させて火災を報知する(S6)。また、記録装置制御部4dに対して前述の記録開始指示信号を出力し、記録装置6に撮影画像の記録を開始させる(S7)。したがって、以後画像入力部4aに入力するテレビカメラからの撮影画像は記録装置6に記録される。
【0038】
また、上記記録装置6が撮影画像の記録を開始すると、画像切換部4bから画像入力部4aに出力する画像切換信号の出力を停止させる(S8)。上記処理によって、以後記録装置6にはフレーム成分を出力したテレビカメラからの撮影画像が記録される。
【0039】
例えば、上記テレビカメラ1a〜3aを順次切り替えて撮影している間、テレビカメラ1aに同期して移動するフレームディテクタ1bが検知する情報にフレーム情報が含まれていれば、以後記録装置6にはテレビカメラ1aから供給される撮影画像を記録し続ける。
【0040】
このように構成することにより、例えば火災発生の端緒であるフレーム検知に基づいて以後の撮影画像を記録することができ、記録メディアを有効に利用することができる。尚、記録装置6はパーソナルコンピュータ(PC)に構築されたハードディスクであっても良く、また専用のビデオテープレコーダに記録するように構成してもよい。
【0041】
したがって、以上のように構成することによって、フレーム情報を検知した場合に始めて監視装置6を駆動し、記録メディアに撮影画像を記録することができ、少ない容量の記録エリアを使用し、記録メディアを有効利用して撮影画像を記録することができる。
【0042】
尚、記録メディアに撮影した撮影画像は以後オペレータによって確認することができ、例えば火災にならない場合でも有効な情報となる。また、実際の火災発生の端緒である場合には、撮影画像の記録と同時に発生させる警報や、発光(点滅発光)等によって火災を報知することができ、以後適切な処理を行うことができる。
【0043】
尚、上記実施形態の説明ではフレーム監視システムを個人の家に装置したが、会社の事務所や事業所、工場等に設置してもよく、またインターネットやイーサネット(R)(Ethernet(R))等のネットワークで接続し、制御装置4や記録装置6をデータセンタ等に設置する構成としてもよい。また、テレビモニタ5を警備会社の管理センタに置く構成であってもよい。
【0044】
また、フレーム情報に基づく火災検知精度を向上させる為、図4に示す学習を行う構成としてもよい。図4(a)の例は、ニューラルネットワークを使用したフレーム情報に基づく検知精度向上の重み付け学習であり、火災検知能力を向上させるものである。
【0045】
この学習としては、例えば正確な数値を教師データとしてバックプロパゲーションの手法を用いて行う。例えば、本例のニューラルネットワークは、入力層、中間層、出力層の三階層の構造を用いて行い、入力層及び中間層に検出するフレーム成分を入力する。例えば、同図(b)に示す異常判別部4cが検知するフレーム成分を入力し、ニューラルネットワークの出力として所定のしきい値以上のフレーム成分の場合を火災発生と判断する。勿論、この結果は、フィードバックされ、実際の火災発生の有無と比較される。
【0046】
さらに、上記実施形態の説明ではフレームディテクタ1b〜3bによって火災の端緒である特定波長の光を検知する構成としたが、例えばディテクタが検知する光が紫外光である場合、人体に危険を及ぼす危険があり、その量を測定し、危険を報知する構成としてもよい。また、ディテクタが赤外光を検知する場合、発熱物の存在を検知し、例えば暗闇に潜む動物の検知に利用することもできる。
【0047】
【発明の効果】
以上詳細に説明したように、本発明によれば複数の監視場所にテレビカメラを設置する場合でも記録メディアを効率よく使用することができる。
【0048】
また、フレームを監視することによって、早い段階で火災を発見することができ、極めて有効なシステムとすることができる。
【図面の簡単な説明】
【図1】本発明のフレーム監視システムのシステム図である。
【図2】本システムを適用するテレビカメラの設定位置を説明する図である。
【図3】本発明のフレーム監視システムの処理動作を説明するフローチャートである。
【図4】(a)はニューラルネットワークを使用する例であり、(b)は異常判別部が検知するフレーム成分を示す図である。
【符号の説明】
1a、2a、3a テレビカメラ
1b、2b、3b フレームディテク
4a 画像入力部
4b 画像切換部
4c 異常判別部
4d 記録制御部
4e センサ情報入力部
4f 同期制御部
5 テレビモニタ
6 記録装置
7 ブザー
8 発光装置

Claims (4)

  1. 複数の監視場所に設けられたテレビカメラと、
    前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと、
    前記テレビカメラの前記撮影画像と同期が取られて前記ディテクタから前記フレーム情報が入力され、該フレーム情報中に火災による成分が含まれているか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行う判別手段と、
    前記火災による成分が前記フレーム情報中に含まれていると前記判別手段が判別した場合、及び前記危険な紫外光による成分が該フレーム情報中に含まれている、或いは前記動物による成分が該フレーム情報中に含まれていると該判別手段が判別した場合、報知を行う報知手段と、
    を備えることを特徴とするフレーム監視システム。
  2. 複数の監視場所に設けられたテレビカメラと、
    前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと、
    前記テレビカメラの前記撮影画像と同期が取られて前記ディテクタから前記フレーム情報が入力され、該フレーム情報中に火災による成分が含まれているか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行う判別手段と、
    前記火災による成分が前記フレーム情報中に含まれていると前記判別手段が判別した場合、及び前記危険な紫外光による成分が該フレーム情報中に含まれている、或いは前記動物による成分が該フレーム情報中に含まれていると該判別手段が判別した場合、記録メディアに以後の撮影画像を記録する記録手段と、
    を備えることを特徴とするフレーム監視システム。
  3. 請求項1記載のフレーム監視システムを構成し、前記複数のテレビカメラとネットワークを介して接続された管理サーバにおいて、
    前記管理サーバは、
    前記テレビカメラ毎に用意され、該テレビカメラと共に移動し、該テレビカメラの撮影範囲の可視光以外の紫外光、及び赤外光のうちの少なくとも一方を含む複数波長の光を検知し、該検知結果を該テレビカメラにより撮影した撮影画像のフレーム情報として出力するディテクタと前記ネットワークを介して接続され、
    前記ディテクタから送信される前記フレーム情報を解析して、火災が発生したか否か判別すると共に、危険な紫外光による成分が含まれているか否かの判別、及び動物による成分が含まれているか否かの判別のうちの少なくとも一方を行い、該火災が発生したと判別した場合、及び前記危険な紫外光による成分が含まれている、或いは前記動物による成分が含まれていると判別した場合、報知することを特徴とする管理サーバ。
  4. 前記火災が発生したと判別した時、前記テレビカメラの撮影画像を記録メディアに記録することを特徴とする請求項3記載の管理サーバ。
JP2002224262A 2002-07-31 2002-07-31 フレーム監視システム Expired - Fee Related JP4634689B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002224262A JP4634689B2 (ja) 2002-07-31 2002-07-31 フレーム監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002224262A JP4634689B2 (ja) 2002-07-31 2002-07-31 フレーム監視システム

Publications (2)

Publication Number Publication Date
JP2004064714A JP2004064714A (ja) 2004-02-26
JP4634689B2 true JP4634689B2 (ja) 2011-02-16

Family

ID=31943789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002224262A Expired - Fee Related JP4634689B2 (ja) 2002-07-31 2002-07-31 フレーム監視システム

Country Status (1)

Country Link
JP (1) JP4634689B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3531386B1 (en) * 2016-10-24 2024-06-12 Hochiki Corporation Fire monitoring system
JP6968530B2 (ja) * 2016-11-29 2021-11-17 ホーチキ株式会社 火災監視システム
WO2018116966A1 (ja) * 2016-12-21 2018-06-28 ホーチキ株式会社 火災監視システム
CN117671608B (zh) * 2024-02-02 2024-04-26 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02143885U (ja) * 1989-05-08 1990-12-06
JPH0444092U (ja) * 1990-08-10 1992-04-14
JP3020628B2 (ja) * 1991-02-27 2000-03-15 能美防災株式会社 火災判別方法及び装置
JPH0630893U (ja) * 1992-09-16 1994-04-22 日本ドライケミカル株式会社 火災監視装置
JP3032402B2 (ja) * 1993-05-18 2000-04-17 ホーチキ株式会社 火災判定装置及びニューラルネットワークの学習方法
JPH10188183A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Works Ltd 自火報設備用表示操作装置
JPH11243538A (ja) * 1998-02-25 1999-09-07 Nissan Motor Co Ltd 車両用視認装置
JPH11341486A (ja) * 1998-05-22 1999-12-10 Hochiki Corp 画像記録装置とこれを用いた火災監視システム
JP2000348272A (ja) * 1999-06-02 2000-12-15 Mitsubishi Electric Corp 火炎センサ
JP3281344B2 (ja) * 1999-10-28 2002-05-13 三菱電機株式会社 遠隔火災監視システム

Also Published As

Publication number Publication date
JP2004064714A (ja) 2004-02-26

Similar Documents

Publication Publication Date Title
CA2814366C (en) System and method of post event/alarm analysis in cctv and integrated security systems
US9449482B2 (en) Method and apparatus for activating and deactivating video cameras in a security system
WO2016150045A1 (zh) 一种非法入室告警方法及装置
KR101726315B1 (ko) 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템 및 네트워크 기반 감시 카메라
KR101002746B1 (ko) 쓰레기 불법투기 모니터링 시스템
JP4634689B2 (ja) フレーム監視システム
JP2010256194A (ja) 侵入検知装置
KR101934534B1 (ko) 카메라의 동작 상태 판단이 가능한 ip 감시 카메라
JPH0410099A (ja) 挙動不審者検知装置
JPH10290449A (ja) 映像監視システム
JPH0614320A (ja) 監視用映像記録装置
JPH0261794A (ja) 画像監視装置
KR100193808B1 (ko) 감시용 시스템의 이상발생위치 집중감시방법
KR100890767B1 (ko) 상세 정보의 검색이 가능한 cctv 시스템 및 그 제어 방법
JP4684424B2 (ja) 金融店舗監視システム
JP2002183845A (ja) 防犯装置
JP2024104222A (ja) 情報処理装置及びその制御方法、プログラム
KR100437731B1 (ko) 감시 시스템 및 그 방법
KR101125614B1 (ko) 다수의 이벤트 표시창 표현 시스템
JP5452980B2 (ja) 金属物混入検知システム、金属物混入検知プログラム
KR101891278B1 (ko) 다중 영상 표시 방법 및 이를 위한 다중 영상 관리 서버, 다중 영상 표시 시스템, 컴퓨터 프로그램, 그 기록매체
JPH0869579A (ja) 監視装置
JP3823129B2 (ja) 画像検索システム及び画像検索方法
KR200316100Y1 (ko) 보안용 녹화 시스템
KR101069185B1 (ko) 감시용 카메라에서의 피사체 접근 감시장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080815

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080821

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081031

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101119

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees