JP3994355B2 - 火災自動検出方法及び火災自動検出装置 - Google Patents

火災自動検出方法及び火災自動検出装置 Download PDF

Info

Publication number
JP3994355B2
JP3994355B2 JP29206297A JP29206297A JP3994355B2 JP 3994355 B2 JP3994355 B2 JP 3994355B2 JP 29206297 A JP29206297 A JP 29206297A JP 29206297 A JP29206297 A JP 29206297A JP 3994355 B2 JP3994355 B2 JP 3994355B2
Authority
JP
Japan
Prior art keywords
detection
smoke
fire
monitored object
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29206297A
Other languages
English (en)
Other versions
JPH11126287A (ja
Inventor
喜茂 村上
寛司 廣田
義春 神崎
進一 辻本
陽 深山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takuma KK
Fujitsu Ltd
Original Assignee
Takuma KK
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takuma KK, Fujitsu Ltd filed Critical Takuma KK
Priority to JP29206297A priority Critical patent/JP3994355B2/ja
Publication of JPH11126287A publication Critical patent/JPH11126287A/ja
Application granted granted Critical
Publication of JP3994355B2 publication Critical patent/JP3994355B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、バンカ内に一時的に貯蔵する塵芥等の焼却する廃棄物を被監視物とし、この被監視物の発火等を検出する火災自動検出方法及び火災自動検出装置に関する。
塵芥等の可燃性の廃棄物はごみ焼却場に於いて焼却されて、その灰は埋立地等に廃棄される。その場合、焼却炉を連続運転する為に、焼却する前の廃棄物を一時的にバンカ(ピット)に貯蔵して、順次焼却することになる。このバンカに一時的に貯蔵された塵芥等の廃棄物に、化学薬品等の発火性物質や金属粉,煙草の吸殻等が混入し、これらが原因で発火する問題がある。この発火が無人状態に於いて生じると、焼却設備が全て焼損する場合があり、又近隣への類焼の危険性も含むことになる。従って、このような発火を自動的に検出して自動的に消火することが必要となる。
【0002】
【従来の技術】
ごみ焼却場に於けるバンカの防災用監視装置として、ITV(Industrial Television )カメラを応用した構成が比較的多く採用されていた。しかし、このようなITVカメラを用いた監視装置は、モニタ画面を監視者が観測して、正常か否かを判断するものであり、連続的に監視するには監視者の交代等の問題があった。そこで、赤外線カメラを応用し、自動的に監視を行う監視装置が先に提案されている(特開平3−186274号公報及び特開平4−167199号公報参照)。
【0003】
図9は前述の監視装置の基本構成を示すもので、赤外・可視複合型カメラAと、検出部Bと、アラーム発生部C、外部データ入力部Dとの機能を有するものである。赤外・可視複合型カメラAは、赤外系センサA1 と可視系センサA2 とを有し、又検出部Bは、火災発生検出部B1 と煙発生検出部B2 と監視可能時間帯生成部B3 とを有し、又アラーム発生部Cは、火災アラーム発生部C1 と煙アラーム発生部C2 とを有するものである。
【0004】
又監視可能時間帯生成部B3 には、外部データ入力部Dを介して、塵芥等の搬入された廃棄物の積み上げや焼却炉側への運搬等を行うクレーンの作動状態及び投入扉の開閉状態等が入力され、その場合、監視可能時間帯生成部B3 から煙発生検出部B2 を一時的に非監視状態とすることによって、煙発生検出の誤動作を防止する。
【0005】
図10は従来例の火災自動検出装置の説明図であり、101は複数のチャネルCh1〜Chn対応の赤外・可視複合型カメラで、それぞれは、ほぼ同一の視野の赤外線画像と可視光画像との両方について撮像する構成を有するものである。又102は画像信号処理部、103はデータ伝送装置、104はビデオ信号切替装置、105は画像処理装置、106はデータ処理装置、107はデータ伝送装置、108は警報装置、109は外部インタフェース装置、110は放水銃制御装置、111は放水銃、112は表示装置、113はプリンタ、114はモニタ装置、115は旋回装置である。
【0006】
赤外・可視複合型カメラ101は、図9の赤外・可視複合型カメラAに対応し、画像処理装置105とデータ処理装置106とを含めて、図9の検出部Bの機能を構成している。又警報装置108と表示装置112とモニタ装置114等を含めて、図9のアラーム発生部Cの機能を構成している。又外部インタフェース装置109は、図9の外部データ入力部Dに相当する。
【0007】
又赤外・可視複合型カメラ101は、データ処理装置106によって制御される旋回装置115により旋回され、塵芥等の廃棄物を一時的に貯蔵するバンカ内を走査して撮像する。この撮像画像信号は画像信号処理部102に於いてAD変換され、赤外線画像データと可視光画像データとして転送される。又ビデオ信号切替装置104は、複数のチャネルCh1〜Chn対応の赤外・可視複合型カメラ101による赤外線画像データと可視光画像データとを順次切替えて画像処理装置105に入力する。
【0008】
画像処理装置105は、赤外線画像データと可視光画像データとの輝度補正や歪み補正等の処理を行ってデータ処理装置106に入力する。又赤外線画像データは、温度分布に対応したレベルを示すから、温度が高い発火点を検出することができる。従って、データ処理装置106は、赤外線画像データのレベル比較等により火災発生を検出することができる。この場合、発火点を検出することにより、そのバンカ内の座標を求め、その発火点に向かって放水銃111から放水するように、放水銃制御装置110を制御する。
【0009】
又煙は比較的白色或いはそれに近いものであるから、データ処理装置106は、可視光画像データの1画面の平均濃度を求め、その平均濃度に比較して薄い領域を検出し、その領域が時間の経過に従って拡大する場合に煙発生と判定することができる。この場合、バンカの扉を開いた時やクレーン運転による廃棄物の形状等の変化により、低濃度の領域が変化する。そこで、外部インタフェース装置109を介して扉開閉信号又はクレーン運転中信号を入力する構成とし、この信号入力期間中は煙発生検出処理を中止する。
【0010】
図11は火点算出の説明図であり、(A)は赤外線画像の一例を示し、(B)はカメラ1,2として示す赤外・可視複合型カメラを配置した側面図を示す。赤外線画像のX軸方向とY軸方向と画素数を基に、発火点の座標x1,y1を求めることができる。従って、基準点Xsからの発火点の角度θ11は、
θ11=90−tan-1〔y1/(x1−Xs)〕 …(1)
として求めることができる。
【0011】
又(B)に於けるカメラ1からの角度θ12は、カメラ1の設置高さhと、カメラ1,2間の水平方向の距離Lとが既知であり、
θ12=tan-1(L1/h) …(2)
で表される。又
tanθ22=hs/L3 …(3)
tanθ12=hs/L2 …(4)
L3+L2=L …(5)
であるから、(3),(4)式より
hs=L3×tanθ22 …(6)
hs=L2×tanθ12=(L−L3)×tanθ12 …(7)
又(6),(7)式より
L3×tanθ22=(L−L3)×tanθ12 …(8)
L3=L×tanθ12/(tanθ22+tanθ12) …(9)
従って、(3),(9)式より
hs=L3×tanθ22 …(10)
となり、カメラ1,2の設置位置から発火点までの垂直距離hsを求めるこができる。
【0012】
同様にして、角度θ11,θ12を用いてカメラ1の設置位置から水平距離を求めることができる。従って、水平,垂直の距離を算出することにより、発火点の三次元座標上の位置を求めることができるから、前述のように、発火点に放水銃111を向けて放水することができる。
【0013】
図12はバンカ内ブロックの説明図であり、例えば、幅約30m、高さ約30m、長さ約100mの大きさのバンカの場合、2台の赤外・可視複合型カメラで全てを撮像することは困難であり、広角レンズを介して撮像したとしても、歪みが大きくなって、発火点や煙発生点の座標検出誤差が大きくなる。そこで、複数の赤外・可視複合型カメラ1011 〜1015 を配置して、撮像範囲を分担することが知られている。又例えば、長さ方向に約5m毎に分割し、幅方向に約15mで分割し、5×15×30の大きさのA列ブロックA1〜A20と、B列ブロックB1〜B20とし、発火点検出や煙発生検出をブロック対応に行うことが知られている。
【0014】
【発明が解決しようとする課題】
バンカ内に一時的に貯蔵される塵芥等の廃棄物は、クレーンによって積み上げられるが、不規則な高さとなると共に傾斜角度も不規則な形状となる。従って、図12に示すように、複数の赤外・可視複合型カメラを配置した場合でも、1台の赤外・可視複合型カメラのみによって発火点や煙発生を検出し、他のカメラは死角となって検出できない場合がある。その場合、火災アラームや煙アラームの発生は可能となるが、その発火点や煙発生点を特定できないことになり、従ってピンポイント的に放水銃111による消火ができない問題があった。
【0015】
即ち、図12に於いて、複数の赤外・可視複合型カメラ1011 〜1015 の中の1台のカメラ1012 のみが撮像可能で、他のカメラは死角となる場合、最大積み上げ高さの発火点P1又は積み上げ高さの低い発火点P2に対して、同一の角度となるから、何れもブロックA2の火災発生と判定するか、或いは、この場合の角度で発火点を検出した時に中間の高さのブロックA1の火災発生と判定するように制御することが考えられる。しかし、何れの場合も三次元座標を検出できないので、放水銃111を発火点に向けて放水できないか、或いは広範囲にわたって放水して消火することになる。このような広範囲にわたる放水によって廃棄物の燃焼効率が低下する問題がある。
【0016】
又煙発生検出は、従来例では、可視光画像の濃度変化領域を基に行うものであるが、扉の開閉時とクレーン運転中とに於いて非監視状態としている。しかし、窓や屋根(明かりとり屋根)からの入射光の変化や内部照明の光度変化の場合、煙発生検出に誤動作が生じる問題がある。
本発明は、1台のカメラでも発火点の大まかな三次元位置を求め、又煙発生検出の誤動作を防止することを目的とする。
【0017】
【課題を解決するための手段】
本発明の火災自動検出方法は、(1)少なくとも1対の赤外・可視複合型カメラを配置し、該赤外・可視複合型カメラによる廃棄物等の被監視物の撮像画像信号を処理して、火災発生及び煙発生を検出する火災自動検出方法に於いて、被監視物を含むバンカ等の空間と1対のカメラによる撮像画面とを対応させて、前記空間を複数に分割して検出ブロックとし、前記カメラによる撮像画像信号を基に火災発生又は煙発生と判定する前記カメラ対応の撮像画面上の温度上昇の領域又は煙推定領域の重心位置を求め、この重心位置によって、火災発生又は煙発生の三次元位置を算出し、この三次元位置に対応する検出ブロックを決定し、この検出ブロックを消火対象ブロックとする過程を含むものである。
【0018】
又(2)被監視物を含むバンカ等の空間と1対の前記カメラによる撮像画面とを対応させて、前記空間を高さ方向を含めて複数に分割して検出ブロックとし、前記1対のカメラの何れか一方のカメラのみによる撮像画像信号を基に火災発生又は煙発生と判定する前記カメラ対応の撮像画面上の温度上昇の領域又は煙推定領域の重心位置を求め、且つ被監視物の高さ情報を基に検出ブロックを補正し、前記重心位置を含む補正検出ブロックを消火対象ブロックとする過程を含むものである。
【0019】
又(3)被監視物の高さ情報に従って、隣接検出ブロック間の高さを比較して、被監視物の傾斜形状を求め、この被監視物の傾斜形状に対応して、1対のカメラの何れか一方のカメラのみで、火災発生又は煙発生を検出する為の該被監視物の撮像画像信号が得られる状態を識別した時に、検出精度低下の警告を発生する過程を含むものである。
【0020】
又(4)検出ブロックに分割した各点と消火を行う放水銃の方向を決定する原点との間の距離を予め設定し、被監視物の傾斜形状に対応して前記1対のカメラの何れか一方のカメラのみで、火災発生又は煙発生を検出する為の該被監視物の撮像画像信号が得られる状態を識別した時に、前記原点から消火対象ブロックと判定した検出ブロックと、この検出ブロックの高さ情報とを基に、放水銃の方向を制御する過程を含むものである。
【0021】
又(5)塵芥等の廃棄物を被監視物とした時に、この被監視物の積み上げ及び移動を行うクレーンのワイヤの長さから、被監視物の高さ情報を求める過程を含むことができる。
【0022】
又(6)前記カメラによる赤外線画像信号を基に、被監視物の平均温度を超える温度領域が所定時間経過によって温度上昇を継続する時に、この温度上昇の検出ブロックを発火可能性の検出ブロックとして警告する過程を含むもので、発火点となる前の状態を検出して火災発生を予防することができる。
【0023】
又(7)前記カメラによる可視光画像信号を基に、煙と推定する濃度領域の面積値の設定時間毎の変化分が設定最大変化分より小さく、且つ前記設定時間毎に前記変化分が継続して生じる回数が所定回数となった時に、煙発生検出と判定する過程を含むことができる。廃棄物等の被監視物の内部で発火した場合、煙が徐々に表面から外部に漏出し、次第に煙の量は増加する。従って、その煙と推定できる領域は時間の経過に従って次第に広がり、且つその重心は大きく移動することはない。従って、このような条件から煙発生を検出し、発火可能性の検出ブロックとして計測することができる。
【0024】
又本発明の火災自動検出装置は、(8)廃棄物等の被監視物を撮像する少なくとも1対の赤外・可視複合型カメラAと、このカメラAの撮像画像信号を処理して火災発生検出及び煙発生検出を行う検出部Bと、この検出部Bの検出結果に対応してアラームを発生するアラーム発生部Bとを含む火災自動検出装置であって、検出部Bは、被監視物を含む空間と前記1対のカメラによる撮像画面とを対応させて、空間を複数に分割して検出ブロックとし、前記カメラによる撮像画像信号を基に火災発生又は煙発生と判定する前記カメラ対応の撮像画面上の温度上昇の領域又は煙推定領域の重心位置を求め、この重心位置によって前記火災発生又は煙発生の三次元位置を算出する火災発生検出部B1 及び煙発生検出部B2 と、前記被監視物の高さ情報を基に前記検出ブロックを補正する検出ブロック補正部B4 とを備えている。
【0025】
又(9)検出部Bの前記火災発生検出部B1 は、赤外線画像を基に被監視物の平均温度を超える温度領域が所定時間経過によって温度上昇を継続する時に、この温度上昇の検出ブロックを発火可能性の検出ブロックとして前記アラーム発生部Cから警告を発生させる構成を備えることができる。
【0026】
又(10)検出部Bの前記煙発生検出部B2 は、可視光画像を基に、煙と推定する濃度領域の面積値の設定時間毎の変化分が設定最大変化分より小さく、且つ前記設定時間毎の変化分が継続して生じる回数が所定回数となった時に、煙発生検出と判定し、この煙発生検出ブロックを発火可能性の検出ブロックとして前記アラーム発生部Cから警告を発生させる構成を備えることができる。
【0027】
【発明の実施の形態】
図1は本発明の実施の形態の基本構成説明図であり、赤外・可視複合型カメラAは、赤外系センサA1 と可視系センサA2 とを含み、検出部Bは、火災発生検出部B1 と煙発生検出部B2 と監視可能時間帯生成部B3 と検出ブロック補正部B4 とを含み、アラーム発生部Cは、火災アラーム発生部C1 と煙アラーム発生部C2 とを含む機能を有し、又外部データ入力部Dには、クレーン運転中信号と扉開閉信号と高さ情報とが入力される。
【0028】
赤外・可視複合型カメラAは、従来例と同様に同一光軸或いは併設した光軸に赤外系センサA1 と可視系センサA2 とを配置した構成を有するものであり、赤外系センサA1 と可視系センサA2 とは既に知られている一次元配列や二次元配列の構成を適用できる。又検出部Bの検出ブロック補正部B4 は、バンカ内を高さ方向にも分割して複数のブロックとし、外部データ入力部Dを介して入力される高さ情報を基に、火災発生検出部B1 及び煙発生検出部B2 に於ける検出ブロックの補正を行うものである。又監視可能時間帯生成部B3 は、従来例と同様に、外部データ入力部Dを介して入力される廃棄物運搬用のクレーン運転中信号や廃棄物搬入,搬出用の扉開閉信号を基に、煙発生検出部B2 による煙発生検出の非動作を制御する。
【0029】
図2は本発明の実施の形態の火災自動検出装置の説明図であり、1は複数のチャネルCh1〜Chn対応の赤外・可視複合型カメラ、2は画像信号処理部、3はデータ伝送装置、4はビデオ信号切替装置、5は画像処理装置、6はデータ処理装置、7はデータ伝送装置、8は警報装置、9は外部インタフェース装置、10は放水銃制御装置、11は放水銃、12は表示装置、13はプリンタ、14はモニタ装置、15はクレーンを示す。
【0030】
赤外・可視複合型カメラ1は、図1の赤外・可視複合型カメラAに対応し、又画像処理装置5とデータ処理装置6とを含めて、図1の検出部Bの機能を構成している。又警報装置8と表示装置12とプリンタ13とモニタ装置14等を含めて、図1のアラーム発生部Cの機能を構成している。又外部インタフェース装置9は、図1の外部データ入力部Dに相当する。
【0031】
クレーン15は、バンカの上を走行する天井走行クレーンであり、水平面内のx,y座標に従った位置情報と共に、z軸についての高さ情報を出力する構成を有し、高さ情報は、塵芥等の焼却を行う廃棄物を掴んで積み上げる時のワイヤの長さによって得ることができる。即ち、クレーン15の位置からバンカの床までの長さが予め判り、従って、床面の廃棄物を掴む時のワイヤの長さが最も長く、廃棄物の最大積み上げ高さの時のワイヤの長さが最も短くなるから、廃棄物を掴む時のワイヤの長さによって、バンカ内の廃棄物の積み上げ高さを求めることができる。
【0032】
又バンカ内を撮像した赤外・可視複合型カメラ1からの撮像画像信号は、画像信号処理部2に於いてAD変換され、赤外線画像データと可視光画像データとして転送される。又ビデオ信号切替装置4は、複数のチャネルCh1〜Chn対応の赤外・可視複合型カメラ1による赤外線画像データと可視光画像データとを順次切替えて画像処理装置5に入力する。
【0033】
画像処理装置5は、赤外線画像データと可視光画像データとの輝度補正や歪み補正等の処理を行ってデータ処理装置6に入力する。又赤外線画像データは、温度分布に対応したレベルを示すから、大きいレベルのデータの位置を発火点として検出することができる。従って、データ処理装置6は、赤外線画像データのレベル比較等により火災発生を検出することができる。この場合、発火点を検出することにより、そのバンカ内の座標を求め、その発火点に向かって放水銃11から放水するように、放水銃制御装置10を制御することになる。
【0034】
又データ処理装置6は、可視光画像データの1画面の平均濃度を求め、その平均濃度に比較して白色系の領域を検出する。煙は黒色系統の場合もあるが、被監視物としての塵芥等の焼却を予定している廃棄物は、燃焼によって白色系の煙を出すものである。従って、その煙と推定する濃度の領域が時間の経過に従って拡大する場合に煙発生と判定する。又バンカの扉を開いた時やクレーン運転による廃棄物の形状等の変化により、煙と推定する濃度の領域が変化する。そこで、外部インタフェース装置9を介して扉開閉信号又はクレーン運転中信号を入力する構成とし、この信号入力期間中は煙発生検出処理を中止する。更に、本発明に於いては、煙と推定する領域の時間的な変化について監視して、照明の光度変化や窓から等による外光の変化による誤検出を防止する。
【0035】
図3はバンカの概略縦断面図であり、図2と同一符号は同一部分を示し、16はワイヤ、17は把持部、18は放水銃駆動部、19は電磁弁、20は送水管、21は塵芥等の焼却を行う廃棄物を示す。赤外・可視複合型カメラ1は、バンカ内の廃棄物21を撮像するように固定されている。又天井走行クレーン15は、ごみ収集車等によって搬入された廃棄物の積み上げや、この廃棄物を焼却炉(図示を省略)側への運搬等を行うものであり、前述のように、廃棄物21を把持部17によって掴む時のワイヤ16の長さによって、積み上げ高さを求めることができる。
【0036】
通常のクレーン15に於いては、天井走行位置のx,y平面の座標情報と、ワイヤ16の長さ情報とを、クレーン15の制御装置に於いて求め、これを火災自動検出装置へ転送するものである。この場合のワイヤ16の長さによる高さ情報をデータ処理装置6に入力する。具体的には、図2に示すように、外部インタフェース装置9からデータ伝送装置7を介してデータ処理装置6に入力する。
【0037】
又火災発生検出時には、放水銃駆動部18を制御して放水銃11を発火点に向け、電磁弁19を開いて送水管20からの水を放水銃11から放水して消火することになる。消火の場合も、赤外・可視複合型カメラ1の撮像画像の処理によって識別することができるから、自動的に発火点を検出して自動的に消火することができる。
【0038】
図4は本発明の実施の形態の検出ブロック補正説明図であり、11 ,12 は赤外・可視複合型カメラ、21は被監視物としての廃棄物を示し、この被監視物を含む空間としてのバンカ又はこのバンカ内の最大積み上げ高さの上面の4隅をA,B,C,Dとし、床面の4隅をa,b,c,dとし、図12について説明したように、複数のブロックに分割するものであるが、本発明に於いては、更に高さ方向にも分割する。
【0039】
例えば、A,B間を2分した点をG、長さ方向のA,C間を複数に分割した1ブロック長の点をE、同様に、長さ方向のB,D間を複数に分割した1ブロック長の点をFとし、又E,F間を2分した点をHとし、高さ方向に3分割し、各点A,B,G,E,F,H対応にA1〜A3(=a),B1〜B3(=b),G1〜G3,・・,H1〜H3とし、例えば、A−E−H−G−G1−A1−E1−H1を1検出ブロックとする。従って、図12に示す場合は40個の検出ブロックに分割されるが、図4に於いては、高さ方向にも3分割するから、120個の検出ブロックとなる。
【0040】
このように、バンカ内を長さ方向と幅方向と高さ方向とにそれぞれ分割した検出ブロックを形成する。又バンカの床面を最低の積み上げ高さとして、クレーン15によって廃棄物21が順次積み上げられ、この積み上げ高さ21aは、前述のように、クレーン15のワイヤ16の長さによって求めることができる。
【0041】
図5は本発明の実施の形態の撮像画面上の検出ブロック補正説明図であり、図4の赤外・可視複合型カメラ12 の撮像画面の概要を示し、C,c間も3分割してC1,C2,C3=cとし、D,d間も3分割してD1,D2,D3=dとし、図4の各分割点と同一の符号を付加している。即ち、廃棄物等の被監視物を含むバンカ等の空間と、カメラ11 ,12 の撮像画面とを対応させた検出ブロックを形成している。この場合、撮像画像データを蓄積する画像メモリ(データ処理装置6に設けた画像メモリ)上のアドレスとして処理することができる。
【0042】
そして、図5に於けるA−E−H−Gの範囲の平均積み上げ高さが、A2<A1で、G−H−F−Bの範囲の平均積み上げ高さがG3<G2の場合、太鎖線で示すように、A1−G2−B2−F2−H2−E1の平均積み上げ高さを有する検出ブロックに補正する。
【0043】
図4に於いて、2台のカメラ11 ,12 により撮像して発火点や煙発生点を検出できる場合、発火点又は煙発生点を含む領域のそれぞれの重心位置を求め、その重心位置から三角法に従って発火点又は煙発生点の三次元位置を算出することができる。その三次元位置を含む検出ブロックを消火対象ブロックとし、放水銃11を消火対象ブロックに向くように制御し、電磁弁19を開いて放水することによって消火する。
【0044】
しかし、例えば、一方のカメラ11 に近い側の積み上げ高さが高くなって、他方のカメラ12 側の廃棄物を撮像できない状態に於いて、他方のカメラ12 のみの撮像画像によって発火点や煙発生点を検出した時、1個の撮像画面のみでは検出ブロックを特定できないことになる。そこで、高さ情報に従って検出ブロックが補正されるから、火災アラームや煙アラームと共に、発生検出ブロックを指示することができる。
【0045】
又隣接する検出ブロックの積み上げ高さ情報を基に、前述のような一方のカメラからの画像処理で発火点や煙発生点の検出が可能であるが、他方のカメラからの画像処理では死角となることから、発火点や煙発生点の検出が不可能となることが推定できる場合、プリンタ13や表示装置12に発火点や煙発生点の検出前に警告を表示することができる。このような警告に従ってクレーン15を制御して、廃棄物21の積み上げ状態を改善することができる。
【0046】
又検出ブロックの例えばA点と同一面のB,C,D,E,F,・・・との間の距離を予め設定しておくことができる。又縦方向に分割した点はほぼ等距離であるから、A点を原点とすると、検出ブロックの各点までの距離を求めることができる。従って、放水銃11を設置した位置と原点のA点との間の距離も判るから、放水銃11の設置点を原点として、各検出ブロックの各点までの距離が予め判ることになる。そこで、1対のカメラのうちの一方のみの撮像画像データを基に処理する場合、高さ情報を基に前述のように消火対象ブロックを推定できるから、その場合の高さ情報を基に放水銃11の方向制御の原点から消火対象ブロックの方向及び距離を算出することができる。従って、撮像画面の処理による三角法に従った発火点や煙発生点の三次元位置を正確に導出できない場合でも、クレーン15からの高さ情報を基に、放水銃11を制御して自動消火が可能となる。
【0047】
又この場合、消火対象ブロックを推定していることになるから、発火点や煙発生点が検出ブロックの境界近傍の場合に、その境界近傍の隣接ブロックを含めて放水銃11による放水を行うことにより、確実な消火が可能となる。
【0048】
図6は本発明の実施の形態のデータ処理の概要説明図であり、Q1,Q2は画像処理、Rはデータ処理の概要を示し、赤外・可視複合型カメラからの撮像画像の取込みLを行い、又前回処理の画像を基準画像として取込みK、所定フレーム周期で入力画像を処理するサンプリング処理Q11,Q21を行い、マスク処理Q12,Q22により、背景等の火災検出処理Xや煙発生検出処理Pに於いて必要としない部分をマスクし、差分算出時に負とならないようにオフセット演算Q13,Q23を行って、基準画像と今回の画像との差分演算Q14,Q24を行う。即ち、前回の撮像画像から今回の撮像画像の変化分を取り出す。
【0049】
そして、差分結果を二値化処理Q15,Q25し、この二値化処理によって所定の濃度以上の領域が“1”となり、AND処理Q16,Q26により“1”に対応する撮像画像の濃度値を抽出し、ヒストグラムの算出処理Q17,Q27により濃度値のヒストグラムを作成し、x,y座標上に投影演算Q18,Q28する。従って、撮像画像の濃度の低い領域の中心又は温度の高い領域の中心を表すことができる。
【0050】
次の煙発生検出処理P又は火災発生検出処理Xに於いては、予め設定された判定,検出条件Mを基に、ヒストグラムとx,y座標上の投影された内容とを基に煙発生又は火災発生の検出を行う。例えば、ヒストグラムのピークが検出条件を超えている場合に、煙発生又は火災発生として検出することになる。この場合、扉開閉信号又はクレーン運転中信号に従って監視可能時間帯生成処理Yによって煙発生検出処理Pを中止させる。
【0051】
又煙発生検出又は火災発生検出によって発生点算出処理Sを行う。この場合、少なくとも1対のカメラにより被監視物を撮像できる場合は、前述のように、検出条件の領域の重心位置を求めることにより、その煙発生点又は火災発生点の三次元位置を導出することができる。そして、放水銃11から見たアドレスに変換するアドレス変換処理Tを行う。この時に、積み上げ高さを示す高さ情報を基に検出ブロック補正Zを行い、その補正検出ブロックを含めてアドレス変換を行うことになる。又1台のカメラによる撮像画像のみで煙発生検出又は火災発生検出を行った場合は、前述のように、高さ情報を基に補正した補正検出ブロックにより、発生点の検出ブロックを推定することができる。そして、アラーム発生や放水銃制御等の処理Uを行うものである。
【0052】
図7は本発明の実施の形態の温度上昇検出処理のフローチャートであり、完全な発火点のなる前の温度上昇が進行している点を検出するもので、図6の投影演算Q28により、前述のように、ヒストグラムのピーク点のx,y座標を求め、これを重心位置とする(a1)。又図6のヒストグラムの算出処理Q27によるヒストグラムのピーク値を基に、温度値を算出する(a2)。
【0053】
そして、各検出ブロックの検出温度Tn (n=検出ブロック番号)と全検出ブロックの平均温度TAVE との温度差ΔTn を求める(a3)。そして、前回の温度差と今回の温度差とを比較する(a4)。この比較結果ΔTn <ΔTn-1 の場合は、温度上昇していないので、平均温度TAVE を算出して(a5)、終了とする。
【0054】
又ステップ(a4)に於いて、ΔTn >ΔTn-1 の場合は、温度上昇していることになり、その場合の検出ブロック番号や温度差ΔTn 及び平均温度TAVE を記録し(a6)、過去のデータを参照して(a7)、規定確認回数以下の場合は、例えば、5〜10分のタイマーを起動し(a8)、タイムアウトによりステップ(a1)以降の処理を行う。
【0055】
又規定回数に達した場合は、ΔTn >ΔTn-1 の条件の面積値を確認し(a9)、その重心位置を判定し(a10)、その重心位置が前回の検出ブロック内か否かを判定し(a11)、その検出ブロック内でない場合は、終了とし、検出ブロック内の場合は、温度上昇検知(a12)として、この検出ブロックに於ける温度上昇が進行している発火点又は発火点になる前兆を示すから、アラーム発生を行うことになる。
【0056】
この場合、重心位置が大きく移動することなく、温度上昇が比較的急速の場合は、規定確認回数以下の場合でも、発火可能性の高い検出ブロックとして警告するか又は放水することができる。又検出温度が発火温度近傍の場合も、規定確認回数以下の場合でも、発火直前の検出ブロックとして放水することができる。
【0057】
図8は本発明の実施の形態の煙検出処理処理のフローチャートであり、図6の投影演算Q18により、重心位置を求め(b1)、図6のヒストグラムの算出処理Q17により面積値Sを求める(b2)。即ち、ヒストグラムの所定値以上を煙による画像濃度の薄い領域を示すものとして、その面積値Sを求める。
【0058】
そして、過去のデータSn-1 を参照し(b3)、Sn −Sn-1 =ΔSn により面積値の変化分を求め(b4)、ΔSn >0の場合のみ、この面積増加分ΔSn と設定最大変化面積値SMAX と比較し(b5)、ΔSn >SMAX の場合は、窓等からの急な太陽光等の入射又は照明灯の点灯等による廃棄物等の被監視物の上面の明るさが広範囲にわたって急に上昇した場合に相当するから、煙発生検出の処理は終了する。
【0059】
又ΔSn <SMAX の場合は、今回の面積増加分と前回の面積増加分とを比較し(b6)、ΔSn <ΔSn-1 の場合は、前回より煙と推定した面積が縮小しているから、終了とする。又ΔSn >ΔSn-1 の場合は、前回より煙と推定した面積が増加しているから、これまでの処理データを記録し(b7)、規定回数に達したか否かを判定し(b8)、達していない場合は、例えば、設定時間10秒のタイマーを動作させ(b12)、タイムアウトによりステップ(b1)に移行させる。
【0060】
又規定回数に達した場合は、温度上昇の面積内の重心位置を判定し(b9)、その重心位置が、規定回数に達した時の検出ブロックと同一の検出ブロック内か否かを判定し(b10)、同一の検出ブロック内でない場合は終了とする。又同一検出ブロック内の場合は、内部の発火等によって発生する煙がほぼ同一の個所から外部に導出して、次第に煙の量が増大する場合であり、煙発生検出(b11)として煙アラーム発生を行う。この場合、放水銃11を制御して放水して、発火を未然に防止することもできる。
【0061】
【発明の効果】
以上説明したように、本発明は、少なくとも1対の赤外・可視複合型カメラ1を配置し、塵芥等の焼却処理をする廃棄物等を被監視物とし、この被監視物を撮像した赤外線画像と可視光画像とを基に発火点又は煙発生点を検出するもので、その場合に、廃棄物を貯蔵するバンカ等の被監視物を含む空間を、撮像画面と対応させて複数の検出ブロックに分割し、発火点又は煙発生点を含む領域の重心位置を求め、少なくとも1対の撮像画面による重心位置を基に発火点又は煙発生点の三次元位置を導出することができ、その三次元位置の検出ブロックを消火対象ブロックとすることができ、自動的に放水銃11を制御して消火することができる。従って、無人状態に於いても、廃棄物等の自然発火等を検出して自動的に消火できるから、防災上の信頼性を著しく向上することができる。
【0062】
又廃棄物の積み上げ形状等に対応して1台のカメラのみの撮像画像を基に発火点又は煙発生点を検出できるが、他のカメラは死角となって発火点又は煙発生点を撮像できない場合でも、クレーン15による高さ情報を基に、検出ブロックを補正して、発火点又は煙発生点を含む検出ブロックを推定できることになり、従って、この検出ブロックを消火対象ブロックとして自動的に消火するできることになる。
【0063】
又被監視物の局部的な温度上昇の領域を検出した時に、その温度上昇の傾向を監視し、温度上昇が継続する場合は、発火可能性の高い検出ブロックとして警告するか、又は消火の為の放水を行うことにより安全性を向上することができる。又煙発生検出に於いて、クレーン運転中や扉開閉時の誤動作を防止すると共に、照明灯による明るさの急変や窓等からの太陽光の入射等の場合、明るさの変化領域の面積及びその面積の時間経過に従った変化を基に判定することによって、煙検出に於ける誤動作を確実に防止できる利点がある。
【図面の簡単な説明】
【図1】本発明の実施の形態の基本構成説明図である。
【図2】本発明の実施の形態の火災自動検出装置の説明図である。
【図3】バンカの概略縦断面図である。
【図4】本発明の実施の形態の検出ブロック補正説明図である。
【図5】本発明の実施の形態の撮像画面上の検出ブロック補正説明図である。
【図6】本発明の実施の形態のデータ処理の概要説明図である。
【図7】本発明の実施の形態の温度上昇検出処理のフローチャートである。
【図8】本発明の実施の形態の煙検出処理のフローチャートである。
【図9】従来例の基本構成の説明図である。
【図10】従来例の火災自動検出装置の説明図である。
【図11】火点算出の説明図である。
【図12】バンカ内ブロックの説明図である。
【符号の説明】
A 赤外・可視複合型カメラ
1 赤外系センサ
2 可視系センサ
B 検出部
1 火災発生検出部
2 煙発生検出部
3 監視可能時間帯生成部
4 検出ブロック補正部
C アラーム発生部
1 火災アラーム発生部
2 煙アラーム発生部
D 外部データ入力部

Claims (10)

  1. 少なくとも1対の赤外・可視複合型カメラを配置し、該赤外・可視複合型カメラによる被監視物の撮像画像信号を処理して、火災発生及び煙発生を検出する火災自動検出方法に於いて、
    前記被監視物を含む空間と1対の前記カメラによる撮像画面とを対応させて、前記被監視物を含む空間を長さ方向、幅方向及び高さ方向にそれぞれ複数に分割して検出ブロックとし、前記カメラによる撮像画像信号を処理して前記撮像画面内の温度及び濃度のヒストグラムを求め、該ヒストグラムと判定条件との比較により温度上昇領域又は煙推定領域の重心位置を求め、該重心の位置により前記火災発生点又は煙発生点の三次元位置を算出し、該三次元位置を含む前記検出ブロックを求め、該検出ブロックを消火対象ブロックと判定する処理過程を含む
    ことを特徴とする火災自動検出方法。
  2. 前記被監視物を含む空間と1対の前記カメラによる撮像画面とを対応させて、前記空間を長さ方向、幅方向及び高さ方向にそれぞれ複数に分割して検出ブロックとし、前記1対のカメラの何れか一方のカメラのみによる撮像画像信号を基に、前記撮像画面内の温度及び濃度のヒストグラムを求め、該ヒストグラムと判定条件との比較により温度上昇領域又は煙推定領域の重心位置を求め、該重心の位置により前記火災発生点又は煙発生点の三次元位置を算出し、且つ前記被監視物を運搬及び積み上げるクレーンのワイヤの長さによる前記被監視物の積み上げ高さを示す高さ情報により、前記三次元位置を補正して、消火対象ブロックと判定する処理過程を含むことを特徴とする請求項1記載の火災自動検出方法。
  3. 前記被監視物を運搬及び積み上げるクレーンのワイヤの長さによる前記被監視物の積み上げ高さ情報を求め、該高さ情報に従って、前記隣接検出ブロック間の積み上げ高さを比較して該被監視物の傾斜形状を求め、該被監視物の傾斜形状に対応して前記1対のカメラの何れか一方のカメラのみで、火災発生又は煙発生を検出する為の該被監視物の撮像画像信号が得られる状態を識別した時に、検出精度低下の警告を発生することを特徴とする請求項2記載の火災自動検出方法。
  4. 前記被監視物を含む空間を長さ方向、幅方向及び高さ方向にそれぞれ複数に分割して検出ブロックとし、該検出ブロックの各点と消火を行う放水銃の方向を決定する原点との間の距離を予め設定し、前記被監視物の傾斜形状に対応して前記1対のカメラの何れか一方のカメラのみで、火災発生又は煙発生を検出する為の該被監視物の撮像画像信号が得られる状態を識別した時に、前記原点から消火対象ブロックと判定した検出ブロックと、該検出ブロックの前記被監視物の積み上げ高さ情報とを基に、前記放水銃の方向を制御する過程を含むことを特徴とする請求項1乃至3の何れか1項記載の火災自動検出方法。
  5. 前記被監視物を掴む時の前記クレーンのワイヤの長さと、前記被監視物を積み上げる床から前記クレーンのまでの高さとを基に、前記被監視物を積み上げた高さ情報を求める処理過程を含むことを特徴とする請求項2乃至4の何れか1記載の火災自動検出方法。
  6. 前記カメラによる赤外線画像信号を基に、前記被監視物の平均温度を超える温度領域が所定時間経過しても温度上昇を継続する時に、該温度上昇の検出ブロックを発火可能性の検出ブロックとして警告する過程を含むことを特徴とする請求項1乃至5の何れか1項記載の火災自動検出方法。
  7. 前記カメラによる可視光画像信号を基に、煙と推定する濃度領域の面積値の設定時間毎の増加変化分が設定最大変化分より小さく、且つ前記設定時間毎に前記増加変化分が継続して生じる回数が所定回数となった時に、煙発生検出と判定する過程を含むことを特徴とする請求項1乃至5の何れか1項記載の火災自動検出方法。
  8. 被監視物を撮像する少なくとも1対の赤外・可視複合型カメラと、該カメラの撮像画像信号を処理して火災発生検出及び煙発生検出を行う検出部と、該検出部の検出結果に対応してアラームを発生するアラーム発生部とを含む火災自動検出装置に於いて、
    前記検出部は、前記被監視物を含む空間と前記1対のカメラによる撮像画面とを対応させて、前記空間を長さ方向、幅方向及び高さ方向にそれぞれ複数に分割して検出ブロックとし、前記カメラによる撮像画像信号を処理して前記撮像画面内の温度及び濃度のヒストグラムを求め、該ヒストグラムと判定条件との比較により温度上昇領域又は煙推定領域の重心位置を求め、該重心の位置により前記火災発生点又は煙発生の三次元位置を算出する火災発生検出部及び煙発生検出部と、前記被監視物の積み上げ高さ情報を基に前記検出ブロックを補正する検出ブロック補正部とを備えた
    ことを特徴とする火災自動検出装置。
  9. 前記検出部の前記火災発生検出部は、前記カメラによる赤外線画像を基に前記被監視物の平均温度を超える温度領域が所定時間経過しても温度上昇を継続する時に、該温度上昇の検出ブロックを発火可能性の検出ブロックとして前記アラーム発生部から警告を発生させる構成を備えたことを特徴とする請求項8記載の火災自動検出装置。
  10. 前記検出部の前記煙発生検出部は、前記カメラによる可視光画像を基に、煙と推定する濃度領域の面積値の設定時間毎の増加変化分が設定最大変化分より小さく、且つ前記設定時間毎の増加変化分が継続して生じる回数が規定回数を超えた時は煙発生検出と判定し、該煙発生検出のブロックを発火可能性の検出ブロックとして前記アラーム発生部から警告を発生させる構成を備えたことを特徴とする請求項8記載の火災自動検出装置。
JP29206297A 1997-10-24 1997-10-24 火災自動検出方法及び火災自動検出装置 Expired - Fee Related JP3994355B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29206297A JP3994355B2 (ja) 1997-10-24 1997-10-24 火災自動検出方法及び火災自動検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29206297A JP3994355B2 (ja) 1997-10-24 1997-10-24 火災自動検出方法及び火災自動検出装置

Publications (2)

Publication Number Publication Date
JPH11126287A JPH11126287A (ja) 1999-05-11
JP3994355B2 true JP3994355B2 (ja) 2007-10-17

Family

ID=17777049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29206297A Expired - Fee Related JP3994355B2 (ja) 1997-10-24 1997-10-24 火災自動検出方法及び火災自動検出装置

Country Status (1)

Country Link
JP (1) JP3994355B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272703A (zh) * 2018-12-03 2019-01-25 商丘师范学院 一种基于ZigBee技术的火灾监测预警系统
WO2021034092A1 (ko) * 2019-08-19 2021-02-25 이정우 스마트 소화장치 및 이를 포함하는 스마트 소화시스템
AU2022203524A1 (en) * 2022-05-13 2023-11-30 Man-Chee Liu Cigarette smoke alarm device for non-smoking space

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066370B2 (ja) * 2003-12-05 2008-03-26 財団法人電力中央研究所 多量発熱の発生推定方法および装置
JP4618049B2 (ja) * 2005-08-29 2011-01-26 Jfeエンジニアリング株式会社 可燃物貯留ピット内の火災検知・消火システム
KR100932752B1 (ko) * 2008-02-20 2009-12-21 유넷웨어(주) 핫 스팟 추적이 가능한 실시간 복합 영상 출력 장치
CN102772865B (zh) 2012-08-02 2014-09-10 北京机械设备研究所 一种单向喷洒式无杀伤破片灭火弹
CN103065422B (zh) * 2012-12-22 2016-02-03 上海市隧道工程轨道交通设计研究院 一种地铁区间列车火灾定位系统及其应用方法
CN103958006B (zh) * 2013-07-16 2016-09-28 北京机械设备研究所 适用于高层和超高层建筑火灾扑救消防车的控制方法
CN103958007B (zh) * 2013-07-16 2016-03-16 北京机械设备研究所 适用于高层和超高层建筑火灾扑救消防车的控制系统
CN106300912A (zh) * 2014-10-02 2017-01-04 充梦霞 一种能自动灭火的高压变频器
CN104700549A (zh) * 2015-02-06 2015-06-10 太仓天衡电子科技有限公司 一种烟雾检测仪及其工作方法
CN105261029B (zh) * 2015-11-20 2018-08-21 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的机器人
KR101774977B1 (ko) * 2015-12-30 2017-09-05 주식회사 효성 모듈러 멀티레벨 컨버터의 서브모듈의 운전 제어장치 및 제어방법
CN105957281A (zh) * 2016-07-11 2016-09-21 安徽升隆电气有限公司 智能应急照明疏散系统
JP2018040533A (ja) * 2016-09-07 2018-03-15 Jfeエンジニアリング株式会社 廃棄物ガス化溶融炉の廃棄物堆積層高測定装置及び方法、廃棄物ガス化溶融装置及び方法
CN106355814A (zh) * 2016-10-28 2017-01-25 江苏金米智能科技有限责任公司 一种楼宇消防安全监控系统
CN108898782B (zh) * 2018-07-20 2020-12-11 湖北烽火平安智能消防科技有限公司 用于隧道防火的红外图像温度信息识别的烟雾探测方法及系统
JP7289198B2 (ja) * 2019-02-05 2023-06-09 ホーチキ株式会社 火災検知装置及び火災検知方法
CN110517436A (zh) * 2019-07-05 2019-11-29 国网浙江省电力有限公司嘉兴供电公司 一种基于物联网的临时消防监控装置
JP7120209B2 (ja) * 2019-12-24 2022-08-17 Jfeエンジニアリング株式会社 煙検知システム、煙検知方法およびプログラム
CN113082583A (zh) * 2021-05-25 2021-07-09 广东泓锐消防技术服务有限公司 一种室内智能监控灭火装置及其灭火方法
CN113435290A (zh) * 2021-06-22 2021-09-24 悟之信息科技(上海)有限公司 一种智能厨房安全预警联动系统及联动方法
CN115154974B (zh) * 2022-06-29 2023-05-02 万霖消防技术有限公司 一种消防系统及其优化方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272703A (zh) * 2018-12-03 2019-01-25 商丘师范学院 一种基于ZigBee技术的火灾监测预警系统
WO2021034092A1 (ko) * 2019-08-19 2021-02-25 이정우 스마트 소화장치 및 이를 포함하는 스마트 소화시스템
KR20210021745A (ko) * 2019-08-19 2021-03-02 이정우 스마트 소화장치 및 이를 포함하는 스마트 소화시스템
KR102274777B1 (ko) * 2019-08-19 2021-07-07 이정우 스마트 소화장치 및 이를 포함하는 스마트 소화시스템
AU2022203524A1 (en) * 2022-05-13 2023-11-30 Man-Chee Liu Cigarette smoke alarm device for non-smoking space

Also Published As

Publication number Publication date
JPH11126287A (ja) 1999-05-11

Similar Documents

Publication Publication Date Title
JP3994355B2 (ja) 火災自動検出方法及び火災自動検出装置
US5153722A (en) Fire detection system
US7440620B1 (en) Infrared safety systems and methods
JPH01501565A (ja) 噴霧燃料燃焼の画像解析方法
JP2003132458A (ja) 煙又は霧等の検出装置
JP4618049B2 (ja) 可燃物貯留ピット内の火災検知・消火システム
JP2003121556A (ja) 物体検出装置及びその方法
JP4410876B2 (ja) 火災の火点位置検出装置
JP3363044B2 (ja) 高温熱処理工程における火災検知方法および装置
JP3772007B2 (ja) 火災検出装置
JPH01308950A (ja) 搬送ベルトの損傷検出装置
JP3690695B2 (ja) 火災検出装置
JP2008199173A (ja) パイロット炎監視方法及びその装置
JP3985867B2 (ja) 乾灰コンベヤのクリンカ量計測装置
JPH05123420A (ja) 火災位置検出装置及びこれを用いた自動消火装置
JP3907365B2 (ja) ゴミ焼却炉の大型不燃物検出方法及び装置
JPH0373172A (ja) ごみピット内の自動消火装置
JP4652740B2 (ja) ごみ処理工場用自動クレーン
JPH03186274A (ja) 火災位置検出装置及びこれを用いた自動消火装置
JP3140540B2 (ja) ボイラの火炎検出装置
JPH07217844A (ja) 焼却炉の制御方法
JPH0329111B2 (ja)
JP3592908B2 (ja) 火災検出方法およびその装置
JPH11126248A (ja) 画像処理システム
JPH10188168A (ja) 火災検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees