JP4331308B2

JP4331308B2 - Fire detection method and fire detection device by image processing

Info

Publication number: JP4331308B2
Application number: JP07674299A
Authority: JP
Inventors: 英明山岸; 順一山口
Original assignee: SOHGO SECURITY SERVICES CO.,LTD.
Current assignee: SOHGO SECURITY SERVICES CO.,LTD.
Priority date: 1999-03-19
Filing date: 1999-03-19
Publication date: 2009-09-16
Anticipated expiration: 2019-03-19
Also published as: JP2000268270A

Description

【０００１】
【発明の属する技術分野】
本発明はカメラで撮像された画像を処理することにより火災を自動検知する画像処理による火災検知方法及び装置に関する。
【０００２】
【従来の技術】
従来の画像処理により広範囲のエリアを監視する火災検知方法には、一定時間における画像の特定領域の輝度信号の加算値をフーリエ変換し周波数特性（炎の揺らぎ）を調べることにより火災を検出するものや、ＣＣＤカメラに赤外線フィルタを装着して得られる赤外画像の時間的な面積分散率、自己相関係数、増加率を計算することにより火災を検知するものがある。
【０００３】
【発明が解決しようとする課題】
しかし上述方法では炎が小さい初期火災で距離が十分ある場合、揺らぎや輝度変化は観測されにくく、また人工光（例えば懐中電灯、回転灯など）と区別しにくいといったことから、ある程度の火災規模になるまで検知できなかった。また、風により、炎の大きさや形が大きく変化したり、煽られて見た目の面積が小さくなった場合、炎の成長度合いを検出パラメータにしにくいという問題があった。
【０００４】
そこで本発明は上述の問題点に鑑みて提案されたもので、炎の時間的な大きさや形の変動や距離に影響されにくく、人工光との区別も可能な火災炎検知方法を提供することにある。
【０００５】
【発明を解決するための手段】
本発明は、火災炎の形の変動に注目し、炎画像を処理して得られる変動特徴量により火災炎かどうかを判別するにあたり、画像内における炎色領域の迅速な検出と判別処理の負担の軽減を目的としてカラー画像を用い、また、火災炎の変化や非炎に影響されない信頼性の高い判別を可能とするように、以下のステップで画像処理を行う。
（１）カラーカメラから得られるＲＧＢカラー画像を各画素毎にＨＳＶ表色系に変換するステップ
（２）ＨＳＶ表色系内に予め定めた領域に変換されるＲＧＢカラー画像の画素を抽出して炎色領域を得るステップ
（３）前記炎色領域に応じて得られる楕円の重心座標位置および長軸の長さを求め、該楕円の長軸の長さと予め設定した基準長との倍率により、重心座標位置を中心にして当該炎色領域を拡大または縮小し大きさについて正規化するステップ
（４）前記正規化された炎色領域についてエッジ抽出を行うことにより輪郭データを得るステップ
（５）前記輪郭データの重心座標位置を求め、該重心座標位置を中心として輪郭データについて水平に対する角度（θ）と重心からの距離（ｒ）とにより輪郭データを極座標変換するステップ
（６）前記一連のステップを、所定時間内に取り込む複数のＲＧＢカラー画像について行うことによって得られる角度（θ）一時間（ｔ）一距離（ｒ）のデータをフーリエ変換するステップ
（７）前記フーリエ変換した結果から直流成分を除去することによって得られる周波数成分データにより火災炎を検知するステップ
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
本実施例では、カラーカメラにより撮像した画像を処理することにより火災を自動的に検知する火災炎検知方法及び火災炎検知装置ついて説明する。
図１に本発明の実施例のブロック構成図を示す。本実施例の構成は監視領域を撮像するカラーカメラ１００、カラーカメラ１００により撮像された画像を取り込んで処理し画像中の火災炎を自動検出する画像処理部２００からなる。カラーカメラ１００は監視領域の画像を画像信号として画像処理部２００に供給する。
【０００７】
画像処理部２００は、カラーカメラ１００により撮像された画像をＲＧＢカラー画像として一時的に保存するＲＧＢカラー画像記憶部２０２、ＲＧＢカラー画像記憶部２０２から得られる画像を処理することによって火災炎が存在するかどうかを判断する演算処理部２０１、演算処理部２０１での処理のフローにおける各ステップの出力結果を一時的に保存するためのワーク領域としての画像記憶部２０３、一定時間間隔で取り込まれるＲＧＢカラー画像に対する毎回の出力結果としての極座標変換結果を所定時間蓄積するｒ（θ，ｔ）記憶部２０４により構成される。
【０００８】
画像処理部２００は、マイクロコンピュータ等よりなり、演算処理部２０１において、後述する処理フローにおける各ステップにより順次、炎色領域、正規化画像、輪郭画像を作成し、画像記憶部２０３の内容を順に書き換え、輪郭画像の極座標変換結果については、ｒ（θ，ｔ）記憶部２０４に蓄積する。そして所定時間（Ｔ）の間にｒ（θ，ｔ）記憶部２０４に蓄積されたｒ（θ，ｔ）をフーリエ変換し、その結果から直流成分を除去して得られる周波数成分の分布により火災炎かどうかを判別する。なお、これらの処理を実行するためのプログラムは画像処理部２００のプログラム記憶部２０５に格納されるが、このプログラム記憶部２０５は、演算処理部２０１の内部メモリとしてもよいし、また、別途設けた記憶装置に装着するハードディスクやフレキシブルディスクのような記録媒体に格納することもできる。
【０００９】
図２に本発明の一実施例の火災炎検知装置の画像処理部２００が行う火災炎検知処理のフローチャートを、図３乃至１３に各ステップでの処理動作の説明図を示す。
まず、ＲＧＢカラー画像記憶部２０２ではカラーカメラ１００から監視領域の画像をアナログまたはディジタルの画像信号として取り込み、画像信号がアナログの場合は図示しないＡ／Ｄ変換器でディジタル信号（ＲＧＢカラー画象）に変換する（ｓ１）。次に、演算処理部２０１は前記画像中の炎色と思われる領域を単純な範囲指定（パラメータ）で設定するために前記ＲＧＢカラー画像の各画素をＨ（色相）Ｓ（彩度）（明度）表色系に変換する（ｓ２）。
【００１０】
なお、ＲＧＢ表色系を色彩で表現するものとして本実施例ではＨＳＶ表色系を用いたが、ＸＹＺ表色系やマンセル表色系、ＹＩＱ表色系などを用いてもよい。
〔ＲＧＢ表色系のＨＳＶ表色系への変換〕
ＲＧＢ表色系からＨＳＶ表色系への変換は下記の数式を用いて行うことができる。
【００１１】
ＲＧＢ表色系における３要素の値をそれぞれＲ，Ｇ，Ｂ（０≦Ｒ，Ｇ，Ｂ≦１）とする。
Ｖ＝ｍｘ
【００１２】
【数１】

【００１３】
Ｓが０の場合はＨも０とする。それ以外の場合は、
【００１４】
【数２】

【００１５】
Ｈが負ならば、３６０°を加える。ただし、
【００１６】
【数３】

【００１７】
上記の式によりＲＧＢ表色系をＨＳＶ表色系に変換することができる。なお、ＨＳＶ表色系は図３に示すような円筒状の座標系に変換され、角度が色相、半径が彩度、高さが明度で表される。
次に、ｓ２でＨＳＶ表色系に変換された各画素において、演算処理部２０１は図３の炎色判定領域１に示されるようなＨＳＶ表色系内に予め設けた領域に変換されるＲＧＢカラー画像の画素を抽出して炎色領域を得て、画像記憶部２０３に保存する（ｓ３）。図４に懐中電灯、図５に新聞紙を、それぞれ、燃焼させた場合の炎色領域抽出前（ａ）と抽出後（ｂ）のイメージを示す。
【００１８】
次に、画像記憶部２０３に保存した炎色領域を演算処理部２０１において、炎色領域データー点一点のモーメントが釣り合う座標を計算することにより、図６に示すような炎色領域の重心座標位置（Ｇ_x,Ｇ_y）、および楕円長軸の長さＬ_aが求められる。該Ｌ_aは以降の処理で炎色領域の大きさをほぼ一定にして扱うために用意した基準長Ｌと比較し、拡大縮小率Ｌ／Ｌ_aを求める。そして該拡大縮小率Ｌ／Ｌ_aを用いて炎色領域の重心座標を中心にして拡大または縮小することにより大きさについて正規化を行い画像記憶部２０３に格納する（ｓ４）。これにより、炎の大きさについて正規化することができ、規模の大小、距離の遠近に関わらず火災炎をほぼ同じ大きさで扱うことができる。
【００１９】
〔重心座標の計算式〕
画像構成画素（本発明では炎色領域構成画素または輪郭構成画素）について、水平方向座標値をｘ、垂直方向座標値をy 、座標（ｘ，y ）における画像構成画素の輝度値をｇとして画素をｇ（ｘ，y ）で表現する。重心座標位置においてｇ（ｘ，y ）に関する０次モーメントをｍ₀₀，１次モーメントをｍ₁₀，ｍ₀₁，２次モーメントをｍ₂₀，ｍ₁₁，ｍ₀₂とし、それらを次式により求める。
【００２０】
【数４】

【００２１】
次に、画像構成画素にあてはめられる楕円の重心座標位置Ｇ（Ｘ_g，Ｙ_g）と主軸の長さＬを次式で求める。
【００２２】
【数５】

【００２３】
ここで、
【００２４】
【数６】

【００２５】
また、Ｍ₂₀，Ｍ₁₁，Ｍ₀₂は重心Ｇの周りの２次モーメントであり、次式により計算される。
【００２６】
【数７】

【００２７】
上記の式により重心座標位置（Ｇ_x，Ｇ_y）および楕円長紬の長さＬ_aが求められる。
次に、演算処理部２０１は、画像記憶部２０３に保存した正規化炎色領域のエッジ抽出を行うことにより該正規化炎色領域の輪郭画像を作成して画像記憶部２０３に保存し（ｓ５）、該輪郭画像の輪郭データについて一点一点のモーメントが釣り合う座標を計算することによって、輪郭データの重心座標位置を求める（ｓ６）。輪郭データの重心座標位置の計算は上述炎色領域における重心座標計算と同様なのでここでは省略する。
【００２８】
［エッジ抽出計算方法］
輪郭データは、一般には画像の雑音除去、エッジ抽出、２値化の処理過程を順に行うことによって得られる結果を指し、雑音除去のために平滑化やメディアン（中央値）フィルタなどが用いられ、エッジ検出にはSobel オペレータやForsenオペレータなど、そしてエッジ検出結果を適当な閾値で２値化することにより輪郭データが作成される。このように数通りかの組み合わせが考えられ、どの方法を組合せても良い。本実施例では一般によく用いられる雑音除去とエッジ検出を同時に行える効率の良い下記数式によって表されるMarr−Hildrethオペレータによるエッジ検出および零交差法による２値化によって輪郭データを作成する。なお、零交差法とはプラスからマイナスヘ、あるいはマイナスからプラスヘ変化するとき、０と交差する点をエッジとして抽出する方法である。
【００２９】
【数８】

【００３０】
上記の式により炎色領域の輪郭が求められる。
次に、演算処理部２０１は図７に示すようにｓ６により求めた輪郭データの重心座標位置G を中心として、輪郭データの一点一点について水平に対する角度（θ）と重心からの距離（r ）を０から２πの範囲で求めることにより（ｓ７）、図８に示すような極座標変換結果を得、ｒ（θ，t ）記憶部２０４に保存する。この時半径方向の最も外側にある輪郭データを輪郭とし、輪郭データがない場合は距離を０とする。
【００３１】
以上のｓ１〜ｓ７を所定時間（Ｔ）繰り返すことにより（ｓ８）、図９に示すような角度（θ）−時間（ｔ）−距離（ｒ）の多重極座標変換結果ｒ（θ，t ）を得る（ｓ９）。本実施例では角度分解能を３６０／２５６〔ｄｅｇ〕、撮影時間を約８秒としており、画像の取り込みは通常のビデオレートとした場合の例について述べている。ここで、図１０に懐中電灯を揺らした場合、図１１に新聞紙を燃焼した場合のｒ（θ，t ）を示す。ここでは、縦軸を時間ｔ、横紬を角度θ、距離ｒは濃度値（黒〜白）に変換した結果を表しており、ｒ値が大きいほど明るく（白）なっている。なお、撮影時間は画像のフレーム数としてもよい。
【００３２】
次に、演算処理部２０１はｓ９により得られたｒ（θ，t ）についてフーリエ変換（一般に用いられているＦＦＴ）を行い、その結果から直流成分を除去する（ｓ１０）。図１２に懐中電灯を揺らした場合、図１３に新聞紙の燃焼の場合についての直流成分を除去後のフーリエ変換結果の鳥瞰図を示す。
ｓ１０により得られたフーリエ変換結果により、火災炎の場合は低周波領域に成分が集まり、一方、人工光の場合には中心（直流成分位置）から更に遠い位置に周波数成分が発生することが分かる。これにより、図１２および図１３の太線の内側の低周波領域に周波数成分が集まり、かつ、太線の外側に周波数成分がほとんど得られない場合に火災炎を検知できる（ｓ１１）。具体的には、図１２または図１３の太線内側における成分検出量をＤ₁ 、検出量が十分かどうかを判断する閾値をσ₁、太線外側での成分検出量をＤ_hとしてＤ₁ ＞σ₁かつ（Ｄ₁ ／Ｄ_h）＞σ_Qの場合にのみ火災炎を検知したと判断する。ここで、σ_Qは太線内側での成分検出量Ｄ₁と太線外側での成分検出量Ｄ_hとの比の値が所定値を越えるかどうかを判断する閾値である。これら変数について、σ₁は、非炎領域も含めた画像の大きさ（縦方向画素数×横方向画素数）と、正規化炎色領域作成時において基準の長さとして用いたＬによって適正値が異なることから、システムの仕様（メモリ量など）の都合により決定すればよい。本実施例では、σ₁の値として３２０を用いた。
【００３３】
また、σ_Qは、炎らしさの値（Ｄ₁ ／Ｄ_h）を最終的に炎と判定するための値であり、このσ_Qの値を小さく設定した場合は炎色対象に反応しやすくなる反面、誤報が発生しやすくなり、σ_Qの値を大きく設定した場合は人工光などとの判別精度が高く、誤報を排除できる反面、炎信号が十分でない監視場面には反応しにくいという結果になる。このことから、σ_Qは、炎色対象への反応の程度と誤報排除とについて、どちらをどの程度重視するかによって決められる。また、このσ_Qは、システムの仕様（メモリ量など）の都合により決定されるσ₁の値に合わせて適切な値を設定すればよい。本実施例ではσ_Qの値として５を用いた。一方、太線の位置、すなわち中央からの半径については、極座標変換における角度分解能およびＦＦＴで扱うデータの大きさ（縦方向データ数×横方向データ数）によって異なるためシステムの仕様（メモリ量など）の都合により決定すればよい。本実施例では、太線の半径の値として９を用いた。
【００３４】
【発明の効果】
従来の画像処理による火災検知では炎が小さい初期火災で距離が十分ある場合、揺らぎや輝度変化は観測されにくく、また、人工光と区別しにくいといったことから、ある程度の火災規模になるまで検知結果としての確からしさは十分ではなかったが、本発明は、炎色領域の大きさの正規化および演算処理により人工光と区別するようにしているため、有用性の高い火災検知が可能となる。
【００３５】
また、従来は、風により炎の大きさや形が大きく変化したり、煽られて見た目の面積が小さくなった場合、炎の成長度合いを検出パラメータにしにくいという問題があったが、本発明では輪郭形状の変動に関する周波数成分の分布を扱うことにより上述問題を解決することができる。
以上のように、本発明によれば、懐中電灯や回転灯、太陽光反射などを火災と認識する誤報を排除するとともに屋内、屋外を問わず、使用範囲の広い火災炎自動監視を可能とする。
【図面の簡単な説明】
【図１】本発明の実施例の構成のブロック図を示す。
【図２】本発明の一実施例である火災炎検知処理のフローチャートを示す。
【図３】Ｈ（色相）Ｓ（彩度）（明度）表色系における炎色判定領域の図を示す。
【図４】懐中電灯における炎色領域の抽出前と抽出後のイメージを示す。
【図５】新聞紙燃焼時における炎色領域の抽出前と抽出後のイメージを示す。
【図６】炎色領域の大きさを正規化する際に求める値を示す図である。
【図７】炎色領域の輪郭の極座標変換の説明図である。
【図８】炎色領域の輪郭の極座標変換結果を示す図である。
【図９】多重極座標変換結果ｒ（θ，ｔ）を示す図である。
【図１０】懐中電灯を揺らした場合のｒ（θ，ｔ）を示す図である。
【図１１】新聞紙を燃焼した場合のｒ（θ，ｔ）を示す図である。
【図１２】懐中電灯を揺らした場合のフーリエ変換結果の鳥瞰図を示す図である。
【図１３】新聞紙を燃焼した場合のフーリエ変換結果の鳥瞰図を示す図である。
【符号の説明】
１００カラーカメラ
２００画像処理部
２０１演算処理部
２０１Ａプログラム記憶部
２０２ＲＧＢカラー画像記憶部
２０３画像記憶部
２０４ｒ（θ，ｔ）記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a fire detection method and apparatus by image processing for automatically detecting a fire by processing an image captured by a camera.
[0002]
[Prior art]
The conventional fire detection method for monitoring a wide area by image processing is to detect fire by Fourier transforming the sum of luminance signals in a specific area of an image over a certain period of time and examining the frequency characteristics (flame fluctuation). In addition, there is one that detects a fire by calculating a temporal area dispersion rate, an autocorrelation coefficient, and an increase rate of an infrared image obtained by attaching an infrared filter to a CCD camera.
[0003]
[Problems to be solved by the invention]
However, in the case of the above method, if the fire is small and the distance is sufficient, fluctuations and brightness changes are difficult to observe, and it is difficult to distinguish them from artificial light (for example, flashlights, rotating lights, etc.). It was not detected until. In addition, when the size or shape of the flame changes greatly due to the wind, or when the area of the appearance is reduced by being beaten, there is a problem that it is difficult to use the degree of flame growth as a detection parameter.
[0004]
Therefore, the present invention has been proposed in view of the above-described problems, and provides a fire flame detection method that is not easily affected by fluctuations in the temporal size, shape, and distance of a flame and that can be distinguished from artificial light. It is in.
[0005]
[Means for Solving the Invention]
The present invention pays attention to the variation of the shape of the fire flame, and when determining whether it is a fire flame or not based on the variation feature amount obtained by processing the flame image, the burden of rapid detection and discrimination processing of the flame color area in the image In order to reduce this, a color image is used, and image processing is performed in the following steps so as to enable highly reliable discrimination that is not affected by changes in fire flame or non-flame.
(1) Step of converting an RGB color image obtained from a color camera into an HSV color system for each pixel (2) Extracting RGB color image pixels to be converted into a predetermined area in the HSV color system Step 3 of obtaining a flame color area (3) Obtaining the barycentric coordinate position and the length of the major axis of the ellipse obtained according to the flame color area, and by multiplying the length of the major axis of the ellipse with a preset reference length, (4) obtaining contour data by performing edge extraction on the normalized flame color region; (5) enlarging or reducing the flame color region around the center of gravity coordinate position and normalizing the flame size region; A step of obtaining a center-of-gravity coordinate position of the contour data, and converting the contour data into polar coordinates based on the angle (θ) with respect to the horizontal and the distance (r) from the center of gravity with respect to the center-of-gravity coordinate position 6) Step of Fourier transforming data of angle (θ), one hour (t), one distance (r) obtained by performing the series of steps on a plurality of RGB color images captured within a predetermined time (7) The Fourier A step of detecting a fire flame from frequency component data obtained by removing a direct current component from the converted result.
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In this embodiment, a fire flame detection method and a fire flame detection device for automatically detecting a fire by processing an image captured by a color camera will be described.
FIG. 1 shows a block diagram of an embodiment of the present invention. The configuration of this embodiment includes a color camera 100 that captures a monitoring area, and an image processing unit 200 that captures and processes an image captured by the color camera 100 and automatically detects a fire flame in the image. The color camera 100 supplies the image of the monitoring area to the image processing unit 200 as an image signal.
[0007]
The image processing unit 200 temporarily stores an image captured by the color camera 100 as an RGB color image, and an image obtained from the RGB color image storage unit 202 is processed to process a fire flame. An arithmetic processing unit 201 for determining whether or not to perform, an image storage unit 203 as a work area for temporarily storing the output result of each step in the processing flow in the arithmetic processing unit 201, RGB captured at regular time intervals It is configured by an r (θ, t) storage unit 204 that accumulates polar coordinate conversion results as output results for each color image for a predetermined time.
[0008]
The image processing unit 200 includes a microcomputer or the like, and the arithmetic processing unit 201 sequentially creates a flame color region, a normalized image, and a contour image by each step in the processing flow described later, and sequentially stores the contents of the image storage unit 203. The results of rewriting and polar coordinate conversion of the contour image are stored in the r (θ, t) storage unit 204. Then, r (θ, t) accumulated in the r (θ, t) storage unit 204 during a predetermined time (T) is Fourier-transformed, and a direct current component is removed from the result. Determine if it is a flame. A program for executing these processes is stored in the program storage unit 205 of the image processing unit 200. The program storage unit 205 may be an internal memory of the arithmetic processing unit 201, or may be provided separately. It can also be stored in a recording medium such as a hard disk or a flexible disk mounted on the storage device.
[0009]
FIG. 2 is a flowchart of fire flame detection processing performed by the image processing unit 200 of the fire flame detection apparatus according to an embodiment of the present invention, and FIGS. 3 to 13 are explanatory diagrams of processing operations in each step.
First, the RGB color image storage unit 202 captures an image of the monitoring area from the color camera 100 as an analog or digital image signal. If the image signal is analog, an A / D converter (not shown) converts the digital signal (RGB color image). (S1). Next, the arithmetic processing unit 201 sets each pixel of the RGB color image to H (hue) S (saturation) (lightness) in order to set an area considered to be a flame color in the image by simple range designation (parameter). ) Convert to the color system (s2).
[0010]
In this embodiment, the HSV color system is used to express the RGB color system with colors, but an XYZ color system, Munsell color system, YIQ color system, or the like may be used.
[Conversion of RGB color system to HSV color system]
Conversion from the RGB color system to the HSV color system can be performed using the following mathematical formula.
[0011]
The values of the three elements in the RGB color system are R, G, B (0 ≦ R, G, B ≦ 1), respectively.
V = mx
[0012]
[Expression 1]

[0013]
When S is 0, H is also 0. Otherwise,
[0014]
[Expression 2]

[0015]
If H is negative, add 360 °. However,
[0016]
[Equation 3]

[0017]
The RGB color system can be converted into the HSV color system by the above formula. The HSV color system is converted into a cylindrical coordinate system as shown in FIG. 3, where the angle is represented by hue, the radius is chroma, and the height is lightness.
Next, in each pixel converted to the HSV color system in s2, the arithmetic processing unit 201 converts the RGB converted into an area provided in advance in the HSV color system as shown in the flame color determination area 1 of FIG. Pixels of the color image are extracted to obtain a flame color area, and stored in the image storage unit 203 (s3). FIG. 4 shows a flashlight, and FIG. 5 shows images before (a) and after (b) extraction of the flame-colored region when the newspaper is burned.
[0018]
Next, the calculation processing unit 201 calculates the coordinates at which the moment of one point of the flame color area data is balanced with respect to the flame color area stored in the image storage unit 203, whereby the barycentric coordinate position of the flame color area as shown in FIG. (G _x, G _y ) and the ellipse major axis length _La are determined. The L _a is compared with a reference length L that is prepared to handle in a substantially constant size of the flame region in the subsequent processing to determine the scaling factor L / L _a. And stored in the image storage unit 203 normalizes the size by enlarging or reducing in the center of gravity coordinates of the flame region with the enlarged reduction ratio L / L _a (s4). Thereby, it is possible to normalize the size of the flame, and it is possible to handle the fire flame with almost the same size regardless of the size and distance.
[0019]
[Calculation formula for barycentric coordinates]
For an image component pixel (in the present invention, a flame color region component pixel or a contour component pixel), the horizontal coordinate value is x, the vertical coordinate value is y, and the luminance value of the image component pixel at the coordinate (x, y) is g. Is expressed by g (x, y). G (x, y) at the center of gravity coordinates the zero-order moment about m _00, 1 moment of m _10, m _01, the secondary moment and _{_{_{m 20, m 11, m 02}}} , ask them the following equation.
[0020]
[Expression 4]

[0021]
Next, the center-of-gravity coordinate position G (X _g , Y _g ) of the ellipse applied to the image constituent pixels and the length L of the principal axis are obtained by the following equations.
[0022]
[Equation 5]

[0023]
here,
[0024]
[Formula 6]

[0025]
M ₂₀ , M ₁₁ , and M ₀₂ are second moments around the center of gravity G, and are calculated by the following equations.
[0026]
[Expression 7]

[0027]
Barycentric coordinates by the above formula (G _x, G _y) and a length L _a of the ellipse length tsumugi is obtained.
Next, the arithmetic processing unit 201 performs edge extraction of the normalized flame color region stored in the image storage unit 203 to create a contour image of the normalized flame color region and stores it in the image storage unit 203 (s5). ), The coordinates of the barycentric coordinates of the contour data are obtained by calculating the coordinates in which the moments of each point balance the contour data of the contour image (s6). The calculation of the center-of-gravity coordinate position of the contour data is the same as the calculation of the center-of-gravity coordinate in the flame color region described above, and is omitted here.
[0028]
[Edge extraction calculation method]
Contour data generally refers to the result obtained by sequentially performing image denoising, edge extraction, and binarization processes, and smoothing and median (median) filters are used for noise removal. For edge detection, contour data is created by binarizing the edge detection result with an appropriate threshold, such as the Sobel operator and Forsen operator. Several combinations are conceivable as described above, and any method may be combined. In this embodiment, contour data is created by edge detection by the Marr-Hildreth operator and binarization by the zero-crossing method expressed by the following efficient mathematical expression that can perform noise removal and edge detection that are commonly used at the same time. The zero crossing method is a method of extracting a point that intersects 0 as an edge when changing from plus to minus or from minus to plus.
[0029]
[Equation 8]

[0030]
The outline of the flame area is obtained by the above formula.
Next, as shown in FIG. 7, the arithmetic processing unit 201 is centered on the centroid coordinate position G 1 of the contour data obtained in s6, and the angle (θ) with respect to the horizontal and the distance from the centroid (r ) In the range of 0 to 2π (s7), a polar coordinate conversion result as shown in FIG. 8 is obtained and stored in the r (θ, t) storage unit 204. At this time, the outermost contour data in the radial direction is set as the contour, and the distance is set to 0 when there is no contour data.
[0031]
By repeating the above s1 to s7 for a predetermined time (T) (s8), a multipolar coordinate conversion result r (θ, t) of angle (θ) −time (t) −distance (r) as shown in FIG. 9 is obtained. Obtain (s9). In the present embodiment, an example is described in which the angular resolution is 360/256 [deg], the shooting time is about 8 seconds, and the image is captured at a normal video rate. Here, FIG. 10 shows r (θ, t) when the flashlight is shaken, and FIG. 11 shows when newspaper is burned. Here, the vertical axis represents time t, the horizontal axis represents the angle θ, and the distance r represents the result of conversion into a density value (black to white). The larger the r value, the brighter (white). Note that the shooting time may be the number of frames of an image.
[0032]
Next, the arithmetic processing unit 201 performs a Fourier transform (FFT generally used) on r (θ, t) obtained in s9, and removes a DC component from the result (s10). FIG. 12 shows a bird's-eye view of the Fourier transform result after removing the direct current component for the case of newspaper burning when FIG.
From the Fourier transform result obtained by s10, it is understood that components are collected in the low frequency region in the case of fire flames, while frequency components are generated at positions farther from the center (DC component position) in the case of artificial light. . Thereby, when a frequency component collects in the low frequency region inside the thick line in FIG. 12 and FIG. 13 and almost no frequency component is obtained outside the thick line, a fire flame can be detected (s11). Specifically, D ₁ > σ, where D ₁ is the component detection amount inside the thick line in FIG. 12 or 13, σ _{1 is} the threshold value for determining whether the detection amount is sufficient, and D _h is the component detection amount outside the thick line. is determined to have detected the fire flame only if ₁ and _{_{(D 1 / D h)>}} σ Q. Here, σ _Q is a threshold value for determining whether or not the value of the ratio between the component detection amount D ₁ inside the thick line and the component detection amount D _h outside the thick line exceeds a predetermined value. For these variables, σ ₁ is an appropriate value depending on the size of the image including the non-flame area (the number of pixels in the vertical direction × the number of pixels in the horizontal direction) and L used as the reference length when creating the normalized flame color area. Therefore, it may be determined according to the system specifications (memory amount, etc.). In this embodiment, 320 is used as the value of σ ₁ .
[0033]
Also, σ _Q is a value for finally determining the flame-like value (D ₁ / D _h ) as a flame, and when this σ _Q value is set small, it becomes easy to react to a flame color target. On the other hand, false alarms are likely to occur, and if the value of σ _Q is set large, the discrimination accuracy from artificial light etc. is high, and while false alarms can be eliminated, it is difficult to react to monitoring scenes where the flame signal is insufficient. Become. From this, σ _Q is determined by how much importance is given to the degree of reaction to the flame target and the elimination of false alarms. In addition, this σ _Q may be set to an appropriate value in accordance with the value of σ ₁ determined by the convenience of the system specifications (memory amount and the like). In this embodiment, 5 is used as the value of σ _Q. On the other hand, the position of the thick line, that is, the radius from the center, differs depending on the angular resolution in polar coordinate conversion and the size of data handled by FFT (the number of data in the vertical direction x the number of data in the horizontal direction). It may be determined by convenience. In this embodiment, 9 is used as the value of the radius of the thick line.
[0034]
【The invention's effect】
In conventional fire detection using image processing, if the fire is small and the distance is sufficient, fluctuations and changes in brightness are difficult to observe and difficult to distinguish from artificial light. However, since the present invention distinguishes it from artificial light by normalizing and calculating the size of the flame area, it is possible to detect fire with high utility.
[0035]
Further, conventionally, when the size or shape of the flame is greatly changed by the wind or when the area of the flame is reduced by being blown, there is a problem that it is difficult to use the degree of flame growth as a detection parameter. The above-mentioned problem can be solved by handling the distribution of frequency components related to the shape variation.
As described above, according to the present invention, it is possible to eliminate the false alarm of recognizing flashlights, revolving lights, sunlight reflections, etc. as fire, and to enable automatic fire flame monitoring with a wide range of use, indoors or outdoors. .
[Brief description of the drawings]
FIG. 1 shows a block diagram of a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart of fire flame detection processing according to an embodiment of the present invention.
FIG. 3 is a diagram of a flame color determination area in an H (hue) S (saturation) (lightness) color system;
FIG. 4 shows images before and after extraction of a flame-colored region in a flashlight.
FIG. 5 shows images before and after extraction of a flame-colored area when newspaper is burned.
FIG. 6 is a diagram illustrating values obtained when normalizing the size of a flame color area;
FIG. 7 is an explanatory diagram of polar coordinate conversion of the outline of a flame color area.
FIG. 8 is a diagram illustrating a polar coordinate conversion result of the outline of a flame color region.
FIG. 9 is a diagram showing a multipolar coordinate conversion result r (θ, t).
FIG. 10 is a diagram showing r (θ, t) when the flashlight is shaken.
FIG. 11 is a diagram showing r (θ, t) when newspaper is burned.
FIG. 12 is a view showing a bird's-eye view of a Fourier transform result when a flashlight is shaken.
FIG. 13 is a diagram showing a bird's-eye view of a Fourier transform result when newspaper is burned.
[Explanation of symbols]
100 color camera 200 image processing unit 201 arithmetic processing unit 201A program storage unit 202 RGB color image storage unit 203 image storage unit 204 r (θ, t) storage unit

Claims

In the fire flame detection method executed by the image processing unit of the fire detection apparatus having an image processing unit that automatically determines whether a fire exists by processing an image obtained from a camera,
Converting an RGB color image obtained from a color camera into an HSV color system for each pixel;
Extracting a pixel of an RGB color image to be converted into a predetermined area in the HSV color system as a result of conversion to the HSV color system, and obtaining a flame color area;
The center-of-gravity coordinate position and the length of the long axis of the ellipse obtained according to the flame color area are obtained, and the flame is centered on the center-of-gravity coordinate position by multiplying the length of the long axis of the ellipse with a preset reference length. Enlarging or reducing the color area and normalizing for size;
Obtaining contour data by performing edge extraction on the normalized flame color region;
Obtaining a centroid coordinate position of the contour data, and converting the contour data into polar coordinates based on an angle (θ) with respect to the horizontal (θ) and a distance (r) from the centroid with respect to the centroid coordinate position;
Fourier transforming angle (θ) -time (t) -distance (r) data obtained by performing the series of steps on a plurality of RGB color images that are captured within a predetermined time (T);
A fire flame detection method by image processing , comprising: detecting a fire flame from frequency component data obtained by removing a direct current component from a result of the Fourier transform.

In a fire flame detection apparatus having an image processing unit that automatically determines whether a fire exists by processing an image obtained from a camera,
The image processing unit includes means for converting an RGB color image obtained from a color camera into an HSV color system for each pixel;
Means for obtaining a flame color area by extracting pixels of an RGB color image converted into a predetermined area in the HSV color system as a result of conversion to the HSV color system;
The center-of-gravity coordinate position and the length of the long axis of the ellipse obtained according to the flame color area are obtained, and the flame is centered on the center-of-gravity coordinate position by multiplying the length of the long axis of the ellipse with a preset reference length. Means to enlarge or reduce the color area and normalize the size,
Means for obtaining contour data by performing edge extraction on the normalized flame color region;
Means for obtaining a centroid coordinate position of the contour data, and performing polar coordinate conversion of the contour data by an angle (θ) with respect to the horizontal and a distance (r) from the centroid of the contour data with the centroid coordinate position as a center;
Means for Fourier transforming the angle (θ) -time (t) -distance (r) data obtained by performing the series of steps on a plurality of RGB color images captured within a predetermined time (T);
A fire flame detection device having means for detecting a fire flame from frequency component data obtained by removing a direct current component from the result of the Fourier transform.

An RGB color image obtained from a color camera is converted into an HSV image for each pixel on a computer-readable recording medium on which a program for automatically judging whether a fire exists by processing an image obtained from the camera. Converting to the color system,
Extracting a pixel of an RGB color image to be converted into a predetermined area in the HSV color system as a result of conversion to the HSV color system, and obtaining a flame color area;
The center-of-gravity coordinate position and the length of the long axis of the ellipse obtained according to the flame color area are obtained, and the flame is centered on the center-of-gravity coordinate position by multiplying the length of the long axis of the ellipse with a preset reference length. Enlarging or reducing the color area and normalizing for size;
Obtaining contour data by performing edge extraction on the normalized flame color region;
Obtaining a centroid coordinate position of the contour data, and converting the contour data into polar coordinates by using an angle (θ) with respect to the horizontal (θ) and a distance (r) from the centroid with respect to the centroid coordinate position as a center;
Fourier transforming angle (θ) -time (t) -distance (r) data obtained by performing the series of steps on a plurality of RGB color images that are captured within a predetermined time (T);
A computer-readable recording medium recording a program for causing a computer to execute a step of detecting a fire flame based on frequency component data obtained by removing a DC component from a result of the Fourier transform.