JP6140599B2

JP6140599B2 - 炎検出装置

Info

Publication number: JP6140599B2
Application number: JP2013250810A
Authority: JP
Inventors: 那留岩藤; 義英遠藤; 寺田　賢治; 賢治寺田
Original assignee: Nohmi Bosai Ltd; University of Tokushima
Current assignee: Nohmi Bosai Ltd; University of Tokushima
Priority date: 2013-12-04
Filing date: 2013-12-04
Publication date: 2017-05-31
Anticipated expiration: 2033-12-04
Also published as: JP2015108917A

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎を検出する炎検出装置に関し、特に、炎を高精度に検出するためのアルゴリズムを備えた炎検出装置に関する。

火災による死亡者数が依然として途絶えておらず、火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災の早期発見が非常に重要となっている。火災は、短時間で大きくなり、被害が甚大になってしまうため、早期発見・消火を行うことで、被害を抑えることが特に重要となる。人の目視や嗅覚等による発見は、確実であるが、見えない場所で発生すると発見に遅れてしまい、監視による労働力も大きい。

そこで、火災検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、火災要因の早期発見を行うことが研究されている。２次元画像から火災を検出する方法は、これまで多種多様な方法が提案されており、実用化されているものもある。また、火災の検出対象は、炎と煙に大別されるが、炎の存在を直接検出する火災検出装置も実用化されている。

その一例として、イルミネーション等の外乱光の影響を受けることなく、確実に火災による炎を画像処理により認識する従来技術がある（例えば、特許文献１参照）。この特許文献１による炎検出装置は、警戒区域の画像データに基づいた色温度の高い領域を検出する空間色温度検出処理に加え、特定のカラー成分について位置的な変化が大きい部分の密度分布である空間周波数を解析する空間周波数検出処理を備えている。このような構成を備えることで、イルミネーション等の外乱光を区別して火災による炎を確実に認識することができ、画像処理による炎判断の信頼性を大幅に向上させることができる。

特開平１０−１２６７６５号公報

しかしながら、従来技術には次のような課題がある。
炎の検出精度に悪影響を与える要因としては、イルミネーション等の外乱光以外にも、種々の要因が考えられる。また、特許文献１の技術は、大規模な空間における炎を早期発見することは困難である。そのため、種々の外乱要因の影響を抑えるとともに、広い空間における炎の早期発見を、画像処理技術を用いて高精度に検出する炎検出装置が望まれている。

本発明は、上述のような課題を解決するためになされたものであり、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置を得ることを目的とする。

本発明に係る炎検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出すべき領域を、候補領域として特定する前処理部と、前処理部により特定された候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、前処理部は、複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、時系列画像と基準画像との差分として得られる背景差分画像と、時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに候補領域を抽出し、抽出したＮフレーム分の候補領域を論理和することで統合候補領域を特定する炎検出装置であって、前処理部は、基準画像とｎ（ｎは、２以上Ｎ以下の整数）番目の画像について対応する画素の差分の絶対値を算出することで背景差分画像を生成する処理１を有し、処理１を実行するに当たって、画素ごとに差分の絶対値を算出する際に、基準画像とｎ番目の画像の対応する画素が、いずれも所定の高輝度値未満であった場合には、算出した値をゼロに置き換え、当該画素が候補領域に該当しないようにするものである。

また、本発明に係る炎検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出すべき領域を、候補領域として特定する前処理部と、前処理部により特定された候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部とを備え、前処理部は、複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、時系列画像と基準画像との差分として得られる背景差分画像と、時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに候補領域を抽出し、抽出したＮフレーム分の候補領域を論理和することで統合候補領域を特定する炎検出装置において、前処理部は、基準画像とｎ（ｎは、２以上Ｎ以下の整数）番目の画像について対応する画素の差分の絶対値を算出することで背景差分画像を生成する処理１と、ｎ番目の画像と（ｎ−１）番目の画像について対応する画素の差分の絶対値を算出することで時系列差分画像を生成する処理２と、あらかじめ決められた２値化閾値に基づいて、背景差分画像および時系列差分画像のそれぞれを２値化することで、２値化閾値以上の差分値を有する画素の集合として構成される背景差分２値画像および時系列差分２値画像を生成する処理３と、背景差分２値画像および時系列差分２値画像の論理和をとることで、候補領域を生成する処理４と、ｎを２からＮまで順次変化させて処理１〜処理４を実行することで、（Ｎ−１）個の候補領域を生成し、生成した（Ｎ−１）個の候補領域の論理和をとることで、１サイクル処理終了時点での最終候補領域を特定する処理５とを有し、処理５を実行する際に、特定した最終候補領域に含まれる全ての画素について、処理４で生成された（ｎ−１）個の候補領域のうち、何個の候補領域に含まれていた画素に相当するかを抽出回数としてカウントし、抽出回数が所定回数未満の画素を最終候補領域から除外し、炎検出部は、最終候補領域が特定されたサイクルの次のサイクルにおいて、最終候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断するものである。

本発明によれば、直近の時系列画像データに基づいて、１サイクルごとに、炎の抽出に特化した適切な候補領域を特定できることにより、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置を得ることができる。

本発明の実施の形態１における炎検出装置の構成図である。本発明の実施の形態１における炎検出装置の前処理部による移動体画素の抽出処理に関する説明図である。本発明の実施の形態１における炎検出処理で抽出される特徴量１に関する説明図である。本発明の実施の形態１における特徴量１に関連した楕円一致度の説明図である。本発明の実施の形態１における特徴量算出部による、焦点位置の補正手順に関する説明図である。本発明の実施の形態１における炎検出処理で抽出される特徴量２に関する説明図である。本発明の実施の形態１における特徴量算出部で抽出される弱エッジに関する説明図である。本発明の実施の形態１における特徴量算出部で算出される弱エッジの密集度に関する説明図である。本発明の実施の形態１における炎検出処理で抽出される特徴量３に関する説明図である。本発明の実施の形態１における炎検出処理で抽出される特徴量４に関する説明図である。本発明の実施の形態１における炎検出処理で抽出される特徴量５に関する説明図である。

以下、本発明の炎検出装置の好適な実施の形態につき図面を用いて説明する。
本発明は、炎特有の揺らぎを捉えて炎検出を行う方式では、照明のちらつき等の、炎と同じような画素変化を示す誤報源との判別が困難であった問題を解消すべく、炎の抽出に特化した領域抽出方法と、炎が作り出す特有の形状に着目した特徴量の抽出方法とを組合せ、炎検出の精度向上を実現することを技術的特徴とするものである。

実施の形態１．
図１は、本発明の実施の形態１における炎検出装置の構成図である。本実施の形態１における炎検出装置は、画像メモリ１０、前処理部２０、および炎検出部３０を備えている。画像メモリ１０は、カメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。

前処理部２０は、移動体抽出部２１、および候補領域生成部２２で構成される。そして、この前処理部２０は、画像メモリ１０に記憶された、カメラ１により撮像された過去一定期間（１サイクル）に含まれる各フレームの画像に基づいて、移動体と思われる部分の画素を抽出し、炎検出を行うための候補領域として特定する機能を有している。

また、炎検出部３０は、特徴量算出部３１、および炎判定部３２で構成される。そして、この炎検出部３０は、前処理部２０でサイクルごとに特定された候補領域について、炎の発生の有無を検出するための特徴量を算出し、算出結果に基づいて炎が発生しているか否かを判断する機能を有している。

ここで、本願発明の検出原理について、概略を説明する。
まず始めに、カメラ１から取得された画像に対して、移動体に対応する画素の抽出を行う（ステップ１）。次に、抽出された画素を元に、炎候補領域を作成する（ステップ２）。次に、作成した炎候補領域内で抽出された移動体の特徴量を計算する（ステップ３）。そして、最後に、その特徴量から炎らしさを判別し、火災の判定を行うこととなる（ステップ４）。

ここで、本実施の形態１では、毎フレーム処理と毎サイクル処理に分けて行い、１サイクルを６４フレームとして処理する場合を例に説明する。本実施の形態１では、具体的には、炎候補領域を作成するまでのステップ１、２の処理を、毎フレーム処理として１サイクル分繰り返し行い、１サイクル処理した結果として抽出された炎候補領域について、次のサイクルでステップ３の特徴量の計算、およびステップ４の火災判定を行うこととなる。

そして、ステップ１の移動体抽出処理が、前処理部２０内の移動体抽出部２１で毎フレーム実行され、ステップ２の炎候補領域作成処理が、前処理部２０内の候補領域生成部２２で毎フレーム実行され、各サイクルの終了時点で、後段の炎検出部３０で使用する候補領域（最終候補領域）が特定される。また、ステップ３の特徴量計算処理が、炎検出部３０内の特徴量算出部３１で毎サイクル実行され、ステップ４の火災判定処理が、炎検出部３０内の炎判定部３２で毎サイクル実行される。そこで、前処理部２０により毎フレーム実行される処理と、炎検出部３０により毎サイクル実行される処理に分けて、以下に説明する。

（１）前処理部２０により毎フレーム実行される処理について
前処理部２０は、カメラ１により取得されたカメラ映像から、移動している物体の抽出を行なう。図２は、本発明の実施の形態１における炎検出装置の前処理部２０による移動体画素の抽出処理に関する説明図である。なお、図２では、説明をわかりやすくするために、本来の検出対象である炎を移動体として抽出する場合をイラスト的に示している。さらに、この移動体が、背景よりも明るいと仮定して説明する。

図２（ａ）には、カメラ１により取り込まれる画像として、次の３つの画像が示されている。
（画像ａ１）移動体が存在しない状態の基準画像（炎が存在しない背景画像に相当）であり、例えば、プログラム起動時などにあらかじめ取得される画像に相当する。
（画像ａ２）時系列で取得される１サイクル分の画像のうち、ある時刻ｔ−１に取得された画像であり、左側に移動体が撮像された画像を例示している。
（画像ａ３）時系列で取得される１サイクル分の画像のうち、ある時刻ｔに取得された画像であり、時刻ｔ−１において左側に存在した移動体が、中央寄りに移動した状態の画像を例示している。

次に、図２（ｂ）には、図２（ａ）の３つの画像に基づいて得られる、次の２種類の差分画像が示されている。
（画像ｂ１）画像ａ２と画像ａ３の差分画像であり、時系列差分画像を示している。具体的には、時系列である時刻ｔ−１の画像ａ２と時刻ｔの画像ａ３に基づいて、両画像の対応する画素ごとに、両画素の輝度値（濃淡値）の差分の絶対値を求めることで生成される画像を、時系列差分画像と称している。
（画像ｂ２）画像ａ１と画像ａ３の差分画像であり、背景差分画像を示している。具体的には、基準画像ａ１と時刻ｔの画像ａ３に基づいて、両画像の対応する画素ごとに、両画素の輝度値の差分の絶対値を求めることで生成される画像を、背景差分画像と称している。

次に、図２（ｃ）には、図２（ｂ）の２種類の差分画像のそれぞれに対して、所定の閾値で２値化することで得られる、次の２つの２値画像が示されている。
（画像ｃ１）画像ｂ１に関して所定の閾値により２値化して得られる２値画像であり、時系列差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、炎のように揺れている場合には、時刻ｔ−１と時刻ｔの画像で、一方の時刻のみ炎と検出された画素を抽出できることとなる。
（画像ｃ２）画像ｂ２に関して所定の閾値により２値化して得られる２値画像であり、背景差分画像として、所定の閾値以上の差分を有する画素が抽出されることとなる。従って、時刻ｔの画像で、炎と検出された画素を抽出できることとなる。

次に、図２（ｄ）には、画像ｃ１と画像ｃ２の論理和をとって得られる、次の２値画像が示されている。
（画像ｄ１）時系列差分に基づく２値画像ｃ１と、背景差分に基づく２値画像ｃ２に基づいて、少なくとも一方の画像で黒の画素を黒とし、両方の画像とも白の画素を白とすることで、炎検出領域を抽出することができる。

なお、炎として検出される画素は、所定の高輝度値以上を有することが前提となる。そこで、２つの画像に基づいて、時系列差分画像ｂ１あるいは背景差分画像ｂ２を算出する際には、少なくとも一方の画像において所定の高輝度値以上を有する画素のみを抽出して差分画像を生成することで、余分な領域を最終的に炎検出領域として抽出しないようにすることができる。

そして、前処理部２０内の移動体抽出部２１は、図２（ａ）〜図２（ｃ）に示した一連処理をフレームごとに繰り返し実行する。また、前処理部２０内の候補領域生成部２２は、図２（ｄ）としてフレームごとに抽出される炎検出領域について、１サイクル分（６４フレーム分）の論理和をとることで、最終的に１サイクル処理後の炎候補領域を特定することとなる。すなわち、候補領域生成部２２は、６４フレームの中で１回でも炎候補領域として抽出された画素を集計し、炎候補領域を特定する。

さらに、候補領域生成部２２は、画素ごとに、１サイクル内において、炎候補領域として抽出された回数（以下、この回数のことを抽出回数と称す）をカウントすることで、画素ごとの抽出回数を算出しておくことができる。すなわち、この抽出回数は、６４フレーム中何フレームで炎候補領域として特定された画素に相当するかを示す指標となる。

そして、候補領域生成部２２は、抽出回数が所定回数未満の画素を候補領域から除外することもできる。

また、候補領域生成部２２は、６４フレームの中で１回でも炎候補領域として抽出された画素のうち、隣接して１つの島を形成している画素の集合に対して、外接長方形を設定することで、矩形状の領域として炎候補領域を特定することもできる。

（２）炎検出部３０により毎サイクル実行される処理について
前処理部２０により１サイクル処理ごとに特定される炎候補領域に対して、本実施の形態１における炎検出部３０内の特徴量算出部３１は、以下の５つの特徴量に基づく炎判別処理を行うこととなる。
［炎判別処理１］楕円一致率を特徴量１として抽出し、炎判別を行う。
［炎判別処理２］弱エッジの割合を特徴量２として抽出し、炎判別を行う。
［炎判別処理３］重心位置の遷移の周期性を特徴量３として抽出し、炎判別を行う。
［炎判別処理４］重心位置の遷移の増加／減少状態を特徴量４として抽出し、炎判別を行う。
［炎判別処理５］平均輝度の変化量を特徴量５として抽出し、炎判別を行う。

そして、本実施の形態１における炎検出部３０内の炎判定部３２は、特徴量算出部３１による炎判別処理１〜５の結果を統合処理して、最終的に炎判定を実行する。そこで、次に、炎判別処理１〜５のそれぞれについて、詳細を説明する。

［炎判別処理１］楕円一致率を特徴量１として抽出し、炎判別を行う方法について
検出対象である炎は、例えば人の移動など、他の移動体とは異なり、楕円形状に近い形として画像認識される傾向にある。そこで、炎判別処理１では、特定された候補領域内に存在する移動体の画素データに対応する楕円形を抽出し、抽出した楕円形の領域に対して、炎候補領域として特定された画素が含まれている割合を楕円一致率として算出し、この楕円一致率の大きさが所定一致率以上である場合に、移動体として検出したものが炎であると判別している。そこで、以下に、具体的な判別方法を説明する。

楕円とは、「２定点からの距離の和が一定となるような点の集合から作られる曲線」と定義される。そこで、炎検出部３０内の特徴量算出部３１は、候補領域生成部２２によって特定された炎候補領域に基づいて、以下の手順で楕円形の計測領域を抽出する。

（手順１）特徴量算出部３１は、前回のサイクルで特定された炎候補領域において、今回のサイクルにおける各フレームで移動体の抽出を行う。移動体の抽出は、前処理部２０による候補領域の特定と同様に、時系列差分画像および背景差分画像に基づいて行う。さらに、炎候補領域内の各画素について、１サイクル内でいくつのフレームで移動体として抽出されたかを、抽出回数としてカウントする。そして、特徴量算出部３１は、抽出回数に応じて階調分けする。例えば、最低が０回、最大が６４回としてカウントされる抽出回数について、例えば、以下のような８階調に分けることが考えられる。
１階調目：抽出回数０〜８
２階調目：抽出回数９〜１６
：
８階調目：抽出回数５７〜６４

図３は、本発明の実施の形態１における炎検出処理で抽出される特徴量１に関する説明図である。図３（ａ）では、階調分けした結果を色分け表示した具体例を示している。
なお、上述した階調分けは一例に過ぎず、任意の階調数に分割でき、各階調に含まれる抽出回数も任意の範囲を設定可能である。

（手順２）特徴量算出部３１は、抽出回数が最大である領域（図３（ａ）で最も内側の色として特定された領域に相当）と、抽出回数が最小である領域（図３（ａ）で最も外側の色として特定された領域に相当）に対して、下式（１）を用いて重心を求める。具体的には、それぞれの領域ごとに、領域内の画素について、Ｘ座標、Ｙ座標それぞれの平均を計算することで求まった重心位置を、焦点の座標としている。

（手順３）特徴量算出部３１は、抽出回数が最大である領域について算出された焦点を焦点Ａとし、抽出回数が最小である領域について算出された焦点を焦点Ｂとする。図３（ｂ）に、算出された焦点Ａ、焦点Ｂの位置を例示している。そして、特徴量算出部３１は、抽出回数が最小である領域に含まれる画素について、下式（２）を用いることで、焦点Ａと焦点Ｂからの距離の和の平均を求め、楕円の半径とする。

なお、上式（１）、（２）における変数は、それぞれ以下の内容である。
Ｆ＿ｘ：重心位置のＸ座標
Ｆ＿ｙ：重心位置のＹ座標
Ｐｘ：領域に含まれる画素のＸ座標
Ｐｙ：領域に含まれる画素のｙ座標
Ｐｎ：領域内に含まれる画素総数
ＦＡｘ：焦点ＡのＸ座標
ＦＡｙ：焦点ＡのＹ座標
ＦＢｘ：焦点ＢのＸ座標
ＦＢｙ：焦点ＢのＹ座標
ｉ：Ｘ座標の変数
ｊ：Ｙ座標の変数

炎は、楕円のような形をしながら激しく燃えるが、人が移動した場合などでは、炎による楕円形状とは異なる複雑な形をしている傾向にある。そこで、特徴量算出部３１は、炎候補領域内の抽出回数が１以上の画素について、上式（１）（２）で規定される楕円の中に存在するか、外に存在するかを判別する。そして、下式（３）を用いて、楕円の一致度を算出する。

そして、特徴量算出部３１は、上式（３）で求めた一致度が、所定の許容一致度以上である場合には、炎検出領域内で検出された移動体は、炎であると判断することができる。図４は、本発明の実施の形態１における特徴量１に関連した楕円一致度の説明図である。図４（ａ）における黒塗りの領域は、炎候補領域のうち、上式（１）（２）で規定される楕円の内側領域を示している。また、図４（ｂ）における黒塗りの領域は、炎候補領域のうち、上式（１）（２）で規定される楕円の外側領域を示している。

また、図４（ｃ）は、炎が発生している状態での、各サイクルで算出された一致度の遷移と、人が移動している状態での、各サイクルで算出された一致度の遷移との比較を示している。図４（ｃ）からもわかるように、特徴量１として楕円の一致度に着目することで、炎と、例えば人の移動のような炎以外の移動体とを識別することが可能となる。

なお、上述した図４に基づく焦点算出では、変化画素の抽出回数が最小および最大の領域に対して重心を求め、それらの２点を焦点として楕円領域を作成することで，楕円領域と移動体としての抽出領域との一致度を特徴量１として求めていた。しかしながら、炎の形によっては、この手法では、適切に楕円領域を作成することができない場合もあった。

そこで、このような場合には、焦点の補正を行うことで、楕円領域の作成を改善することが考えられる。図５は、本発明の実施の形態１における特徴量算出部３１による、焦点位置の補正手順に関する説明図である。この図５を用いて、焦点位置の補正手順を説明する。

（補正手順１）まず始めに、特徴量算出部３１は、楕円の長軸を楕円の中点に関して時計回りと反時計回りに所定角度（例えば、１０度）ずつ回転させる（図５（ａ）参照）。
（補正手順２）次に、特徴量算出部３１は、回転させた２本の直線で囲まれる領域（２本の直線で挟まれた領域）に含まれる画素に限定して、上式（１）を用いて新しい重心を求める。その際には、楕円の中心から距離が大きくなるほど重みを大きく付加する（図５（ｂ）参照）。
（補正手順３）最後に、特徴量算出部３１は、新たに求まった２つの重心に関して、抽出回数が最小である領域に含まれる画素について、上式（２）を用いることで、新たに求まった焦点Ａと焦点Ｂからの距離の和の平均を求め、楕円の半径とする（図５（ｃ）参照）。

このような補正手順１〜３を実行することにより、焦点Ａ、焦点Ｂがより外側に設定されることとなり、炎のより多くの部分を、新たに規定した楕円内に納めることができる。この結果、上式（３）による一致度を高めることができ、特徴量１に基づく判別精度を向上させることができる。

［炎判別処理２］弱エッジの割合を特徴量２として抽出し、炎判別を行う方法について
図６は、本発明の実施の形態１における炎検出処理で抽出される特徴量２に関する説明図である。上段の図６（ａ）（ｂ）は、炎を撮像した際の元画像とエッジ検出結果を示している。また、下段の図６（ｃ）（ｄ）は、誤検出要因である人の移動を撮像した際の元画像とエッジ検出結果を示している。

図６（ａ）（ｂ）に示すように、炎は、激しい光を発しながら燃えるので、高輝度の領域が密集し、その結果、炎の内部では、弱いエッジが密集する傾向にある。一方、図６（ｃ）（ｄ）に示すように、人の移動では、このような傾向は見られない。

そこで、炎判別処理２では、特定された候補領域内に存在する移動体のエッジの密集度を算出し、所定値以下の弱いエッジで構成されている場合に、移動体として検出したものが炎であると判別している。そこで、以下に、具体的な判別方法を説明する。

（手順１）特徴量算出部３１は、弱エッジの密集度を求めるために、まず、弱いエッジの抽出を行う。本実施の形態１では、一例として、エッジ強度が１５以下のエッジを弱エッジとする。図７は、本発明の実施の形態１における特徴量算出部３１で抽出される弱エッジに関する説明図である。具体的には、図７（ａ）のエッジ検出結果に対して、炎候補領域内の弱エッジを抽出した結果が、図７（ｂ）に示されている。

（手順２）続いて、特徴量算出部３１は、弱エッジとして抽出された画素の密集度を求める。まず、特徴量算出部３１は、画像全体に対してラスタ走査を行い、抽出された弱エッジの画素があれば、その画素を中心として５×５の小領域を設定し、小領域内部に存在する弱エッジとして抽出された画素数を求める。なお、小領域のサイズは、５×５に限定されず、弱エッジ画素を中心に（２ｍ＋１）×（２ｍ＋１）の小領域（ｍは、１以上の整数）を設定することが可能である。

図８は、本発明の実施の形態１における特徴量算出部３１で算出される弱エッジの密集度に関する説明図である。図８（ａ）は、先の図７（ｂ）と同様の、弱エッジ検出結果を示している。また、図８（ｂ）は、図８（ａ）中の弱エッジとして検出された領域のうち、左上の５×５の小領域を含む拡大図を示している。図８（ｂ）では、５×５の小領域に、弱エッジとして抽出された画素が１２個含まれている場合を例示している。

（手順３）最後に、特徴量算出部３１は、全ての弱エッジ画素に対して、小領域内部に存在する弱エッジとして抽出された画素数を求め、その平均値を、弱エッジの密集度とする。そして、特徴量算出部３１は、この密集度が所定の閾値（例えば１５画素）以上である場合には、炎検出領域内で検出された移動体は、炎であると判断することができる。

［炎判別処理３］重心位置の遷移の周期性を特徴量３として抽出し、炎判別を行う方法について
この炎判別処理３では、誤検出要因である回転灯を移動体として抽出した場合に、炎と区別する方法について説明する。抽出された移動体が回転灯の場合、フレームごとに算出される移動体の重心位置は、炎に比べて、強い周期性を持った推移が得られる。図９は、本発明の実施の形態１における炎検出処理で抽出される特徴量３に関する説明図である。

具体的には、図９（ａ）は、３個の回転灯が点滅するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、Ｘ座標とＹ座標に分けて示したものである。また、図９（ｂ）は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、Ｘ座標とＹ座標に分けて示したものである。

また、図９（ｃ）は、回転灯を移動体として抽出した際の図９（ａ）の重心位置の遷移に対して、離散フーリエ変換を施した結果を、Ｘ座標とＹ座標に分けて示したものである。さらに、図９（ｄ）は、炎を移動体として抽出した際の図９（ｂ）の重心位置の遷移に対して、離散フーリエ変換を施した結果を、Ｘ座標とＹ座標に分けて示したものである。

炎判別処理３では、重心推移の周期性を定量的に評価するために、離散フーリエ変換を用いている。離散フーリエ変換とは、ある波形を綺麗な正弦波の集まりに分解することである。入力された波形が綺麗な波形をしていれば、ある周波数帯でのみ強いスペクトルが得られることとなる。そこで、以下に、具体的な判別方法を説明する。

（手順１）特徴量算出部３１は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、上式（１）を用いて、重心位置を算出する。その結果に基づく重心の遷移状態を示したものが、図９（ａ）（ｂ）に相当する。
（手順２）次に、特徴量算出部３１は、手順１で求めた重心位置の遷移データに対して、離散フーリエ変換を行う。周波数と振幅スペクトルの関係をグラフに示した結果が、図９（ｃ）（ｄ）に相当する。なお、図９（ｃ）（ｄ）では、一例として、６４フレーム分（１サイクル分）のデータに対して、離散フーリエ変換を行っている。

（手順３）最後に、特徴量算出部３１は、手順２の離散フーリエ変換の結果に基づいて、平均振幅スペクトルと最大振幅スペクトルを求める。さらに、特徴量算出部３１は、下式（４）を用いることで、最大のスペクトルが他のスペクトルに対してどれくらい大きいかを、特徴量３として算出する。

この特徴量３の値が大きくなると、周期性が強くなると考えられる。そこで、特徴量算出部３１は、特徴量３が一定以上の値になると周期性が強いと判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の回転灯であると判断でき、誤報を抑制することができる。

［炎判別処理４］重心位置の遷移の増加／減少状態を特徴量４として抽出し、炎判別を行う方法について
この炎判別処理４では、誤検出要因である人や車を移動体として抽出した場合に、炎と区別する方法について説明する。抽出された移動体が人や車などといった場合には、これらの移動体は直進移動する場合が多く、重心位置の推移が単調増加または単調減少する傾向にある。一方、抽出された移動体が炎の場合には、炎の揺らぎに伴って、重心位置の推移が増加したり減少したりする傾向にある。図１０は、本発明の実施の形態１における炎検出処理で抽出される特徴量４に関する説明図である。

具体的には、図１０（ａ）は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、Ｘ座標とＹ座標に分けて示したものである。また、図１０（ｂ）は、人が移動するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した重心位置の遷移を、Ｘ座標とＹ座標に分けて示したものである。特徴量算出部３１による具体的な判別方法を、以下に説明する。

（手順１）特徴量算出部３１は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、上式（１）を用いて、重心位置を算出する。その結果に基づく重心の遷移状態を示したものが、図１０（ａ）（ｂ）に相当する。
（手順２）次に、特徴量算出部３１は、手順１で求めた重心位置の遷移データに基づいて、下式（５）に従って、特徴量４を算出する。

この特徴量４の値が大きくなると、単調増加、あるいは単調減少の傾向が強いと考えられる。そこで、特徴量算出部３１は、特徴量４が一定以上の値になると、重心位置が単調増加あるいは単調減少していると判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の人または車などの直進移動体であると判断でき、誤報を抑制することができる。

［炎判別処理５］平均輝度の変化量を特徴量５として抽出し、炎判別を行う方法について
この炎判別処理５では、誤検出要因である人や車を移動体として抽出した場合に、炎と区別する方法について、先の炎判別処理４とは異なる方法を説明する。抽出された移動体が人や車などであり、かつその場で留まっている場合には、画素に変化があまりないため、輝度値の変化が緩やかになる。一方、抽出された移動体が炎の場合には、激しく燃える状態の画像により、輝度変化が大きくなる傾向にある。図１１は、本発明の実施の形態１における炎検出処理で抽出される特徴量５に関する説明図である。

具体的には、図１１（ａ）は、一般的な炎が燃えるシーンを撮像することで抽出された移動体に関して、フレームごとに算出した輝度平均値の遷移を示したものである。また、図１０（ｂ）は、人が移動するシーンを撮像することで抽出された移動体に関して、フレームごとに算出した輝度平均値の遷移を示したものである。特徴量算出部３１による具体的な判別方法を、以下に説明する。

（手順１）特徴量算出部３１は、前回のサイクルで特定された炎候補領域のそれぞれについて、今回のサイクルのフレームごとに抽出される移動体に関し、下式（６）を用いて、１サイクルにおける輝度値変化量の総和を、特徴量５として求める。

（手順２）次に、特徴量算出部３１は、手順１で求めた特徴量５が、所定量以下である場合には、１サイクル内で算出された各フレームの平均輝度値の変化が少ないと判定し、炎検出領域内で検出された移動体は、炎ではなく、誤検出要因の人または車などが留まっている状態であると判断でき、誤報を抑制することができる。

以上のように、実施の形態１によれば、前処理部の働きにより、直近の時系列画像データに基づいて、１サイクルごとに炎検出のための適切な候補領域を特定できる。さらに、前のサイクルで特定された候補領域について、次のサイクルで特徴量１〜特徴量５に基づく判断処理を行うことで、誤検出を抑制し、かつ、炎自体の検出精度を向上させることができる。この結果、種々の誤検出要因を含む様々な設置環境において炎を高精度に検出することのできる炎検出装置を実現できる。

なお、本願発明の炎検出部３０内の炎判定部３２は、特徴量算出部３１による炎判別処理１〜５の結果を統合処理して、最終的に炎判定を実行しているが、たとえば各特徴量に重み付けを行うことで感度を変更してもよく、さらに言えば、各特徴量の少なくとも一つで所定の閾値を超えたときに炎であると判定してもよい。

１カメラ、１０画像メモリ、２０前処理部、２１移動体抽出部、２２候補領域生成部、３０炎検出部、３１特徴量算出部、３２炎判定部。

Claims

監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、
前記監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、
前記画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出すべき領域を、候補領域として特定する前処理部と、
前記前処理部により特定された前記候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
を備え、
前記前処理部は、前記複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、
前記時系列画像と前記基準画像との差分として得られる背景差分画像と、前記時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに候補領域を抽出し、抽出したＮフレーム分の候補領域を論理和することで統合候補領域を特定する
炎検出装置において、
前記前処理部は、
前記基準画像とｎ（ｎは、２以上Ｎ以下の整数）番目の画像について対応する画素の差分の絶対値を算出することで背景差分画像を生成する処理１を有し、
前記処理１を実行するに当たって、画素ごとに前記差分の絶対値を算出する際に、前記基準画像と前記ｎ番目の画像の対応する画素が、いずれも所定の高輝度値未満であった場合には、算出した値をゼロに置き換え、当該画素が前記候補領域に該当しないようにする
炎検出装置。
請求項１に記載の炎検出装置において、
前記前処理部は、
ｎ番目の画像と（ｎ−１）番目の画像について対応する画素の差分の絶対値を算出することで時系列差分画像を生成する処理２をさらに有し、
前記処理２を実行するに当たって、画素ごとに前記差分の絶対値を算出する際に、前記ｎ番目の画像と前記（ｎ−１）番目の画像の対応する画素が、いずれも所定の高輝度値未満であった場合には、算出した値をゼロに置き換え、当該画素が前記候補領域に該当しないようにする
炎検出装置。
請求項２に記載の炎検出装置において、
前記前処理部は、
あらかじめ決められた２値化閾値に基づいて、前記背景差分画像および前記時系列差分画像のそれぞれを２値化することで、前記２値化閾値以上の差分値を有する画素の集合として構成される背景差分２値画像および時系列差分２値画像を生成する処理３と、
前記背景差分２値画像および前記時系列差分２値画像の論理和をとることで、前記候補領域を生成する処理４と
ｎを２からＮまで順次変化させて前記処理１〜前記処理４を実行することで、（Ｎ−１）個の候補領域を生成し、生成した前記（Ｎ−１）個の候補領域の論理和をとることで、１サイクル処理終了時点での最終候補領域を特定する処理５と
をさらに有し、
前記炎検出部は、前記最終候補領域が特定されたサイクルの次のサイクルにおいて、前記最終候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する
炎検出装置。
請求項３に記載の炎検出装置において、
前記前処理部は、
前記処理５を実行する際に、特定した前記最終候補領域に含まれる全ての画素について、前記処理４で生成された（ｎ−１）個の候補領域のうち、何個の候補領域に含まれていた画素に相当するかを抽出回数としてカウントし、前記抽出回数が所定回数未満の画素を前記最終候補領域から除外する
炎検出装置。
監視カメラにより撮像された画像に対して画像処理を施すことにより、炎の発生を検出する炎検出装置であって、
前記監視カメラにより時系列で撮像された複数の画像を時系列画像として記憶するとともに、検出対象である炎が発生していない基準画像を記憶する画像メモリと、
前記画像メモリに記憶された複数Ｎフレーム（Ｎは、２以上の整数）からなる１サイクル分の時系列画像に基づいて、画像内に存在する移動体を抽出し、炎の発生の有無を判断する指標となる特徴量を算出すべき領域を、候補領域として特定する前処理部と、
前記前処理部により特定された前記候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する炎検出部と
を備え、
前記前処理部は、前記複数Ｎフレームからなる１サイクル分の時系列画像に基づいて、
前記時系列画像と前記基準画像との差分として得られる背景差分画像と、前記時系列画像のうちの隣接する画像間の差分として得られる時系列差分画像とに基づいて、それぞれのフレームごとに候補領域を抽出し、抽出したＮフレーム分の候補領域を論理和することで統合候補領域を特定する
炎検出装置において、
前記前処理部は、
前記基準画像とｎ（ｎは、２以上Ｎ以下の整数）番目の画像について対応する画素の差分の絶対値を算出することで背景差分画像を生成する処理１と、
ｎ番目の画像と（ｎ−１）番目の画像について対応する画素の差分の絶対値を算出することで時系列差分画像を生成する処理２と、
あらかじめ決められた２値化閾値に基づいて、前記背景差分画像および前記時系列差分画像のそれぞれを２値化することで、前記２値化閾値以上の差分値を有する画素の集合として構成される背景差分２値画像および時系列差分２値画像を生成する処理３と、
前記背景差分２値画像および前記時系列差分２値画像の論理和をとることで、前記候補領域を生成する処理４と、
ｎを２からＮまで順次変化させて処理１〜処理４を実行することで、（Ｎ−１）個の候補領域を生成し、生成した前記（Ｎ−１）個の候補領域の論理和をとることで、１サイクル処理終了時点での最終候補領域を特定する処理５と
を有し、
前記処理５を実行する際に、特定した前記最終候補領域に含まれる全ての画素について、前記処理４で生成された（ｎ−１）個の候補領域のうち、何個の候補領域に含まれていた画素に相当するかを抽出回数としてカウントし、前記抽出回数が所定回数未満の画素を前記最終候補領域から除外し、
前記炎検出部は、前記最終候補領域が特定されたサイクルの次のサイクルにおいて、前記最終候補領域に限定して特徴量の抽出処理を行うことで、炎の発生の有無を判断する
炎検出装置。