JP6322128B2 - 煙検出装置および煙検出方法 - Google Patents

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する技術に関し、特に、通信負荷を軽減するために、低フレームレート画像を用いた煙の検出に適した煙検出装置および煙検出方法に関する。

火災による死亡者数が依然として途絶えておらず、火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災の早期発見が非常に重要となっている。火災は、短時間で大きくなり、被害が甚大になってしまうため、早期発見・消火を行うことで、被害を抑えることが特に重要となる。人の目視や嗅覚等による発見は、確実であるが、見えない場所で発生すると発見に遅れてしまい、監視による労働力も大きい。

そこで、火災検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、火災要因の早期発見を行うことが研究されている。２次元画像から火災を検出する方法は、これまで多種多様な方法が提案されており、実用化されているものもある。また、火災の検出対象は、炎と煙に大別されるが、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。

その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像（基準画像）をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している（例えば、特許文献１参照）。

このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の２点のメリットが得られる。
１）監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
２）すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。

特許第３９０９６６５号公報

しかしながら、従来技術には次のような課題がある。
煙の検出をより迅速に行い、かつ煙の検出精度をより高めるためには、高フレームレートの画像を用いることが考えられる。しかしながら、このような高フレームレートの画像を用いて画像処理を行うことにより、通信負荷が重くなってしまうという問題がある。

すなわち、高フレームレートの画像を適切に処理するためには、高負荷処理を実行できる高価な装置が必要となってしまう。その一方で、単純に、低フレームレートの画像を用いた場合には、安価な装置を用いることができる反面、所望の検出精度を実現できない問題があった。

本発明は、上述のような課題を解決するためになされたものであり、低フレームレートの画像を用いた場合にも、高精度な煙検出を実現できる煙検出装置および煙検出方法を得ることを目的とする。

本発明に係る煙検出装置は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視時に、あらかじめ決められたサンプリング周期ごとに監視カメラにより撮像された監視対象画像を時系列画像として記憶する画像メモリと、画像メモリ内に記憶された時系列画像のそれぞれについて、時系列的に前後の２つの画像の差分の絶対値を求めた後に、あらかじめ設定した閾値を用いて２値化処理を施すことで、閾値以上の差分を有する特定領域を抽出し、煙候補領域において所定のサンプリング回数にわたって抽出された特定領域を累積することで、特定領域として抽出された回数を各画素に設定する累積時系列差分画像を生成し、累積時系列差分画像に対してラベリング処理を施すことで、抽出された回数ごとに領域区分された島の数を煙候補領域内における煙の存在の有無を識別するための特徴量として算出する特徴量抽出部と、特徴量抽出部により算出された特徴量が、あらかじめ設定した判定閾値以上の場合には、監視時に撮像された時系列画像に基づいて、監視対象画像内の煙候補領域において煙が発生したと判断する煙発生検出部とを備えるものである。

また、本発明に係る煙検出方法は、監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出方法であって、監視時に、あらかじめ決められたサンプリング周期ごとに監視カメラにより撮像された監視対象画像を時系列画像として画像メモリに記憶させる記憶ステップと、画像メモリ内に記憶された時系列画像のそれぞれについて、時系列的に前後の２つの画像の差分の絶対値を求めた後に、あらかじめ設定した閾値を用いて２値化処理を施すことで、閾値以上の差分を有する特定領域を抽出し、煙候補領域において所定のサンプリング回数にわたって抽出された特定領域を累積することで、特定領域として抽出された回数を各画素に設定する累積時系列差分画像を生成し、累積時系列差分画像に対してラベリング処理を施すことで、抽出された回数ごとに領域区分された島の数を煙候補領域内における煙の存在の有無を識別するための特徴量として算出する特徴量抽出ステップと、特徴量抽出ステップにより算出された特徴量が、あらかじめ設定した判定閾値以上の場合には、監視時に撮像された時系列画像に基づいて、監視対象画像内の煙候補領域において煙が発生したと判断する煙発生検出ステップとを備えるものである。

本発明によれば、煙候補領域において累積時系列差分画像を求めてラベリング処理を施し、ラベル数を特徴量とし、閾値と比較することで、時系列の監視対象画像から煙の発生の有無を高精度に判断できる。この結果、低フレームレートの画像を用いた場合にも、高精度な煙検出を実現できる煙検出装置および煙検出方法を得ることができる。

本発明の実施の形態１〜４に共通する煙検出装置の構成図である。 本発明の実施の形態１における自己相関パターン統計量における変異パターンを示した図である。 本発明の実施の形態１において、各変異パターンについて自己相関パターン統計量を求めたヒストグラムを示した図である。 本発明の実施の形態２における周辺領域に関する説明図である。 本発明の実施の形態２における第２の特徴量の算出に関する説明図である。 本発明の実施の形態３における監視対象画像において、煙が発生した状態を説明するための図である。 本発明の実施の形態３における監視対象画像に対して、累積時系列差分画像による煙検出手法を適用した場合の説明図である。 本発明の実施の形態４における特徴量である輝度の増加画素数と減少画素数のそれぞれの時間推移を示した図である。

以下、本発明の煙検出装置および煙検出方法の好適な実施の形態につき、図面を用いて説明する。

まず始めに、後述する実施の形態１〜４に共通する装置構成について説明する。
図１は、本発明の実施の形態１〜４に共通する煙検出装置の構成図である。煙検出装置は、画像メモリ１０、特徴量抽出部２０、および煙発生検出部３０を備えて構成されている。

画像メモリ１０は、カメラ１により撮像された画像を時系列で記憶できるように、複数フレーム分の画像メモリを有して構成されている。

特徴量抽出部２０は、画像メモリ１０に格納された１枚の画像、あるいは時系列画像に基づいて、煙の発生を判定するための特徴量を抽出する機能を有している。

また、煙発生検出部３０は、特徴量抽出部２０で抽出された特徴量に基づいて、煙が発生したか否かを判断する。

本発明は、このような図１の構成に基づいて、低フレームレートの画像から、煙固有の特徴量を抽出することで、高精度な煙検出を実現することを技術的特徴としており、以下に、具体的なアルゴリズムを実施の形態１〜４に分けて、詳細に説明する。
なお、後述する煙領域（煙候補領域）は、既知の手法を用いることによりあらかじめ抽出されたものである。

実施の形態１．
［自己相関パターン統計量の分散に基づく煙検出手法］
まず始めに、本実施の形態１での基本概念となる自己相関パターン統計量について説明する。この自己相関パターン統計量とは，要素の偏りがわかる特徴値であり、エッジの勾配方向ヒストグラムの拡張版といえる特徴値である。

図２は、本発明の実施の形態１における自己相関パターン統計量における変異パターンを示した図である。自己相関パターン統計量は，煙領域（煙候補領域）における、Ｍ×Ｎ（Ｍ、Ｎ≧２）画素、好ましくはＮ×Ｎ（Ｎ≧２ｎ＋１）画素、例えば３×３画素の局所領域内で，図２で指定された箇所（色塗りされた画素）の濃淡値の積を、それぞれの変異パターンごと（Ｎｏ．１〜Ｎｏ．３５ごと）に求めるとともに、煙領域全体で、同一の変異パターンごとに積の結果を足し合わせ、全部で３５項目のヒストグラムを生成することで算出される特徴量である。

つまり、煙領域全体をカバーする局所領域を必要数設定するものであるが、局所領域の必要数としては、煙領域全体を完全にカバーしなくてもよく、煙領域全体で算出される前記特徴量とほぼ同等な特徴量が得られる数であればよく、この場合も煙領域全体での前記ヒストグラムを作成していることに含まれる。そして、局所領域の必要数は、煙領域の大きさにもよるが、例えば、局所領域の画素が重ならないように、または、等間隔に配置されるように、煙領域の５０％程度に局所領域が設定されるものであってもよい。

なお、図２におけるＮｏ，２６〜Ｎｏ．３５の変異パターンで数字が記載されている箇所は，数字の回数分、その位置の濃淡値を掛け合わせることを意味している。

１つの画素における濃淡値は、単純にその位置での輝度状態を示すだけであるが、自己相関パターン統計量の概念を用いることで、注目画素を中心とした局所領域内での、より高次の複雑な事象へと拡張でき、複数画素に跨がった濃淡値の状態を定量的に評価することができる。なお、この自己相関パターン統計量の概念は、濃淡画像ばかりでなく、２値画像を対象とすることも可能である。

次に、このような自己相関パターン統計量の概念を煙検出に応用する具体的な手法について説明する。図３は、本発明の実施の形態１において、各変異パターンについて自己相関パターン統計量の特徴値を求めたヒストグラムを示した図である。具体的には、図３（ａ）は、煙が存在する領域について求めた各自己相関パターン統計量のヒストグラムを示しており、図３（ｂ）は、人や物体などが存在する領域（このような領域を、以下の説明では、ノイズ領域と称す）について求めた自己相関パターン統計量のヒストグラムを示している。

図３に示したようなヒストグラムは、領域内に存在する対象物の形状を表す統計量となっている。そこで、本実施の形態１では、このヒストグラムの分散値を求め、その分散値の大きさにより、煙と誤報源とを判別している。

すなわち、対象物が煙である場合、煙の形状は、不定であり、各局所領域の各局所相関成分に偏りがなく、自己相関パターン統計量のヒストグラムは、図３（ａ）のように、各変異パターンにわたってばらつきが少なくなる。この結果、煙による自己相関パターン統計量のヒストグラムの分散値は、小さくなる傾向にある。

一方、煙以外の対象物（ノイズ領域）として、例えば、対象物が人物である場合には、各局所領域の縦方向の局所相関成分が卓越し、対象物が自動車である場合には、各局所領域の横方向の局所相関成分が卓越する等、対象物の特性に応じて各局所領域の各局所相関成分に偏りが生じ、自己相関パターン統計量のヒストグラムは、図３（ｂ）のようになる。この結果、ノイズ領域で算出した自己相関パターン統計量ヒストグラムの分散値は、煙に対して求めた分散値と比較して、大きくなる。

そこで、このような傾向を踏まえ、本実施の形態１では、自己相関パターン統計量の分散値が、あらかじめ設定した閾値よりも小さいことを、煙判断の条件とする。

なお、図３（ａ）、図３（ｂ）において、１〜５、２６番目の変異パターンに関するヒストグラムの値が極端に小さい理由は、掛け合わせる要素数が２個以下であるためである。

このように，煙が存在する領域においては，輝度が全体的にゆるやかに変化するため、ヒストグラムが平坦になる。その一方で、人や物体においては、エッジの方向が偏っていることに起因して、ヒストグラムがばらつく傾向にある。そこで、本実施の形態１では、３５個の変異パターンのうち、３次のパターン２９個（Ｎｏ．６〜２５、Ｎｏ．２７〜３５）に対するヒストグラムの分散を求め，これを自己相関パターン統計量に基づく煙判定用の特徴量としている。

煙が存在する領域では、全体の濃淡値が画像内でゆるやかに変化していく（全体の濃淡値が均一な）ため、自己相関パターン統計量による特徴量は、小さくなると考えられる。従って、時系列画像を取り込む時間間隔を必要以上に短くする必要がなく、低フレームレート画像を用いた場合にも、高精度な煙検出を実現できる。

以上のように、実施の形態１によれば、煙候補領域内において、自己相関パターン統計量のヒストグラムの分散値を特徴量として算出し、分散値があらかじめ設定された閾値以下である場合に、領域内で煙が発生していることを判断している。煙の有無を判断するための特徴量として、このような自己相関パターン統計量のヒストグラムの分散値を用いることで、煙の特性を利用して、１枚の画像から高精度に煙の有無を判断できる。この結果、低フレームレート画像を用いた場合にも、高精度な煙検出を実現できる。

なお、１枚の画像のみで煙の有無を判断する代わりに、時系列的に順次取得した画像内の煙候補領域について自己相関パターン統計量のヒストグラムの分散値を用いた煙検出を順次行い、一定のサンプリング回数連続して煙が存在すると判断した場合に、煙候補領域内で煙が発生したと判断することも可能である。

また、本実施の形態１では、局所領域として、３×３画素の領域を用いて説明したが、Ｎ×Ｍ画素（Ｎ，Ｍ≧２）の領域、好ましくはＮ×Ｎ（Ｎ≧２ｎ＋１）画素であればよく、その場合、変異パターンのうち、ＭまたはＮ次のパターンに対するヒストグラムに対する分散を求め、これを自己相関パターン統計量に基づく煙判定用の特徴量とすることが好ましい。

実施の形態２．
［境界領域の輝度分散に基づく煙検出手法］
煙の境目は、緩やかに変化していると考えられる。そこで、本実施の形態２では、煙候補領域内の２値化の境界付近に着目して２つの特徴量を算出し、煙検出を行っている。

本実施の形態２では、以下の手順に従って、２つの特徴量に基づく煙検出処理を行っている。
（手順１）境界線の周辺領域の作成と、第１の特徴量の算出
まず，既知である判別分析法を用いて、煙候補領域内で２値化処理を行う。このような２値化処理を実際に煙が存在している領域において行った場合には、煙が発生している領域を、中央部分と外側の部分に２分割することが可能となる。

さらに、２値化の境界線上の点を中心として、９×９の局所領域を作成し、それらの局所領域を合わせて周辺領域を作成する。図４は、本発明の実施の形態２における周辺領域に関する説明図である。図４において、２本の太線で挟まれたドーナツ状の部分が、手順１により作成された、煙候補領域内の周辺領域に相当する。

そして、本実施の形態２では、この周辺領域に含まれる全ての画素の濃淡値の分散値を、第１の特徴量として算出する。先の実施の形態１においても説明したように、煙領域内では、画素の濃淡値が穏やかに変化するため、第１の特徴量は、煙が存在しない場合に算出された値よりも小さくなると考えられる。

（手順２）第２の特徴量の算出
次に、境界線上の点全てにおいて，局所領域（一例として、９×９の領域）内を２分割し、その２分割した領域の差分値の絶対値を求める。さらに、各境界点で算出した差分値の絶対値の平均値を、第２の特徴量として算出する。

図５は、本発明の実施の形態２における第２の特徴量の算出に関する説明図である。具体的には、図５（ａ）は、境界点上の上下左右の４箇所における局所領域を例示しており、図５（ｂ）は、局所領域を２分割するために用いる４つのパターンを示している。なお、図５（ｂ）中の画素内に記載された数値は、重み付けを意味している。

本実施の形態２では、図５（ｂ）に示したような、左右、上下、左下と右上、左上と右下の４パターンについて、２分割された領域それぞれでの濃淡値の平均値を求める。

その際には、図５（ｂ）に示したように，中心に近いほど重みをかけて平均値を求める。さらに、この２つの領域の平均値の差分の絶対値を、４パターン別に求め、絶対値が一番大きかったものを、その境界点における差分値の絶対値として選択する。このように、４パターンの中から絶対値が一番大きな差分を選択することで、境界点の位置に応じて適切な値を特定できることとなる。

そして、各境界点で求まった差分値の絶対値の平均値を、第２の特徴量として算出する。煙領域内では、画素の濃淡値が穏やかに変化するため、第２の特徴量は、第１の特徴量と同様に、煙が存在しない場合に算出された値よりも小さくなると考えられる。

そこで、このような傾向を踏まえ、本実施の形態２では、第１の特徴量があらかじめ設定した第１の閾値以下であり、かつ、第２の特徴量があらかじめ設定した第２の閾値以下であることを、煙判断の条件とする。このような２つの特徴量を用いて煙検出を行うことで、低フレームレート画像を用いた場合にも、１枚の画像から高精度な煙検出を実現できる。

以上のように、実施の形態２によれば、境界線の周辺領域における輝度分散値（濃淡値の分散値）を第１の特徴量として算出し、境界点を含む局所領域を２分割した際の差分絶対値の平均値を第２の特徴量として算出している。そして、第１の特徴量および第２の特徴量のそれぞれが、あらかじめ設定された個別の閾値以下である場合に、領域内で煙が発生していることを判断している。煙が発生している領域では、それぞれの画素の輝度値の変化が少なく、第１の特徴量、第２の特徴量は、ともに、煙が存在しない場合に求められた値よりも小さくなる。

そこで、煙の有無を判断するための特徴量として、このような境界領域で算出した第１の特徴量、第２の特徴量を用いることで、煙の特性を利用して、１枚の画像から高精度に煙の有無を判断できる。この結果、低フレームレート画像を用いた場合にも、高精度な煙検出を実現できる。

なお、上述した実施の形態２では、境界点を含む局所領域を、９×９の領域とする場合を一例にして説明したが、本発明は、これに限定されるものではない。煙を検出したい環境や、画像サイズに応じて、例えば、５×５、７×７など、適切な大きさとして局所領域を設定することができ、同様の効果を得ることができる。すなわち、局所領域は、ｎを１以上の整数とした際の（２ｎ＋１）×（２ｎ＋１）画素で設定することができる。

また、１枚の画像のみで煙の有無を判断する代わりに、時系列的に順次取得した画像内の煙候補領域について第１の特徴量および第２の特徴量を用いた煙検出を順次行い、一定のサンプリング回数連続して煙が存在すると判断した場合に、煙候補領域内で煙が発生したと判断することも可能である。

また、上述した実施の形態２では、境界線上の点全てを用いて第２の特徴量を算出したが、第２の特徴量を算出するために用いられる境界線上の点は、境界線上の点全てを用いた第２の特徴量とほぼ同等な第２の特徴量が得られるように、必要な画素（点）を必要数用いたものでもよく、この場合も境界線上の点全てを用いて第２の特徴量を算出したことに含まれる。例えば、境界線上の点を等間隔に選択して、全体の５０％の点を用いるなどである。

また、上述した実施の形態２では、第１の特徴量および第２の特徴量のそれぞれが、あらかじめ設定された個別の閾値以下である場合に、領域内で煙が発生していると判断したが、第１の特徴量および第２の特徴量のいずれか一方だけが、あらかじめ設定された個別の閾値以下である場合に、領域内で煙が発生していると判断してもよい。

実施の形態３．
［動きの複雑さに基づく煙検出手法］
先の実施の形態１、２では、１枚の画像から煙候補領域内での煙の有無を高精度に判定する手法について説明した。これに対して、本実施の形態３では、時系列で取得した複数の画像における濃淡値の変化に基づいて、煙候補領域内での煙の有無を高精度に判定する手法について説明する。

本実施の形態３では、あらかじめ決められたサンプリング間隔ごとに監視対象の画像を時系列で画像メモリ内に記憶する。そして、画像メモリ内に記憶された時系列画像のそれぞれについて、あらかじめ設定された煙候補領域に関して、以下に説明するような累積時系列差分画像を算出する。

例えば、５サンプリング分の画像Ｇ（１）、Ｇ（２）、Ｇ（３）、Ｇ（４）、Ｇ（５）を例に、累積時系列差分画像がどのようなものかを説明する。まず始めに、５つの画像に関して、時系列的に前後の２つの画像の差分画像（時系列差分画像）を、以下のように求める。
Δｇ（１）：Ｇ（１）とＧ（２）の差分
Δｇ（２）：Ｇ（２）とＧ（３）の差分
Δｇ（３）：Ｇ（３）とＧ（４）の差分
Δｇ（４）：Ｇ（４）とＧ（５）の差分

次に、各差分画像について、時系列的に前後の２つの画像の各画素における差分値の絶対値に対して、あらかじめ設定された閾値で２値化処理を行うことにより、閾値以上の変化があった領域を差分領域（特定領域）として抽出する。そして、４枚の差分画像において、差分領域として抽出された部分を累積することで、累積時系列差分画像を生成する。このようにして、累積時系列差分画像は、差分領域（特定領域）として抽出された回数を各画素に設定する。

さらに、累積時系列差分画像に対してラベリング処理を施すことで、累積時系列差分画像内の抽出された回数ごとに領域区分された各差分領域（島）の個数をカウントし、このカウント結果を特徴量として、煙の有無を判定する。すなわち、累積時系列差分画像に対してそれぞれ時系列のサンプリング回数に応じてラベリングを行うことで、煙の揺らぎ・動きを、各画素で差分が生じた回数として定量的にとらえ、煙候補領域内で煙が発生しているか否かを判定することを可能としている。

図６は、本発明の実施の形態３における監視対象画像において、煙が発生した状態を説明するための図である。具体的には、図６（ａ）、図６（ｂ）は、以下の内容を示している。
図６（ａ）：監視対象画像を示しており、左上に日照変化の影響を受ける窓があり、右側にロッカーが設けられている状態を例示している。
図６（ｂ）：図６（ａ）と同じ監視対象において、ロッカーの手前部分で煙が発生するとともに、日照が変化し、窓部分が暗くなった状態を例示している。

また、図７は、本発明の実施の形態３における監視対象画像に対して、累積時系列差分画像による煙検出手法を適用した場合の説明図である。具体的には、図７（ａ）、図７（ｂ）は、以下の内容を示している。
図７（ａ）：図６（ｂ）の窓部分を含む領域における累積時系列差分画像を示している。
図７（ｂ）：図６（ｂ）の煙が発生した部分を含む領域における累積時系列差分画像を示している。

煙が発生した領域においては、図７（ｂ）に示すように、それぞれのサンプリング回数で複数個以上の差分領域（島）が存在する。その一方で、日照変化あるいは照明の消灯などが発生した領域においては、サンプリング１回だけ変化した差分領域しか存在しない。

このように、煙の発生した領域では、煙が複雑に、常に動くため、累積時系列差分画像における差分領域の数（ラべリング処理によるラベル数）が多く、逆に、単純な輝度変化が発生した領域では、差分領域の数が少なくなることがわかる。そのため、累積時系列差分画像での要素数が一定値（判別閾値）以上であれば、煙が発生したと判定することができる。

以上のように、実施の形態３によれば、画像メモリ内に記憶された時系列画像のそれぞれについて、時系列的に前後の２つの画像の差分の絶対値を求めた後に、あらかじめ設定した閾値を用いて２値化処理を施すことで、閾値以上の差分を有する特定領域を抽出し、煙候補領域において所定のサンプリング回数にわたって抽出された特定領域を累積することで、特定領域として抽出された回数を各画素に設定する累積時系列差分画像を生成している。

そして、このようにして生成した累積時系列差分画像に対してラベリング処理を施すことで、抽出された回数ごとに領域区分された島の数を煙候補領域内における煙の存在の有無を識別するための特徴量として算出する特徴量抽出部と、特徴量抽出部により算出された特徴量が、あらかじめ設定した判定閾値以上の場合には、監視時に撮像された時系列画像に基づいて、監視対象画像内の煙候補領域において煙が発生したと判断する煙発生検出部を備えている。

このような構成により、取得した時系列画像の煙候補領域内において、累積時系列差分画像を求めてラベリング処理を施すことで、煙が発生した状態を検出している。煙の有無を判断するための特徴量として、このような動きの複雑さを示す特徴量を用いることで、煙の特性を利用して、時系列画像から高精度に煙の有無を判断できる。また、煙による輝度変化は緩やかなため、時系列画像を取り込む時間間隔を必要以上に短くする必要がない。この結果、低フレームレート画像を用いた場合にも、比較的少ないサンプリング数の時系列画像に基づいて、高精度な煙検出を実現できる。

なお、上述した実施の形態３では、時系列画像として５サンプリング分の画像を用いる場合を一例にして説明したが、本発明は、これに限定されるものではない。煙を検出したい環境や、画像サイズに応じて、サンプリング数を適切な値に設定することができ、同様の効果を得ることができる。

実施の形態４．
［輝度の増減画素数の時間推移に基づく煙検出手法］
本実施の形態４では、時系列で取得した複数の画像に基づいて、煙候補領域内での煙の有無を高精度に判定する手法として、先の実施の形態３とは異なる手法について説明する。

本実施の形態４では、直前の画像との差分を求め，各画素において，前フレームと比べ，輝度値（濃淡値）が上昇した画素、輝度値が減少した画素をそれぞれカウントし、両者のカウント差を特徴量として求める。

煙が発生した場合には、輝度変化が複雑であり、差分画像において輝度値が増加する画素と輝度値が減少する画素が混在するため、特徴量として求めたカウント差は、小さくなる。

その一方で、日照変化や照明変化が発生した場合には、変化が単調であり、輝度値が増加する画素あるいは輝度値が減少する画素のどちらか一方が他方よりも大きくなるため、特徴量として求めたカウント差は、煙が発生した場合と比較して大きくなる。

そこで、このような傾向を踏まえ、本実施の形態４では、直前画像との変化の傾向を示す輝度の増加画素数と減少画素数との差分値の時間推移を、煙に起因する新しい「動き」の特徴量として算出し、この特徴量があらかじめ設定した閾値以下であることを、煙判断の条件とする。

図８は、本発明の実施の形態４における特徴量である輝度の増加画素数と減少画素数のそれぞれの時間推移を示した図である。具体的には、図８（ａ）、図８（ｂ）は、以下の内容を示している。
図８（ａ）：煙が発生した領域における、差分画像に対して輝度値が増加した画素数と輝度値が減少した画素数の時間推移を示した図である。
図８（ｂ）：煙以外の要因の一例として、シャッターを開くことで漏れる光の増加が発生した領域における、差分画像に対して輝度値が増加した画素数と輝度値が減少した画素数の時間推移を示した図である。

なお、図８（ａ）、図８（ｂ）に示した時間推移の状態は，煙候補領域の面積で正規化した後，さらに最大値が１０００となるように正規化を行うで、異なるサイズの煙候補領域における特徴量を正規化することができる。

実際に、煙が発生した場合には、同じ地点で煙が微妙に動くため、輝度値の上昇と減少に一貫性がなく，また、輝度の増加した画素数と輝度の減少した画素数は、似たり寄ったりとなることが考えられる。一方、シャッターの開くシーンなどにおいては、漏れる光により、常に輝度値が上昇する変化が起こることが考えられる。そのため、それぞれのシーンにおいては、図８（ａ）、図８（ｂ）のような時間推移を示すグラフになると考えられる。

そこで、本実施の形態４では、次の２つの条件を満たす時に、煙候補領域内で煙が発生したと判定する。
（条件１）カウント差があらかじめ設定した許容差以内で、ある一定サンプリング回数以上続けて推移していること
（条件２）輝度値が上昇した画素数、輝度値が減少した画素数が、ともに、あらかじめ設定した許容下限値以上で、ある一定サンプリング回数以上続けて推移していること

以上のように、実施の形態４によれば、取得した時系列画像の煙候補領域内において、輝度が増加する画素数、輝度が減少する画素数、および両者の差分値のそれぞれの時間推移をモニターすることで、煙が発生した状態を検出している。煙の有無を判断するための特徴量として、このような輝度の増減の時間推移を用いることで、煙の特性を利用して、時系列画像から高精度に煙の有無を判断できる。また、煙による輝度変化は緩やかなため、時系列画像を取り込む時間間隔を必要以上に短くする必要がない。この結果、低フレームレート画像を用いた場合にも、比較的少ないサンプリング数の時系列画像に基づいて、高精度な煙検出を実現できる。

なお、上述した実施の形態４では、輝度値が上昇した画素数と輝度値が減少した画素数とのカウント差があらかじめ設定した許容差以内で、ある一定サンプリング回数以上続けて推移していること（条件１）、および輝度値が上昇した画素数、輝度値が減少した画素数が、ともに、あらかじめ設定した許容下限値以上で、ある一定サンプリング回数以上続けて推移していること（条件２）、の２つの条件を満たす時に、煙候補領域内で煙が発生したと判定したが、いずれか一方の条件を満たす時に、煙候補領域内で煙が発生したと判定してもよい。

また、煙検出装置は、上述した実施の形態１から４の煙検出方法を適宜組み合わせて煙の発生を判別してもよい。

１ カメラ、１０ 画像メモリ、２０ 特徴量抽出部、３０ 煙発生検出部。

Claims (2)

1. 監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
   監視時に、あらかじめ決められたサンプリング周期ごとに前記監視カメラにより撮像された前記監視対象画像を時系列画像として記憶する画像メモリと、
   前記画像メモリ内に記憶された前記時系列画像のそれぞれについて、時系列的に前後の２つの画像の差分の絶対値を求めた後に、あらかじめ設定した閾値を用いて２値化処理を施すことで、前記閾値以上の差分を有する特定領域を抽出し、前記煙候補領域において所定のサンプリング回数にわたって抽出された前記特定領域を累積することで、前記特定領域として抽出された回数を各画素に設定する累積時系列差分画像を生成し、前記累積時系列差分画像に対してラベリング処理を施すことで、前記抽出された回数ごとに領域区分された島の数を前記煙候補領域内における煙の存在の有無を識別するための特徴量として算出する特徴量抽出部と、
   前記特徴量抽出部により算出された前記特徴量が、あらかじめ設定した判定閾値以上の場合には、前記監視時に撮像された前記時系列画像に基づいて、前記監視対象画像内の前記煙候補領域において煙が発生したと判断する煙発生検出部と
   を備える煙検出装置。
2. 監視カメラにより撮像された監視対象画像内の煙候補領域に対して画像処理を施すことにより、煙の発生を検出する煙検出方法であって、
   監視時に、あらかじめ決められたサンプリング周期ごとに前記監視カメラにより撮像された前記監視対象画像を時系列画像として画像メモリに記憶させる記憶ステップと、
   前記画像メモリ内に記憶された前記時系列画像のそれぞれについて、時系列的に前後の２つの画像の差分の絶対値を求めた後に、あらかじめ設定した閾値を用いて２値化処理を施すことで、前記閾値以上の差分を有する特定領域を抽出し、前記煙候補領域において所定のサンプリング回数にわたって抽出された前記特定領域を累積することで、前記特定領域として抽出された回数を各画素に設定する累積時系列差分画像を生成し、前記累積時系列差分画像に対してラベリング処理を施すことで、前記抽出された回数ごとに領域区分された島の数を前記煙候補領域内における煙の存在の有無を識別するための特徴量として算出する特徴量抽出ステップと、
   前記特徴量抽出ステップにより算出された前記特徴量が、あらかじめ設定した判定閾値以上の場合には、前記監視時に撮像された前記時系列画像に基づいて、前記監視対象画像内の前記煙候補領域において煙が発生したと判断する煙発生検出ステップと
   を備える煙検出方法。

Images