JP5518359B2 - 煙検出装置 - Google Patents

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置に関し、特に、緩慢に拡散する煙（緩慢拡散煙）の検出に適した煙検出装置に関する。

火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。

その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像（基準画像）をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している。（例えば、特許文献１参照）。

また、日照などの影響により基準画像が時間的に変化することに対応するために、基準画像を定期的に更新することが行われている。

このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の２点のメリットが得られる。
１）監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
２）すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。

特許第３９０９６６５号公報

しかしながら、従来技術には次のような課題がある。
従来技術においては、煙を検出するために、フレーム差分画像あるいは背景画像からの輝度差が所定の閾値を超えた画素領域を抽出していた。しかしながら、例えば、周囲の照明条件の変化などの影響により、撮像された画像に変化が生じてしまう場合には、煙が発生していない部分を煙として誤検出してしまうという問題がある。

また、検出対象である煙自体は、色味が少なく背景色によっては、撮像された画像における輝度変化（輝度差）が少ない場合があり、単純に差分画像を求めるだけでは、その輝度差の閾値設定が難しく、高感度な煙検出を行うことができない場合がある。

本発明は、上述のような課題を解決するためになされたものであり、緩慢拡散煙を検出対象とした際に、外乱の影響を抑えた上で、高感度に緩慢拡散煙の検出を行うことのできる煙検出装置を得ることを目的とする。

本発明に係る煙検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラにより時系列で撮像された複数の画像および基準画像を記憶する画像メモリと、撮像された画像をあらかじめ分割した複数のエリアの中から、煙が発生する候補領域として過去一定期間分の輝度ヒストグラムの算出結果から特定された煙検出エリアにおいて、監視カメラにより撮像された最新の画像の輝度値と、基準画像の輝度値との差分が、基準画像内の煙検出エリア内に含まれる画素の輝度値の平均値の高低に応じた所定の差分しきい値以上である画素を計数し、計数した画素が所定許容値を超えた場合に煙が発生した可能性が高いと判断して第１の判断結果を生成するとともに、煙が発生する候補領域として過去一定期間分の輝度ヒストグラムの算出結果から特定された煙検出エリアにおいて、監視カメラにより撮像された最新の画像と基準画像との間で、エッジ強度の平均値の差分を第１変化量、標準偏差の差分を第２変化量として所定サイクルごとに算出し、煙発生を判断するための期間をＮサイクル（Ｎは１以上の整数）としたときに、第１変化量が第１所定範囲内である状態がＮサイクル間継続する場合、または第２変化量が第２所定範囲内である状態がＮサイクル間継続する場合に煙が発生した可能性が高いと判断して第２の判断結果を生成し、第１の判断結果および第２の判断結果の少なくともいずれか１つにおいて煙が発生した可能性が高いと判断することで、煙検出エリアにおいて煙が発生した可能性が高いと判断する煙発生検出部とを備えるものである。

本発明に係る煙検出装置によれば、基準画像との差分の画素数、あるいはエッジ強度といった緩慢拡散煙に適した煙特徴量の算出結果を用いることにより、緩慢拡散煙を検出対象とした際に、外乱の影響を抑えた上で、高感度に緩慢拡散煙の検出を行うことのできる煙検出装置を得ることができる。

本発明の実施の形態１における煙検出装置の構成図である。 本発明の実施の形態１における輝度ヒストグラム作成手段で作成された輝度ヒストグラムの一例を示す図である。 本発明の実施の形態１における１画面内の領域分割と１領域内のマッピング結果との関係を示した説明図である。 本発明の実施の形態１における煙検出エリア選択部により特定された候補領域を示す図である。 本発明の実施の形態１における煙特徴量算出手段で実施される相関値に基づく煙検出方法の説明図である。 本発明の実施の形態１における煙特徴量算出手段３１で実施されるエッジ強度の平均濃淡度と標準偏差の値に基づく煙判定に関する説明図である。 本発明の実施の形態１におけるマッピング手段により出力されるマッピング結果を示す図である。 本発明の実施の形態１における煙検出装置の全体処理の流れを示すフローチャートである。

以下、本発明の煙検出装置の好適な実施の形態につき図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１における煙検出装置の構成図である。本実施の形態１における煙検出装置は、画像メモリ１０、煙検出エリア選択部２０、および煙発生検出部３０を備えている。画像メモリ１０は、カメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。

煙検出エリア選択部２０は、輝度ヒストグラム作成手段２１、輝度変化判定手段２２、および検出候補領域特定手段２３で構成される。そして、煙検出エリア選択部２０は、画像メモリ１０に記憶された、カメラ１により撮像された過去一定期間分の画像に基づいて、煙検出を行うべきエリアを煙検出候補領域として特定する機能を有している。

また、煙発生検出部３０は、煙特徴量算出手段３１、マッピング手段３２、および煙判定手段３３で構成される。そして、煙発生検出部３０は、煙検出エリア選択部２０で特定された煙検出候補領域について、煙の発生を検出するための特徴量を算出し、算出結果に基づいて煙が発生しているか否かを判断する機能を有している。緩慢拡散、特に薄い緩慢拡散煙の特徴量としては、例えば、基準画像と緩慢拡散煙発生後の画像との輝度分布の相関値が低下はするがある所定範囲内に収まる、あるいは、緩慢拡散煙発生後の画像ではエッジ強度が低下するなどの特徴があるので、これらに基づいて煙の特徴量を算出する。

このような構成を備えることにより、本実施の形態１の煙検出装置は、特定された煙検出候補領域に対して、煙の有無を検出するための画像処理を施すことで、効率のよい高感度な煙検出を実現することができる。特に、緩慢拡散煙の検出に適した画像処理機能を有している。

本実施の形態１では、撮像された画像のすべてに対して煙検出を行うのではなく、撮像された画像のうち、画像を複数のブロックに分割した分割領域である煙検出候補領域に対してのみ煙検出を行う点を特徴としている。そこで、まず始めに、この特徴を実現する煙検出エリア選択部２０の機能について、説明する。

ステップ１：輝度ヒストグラム作成手段２１の機能
輝度ヒストグラム作成手段２１は、撮像された画像内に侵入物あるいは煙などの変化の発生があるか否かの判断を、所定の画素ごとに、過去一定期間内の輝度のヒストグラムを算出することにより行う。

ここで、侵入物とは、一時的に画像内を通過する通行人等に相当する。また、輝度のヒストグラムとは、対象となる画素が、過去一定期間の時系列データ内でどのような輝度値の分布を有していたかを示す頻度分布に相当する。

図２は、本発明の実施の形態１における輝度ヒストグラム作成手段２１で作成された輝度ヒストグラムの一例を示す図である。侵入物が発生せず、かつ煙の発生もない状態を仮定すると、ある画素において、過去一定期間内の複数の画像における輝度値の発生頻度を集計すると、一定期間何も変化が起こらないことから、図２（ａ）に示すように、狭い範囲の輝度に集中して分布し、その狭い範囲の発生頻度が高い値を示す結果となる。

ここで、発生頻度とは、図２の縦軸の「存在回数」のことであり、言い換えれば、一定期間に撮像された画像の数を最大値として、それら画像において、位置座標が同じである特定の画素が同じ輝度値をとった回数である。このヒストグラムは、各画素が過去にどのような輝度値であったかを示す分布であり、何も侵入物がない状態ならば、存在した輝度は狭い範囲で分布し、その存在回数は高い値を維持し続ける。

一方、侵入物が発生するか、あるいは煙が発生した状態を仮定すると、ある画素において、過去一定期間内の複数の画像における輝度値の発生頻度を集計すると、一定期間の間、侵入物等によって画像に変化が生じることから、図２（ｂ）に示すように、図２（ａ）における狭い範囲の輝度以外のところに、これまでの分布とは異なる輝度値が出現し始めるが、新たに出現した輝度は、当然、存在回数は少ない。すなわち、侵入物の発生後あるいは煙の発生後の画像からは、高くて狭い輝度分布のほかに、異なる分布として検出された輝度が得られることとなる。または、存在回数が高くないヒストグラムしか得られない。

そして、この新たに出現した異なる分布を示す輝度の発生頻度は、過去一定期間内の複数の画像のうち、侵入物あるいは煙の発生後の画像の枚数が少ない場合には、図２（ａ）における発生前の狭い範囲の輝度の発生頻度よりも少ない結果となる。
また、侵入物などの変化発生前の輝度分布と発生後の輝度分布の輝度差がわずかである場合では、輝度変化の検出によって変化領域を抽出することは難しいが、にも、過去一定期間内の複数の画像に基づく画素ごとの輝度ヒストグラムを求めることにより、輝度の変化が小さいものでも、その変化が判別しやすく、侵入物の発生、あるいは煙の発生を高精度に識別することが可能となる。

さらに、輝度ヒストグラム作成手段２１は、輝度ヒストグラムを作成する際に、得られた輝度をある幅を持たせてカウントする（例えば、輝度１００なら、前後の輝度である９９，１０１を含めた３つの輝度（輝度値９９，１００，１０１）としてカウントする）ことにより、ヒストグラムの算出にかかわる演算が少なくて済み、また、ノイズの影響を緩和した結果を得ることができる。また、輝度ヒストグラムを得た後に、平滑処理を施すことによっても、ノイズの影響を緩和した結果を得ることができる。

なお、輝度ヒストグラムの作成にあたっては、一画素ごとにヒストグラムを作成してもよいが、ヒストグラムを隣り合う画素同士で共有するようにしてもよい。例えば、縦横２つ合計４つの画素を一まとめにしたり、または、縦横３つの合計９つの画素を一まとめにして、輝度ヒストグラムを作成するようにしてもよく、画素をまとめるほど、演算に関わる処理時間を短くできる。好ましくは、４つの画素を一まとめにすることで、この場合だと、処理時間も短く、かつ侵入物検出の精度も低下しない。

ステップ２：輝度変化判定手段２２の機能
輝度変化判定手段２２は、輝度ヒストグラム作成手段２１により所定の画素ごとに個別に算出（生成）された輝度ヒストグラムに基づいて、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を検出する。例えば、輝度変化判定手段２２は、図２（ｂ）に示すように、（発生前の）輝度分布に対して、頻度の少ない輝度値の画素が所定数発生した場合には、その画素の部分において、侵入物あるいは煙が発生した可能性が高いと判断できる。

輝度変化判定手段２２は、所定の画素ごとに、上述の判断を個別に行い、その結果を画面に対応したマップとして出力する。例えば、１画面の画素がｐ×ｑ（ただし、ｐ、ｑは、２以上の整数）とした場合に、輝度変化判定手段２２は、侵入物あるいは煙の発生した可能性が高い画素を「１」に、それ以外の画素を「０」に設定し、ｐ×ｑの各画素をマッピング又は二値化して、マッピング画像（二値化画像）を得ることができる。なお、得られたヒストグラムと比較して、現在の画像の該当する画素の輝度値が所定の存在回数に満たない輝度値である場合に、その画素は侵入物があると判断するようにしてもよい。

ステップ３：検出候補領域特定手段２３の機能
輝度変化判定手段２２によりマッピングされた１画面分のデータは、あらかじめ決められた複数のエリアに分割されている。そして、検出候補領域特定手段２３は、「１」と「０」でマッピングされた、あらかじめ分割されたエリアごとに、「１」である画素の比率が所定値以上あるかないかを判断する。

図３は、本発明の実施の形態１における１画面内の領域分割と１領域内のマッピング結果との関係を示した説明図である。図３（ａ）は、１画面内にあらかじめ設定されている複数の分割領域を示している。図３（ａ）に示すように、画面は、縦横マトリクス状に複数個の矩形領域で分割されている。そして、扉の前には、侵入物としての人間が存在しており、右側の窓ガラスの下には煙が存在している。また、図３（ｂ）は、それぞれの領域が、画素単位に分割されており、輝度変化判定手段２２によりマッピングされた状態を示している。このように一つの領域は、複数の画素で構成されたものである。

図３（ｂ）中で、画素が黒く塗りつぶされている部分は、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素を意味している。従って、検出候補領域特定手段２３は、図３（ｂ）に示したようなマッピング結果に基づいて、それぞれの分割領域ごとに、「１」である画素（すなわち、黒く塗りつぶされた画素）の比率が所定値以上あるかないかを判断することとなる。

なお、緩慢拡散煙の検出を高精度に行うために、検出候補領域特定手段２３は、図３（ｂ）に示されたマッピング結果に対して、以下のような前処理１〜３を、さらに行うことができる。
［前処理１］孤立画素の除去
緩慢拡散煙は、ある領域に渡って広く発生するため、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素が孤立して存在することは考えにくい。そこで、「１」にマッピングされた画素が、孤立画素（すなわち、「１」にマッピングされた画素に対して、上下、左右、斜めで隣接する計８画素がすべて「０」にマッピングされている状態の画素）である場合には、マッピング結果を「１」から「０」に変更する。

［前処理２］輝度値の基準画像に対する差分量チェック
緩慢拡散煙が発生した領域では、基準画像で得られていた輝度値が所定量以上低下することが考えられる。そこで、「１」にマッピングされた画素について、最新の画像と基準画像との輝度値の差分を求め、その差分量の絶対値が所定値以上であるものは「１」のままとし、その差分量の絶対値が所定値未満であるものは「１」から「０」に変更する。ただし、基準画像自体の輝度が、緩慢拡散煙の輝度と同程度と考えられる領域は、この差分量チェックには適さないため、差分量チェックを実行しないようにマスク処理することが考えられる。

［前処理３］エッジ強度チェック
緩慢拡散煙が発生した領域では、煙の影響で画像がぼやけることから、エッジ強度が低下することが考えられる。そこで、「１」にマッピングされた画素を含む近傍領域におけるエッジ強度を算出し、エッジ強度が所定値以下であれば、「１」のままとし、エッジ強度が所定値を超える場合には、煙の影響ではないと判断し、「１」から「０」に変更する。

このような前処理は、任意の組み合わせを用いることができる。例えば、前処理１〜３のいずれか１つでも「１」から「０」に変更する結果が出た場合には、この変更を実施することができる。あるいは、特定の組合せにより、その組合せで共通して「１」から「０」に変更する結果が出た場合に、この変更を実施することもできる。さらに、取り込む画像の領域ごとに、前処理の組合せをあらかじめ設定しておくことも可能である。

次に、検出候補領域特定手段２３は、一つの領域の大きさに対して「１」である画素の比率が所定値以上である領域を、煙検出を詳細に行うべき候補領域として特定する。一方、検出候補領域特定手段２３は、「１」である画素の比率が所定値未満である領域を、後段の煙検出を行わない領域として特定する。または、「０」である画素の比率が所定値以上である領域を、後段の煙検出を行わない領域として特定する。

図４は、本発明の実施の形態１における煙検出エリア選択部２０により特定された候補領域を示す図である。ここで黒く塗りつぶされた部分が、煙検出エリア選択部２０によって選択された領域であり、前述の「１」の画素を含んだ比率が大きい領域である。この図４は、図３（ａ）の状態と対応しており、侵入物が存在して扉の前と、窓ガラスの下に、候補領域としての黒く塗りつぶされた領域が複数存在している。

画像には複数の領域が存在するが、このような、検出候補領域特定手段２３によって特定された候補領域だけに関して、その領域で煙が発生しているかどうかを画像処理で算出すればよいので、全体の演算量を減らすことが可能となる。このような一連の処理により、煙検出エリア選択部２０は、あらかじめ分割された複数のエリアの中から、後段の煙発生検出部３０で詳細な煙検出を行うべき候補領域を、過去一定期間分の輝度ヒストグラムの算出結果から、高精度に特定することができる。

この結果、外乱の影響を抑えた上で、画像の中から侵入物や煙のある領域だけを抽出して効率よく高感度に煙検出を行うことができる。つまり、ある領域において、煙などが発生すれば、その領域における画素のほとんどは、ヒストグラムにおいて異なる分布が生じて「１」になり、領域における「１」となった画素の比率が高く候補領域として抽出される。しかし、照明などの一時的な変化では、輝度ヒストグラムにおいて、異なる分布は生じにくいことから、「１」となる画素は少なく、外乱による影響では、候補領域とはなりにくい。さらに、上述したような前処理を施すことで、緩慢拡散煙の抽出に適した候補領域の選定が可能となる。

次に、煙発生検出部３０の機能について説明する。この煙発生検出部３０は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域に対して、煙に関する特徴量を抽出することで、煙発生の有無を判断することができる。

ステップ１：煙特徴量算出手段３１の機能について
特徴量の抽出方法の代表的なものとしては、次の７つを挙げることができる。煙検出を詳細に行うべき候補領域に対して、以下の方法を適用して特徴量を求めることで、煙特徴量算出手段３１は、その領域内において煙が発生した可能性が高いか否かを判断できる。なお、以下の煙特徴量の算出は、特に、流れを伴う比較的遅い煙を検出するのに適した手法である。その中でも、抽出方法５〜７は、緩慢拡散煙であって、光を透過するような薄い煙に適した手法であり、図面を用いて詳細に説明することとする。

[抽出方法１：画素の輝度分散に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、各領域内の画素の輝度分散を算出する。輝度分散を算出するにあたって、煙特徴量算出手段３１は、必ずしも領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、輝度分散を算出してもよい。

また、煙特徴量算出手段３１は、輝度分散を算出する画像としては、基本的には、最新の撮像画像を用いる。しかしながら、過去にさかのぼって、複数毎の撮像画像を用いることもできる。

そして、煙特徴量算出手段３１は、算出した輝度分散、あるいは、輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法２：画素の平均輝度の時間分散に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、各領域内の画素の平均輝度を算出する。平均輝度を算出するにあたって、煙特徴量算出手段３１は、必ずしも領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、平均輝度を算出してもよい。

次に、煙特徴量算出手段３１は、過去にさかのぼって一定の期間にわたる複数枚の撮像画像の同一領域における平均輝度を算出し、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３１は、生成した平均輝度の時系列データの輝度分散を算出する。

そして、煙特徴量算出手段３１は、平均輝度の時系列データに基づいて算出した輝度分散、あるいは、その輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法３：画素の平均輝度の低周波強度に基づく煙検出]
煙特徴量算出手段３１は、上述した抽出方法２と同様にして、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３１は、生成した平均輝度の時系列データをフーリエ変換し、パワースペクトルを算出する。

次に、煙特徴量算出手段３１は、平均輝度の時系列データに基づいて算出したパワースペクトルの中から所定の低周波数成分を抜き取り、そのモードとなる強度を算出し、その強度が所定の値以下である場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法４：基準画像との差分平均に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、その候補領域内の各画素と、あらかじめ画像メモリ１０に記憶しておいた基準画像の対応する画素との輝度差分値を求める。さらに、煙特徴量算出手段３１は、候補領域ごとにおける輝度差分値の平均値を求め、その平均値が所定の値より大きい場合、あるいは所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法５：基準画像との相関値に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、その候補領域内の各画素と、あらかじめ画像メモリ１０に記憶しておいた基準画像の対応する画素との輝度値同士の相関値を求める。さらに、煙特徴量算出手段３１は、候補領域ごとにおける相関値を、煙に関する特徴量として求め、その相関値の値が所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

図５は、本発明の実施の形態１における煙特徴量算出手段３１で実施される相関値に基づく煙検出方法の説明図である。図５（ａ）は基準画像、図５（ｂ）は煙が発生していない際に撮像された最新の画像、図５（ｃ）は人間が侵入した際に撮像された最新の画像、そして図５（ｄ）は煙が発生した際に撮像された最新の画像をそれぞれ示している。それぞれの図において、図の窓ガラスの左下側の四角で囲まれた部分が、１つの候補領域に相当する。

撮像した最新の画像として図５（ｂ）の画像（煙が発生していない状態の画像）が得られた場合には、図５（ａ）の基準画像との候補領域での相関値を計算すると、両画像は似通っているため、高い値を示すこととなる。また、例えば、照明の変化があったと仮定すると、その際の図５（ｂ）の画像は、全体的な輝度が上下するものの、領域内にある模様自体は変化しないので、相関値には大きな影響を与えず、高い値が得られることとなる。

一方、撮像した最新の画像として図５（ｃ）の画像（候補領域内に人間が存在する画像）が得られた場合には、相関値が大きく乱され、低い値になる。

これに対して、撮像した最新の画像として図５（ｄ）の画像（煙が発生した状態の画像）が得られた場合には、図５（ａ）の基準画像との候補領域での相関値を計算すると、煙の影響により両画像の相関値は、煙が発生していないときの相関値よりも低い値を示すが、人間が存在するときの相関値よりも高い値を示す。これは、煙の場合は人間と比較すると透過性があり、背景の画像の情報が残っているためである。従って、算出した相関値が、あらかじめ決められた範囲内の相関値に収まっている場合には、その候補領域で煙が発生した可能性が高いと判断することができる。

なお、相関値を算出するにあたって、煙特徴量算出手段３１は、必ずしも候補領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、相関値を算出してもよい。

[抽出方法６：エッジ強度の値に基づく煙検出]
候補領域内で煙が発生した場合には、その煙の影響で、画像内のエッジ強度の平均濃淡度と標準偏差が徐々に減少することが考えられる。一方、候補領域内に移動物が侵入した場合には、画像内のエッジ強度の平均濃淡度と標準偏差が急激に変化することが考えられる。そこで、このエッジ強度の平均濃淡度と標準偏差の値に基づいて、候補領域で煙が発生した可能性が高いか否かを判断することができる。なお、この抽出方法６で用いるエッジ強度とは、例えば、周知技術であるｓｏｂｅｌフィルタを用いて画素ごとに算出することができる値のことである。

図６は、本発明の実施の形態１における煙特徴量算出手段３１で実施されるエッジ強度の平均濃淡度と標準偏差の値に基づく煙判定に関する説明図である。図６（ａ）は、煙が発生していない正常な状態として、あらかじめ画像メモリ１０に記憶しておいた基準画像である。これに対して、図６（ｂ）は、侵入物として煙が発生した際に撮像された最新の画像である。それぞれの図において、四角で囲まれた部分が、１つの候補領域に相当する。

煙特徴量算出手段３１は、図６（ａ）あるいは図６（ｂ）に示したように、基準画像のエッジ強度と最新の画像のエッジ強度とを算出する。なお、候補領域内でのエッジ強度の評価指標として、煙特徴量算出手段３１は、候補領域内で求められたエッジ強度の平均値（平均濃淡度）およびその標準偏差を用いることができる。

ここで、画像を逐次取り込むタイミングである１フレームを約３３ｍｓとし、１サイクルを１２８フレーム分の画像を取り込む間隔とし、例えば１サイクル（約４．２ｓ）ごとに最新の画像を更新していく場合を考える。この場合、煙特徴量算出手段３１は、１サイクルごとに、最新画像におけるエッジ強度の平均濃淡度と標準偏差を算出する。図６（ａ）（ｂ）のそれぞれ右側には、候補領域におけるエッジ強度が模式的に示されている。このように、緩慢拡散煙が発生した場合には、エッジ強度の平均濃淡度と標準偏差が徐々に減少することとなる。

そこで、煙特徴量算出手段３１は、１サイクルごとに算出される最新画像の平均濃淡度および標準偏差と、あらかじめ算出された基準画像の平均濃淡度および標準偏差とのそれぞれの変化量（差分）を算出する。なおエッジの変化量については、現画像と基準画像との差としたが、エッジの変化率を使用してもよい。

そして、煙特徴量算出手段３１は、１サイクルごとに、それぞれの変化量がともに所定の煙判定範囲内に入っているかどうかを判断する。煙特徴量算出手段３１は、煙発生を判断するための期間をＮサイクル（Ｎは１以上の整数）としたときに、算出した変化量が所定範囲内である状態がＮサイクル間継続する場合に煙が発生した可能性が高いと判断する。

なお、煙特徴量算出手段３１は、１サイクルごとに、それぞれの変化量がともに所定の煙判定範囲内に入っている場合に、判定値をカウントアップし、所定の煙判定範囲外である場合には、判定値をカウントダウンして判定値を演算することで、煙の判定を行うようにしてもよい。具体的には、判定値の初期値をゼロとし、カウントアップする場合には＋１とし、カウントダウンする場合にはゼロを下限値として−１することが考えられる。

このように１サイクル毎にカウントをすることで、継続してエッジの変化量があるかどうかを判断することができる。煙の場合には、後述するように、人間の場合と違って、継続してエッジの変化があることから、煙と人間とを識別して検出することが可能となる。

最終的に、煙特徴量算出手段３１は、１サイクルごとに更新される判定値が、煙判定用のしきい値（例えば１０カウント）に到達した場合には、緩慢拡散煙が発生している可能性が高いと判断する。なお、上述の説明では、平均濃淡度と標準偏差の両方の変化状態を見て判定値のカウントをアップダウンさせていたが、それぞれの変化状態に応じて別個のカウンターを用いることもできる。この場合には、いずれか一方のカウント値が煙判定用のしきい値に到達した場合に緩慢拡散煙が発生している可能性が高いと判断することができ、さらに、煙判定用のしきい値自体も別個に持つことができる。

ここで、エッジを利用して特徴量を求めることについて言及する。緩慢煙、特に濃い緩慢拡散煙では、移動物体内部のエッジが微弱であるため、エッジ強度が弱くなるが、人物は移動物体内部のエッジが比較的強い場合が多い。また、やや薄い煙では、半透明のため背景のエッジを弱めるという特徴を持つが、人物部分は背景よりもエッジが強くなることが多い。さらに時間的にみると、緩慢煙の場合は、天井付近に停滞するという特性から連続的なエッジの強度の減少が起こるが、人物の場合は変動するため連続的なエッジの強度の減少が起こりにくい。以上のことからサイクル毎に、そのエッジ強度の平均値等を演算し、基準画像のそれとを比較することで、人間と煙との識別が可能となる。

[抽出方法７：差分画素数に基づく煙検出]
候補領域内で煙が発生した場合には、その煙の影響で、画像内の輝度値が基準画像と比較して徐々に変化することが考えられる。そこで、煙特徴量算出手段３１は、候補領域内の各画素について、基準画像と最新画像との輝度値の差分を算出し、算出した差分値が所定の差分しきい値以上である画素を計数する。

なお、所定の差分しきい値としては、全候補領域について一律である必要はなく、各候補領域における基準画像のコントラストの平均に応じて、可変設定することも考えられる。具体的には、候補領域内のコントラストが低い場合には、煙発生によるコントラストの変化は少ないと考えられるため、所定の差分しきい値をコントラストの平均に応じて低い値として設定する。一方、候補領域内のコントラストが高い場合には、煙発生によるコントラストの変化は大きいと考えられるため、所定の差分しきい値をコントラストの平均に応じて高い値として設定する。この結果、候補領域の画像の特性に応じた適切なしきい値設定が可能となり、１画面内の煙検出精度を安定化させることができる。

最終的に、煙特徴量算出手段３１は、候補領域内で計数された所定の差分しきい値以上である画素数が、許容値を超えている場合には、緩慢拡散煙が発生している可能性が高いと判断する。なお、この判断に当たっては、このような状態が所定の複数フレーム間に渡って継続した場合に緩慢拡散煙が発生している可能性が高いと判断してもよい。何故なら、監視画像内に移動する人間が現れた場合には、差分しきい値以上の画素が一時は生じるが、継続して、その画素数が許容値を超える場合はほとんどないからである。

なお、この差分画素数の検出を設けることで、照明の変化を誤検出することを防止できる。照明の変化の場合には、一時的な（一瞬だけの）変化であり、変化が継続するということはない。つまり、一旦は、差分しきい値以上の画素数がカウントされるが、数サイクルにわたって、画素数をカウントすると、所定しきい値以上の画素数はほとんどなくなる。これに対して、煙の場合には、継続して画素数をカウントすると所定時間にわたって、所定しきい値以上の画素数がカウントされることから、これをもって、煙と照明とを識別して検出することができる。

また、上述の説明では、１２８フレーム分に相当する１サイクルごとに演算、判定処理を行っているが、例えば、１サイクル内を分割し、３２フレームごとに演算、判定処理を実行することも可能である。

ステップ２：マッピング手段３２の機能について
マッピング手段３２は、煙特徴量算出手段３１による７種類の抽出方法１〜７による抽出結果に基づいて、煙判定を詳細に行うべき候補領域ごとのマッピングを行う。例えば、マッピング手段３２は、７種類の抽出方法１〜７のいずれか１つ以上の方法で煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。

また、別のマッピング方法として、マッピング手段３２は、２種類以上の複数の抽出方法により煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。あるいは、７種類の抽出方法１〜７の特定の組合せにより、その組合せで共通して煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。特に、緩慢拡散煙を検出するに当たっては、その検出に適した抽出方法５〜７の結果を重視してマッピングすることが考えられる。

図７は、本発明の実施の形態１におけるマッピング手段３２により出力されるマッピング結果を示す図である。先の図４で示した候補領域に対して煙に関する特徴量を算出することで、この図７に示したように、候補領域の中から煙が発生した可能性が高い領域を選別することができる。この図７では、扉部分の候補領域（図４参照）は、画像内を通過する通行人等の侵入物の存在によって抽出された領域であって、煙が発生した可能性が低いと判断され、窓の下の３つの候補領域（図４参照）のうちの３つの領域が、煙が発生した可能性が高いと判断された場合を示している。

ステップ３：煙判定手段３３の機能
マッピング手段３２によりマッピングされた１画面分の各領域のデータに基づいて、煙判定手段３３は、「１」としてマッピングされた（候補）領域が、ある所定の領域数にまたがって、所定期間継続して検出されるか否かを判断する。例えば、煙判定手段３３は、縦方向あるいは横方向にｎ（ｎは２以上の整数）以上の領域がマッピング手段３２により「１」としてマッピングされ、かつ過去から現在にかけて順次撮像された時系列の画面にｍ（ｍは２以上の整数）回以上連続して、その連結領域が検出された場合に、煙が発生していると最終的に判断することができる。

次に、図１の構成を備えた本発明の煙検出装置の全体処理の流れを、フローチャートに基づいて説明する。図８は、本発明の実施の形態１における煙検出装置の全体処理の流れを示すフローチャートである。

まず、ステップＳ８０１において、輝度ヒストグラム作成手段２１は、画像メモリ１０内に記憶された複数の時系列の画像データに基づいて、所定の画素ごとに輝度ヒストグラムを生成する（図２（ａ）（ｂ）参照）。次に、ステップＳ８０２において、輝度変化判定手段２２は、生成された輝度ヒストグラムに基づいて、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を検出し、侵入物あるいは煙の発生した可能性が高い画素をマッピング出力する（図３（ｂ）参照）。

次に、ステップＳ８０３において、検出候補領域特定手段２３は、あらかじめ分割されたエリアごとに、侵入物あるいは煙の発生した可能性が高いとしてマッピングされた画素の比率が、所定値以上あるかないかを判断し、煙検出を行うべき候補領域を特定する（図４参照）。なお、このステップＳ８０３において、上述したような前処理１〜３を行うことも可能である。

以上のステップＳ８０１〜Ｓ８０３は、煙検出エリア選択部２０による一連の処理である。このように、煙検出エリア選択部２０により特定された煙検出を行うべき候補領域に対してのみ、ステップＳ８０４以降で、煙発生検出部３０による煙検出処理が行われることとなる。このため、画像全体を処理する場合に比べ、演算量を減らすことができる。

ステップＳ８０４において、煙特徴量算出手段３１は、煙検出を行うべき候補領域として特定されたエリアのみ、上述した抽出方法１〜７を用いて、煙に関する特徴量を算出する。次に、ステップＳ８０５において、抽出方法１〜６の結果に基づいて、マッピング手段３２は、煙が発生した可能性が高い領域をマッピング出力する（図７参照）。

次に、ステップＳ８０６において、煙判定手段３３は、マッピング手段３２による分割領域のマッピング結果の時間的分布、空間的分布に基づいて、最終的に煙が発生したエリアを特定する。

このような一連の処理を行うことにより、煙発生検出部３０は、過去一定期間分の輝度ヒストグラムの算出結果から煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域に対してのみ、煙に関する特徴量を抽出することで、効率よく煙発生の有無を判断することができる。この結果、外乱の影響を抑えた上で、高感度に煙検出を行うことができる。また、特に煙特徴量抽出手段３１として、７つの抽出方法を組み合わせることで、人間などの誤報源となりうるものを排除して、画像から煙だけを検出することが可能となる。

以上のように、実施の形態１によれば、時系列で取り込まれた複数の画像から、所定の画素ごとに、過去一定期間内の輝度のヒストグラムを算出する構成を備えている。この結果、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を、容易に検出することができ、外乱の影響を抑えた上で、高感度に煙検出を行うことのできる煙検出装置を得ることができる。

特に、発生前の輝度分布と発生後の輝度分布の輝度差がわずかである場合にも、過去一定期間内の複数の画像に基づく画素ごとに輝度のヒストグラムを求めているため、新たに生じた輝度値の存在を高精度に識別できる。

さらに、新たに生じた輝度値の存在が検出された候補領域にしぼって、煙検出を行うことにより、計算負荷を軽減した上で、誤検出を防止した高精度の煙検出を行うことができる。

さらに、煙検出を行うための特徴量として、複数の特徴量を求め、複数の特徴量に基づく個別の判断結果の特定の組合せにより、その候補領域において煙が発生した可能性が高いか否かを判断することができ、さらなる検出精度の向上を図ることができる。また、煙に関する特徴量の算出に当たって、上述した抽出方法１〜３は、抽出方法４〜７と異なり、基準画像をあらかじめ記憶しておく必要がない。従って、抽出方法４〜７を用いずに特徴量を求める場合には、基準画像が不要となるメリットも得られる。

さらに、煙が特定の領域に広がる特性を利用して、煙が発生した可能性が高いとしてマッピングされた領域が、ある所定の領域数にまたがって、所定期間継続して検出された場合に煙が発生したと判定する煙判定手段を備えている。この結果、誤検出を抑制し、安定した高精度の煙検出を実現できる。特に、抽出方法５〜７を用いることで、緩慢拡散煙を高精度に検出することができる。

本発明は、以上のように構成されるので、過去の複数枚の画像から輝度のヒストグラムを算出し、確率の小さい輝度を侵入物として検出するので、輝度差の少ない煙でも高感度に領域抽出をすることができ、また、照明変化などの影響も吸収することができる。また、画素毎にヒストグラムを計算することは、記憶量、計算量ともに膨大であるため、隣接する画素間でヒストグラムを共有させることによって、計算量を減少させた。

なお、本発明では、輝度ヒストグラム作成手段や輝度変化判定手段により、画像内から煙候補領域を抽出するようにしたが、例えば、画像をマトリクス状に複数の小さな検出領域に分割した後、各検出領域のコントラストを演算し、コントラストの値が低下した領域を煙候補領域と判定するようにしてもよい。この場合には、この領域のコントラストの低下を検出する手段が、煙検出エリア選択部の構成手段となる。

本発明では、一枚の画像を縦７＊横１０の領域に分割して、各領域での煙の特徴量を演算するようにしたが、より領域を細かく分割して、各領域を重なりあわせるようにしてもよい。例えば、一つの領域の大きさ自体は、図３の領域と同じにして、画面における領域の設定の仕方を以下のように変える。つまり、隣り合う領域同士が縦方向も横方向も、それぞれ領域が１／２ずつ重なりをもつように領域を設定する。つまり、図３における一つの領域が、実質的には、９つの領域によって、カバーされることになり、一つの画像をより細かく領域設定することができ、煙検出の精度をより高めることが可能となる。

このような領域分割をすることによって、領域のつなぎ目の検出が不安定にならないようにすることができる。なお、この場合には、最終の煙の有無の判定は、図３の領域の１／４の大きさのマス目が、どれだけマッピングされたかにより煙判定を行うようにすればよい。

１ カメラ、１０ 画像メモリ、２０ 煙検出エリア選択部、２１ 輝度ヒストグラム作成手段、２２ 輝度変化判定手段、２３ 検出候補領域特定手段、３０ 煙発生検出部、３１ 煙特徴量算出手段、３２ マッピング手段、３３ 煙判定手段。

Claims (1)

1. 監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
   前記監視カメラにより時系列で撮像された複数の画像および基準画像を記憶する画像メモリと、
   前記撮像された画像をあらかじめ分割した複数のエリアの中から、煙が発生する候補領域として過去一定期間分の輝度ヒストグラムの算出結果から特定された煙検出エリアにおいて、前記監視カメラにより撮像された最新の画像の輝度値と、前記基準画像の輝度値との差分が、前記基準画像内の煙検出エリア内に含まれる画素の輝度値の平均値の高低に応じた所定の差分しきい値以上である画素を計数し、計数した前記画素が所定許容値を超えた場合に煙が発生した可能性が高いと判断して第１の判断結果を生成するとともに、煙が発生する候補領域として過去一定期間分の輝度ヒストグラムの算出結果から特定された煙検出エリアにおいて、前記監視カメラにより撮像された最新の画像と前記基準画像との間で、エッジ強度の平均値の差分を第１変化量、標準偏差の差分を第２変化量として所定サイクルごとに算出し、煙発生を判断するための期間をＮサイクル（Ｎは１以上の整数）としたときに、前記第１変化量が第１所定範囲内である状態が前記Ｎサイクル間継続する場合、または前記第２変化量が第２所定範囲内である状態が前記Ｎサイクル間継続する場合に煙が発生した可能性が高いと判断して第２の判断結果を生成し、前記第１の判断結果および前記第２の判断結果の少なくともいずれか１つにおいて煙が発生した可能性が高いと判断することで、前記煙検出エリアにおいて煙が発生した可能性が高いと判断する煙発生検出部と
   を備えることを特徴とする煙検出装置。

Images