JP5218906B2 - 煙検出装置及び煙検出方法 - Google Patents

Description

本発明は、煙検出装置及び煙検出方法に関し、より詳細には、画像処理技術を用いた煙検出装置及び煙検出方法に関する。

従来、画像処理により煙を検出する技術が種々提案されている。例えば、従来、山林、工場、プラント等の大規模な火災を検知するための煙検出装置が提案されている（例えば、非特許文献１及び２参照）。非特許文献１及び２で提案されている煙検出装置は、遠方より撮影された画像から火災により発生した煙の固まりを検出する装置である。なお、非特許文献２で提案されている技術では、専用の撮像装置と演算装置を必要とする。

また、従来、室内の火災のような小規模な火災を検知するための煙検出装置も提案されている（例えば、特許文献１参照）。特許文献１では、室内の監視カメラで撮影した画像内に所定の検出領域を設定し、フレーム差分によりその検出領域内で動き画素を抽出し、そして、数種類の検出手段（演算手段）を用いて煙の有無を判定している。

さらに、煙検出ではないが、火災炎を画像処理により検出する技術も従来提案されている（例えば、非特許文献３及び４参照）。

特開２００８−４６９１７号公報 寺田、宮原、新居：「オプティカルフローを用いた火災煙の検出」，電学論 Ｄ，p.413-419，２００４ 吉田、尾崎、永田、黒川、松尾、山浦：「テクスチャ解析による煙認識アルゴリズムについて」，信学総，Ｄ−１１−１１，p.112，２００２ 山岸、山口：「輪郭変動情報を用いた火災炎検知」、信学総，Ｄ−１１−９１，p.91，１９９９ 水上、寺田、星川、山口：「カラー画像を用いた火災炎の自動検出」，信学技報，ＰＲＭＵ２００１−１１１，２００１年１０月

上述のように、従来、様々な煙検出装置が提案されているが、非特許文献１及び２で提案されている技術は大規模な火災の煙を対象としており、その技術を、初期火災やタバコの火のような小規模な火災の検知にそのまま適用することはできない。すなわち、非特許文献１及び２で提案されている技術を、近距離から少量の煙を検出する目的に利用することは難しい。さらに、非特許文献１で提案されている技術では、オプティカルフローと呼ばれる処理技術により煙検出を行うので、莫大な計算コストを必要とする。

一方、小規模な火災において煙検出が可能な特許文献１で提案されている技術では、煙検出のために、検出領域内で動き画素を抽出する動き検出画像作成手段、画素の平均輝度の時系列データを周波数スペクトル分析する周波数分析手段など、様々な演算手段が必要である。それゆえ、装置構成が複雑となり、検出時の計算量も多くなるという問題がある。

また、非特許文献３及び４は火災炎の検出技術であり、明確に炎が上がらないと検出できない。それゆえ、初期火災やタバコの火のような小規模の火災には対応できない。

本発明は、上記問題を解決するためになされたものであり、本発明の目的は、例えば、タバコの煙などの少量の煙を精度よく検出できる簡易な構成の煙検出装置及び煙検出方法を提供することである。

上記問題を解決するため、本発明の煙検出装置は、分割画像群生成部と、特徴パラメータ算出部と、識別部とを備える構成とし、各部の機能を次の通りとした。分割画像群生成部は、所定の時間間隔で撮像された複数の画像のそれぞれを複数の分割画像に分割して、所定の時間間隔で配列された複数の分割画像からなる分割画像群を複数生成する。特徴パラメータ算出部は、分割画像群のヒストグラムの分布形状に関する特徴量、及び、分割画像群中の所定画素の画素値の時間変化に関する微分量を算出する。そして、識別部は、特徴量算出部及び微分量算出部でそれぞれ求めた特徴量及び微分量に基づいて、分割画像群が煙の画像群であるか否かを識別する。また、特徴量は、ヒストグラムの分布形状の広がりに関する第１特徴量、ヒストグラムの分布形状の左右対称性に関する第２特徴量、及び、ヒストグラムの分布形状の急峻性に関する第３特徴量を含み、微分量は、所定の分割画像内の所定位置の画素の画素値と該所定の分割画像の一時刻後の分割画像内の所定位置の画素の画素値との差分に関する第１微分量、及び、所定時刻の差分と該所定時刻より一時刻後の差分との差に関する第２微分量を含む。

また、上記問題を解決するため、本発明の煙検出方法では、次のよう手順で煙検出を行うようにした。まず、所定の時間間隔で撮像された複数の画像のそれぞれを複数の分割画像に分割して、所定の時間間隔で配列された複数の分割画像からなる分割画像群を複数生成する。次いで、分割画像群のヒストグラムの分布形状の広がりに関する第１特徴量、該ヒストグラムの分布形状の左右対称性に関する第２特徴量、及び、該ヒストグラムの分布形状の急峻性に関する第３特徴量を含むヒストグラムの分布形状に関する特徴量、及び、所定の分割画像内の所定位置の画素の画素値と該所定の分割画像の一時刻後の分割画像内の所定位置の画素の画素値との差分に関する第１微分量、及び、所定時刻の差分と該所定時刻より一時刻後の差分との差に関する第２微分量を含む分割画像群中の所定画素の画素値の時間変化に関する微分量を算出する。そして、算出した特徴量及び微分量に基づいて、分割画像群が煙の画像群であるか否かを識別する。

本発明では、分割画像群が煙画像群であるか否かを判定するための特徴パラメータとして、分割画像群のヒストグラムの分布形状に関する特徴量及び分割画像群中の所定画素の画素値の時間変化量（微分量）を用いる。これにより、比較的小規模な煙を精度よく検出することができる。また、後述するように、上記特徴量及び微分量は、単純な四則演算で算出することができる。それゆえ、分割画像群が煙画像群であるか否かの識別に用いる特徴パラメータの計算コストは小さく、それらを算出するための構成も簡易になる。すなわち、本発明によれば、少量の煙を精度よく検出することができるとともに、煙検出装置の構成をより簡易にすることができる。

以下に、本発明の一実施形態の例を、添付図面を参照しながら説明する。なお、本発明は以下の実施形態に限定されるものではない。

［装置構成］
図１は、本実施形態の煙検出装置のブロック構成図である。煙検出装置１０は、図１に示すように、分割ブロック生成部１と、煙識別部２と、結果統合出力部３とを備える。なお、本実施形態では、煙検出装置１０が撮像装置１１を含まない構成例を説明するが、本発明はこれに限定されず、煙検出装置１０が撮像装置１１を含んでいてもよい。以下に、煙検出装置１０を構成する各部の機能を簡単に説明する。

分割ブロック生成部１（分割画像群生成部）は、内部にバッファ（メモリ）を有し、撮像装置１１（固定カメラ）により所定の時間間隔で撮像された所定枚数の画像（以下、画像フレームともいう）をメモリに記憶する。また、分割ブロック生成部１は、メモリに記録された各画像フレームを所定数で分割し、所定の時間間隔で時系列に配列された所定枚数の分割画像からなる分割画像ブロック（分割画像群）を生成する。

図２に、分割ブロック生成部１で生成する分割画像ブロックの概略構成を示す。分割ブロック生成部１は、撮像装置１１により所定の時間間隔Δｔで連続撮影されたＴ枚の画像フレーム２０をメモリに記憶し、各画像フレーム２０をそれぞれ所定数の分割画像２１（ｍ×ｎ画素）に分割する。これにより、所定の時間間隔Δｔで時系列に配列されたＴ枚の分割画像２１からなる３次元の分割画像ブロック２２（図２中の太破線で囲まれたブロック）が生成される。

煙識別部２は、入力された分割画像ブロック２２が、煙の画像ブロックであるか、それ以外の画像ブロックであるかを識別する。図３に、煙識別部２の内部構成を示す。煙識別部２は、図３に示すように、特徴パラメータ算出部４と、微分量判定部５と、２値識別部６とで構成される。

特徴パラメータ算出部４は、分割画像ブロック２２のヒストグラムの分布形状に関する種々の特徴量と、分割画像ブロック２２中の分割画像間の画素値（輝度値）の変化に関する種々の微分量を算出する。

微分量判定部５（判定部）は、特徴パラメータ算出部４で算出する後述の１次微分Ｇ（第１微分量）と所定の閾値との大小関係を判定する。これにより、その微分量を有する分割画像ブロック２２が高速に移動する対象物（人や車等）の画像を含むブロックであるか否かを判定する。微分量判定部５において分割画像ブロック２２が高速に移動する対象物の画像を含むブロックであると判断された場合には、算出された種々の特徴量及び微分値を２値識別部６を介さずに結果統合出力部３に出力する（図３中の信号５ｂ）。それ以外に場合には、微分量判定部５は、算出された種々の特徴量及び微分値を２値識別部６に出力する（図３中の信号５ａ）。

２値識別部６（識別部）は、特徴パラメータ算出部４で算出された種々の特徴量及び微分量からなる多次元の特徴ベクトルを生成する。そして、２値識別部６は、その多次元の特徴ベクトに基づいて、分割画像ブロック２２が、煙の画像ブロックであるか、それ以外の画像ブロックであるかを識別する。

本実施形態では、２値識別部６としてＳＶＭ（Support Vector Machine）を用いる。ＳＶＭは２クラスの分類を行う学習装置である。ＳＶＭでは、与えられた２種類の学習データを用いて、それらを分類する分離超平面を求め、分類すべき入力データ（特徴ベクトル）が分離超平面のどちらの側に存在するかを判定して特徴ベクトルの種類を識別する。なお、分離超平面は、２種類の学習データの境界近傍の学習データと、分離超平面との距離（マージン）が最大となるように決められる。また、ＳＶＭで非線形な分類を行う際には、カーネル関数を用いて、入力空間をより高次の特徴空間に写像し、そこで線形分離を行う。なお、２値識別部６としては、複数の特徴パラメータから構成される多次元の特徴ベクトルの種類を識別でき且つ学習機能を有する識別装置であれば任意の装置を用いることができる。

ここで、再度図１に戻って、結果統合出力部３（結果出力部）の機能を説明する。結果統合出力部３は、各分割画像ブロック２２の識別結果を統合し、その統合された結果を出力する。本実施形態では、結果統合出力部３は、統合結果を表示する表示ディスプレイ（不図示）を備えており、統合結果を表示することができる。なお、本発明はこれに限定されず、表示装置が煙検出装置１０の外部にあってもよい。

また、本実施形態では、結果統合出力部３は、統合結果を人間の視覚及び／または聴覚に訴える情報（警報）として出力する警報部（不図示）を備えている。警報部としては、例えば、警報ランプや警報を音により発するスピーカ装置等、あるいは、これらの組み合わせを用いることができる。このような警報部を結果統合出力部３に設けることにより、例えば、喫煙者に禁煙区域にいることを自動的に伝えたり、火災の発生を通知したりすることができる。なお、本発明はこれに限定されず、警報部が煙検出装置１０の外部にあってもよい。例えば、煙検出装置１０を既存の警報システム等に組み込む場合などは、その警報システムに備わっている警報装置を用いればよい。

［煙検出に用いる特徴パラメータ］
次に、本実施形態の煙検出装置１０で煙検出のために用いる特徴パラメータを図４及び５を参照しながら説明する。

一般に、煙は以下の特徴を持っている。
（１）時間的に変動する。
（２）透過性を持っている。
それゆえ、煙が存在する領域での画像の輝度値は、背景の特徴を残しつつ、僅かに時間変化する。図４に、画像対象物別の輝度値の時間変化の様子を示す。なお、図４には、分割画像ブロック２２が煙画像のブロックである場合（丸印の特性）、背景画像のブロックである場合（バツ印の特性）、及び、分割画像ブロック２２中に高速に移動する対象物の画像が存在する場合（四角印の特性）の輝度値の時間変化を示す。図４の横軸は分割画像の時系列番号であり、これは分割画像２１が分割画像ブロック２２中の何枚目の画像であるかを示している。また、図４の縦軸は輝度値である。

分割画像ブロック２２が背景画像のブロックである場合は、輝度値はほとんど時間変化しない。また、分割画像ブロック２２中に高速に移動する対象物の画像が存在する場合には、その移動物体が画像中に移り込んだ時点でその輝度値が大きく変化する。これらに対して、分割画像ブロック２２が煙画像のブロックである場合には、上記２つの場合の中間的な振る舞いをする。それゆえ、分割画像ブロック２２中の輝度値の時間変化（微分量）は、分割画像ブロック２２が煙画像のブロックであるか否かを識別するための指標にすることができる。

また、分割画像ブロック２２が煙画像のブロックである場合、背景画像のブロックである場合、及び、分割画像ブロック２２中に高速に移動する物体の画像が存在する場合で、それぞれヒストグラムの分布形状が異なる。その一例を図５に示す。なお、図５は、上記場合においてそれぞれ別個の分割画像ブロック２２で求めたヒストグラムを一つのグラフにまとめたものである。図５の横軸は輝度値であり、縦軸は画素数（画素頻度数）である。図５から明らかなように、分割画像ブロック２２のヒストグラムの分布形状もまた、分割画像ブロック２２が煙画像のブロックであるか否かを識別するための指標にすることができる。

本実施形態では、上述した煙の分割画像ブロック２２の特徴に着目し、分割画像ブロック２２毎にヒストグラムの分布形状及び輝度値の時間変化を表す特徴パラメータを算出し、その特徴パラメータに基づいて煙の有無を判定する。

まず、各分割画像ブロック２２のヒストグラムの分布形状に関する特徴量について説明する。本実施形態では、下記数式１〜３で表される３つの特徴量（統計量）を用いる。

上記数式１〜３中のｍ及びｎは、各分割画像２１の横の画素数及び縦の画素数であり、Ｔは、分割画像ブロック２２を構成する分割画像２１の枚数である（図２参照）。

上記数式１〜３中のｘ（ｉ，ｊ，ｔ）は、原画像の画素の輝度値である。ｘ（ｉ，ｊ，ｔ）のインデックスｉ及びｊは、ｍ×ｎ画素のサイズを有する分割画像２１中のどの位置の画素であるかを示している。また、インデックスｔは、分割画像ブロック２２中の何枚目の分割画像２１であるかを示しており、時間に関するインデックスでもある。ｙ（ｉ，ｊ）は、各画素における予測された背景の輝度値である。なお、各インデックスの範囲は、それぞれ、１≦ｉ≦ｍ、１≦ｊ≦ｎ及び１≦ｔ≦Ｔとなる。

２次モーメントＶ（第１特徴量）は、分割画像ブロック２２のヒストグラムの分散を示しており、ヒストグラムの分布形状の幅（広がり）を示す特徴量である。

３次モーメントＳ（第２特徴量）は、分割画像ブロック２２のヒストグラムの分布形状の左右対称性を示す特徴量である。ヒストグラムの分布形状が左右対称に近いほど、３次モーメントＳは小さくなる（ゼロに近づく）。また、分割画像ブロック２２中で、人等が高速に移動した場合には、ヒストグラムの分布は非対称になる傾向があり、その場合には、３次モーメントＳの値は大きくなる。それゆえ、３次モーメントＳは、分割画像ブロック２２中で人等が高速に移動したか否かを示すパラメータの一つになり得る。

４次モーメントＫ（第３特徴量）は、分割画像ブロック２２のヒストグラムの分布の峰部分の急峻性（尖り具合）を示す特徴量である。ヒストグラムの分布形状の急峻度が大きくなるほど、４次モーメントＫの値は小さくなる。なお、分割画像ブロック２２中で移動している対象物の動きが速い場合（例えば、人等が分割画像を横切った場合）には、分割画像ブロック２２のヒストグラムの分布形状はより尖った形状になる傾向がある。逆に、対象物の動きが遅い場合（例えば、葉っぱや煙がゆらゆら動いている場合）には、分割画像ブロック２２のヒストグラムの分布形状は、なだらかな形状になる傾向がある。それゆえ、４次モーメントＫもまた、分割画像ブロック２２中で人等が高速に移動したか否かを示すパラメータの一つになり得る。

なお、上記数式１〜３では、画素の輝度値ｘ（ｉ，ｊ，ｔ）から背景の輝度値ｙ（ｉ，ｊ）を差し引いている。すなわち、画素の輝度値ｘを背景の輝度値ｙで正規化している。これは、背景の明暗の影響が識別結果に影響を与えないようにするためである。なお、本発明はこれに限定されず、煙識別部２の性能等によっては、背景の輝度値ｙを求めなくてもよい。

また、背景の輝度値ｙの抽出方法としては、分割画像ブロック２２中で時系列に並んだ複数の所定位置の画素（分割画像２１内の位置が同じである複数の画素）から、それらの輝度値の平均値（ヒストグラムの１次モーメント）を背景の輝度値ｙとする方法（以下では、平均法ともいう）が用い得る。また、分割画像ブロック２２中で時系列に並んだ所定位置の複数の画素から、それらの輝度値の最頻度値を背景の輝度値ｙとする方法（以下では、最頻値取得法ともいう）を用いてもよい。また、分割画像ブロック２２中で時系列に並んだ所定位置の複数の画素から、最小２乗法や最小２乗メディアン法により背景の輝度値ｙを求めてもよい。なお、背景の輝度値ｙは画素毎に求める。

また、本実施形態では、上記数式１〜３で表される特徴量を画素の輝度値を用いて算出しているが、本発明はこれに限定されない。カラー画像の場合には、原画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分に対して上記種々の特徴量を算出してもよい。

次に、各分割画像ブロック２２内の画素の輝度値の時間変化（フレーム間変化）に関する微分量について説明する。本実施形態では、下記数式４及び５で表される２つの微分量を用いる。なお、下記数式４及び５中のｍａｘは最大値を求める演算を示している。

１次微分Ｇ（第１微分量）は、所定時刻ｔ（ｔ枚目）の分割画像２１中の所定位置の画素の輝度値と、一時刻後の時刻ｔ＋１（ｔ＋１枚目）の分割画像２１の所定位置の画素の輝度値との差（以下、フレーム差分ともいう）の絶対値の最大値である。

また、２次微分Ｌ（第２微分量）は、所定時刻ｔ（ｔ枚目）の分割画像２１におけるフレーム差分の平気値ｘ_Ｍ（ｔ）と、一時刻後の時刻ｔ＋１（ｔ＋１枚目）の分割画像２１におけるフレーム差分の平気値ｘ_Ｍ（ｔ＋１）との差の絶対値の最大値である。

本実施形態では、上述した３つの特徴量Ｖ，Ｓ，Ｋ及び２つの微分量Ｇ，Ｌからなる５次元の特徴ベクトルを用いて、煙の有無を判定する。なお、上記数式１〜５に示すように、本実施形態の煙検出で用いる特徴パラメータは、単純な四則演算で算出することができる。それゆえ、煙検出における計算コストは小さく、上記特徴パラメータを算出する特徴パラメータ算出部４の構成も簡易になる。

［煙の検出処理］
次に、本実施形態における煙の検出処理を図６を参照しながら説明する。図６は、本実施形態の煙検出処理の手順を示したフローチャートである。

まず、撮像装置１１により、所定時間間隔Δｔで所定枚数（Ｔ枚）の画像フレーム２０を撮像する（ステップＳ１）。そして、撮像された所定枚数（Ｔ枚）の画像フレーム２０は、分割画像ブロック生成部１に記憶される。

次いで、分割画像ブロック生成部１は、記憶された画像フレーム２０を平均化処理してノイズを除去する（ステップＳ２）。

次いで、分割画像ブロック生成部１は、各画像フレーム２０を所定数の分割画像２１に分割し、図２に示すような所定の時間間隔Δｔで時系列に配列された複数の分割画像２１からなる分割画像ブロック２２を生成する（ステップＳ３）。

次いで、検出処理の繰り返し回数を制御する制御カウンタｋ＝１を初期化する（ステップＳ４）。なお、この処理は、図１に示していない制御部により行う。そして、分割画像ブロック生成部１は、制御カウンタｋ＝１に対応する所定の分割画像ブロック２２のデータを煙識別部２の特徴パラメータ算出部４に出力する。

次いで、特徴パラメータ算出部４は、分割画像ブロック２２中の各画素の背景の輝度値ｙ（ｉ，ｊ）を予測（抽出）する（ステップＳ５）。本実施形態では、背景の輝度値ｙの抽出方法として、上述した平均法、最頻値取得法、最小２乗法及び最小２乗メディアン法のいずれかを用いる。

次いで、特徴パラメータ算出部４は、上記数式１〜５にしたがって煙検出に用いる特徴パラメータ（２次モーメントＶ、３次モーメントＳ、４次モーメントＫ、１次微分Ｇ及び２次微分Ｌ）を算出する（ステップＳ６）。そして、特徴パラメータ算出部４は、算出した特徴パラメータを微分量判定部５に出力する。

次に、微分量判定部５は、ステップＳ６で算出した１次微分Ｇを所定の閾値と比較する（ステップＳ７）。このステップＳ７では、分割画像ブロック２２が高速に移動する対象物（人や車等）の画像を含む画像ブロックであるか否かを判定する。分割画像ブロック２２が高速に移動する対象物の画像を含む場合には、その移動物体が画像に入り込んだ時点で輝度値が大きく変化するので（図４参照）、その時点での１次微分Ｇは大きくなる。それゆえ、１次微分Ｇに対して所定の閾値を設定することにより、分割画像ブロック２２内で移動する対象物画像が、高速に移動する物体の画像であるか、あるいは、煙のようにゆっくり移動する物体の画像であるかを判定することができる。なお、ステップＳ７で判定に用いる閾値は、煙検出装置の使用環境等に応じて適宜設定される。

分割画像ブロック２２の１次微分Ｇが所定の閾値以上である場合は、分割画像ブロック２２内で移動する対象物が煙以外の高速に移動する物体であると判断できる。それゆえ、そのような場合（ステップＳ７でＮＯ判定の場合）には、その後、後述する煙の識別処理（ステップＳ９）は行わず、ステップＳ１０に移る。

一方、分割画像ブロック２２の１次微分Ｇが所定の閾値より小さい場合は、分割画像ブロック２２が、背景等の移動しない対象物あるいは煙のようにゆっくりと移動する対象物の画像ブロックであると判断できる。それゆえ、そのような場合（ステップＳ７でＹＥＳ判定の場合）には、微分量判定部５は、ステップＳ６で算出した特徴パラメータを２値識別部６に出力する。

次いで、２値識別部６は、入力された５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを下記数式６を用いて正規化する（ステップＳ８）。そして、２値識別部６は、正規化された５つの特徴パラメータの組み合わせからなる特徴ベクトルＣ＝［Ｖ_Ｎ，Ｓ_Ｎ，Ｋ_Ｎ，Ｇ_Ｎ，Ｌ_Ｎ］^Ｔを生成する。なお、各変数の添え字Ｎは正規化されたパラメータであることを示している。

なお、上記数式６中のｃ_Ｎは正規化された特徴パラメータＶ_Ｎ、Ｓ_Ｎ、Ｋ_Ｎ、Ｇ_Ｎ及びＬ_Ｎのいずれかである。また、上記式中のｃはステップＳ６で算出した特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬのいずれかであり、ｃ_Ｍは各特徴パラメータのサンプル平均であり、σは各特徴パラメータの標準偏差である。

次いで、２値識別部６（ＳＶＭ）は、５次元の特徴ベクトルＣ＝［Ｖ_Ｎ，Ｓ_Ｎ，Ｋ_Ｎ，Ｇ_Ｎ，Ｌ_Ｎ］^Ｔに基づいて分割画像ブロック２２が煙の画像ブロックであるかそれ以外であるかを判別する（ステップＳ９）。

次いで、２値識別部６は、ステップＳ９での判定結果を結果統合出力部３に入力する（ステップＳ１０）。

次いで、制御カウンタｋを分割ブロック数と比較する（ステップＳ１１）。制御カウンタｋが分割ブロック数より小さい場合（ステップ１１でＹＥＳ判定の場合）には、制御カウンタｋを更新し（ステップＳ１２：ｋ＝ｋ＋１）、ステップＳ５に戻り、上記ステップＳ５〜Ｓ１０の処理を繰り返す。なお、この制御カウンタｋの判定及び更新の制御は図１には示していない制御部で行う。

そして、上記ステップＳ５〜Ｓ１２を分割したブロック数だけ繰り返すと、ステップＳ１１でＮＯ判定となる。この場合、結果統合出力部３は、分割画像ブロック毎の識別結果を統合して出力する（ステップＳ１３）。この際、結果統合出力部３は、統合結果を表示装置に表示するとともに、上記ステップＳ５〜Ｓ１２で煙画像のブロックと判定された分割画像ブロック２２が存在する場合には、結果統合出力部３の警報部（不図示）が警報を出力する。

なお、統合結果を表示装置で表示する場合には、例えば、煙の画像ブロックであると判定された分割画像ブロック２２に対しては、別の色で表示する。そして、煙以外の画像ブロックであると判定された分割画像ブロック２２に対しては分割画像ブロック２２内の所定の分割画像２１をそのまま表示する。このように表示することにより、煙の有無及び煙の存在領域をユーザに一目で認識させることができる。

本実施形態では、上述のようにして、所定の時間間隔Δｔで連続撮像した複数の画像フレーム２０中に煙が存在するか否かを判定する。なお、上記処理例では、ステップＳ５〜Ｓ１０の工程を分割画像ブロックの数だけ繰り返す例を説明したが、本発明はこれに限定されない。図６中のステップＳ５〜Ｓ１０の工程を各分割画像ブロック２２で平行して同時処理してもよい。そのような場合の煙検出装置の構成を図７に示す。

図７に示す煙検出装置３０は、分割画像ブロック数に対応した数の煙識別部２を備える。なお、図７の煙識別部２の内部構成は図３に示した構成と同様である。煙検出装置３０では、分割ブロック生成部１から各分割画像ブロックのデータが、煙識別部２の数だけ平行して出力され、各出力信号は、それぞれ対応する煙識別部２に入力される。そして、各煙識別部２の識別結果は平行して結果統合出力部３に入力される。このような構成にすることにより、各分割画像ブロック２２を平行して同時処理することができ、さらに処理時間を短縮することができる。

［具体例］
次に、上述した煙検出処理の具体例を説明する。本具体例では、まず、上述した５つの特徴パラメータの組み合わせ及び背景の輝度値の抽出方法を変えた場合の煙の識別率の変化を調べた。本具体例の検出条件は次の通りである。

画像フレーム２０の撮像枚数Ｔは３０枚とし、フレームレートは１５ｆｐｓとした。すなわち、図２中の画像フレーム間の時間間隔Δｔ＝１／１５秒とし、撮像時間は２秒とした。

また、画像フレーム２０のサイズは２４０×３２０画素とし、分割画像２１のサイズは４×４画素（ｍ＝ｎ＝４）とした。すなわち、この例では、画像フレーム２０を６０×８０個の分割画像２１に分割し、分割画像ブロック２２のサイズを４画素×４画素×３０枚とした。

図６中のステップＳ２の平均化処理で用いる平均値フィルタとして、３×３の平均値フィルタを用いた。すなわち、所定画素の輝度値を平均化してノイズ除去する際に、所定画素及びその所定画素の周囲に隣接する８つの画素で平均輝度値を求め、その平均輝度値を所定画素の輝度値とした。

図６中のステップＳ７で用いる、高速移動する物体を除外するための閾値は８０とした。また、ステップＳ８における特徴パラメータの正規化処理では、零平均で分散１に正規化した（上記数式７参照）。

また、２値識別部６（ＳＶＭ）のソフトマージンは１、カーネル関数はγ＝１のガウスカーネルとした。また、ＳＶＭに用いる学習データセットには、煙画像のデータを６０００ブロック、その他の画像のデータを２２０００ブロック使用した。なお、これらの学習データは、様々な状況で撮像した煙画像データ及び煙以外の画像データである。また、学習データの１ブロックのサイズは、識別する分割画像ブロック２２のサイズに合わせて、４画素×４画素×３０枚とした。

本具体例では、５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬの全ての組み合わせ（全部で３１通り）においてそれぞれ煙の検出処理を行い、識別率を算出した。なお、識別率は10-fold Cross Validationにより導出した。10-fold Cross Validationは重回帰分析を応用したものであり、１０個に分割された標本群それぞれをテスト事例として１０回検定を行う。それにより得られた１０回の結果を平均して１つの推定値を得る手法である。

また、本具体例では、背景画像の輝度値ｙ（ｉ，ｊ）の抽出方法として、上述した平均法、最頻値取得法、最小２乗法及び最小２乗メディアン方法を用い、各抽出方法においてそれぞれ識別率を求めた。その結果を下記表１〜４に示した。

表１〜４は、背景画像の輝度値をそれぞれ平均法、最頻値取得法、最小２乗法及び最小２乗メディアン法を用いて算出した場合の評価結果である。また、各表には、合計欄の識別率の高い順に５つの組み合わせを記載している。

なお、各表中の「組合せ」の欄は、識別に用いる特徴パラメータ（特徴ベクトルの要素）の組み合わせを示しており、例えば、「Ｖ＋Ｓ＋Ｋ＋Ｇ＋Ｌ」は５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを全て用いて識別した場合を示す。

また、各表中の「煙」の欄の識別率は、実際に煙が存在する分割画像ブロック２２を、煙の画像ブロックであると判定できた割合である。各表中の「その他」の欄の識別率は、実際に煙以外の対象物（背景等）が存在する分割画像ブロック２２を、煙以外の対象物の画像ブロックであると判定できた割合である。そして、各表中の「合計」の欄の識別率は、実際に煙が存在する分割画像ブロック２２を煙の画像ブロックであると判定でき、且つ、実際に煙以外の対象物（背景等）が存在する分割画像ブロック２２を煙以外の対象物の画像ブロックであると判定できた割合である。

表１〜４の結果から明らかなように、背景輝度の抽出方法に関係なく、上記数式１〜５で示した５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを全て用いて識別した場合に最も識別率が高くなっている。特に、５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを全て用い且つ背景の輝度値の抽出方法に平均法を用いた場合に、最も高い識別率（９６．８５７１％）が得られた。すなわち、この結果から、上記数式１〜５で示した５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬは全て煙の検出に有効であることが分かる。

また、表１〜４の結果から明らかなように、５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを全て用いなくても、高い識別率が得られることも分かる。例えば、４つの特徴パラメータＶ、Ｓ、Ｇ及びＬを用いて識別した場合には、いずれの背景輝度の抽出方法においても２番目に高い識別率が得られている。

また、本具体例では、最も識別率の高かった条件、すなわち、５つの特徴パラメータＶ、Ｓ、Ｋ、Ｇ及びＬを全て用い、且つ、背景の輝度値ｙの抽出方法に平均法を用いた場合において、タバコの煙検出を行い、その結果を画像表示した。その結果を図８及び９に示した。なお、煙の検出結果を画像表示する際、分割画像ブロック２２が煙の画像ブロックであると判定された分割画像ブロック２２は白抜きで表示した。また、煙以外の画像ブロックであると判定された分割画像ブロック２２は、分割画像ブロック２２中の最初（一枚目）の画像を表示した。

図８及び９から明らかなように、本実施形態の煙検出装置を用いることにより、タバコの煙の存在領域を精度よく明確に表すことができることが分かる。なお、図９中の人物画像の頭上の一部には、背景等を煙として誤認識しているブロックも存在するが、画像フレーム全体で見れば、煙の存在領域を精度よく明確に表すことができている。

また、本具体例では、１回の煙検出にかかる時間は約５秒であり、その内訳は、画像の取得（図６中のステップＳ１）に約２秒、それ以降の検出処理（図６中のステップＳ２〜Ｓ１３）に約３秒である。検出処理に要した約３秒の間は煙の検出を行うことができないが、煙はそれより長い時間浮遊しているので、本実施形態の煙検出装置では、ほぼリアルタイムで煙の検出が可能であることが分かる。

上述のように、本発明の煙検出装置及び煙検出方法によれば、簡易な構成及び低計算コストで画像フレームから精度よく煙を検出できる。

なお、本発明は、上述した効果以外に、上記特許文献１や非特許文献２に対して次のような利点も有する。特許文献１に記載の煙検出の技術では、撮像した画像フレーム内の一部の領域（検出領域）で煙検出を行うので、その検出領域に煙が入ってこないと検出できない。それに対して、本実施形態では、分割画像群毎に独立して煙の有無を判定し、画像フレーム全域にわたって煙検出を行う。それゆえ、特許文献１に記載の煙検出技術のように、画像フレーム内の一部の領域（検出領域）に煙が入ってこないと検出できないという問題も解消することができる。

また、上述した非特許文献２で提案されている技術では、専用の撮像装置を必要とするので、既存の監視カメラ等に設置することはできない。しかしながら、本発明の煙検出装置及び煙検出方法では、上述のように、煙検出原理と対応した専用の撮像装置を必要とせず、所定の時間間隔で連続して画像を撮像できる撮像装置であれば、任意の撮像装置に適用することができる。それゆえ、本発明は、駅、繁華街、ビル内などの様々な場所に設置された監視カメラと組み合わせて使用することができる。

例えば、駅や駅前の公共空間に設置された監視カメラと本発明とを組み合わせることにより、禁煙区域における喫煙者を検出し、喫煙者に禁煙区域にいることを自動的に伝えることができる。これにより、禁煙区域での喫煙者と、それを注意した人との間のトラブルを減らすことができる。

また、室内に設置したネットワークカメラと本発明とを組み合わせることにより、留守中の火災の発生を通知することができる。さらに、屋外や天井の高い場所など、従来煙センサを設置することが困難であるような場所に設置されている監視カメラと本発明とを組み合わせて煙検知をすることも可能になる。

このように、本発明によれば、既設のカメラ設備を置き換えることなく、本発明の煙検出ユニットを既設のカメラ設備に接続するだけで、煙検知をすることが可能になる。また、本発明を既設のカメラ設備と組み合わせることにより、既存の監視カメラを映像の記録手段としてだけでなく、煙センサとして利用することができるので、資源の有効活用にもつながる。

本発明の一実施形態に係る煙検出装置のブロック構成図である。 分割画像ブロックの概略構成図である。 煙識別部の内部構成図である。 分割画像ブロック中の画素の輝度値の時間変化を示した図である。 分割画像ブロックのヒストグラムを示した図である。 本発明の一実施形態に係る煙検出装置における煙検出処理の手順を示したフローチャートである。 分割画像ブロックを同時処理する場合の煙検出装置のブロック構成図である。 煙検出結果の表示例である。 煙検出結果の表示例である。

符号の説明

１…分割ブロック生成部、２…煙識別部、３…結果統合出力部、４…特徴パラメータ算出部、５…微分量判定部、６…２値識別部、１０…煙検出装置、１１…撮像装置、２０…画像フレーム、２１…分割画像、２２…分割画像ブロック

Claims (8)

1. 所定の時間間隔で撮像された複数の画像のそれぞれを複数の分割画像に分割して、前記所定の時間間隔で配列された複数の前記分割画像からなる分割画像群を複数生成する分割画像群生成部と、
   前記分割画像群のヒストグラムの分布形状に関する特徴量、及び、前記分割画像群中の所定画素の画素値の時間変化に関する微分量を算出する特徴パラメータ算出部と、
   前記特徴量及び前記微分量に基づいて、前記分割画像群が煙の画像群であるか否かを識別する識別部と、
   を備え、
   前記特徴量が、前記ヒストグラムの分布形状の広がりに関する第１特徴量、前記ヒストグラムの分布形状の左右対称性に関する第２特徴量、及び、前記ヒストグラムの分布形状の急峻性に関する第３特徴量を含み、
   前記微分量が、所定の分割画像内の所定位置の画素の画素値と該所定の分割画像の一時刻後の分割画像内の前記所定位置の画素の画素値との差分に関する第１微分量、及び、所定時刻の前記差分と該所定時刻より一時刻後の前記差分との差に関する第２微分量を含むことを特徴とする
   煙検出装置。
2. 前記特徴パラメータ算出部が、各画素における背景の画素値を抽出し、所定画素の画素値と該所定画素で抽出された背景の画素値との差を用いて前記特徴量を求めることを特徴とする請求項１に記載の煙検出装置。
3. 前記分割画像内の所定位置の画素の前記背景の画素値が、前記分割画像群内の複数の前記所定位置の画素の画素値の平均値であることを特徴とする請求項２に記載の煙検出装置。
4. さらに、第１微分量と所定の閾値とを比較し、第１微分量が所定の閾値より小さくなる前記分割画像群の前記特徴量及び前記微分量を前記識別部に出力する判定部を備える請求項１〜３のいずれか一項に記載の煙検出装置。
5. 前記識別部が学習機能を有することを特徴とする請求項１〜４のいずれか一項に記載の煙検出装置。
6. さらに、複数の前記分割画像群の識別結果を統合し、その統合結果に基づいて警報を出力する結果出力部を備える請求項１〜５のいずれか一項に記載の煙検出装置。
7. さらに、前記所定の時間間隔で複数の画像を撮像する撮像部を備える請求項１〜６のいずれか一項に記載の煙検出装置。
8. 所定の時間間隔で撮像された複数の画像のそれぞれを複数の分割画像に分割して、前記所定の時間間隔で配列された複数の前記分割画像からなる分割画像群を複数生成するステップと、
   前記分割画像群のヒストグラムの分布形状の広がりに関する第１特徴量、該ヒストグラムの分布形状の左右対称性に関する第２特徴量、及び、該ヒストグラムの分布形状の急峻性に関する第３特徴量を含むヒストグラムの分布形状に関する特徴量、及び、所定の分割画像内の所定位置の画素の画素値と該所定の分割画像の一時刻後の分割画像内の前記所定位置の画素の画素値との差分に関する第１微分量、及び、所定時刻の前記差分と該所定時刻より一時刻後の前記差分との差に関する第２微分量を含む前記分割画像群中の所定画素の画素値の時間変化に関する微分量を算出するステップと、
   前記特徴量及び前記微分量に基づいて、前記分割画像群が煙の画像群であるか否かを識別するステップと、
   を含む煙検出方法。