JP6906084B2 - カラーカメラ装置及び光学部品 - Google Patents

Description

本発明は、監視エリア内における火や炎の検出に適した監視システム、カラーカメラ装置及び光学部品に関する。

従来、夜間や暗い場所での撮影を考慮したカメラ装置や光学フィルタについて検討されている。例えば、特許文献１には、波長が６５０ｎｍ〜８００ｎｍの光を選択的に透過させない近赤外バンドストップフィルタを備えたカメラ装置の発明について開示されている。また、特許文献２には、可視光帯域の光と近赤外帯域の一部の光を透過する特性を持つ光学フィルタの発明について開示されている。これら特許文献１，２に係る発明は、昼間や明るい場所での撮影で良好な色再現性を実現しつつ、近赤外ＬＥＤを照明に用いた夜間の撮影も行えるようにするものである。

特開２００２−３２０１３９号公報 特許第４７０５３４２号公報

近年、道路やトンネルを監視カメラで撮影し、火災などの異常状態を画像認識により自動検出することが求められている。しかしながら、画像認識に適した鮮明な火や炎の像を得るためには遠赤外線カメラや赤外センサーなどの装置が必要であり、コストの面で課題があった。また、トンネル内の監視で使用される一般的なカメラは、全波長透過の素ガラスを介して撮影する白黒モードと、ＩＲ（赤外線）カットフィルタを介して撮影するカラーモードとを有しているが、カラー画像で火や炎を強調する機能を有するカメラは無かった。

火や炎が強調された画像を得るには近赤外の利用が有効であるが、本来人間の目に見えない波長帯域を使用することになるので、従来の技術では色再現性が悪くなってしまっていた。そのため、近赤外感度を利用する場合は、色情報を必要としない白黒モードでの撮影に限られてしまっていた。また、カラーモードにおいては、ＩＲカットフィルタによって近赤外感度が破棄されるので、カラー画像では火や炎の波長帯域のうち近赤外感度を活かせないという問題があった。
このように、従来の技術では、トンネル内や夜間における火や炎の検出に適したカラー画像を得ることができなかった。

本発明は、上記従来の事情に鑑みて為されたものであり、監視エリア内における火や炎の検出に適した監視システムやカラーカメラ装置を提供することを目的とする。

本発明では、上記目的を達成するために、監視システムを以下のように構成した。
すなわち、本発明に係る監視システムでは、監視エリア内の照明から放射されうる波長よりも長波長の所定の赤外域において各カラーチャネルが有意の相似する感度を有するカラー映像を用いて、前記監視エリア内の火炎の検出を行う。このため、監視エリア内の照明と火又は炎とを容易に区別することができる。
更に、本発明に係る監視システムでは、前記カラー映像から、所定の背景画像と比較して高輝度であるような画素又は画素ブロックを抽出し、該画素又は画素ブロックの属性が所定の属性と異なる場合に、火又は炎であると判断する画像処理装置を備える。そして、前記画素又は画素ブロックの属性として、該画素又は画素ブロックの大きさの変化率、輝度、該輝度の変化率、前記大きさと輝度の比、輪郭の強さ、輪郭の不規則さ、時間的に隣接する画素ブロック間での画素値の変化の多さ、色、スペクトル形状、前記カラー映像のフレームにおける位置、速度、及び加速度の内の少なくとも２つを含める構成とした。これにより、火又は炎かそれ以外（他の光源）かを精度よく判別することが可能となる。

ここで、前記画素又は画素ブロックは、前記画像処理装置によって、所定の背景画像と比較して高輝度であるような画素のブロックとして抽出され、時間的に近接するフレーム間で、前記位置又は前記速度の属性を利用して移動が追跡される構成としてもよい。
このような構成によれば、所定の背景画像と比較して高輝度であるような画素のブロックの移動状況を効率よく追跡することができ、その移動状況から、火又は炎か否かを容易に判別可能となる。

また、前記カラー映像として、前記所定の赤外域において透過特性を有する光学フィルタと、少なくとも前記所定の赤外域を含む近赤外帯域において遮断特性を有するＩＲカットフィルタとを遠隔制御で択一的に挿入できるカメラで撮影されたカラー映像を用い、前記画像処理装置は、前記光学フィルタ及び前記ＩＲカットフィルタの挿抜状態を異ならせて撮像した、時間的に近接する複数の画像から、１枚の画像よりも多い色チャネルを有する画像を合成し、当該合成した画像から、火及び炎に対する感度が異なる複数の信号を計算し、火及び炎とそれ以外の光源との間のスペクトルの違いを判別する構成としてもよい。
このような構成によれば、監視エリア内の火や炎の検出に適したカラー映像を得ることができ、そのカラー映像を処理して得られるスペクトルに基づいて、火又は炎か否かを精度よく判別することができる。

なお、前記所定の赤外域の短波長側の端は、略８８０ｎｍであることが好ましい。監視エリアの一つとして想定されるトンネル内で照明に用いられる放電灯やＬＥＤ照明は、約８８０ｎｍ以下の波長帯域に強度を有するためである。

また、本発明では、上記目的を達成するために、カラーカメラ装置を以下のように構成した。
すなわち、本発明に係るカラーカメラ装置は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、前記帯域遮断光学フィルタ若しくは前記ＩＲカットフィルタを通して撮像を行う撮像素子と、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有する構成とした。

帯域遮断光学フィルタとして、放電灯（例えば、蛍光灯）及びＬＥＤ照明に含まれる、色の認識にほとんど寄与しない長波長側の帯域（約６５０〜８８０ｎｍの主に近赤外に属する波長帯域）に遮断特性を有し、放電灯及びＬＥＤ照明に含まれず且つ撮像素子が感度を有する赤外領域の波長帯域に透過特性を有するものを用いれば、放電灯やＬＥＤ照明の光を抑えて火や炎を強調したカラー画像を得ることができる。これは、可視光帯域（約４００〜６５０ｎｍの波長帯域）より長波長の波長帯域（約６５０ｎｍ以上の波長帯域）では、放電灯やＬＥＤ照明の光は約８８０ｎｍ以上に波長帯域が延びないのに対し、火や炎の光は約８８０ｎｍ以上にも波長帯域が延びる（むしろ、約８８０ｎｍ以上に強度がある）という特性を利用したものである。
このため、本発明に係るカラーカメラ装置によれば、監視エリア（例えば、トンネル内や夜間）における火や炎の検出に適したカラー画像を得ることができる。

また、本発明は、カラーカメラに取り付けることで上記のようなカラーカメラ装置を実現するための光学部品としても把握できる。
すなわち、本発明に係る光学部品は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記カラーカメラの撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有し、前記カラーカメラのフランジ若しくは前記カラーカメラと前記カラーカメラに装着されるレンズとの間に固定的に取り付けられる光学部品である。

また、本発明は、監視エリアを撮影するカメラ装置と、前記カメラ装置により撮影された画像に基づいて前記監視エリア内の火及び炎を検出する画像処理装置と、を備えた監視システムにおいて、前記カメラ装置は、光学フィルタと、前記光学フィルタを通して撮像を行う撮像素子と、を備え、前記光学フィルタは、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域において放電灯及びＬＥＤ照明の波長帯域に遮断特性を有し、該放電灯及びＬＥＤ照明の波長帯域より長波長で且つ前記撮像素子に適応した波長帯域に透過特性を有することを特徴とする監視システムとしても把握できる。

このような構成によれば、監視エリア内の照明（蛍光灯やＬＥＤなど）の光を抑えて火や炎を強調したカラー画像を得ることができ、当該画像に基づいて火や炎の検出を行うことができるので、監視エリア内における火や炎の検出精度を従来の技術よりも高めることができる。

なお、前記カメラ装置は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有する光学フィルタ（ＩＲカットフィルタ）を更に備え、前記画像処理装置による制御に基づいて、いずれの光学フィルタを通して前記撮像素子による撮像を行うかを切り替え可能な構成としてもよい。

このような構成によれば、カメラ装置による監視エリアの撮影を、火及び炎を強調したカラー撮影モードと、通常（火及び炎を強調しない）のカラー撮影モードとのいずれで行うかを、画像処理装置からの制御により切り替えることが可能となる。このため、それぞれのモードで撮影されたカラー画像を比較することができ、監視エリア内における火や炎か否かを判別するのに有用である。

本発明によれば、監視エリア内における火や炎の検出に適した監視システムやカラーカメラ装置及び光学部品を提供することができる。

油焚燃焼炎及びガス焚燃焼炎の波長帯域を示す図である。 トンネル内にある光源の波長帯域を示す図である。 本発明の一実施形態に係る監視システムの構成例を示す図である。 図３の監視システムにおけるバンドストップフィルタの透過帯域と撮像素子の分光感度を示す図である。 図３の監視システムにおける画像処理部の構成例を示すブロック図である。 図５のヒストグラム算出部で用いられるヒストグラムの一例の模式図である。

本発明の一実施形態に係る監視システムについて説明するに先立ち、火や炎の波長帯域と、トンネル内にある光源の波長帯域とについて説明する。
トンネル内において発生する火や炎としては、ガソリン等の油系資源の発火等によるものが想定され、具体的には油焚燃焼炎やガス焚燃焼炎が挙げられる。
図１には、油焚燃焼炎及びガス焚燃焼炎の波長帯域を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は相対強度を表す。
図１によれば、油焚燃焼炎とガス焚燃焼炎のいずれも、可視光帯域である約４００ｎｍ〜６５０ｎｍでは強度が低く、約６５０ｎｍ以上の帯域において徐々に強度が高くなり、約２５００ｎｍ以上の帯域にピークが現れている。

トンネル内にある光源としては、トンネル内に照明として設置された放電灯（例えば、蛍光灯、メタルハライドランプ、高圧ナトリウムランプ）やＬＥＤ照明が挙げられる。また、他の光源として、トンネル内を走行する車両のライトやランプもあり、ハロゲンランプであってもフォグランプ等は白熱灯に近い特性（２８００Ｋ）のものが存在する。
図２には、トンネル内にあるこれらの光源の波長帯域を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は相対強度を表す。
図２によれば、蛍光灯及びＬＥＤ照明は、約８８０ｎｍ以下の波長帯域に強度を有するが、約８８０ｎｍ以上には波長帯域が延びていない。一方、白熱灯及びハロゲンランプは、約８８０ｎｍ以下の波長帯域だけでなく、約８８０ｎｍ以上の波長帯域においても高い強度を有している。

図１、図２より、約８８０ｎｍ以上の波長帯域の強度を見ることで、油焚燃焼炎やガス焚燃焼炎と蛍光灯やＬＥＤ照明とを区別できるが、油焚燃焼炎やガス焚燃焼炎と白熱灯やハロゲンランプとの区別は困難であることが分かる。
このような事項を踏まえ、本発明の一実施形態に係る監視システムは、以下のように構成してある。なお、以下の説明では、主にトンネル内における火や炎の検出について説明するが、太陽光（自然光）の存在しない環境（夜間等）に一般化でき、更には自然光存在下においても適用できる可能性がある。

本例の監視システムは、図３に構成例を示すように、カメラ装置１０と、画像処理装置２０とを備え、これらの装置は有線又は無線により通信可能に接続されている。
カメラ装置１０は、ＩＲカットフィルタ１１と、バンドストップフィルタ１２と、フィルタ切換え機構１３と、撮像素子１４と、映像信号処理部１５と、を有している。

撮像素子１４は、ＩＲカットフィルタ１１又はバンドストップフィルタ１２を通して撮影対象となる監視エリアを撮像する素子であり、ＣＣＤセンサーやＣＭＯＳセンサーなどの単板カラーセンサー素子を用いることができる。ベイヤーフィルタとして、４色からなる補色系の色フィルタを用いることができる。

ＩＲカットフィルタ１１は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有する光学フィルタである。本例のＩＲカットフィルタ１１は、可視光帯域を含む約６５０ｎｍ以下の波長帯域に透過特性を有し、約６５０ｎｍ以上の近赤外帯域に遮断特性を有するように設定してある。

バンドストップフィルタ１２は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域で且つ放電灯及びＬＥＤ照明から放射されうる波長帯域に遮断特性を有し、放電灯及びＬＥＤ照明から放射されうる波長帯域より長波長で且つ撮像素子１４に適応した波長帯域に透過特性を有する光学フィルタである。この長波長側の透過帯域では、撮像素子１４の各カラーチャネルはほぼ同じ感度を有することが望ましい。本例のバンドストップフィルタ１２は、可視光帯域を含む約６５０ｎｍ以下の波長帯域に透過特性を有し、可視光帯域より長波長の近赤外帯域における放電灯及びＬＥＤ照明の波長帯域である約６５０ｎｍ〜８８０ｎｍの波長帯域に遮断特性を有し、放電灯及びＬＥＤ照明の波長帯域より長波長で且つ撮像素子１４が感度を有する約８８０ｎｍ以上の波長帯域に透過特性を有するように設定してある。

フィルタ切換え機構１３は、撮像素子１４の前面側（撮影対象となる監視エリア側）に配置する光学フィルタを、ＩＲカットフィルタ１１又はバンドストップフィルタ１２のいずれかに切り換えるための機構である。本例のフィルタ切換え機構１３は、画像処理装置２０からの制御信号に基づいて動作する電動アクチュエータを備えており、当該アクチュエータの動作により光学フィルタの切り換え（光路への挿抜）を行う。ＩＲカットフィルタ１１に切り換えた場合は、火や炎を強調しないカラー画像を撮影する通常カラー撮影モードとなり、バンドストップフィルタ１２に切り換えた場合は、火や炎を強調したカラー画像を撮影する火・炎強調カラー撮影モードとなる。

映像信号処理部１５は、撮像素子１４から出力される映像信号を処理し、画像処理装置２０に送信する。すなわち、画像処理装置２０に対し、ＩＲカットフィルタ１１による通常カラー撮影モード、或いは、バンドストップフィルタ１２による火・炎強調カラー撮影モードで監視エリアを撮影した画像を、デモザイキング処理や適切なホワイトバランス処理などを施してから送信する。ホワイトバランスは、補色系信号をＹＰｂＰｒやＲＧＢ信号に変換するカラーマトリクスの各係数を、テーブルを参照して設定することにより調整される。

図４には、バンドストップフィルタ１２の透過帯域と撮像素子１４の分光感度を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は透過率と分光感度を表す。
本例の撮像素子１４は、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｍｇ（マゼンタ）、Ｇｒ（グリーン）の色成分のベイヤーフィルタを有し、これらの色成分毎に光を検出する構成となっており、いずれの色成分も約８８０ｎｍ以上の波長帯域にまで分光感度を有している。ここで、ベイヤーフィルタとは、正方格子状の画素配置に対して、縦２画素、横２画素の略正方形内の４画素を単位として周期的に配置されるカラーフィルタアレイを意味し、補色系や色差線順次方式をも含む意味で用いる。オンチップフィルタの材料として主流の色素含有レジストは、８８０ｎｍ以上の長波長光をほぼ一律に透過する。図４にみられる長波長での感度低下は、素子自体の光電変換効率の低下による。Ｓｉ撮像素子では、分光感度の長波長側の限界は約１０００ｎｍである。

また、本例のバンドストップフィルタ１２は、図中に符号Ｆ１で示す約６５０ｎｍ以下の波長帯域と、図中に符号Ｆ２で示す約８８０ｎｍ以上の波長帯域で１００％近い透過率を示し、その間（約６５０ｎｍ〜８８０ｎｍ）の波長帯域でほぼ０％の透過率を有している。すなわち、可視光帯域より長波長の波長帯域（約６５０ｎｍ以上の波長帯域）では、放電灯及びＬＥＤ照明の波長成分が存在する約８８０ｎｍまでは遮断特性を有し、それ以上の波長帯域に透過特性を持っている。バンドストップフィルタ１２の遮断波長帯域の下限（約６５０ｎｍ）は、ＩＲカットフィルタ１１のそれと略一致するように選んである。

このようなバンドストップフィルタ１２を用いた火・炎強調カラー撮影モードでは、放電灯及びＬＥＤ照明については、ＩＲカットフィルタ１１を用いた通常カラー撮影モードと同一条件で撮影される。また、油焚燃焼炎及びガス焚燃焼炎については、通常カラー撮影モードよりも白みが増強されることで明るく撮影される。つまり８８０ｎｍ以上の長波長では各ベイヤーの分光感度は略同じであるため、感度が各ベイヤーで均一に持ち上がるため、色再現性を損なわずに、火や炎を強調したカラー画像を得ることが可能となる。なお、白熱灯及びハロゲンランプの直接光も同様に、通常カラー撮影モードよりも明るく撮影される。

画像処理装置２０は、画像処理部２１と、リモート制御部２２と、を有している。
画像処理部２１は、カメラ装置１０から送信される監視エリアの画像を画像処理し、監視エリア内における火や炎の検出を行う。
リモート制御部２２は、カメラ装置１０に対し、撮影に使用する光学フィルタ（ＩＲカットフィルタ１１又はバンドストップフィルタ１２）を指示する制御信号を送信する。

画像処理装置２０による火や炎の検出処理について説明する。
画像処理装置２０は、トンネル内の火や炎の検出処理を行う場合、リモート制御部２２により、バンドストップフィルタ１２を撮影に使用する指示を含む制御信号をカメラ装置１０に送信する。これにより、カメラ装置１０では、バンドストップフィルタ１２による火・炎強調カラー撮影モードで監視エリアが撮影され、画像処理装置２０に送信されることになる。

画像処理装置２０は、カメラ装置１０から火・炎強調カラー撮影モードによる監視エリアの画像を取得し、当該画像中に火や炎が含まれるか否かについて、例えば以下のようにして判定する。

［強度差比較方式］
まず、画像処理装置２０は、火・炎強調カラー撮影モードに切り替える前（望ましくは直前）に、通常カラー撮影モードの最後の画像（通常画像）を保持する。

次に、画像処理装置２０は、火・炎強調カラー撮影モードに切り替えた後（望ましくは直後）に、画像（強調画像）１つを取得し、通常画像との間で動き検出を行う。そしてＭＰＥＧ等の映像符号化方式と同様に、古い方の通常画像に対して動き補償を施す。このとき、動き検出時に画素ブロック単位に評価された予測誤差（通常画像と動き補償された通常画像との間の相関の低さ）を保持しておいてもよい。そして、強調画像及び動き補償された通常画像を結合して、８つの色チャネルを有する画像（８色画像）を得る。８色画像は、撮像素子１４から直接得られるＲＡＷ画像よりも、ダウンサンプルされたものでもよい。

次に、８色画像から、火炎と白熱灯などとを区別するための２つの信号I_Bulb、I_Fireを計算する。通常画像の画素値を（mg, cy, gr, ye）、強調画像の画素値を（mg’, cy’, gr’, ye’）としたとき、
I_Bulb = mg・a_v0＋cy・a_v1＋gr・a_v2＋ye・a_v3＋mg’・a_v4＋cy’・a_v5＋gr’・a_v6＋ye’・a_v7
I_Fire = mg・a_i0＋cy・a_i1＋gr・a_i2＋ye・a_i3＋mg’・a_i4＋cy’・a_i5＋gr’・a_i6＋ye’・a_i7
により得られる。そしてこの２つの信号I_Bulb、I_Fireの比較により、火炎らしさを判断する。予測誤差が保持されている場合は、I_Bulb < I_Fireであって、予測誤差が所定値以下の画素を、火炎らしいと判断する。予測誤差が大きい時は、被写体の時間的変化が激しすぎる、或いは動き補償が適切に行われていない可能性があり、その画素では火炎の判断は行わない。

色行列係数a_v0〜a_v0及びa_I0〜a_I0は、２つの信号が、火炎と白熱灯とで異なる感受性を有するように選ばれる。これにより、単に通常画像と強調画像の輝度値を比較する場合に比べ、火炎と白熱灯のスペクトルの形状の違いが評価されることとなり、判断精度が向上する。
なお、２つの信号I_Bulb、I_Fireの算出においては、２次以上の項（mg・ye・a₈＋mg・cy・a₉＋…）を加えた計算式やルックアップテーブルを用いたり、対数化やガンマ処理をした輝度値を用いてもよい。また本方式の処理は、画像処理装置２０ではなく映像信号処理部１５内で行ってもよく、通常画像と強調画像の撮影の順序は逆でもよい。また、上述の動き検出や動き補償は、新たにカメラ装置１０から送信された符号化映像を画像処理装置２０で復号化する際に通常行われる処理と、共通化してもよい。

［車両灯火除外方式］
まず、火・炎強調カラー撮影モードによる監視エリアの画像から、火や炎の可能性がある画素のブロック（以下、候補画素ブロックという）を抽出する処理を行う。例えば、火や炎が発生しておらず且つ白熱灯やハロゲンランプを灯した車両が走行していない状態で撮影した基準画像を用意しておき、基準画像と比較して明るく撮影された部分を、候補画素ブロックとして抽出する。これにより、トンネル内を走行する車両の灯火の他、トンネル内の火や炎が存在する場合にそれに該当する画素ブロックが候補画素ブロックとして抽出される。候補画素ブロックは、後で輪郭を評価する都合、実際に明るく撮影された部分よりも大きめに切り出される。また、明るいか否かの閾値は、被写体までの距離に応じて、画像内で変化させることが望ましい。また、所定のサイズに満たない画素ブロックは、輪郭等の評価が困難なため、候補画素ブロックにしない。

ここで、火や炎の像は輪郭が不鮮明で形状も不規則に変化するのに対し、灯火の像は輪郭が比較的鮮明であり、形状は円形や四角形で走行位置に伴う変化は少ないが、大きさは単調に変化する。このような性質を利用して、火・炎強調カラー撮影モードによる監視エリアの画像に対して物体追跡処理や各種画像処理を行うことで、これらの判別を行う。すなわち、候補画素ブロックの移動を追跡し、時系列に関連付けられた候補画素ブロックについて、輪郭の強さ、輪郭の不規則さ、時間的に隣接する候補画素ブロック間での画素値の時間的変化の多さ、及び候補画素ブロックの大きさの時間的変化率を評価する。候補画素ブロックの大きさの影響を受けないように、大きさの評価値以外では、候補画素ブロックのサイズ若しくは得られた評価値を正規化することが望ましく、３以上の複数のフレームから得た時刻の異なる評価値を平均化することが望ましい。そしてこれらの４種類の評価値を入力とする判別器によって、灯火と火炎を判別する。概略的に言えば、輪郭の強さ、大きさの時間的変化率が大きいほど灯火と判定されやすく、不規則さ、画素値の時間的変化の多さが大きいほど火炎と判定されやすくなる。画素値の時間的変化の多さは、追跡処理におけるテンプレートマッチングで得られたものが利用でき、或いは、候補画素ブロック内の全画素中、変化率が所定値以上の画素が占める割合等も利用できる。また、判別器には、簡易なフィッシャーの線形判別から高度な深層畳み込みニューラルネットワークまで、周知の様々な手法が利用できる。また、火炎から生じる煙も同様に形状の不規則性を有するため、煙も含むように候補画素ブロックを切り出してもよい。

これらの方式によって画像処理装置２０により火や炎が検出されると、その結果は画像処理装置２０もしくは別途備えるモニターディスプレイにより表示出力される。また、画像処理装置２０には、カメラ装置１０により撮影された画像も表示出力される。これにより、画像処理装置２０のオペレータ（操作者）は、トンネル内における火や炎の発生を認識できる。
なお、画像処理装置２０により火や炎が検出されたことを他の手法によりオペレータに報知してもよく、例えば、その旨を知らせる音声の出力、所定のＬＥＤの点灯や点滅などにより、オペレータに報知することができる。

オペレータは、画像処理装置２０に対し、カメラ装置１０の撮影に使用するフィルタ（ＩＲカットフィルタ１１又はバンドストップフィルタ１２）の切り替えを指示する操作入力を行うことができる。このような操作入力がなされると、画像処理装置２０のリモート制御部２２から、オペレータに指定された光学フィルタの使用を指示する制御信号がカメラ装置１０に送信される。その結果、操作入力に応じたカラー撮影モードによる監視エリアの撮影がカメラ装置１０で行われ、その画像がカメラ装置１０から送信されて画像処理装置２０に表示出力される。したがって、オペレータは、通常カラー撮影モードによる監視エリアの画像と火・炎強調カラー撮影モードによる監視エリアの画像とを比較することができ、本当に火や炎が発生しているかを確認することができる。

以上のように、火・炎強調カラー撮影モードで撮影された画像を用いることで、画像処理部２１は、車両のライト等による誤検出を減らすことができる。なお、火・炎強調カラー撮影モードの画像から、ハロゲンランプ等の灯火と火や炎を判別することができる画像処理部２１は、通常カラー撮影モードの画像からも火や炎を検出できる場合がある。そのため、通常は通常カラー撮影モードで撮影し、オペレータに対して表示出力しながら画像処理装置２０による火炎検知を行い、火や炎の疑いのある画像が検知された時に火・炎強調カラー撮影モードに自動的に切り替えるような構成にしてもよい。

実施例１は、先に述べた車両灯火除外方式に比べ、形状が分からないほど小さな火炎をも検出することを意図し、動きや輝度を含む多変量ヒストグラムを用いて判別する。図５に、実施例１に係る画像処理部２１のブロック図を示す。
本例の画像処理部２１は、領域分割器３１、背景更新部３２、白色ハイライト評価部３３、領域抽出部３４、関心領域保持部３５、動き検出部３６、ヒストグラム算出部３７、１次火炎識別部３８、原画取得部３９、２次火炎識別部４０を有している。

領域分割器３１は、カメラ装置１０から画像が入力されるたびに、画像を所定の規則で分割する。簡易的には、一定のサイズのブロックに格子状に分割する方法があるが、望ましくは、被写体との距離が遠いほど小さいサイズとなるような不等分割を行う。以後の処理では分割領域毎に適切なスケーリングやパラメータが適用されうる。
背景更新部３２は、入力画像を十分な時間、平均化して、ヘッドライト等が抑圧された１枚の画像（以下、背景画像という）を生成する。或いは、予めそのような背景画像を生成し、固定的に保持するものでもよい。

白色ハイライト評価部３３は、現在の入力画像と、背景更新部３２からの背景画像との比較演算により、火炎色或いは白色で高輝度の画素であるほど高くなるような評価値を出力する。例えば、カラー画像である入力画像と背景画像との差分画像を求め、差分画像の各画素について、輝度信号Ｙから色差信号（Ｐｂ，Ｐｒ）の絶対値を重み付きで減じた値を評価値とする。評価値は色情報を含んでもよい。ここでは、輝度信号の鮮鋭さ（ＭＴＦ）よりも輝度値や色の正確さを優先するようなデモザイキングが為された画像信号を用いることが望ましい。補色ベイヤでは、任意の位置で２×２画素を選ぶと、その中に４色の画素が常に含まれることになるため、その４信号から、２×２画素の中心位置における輝度や色（色相、彩度）を同じ条件で評価できる。一例として、輝度Ｙ、色差Ｕ及びＶは下記の式で算出される。
Ｙ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
この色分離の方法は単純であるが、暗所における灯火や火炎のように、独立したスポット状の光源であって、一つの光源内ではほぼ同一色であることが期待できる被写体に対して効果的である。なお、もしそのようなデモザイキングが為されていない画像信号をカメラ装置１０から受信している場合であっても、計算により補間された画素値を破棄し、本来の画素値を維持している画素から再度デモザイキングを行うことは可能である。

領域抽出部３４は、白色ハイライト検出部３３からの評価値を２値化し、４近傍ラベリング処理などにより連接する複数の画素を１つの領域にまとめ、そのようにまとめられた各領域の座標（重心位置）とサイズ（内包画素数）と代表輝度値を関心領域情報として出力する。
２値化の際のしきい値は、２値化により真となる画素の割合等が所定値以下になるように適応制御され、また、周辺画素での２値化結果に応じて局所的にも調整される。局所的な調整は、周辺に真が無い時に閾値が下げられ、周辺に真がある時に閾値が上げられるような調整である。

関心領域保持部３５は、領域抽出部３４から出力された、少なくとも１つ前の関心領域情報を保持する。
動き検出部３６は、領域抽出部３４からの現在の関心領域情報と、関心領域保持部３５からの過去の関心領域情報とを、類似するもの同士を対応付けることで追跡し、各領域の見かけ上の動き、及び動きの時間的変化（つまり加速度）を検出し、関心領域情報に動き情報として付加して出力する。ここで行う追跡は、先に述べた強度比較方式における動き補償に相当する。

ヒストグラム算出部３７は、動き検出部３６からの関心領域情報に含まれる動き情報を一定期間計数し、動きヒストグラムを作成する。動きや加速度は方向と大きさの情報を有するので、４次元の動きヒストグラムが生成されうる。なお、加速度をスカラー化することで次元を減らしてもよく、逆に代表輝度値（評価値）やサイズ、あるいはそれらの時間的変化率を追加して、次元を増やしてもよい。

１次火炎識別部３８は、動き検出部３６から関心領域情報が入力される都度、それに含まれる動き情報をヒストグラム算出部３７のヒストグラムと照合し、火や炎であるか識別する。図６に、ヒストグラムの一例の模式図を示す。図示を容易にするために、横軸を速度の方向、縦軸を加速度の方向とする２次元ヒストグラムとしてある。通常の車両の走行は、車線方向に加減速を行うものであるので、ヒストグラムは、対角線上、特に車線の方向に対応するビンに集中する。このような状態で、移動しない火炎が画像に映った場合、その関心領域は、火炎が揺らぐ性質によって、対角線とは無関係にランダムなビンに分類される。火や炎の発生は非常に稀であるので、一例として、ヒストグラムの対応するビンが０、つまり過去一定期間に一度も観測されていないような性質の関心領域を、火や炎と識別することができる。更に、走行車両と共に移動する火炎に対しては、輝度、輝度の変化、色で分類されたヒストグラムが有効である。つまり、ヘッドライトは輝度が非常に高く、輝度変化率が少なく、色は白色に近い。また尾灯やブレーキランプは、色が彩度の高い赤で、輝度変化率が少ない。他方火炎は、輝度変化率があり、油焚燃焼炎や不完全燃焼炎であればヘッドライトほど白くなくブレーキランプほど赤くない。なおビンに最初に投票する関心領域（外れ値）が必ずしも火炎とは限らないため、そのような関心領域を関心領域情報及び動き情報に基づいて追跡し、同じ関心領域が持続して同じ或いは近隣のビンに投票している場合にのみ、火炎であると判断するようにしてもよい。

原画取得部３９は、１次火炎識別部３８で火や炎と識別された関心領域の原画像（カメラ装置１０からの映像）をキャプチャする。
２次火炎識別部４０は、原画取得部３９からの関心領域の原画像に対し、周波数分析を行い、火や炎の揺らぎに起因する高周波成分の強度に基づいて、火や炎か否かを最終判定する。火や炎を含む画像では、高周波領域のスペクトルに特徴的な傾向が現れる。例えば、原画像のフレーム間差分について空間周波数分析を行うと、火や炎に特徴的なスペクトルの傾きが現れるので、特段の学習等を行うことなく、傾きが所定の範囲内であるかを判別するだけで判定することができる。このため、計算コストの高いＦＦＴ演算を常時行う必要が無く、安価な画像処理装置で実現することができる。なお周波数分析の代わりに各種の特徴量（テクスチャ特徴の一種であるガボールウェーブレット特徴等）を利用してよく、サポートベクターマシン等の識別器で判定してもよい。

上述のように本例の監視システムのカメラ装置１０は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有するＩＲカットフィルタ１１と、人の視覚のための照明等から放射されうる近赤外線を遮断し、それより長波長で透過特性を有するバンドストップフィルタ１２を備え、画像処理装置２０による制御に基づいて、ＩＲカットフィルタ１１とバンドストップフィルタ１２のいずれかの光学フィルタを通して撮像素子１４による撮像を行うかを切り替え可能に構成されている。
このため、１台のカメラ装置１０で、通常の道路監視と火や炎の発生監視とを行うことができ、火災発生の初期段階で火や炎を検出することが容易となる。
また、カメラ装置１０は、撮像素子１４として通常の単板カラーセンサー素子を用いることができるため、一般的なカメラ装置と同等程度のコストで製造することができる。
このような構成により、トンネル内や夜間における放電灯やＬＥＤ照明の光を抑えて火や炎の像の振幅が強調された（つまり火や炎に対してＳ／Ｎが改善された）カラー画像を得ることができ、画像処理による火や炎の検出精度が従来の技術よりも高められる。
また、約８８０から１０００ｎｍの波長帯域に感度を持たせたことで、９２０〜９５０ｎｍにピークを有する水素火炎を可視化し或いは検出することができる。

なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。
ＩＲカットフィルタ１１、バンドストップフィルタ１２、フィルタ切換え機構１３は、カメラ装置１０内に設けられるものに限らず、レンズ交換式のカメラ装置におけるレンズ装着面であるフランジ若しくはカメラ装置とカメラ装置に装着されるレンズとの間にアダプターとして設けられてもよい。例えば、１７．５２６ｍｍのフランジバックのＣマウントレンズに適応したカメラ装置に対し、よりフランジバックの長い一眼レフカメラ用のレンズを装着するようなときに用いられるマウント変換アダプターの内部に、これらの構成を備えることもできる。

また、本発明は、例えば、本発明に係る処理を実行する方法や方式、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、監視エリア内における火及び炎の検出に供される画像を撮影する種々のカメラ装置、及び当該カメラ装置により撮影された画像に基づいて火及び炎の検出を行う種々の監視システムなどに利用することができる。

１０：カメラ装置、 １１：ＩＲカットフィルタ、 １２：バンドストップフィルタ、 １３：フィルタ切換え機構、 １４：撮像素子、 １５：映像信号処理部、
２０：画像処理装置、 ２１：画像処理部、 ２２：リモート制御部、
３１：領域分割器、 ３２：背景更新部、 ３３：白色ハイライト評価部、 ３４：領域抽出部、 ３５：関心領域保持部、 ３６：動き検出部、 ３７：ヒストグラム算出部、 ３８：１次火炎識別部、 ３９：原画取得部、 ４０：２次火炎識別部

Claims (2)

1. 監視エリア内における火及び炎の検出に供される画像を撮影するカラーカメラ装置において、
   帯域遮断光学フィルタと、ＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、前記帯域遮断光学フィルタ若しくは前記ＩＲカットフィルタを通して撮像を行う撮像素子と、を備え、
   前記ＩＲカットフィルタは、可視光帯域を含む、第一の波長より短波長の帯域に透過特性を有し、近赤外線帯域を含む、前記第一の波長より長波長の帯域に遮断特性を有し、
   前記撮像素子は、近赤外線帯域における第二の波長より長波長の帯域で、各色チャネルが略同一の分光感度特性を有し、
   前記帯域遮断光学フィルタは、前記第一の波長より短波長の帯域及び前記第二の波長より長波長の帯域に透過特性を有し、前記第一の波長帯域より長波長で且つ前記第二の波長帯域より短波長の帯域に遮断特性を有することを特徴とするカラーカメラ装置。
2. 監視エリア内における火及び炎の検出に供される画像を撮影するカラーカメラのための光学部品であって、
   帯域遮断光学フィルタと、ＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、を備え、
   前記ＩＲカットフィルタは、可視光帯域を含む、第一の波長より短波長の帯域に透過特性を有し、近赤外線帯域を含む、前記第一の波長より長波長の帯域に遮断特性を有し、
   前記撮像素子は、近赤外線帯域における第二の波長より長波長の帯域で、各色チャネルが略同一の分光感度特性を有し、
   前記帯域遮断光学フィルタは、前記第一の波長より短波長の帯域、及び、前記第二の波長より長波長の帯域に透過特性を有し、前記第一の波長帯域より長波長で且つ前記第二の波長帯域より短波長の帯域に遮断特性を有し、
   前記カラーカメラのフランジ若しくは前記カラーカメラと前記カラーカメラに装着されるレンズとの間に固定的に取り付けられる光学部品。

Images