JP6508439B2 - ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム - Google Patents

Description

本発明は、赤外画像を利用してガスを検知する技術に関する。

ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。

赤外画像を利用したガス検知として、例えば、特許文献１は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。

本発明者は、赤外画像を撮像するカメラが、背景に空が含まれる角度で設置されている場合、移動する雲がガスとして検知される可能性があることを見出した。

特開２０１２−５８０９３号公報

本発明は、ガスの検知精度を向上させることができるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。

上記目的を達成する本発明の第１の局面に係るガス検知用画像処理装置は、処理部と、決定部と、判定部と、を備える。前記処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する。前記決定部は、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する。前記判定部は、前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する。

発明の１又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。

実施形態に係るガス検知システムの構成を示すブロック図である。 図１Ａに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データＤ１を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点ＳＰ１の温度変化を示すグラフである。 試験場所の地点ＳＰ２の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点ＳＰ１（図３）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波数成分データＤ２、時系列画素データＤ１から抽出された高周波数成分データＤ３を示すグラフである。 差分データＤ４を示すグラフである。 差分データＤ５を示すグラフである。 標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。 差分データＤ８を示すグラフである。 時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。 時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。 雲が存在している状態の空が写された赤外画像を示す画像図である。 地点ＳＰ３の温度変化を示すグラフである。 地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。 実施形態で実行される処理のフローチャートである。 赤外線カメラが、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。 第１の画像１Ｉ−１の位置が原点のとき、領域像１ｉ−１と領域像１ｉ−３との位置関係を示す模式図である。 第１の画像１Ｉ−１の位置が原点のとき、領域像１ｉ−１と領域像１ｉ−２との位置関係を示す模式図である。 ガスが出現している場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。 第１の画像１Ｉ−４の位置が原点のとき、領域像１ｉ−４と領域像１ｉ−６との位置関係を示す模式図である。 第１の画像１Ｉ−４の位置が原点のとき、領域像１ｉ−４と領域像１ｉ−５との位置関係を示す模式図である。

以下、図面を参照して、本発明の１又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。

各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、第１の画像１Ｉ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、第１の画像１Ｉ−１）。

図１Ａは、実施形態に係るガス検知システム１の構成を示すブロック図である。ガス検知システム１は、赤外線カメラ２とガス検知用画像処理装置３とを備える。

赤外線カメラ２は、ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データＭＤを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ２は、光学系４、フィルター５、二次元イメージセンサー６及び信号処理部７を備える。

光学系４は、被写体の赤外画像を二次元イメージセンサー６上で結像させる。フィルター５は、光学系４と二次元イメージセンサー６との間に配置され、光学系４を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター５を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、３．２〜３．４μｍの波長帯を通過させるフィルター５が用いられる。二次元イメージセンサー６は、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサーであり、フィルター５を通過した赤外線を受光する。信号処理部７は、二次元イメージセンサー６から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データＭＤとなる。

ガス検知用画像処理装置３は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部８、画像処理部９、表示制御部１０、表示部１１及び入力部１２を備える。

画像データ入力部８は、赤外線カメラ２の通信部（不図示）と通信する通信インターフェイスである。画像データ入力部８には、赤外線カメラ２の通信部から送られてきた動画データＭＤが入力される。画像データ入力部８は、動画データＭＤを画像処理部９へ送る。

画像処理部９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によって実現され、動画データＭＤに所定の処理をする。所定の処理とは、例えば、動画データＭＤから時系列画素データを生成する処理である。

時系列画素データを具体的に説明する。図２は、時系列画素データＤ１を説明する説明図である。動画データＭＤで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム（複数の赤外画像）において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データＤ１とする。赤外画像の動画のフレーム数をＫとする。一つのフレームがＭ個の画素、すなわち、１番目の画素、２番目の画素、・・・、Ｍ−１番目の画素、Ｍ番目の画素で構成されている。画素データ（画素値）を基にして、輝度、温度等の物理量が定められる。

複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ−１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データＤ１となる。また、Ｍ番目の画素で説明すると、１番目のフレームに含まれるＭ番目の画素の画素データ、２番目のフレームに含まれるＭ番目の画素の画素データ、・・・、Ｋ−１番目のフレームに含まれるＭ番目の画素の画素データ、Ｋ番目のフレームに含まれるＭ番目の画素の画素データを、時系列に並べたデータが、Ｍ番目の画素の時系列画素データＤ１となる。時系列画素データＤ１の数は、一つのフレームを構成する画素の数と同じである。

図１Ａを参照して、画像処理部９は、処理部９１、決定部９２及び判定部９３を備える。これらについては、後で説明する。

表示制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＨＤＤ等によって実現され、動画データＭＤで示される画像等を、表示部１１に表示させる。表示部１１は、例えば、液晶ディスプレイにより実現される。

入力部１２は、キーボード、タッチパネル等により実現され、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置３は、表示制御部１０、表示部１１及び入力部１２を備えるが、これらを備えないガス検知用画像処理装置３でもよい。

図１Ｂは、図１Ａに示すガス検知用画像処理装置３のハードウェア構成を示すブロック図である。ガス検知用画像処理装置３は、ＣＰＵ３ａ、ＲＡＭ３ｂ、ＲＯＭ３ｃ、ＨＤＤ３ｄ、液晶ディスプレイ３ｅ、通信インターフェイス３ｆ、キーボード等３ｇ、及び、これらを接続するバス３ｈを備える。液晶ディスプレイ３ｅは、表示部１１を実現するハードウェアである。液晶ディスプレイ３ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス３ｆは、画像データ入力部８を実現するハードウェアである。キーボード等３ｇは、入力部１２を実現するハードウェアである。

ＨＤＤ３ｄには、画像処理部９及び表示制御部１０について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部９を実現するプログラムは、動画データＭＤを取得し、動画データＭＤに上記所定の処理をする処理プログラムである。表示制御部１０を実現するプログラムは、画像（例えば、動画データＭＤで示される動画）を表示部１１に表示させる表示制御プログラムである。これらのプログラムは、ＨＤＤ３ｄの替わりにＲＯＭ３ｃに格納しても良い。

ＣＰＵ３ａは、処理プログラム及び表示制御プログラムを、ＨＤＤ３ｄから読み出してＲＡＭ３ｂに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、ＨＤＤ３ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ３ｄに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置３とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ３ｄに送られ、ＨＤＤ３ｄに記憶されても良い。

なお、ガス検知用画像処理装置３は、複数の要素によって構成される。従って、ＨＤＤ３ｄには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス検知用画像処理装置３は、要素として、処理部９１、決定部９２及び判定部９３を含む。ＨＤＤ３ｄには、処理部９１、決定部９２、判定部９３のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、処理プログラム、決定プログラム、判定プログラムと表現される。

処理プログラムを記憶しているＨＤＤと、決定プログラムを記憶しているＨＤＤと、判定プログラムを記憶しているＨＤＤと、が互いに異なっていてもよい。この場合、処理プログラムを記憶しているＨＤＤを有するサーバと、決定プログラムを記憶しているＨＤＤを有するサーバと、判定プログラムを記憶しているＨＤＤを有するサーバとが、ネットワーク（例えば、インターネット）を介して接続されていてもよい。又は、少なくとも一つのＨＤＤが、ＵＳＢポートなどに接続された外付けＨＤＤでもよいし、ネットワーク対応のＨＤＤ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）でもよい。これらのプログラムの少なくとも二以上を同じＨＤＤに記憶させ、残りのプログラムを、このＨＤＤと異なるＨＤＤに記憶させてもよい（例えば、処理プログラム及び決定プログラムを第１のＨＤＤに記憶させ、判定プログラムを第２のＨＤＤに記憶させる）。

これらのプログラムは、要素の定義を用いて表現される。処理部及び処理プログラムを例にして説明する。処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する。第１の処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得するプログラムである。

ＣＰＵ３ａによって実行されるこれらのプログラム（処理プログラム、決定プログラム、判定プログラム）のフローチャートが、後で説明する図１５である。

本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。

図３は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点ＳＰ１がある。地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２を示している。

画像Ｉ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された試験場所の赤外画像である。画像Ｉ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された試験場所の赤外画像である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。

画像Ｉ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された試験場所の赤外画像である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。

画像Ｉ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された試験場所の赤外画像である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。

時刻Ｔ１から時刻Ｔ４までの１５秒間で、背景の温度が約４℃下がっている。このため、画像Ｉ４は、画像Ｉ１と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。

時刻Ｔ１後かつ時刻Ｔ２前の時刻に、地点ＳＰ１において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである（約０．５℃）。このため、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。

図４Ａは、試験場所の地点ＳＰ１の温度変化を示すグラフであり、図４Ｂは、試験場所の地点ＳＰ２の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、４５とは、４５番目のフレームを意味する。フレームレートは、３０ｆｐｓである。よって、１番目のフレームから４５０番目のフレームまでの時間は、１５秒となる。

地点ＳＰ１の温度変化を示すグラフと地点ＳＰ２の温度変化を示すグラフとは異なる。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は、背景の温度変化を示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１には、ガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。

図４Ａに示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４からは、地点ＳＰ１でガスが噴出していることが分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。

このように、噴出されたガス（漏れたガス）による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。

この原因は、動画データＭＤ（図１Ａ）には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データＤ２が含まれるからである。低周波成分データＤ２で示される像（背景の明暗の変化）により、前記周波数成分データで示される像が見えなくなるのである。図４Ａ及び図４Ｂを参照して、地点ＳＰ１の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点ＳＰ２の温度変化を示すグラフが低周波成分データＤ２に対応する。

そこで、画像処理部９（図１Ａ）は、画素の位置がそれぞれ異なる複数の時系列画素データＤ１（すなわち、動画データＭＤを構成する複数の時系列画素データＤ１）を、動画データＭＤから生成し、複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図２を参照して、１番目画素の時系列画素データＤ１、２番目画素の時系列画素データＤ１、・・・、Ｍ−１番目画素の時系列画素データＤ１、Ｍ番目画素の時系列画素データＤ１を意味する。

漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データＤ３とする。画像処理部９は、動画データＭＤを構成する複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理に加えて、高周波成分データＤ３を除く処理をする。

このように、画像処理部９は、フレームの単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をするのではなく、時系列画素データＤ１の単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をする。

ガス検知用画像処理装置３は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置３は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図５は、監視画像の生成処理を説明するフローチャートである。

図１Ａ、図２及び図５を参照して、画像処理部９は、動画データＭＤからＭ個の時系列画素データＤ１を生成する（ステップＳ１）。

画像処理部９は、時系列画素データＤ１に対して、Ｋ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、低周波成分データＤ２とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の低周波成分データＤ２を抽出する（ステップＳ２）。

第１の所定数のフレームは、例えば、２１フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する１０フレーム、これより後の連続する１０フレームである。第１の所定数は、時系列画素データＤ１から低周波成分データＤ２を抽出できる数であればよく、２１に限らず、２１より多くてもよいし、２１より少なくてもよい。

画像処理部９は、時系列画素データＤ１に対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、高周波成分データＤ３とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の高周波成分データＤ３を抽出する（ステップＳ３）。

図６は、地点ＳＰ１（図４Ａ）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波成分データＤ２、時系列画素データＤ１から抽出された高周波成分データＤ３を示すグラフである。グラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。時系列画素データＤ１で示される温度は、比較的急に変化し（変化の周期が比較的短く）、低周波成分データＤ２で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。高周波成分データＤ３は、時系列画素データＤ１とほぼ重なって見える。

第３の所定数のフレームは、例えば、３フレームである。内訳は、ターゲットとなるフレーム、この直前の１フレーム、この直後の１フレームである。第３の所定数は、時系列画素データから第３の周波数成分を抽出できる数であればよく、３に限定されず、３より多くてもよい。

図１Ａ、図２及び図５を参照して、画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された低周波成分データＤ２との差分を算出して得られるデータを、差分データＤ４とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ４を算出する（ステップＳ４）。

画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された高周波成分データＤ３との差分を算出して得られるデータを、差分データＤ５とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ５を算出する（ステップＳ５）。

図７Ａは、差分データＤ４を示すグラフであり、図７Ｂは、差分データＤ５を示すグラフである。これらのグラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。差分データＤ４は、図６に示す時系列画素データＤ１と低周波成分データＤ２との差分を算出して得られたデータである。図４Ａに示す地点ＳＰ１でガスの噴出を開始する前において（９０番目くらいまでのフレーム）、差分データＤ４で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー６のセンサーノイズを示している。地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。

差分データＤ５は、図６に示す時系列画素データＤ１と高周波成分データＤ３との差分を算出して得られたデータである。

差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データＤ３（高周波ノイズを示すデータ）を含む。差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データＤ３を含む。

差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。これに対して、差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データＤ５は、微小な振幅を繰り返している。これが高周波ノイズである。

差分データＤ４と差分データＤ５とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データＤ４の値がプラス、差分データＤ５の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データＤ４と差分データＤ５との差分を算出しても、高周波成分データＤ３を除去できない。高周波成分データＤ３を除去するには、差分データＤ４及び差分データＤ５を引き算できる絶対値のような値に変換する必要がある。

そこで、画像処理部９は、差分データＤ４に対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ６とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ６を算出する（ステップＳ６）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。

また、画像処理部９は、差分データＤ５に対して、Ｋ個のフレームより少ない第４の所定数（例えば、２１）のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ７とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ７を算出する（ステップＳ７）。移動標準偏差の替わりに、移動分散を用いてもよい。

図８は、標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データＤ６は、図７Ａに示す差分データＤ４の移動標準偏差を示すデータである。標準偏差データＤ７は、図７Ｂに示す差分データＤ５の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データＤ６及び標準偏差データＤ７のいずれの場合も、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。

標準偏差データＤ６及び標準偏差データＤ７は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データＤ６及び標準偏差データＤ７は、差分データＤ４及差分データＤ５を引き算できるように変換したデータと見なすことができる。

画像処理部９は、同じ時系列画素データＤ１から得られた標準偏差データＤ６と標準偏差データＤ７との差分を算出して得られるデータを、差分データＤ８とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ８を算出する（ステップＳ８）。

図９は、差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データＤ８は、図８に示す標準偏差データＤ６と標準偏差データＤ７との差分を示すデータである。差分データＤ８は、低周波成分データＤ２及び高周波成分データＤ３を除く処理がされたデータである。

画像処理部９は、監視画像を生成する（ステップＳ９）。すなわち、画像処理部９は、ステップＳ８で得られたＭ個の差分データＤ８で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部９は、ステップＳ９で得られた動画を表示制御部１０に出力する。表示制御部１０は、この動画を表示部１１に表示させる。この動画に含まれる監視画像として、例えば、図１０に示す画像Ｉ１２及び図１１に示す画像Ｉ１５がある。

図１０は、時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。画像Ｉ１０は、図５のステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１１は、図５のステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１０と画像Ｉ１１との差分が、画像Ｉ１２（監視画像）となる。

図１１は、時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。画像Ｉ１３は、ステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１４は、ステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１３と画像Ｉ１４との差分が、画像Ｉ１５（監視画像）となる。図１０及び図１１に示す画像Ｉ１０〜画像Ｉ１５のいずれも、いずれも標準偏差を５０００倍にした画像である。

図１０に示す画像Ｉ１２は、図４Ａに示す地点ＳＰ１からガスが噴出される前に撮影された画像なので、画像Ｉ１２には、地点ＳＰ１からガスが出ている様子が現れていない。これに対して、図１１に示す画像Ｉ１５は、地点ＳＰ１からガスが噴出されている時刻で撮影された画像なので、画像Ｉ１５には、地点ＳＰ１からガスが出ている様子が現れている。

以上説明したように、実施形態によれば、画像処理部９（図１Ａ）が、赤外画像の動画データＭＤに含まれる低周波成分データＤ２を除く処理をして、動画データを生成し、表示制御部１０が、この動画データで示される動画（監視画像の動画）を表示部１１に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。

センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー６（図１Ａ）において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１１に表示させることができる。

次に、赤外線カメラ２で撮像される動画に移動する雲の像が含まれることが原因で発生するガスの誤検知について説明する。赤外線カメラ２は、背景に空が含まれる角度で設置されていることがある。このような場合、動画に移動する雲の像が写ることがある。図１２は、雲が存在している状態の空が写された赤外画像１００を示す画像図である。雲と空との温度差は小さいので、雲の像と空の像との差が明確に現れていない。赤外画像１００の中央付近に雲の像があり、この像以外が空の像である。一つの地点ＳＰ３は、赤外画像１００の一つの画素と対応する。

図１３は、地点ＳＰ３の温度変化を示すグラフである。グラフの横軸及び縦軸は、図４Ａのグラフの横軸及び縦軸と同じである。フレームレートは、３０ｆｐｓなので、１０秒間の温度変化のグラフが示されている。地点ＳＰ３に雲が位置している状態から、雲が移動し、地点ＳＰ３に雲が位置していない状態に変化している。地点ＳＰ３での変化の期間は、おおよそ１００番目〜１５０番目のフレームの期間である。この期間の温度変化は、この期間の前後の期間と比べて、温度変化が大きい。

図１４は、地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分を示している。この差分データＤ８は、地点ＳＰ３の温度変化を示す時系列画素データＤ１に対して、図５に示すステップＳ２〜ステップＳ８の処理がされて生成される。おおよそ１００番目〜１５０番目のフレームの期間において、差分データＤ８が大きくなっている。この期間は、地点ＳＰ３に雲が位置している状態から雲が位置しない状態に変化する期間である。

図９を参照して、ガスが出ている期間の差分データＤ８は、ガスが出ていない期間の差分データＤ８と比べて大きい。図１４に示す差分データＤ８は、おおよそ１００番目〜１５０番目のフレームの期間において、ガスが出ている期間の差分データＤ８と同様に大きい。従って、図１４に示す差分データＤ８が得られた場合、ガス検知用画像処理装置３は、ガスと誤検知する可能性がある。なお、雲が移動しない場合、図１３で説明した温度変化は発生しないので、誤検知は発生しない。

実施形態は、この誤検知を防止できるようにしている。図１５は、実施形態で実行される処理のフローチャートである。

図１Ａ及び図１５を参照して、処理部９１は、動画データＭＤを基にして、監視画像の動画を生成する（ステップＳ１００）。詳しく説明すると、処理部９１は、動画データＭＤに対して、図５に示すステップＳ１〜ステップＳ９の処理をする。これにより、動画を構成する各フレームは、赤外画像から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図１０に示す画像Ｉ１２、図１１に示す画像Ｉ１５である。ガス候補が出現していれば、ガス候補が出現している領域を示す領域像が、監視画像に含まれる。ガスが出現している領域を示す像が、領域像になることもあるし、上述した移動する雲を示す像が、領域像になることもある。画像Ｉ１５は、ガス噴出の開始から２秒後の画像である。画像Ｉ１５の中央付近に位置する白領域が領域像である。ここでは、領域像は、ガスが出現している領域を示す像である。

実施形態では、ステップＳ１〜ステップＳ９の処理で領域像を得ているが、赤外画像に対する画像処理によって、領域像を得る公知の技術（例えば、特許文献１に開示された画像処理）を用いて領域像を得ても良い。

以上説明したように、ステップＳ１００の処理は、赤外画像に対して、領域像を抽出する処理である。領域像を抽出する処理がされた赤外画像が、監視画像である。

ステップＳ１００で生成された動画を構成する各フレーム（各監視画像）に、領域像が含まれているとする。処理部９１は、領域像を含む所定領域を各監視画像に設定し、所定領域を第１の画像として取得する（ステップＳ１０１）。すなわち、処理部９１は、領域像を抽出する処理がされた各赤外画像に、領域像を含む所定領域を設定し、所定領域を第１の画像として取得する。

図１６は、赤外線カメラ２が、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。図１６は、監視画像から切り出された第１の画像１Ｉが示されている。処理部９１が、監視画像から第１の画像１Ｉを自動で切り出してもよいし、ユーザーが、ガス検知システム１を実際に動作させ、ガスと誤認識する反射が発生する領域を確認し、マニュアルで切り出してもよい。後者の場合、ユーザーが、第１の画像１Ｉに第１の領域像１ｉが含まれるように、第１の画像１Ｉのサイズを決定する。この決定されたサイズが、第１の処理部９１に予め記憶されている。前者の場合、処理部９１が、例えば、図１０及び図１１に示す監視画像を２値化した後（すなわち、例えば、図９に示す差分データＤ８及び図１４に示す差分データＤ８を所定のしきい値（例えば、０．０２）で２値化した後）、ラベリング処理をして、自動で切り出す。

ステップＳ１００で生成された動画が、例えば、１０秒間の動画とする。第１の画像１Ｉ−１は、その１０秒間が開始する時刻の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ−２は、開始時刻から３秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ−３は、開始時刻から６秒後の監視画像に設定された第１の画像１Ｉである。

第１の画像１Ｉは、監視画像の一部であり、矩形形状を有する。第１の画像１Ｉの形状は、矩形形状に限定されない。第１の画像１Ｉを構成する各画素の値は、標準偏差の差分である。第１の画像１Ｉにおいて、黒画素以外の画素で構成される像が領域像１ｉである。第１の画像１Ｉ−１に含まれる領域像１ｉ−１、第１の画像１Ｉ−２に含まれる領域像１ｉ−２、第１の画像１Ｉ−３に含まれる領域像１ｉ−３は、移動する雲を示す像である。領域像１ｉは、時間の経過により移動している。これが雲の移動を示している。

以上説明したように、処理部９１は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像１ｉを含む第１の画像１Ｉを取得する処理を第１の処理とし、異なる複数の時刻で撮像された複数の赤外画像のそれぞれに関して、第１の処理をして、複数の第１の画像１Ｉを取得する。

実施形態において、処理部９１は、各赤外画像に対して、領域像１ｉを抽出する処理をし（ステップＳ１００）、この処理がされた各赤外画像に、領域像１ｉを含む所定領域を設定し、所定領域を第１の画像１Ｉとして取得している（ステップＳ１０１）。変形例として、ユーザーが赤外画像に予め所定領域を設定してもよい。変形例は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。詳しく説明すると、図１Ａを参照して、表示制御部１０は、動画データＭＤで示される動画（赤外画像の動画）を表示部１１に表示させている。ユーザーは、入力部１２を操作して、表示部１１に表示されている赤外画像に所定領域を設定する。

処理部９１は、入力部１２が操作されて、赤外画像に所定領域が設定されたとき、赤外画像の全体に対して領域像１ｉを抽出する処理をするのではなく、その所定領域に対して領域像１ｉを抽出する処理をする。処理部９１は、この処理がされた所定領域を第１の画像１Ｉとして取得する。

変形例によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、領域像１ｉを抽出する処理をするので、画像処理量を減らすことができる。

実施形態の説明に戻る。領域像１ｉは、ガスが出現している領域を示す像の可能性もあるし、移動する雲を示す像の可能性もある。領域像１ｉが移動する雲を示す像の場合、時系列で見れば、領域像１ｉは移動している。

雲の移動は、短い期間（例えば、１０秒間程度）で見ると、雲の形状をほとんど変化させず、かつ、ほぼ一定の速度である。よって、領域像１ｉが移動する雲を示す像の場合、短い期間で見ると、領域像１ｉは、その形状をほとんど変化させないで、ほぼ一定の速度で移動する。従って、領域像１ｉの移動が考慮されて、２つの第１の画像１Ｉの類似度が算出されると、類似度は比較的高くなる。

これに対して、領域像１ｉが、ガスが出現している領域を示す像の場合、ガスは同じ箇所から漏れているので、時系列で見れば、領域像１ｉは移動しないことが多い。ガスは不規則にゆらぐので、領域像１ｉが移動する雲を示す像の場合と比べて、２つの第１の画像１Ｉの類似度は低い。

以上より、下記（１）及び（２）の条件が満たされていれば、領域像１ｉは、ガスが出現している領域を示す像でなく、移動する雲を示す像である可能性が高いので、ガス候補がガスでない可能性が高い。
（１）領域像１ｉが移動している。
（２）領域像１ｉの移動が考慮されて、２つの第１の画像１Ｉの類似度が算出されたとき、類似度が比較的高い。

上述した短い期間中に風向きが大きく変化しなければ、領域像１ｉの移動方向は、同一性を有する。同一性とは、領域像１ｉの移動方向が同一、又は、ほぼ同一を意味する。例えば、０秒（開始時刻）から３秒までの期間での領域像１ｉの移動方向と、０秒から６秒までの期間での領域像１ｉの移動方向とが、同一、又は、ほぼ同一の場合、領域像１ｉの移動方向は同一性を有する。

従って、（１）及び（２）の条件が満たされ、かつ、下記（３）の条件が満たされたとき、領域像１ｉが移動する雲を示す像である可能性がかなり高くなる。
（３）領域像１ｉの移動方向が同一性を有する。

実施形態では、（１）〜（３）の条件が満たされるとき、領域像１ｉを、移動する雲を示す像と判定する。これが、ステップＳ１０２〜ステップＳ１０６の処理である。移動する雲を例にして説明したが、形状をほとんど変えず、かつ、ほぼ一定の速度で移動する被写体についても、同じことが言える。すなわち、（１）〜（３）の条件が満たされたとき、領域像１ｉが、上記被写体を示す像である可能性がかなり高くなる。なお、（３）を考慮しない態様も可能である。

３つの第１の画像１Ｉの中から２つの第１の画像１Ｉが組み合わされて、類似度の算出対象となる複数組が予め設定される。これは、ガス検知用画像処理装置３のメーカーが設定してもよし、ユーザーが設定してもよい。実施形態では、第１の画像１Ｉ−１と第１の画像１Ｉ−３とで構成される組と、第１の画像１Ｉ−１と第１の画像１Ｉ−２とで構成される組とを、類似度を算出する対象としている。

決定部９２は、２つの第１の画像１Ｉ−１，１Ｉ−３の位置関係を変えながら、２つの第１の画像１Ｉ−１，１Ｉ−３の類似度を算出することにより、複数の類似度を取得する（ステップＳ１０２）。

ステップＳ１０２について詳しく説明する。第１の画像１Ｉ−１と第１の画像１Ｉ−３とが完全に重なる位置において、第１の画像１Ｉ−１の中心が原点（０、０）とする。図１７は、第１の画像１Ｉ−１の位置が原点のとき、領域像１ｉ−１と領域像１ｉ−３との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ−１を所定範囲において移動させ、原点を含む各座標において、第１の画像１Ｉ−１と第１の画像１Ｉ−３との類似度を算出する。これは、パターンマッチング処理である。類似度は、第１の画像１Ｉ−１と第１の画像１Ｉ−３とが重なる部分に対して算出されることになる。所定範囲は、例えば、ｘ方向が、−２０画素〜＋２０画素であり、ｙ方向が、−２０画素〜＋２０画素である。以上により、１６８１個の類似度（＝４１画素×４１画素）が算出される。

類似度の算出方法としては、様々な方法があるが、決定部９２は、例えば、式１を用いて、類似度を算出する。式１は、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を示している。

Ｉ（ｉ，ｊ）は、ここでは、第１の画像１Ｉ−１上の座標を示す。Ｔ（ｉ，ｊ）は、ここでは、第１の画像１Ｉ−３上の座標を示す。ｉは、ｘ方向の座標値を示す。ｊは、ｙ方向の座標値を示す。Ｍは、第１の画像１Ｉのｘ方向の画素数を示す。Ｎは、第１の画像１Ｉのｙ方向の画素数を示す。

正規化相互相関は、−１から＋１の範囲の値である。第１の画像１Ｉ−１と第１の画像１Ｉ−３との相関性がない場合、正規化相互相関は、０となる。第１の画像１Ｉ−１と第１の画像１Ｉ−３とが、正の相関性が強くなるに従って、正規化相互相関は、＋１に近づく。第１の画像１Ｉ−１と第１の画像１Ｉ−３とが、負の相関性が強くなるに従って、正規化相互相関は、−１に近づく。正規化相互相関が、＋１に近づくに従って、第１の画像１Ｉ−１と第１の画像１Ｉ−３との類似度が高くなる。

決定部９２は、算出した１６８１個の類似度を座標と紐付けて記憶する。例えば、第１の画像１Ｉ−１の位置が座標（１８，−６）のとき、第１の画像１Ｉ−１と第１の画像１Ｉ−３との類似度が、０．８６とする。決定部９２は、座標（１８，−６）と０．８６とを紐付けて、記憶する。

決定部９２は、算出した１６８１個の類似度の中で最大の類似度を決定する（ステップＳ１０３）。ここでは、最大の類似度が０．８６とする。この類似度が、判定用類似度となる。判定用類似度は、ガス候補がガスか否かの判定に用いられる類似度であり、領域像１ｉの移動が考慮されて算出された、２つの第１の画像１Ｉの類似度である。算出された１６８１個の類似度のうち、高い類似度が判定用類似度となる。ここでは、最大の類似度が判定用類似度とされているが、２番目に高い類似度や３番目に高い類似度が、判定用類似度とされてもよい。

決定部９２は、類似度が最大となる座標（すなわち、最大の類似度に紐付けられた座標）を、６秒後の領域像１ｉの位置として決定する。ここでは、座標（１８，−６）が６秒後の領域像１ｉの位置として決定される。決定部９２は、類似度が最大となる座標が、原点の場合、領域像１ｉが移動していないと決定し、原点と異なる座標の場合、領域像１ｉが移動していると決定する。ここでは、類似度が最大となる座標が座標（１８，−６）なので、決定部９２は、領域像１ｉが移動していると決定する。

決定部９２は、原点からその座標（類似度が最大となる座標）への方向を、領域像１ｉの移動方向（すなわち、雲の移動方向）と決定する（ステップＳ１０４）。ここでは、原点から座標（１８，−６）への方向が領域像１ｉの移動方向と決定される。また、領域像１ｉが６秒間で原点から座標（１８，−６）まで移動したことが判別するので、領域像１ｉの移動速度が判別したことにもなる。

以上説明したように、決定部９２は、２つの第１の画像１Ｉを基にして、領域像１ｉの移動方向を決定し、決定した移動方向の位置関係で算出された２つの第１の画像１Ｉの類似度を、ガス候補がガスか否かの判定に用いる判定用類似度として決定する（ステップＳ１０２〜ステップＳ１０４）。

決定部９２は、第１の画像１Ｉ−１を所定の座標に移動させ、２つの第１の画像１Ｉ−１，１Ｉ−２の類似度を算出する（ステップＳ１０５）。ステップＳ１０５について詳しく説明する。第１の画像１Ｉ−１と第１の画像１Ｉ−２とが完全に重なる位置において、第１の画像１Ｉ−１の中心が原点（０，０）とする。図１８は、第１の画像１Ｉ−１の位置が原点のとき、領域像１ｉ−１と領域像１ｉ−２との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ−１を座標（９，−３）に移動させ、第１の画像１Ｉ−１と第１の画像１Ｉ−２との類似度を算出する。類似度は、第１の画像１Ｉ−１と第１の画像１Ｉ−２とが重なる部分に対して算出されることになる。ここでは、類似度は、０．８９とする。

座標（９，−３）とした理由は、以下の通りである。座標（１８，−６）は、６秒後の領域像１ｉの位置である。領域像１ｉが、移動する雲を示す像であれば、領域像１ｉは、同一方向に、ほぼ一定速度で移動する。よって、３秒後の領域像１ｉの位置は、（９，−３）と見なすことができる。

このように、決定部９２は、領域像１ｉの移動を考慮して、第１の画像１Ｉ−１と第１の画像１Ｉ−２との類似度を決定している。この類似度は、判定用類似度となる。実施形態では、第１の画像１Ｉ−１と第１の画像１Ｉ−３とで構成される組（第１の組）と、第１の画像１Ｉ−１と第１の画像１Ｉ−２とで構成される組（残りの組）とで、判定用類似度の決定の仕方を異ならせている。しかしながら、第１の画像１Ｉ−１と第１の画像１Ｉ−２との判定用類似度について、第１の画像１Ｉ−１と第１の画像１Ｉ−３との判定用類似度と同様の方法で決定することも可能である。この場合、決定部９２は、第１の画像１Ｉ−１と第１の画像１Ｉ−２に対して、ステップＳ１０２〜ステップ１０４の処理をする。

判定部９３は、領域像１ｉが移動する雲を示す像か否かを判定する（ステップＳ１０６）。ステップＳ１０６について詳しく説明する。判定用類似度が、所定のしきい値（例えば、０．８０）を超えていれば、判定用類似度が比較的高いとする。

ステップＳ１０３で決定された判定用類似度（すなわち、座標（１８，−６）での第１の画像１Ｉ−１と第１の画像１Ｉ−３との類似度）は、０．８６である。判定部９３は、この類似度が比較的高いと判定する。

ステップＳ１０５で決定された判定用類似度（すなわち、座標（９，−３）での第１の画像１Ｉ−１と第１の画像１Ｉ−２との類似度）は、０．８９である。判定部９３は、この類似度が比較的高いと判定する。

ステップＳ１０３で決定された判定用類似度が得られる座標が、原点でなく、座標（１８，−６）である。判定部９３は、領域像１ｉが移動していると判定する。

０秒（開始時刻）から６秒までの期間での領域像１ｉの移動方向は、原点から座標（１８，−６）であり、０秒から３秒までの期間での領域像１ｉの移動方向は、原点から座標（９，−３）である。判定部９３は、領域像１ｉの移動方向が同一性を有すると判定する。

以上より、判定部９３は、領域像１ｉが、ガスが出現している領域を示す像でなく、移動する雲を示す像と判定する。この結果、判定部９３は、ガス候補をガスでないと判定する（ステップＳ１０７）。言い換えれば、判定部９３は、ガス候補をノイズと判定する。

このように、判定部９３は、判定用類似度、領域像１ｉが移動しているか否か、及び、領域像１ｉの移動方向が同一性を有するか否かを基にして、ガス候補がガスか否かを判定する。

次に、ガスが出現している場合について説明する。図１９は、ガスが出現している場合に、実施形態によって生成された第１の画像１Ｉを説明する説明図である。図１９に示す各第１の画像１Ｉは、図１６と同じく、１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉである。

第１の画像１Ｉ−４は、その１０秒間が開始する時刻の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ−５は、開始時刻から３秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ−６は、開始時刻から６秒後の監視画像に設定された第１の画像１Ｉである。第１の画像１Ｉ−４に含まれる領域像１ｉ−４、第１の画像１Ｉ−５に含まれる領域像１ｉ−５、第１の画像１Ｉ−６に含まれる領域像１ｉ−６は、ガスが出現している領域を示す像である。

図２０は、第１の画像１Ｉ−４の位置が原点のとき、領域像１ｉ−４と領域像１ｉ−６との位置関係を示す模式図である。決定部９２は、第１の画像１Ｉ−４と第１の画像１Ｉ−６とについて、ステップＳ１０２〜Ｓ１０４の処理をする。ここでは、最大の類似度（判定用類似度）が０．７４とし、領域像１ｉの移動方向が原点から座標（−６，２）への方向とする。

決定部９２は、第１の画像１Ｉ−４と第１の画像１Ｉ−５とについて、ステップＳ１０５の処理をする。図２１は、第１の画像１Ｉ−４の位置が原点のとき、領域像１ｉ−４と領域像１ｉ−５との位置関係を示す模式図である。ここでは、決定部９２は、第１の画像１Ｉ−４を座標（−３、１）に移動させ、第１の画像１Ｉ−４と第１の画像１Ｉ−５との類似度（判定用類似度）を算出する。類似度が０．６５とする。

ステップＳ１０３で決定された判定用類似度（すなわち、座標（−６，２）での第１の画像１Ｉ−４と第１の画像１Ｉ−６との類似度）は、０．７４である。判定部９３は、この類似度が比較的高くないと判定する。

ステップＳ１０５で決定された判定用類似度（すなわち、座標（−３，１）での第１の画像１Ｉ−４と第１の画像１Ｉ−５との類似度）は、０．６５である。判定部９３は、この類似度が比較的高くないと判定する。

以上より、判定部９３は、領域像１ｉが、移動する雲を示す像でなく、ガスが出現している領域を示す像と判定する。この結果、判定部９３は、ガス候補をガスと判定する（ステップＳ１０７）。

なお、実施形態では、式１を用いて類似度を算出している。類似度の算出は、式１に限らない。例えば、類似度の算出に式２が用いられてもよい。式２は、ゼロ平均正規化相互相関（ＺＮＣＣ：Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を示している。

実施形態では、３つの第１の画像１Ｉのうち、１番目の第１の画像１Ｉ（第１の画像１Ｉ−１，１Ｉ−４）と３番目の第１の画像１Ｉ（第１の画像１Ｉ−３，１Ｉ−６）とで構成される組に対して、ステップＳ１０２〜ステップＳ１０４の処理をし、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉ（第１の画像１Ｉ−２，１Ｉ−５）とで構成される組に対して、ステップＳ１０５の処理をしているが、逆でもよい。

実施形態では、３つの第１の画像１Ｉのうち、１番目の第１の画像１Ｉと３番目の第１の画像１Ｉとで構成される組と、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉとで構成される組とを、類似度を算出する対象としている。しかしながら、この組み合わせは、任意である。例えば、１番目の第１の画像１Ｉと２番目の第１の画像１Ｉとで構成される組と、２番目の第１の画像１Ｉと３番目の第１の画像１Ｉとで構成される組とを、類似度を算出する対象としてもよい。また、組み合わせの数は、２つに限定されず、１つでもよいし、３つでもよい。

実施形態では、３つの第１の画像１Ｉが用いられるが、第１の画像１Ｉの数は、３つに限定されず、２つでもよいし、４つ以上でもよい。第１の画像１Ｉが４つ以上の場合、組み合わせの数を４つ以上にすることができる。

実施形態では、１番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を開始時刻とし、２番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を３秒後とし、３番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を６秒後としている。しかしながら、上述した短い期間内（１０秒間程度）であれば、これに限定されない。例えば、２番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を４秒後とし、３番目の第１の画像１Ｉが抽出された赤外画像の撮像時刻を８秒後としてもよい。

（実施形態の纏め）
実施形態の第１態様に係るガス検知用画像処理装置は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理部と、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定部と、前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定部と、を備える。

領域像は、ガスが出現した場合に発生する以外に、上述した場合（赤外画像を撮像するカメラが、背景に空が含まれる角度で設置されており、移動する雲が撮像された場合）にも発生する。

領域像は、ガスが出現している領域を示す像の可能性もあるし、移動する雲を示す像の可能性もある。領域像が移動する雲を示す像の場合、時系列で見れば、領域像は移動している。

雲の移動は、短い期間（例えば、１０秒間程度）で見た場合、地上から観察すると、雲の形状をほとんど変化させず、かつ、ほぼ一定の速度である。よって、領域像が移動する雲を示す像の場合、短い期間で見ると、領域像は、その形状をほとんど変化させないで、ほぼ一定の速度で移動する。従って、領域像の移動が考慮されて、２つの第１の画像の類似度が算出されると、類似度は比較的高くなる。なお、移動しない雲も赤外画像としては撮像されるが、温度変化を生じないため、ガスとして間違えて検知されることはない。

これに対して、領域像が、配管などの決まったところから漏洩したガスが出現している領域を示す像の場合、ガスは同じ箇所から漏れているので、時系列で見れば、領域像は移動しないことが多い。ガスは不規則にゆらぐので、領域像が移動する雲を示す像の場合と比べて、２つの第１の画像の類似度は低い。

以上より、下記（１）及び（２）の条件が満たされていれば、領域像は、ガスが出現している領域を示す像でなく、移動する雲を示す像である可能性が高いので、ガス候補がガスでない可能性が高い。
（１）領域像が移動している。
（２）領域像の移動が考慮されて、２つの第１の画像の類似度が算出されたとき、類似度が比較的高い。

決定部は、２つの第１の画像を基にして領域像の移動方向を決定するとともに、決定した移動方向へ領域像が移動することを考慮して、２つの第１の画像の類似度を決定する。この決定がされた類似度が、ガス候補がガスか否かの判定に用いられる判定用類似度となる。好ましくは、決定部は、２つの第１の画像の位置関係を変えながら、２つの第１の画像の類似度を算出することにより、複数の類似度を取得し、複数の類似度の中から判定用類似度を決定する。複数の類似度のうち、高い類似度が判定用類似度となる。例えば、決定部は、複数の類似度のうち、最大の類似度を判定用類似度として決定する。最大の類似度に限らず、例えば、２番目に高い類似度や３番目に高い類似度が、判定用類似度として決定されてもよい。

決定部は、例えば、正規化相互相関、又は、ゼロ平均正規化相互相関を用いて類似度を算出する。

判定部は、上記決定がされた類似度（すなわち、判定用類似度）、及び、領域像が移動しているか否かを基にして、ガス候補がガスか否かを判定する。例えば、判定部は、判定用類似度が比較的高く、かつ、領域像が移動している場合、領域像が移動する雲を示す像と見なし、ガス候補がガスでないと判定する。判定部は、例えば、判定用類似度が所定のしきい値を超えているとき、判定用類似度が比較的高いと判定する。

移動する雲を例にして説明したが、形状をほとんど変えず、かつ、ほぼ一定の速度で移動する被写体についても、同じことが言える。以上説明したように、実施形態の第１態様に係るガス検知用画像処理装置によれば、ガスの検知精度を向上させることができる。

なお、複数の第１の画像の数は、２つでもよいし、３つ以上でもよい。第１の画像の数が３つ以上の場合、後で説明するように、領域像の移動方向の同一性を判定することができる。

上記構成において、前記処理部は、異なる３以上の時刻で撮像された３以上の前記赤外画像のそれぞれに関して、前記第１の処理をして、３以上の前記第１の画像を取得し、前記判定部は、３以上の前記第１の画像の中から２つの前記第１の画像が組み合わされて構成される複数組について、各組での前記領域像の移動方向が同一性を有するか否かを、前記ガス候補がガスか否かを判定する条件に加える。

上述した短い期間中に風向きが大きく変化しなければ、領域像の移動方向は、同一性を有する。同一性とは、領域像の移動方向が同一、又は、ほぼ同一を意味する。例えば、０秒から３秒までの期間での領域像の移動方向と、０秒から６秒までの期間での領域像の移動方向とが、同一、又は、ほぼ同一の場合、領域像の移動方向は同一性を有する。

上記決定がされた類似度（判定用類似度）が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、領域像が移動する雲を示す像である可能性がかなり高くなる。そこで、例えば、判定部は、判定用類似度が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、ガス候補がガスでないと判定する。判定部は、領域像の移動方向の同一性を、ガス候補がガスか否かを判定する条件に加えることにより、ガスの検知精度をさらに向上させることができる。なお、判定部は、例えば、判定用類似度が所定のしきい値を超えているとき、判定用類似度が比較的高いと判定する。

上記構成において、前記判定部は、前記複数組のそれぞれの類似度（判定用類似度）を、前記ガス候補がガスか否かを判定する条件に加える。

複数組のそれぞれの判定用類似度が比較的高い場合は、複数組のうち、いずれか１つ以上の組の判定用類似度が比較的高くない場合と比べて、領域像が移動する雲を示す像である可能性が高い。判定部は、例えば、複数組のそれぞれの判定用類似度が比較的高く、かつ、領域像が移動しており、かつ、領域像の移動方向が同一性を有する場合、ガス候補がガスでないと判定する。判定部は、複数組のそれぞれの判定用類似度を、ガス候補がガスか否かを判定する条件に加えることにより、ガスの検知精度をさらに向上させることができる。

複数組のそれぞれの判定用類似度の決定の仕方について説明する。決定部は、複数組を、１つの組である第１の組と残りの組とに分ける。残りの組は、１つでもよいし、２つ以上でもよい。決定部は、第１の組を構成する２つの第１の画像を基にして、第１の組での領域像の移動方向を決定し、決定した移動方向の位置関係で算出された類似度（第１の組を構成する２つの第１の画像の類似度）を、第１の組の判定用類似度として決定する。決定部は、第１の組での領域像の移動方向を残りの組での領域像の移動方向と決定し、決定した移動方向の位置関係で算出された類似度（残りの組を構成する２つの第１の画像の類似度）を、残りの組の判定用類似度として決定する。なお、決定部は、残りの組の判定用類似度を、第１の組の判定用類似度と同じ方法で決定してもよい。例えば、第２の組で説明すると、決定部は、第２の組を構成する２つの第１の画像を基にして、第２の組での領域像の移動方向を決定し、決定した移動方向の位置関係で算出された類似度（第２の組を構成する２つの第１の画像の類似度）を、第２の組の判定用類似度として決定する。

上記構成において、前記処理部は、前記赤外画像に対して、前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記領域像を含む前記所定領域を設定し、前記所定領域を前記第１の画像として取得する。

この構成は、赤外画像の全体に対して、領域像（すなわち、ガス候補が出現している領域を示す像）を抽出する処理をする。領域像の抽出の仕方は、これに限定されず、赤外画像の一部に対して、領域像を抽出する処理がされてもよい。これを以下に示す。

上記構成において、入力部をさらに備え、前記処理部は、前記入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する。

この構成は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。この構成によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、領域像を抽出する処理をするので、画像処理量を減らすことができる。

実施形態の第２態様に係るガス検知用画像処理方法は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、を備える。

実施形態の第２態様に係るガス検知用画像処理方法は、実施形態の第１態様に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。

実施形態の第３態様に係るガス検知用画像処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、２つの前記第１の画像を基にして前記領域像の移動方向を決定するとともに、決定した前記移動方向へ前記領域像が移動することを考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、をコンピュータに実行させる。

実施形態の第３態様に係るガス検知用画像処理プログラムは、実施形態の第１態様に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。

本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。

明細書、クレーム、図面、及び要約を含む、２０１６年１２月２７日に提出された日本国特許出願特願２０１６−２５２２７０は、その全体の開示が、その全体において参照によりここに組み込まれる。

本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することができる。

Claims (9)

1. 赤外画像から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理部と、
   ２つの前記第１の画像における前記領域像の移動を考慮して、２つの前記第１の画像の類似度を決定する決定部と、
   前記決定部が決定した前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定部と、を備える、ガス検知用画像処理装置。
2. 前記判定部は、前記類似度が所定のしきい値よりも高く、かつ、前記領域像が移動している場合、前記ガス候補がガスでないと判定する、請求項１に記載のガス検知用画像処理装置。
3. 前記処理部は、異なる３以上の時刻で撮像された３以上の前記赤外画像のそれぞれに関して、前記第１の処理をして、３以上の前記第１の画像を取得し、
   前記判定部は、３以上の前記第１の画像の中から２つの前記第１の画像が組み合わされて構成される複数組について、各組での前記領域像の移動方向が同一性を有するか否かを、前記ガス候補がガスか否かを判定する条件に加える、請求項１又は２に記載のガス検知用画像処理装置。
4. 前記判定部は、前記複数組のそれぞれの前記類似度を、前記ガス候補がガスか否かを判定する条件に加える、請求項３に記載のガス検知用画像処理装置。
5. 前記処理部は、前記赤外画像に対して、前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記領域像を含む所定領域を設定し、前記所定領域を前記第１の画像として取得する、請求項１〜４のいずれか一項に記載のガス検知用画像処理装置。
6. 入力部をさらに備え、
   前記処理部は、前記入力部が操作されて、前記赤外画像に所定領域が設定されたとき、前記所定領域に対して前記領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する、請求項１〜４のいずれか一項に記載のガス検知用画像処理装置。
7. 前記決定部は、正規化相互相関、又は、ゼロ平均正規化相互相関を用いて前記類似度を算出する、請求項１〜６のいずれか一項に記載のガス検知用画像処理装置。
8. 赤外画像から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、
   ２つの前記第１の画像における前記領域像の移動を考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、
   前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、を備える、ガス検知用画像処理方法。
9. 赤外画像から抽出された、ガス候補が出現している領域を示す領域像を含む第１の画像を取得する第１の処理を、異なる複数の時刻で撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する処理ステップと、
   ２つの前記第１の画像における前記領域像の移動を考慮して、２つの前記第１の画像の類似度を決定する決定ステップと、
   前記決定ステップで決定された前記類似度、及び、前記領域像が移動しているか否かを基にして、前記ガス候補がガスか否かを判定する判定ステップと、をコンピュータに実行させるガス検知用画像処理プログラム。

Images