以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し(例えば、第1の画像1I)、個別の構成を指す場合には添え字を付した参照符号で示す(例えば、第1の画像1I−1)。
図1Aは、実施形態に係るガス検知システム1の構成を示すブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス検知用画像処理装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、表示部11及び入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、及び、HDD(Hard Disk Drive)等によって実現され、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、第1の処理部91、第2の処理部92、算出部93、及び、判定部94を備える。これらについては、後で説明する。
表示制御部10は、CPU、RAM、ROM及びHDD等によって実現され、動画データMDで示される画像等を、表示部11に表示させる。表示部11は、例えば、液晶ディスプレイにより実現される。
入力部12は、キーボード、タッチパネル等により実現され、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置3は、表示制御部10、表示部11及び入力部12を備えるが、これらを備えないガス検知用画像処理装置3でもよい。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU3a、RAM3b、ROM3c、HDD3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、表示部11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、画像(例えば、動画データMDで示される動画)を表示部11に表示させる表示制御プログラムである。これらのプログラムは、HDD3dの替わりにROM3cに格納しても良い。
CPU3aは、処理プログラム及び表示制御プログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されても良い。
なお、ガス検知用画像処理装置3は、次に説明するように、第1態様から第3態様がある。これらの態様は、それぞれ、複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス検知用画像処理装置3の第1態様は、要素として、第1の処理部91、第2の処理部92、算出部93、及び、判定部94を含む。HDD3dには、第1の処理部91、第2の処理部92、算出部93、判定部94のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1の処理プログラム、第2の処理プログラム、算出プログラム、判定プログラムと表現される。
第1の処理プログラムを記憶しているHDDと、第2の処理プログラムを記憶しているHDDと、算出プログラムを記憶しているHDDと、判定プログラムを記憶しているHDDと、が互いに異なっていてもよい。この場合、第1の処理プログラムを記憶しているHDDを有するサーバと、第2の処理プログラムを記憶しているHDDを有するサーバと、算出プログラムを記憶しているHDDを有するサーバと、判定プログラムを記憶しているHDDを有するサーバとが、ネットワーク(例えば、インターネット)を介して接続されていてもよい。又は、少なくとも一つのHDDが、USBポートなどに接続された外付けHDDでもよいし、ネットワーク対応のHDD(NAS:Network Attached Storage)でもよい。これらのプログラムの少なくとも二以上を同じHDDに記憶させ、残りのプログラムを、このHDDと異なるHDDに記憶させてもよい(例えば、第1の処理プログラム及び第2の処理プログラムを第1のHDDに記憶させ、算出プログラムを第2のHDDに記憶させ、判定プログラムを第3のHDDに記憶させる)。
これらのプログラムは、要素の定義を用いて表現される。第1の処理部及び第1の処理プログラムを例にして説明する。第1の処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第1の領域像を含む第1の画像を取得する第1の処理を、所定期間において時系列に撮像された複数の赤外画像のそれぞれに関して実行し、複数の第1の画像を取得する。第1の処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第1の領域像を含む第1の画像を取得する第1の処理を、所定期間において時系列に撮像された複数の赤外画像のそれぞれに関して実行し、複数の第1の画像を取得するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1の処理プログラム、第2の処理プログラム、算出プログラム、判定プログラム)のフローチャートが、後で説明する図15である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス検知用画像処理装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画を表示部11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)を表示部11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くなるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部11に表示させることができる。
蒸気が原因となるガスの誤検知について説明する。図12は、赤外画像から切り出された画像100を示す画像図である。画像100には、塔の像101が含まれる。熱源からの熱が、塔の表面(反射面)で反射されている。塔の表面は、曲面を有する。熱源から塔の途中に蒸気が存在している。塔の付近には、ガスが出現しておらず、塔の表面上の1つ地点SP3には、ガスが存在しない。地点SP3は、画像100の一つの画素と対応する。
図13は、地点SP3の温度変化を示すグラフである。グラフの横軸及び縦軸は、図4Aのグラフの横軸及び縦軸と同じである。フレームレートは、30fpsなので、10秒間の温度変化のグラフが示されている。図4A及び図13を参照して、地点SP3の温度変化と、ガスが漏れている地点SP1の温度変化とは、温度が細かく変化している点で共通している。
図14は、地点SP3の温度変化を示す時系列画素データD1を基にして生成された差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分を示している。この差分データD8は、地点SP3の温度変化を示す時系列画素データD1に対して、図5に示すステップS2〜ステップS8の処理がされて生成される。
図9を参照して、ガスが出ている期間の差分データD8は、ガスが出ていない期間の差分データD8と比べて大きい。図14に示す差分データD8は、ガスが出ている期間の差分データD8と同様に大きい。従って、図14に示す差分データD8が得られた場合、ガス検知用画像処理装置3は、ガスと誤検知する可能性がある。
熱源から反射面の途中に蒸気が存在する場合を例にして説明したが、光源から反射面の途中に蒸気が存在する場合も同様となる。また、蒸気が存在しなくても、熱源、光源がゆらぐ場合も同様となる。実施形態は、このような場合とガスが出現している場合とを区別できるようにしている。実施形態には、第1態様から第3態様がある。第1態様から説明する。図15は、実施形態の第1態様で実行される処理のフローチャートである。
図1A及び図15を参照して、第1の処理部91は、動画データMDを基にして、監視画像の動画を生成する(ステップS100)。詳しく説明すると、第1の処理部91は、動画データMDに対して、図5に示すステップS1〜ステップS9の処理をする。これにより、動画を構成する各フレームは、赤外画像から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図10に示す画像I12、図11に示す画像I15である。ガス候補が出現していれば、ガス候補が出現している領域を示す第1の領域像が、監視画像に含まれる。ガスが出現している領域を示す像(以下、ガス領域像)が、第1の領域像になることもあるし、上記場合が原因で発生する像(以下、非ガス領域像)が、第1の領域像になることもある。画像I15は、ガス噴出の開始から2秒後の画像である。画像I15の中央付近に位置する白領域が第1の領域像である。ここでは、第1の領域像は、ガス領域像である。
実施形態では、ステップS1〜ステップS9の処理で第1の領域像を得ているが、赤外画像に対して画像処理でガス領域像を得る公知の技術(例えば、特許文献1に開示された画像処理)を用いて第1の領域像を得ても良い。
以上説明したように、ステップS100の処理は、赤外画像に対して、第1の領域像を抽出する処理である。第1の領域像を抽出する処理がされた赤外画像が、監視画像である。
ステップS100で生成された動画を構成する各フレーム(各監視画像)に、第1の領域像が含まれているとする。第1の処理部91は、第1の領域像を含む所定領域を各監視画像に設定し、所定領域を第1の画像として取得する(ステップS101)。すなわち、第1の処理部91は、第1の領域像を抽出する処理がされた各赤外画像に、第1の領域像を含む所定領域を設定し、所定領域を第1の画像として取得する。
図16は、熱源から反射面の途中に蒸気が存在する場合に、実施形態の第1態様によって生成された第1の画像1Iと第2の画像2Iとを説明する説明図である。図16は、監視画像から切り出された第1の画像1Iが示されている。第1の処理部91が、監視画像から第1の画像1Iを自動で切り出してもよいし、ユーザーが、ガス検知システム1を実際に動作させ、ガスと誤認識する反射が発生する領域を確認し、マニュアルで切り出してもよい。後者の場合、ユーザーが、第1の画像1Iに第1の領域像1iが含まれるように、第1の画像1Iのサイズを決定する。この決定されたサイズが、第1の処理部91に予め記憶されている。前者の場合、第1の処理部91が、例えば、図10及び図11に示す監視画像を2値化した後(すなわち、例えば、図9に示す差分データD8及び図14に示す差分データD8を所定のしきい値(例えば、0.02)で2値化した後)、ラベリング処理をして、自動で切り出す。
ステップS100で生成された動画が、例えば、10秒間の動画とする。図16に示す各第1の画像1Iは、その動画を構成する各フレーム(各監視画像)に設定された第1の画像1Iである。例えば、第1の画像1I−1は、1番目の監視画像に設定された第1の画像1Iであり、第1の画像1I−2は、2番目の監視画像に設定された第1の画像1Iであり、第1の画像1I−3は、3番目の監視画像に設定された第1の画像1Iであり、第1の画像1I−4は、N番目の監視画像に設定された第1の画像1Iであり、第1の画像1I−5は、N+1番目の監視画像に設定された第1の画像1Iであり、第1の画像1I−6は、N+2番目の監視画像に設定された第1の画像1Iである。
第1の画像1Iは、監視画像の一部であり、矩形形状を有する。第1の画像1Iの形状は、矩形形状に限定されない。第1の画像1Iを構成する各画素の値は、標準偏差の差分である。第1の画像1Iにおいて、黒画素以外の画素で構成される像が第1の領域像1iである。第1の領域像1iは、常に同じ形状でなく、時間の経過により変化する。これは、熱源から反射面の途中に蒸気が存在するからである。
以上説明したように、第1の処理部91は、2つの所定期間(0秒〜5秒、5秒〜10秒)のそれぞれにおいて、時系列に撮像された複数の赤外画像に関して、第1の処理をする(ステップS100及びステップS101)。第1の処理とは、赤外画像の所定領域から抽出された第1の領域像1iを含む第1の画像1Iを取得する処理である。第1の処理部91は、所定期間(0〜5秒)において時系列に撮像された複数の赤外画像のそれぞれに関して、第1の処理をして、複数の第1の画像1I(第1の画像1I−1、第1の画像1I−2、第1の画像1I−3、・・・)を取得し、所定期間(5〜10秒)において時系列に撮像された複数の赤外画像のそれぞれに関して、第1の処理をして、複数の第1の画像1I(第1の画像1I−4、第1の画像1I−5、第1の画像1I−6、・・・)を取得する。
実施形態の第1態様において、第1の処理部91は、各赤外画像に対して、第1の領域像1iを抽出する処理をし(ステップS100)、この処理がされた各赤外画像に、第1の領域像1iを含む所定領域を設定し、所定領域を第1の画像1Iとして取得している(ステップS101)。しかしながら、変形例として、ユーザーが赤外画像に予め所定領域を設定してもよい。変形例は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。詳しく説明すると、図1Aを参照して、入力部12は、第1の入力部として機能する。表示制御部10は、動画データMDで示される動画(赤外画像の動画)を表示部11に表示させている。ユーザーは、入力部12を操作して、表示部11に表示されている赤外画像に所定領域を設定する。
第1の処理部91は、入力部12が操作されて、赤外画像に所定領域が設定されたとき、赤外画像の全体に対して第1の領域像1iを抽出する処理をするのではなく、その所定領域に対して第1の領域像1iを抽出する処理をする。第1の処理部91は、この処理がされた所定領域を第1の画像1Iとして取得する。
変形例によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、第1の領域像1iを抽出する処理をするので、画像処理量を減らすことができる。変形例は、後で説明する実施形態の第2態様及び第3態様にも適用できる。
実施形態の第1態様の説明に戻る。第2の処理部92は、2つの第2の画像2I−1,2I−2を生成する(ステップS102)。第2の処理部92は、例えば、0〜5秒間(所定期間)の動画を構成する各フレーム(各監視画像)から取得された複数の第1の画像1I(第1の画像1I−1、第1の画像1I−2、第1の画像1I−3、・・・)を用いて、第2の画像2I−1を生成する。詳しく説明すると、第2の処理部92は、複数の第1の画像1Iにおいて、同じ順番に位置する画素の中から、画素が示す値(ここでは、標準偏差の差分)の最大値を決定する。第2の処理部92は、この最大値を、第2の画像2I−1の上記順番に位置する画素の値とする。具体的に説明すると、第2の処理部92は、複数の第1の画像1Iにおいて、1番目の画素が示す値の最大値を決定し、この値を、第2の画像2I−1の1番目の画素の値とする。第2の処理部92は、複数の第1の画像1Iにおいて、2番目の画素が示す値の最大値を決定し、この値を、第2の画像2I−1の2番目の画素の値とする。第2の処理部92は、3番目以降の画素についても同様の処理をする。
このようにして、第2の画像2I−1を構成する画素の値を定めると、第2の画像2I−1に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像(第2の領域像2i)になることが分かった。このことは、後で説明する第2の画像2I−2〜第2の画像2I−6についても言えることである。実施形態の第1態様では、同じ順番に位置する画素の最大値を用いて、第2の画像2Iを生成している。第2の画像2Iの生成方法は、これ以外もあり、後で説明する実施形態の第2態様では、別の方法で第2の画像2Iを生成している。
第2の処理部92は、例えば、5〜10秒間(所定期間)の動画を構成する各フレーム(各監視画像)から取得された複数の第1の画像1I(第1の画像1I−4、第1の画像1I−5、第1の画像1I−6、・・・)を用いて、第2の画像2I−2を生成する。第2の画像2I−2の生成方法は、第2の画像2I−1の生成方法と同じなので、説明を省略する。
以上説明したように、第2の処理部92は、2つの所定期間(0〜5秒間、5〜10秒間)のそれぞれに対応して生成された複数の第1の画像1Iに第2の処理をして、2つの第2の画像2I−1,2I−2を生成する。第2の処理は、所定期間の少なくとも一部にガス候補が出現していた領域を示す第2の領域像2iを含む第2の画像2Iを、複数の第1の画像1Iを用いて生成する処理である。
算出部93は、式1を用いて、第2の画像2I−1と第2の画像2I−2との類似度を算出する(ステップS103)。式1は、正規化相互相関(NCC:Normalized Cross Correlation)を示している。
I(i,j)は、第2の画像2I−1上の座標を示す。T(i,j)は、第2の画像2I−2上の座標を示す。iは、x方向の座標値を示す。jは、y方向の座標値を示す。Mは、第2の画像2Iのx方向の画素数を示す。Nは、第2の画像2Iのy方向の画素数を示す。
正規化相互相関は、−1から+1の範囲の値である。第2の画像2I−1と第2の画像2I−2との相関性がない場合、正規化相互相関は、0となる。第2の画像2I−1と第2の画像2I−2とが、正の相関性が強くなるに従って、正規化相互相関は、+1に近づく。第2の画像2I−1と第2の画像2I−2とが、負の相関性が強くなるに従って、正規化相互相関は、−1に近づく。正規化相互相関が、+1に近づくに従って、第2の画像2I−1と第2の画像2I−2との類似度が高くなる。第2の画像2I−1と第2の画像2I−2との類似度は、0.979である。
図17は、ガスが出現している場合に、実施形態の第1態様によって生成された第1の画像1Iと第2の画像2Iとを説明する説明図である。図17に示す各第1の画像1Iは、図16と同じく、10秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1Iである。
第2の画像2I−3は、0〜5秒間の動画を構成する各フレーム(各監視画像)から取得された複数の第1の画像1I(第1の画像1I−7、第1の画像1I−8、第1の画像1I−9、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−4は、5〜10秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1I(第1の画像1I−10、第1の画像1I−11、第1の画像1I−12、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−3と第2の画像2I−4との類似度は、0.855である。
光源から反射面の途中に蒸気が存在する場合の類似度について説明する。光源は、太陽であり、反射面は、塔の表面である。図18は、赤外画像から切り出された画像102を示す画像図である。画像102に塔の像が含まれている。光源から塔の途中に蒸気が存在している。
図19は、光源から反射面の途中に蒸気が存在する場合に、実施形態の第1態様によって生成された第1の画像1Iと第2の画像2Iとを説明する説明図である。図19に示す各第1の画像1Iは、図16と同じく、10秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1Iである。
第2の画像2I−5は、0〜5秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1I(第1の画像1I−13、第1の画像1I−14、第1の画像1I−15、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−6は、5〜10秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1I(第1の画像1I−16、第1の画像1I−17、第1の画像1I−18、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−5と第2の画像2I−6との類似度は、0.917である。
図16、図17及び図19を参照して、類似度のしきい値が、例えば、0.900にすれば、ガス候補について、ガスか否かが識別できることが分かる。判定部94は、類似度を、しきい値(例えば、0.900)と比較し、類似度がしきい値を超えていれば、ガス候補をガスでないと判定し、類似度がしきい値以下であれば、ガス候補をガスと判定する(ステップS104)。
以上説明したように、実施形態の第1態様によれば、2つの第2の画像2Iを生成し、これらの第2の画像2Iの類似度を基にして、ガス候補がガスか否かを判定するので、ガス検知の精度を向上させることができる。
2つの所定期間の長さが、それぞれ5秒間を例に説明したが、5秒間に限定されない(例えば、10秒間)。2つの所定期間の長さは、同じでもよいし、異なっていてもよい。
実施形態の第2態様を説明する。実施形態の第2態様では、実施形態の第1態様と別の方法で第2の画像2Iを生成する。図20は、実施形態の第2態様で実行される処理のフローチャートである。図1A及び図20を参照して、第1の処理部91は、動画データMDを基にして、監視画像の動画を生成する(ステップS200)。これは、図15に示すステップS100と同じなので、説明を省略する。
第1の処理部91は、ステップS200で生成された動画を構成する各フレーム(各監視画像)を二値化処理する(ステップS201)。この処理で用いられるしきい値について説明する。図21は、図14に示すグラフにしきい値を追加したグラフである。このグラフは、ガスが出現していない箇所(地点SP3)と対応する画素の値の変化を示すグラフである。このグラフは、差分データD8を示している。フレームレートは、30fpsなので、10秒間の差分データD8が示されている。このグラフの差分データD8は、常に、0.02より大きい。そこで、ここでは、二値化処理のしきい値を0.02とする。
ステップS201で二値化処理された動画を構成する各フレーム(各二値化画像)に、ガス候補が出現している領域を示す第1の領域像1iが含まれているとする。図22は、熱源から反射面の途中に蒸気が存在する場合に、実施形態の第2態様によって生成された第1の画像1Iと第2の画像2Iとを説明する説明図である。反射面は、塔の表面である。
第1の処理部91は、第1態様のステップS101と同様の処理によって、10秒間の動画を構成する各フレーム(各二値化画像)から第1の画像1Iを取得する(ステップS202)。
第2の処理部92は、2つの第2の画像2I−7,2I−8を生成する(ステップS203)。第2の処理部92は、例えば、0〜5秒間(所定期間)の動画を構成する各フレーム(各二値化画像)から取得された複数の第1の画像1I(第1の画像1I−19、第1の画像1I−20、第1の画像1I−21、・・・)を用いて、第2の画像2I−7を生成する。詳しく説明すると、第1の領域像1iを構成する画素を白画素とし、この像以外を黒画素とする。第2の処理部92は、複数の第1の画像1Iにおいて、同じ順番の画素の中に、白画素が少なくとも一つ存在すれば、第2の画像2I−7において、上記順番に位置する画素を白画素とする。具体的に説明すると、第2の処理部92は、複数の第1の画像1Iにおいて、1番目の画素のうち、白画素が少なくとも一つ存在すれば、第2の画像2I−7において、1番目の画素を白画素とする。第2の処理部92は、複数の第1の画像1Iにおいて、2番目の画素のうち、白画素が少なくとも一つ存在すれば、第2の画像2I−7において、2番目の画素を白画素とする。第2の処理部92は、3番目以降の画素についても同様の処理をする。
このようにして、第2の画像2I−7を構成する画素の値を定めると、第2の画像2I−7に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像(第2の領域像2i)になることが分かった。このことは、後で説明する第2の画像2I−8〜第2の画像2I−10についても言えることである。
第2の処理部92は、例えば、5〜10秒間(所定期間)の動画を構成する各フレーム(各二値化画像)から取得された複数の第1の画像1I(第1の画像1I−22、第1の画像1I−23、第1の画像1I−24、・・・)を用いて、第2の画像2I−8を生成する。第2の画像2I−8の生成方法は、第2の画像2I−7の生成方法と同じなので、説明を省略する。
算出部93は、式2を用いて、第2の画像2I−7と第2の画像2I−8との類似度を算出する(ステップS204)。
式2は、第2の画像2I−7と第2の画像2I−8とにおいて、同じ順番に位置する画素が一致している割合を示している。式2について詳しく説明する。第2の画像2Iは、二値化画像である。算出部93は、第2の画像2I−7と第2の画像2I−8とにおいて、同じ順番に位置する画素が一致するか否かを判定する。一方が黒画素であり、他方が白画素であれば、画素は一致していない。この順番に位置する画素は、一致画素ではない。両方が白画素であれば、画素は一致している。この順番に位置する画素は、一致画素である。両方が黒画素であれば、画素は一致している。この順番に位置する画素は、一致画素である。
式2の全画素数とは、一つの第2の画像2Iの画素数である。一致画素数とは、一致画素の合計である。第2の画像2I−7と第2の画像2I−8との類似度は、0.97である。
図23は、ガスが出現している場合に、実施形態の第2態様によって生成された第1の画像1Iと第2の画像2Iとを説明する説明図である。図23に示す各第1の画像1Iは、図16と同じく、10秒間の動画を構成する各フレーム(各監視画像)から取得された第1の画像1Iである。
第2の画像2I−9は、0〜5秒間の動画を構成する各フレーム(各2値化画像)から取得された複数の第1の画像1I(第1の画像1I−25、第1の画像1I−26、第1の画像1I−27、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−10は、5〜10秒間の動画を構成する各フレーム(各2値化画像)から取得された第1の画像1I(第1の画像1I−28、第1の画像1I−29、第1の画像1I−30、・・・)を用いて生成された第2の画像2Iである。第2の画像2I−9と第2の画像2I−10との類似度は、0.69である。
図22及び図23を参照して、類似度のしきい値が、例えば、0.90にすれば、ガス候補について、ガスか否かを識別できることが分かる。判定部94は、類似度をしきい値(例えば、0.90)と比較し、類似度がしきい値を超えていれば、ガス候補をガスでないと判定し、類似度がしきい値以下であれば、ガス候補をガスであると判定する(ステップS205)。
実施形態の第2態様では、式2を用いて類似度を算出しているが、式1を用いて類似度を算出してもよい。
実施形態の第3態様を説明する。実施形態の第1態様及び第2態様は、第2の画像2Iの類似度がしきい値を超えていれば、ガス候補がガスでないと判定している。第3態様は、ガス候補がガスか否かの判定精度をさらに高めるために、類似度に加えて、以下の判定処理をする。
図1を参照して、入力部12は、第2の入力部として機能する。光及び熱の少なくとも一方を反射する可能性がある反射面の範囲を、ユーザーが、入力部12を操作して、赤外画像に予め設定する。反射面は、例えば、塔の表面である。図24は、反射面の範囲104が設定された赤外画像103を示す画像図である。塔の像101に、反射面の範囲104が設定されている。反射面の範囲104は、動画データMDで示される動画を構成する各フレームに設定される(各赤外画像に設定される)。図25は、図24に示す赤外画像103から生成された第1の画像1Iを示す画像図である。
判定部94は、第1の画像1Iに含まれる第1の領域像1iが、反射面の範囲104からはみ出しているか否かを判定する。判定部94は、第1の領域像1Iが、反射面の範囲104からはみ出しているか否か、及び、第2の画像2Iの類似度を基にして、ガス候補がガスか否かを判定する。類似度は、第1態様で算出された類似度でもよいし(図15のステップS103)、第2態様で算出された類似度でもよい(図20のステップS204)。
ガスの場合、ガスのゆらぎが小さくても、第1の領域像1iが反射面の範囲104を超える可能性がある。反射の場合、第1の領域像1iが反射面の範囲104を超えない。よって、第1の領域像1iが反射面の範囲104を超える場合、ガス候補がガスである可能性がある。
ガスのゆらぎが小さい場合、第2の画像2Iの類似度が比較的高くなるので、第2の画像2Iの類似度だけでは、ガス候補がガスか否かの識別が難しくなる。そこで、実施形態の第3態様は、第2の画像2Iの類似度、及び、第1の領域像1iが反射面の範囲104からはみ出しているか否かを基にして、ガス候補がガスか否かを判定する。従って、実施形態の第3態様によれば、ガス検知の精度をより高めることができる。
判定部94が、第1の領域像1iが反射面の範囲104を超えているか否かを監視する監視期間(言い換えれば、第1の領域像1iが反射面の範囲104を超えているか否かの判定対象となる第1の画像1Iの数)は、任意である。例えば、判定部94は、監視期間を、2つの所定期間(0〜5秒、5秒〜10秒)と並行させてもよい。この場合は、監視期間が10秒となる。監視期間が長いほど、ゆらぎが小さいガスと反射との区別の精度を高めることができる。監視時間が短ければ、ガスが出現している場合でも第1の領域像1iが反射面の範囲104を超えない可能性があるからである。
また、判定部94は、第2の画像2Iの類似度がしきい値を超えており、かつ、10秒間の監視期間で第1の領域像1iが反射面の範囲104を超えていないとき、ガス候補は反射が原因で発生した可能性が高いと判定する。そして、判定部94は、その監視期間より長い期間(例えば、1分間)において、第1の領域像1iが反射面の範囲104を超えていないとき、ガス候補は反射が原因で発生したと確定してもよい。
(実施形態の纏め)
実施形態の第1態様に係るガス検知用画像処理装置は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第1の領域像を含む第1の画像を取得する第1の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第1の画像を取得する第1の処理部と、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第2の領域像を含む第2の画像を、複数の前記第1の画像を用いて生成する第2の処理をする第2の処理部と、を備える。前記第1の処理部は、2以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第1の処理をする。前記第2の処理部は、2以上の前記所定期間のそれぞれに対応して生成された複数の前記第1の画像に前記第2の処理をして、2以上の前記第2の画像を生成する。実施形態の第1態様に係るガス検知用画像処理装置は、さらに、2以上の前記第2の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定部を備える。
第1の領域像は、ガスが出現した場合に発生する以外に、上述した(1)〜(4)の場合(例えば、熱源から反射面の途中に蒸気等が存在する)にも発生する。
第2の画像に含まれる第2の領域像は、所定期間の少なくとも一部において、ガス候補が出現していた領域を示す像である。所定期間の少なくとも一部とは、所定期間が、例えば、5秒間としたとき、所定期間の全期間(5秒間)でもよいし、所定期間の一部(例えば、1秒間)でもよい。
本発明者は、ガスが出現している場合、第2の画像どうしは類似度が比較的低く、(1)〜(4)が原因の場合、第2の画像どうしの類似度が比較的高くなることを見出した。詳しく説明すると、所定期間において、上述した(1)〜(4)が原因となる反射が発生している場合、所定期間の個々の時刻どうしを比較すると、反射している箇所が異なる。すなわち、(1)〜(4)が原因で第1の領域像が発生している場合、第1の画像どうしの類似度は比較的低い。所定期間の全体どうしを比較すると、反射している箇所が似ている。すなわち、(1)〜(4)の場合、第2の画像どうしの類似度は比較的高い。
ガスは、不規則にゆらぐ。所定期間においてガスが出現している場合、所定期間の個々の時刻どうしを比較すると、ガスが出現している箇所が異なる。すなわち、ガスの出現が原因で第1の領域像が発生している場合、第1の画像どうしの類似度は比較的低い。これは、反射の場合と同様である。所定期間の全体どうしを比較すると、ガスが出現している箇所は似ていない。すなわち、ガスが出現している場合、第2の画像どうしの類似度は比較的低い。
判定部は、2以上の第2の画像の類似度を基にして、ガス候補がガスか否かを判定する。例えば、判定部は、第2の画像が2つの場合、2つの第2の画像の類似度が、所定のしきい値を超えていれば、ガス候補をガスでないと判定し、その類似度が、所定のしきい値以下であれば、ガス候補をガスであると判定する。例えば、判定部は、第2の画像が3つ以上の場合、一つの第2の画像を基準画像として、基準画像と残りの第2の画像との類似度がいずれもしきい値を超えていれば、ガス候補をガスでないと判定し、それらの類似度の少なくとも一つが、所定のしきい値以下であれば、ガス候補をガスであると判定する。
以上説明したように、実施形態の第1態様に係るガス検知用画像処理装置によれば、2以上の第2の画像を生成し、これらの第2の画像の類似度を基にして、ガス候補がガスか否かを判定するので、ガス検知の精度を向上させることができる。
2以上の所定期間は、連続していてもよいし(例えば、ある所定期間が0〜5秒の間、別の所定期間が5秒〜10秒の間)、離れていてもよいし(例えば、ある所定期間が0〜5秒の間、別の所定期間が10秒〜15秒の間)、一部が重複していてもよい(例えば、ある所定期間が0〜5秒の間、別の所定期間が3秒〜8秒の間)。
類似度の表現の仕方は、様々である。例えば、判定部は、正規化相互相関を用いて類似度を算出してもよいし、2値化された2以上の第2の画像において、同じ順番に位置する画素が一致している割合を類似度として算出してもよい。
上記構成において、前記第1の処理部は、前記赤外画像に対して、前記第1の領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記第1の領域像を含む前記所定領域を設定し、前記所定領域を前記第1の画像として取得する。
この構成は、赤外画像の全体に対して、第1の領域像(すなわち、ガス候補が出現している領域を示す像)を抽出する処理をする。第1の領域像の抽出の仕方は、これに限定されず、赤外画像の一部に対して、第1の領域像を抽出する処理がされてもよい。これを以下に示す。
上記構成において、第1の入力部をさらに備え、前記第1の処理部は、前記第1の入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記第1の領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第1の画像として取得する。
この構成は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。この構成によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、第1の領域像を抽出する処理をするので、画像処理量を減らすことができる。
上記構成において、前記第2の処理部は、複数の前記第1の画像において、同じ順番に位置する画素が示す値の最大値を、前記第2の画像の前記順番に位置する画素の値として設定して前記第2の画像を生成する。
この構成によって生成される第2の画像は、第2の画像の第1例である。例えば、複数の第1の画像において、1番目の画素の値の最大値が0.2のとき、第2の画像において、1番目の画素の値が0.2とする。第2の画像の残りの画素の値についても同様にして決められる。このようにして、第2の画像を構成する画素の値を定めると、第2の画像に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像(第2の領域像)になることが分かった。
上記構成において、前記第2の処理部は、複数の前記第1の画像において、所定のしきい値を超えている画素を前記第2の領域像を構成する画素として設定して前記第2の画像を生成する。
この構成によって生成される第2の画像は、第2の画像の第2例である。例えば、複数の第1の画像が2値化され、第1の領域像が白画素で構成されるとする。複数の第1の画像において、同じ順番に位置する画素の少なくとも一つが白画素のとき、第2の画像において、その順番に位置する画素が白画素となる。第2の画像を構成する画素のうち、白画素により第2の領域像が構成される。このようにして、第2の画像を構成する画素の値を定めると、第2の画像に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像(第2の領域像)になることが分かった。
上記構成において、第2の入力部をさらに備え、前記判定部は、前記第2の入力部が操作されて、光及び熱の少なくともいずれか一方を反射する可能性がある反射面の範囲が、複数の前記赤外画像に設定されたとき、前記第1の画像に含まれる前記第1の領域像が、前記範囲からはみ出しているか否かを判定し、前記判定部は、前記範囲からはみ出しているか否か、及び、前記類似度を基にして、前記ガス候補がガスか否かを判定する。
この構成は、光及び熱の少なくともいずれか一方を反射する可能性がある反射面の範囲を、ユーザーが赤外画像に予め設定する。この範囲は、例えば、塔の像の範囲、配管の像の範囲である。ガスの場合、ガスのゆらぎが小さくても、第1の領域像が反射面の範囲を超える可能性がある。反射の場合、第1の領域像が反射面の範囲を超えない。よって、第1の領域像が反射面の範囲を超える場合、ガス候補がガスである可能性がある。
ガスのゆらぎが小さい場合、第2の画像の類似度が比較的高くなるので、第2の画像の類似度だけでは、ガス候補がガスか否かの識別が難しくなる。そこで、この構成は、第2の画像の類似度、及び、第1の領域像が反射面の範囲からはみ出しているか否かを基にして、ガス候補がガスか否かを判定する。従って、この構成によれば、ガス検知の精度をより高めることができる。
実施形態の第2態様に係るガス検知用画像処理方法は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第1の領域像を含む第1の画像を取得する第1の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第1の画像を取得する第1の処理ステップと、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第2の領域像を含む第2の画像を、複数の前記第1の画像を用いて生成する第2の処理をする第2の処理ステップと、を備える。前記第1の処理ステップは、2以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第1の処理をする。前記第2の処理ステップは、2以上の前記所定期間のそれぞれに対応して生成された複数の前記第1の画像に前記第2の処理をして、2以上の前記第2の画像を生成する。実施形態の第2態様に係るガス検知用画像処理方法は、さらに、2以上の前記第2の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定ステップを備える。
実施形態の第2態様に係るガス検知用画像処理方法は、実施形態の第1態様に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第1態様に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第3態様に係るガス検知用画像処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第1の領域像を含む第1の画像を取得する第1の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第1の画像を取得する第1の処理ステップと、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第2の領域像を含む第2の画像を、複数の前記第1の画像を用いて生成する第2の処理をする第2の処理ステップと、をコンピュータに実行させる。前記第1の処理ステップは、2以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第1の処理をする。前記第2の処理ステップは、2以上の前記所定期間のそれぞれに対応して生成された複数の前記第1の画像に前記第2の処理をして、2以上の前記第2の画像を生成する。実施形態の第3態様に係るガス検知用画像処理プログラムは、さらに、2以上の前記第2の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定ステップをコンピュータに実行させる。
実施形態の第3態様に係るガス検知用画像処理プログラムは、実施形態の第1態様に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第1態様に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第1態様に係るガス検知用画像処理装置は、判定部の替わりに、2以上の前記第2の画像の類似度を算出する算出部を備えてもよい。実施形態の第2態様に係るガス検知用画像処理方法、実施形態の第3態様に係るガス検知用画像処理プログラムについても同様である。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
明細書、クレーム、図面及び要約を含む、2016年12月27日に提出された日本国特許出願特願2016−252269は、その全体の開示が、その全体において参照によりここに組み込まれる。