以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し(例えば、第1画像Im1)、個別の構成を指す場合には添え字を付した参照符号で示す(例えば、第1画像Im1−1)。
図1Aは、実施形態に係るガス漏れ位置推定システム1の構成を示すブロック図である。ガス漏れ位置推定システム1は、赤外線カメラ2とガス漏れ位置推定装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス漏れ位置推定装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、ディスプレイ11及び入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、処理部91及び決定部92を備える。これらについては、後で説明する。
表示制御部10は、動画データMDで示される動画、及び、画像処理部9で上記所定の処理がされた動画を、ディスプレイ11に表示させる。
入力部12は、ガス検知に関連する各種入力がされる。実施形態に係るガス漏れ位置推定装置3は、表示制御部10、ディスプレイ11及び入力部12を備えるが、これらを備えないガス漏れ位置推定装置3でもよい。
図1Bは、図1Aに示すガス漏れ位置推定装置3のハードウェア構成を示すブロック図である。ガス漏れ位置推定装置3は、CPU(Central Processing Unit)3a、RAM(Random Access Memory)3b、ROM(Read Only Memory)3c、HDD(Hard Disk Drive)3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、ディスプレイ11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ(例えば、動画データMD)が格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、例えば、動画データMDで示される動画をディスプレイ11に表示させたり、画像処理部9によって上記所定の処理がされた動画をディスプレイ11に表示させたりする表示制御プログラムである。これらのプログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス漏れ位置推定装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されてもよい。これらのプログラムは、HDD3dの替わりにROM3cに記憶してもよい。ガス漏れ位置推定装置3は、HDD3dの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
CPU3aは、ハードウェアプロセッサの一例であり、これらのプログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、画像処理部9及び表示制御部10が実現される。但し、画像処理部9の機能及び表示制御部10の機能について、各機能の一部又は全部は、CPU3aによる処理に替えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
なお、ガス漏れ位置推定装置3は、次に説明するように、第1態様と第2態様とがある。これらの態様は、それぞれ、複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス漏れ位置推定装置3の第1態様は、要素として、処理部91(第1処理部)及び決定部92を含む。HDD3dには、処理部91(第1処理部)及び決定部92のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1処理プログラム、決定プログラムと表現される。
これらのプログラムは、要素の定義を用いて表現される。第1処理部及び第1処理プログラムを例にして説明する。第1処理部は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス領域を抽出する処理をすることにより、複数の第1画像を生成する。第1処理プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス領域を抽出する処理をすることにより、複数の第1画像を生成するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1処理プログラム、決定プログラム等)のフローチャートが、後で説明する図12である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス漏れ位置推定装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス漏れ位置推定装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画をディスプレイ11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、いずれも標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)をディスプレイ11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ11に表示させることができる。
実施形態は、ガス領域を基にして、ガス漏れ位置を推定する。実施形態には、第1態様と第2態様とがある。第1態様から説明する。図12は、実施形態の第1態様で実行される処理のフローチャートである。図13は、ガス漏れの監視対象の赤外画像Im0の一例を示す模式図である。図13では、赤外画像Im0の全体でなく、赤外画像Im0のうち、配管の像101を含む矩形の部分だけが示されている。赤外画像Im0には、並行に延びる3つの配管の像101−1,101−2,101−3が写されている。
図1Aに示す処理部91は、3つの配管の像101(図13)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて、監視画像の動画を生成する(図12のステップS100)。詳しく説明すると、処理部91は、この動画データMDに対して、図5に示すステップS1〜ステップS9の処理をする。これにより、動画を構成する各フレームは、赤外画像Im0から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図10に示す画像I12、図11に示す画像I15である。ガス漏れが発生していれば、ガス領域が、監視画像に含まれる。画像I15は、ガス噴出の開始から2秒後の画像である。画像I15の中央付近に位置する白領域がガス領域である。
図14は、3つの配管の像101(図13)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて生成された監視画像の動画を構成するフレーム群の一例を示す模式図である。各フレーム(監視画像)が、第1画像Im1となる。図14では、第1画像Im1の全体でなく、第1画像Im1のうち、図13に示す赤外画像Im0に対応する部分が示されている。第1画像Im1−3は、3つの配管の1つからガス漏れが発生した直後の画像であり、ガス領域121−1を有する。第1画像Im1−1は、ガス漏れ発生の10秒前の画像であり、ガス領域121を有しない。第1画像Im1−2は、ガス漏れ発生の1秒前の画像であり、ガス領域121を有しない。
第1画像Im1−4は、ガス漏れ発生から1秒後の画像であり、ガス領域121−2を有する。第1画像Im1−5は、ガス漏れ発生から2秒後の画像であり、ガス領域121−3を有する。第1画像Im1−6は、ガス漏れ発生から3秒後の画像であり、ガス領域121−4,121−5を有する。
漏れたガスは、風等でゆらいである。このため、ガス領域121の形状、大きさ、位置が刻々と変化している。
実施形態の第1態様、及び、後で説明する第2態様では、図5に示すステップS1〜ステップS9の処理でガス領域を抽出しているが、赤外画像Im0に対して画像処理をしてガス領域を抽出する公知の技術(例えば、特許文献1に開示された画像処理)を用いても良い。
以上説明したように、処理部91(第1処理部)は、時系列に撮像された複数の赤外画像Im0のそれぞれに対して、ガス領域121を抽出する処理をすることにより、複数の第1画像Im1を生成する。
処理部91は、生成した複数の第1画像Im1について、生成順に、例えば、ラベリング処理をすることによって、第1画像Im1がガス領域121を有するか否かを判定する。処理部91が、ガス領域121を有する第1画像Im1があると判定したとき、決定部92は、複数の第1画像Im1の生成に用いられた複数の赤外画像Im0の中から第1赤外画像及び第2赤外画像を決定する(ステップS101)。
第1赤外画像は、ガス領域121を有する第1画像Im1の生成に用いられた赤外画像Im0である。第2赤外画像は、ガス領域121を有しない第1画像Im1の生成に用いられた赤外画像Im0である。ここでは、決定部92は、第1画像Im1−4の生成に用いられた赤外画像Im0を第1赤外画像と決定し、第1画像Im1−2の生成に用いられた赤外画像Im0を第2赤外画像と決定する。図15は、第1画像Im1−4の生成に用いられた赤外画像Im0−4(第1赤外画像)を示す模式図である。図16は、第1画像Im1−2の生成に用いられた赤外画像Im0−2(第2赤外画像)を示す模式図である。図15及び図16では、赤外画像Im0の全体でなく、赤外画像Im0のうち、図13に示す赤外画像Im0に対応する部分が示されている。
図15に示す赤外画像Im0−4は、図14に示す第1画像Im1−4と同じ順番である。図16に示す赤外画像Im0−2は、図14に示す第1画像Im1−2と同じ順番である。同じ順番について説明する。図5に示すように、第1画像Im1(監視画像)の動画データは、赤外画像Im0の動画データMD(図1A)を用いて生成される。同じ順番の第1画像Im1と赤外画像Im0とは、動画データのフレームの順番が同じことを意味する。具体例で説明すると、第1画像Im1−4の順番(図9に示すフレームの順番)が、例えば200のとき、赤外画像Im0−4の順番(図4Aに示すフレームの順番)は、200である。
図15及び図16を参照して、赤外画像Im0は、温度の違いを濃淡で示す画像である。ここでは、図示を簡単にするために、4つの異なる温度を例にする。第1温度、第2温度、第3温度、第4温度の順に温度が高い。漏れたガスの温度は、気温より高いとする。赤外画像Im0において、第1温度の領域が第1温度領域103で示され、第2温度の領域が第2温度領域105で示され、第3温度の領域が第3温度領域107で示され、第4温度の領域が第4温度領域109で示されている。
第1温度領域103−1は、配管の像101−1と対応しており、第1温度領域103−2は、配管の像101−2と対応しており、第1温度領域103−3は、配管の像101−3と対応している。第2温度領域105、第3温度領域107及び第4温度領域109が発生する原因は、漏れたガスと、これ以外とに分けられる。漏れたガス以外として、例えば、配管を覆う断熱材の劣化、配管の腐食がある。
赤外画像Im0−2が撮像された時刻では、ガス漏れが発生していないが、配管の像101−2の一部が、第2温度領域105−1、第3温度領域107−1及び第4温度領域109−1で示されている。これは、漏れたガス以外の原因と考えることができる。
赤外画像Im0−4において、赤外画像Im0−2と同様に、配管の像101−2の一部が、第2温度領域105−1、第3温度領域107−1及び第4温度領域109−1で示されている。加えて、赤外画像Im0−4において、配管の像101−2の一部が、第2温度領域105−2、第3温度領域107−2及び第4温度領域109−2で示されており、配管の像101−1の一部が、第2温度領域105−3及び第3温度領域107−3で示されている。これは、漏れたガスが原因と考えることができる。
第1態様では、第1赤外画像と第2赤外画像との組合せを、ガス漏れ発生時刻の1秒後の第1画像Im1−4(図14)の生成に用いられた赤外画像Im0−4と、ガス漏れ発生時刻の1秒前の第1画像Im1−2(図14)の生成に用いられた赤外画像Im0−2との組合せにしている。これは1つの例であり、これに限定されない。例えば、ガス漏れ発生直後の第1画像Im1−3(図14)の生成に用いられた赤外画像Im0を第1赤外画像にしてもよい。例えば、ガス漏れ発生時刻の10秒前の第1画像Im1−1(図14)の生成に用いられた赤外画像Im0を第2赤外画像にしてもよい。
第2赤外画像は、ガス領域121を有しない第1画像Im1の生成に用いられた赤外画像Im0である。このため、第2赤外画像が、予め定められていてもよい。例えば、決定部92は、所定の時刻に撮像された赤外画像Im0を第2赤外画像として決定する。
決定部92は、図15に示す赤外画像Im0−4(第1赤外画像)と、図16に示す赤外画像Im0−2(第2赤外画像)との差分画像Imdを生成する(図12のステップS102)。図17は、差分画像Imdの一例の模式図である。差分画像Imdは、第1赤外画像と第2赤外画像とにおいて、温度変化量を示す画像である。決定部92は、赤外画像Im0−4(第1赤外画像)と赤外画像Im0−2(第2赤外画像)とにおいて、同じ順番(位置)の画素の画素値を引き算し、その結果の絶対値を、その順番(位置)の画素の画素値にする処理をして、差分画像Imdを生成する。領域111は、図15に示す赤外画像Im0−4(第1赤外画像)と、図16に示す赤外画像Im0−2(第2赤外画像)とにおいて、同じ位置で温度が異なる場合、温度差を示している。例えば、領域111−1は、図15に示す第2温度領域105−2と図16に示す第1温度領域103−2との温度差を示す。領域111−3が示す温度差が最も大きく、次に、領域111−2,111−5が示す温度差であり、その次が、領域111−1,111−4が示す温度差である。
差分画像Imdを構成する各画素のうち、画素値が最大の画素は、領域111−3内にある。決定部92は、その画素の位置を、ガス漏れ位置と決定する(図12のステップS103)。この位置が、ガス漏れが発生した位置と推定される。
実施形態の第1態様の主な効果を説明する。図14及び図15を参照して、赤外画像Im0−4(第1赤外画像)は、ガス領域121−2を有する第1画像Im1−4の生成に用いられた赤外画像Im0である。図14及び図16を参照して、赤外画像Im0−2(第2赤外画像)は、ガス領域121を有さない第1画像Im1−2の生成に用いられた赤外画像Im0である。従って、赤外画像Im0−4(第1赤外画像)と赤外画像Im0−2(第2赤外画像)との差分を示す差分画像Imd(図17)を構成する各画素のうち、画素値が比較的大きい画素の位置がガス漏れ位置と考えることができる。実施形態の第1態様では、画素値が最大の画素の位置をガス漏れ位置と決定する。以上説明したように、実施形態の第1態様によれば、第1赤外画像と第2赤外画像とを基にして、ガス漏れ位置を決定するので、ガス領域121を基にしたガス漏れ位置の推定精度を向上させることができる。
ガス領域121を有する第1画像Im1のグループである第1グループG1と、ガス領域121を有しない第1画像Im1のグループである第2グループG2と、が交互に発生することがある。言い換えれば、第1画像Im1がガス領域121を有する期間と、第1画像Im1がガス領域121を有しない期間とが交互に発生することがある。。図18は、ガス領域121を有する第1画像Im1のグループ(第1グループG1)と、ガス領域121を有しない第1画像Im1のグループ(第2グループG2)と、が交互に発生している例を説明する説明図である。
このような交互に発生する事象は、例えば、密集した配管の1つから漏れたガスが風等でゆらぐことにより発生する。赤外線カメラ2(図1A)から見て、手前に位置する配管の影の範囲に、漏れているガスが入る期間がある。この期間に対応する第1画像Im1のグループ(第2グループG2)は、ガス領域121を有しない。これに対して、その範囲に、漏れているガスの一部が入ったり、漏れているガスが入らなかったりする期間がある。この期間に対応する第1画像Im2のグループ(第1グループG1)は、ガス領域121を有する。
第1赤外画像は、複数の第1グループG1のうち、いずれかの第1グループG1に属する第1画像Im1(1つの第1画像Im1)の生成に用いられた赤外画像Im0であればよい。第2赤外画像は、複数の第2グループG2のうち、いずれかの第2グループG2に属する第1画像Im1(1つの第1画像Im1)の生成に用いられた赤外画像Im0であればよい。
第1赤外画像を基にして生成された第1画像Im1が属する第1グループG1と、第2赤外画像を基にして生成された第1画像Im1が属する第2グループG2とは、連続していてもよいし(例えば、第1グループG1−2と第2グループG2−2)、連続していなくてもよい(例えば、第1グループG1−2と第2グループG2−1)。
第1赤外画像を基にして生成された第1画像Im1が属する第1グループG1と、第2赤外画像を基にして生成された第1画像Im1が属する第2グループG2とにおいて、第1グループG1が先でもよいし(第1グループG1−1と第2グループG2−2)、後でもよい(第2グループG2−1と第1グループG1−1)。
但し、第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻との間に気温が変化すると、ガス漏れ位置の推定精度が低下する。第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻とが離れていると、気温が変化する可能性が高いので、第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻とは近いことが好ましい。そこで、決定部92が、連続する第1グループG1と第2グループG2のそれぞれに属する第1画像Im1(1つの第1画像Im1)の生成に用いられた赤外画像Im0を、第1赤外画像、第2赤外画像と決定する。例えば、決定部92は、第1グループG1−2に属する一つの第1画像Im1の生成に用いられた赤外画像Im0を第1赤外画像と決定し、第2グループG2−2に属する一つの第1画像Im1の生成に用いられた赤外画像Im0を第2赤外画像と決定する。
以上説明したことは、実施形態の第1態様及び次に説明する第2態様に適用される。
実施形態の第2態様を説明する。第2態様は、差分画像Imd(図17)に加えて、累積ガス領域123を有する第2画像Im2(図20)を用いて、ガス漏れ位置を推定する。図19は、実施形態の第2態様で実行される処理のフローチャートである。ステップS100〜ステップS102までは、図12に示すステップS100〜ステップS102と同じである。
処理部91(第2処理部)は、累積ガス領域123を有する第2画像Im2を生成する(ステップS104)。詳しく説明すると、図20は、累積ガス領域123を有する第2画像Im2の生成に用いられる2以上の第1画像Im1の一例と、第2画像Im2の一例とを示す模式図である。図20では、第1画像Im1及び第2画像Im2の全体でなく、これらの画像のうち、図13に示す赤外画像Im0に対応する部分が示されている。
第1態様で説明したように、処理部91は、ガス領域121を有する第1画像Im1があると判定したとき、決定部92は、複数の第1画像Im1の生成に用いられた複数の赤外画像Im0の中から第1赤外画像及び第2赤外画像を決定する(ステップS101)。処理部91は、その判定がされた第1画像Im1(すなわち、ガス漏洩直後の第1画像Im1−3)、及び、これ以降の第1画像Im1を選択する。例えば、処理部91は、ガス漏洩直後から10秒後までの第1画像Im1を選択する。この場合、フレームレートが例えば、30fpsのとき、選択される第1画像Im1の数は、300となる。以降、これを例にして説明する。
上記10秒及び300は、具体例であり、これらに限定されず、10秒より長くてもよいし、短くてもよい。300より多くてもよいし、少なくてもよい。また、選択される第1画像Im1には、ガス漏洩直後の第1画像Im1−3が含まれるが、これに限定されない。例えば、1秒後の第1画像Im1−4から10秒後までの第1画像Im1が選択されてもよい。また、選択された第1画像Im1のうち、ガス領域121を有しない第1画像Im1が存在してもよい。図18で説明したように、第1グループG1と第2グループG2と、が交互に現れる場合があるからである。
処理部91は、選択した300枚の第1画像Im1のそれぞれに対して、ガス領域121を構成する画素を「1」、これ以外の画素を「0」とする2値化処理をして、300枚の第1画像Im1を2値化する。「1」で示される画素の集まりが、2値化処理後のガス領域121となる。
処理部91(第2処理部)は、2値化された、300枚の第1画像Im1を累積する処理をして、第2画像Im2を生成する。詳しく説明すると、処理部91は、2値化された、300枚の第1画像Im1において、同じ順番(位置)の画素の画素値を加算する処理をすることにより、ガス領域121を累積した累積ガス領域123を有する第2画像Im2を生成する。2値化された画像を構成する画素の画素値は、2値、すなわち、1又は0なので、第2画像Im2を構成する画素の画素値となりうる最大の値は、300となる。
第2画像Im2を構成する画素のうち、画素値がゼロを超える画素で構成される領域が、累積ガス領域123となる。図20では、図示を簡単にするために、領域125−3と、領域125−3の周囲に位置する領域125−2と、領域125−2の周囲に位置する領域125−1と、で構成される累積ガス領域123を示している。領域125−3を構成する画素の画素値は、領域125−2を構成する画素の画素値よりも大きく、領域125−2を構成する画素の画素値は、領域125−1を構成する画素の画素値よりも大きい。
なお、処理部91は、300枚の第1画像Im1を2値化せずに、300枚の第1画像Im1を累積する処理をして、第2画像Im2(不図示)を生成してもよい。第1画像Im1を構成する画素の画素値は、2値でなく、多値なので、この第2画像Im2を構成する画素の画素値となりうる最大の値は、300より大きくなる。
決定部92は、図17に示す差分画像Imdと図20に示す第2画像Im2とを基にして、第3画像Im3(強度画像)を生成する(図19のステップS105)。図21は、第3画像Im3の一例と、第3画像Im3の生成に用いられた差分画像Imdと第2画像Im2との一例とを示す模式図である。図21では、これらの画像の全体でなく、これらの画像のうち、図13に示す赤外画像Im0に対応する部分が示されている。
決定部92は、第2画像Im2と差分画像Imdとにおいて、同じ順番(位置)の画素の画素値を掛け算し、得られた値を絶対値にする処理をして、第3画像Im3を生成する。第3画像Im3は、重複領域127を含む。重複領域127は、累積ガス領域123と、差分画像Imdに含まれる領域111とが重なる領域を示す。この例では、累積ガス領域123と領域111−1,111−2とが部分的に重なっており、ここが、重複領域127となる。図21では、図示を簡単にするために、領域129−2と、領域129−2の周囲に位置する領域129−1と、で構成される重複領域127を示している。領域129−2を構成する画素の画素値(掛け算で得られた値の絶対値)は、領域129−1を構成する画素の画素値(掛け算で得られた値の絶対値)よりも大きい。上記掛け算で得られた値の絶対値のうち、最大値となる画素は、領域129−2内に含まれている。決定部92は、その画素の位置を、ガス漏れ位置と決定する(ステップS103)。
実施形態の第2態様の主な効果を説明する。図21を参照して、第2画像Im2に含まれる累積ガス領域123は、ガス領域121を累積した領域なので、累積ガス領域123内に、ガス漏れ位置が存在する。決定部92は、第2画像Im2と差分画像Imdとを基にして、ガス漏れ位置を決定する。第2態様によれば、ガス漏れ位置の決定に、差分画像Imdに加えて、累積ガス領域123を有する第2画像Im2を用いるので、ガス漏れ位置の推定精度をさらに向上させることができる。
(実施形態の纏め)
実施形態の第1局面に係るガス漏れ位置推定装置は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理部と、前記複数の赤外画像に含まれ、前記ガス領域を有する前記第1画像の生成に用いられた第1赤外画像と、前記複数の赤外画像に含まれ、前記ガス領域を有しない前記第1画像の生成に用いられた第2赤外画像と、を基にして、ガス漏れ位置を決定する決定部と、を備える。
決定部は、ガス領域を有する第1画像(ガス領域を有する、1つの第1画像)の生成に用いられた第1赤外画像と、ガス領域を有しない第1画像(ガス領域を有しない、1つの第1画像)の生成に用いられた第2赤外画像と、を基にして、ガス漏れ位置を決定する。具体的には、決定部は、第1赤外画像と第2赤外画像との差分画像を生成し、差分画像を構成する各画素の画素値の大きさを基にして、ガス漏れ位置を決定する。
第1赤外画像は、ガス領域を有する第1画像の生成に用いられた赤外画像である。第2赤外画像は、ガス領域を有さない第1画像の生成に用いられた赤外画像である。従って、第1赤外画像と第2赤外画像との差分を示す差分画像を構成する各画素のうち、画素値が比較的大きい画素の位置がガス漏れ位置と考えることができる。例えば、決定部は、画素値が最大の画素の位置をガス漏れ位置と決定する。画素値が最大の画素の位置がガス漏れ位置と一致しない場合もありうるので、決定部は、予め定められた画素値を有する画素の位置をガス漏れ位置と決定してもよい。以上説明したように、実施形態の第1局面に係るガス漏れ位置推定装置によれば、第1赤外画像と第2赤外画像とを基にして、ガス漏れ位置を決定するので、ガス領域を基にしたガス漏れ位置の推定精度を向上させることができる。
上記構成において、前記複数の第1画像に含まれ、前記ガス領域を含む2以上の前記第1画像において、同じ順番の画素の画素値を加算する処理をすることにより、前記ガス領域を累積した累積ガス領域を有する第2画像を生成する第2処理部をさらに備え、前記決定部は、前記第2画像と前記差分画像とを基にして、前記ガス漏れ位置を決定する。
第2画像に含まれる累積ガス領域は、ガス領域を累積した領域なので、累積ガス領域内に、ガス漏れ位置が存在する。この構成によれば、決定部は、第2画像と差分画像とを基にして、ガス漏れ位置を決定する(例えば、決定部は、第2画像と差分画像とにおいて、同じ順番(位置)の画素の画素値を掛け算して得られた値の絶対値のうち、最大値となる画素の位置を、ガス漏れ位置と決定する)。この構成によれば、ガス漏れ位置の決定に、差分画像に加えて、累積ガス領域を有する第2画像を用いるので、ガス漏れ位置の推定精度をさらに向上させることができる。
上記構成において、前記決定部は、前記複数の第1画像において、前記ガス領域を有する前記第1画像のグループである第1グループと、前記ガス領域を有しない前記第1画像のグループである第2グループと、が交互に現れる場合、複数の前記第1グループのうち、いずれかの前記第1グループに属する前記第1画像の生成に用いられた前記赤外画像を前記第1赤外画像と決定し、複数の前記第2グループのうち、いずれかの前記第2グループに属する前記第1画像の生成に用いられた前記赤外画像を前記第2赤外画像と決定する。
ガス領域を有する第1画像のグループである第1グループと、ガス領域を有しない第1画像のグループである第2グループと、が交互に発生することがある。この事象は、例えば、密集した配管の1つから漏れたガスが風等でゆらぐことにより発生する。赤外線カメラから見て、手前に位置する配管の影の範囲に、漏れているガスが入る期間がある。この期間に対応する第1画像のグループ(第2グループ)は、ガス領域を有しない。これに対して、その範囲に、漏れているガスの一部が入ったり、漏れているガスが入らなかったりする期間がある。この期間に対応する第1画像のグループ(第1グループ)は、ガス領域を有する。
第1赤外画像は、複数の第1グループのうち、いずれかの第1グループに属する第1画像(1つの第1画像)の生成に用いられた赤外画像であればよい。第2赤外画像は、複数の第2グループのうち、いずれかの第2グループに属する第1画像(1つの第1画像)の生成に用いられた赤外画像であればよい。但し、第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻との間に気温が変化すると、ガス漏れ位置の推定精度が低下する。第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻とが離れていると、気温が変化する可能性が高いので、第1赤外画像が撮像された時刻と第2赤外画像が撮像された時刻とは近いことが好ましい。そこで、決定部は、連続する第1グループと第2グループのそれぞれに属する第1画像(1つの第1画像)の生成に用いられた赤外画像を、第1赤外画像、第2赤外画像と決定する。第1グループが先で、第2グループが後でもよいし、第2グループが先で、第1グループが後でもよい。例えば、第1グループAが現れ、次に、第2グループBが現れ、次に、第1グループCが現れ、次に、第2グループDが現れた場合、連続する第1グループと第2グループとは、第1グループAと第2グループB、第2グループBと第1グループC、第1グループCと第2グループDである。
実施形態の第2局面に係るガス漏れ位置推定方法は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の赤外画像に含まれ、前記ガス領域を有する前記第1画像の生成に用いられた第1赤外画像と、前記複数の赤外画像に含まれ、前記ガス領域を有しない前記第1画像の生成に用いられた第2赤外画像と、を基にして、ガス漏れ位置を決定する決定ステップと、を備える。
実施形態の第2局面に係るガス漏れ位置推定方法は、実施形態の第1局面に係るガス漏れ位置推定装置を方法の観点から規定しており、実施形態の第1局面に係るガス漏れ位置推定装置と同様の作用効果を有する。
実施形態の第3局面に係るガス漏れ位置推定プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の赤外画像に含まれ、前記ガス領域を有する前記第1画像の生成に用いられた第1赤外画像と、前記複数の赤外画像に含まれ、前記ガス領域を有しない前記第1画像の生成に用いられた第2赤外画像と、を基にして、ガス漏れ位置を決定する決定ステップと、をコンピュータに実行させる。
実施形態の第3局面に係るガス漏れ位置推定プログラムは、実施形態の第1局面に係るガス漏れ位置推定装置をプログラムの観点から規定しており、実施形態の第1局面に係るガス漏れ位置推定装置と同様の作用効果を有する。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
2017年5月18日に提出された日本国特許出願特願2017−098673は、その全体の開示が、その全体において参照によりここに組み込まれる。