以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。図1Aは、実施形態に係るガス検知装置1の構成を示すブロック図である。ガス検知装置1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。ガス検知装置1は、ポータブル化されており、ユーザーは、ガス漏れの監視対象(例えば、ガス井戸)がある場所に、ガス検知装置1を携帯することができる。
赤外線カメラ2は、ガス漏れの監視対象について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、ガス漏れの監視対象の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス検知用画像処理装置3は、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、ディスプレイ11、及び、入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、ガス検査レポートの作成を支援するガス検査レポート作成支援装置900を備える。ガス検査レポート作成支援装置900は、第1生成部91と第2生成部92とを備える。これについては、後で説明する。
表示制御部10は、動画データMDで示される動画、及び、画像処理部9で上記所定の処理がされた動画を、ディスプレイ11に表示させる。
入力部12は、ガス検知に関連する各種入力がされる。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU(Central Processing Unit)3a、RAM(Random Access Memory)3b、ROM(Read Only Memory)3c、HDD(Hard Disk Drive)3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、ディスプレイ11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ(例えば、動画データMD)が格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、例えば、動画データMDで示される動画をディスプレイ11に表示させたり、画像処理部9によって上記所定の処理がされた動画をディスプレイ11に表示させたりする表示制御プログラムである。これらのプログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されてもよい。これらのプログラムは、HDD3dの替わりにROM3cに記憶してもよい。ガス検知用画像処理装置3は、HDD3dの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
CPU3aは、ハードウェアプロセッサの一例であり、これらのプログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、画像処理部9及び表示制御部10が実現される。但し、画像処理部9の機能、及び、表示制御部10の機能について、各機能の一部又は全部は、CPU3aによる処理に替えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
なお、画像処理部9は、図1Aに示す複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。すなわち、HDD3dには、第1生成部91及び第2生成部92のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1生成プログラム、第2生成プログラムと表現される。第1生成プログラムを記憶しているHDDと、第2生成プログラムを記憶しているHDDとが異なっていてもよい。この場合、第1生成プログラムを記憶しているHDDを有するサーバと、第2生成プログラムを記憶しているHDDを有するサーバとが、ネットワーク(例えば、インターネット)を介して接続されていてもよい。又は、少なくとも一方のHDDが、USBポートなどに接続された外付けHDDでもよいし、ネットワーク対応のHDD(NAS:Network Attached Storage)でもよい。
これらのプログラムは、要素の定義を用いて表現される。第1生成部91及び第1生成プログラムを例にして説明する。第1生成部91は、ガス領域を含む時系列画像を用いて、代表静止画を生成する場合、ガス領域を含む代表静止画を生成し、ガス領域を含まない時系列画像を用いて、代表静止画を生成する場合、ガス領域を含まない代表静止画を生成する。第1生成プログラムは、ガス領域を含む時系列画像を用いて、代表静止画を生成する場合、ガス領域を含む代表静止画を生成し、ガス領域を含まない時系列画像を用いて、代表静止画を生成する場合、ガス領域を含まない代表静止画を生成するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1生成プログラム、第2生成プログラム等)のフローチャートが、後で説明する図12である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス検知用画像処理装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画をディスプレイ11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、いずれも標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)をディスプレイ11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ11に表示させることができる。
実施形態は、図12に示すステップS100〜ステップS102を実行することにより、ガス検査レポートの作成を支援する。図12は、これを実現するために、実施形態で実行される各種処理を説明するフローチャートである。図13は、実施形態が、監視画像動画V1から代表静止画Im2を生成する工程を説明する模式図である。
図1A及び図13を参照して、画像処理部9は、動画データMDを用いて、監視画像動画V1を生成する(図12のステップS100)。詳しく説明すると、ユーザーは、ガス検知装置1に備えられる赤外線カメラ2を用いて、ガス漏れの監視対象の動画を所定時間撮像する。所定時間は、例えば、数分間であり、ここでは、2分間とする。この動画を示す動画データMDが赤外線カメラ2から画像データ入力部8に入力される。画像処理部9は、画像データ入力部8に入力された動画データMDを取得する。動画データMDは、図2に示すように、時系列に並ぶ複数の赤外画像(1番目フレームからK番目フレーム)により構成される。
画像処理部9は、動画データMDに対して、図5に示すステップS1〜ステップS9の処理(ガス領域を抽出する画像処理)をする。これにより、動画を構成する各フレームは、赤外画像から監視画像Im1となり、上記所定時間(2分間)の監視画像動画V1が生成される。監視画像動画V1は、時系列に並ぶ複数の監視画像Im1により構成される。
監視画像Im1は、例えば、図10に示す画像I12、図11に示す画像I15である。検知対象となるガスが出現している期間において、監視画像動画V1には、ガス領域が含まれる。検知対象となるガスが出現していない期間において、監視画像動画V1には、ガス領域が含まれない。図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、地点SP1付近にガス領域がある。ガス領域は、画像I15の中心付近に広がっている、輝度が比較的大きい領域である。
実施形態では、図5に示すステップS1〜ステップS9の処理でガス領域を抽出しているが、赤外画像に対してガス領域を抽出する画像処理であれば、他の画像処理でもよい(例えば、特許文献1に開示された画像処理)。
図1A及び図13を参照して、第1生成部91は、監視画像動画V1を用いて、代表静止画Im2を生成する(図12のステップS101)。詳しく説明すると、第1生成部91は、監視画像動画V1に対して、2分間を所定間隔で分割する。ここでは、10秒間隔を例にして説明するが、これに限定されず、20秒間隔でもよいし、30秒間隔でもよい(なお、監視画像動画V1の撮像時間は10秒でもよく、この場合、監視画像動画V1が分割されることなく、1枚の代表静止画Im2が生成されることになる。)。各10秒間には、監視画像動画V1の一部分P1(時系列画像の一例)が対応している。監視画像動画V1の一部分P1は、時系列に並ぶ複数の監視画像Im1により構成される。
図14A及び図14Bは、監視画像動画V1の一部分P1の具体例を示す画像図である。監視画像動画V1の一部分P1は、時系列に並ぶ300枚の監視画像Im1(フレーム)により構成される。図14A及び図14Bは、300枚の一部をおよそ等間隔にサンプリングした例である。これは、10秒分に相当する。1番目の監視画像Im1が10秒間の開始時点の監視画像Im1としてサンプリングされたものである。16番目の監視画像Im1が10秒間の終了時点の監視画像Im1としてサンプリングされたものである。各監視画像Im1の中心付近が地点SP1(図3)である。10秒間のうち、1番目から5番目の監視画像Im1、及び、15番目から16番目の監視画像Im1には、ガス領域が明確に現れているが(図面では分かりにくいが、実際の画像では、ガス領域が現れている)、6番目から14番目の監視画像Im1には、ガス領域が明確に現れていない。
図1A及び図13を参照して、第1生成部91は、各10秒間に対応する、監視画像動画V1の一部分P1(時系列画像)について、代表静止画Im2を生成する。2分間が10秒間隔に分けられているので、12枚の代表静止画Im2が生成される。
ガス領域の見逃しを防ぐために、10秒間の少なくとも一部にガス領域が存在すれば、第1生成部91は、代表静止画Im2にガス領域が含まれるようにする。代表静止画Im2の生成方法の第1例を説明する。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1において、同じ順番に位置する画素の中から、画素が示す値(ここでは、標準偏差の差分)の最大値を決定する。第1生成部91は、この最大値を、代表静止画Im2の上記順番に位置する画素の値とする。具体的に説明すると、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1において、1番目の画素が示す値の最大値を決定し、この値を、代表静止画Im2の1番目の画素の値とする。第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1において、2番目の画素が示す値の最大値を決定し、この値を、代表静止画Im2の2番目の画素の値とする。第2生成部92は、3番目以降の画素についても同様の処理をする。
図15は、代表静止画Im2の生成方法の第1例を用いて生成された代表静止画Im2を示す画像図である。代表静止画Im2の中心付近(図3の地点SP1)に輝度が大きい領域が比較的大きく広がっている。これがガス領域である。ガス領域を構成する画素が示す値は、比較的大きいので、比較的大きい値を有する画素で構成される領域がガス領域となる。第1例は、監視画像動画V1の一部分P1にガス領域が含まれるか否かを判定しないで、代表静止画Im2を生成する。第1例によれば、監視画像動画V1の一部分P1にガス領域が含まれる場合、代表静止画Im2に含まれるガス領域が、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のそれぞれに含まれるガス領域の論理和を示すようなガス領域になることが分かった。従って、風向きの変化等でガスがゆらいでいる場合、代表静止画Im2に含まれるガス領域の面積を大きくすることができる。このような場合、ユーザーは、ガス領域を容易に見つけ出すことができる。
代表静止画Im2の生成方法の第2例を説明する。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の監視画像Im1のそれぞれ対して、ガス領域が含まれているか否かを判定する。第1生成部91は、複数の監視画像Im1の少なくとも1つにガス領域が含まれているとき、監視画像動画V1の一部分P1にガス領域が含まれていると判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれる場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、ガス領域を含む監視画像Im1のそれぞれについて、ガス領域の平均輝度値を算出する。ガス領域の平均輝度値の算出方法を簡単に説明する。第1生成部91は、監視画像Im1からガス領域を切り出し、ガス領域を構成する各画素の輝度値の平均値を算出する。これが、ガス領域の平均輝度値となる。
第1生成部91は、ガス領域の平均輝度値が最大となる監視画像Im1を代表静止画Im2として選択する。図16は、代表静止画Im2の生成方法の第2例を用いて生成された代表静止画Im2を示す画像図である。代表静止画Im2の中心付近(図3の地点SP1)にある矩形領域R1が、ガス領域の位置を示している。矩形領域R1内において、輝度が大きい領域がガス領域である。第2例によれば、監視画像動画V1の一部分P1にガス領域が含まれる場合、代表静止画Im2に含まれるガス領域の平均輝度値を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
代表静止画Im2の生成方法の第3例を説明する。第3例は、ガス領域の平均輝度値の替わりに、ガス領域の面積を用いる。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の監視画像Im1のそれぞれ対して、ガス領域が含まれているか否かを判定する。第1生成部91は、複数の監視画像Im1の少なくとも1つにガス領域が含まれているとき、監視画像動画V1の一部分P1にガス領域が含まれていると判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれる場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、ガス領域を含む監視画像Im1のそれぞれについて、ガス領域の面積を算出する。ガス領域の面積の算出方法を簡単に説明する。第1生成部91は、監視画像Im1からガス領域を囲む矩形領域を切り出し、その矩形内で一定値以上の画素をガス領域と判断し、ガス領域と判断した画素の数を算出する。これが、ガス領域の面積となる。第1生成部91は、ガス領域の面積が最大となる監視画像Im1を代表静止画Im2として選択する。
第3例によれば、監視画像動画V1の一部分P1にガス領域が含まれる場合、代表静止画Im2に含まれるガス領域の面積を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
第2例及び第3例において、第1生成部91は、監視画像動画V1の一部分P1(時系列画像)にガス領域が含まれるか否かを判定し、監視画像動画V1の一部分P1にガス領域が含まれるとき、ガス領域を含む代表静止画Im2を生成する。第2例及び第3例において、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のいずれにもガス領域が含まれていないとき、監視画像動画V1の一部分P1にガス領域が含まれないと判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれない場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、予め定められた監視画像Im1(任意の監視画像Im1)を代表静止画Im2とする。予め定められた監視画像Im1は、その監視画像動画V1の一部分P1を構成する複数の監視画像Im1であれば、いずれでもよい(例えば、先頭の監視画像Im1)。
第1例において、第1生成部91は、監視画像動画V1の一部分P1(時系列画像)にガス領域が含まれているか否か判定しない。第1例の場合、監視画像動画V1の一部分P1にガス領域が含まれていれば、結果として、代表静止画Im2にガス領域が含まれる。監視画像動画V1の一部分P1にガス領域が含まれていなければ、結果として、代表静止画Im2にガス領域が含まれない。
以上説明したように、第1生成部91は、ガス領域を抽出する画像処理がされた時系列画像(監視画像動画V1の一部分P1)を代表する代表静止画Im2を生成し、時系列画像にガス領域が含まれるとき、ガス領域を含む代表静止画Im2を生成し、時系列画像にガス領域が含まれないとき、ガス領域を含まない代表静止画Im2を生成する。
図1A及び図13を参照して、表示制御部10は、第1生成部91が生成した12枚の代表静止画Im2を1枚づつディスプレイ11にスクロール表示する。ユーザーは、入力部12を操作して、12枚の代表静止画Im2の中から1枚の代表静止画Im2を選択する。選択は、次のように実行される。
12枚の代表静止画Im2(全ての代表静止画Im2)の中で、少なくとも1枚の代表静止画Im2にガス領域が含まれていれば、ガス漏れの監視対象からガス漏れが発生していることになる。12枚の代表静止画Im2のいずれにもガス領域が含まれていないとき、ガス漏れの監視対象からガス漏れが発生していないことになる。ユーザーは、12枚の代表静止画Im2を見て、各代表静止画Im2にガス領域が含まれるか否かを確認する。そして、ガス漏れの監視対象からガス漏れが発生していることが確認できたとき、12枚の代表静止画Im2の中から、ガス領域を含む代表静止画Im2を1枚選択する。選択された代表静止画Im2は、ガス漏れが発生していることを視覚的に示す証拠となる。ガス領域を含む代表静止画Im2が複数あれば、ユーザーは、その中から適当な代表静止画Im2を1枚選択する。
ユーザーは、ガス漏れの監視対象からガス漏れが発生していないことが確認できたとき、12枚の代表静止画Im2(これらの代表静止画Im2にはガス領域が含まれない)の中から、適当な代表静止画Im2を1枚選択する。選択された代表静止画Im2は、ガス漏れが発生していないことを視覚的に示す証拠となる。
第2生成部92は、ユーザーが選択した1枚の代表静止画Im2を記憶する。後で説明するように、この代表静止画Im2は、ガス検査レポートに貼り付けられる。また、12枚(複数枚)の代表静止画Im2の場合、ユーザーが1枚を選択するのではなく、第2生成部92が、12枚(複数枚)全てをガス検査レポートに貼り付けてもよいし、12枚(複数枚)から4枚毎(所定の枚数毎)に代表静止画Im2を選択し、選択した代表静止画Im2(3枚の代表静止画Im2)をガス検査レポートに貼り付けてもよい。
実施形態では、12枚(複数)の代表静止画Im2を生成している。監視画像動画V1の時間が短いとき(例えば、10秒)、第1生成部91は、10秒の監視画像動画V1を時系列画像とし、1枚の代表静止画Im2を生成してもよい。この場合、ユーザーが代表静止画Im2を選択する作業が不要となる。ユーザーは、代表静止画Im2を見て、ガス領域が含まれているか否かを確認する。代表静止画Im2にガス領域が含まれていれば、ガス漏れが発生していることを視覚的に示す証拠となる。代表静止画Im2にガス領域が含まれていなければ、ガス漏れが発生していないことを視覚的に示す証拠となる。第2生成部92は、第1生成部91が生成した1枚の代表静止画Im2を記憶する。
図1A及び図13を参照して、ユーザーが入力部12を操作して、レポートを生成する命令を入力したとき、第2生成部92は、代表静止画Im2を含むガス検査レポートを生成する(図12のステップS102)。このガス検査レポートは、紙でなく、電子データである。図17は、ガス検査レポートの一例を説明する説明図である。ガス検査レポートRP1は、所定の項目欄(例えば、日時欄、場所欄、検査者欄、天候欄、風速欄)を含み、ユーザーが選択した代表静止画Im2が貼り付けられている。
ガス検知装置1は、時計機能を有する。第2生成部92は、レポートの生成命令が入力されたとき、その時計が示す年月日時刻を取得し、これをガス検査レポートRP1の日時欄に入力する。
ガス検知装置1は、GPS(Global Positioning System)機能を有する。ガス検知装置1は、レポートの生成命令が入力されたとき、GPS機能を利用して、ガス検知装置1の現在の位置情報を取得する。第2生成部92は、この位置情報を場所欄に入力する。
ガス検知装置1は、ログイン機能を有する。第2生成部92は、レポートの生成命令が入力された時点で、ログインしているユーザーの氏名を、検査者欄に入力する。
ガス検知装置1は、現在位置の天気情報を取得する機能を有する。ガス検知装置1は、レポートの生成命令が入力されたとき、その機能を利用して、現在位置の天気情報を取得する。第2生成部92は、この天気情報を天気欄に入力する。
ガス検知装置1は、風速計(不図示)と接続可能にされている。ユーザーは、風速計をガス検知装置1に接続する。第2生成部92は、風速計が計測した風速値を、風速欄に入力する。
第2生成部92は、ユーザーによって選択され、第2生成部92に記憶されている代表静止画Im2を、ガス検査レポートRP1の所定位置に貼り付ける。
第2生成部92は、以上のようにして、ガス検査レポートRP1の電子データを生成する。表示制御部10は、ガス検査レポートRP1をディスプレイ11に表示させる。ユーザーは、ディスプレイ11を見て、ガス検査レポートRP1の内容を確認することができる。
図1A及び図13を参照して、実施形態の主な作用効果について説明する。代表静止画Im2は、監視画像動画の一部分P1(時系列画像)を代表する画像である。第1生成部91は、監視画像動画の一部分P1にガス領域が含まれるとき、ガス領域を含む代表静止画Im2を生成し、監視画像動画の一部分P1にガス領域が含まれないとき、ガス領域を含まない代表静止画Im2を生成する。よって、代表静止画Im2は、ガス漏れの有無を視覚的に示す証拠となる。代表静止画Im2は、動画でなく、静止画なので、データ量が大きくなく、かつ、代表静止画Im2を含むガス検査レポートRP1がプリントアウトされても、ガス漏れの有無を視覚的に示すことができる。
実施形態の変形例について説明する。変形例は、ガス領域をカラー化する。図18は、実施形態の変形例に係るガス検知装置1aの構成を示すブロック図である。ガス検知装置1aが、図1Aに示すガス検知装置1と相違する点を説明する。ガス検知装置1aは、可視カメラ13を備える。可視カメラ13は、赤外線カメラ2による監視対象の動画の撮像と並行して、同じ監視対象の動画を撮像する。これにより、可視カメラ13から出力された動画データmdが画像データ入力部8に入力される。
ガス検査レポート作成支援装置900は、カラー処理部93を備える。カラー処理部93は、ガス領域をカラー化する画像処理をする。図14A及び図14Bに示す監視画像Im1を例にして詳しく説明する。監視画像Im1がグレースケールで表されているので、ガス領域もグレースケールで表されている。カラー処理部93は、1番目の監視画像Im1に対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、1番目の監視画像Im1からガス領域を切り出す。
カラー処理部93は、切り出したガス領域を構成する各画素の輝度値に応じて、ガス領域をカラー化する。カラー処理部93は、所定の閾値以下の輝度値を有する画素をノイズとみなし、その画素はカラー化しない。よって、カラー処理部93は、所定の閾値を超える輝度値を有する画素をカラー化する。図19は、グレースケールの領域をカラーの領域に変換する方法の一例を説明する説明図である。図19に示すグラフの横軸が、元の輝度値を示し、縦軸が、RGBのそれぞれの輝度値を示す。Rの輝度値は、元の輝度値が0〜127のとき、0であり、元の輝度値が127〜191のとき、0から255に直線的に増加し、元の輝度値が191〜255のとき、255となる。Gの輝度値は、元の輝度値が0〜63のとき、0から255に直線的に増加し、元の輝度値が63〜191のとき、255であり、元の輝度値が191〜255のとき、255から0に直線的に減少する。Bの輝度値は、元の輝度値が0〜63のとき、255であり、元の輝度値が63〜127のとき、255から0に直線的に減少し、元の輝度値が127〜255のとき、0となる。
カラー処理部93は、切り出したガス領域において、隣接する三つの画素を一組とし、これらの画素の輝度値の平均値を算出する。この平均値が元の輝度値となる。例えば、平均値(元の輝度値)が63のとき、カラー処理部93は、その組を構成する三つの画素のうち、Rに対応する画素の輝度値を0、Gに対応する画素の輝度値を255、Bに対応する画素の輝度値を255にする。カラー処理部93は、他の組につても同様の処理をする。これにより、ガス領域がカラー化される。ガス濃度が高ければ、ガス領域を構成する各画素の輝度値(画素値)が比較的大きいので、ガス領域は赤色の面積が大きくなる。ガス濃度が低ければ、ガス領域を構成する各画素の輝度値(画素値)が比較的小さいので、ガス領域は青色の面積が大きくなる。
カラー処理部93は、2番目から16番目の監視画像Im1のそれぞれに含まれるガス領域について、同様に、ガス領域をカラー化する。
カラー処理部93は、カラー化されたガス領域(以下、カラーガス領域)を可視画像に合成する。詳しく説明すると、カラー処理部93は、動画データmdの中から、図14A及び図14Bに示す監視画像Im1と同じ時刻に撮像されたフレーム(可視画像)を取得する。カラー処理部93は、1番目の監視画像Im1から切り出されたガス領域のカラーガス領域を、1番目の監視画像Im1と撮像時刻が同じであるフレーム(可視画像)に合成する。カラー処理部93は、2番目から16番目の監視画像Im1から切り出されたガス領域のカラーガス領域についても、同様の処理をする。図20A及び図20Bは、カラーガス領域R2が合成された可視画像Im3の具体例を示す画像図である。同じ順番の可視画像Im3と監視画像Im1とは、撮像時刻が同じである。例えば、1番目の可視画像Im3と1番目の監視画像Im1とは、撮像時刻が同じである。
可視画像Im3は、カラー画像である。可視画像Im3の中心付近(図3の地点SP1)にカラーガス領域R2が合成されている。10秒分300枚からサンプリングされた16枚のうち、1番目から5番目の可視画像Im3、及び、15番目から16番目の可視画像Im3において、カラーガス領域R2が明確に現れているが(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)、6番目から14番目の可視画像Im3において、カラーガス領域R2が明確に現れていない。これは、図14A及び図14Bに示す監視画像Im1に現れるガス領域を反映しているからである。
図20A及び図20Bに示すような、カラーガス領域R2が合成された可視画像Im3の動画を、可視画像動画V3と記載する。図21は、実施形態の変形例が、可視画像動画V3から代表静止画Im4を生成する工程を説明する模式図である。
図18及び図21を参照して、第1生成部91は、可視画像動画V3に対して、2分間を所定間隔で分割する。ここでは、10秒間隔を例にして説明するが、これに限定されない。各10秒間には、可視画像動画V3の一部分P2(時系列画像の一例)が対応している。可視画像動画V3の一部分P1は、時系列に並ぶ複数の可視画像Im3により構成される。第1生成部91は、各10秒間に対応する、可視画像動画V3の一部分P2について、代表静止画Im4を生成する。2分間が10秒間隔に分けられているので、12枚の代表静止画Im4が生成される。
カラーガス領域R2の見逃しを防ぐために、10秒間の少なくとも一部にカラーガス領域R2が存在すれば、第1生成部91は、代表静止画Im4にカラーガス領域R2が含まれるようにする。代表静止画Im4の生成方法を説明する。図18及び図21を参照して、第1生成部91は、可視画像動画V3の一部分P2を構成する複数の可視画像Im3のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の可視画像Im3のそれぞれ対して、カラーガス領域R2が含まれているか否かを判定する。第1生成部91は、複数の可視画像Im3の少なくとも1つにカラーガス領域R2が含まれているとき、可視画像動画V3の一部分P2にカラーガス領域R2が含まれていると判定する。第1生成部91は、可視画像動画V3の一部分P2にカラーガス領域R2が含まれる場合、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3の中で、カラーガス領域R2を含む可視画像Im3のそれぞれについて、カラーガス領域R2の面積を算出する。カラーガス領域R2の面積を算出方法は、ガス領域の面積の算出方法と同じである。第1生成部91は、カラーガス領域R2の面積が最大となる可視画像Im3を代表静止画Im4として選択する。図22は、変形例によって生成された代表静止画Im4を示す画像図である。代表静止画Im4において、カラーガス領域R2が明確に現れている(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)。
第1生成部91は、可視画像動画V3の一部分P2を構成する複数の可視画像Im3のいずれにもカラーガス領域Rが含まれていないとき、可視画像動画V3の一部分P2にカラーガス領域R2が含まれないと判定する。第1生成部91は、可視画像動画V3の一部分P2にカラーガス領域R2が含まれない場合、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3の中で、予め定められた可視画像Im3を代表静止画Im4とする。予め定められた可視画像Im3は、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3であれば、いずれでもよい(例えば、先頭の可視画像Im3)。
変形例は、以上のような第1形態の他に、以下に示す第2形態がある。図18に示す第1生成部91が、図13〜図15を用いて説明した方法(代表静止画Im2の生成方法の第1例)で代表静止画Im2を生成し、代表静止画Im2を基にして、代表静止画Im4を生成してもよい。詳しく説明すると、カラー処理部93は、12枚の代表静止画Im2(図13)のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、12枚の代表静止画Im2のそれぞれ対して、ガス領域が含まれているか否かを判定する。カラー処理部93は、ガス領域を含む代表静止画Im2について、ガス領域を切り出し、上述した方法を用いて、ガス領域をカラー化し(カラーガス領域R2を生成)、この代表画像Im2に対応する撮像時刻と同じ時刻に撮像された可視画像Im3に、カラーガス領域R2を合成する。この合成画像が、代表静止画Im4(図21)となる。図23は、変形例の第2形態によって生成された代表静止画Im4を示す画像図である。代表静止画Im4において、カラーガス領域R2が明確に現れている(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)。
以上説明したように、変形例によれば、代表静止画Im4に含まれるガス領域がカラー化されるので(カラーガス領域R2)、ガス領域を目立たせることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
代表静止画Im4を含むガス検査レポートについて説明する。図24は、ガス検査レポートの他の例を説明する説明図である。図24に示すガス検査レポートRP2は、代表静止画Im4を含む。ガス検査レポートRP2が、図17に示すガス検査レポートRP1と異なる点は、代表静止画Im2が代表静止画Im4に変更されている点である。ガス検査レポートRP2は、ガス検査レポートRP1と同様の方法で生成される。
ガス検査レポートRP2に可視画像動画V3のURLが含まれていてもよい。この可視画像動画V3は、ガス検査レポートRP2に含まれる代表静止画Im4の生成に用いられている。ユーザーは、可視画像動画V3を確認することが可能となる。同様に、図17に示すガス検査レポートRP1に監視画像動画V1のURLが含まれていてもよい。
変形例では、カラーガス領域R2の背景として、カラーの可視画像Im3を例に説明したが、グレースケールの可視画像Im3を背景にしてもよい。また、赤外線カメラ2で撮像した赤外画像を背景にしてもよい。赤外画像を背景にする形態では、可視カメラ13は不要となる。
(実施形態の纏め)
実施形態の第1局面に係るガス検査レポート作成支援装置は、時系列画像を代表する代表静止画を生成する第1生成部と、前記代表静止画を含むガス検査レポートの電子データを生成する第2生成部と、を備え、前記第1生成部は、ガス領域を含む前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含む前記代表静止画を生成し、前記ガス領域を含まない前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含まない前記代表静止画を生成する。
時系列画像には、ガス漏れの監視対象(例えば、ガスプラントのガス管)が写されている。時系列画像は、ガス領域を抽出する画像処理がされた時系列画像でもよいし、このような画像処理がされていない時系列画像でもよい。後者は、例えば、ガス管から液化天然ガスが漏れたとき、ガス領域を抽出する画像処理がされてなくても、時系列画像には霧状の像(ガス領域)が含まれる。ガス領域を抽出する画像処理は、実施形態で説明する画像処理に限らず、公知の画像処理でもよい。
検知対象となるガスが出現している場合、時系列画像には、ガス領域が含まれる(時系列画像を構成する複数の画像の中で少なくとも1つの画像にガス領域が含まれる)。検知対象となるガスが出現していない場合、時系列画像には、ガス領域が含まれない(時系列画像を構成する複数の画像の全てにガス領域が含まれない)。
代表静止画は、時系列画像を代表する画像である。第1生成部は、ガス領域を含む時系列画像を用いて、代表静止画を生成する場合、ガス領域を含む代表静止画を生成し、ガス領域を含まない時系列画像を用いて、代表静止画を生成する場合、ガス領域を含まない代表静止画を生成する。よって、代表静止画は、ガス漏れの有無を視覚的に示す証拠となる。代表静止画は、動画でなく、静止画なので、データ量が大きくなく、かつ、代表静止画を含むガス検査レポートがプリントアウトされても、ガス漏れの有無を視覚的に示すことができる。
代表静止画を含むガス検査レポートとは、代表静止画が貼り付けられたガス検査レポートでもよいし、ガス検査レポートが複数ページのとき、1つのページが代表静止画にされているガス検査レポートでもよい。
実施形態の第1局面に係るガス検査レポート作成支援装置は、時系列画像にガス領域が含まれるか否かを判定する第1態様と、時系列画像にガス領域が含まれるか否かを判定しない第2態様とがある。第2態様は、時系列画像にガス領域が含まれていれば、結果として、ガス領域を含む代表静止画を生成し、時系列画像にガス領域が含まれていなければ、結果として、ガス領域を含まない代表静止画を生成する。
上記構成において、前記ガス領域をカラー化する画像処理をするカラー処理部をさらに備える。
この構成によれば、ガス領域がカラー化されるので、ガス領域を目立たせることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。時系列画像の段階で、ガス領域がカラー化されてもよいし(時系列画像を構成する複数の画像に対して、ガス領域をカラー化する処理がされてもよい)、代表静止画の段階で、ガス領域がカラー化されてもよい(代表静止画に対して、ガス領域をカラー化する処理がされてもよい)。
上記構成において、前記第1生成部は、前記時系列画像に前記ガス領域が含まれる場合、前記時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の面積を算出し、前記ガス領域の面積が最大となる画像を前記代表静止画として選択する。
この構成は、上述した第1態様である。この構成によれば、時系列画像にガス領域が含まれる場合、代表静止画に含まれるガス領域の面積を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記第1生成部は、前記時系列画像に前記ガス領域が含まれる場合、前記時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の平均輝度値を算出し、前記ガス領域の平均輝度値が最大となる画像を前記代表静止画として選択する。
この構成は、上述した第1態様である。この構成によれば、時系列画像にガス領域が含まれる場合、代表静止画に含まれるガス領域の平均輝度値を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記第1生成部は、前記時系列画像に前記ガス領域が含まれない場合、前記時系列画像を構成する複数の画像の中で、予め定められた画像を前記代表静止画として選択する。
この構成は、上述した第1態様である。この構成は、ガス領域を含まない時系列画像について、代表静止画を生成する方法の一例である。予め定められた画像は、時系列画像を構成する複数の画像であれば、いずれでもよい(例えば、先頭の画像)。
上記構成において、前記第1生成部は、前記時系列画像を構成する複数の画像において、同じ順番に位置する画素が示す値の最大値を、前記代表静止画の前記順番に位置する画素の値として設定して前記代表静止画を生成する。
ガス領域を構成する画素が示す値は、比較的大きいので、比較的大きい値を有する画素で構成される領域がガス領域となる。よって、この構成によれば、時系列画像にガス領域が含まれるとき、ガス領域を含む代表静止画が生成され、時系列画像にガス領域が含まれないとき、ガス領域を含まない代表静止画が生成されることになる。この構成は、上述した第2態様であり、時系列画像にガス領域が含まれるか否かを判定しないで、代表静止画を生成する。この構成によれば、時系列画像にガス領域が含まれる場合、代表静止画に含まれるガス領域が、時系列画像を構成する複数の画像のそれぞれに含まれるガス領域の論理和を示すようなガス領域になる。従って、風向きの変化等でガスがゆらいでいる場合、代表静止画に含まれるガス領域の面積を大きくすることができることが分かった。このような場合、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記代表静止画に前記ガス領域が含まれる場合、前記ガス領域をカラー化する画像処理をするカラー処理部をさらに備える。
この構成は、代表静止画にガス領域が含まれるか否かを判定し、代表静止画にガス領域が含まれる場合、ガス領域をカラー化する。従って、この構成によれば、ガス領域を目立たせることができる。
上記構成において、前記第1生成部は、前記ガス領域を抽出する画像処理がされている前記時系列画像を代表する前記代表静止画を生成する。
この構成によれば、ガス領域を抽出する画像処理がされた時系列画像を用いて、代表静止画が生成される。
実施形態の第2局面に係るガス検査レポート作成支援方法は、時系列画像を代表する代表静止画を生成する第1生成ステップと、前記代表静止画を含むガス検査レポートの電子データを生成する第2生成ステップと、を備え、前記第1生成ステップは、ガス領域を含む前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含む前記代表静止画を生成し、前記ガス領域を含まない前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含まない前記代表静止画を生成する。
実施形態の第2局面に係るガス検査レポート作成支援方法は、実施形態の第1局面に係るガス検査レポート作成支援装置を方法の観点から規定しており、実施形態の第1局面に係るガス検査レポート作成支援装置と同様の作用効果を有する。
実施形態の第3局面に係るガス検査レポート作成支援プログラムは、時系列画像を代表する代表静止画を生成する第1生成ステップと、前記代表静止画を含むガス検査レポートの電子データを生成する第2生成ステップと、をコンピュータに実行させ、前記第1生成ステップは、ガス領域を含む前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含む前記代表静止画を生成し、前記ガス領域を含まない前記時系列画像を用いて、前記代表静止画を生成する場合、前記ガス領域を含まない前記代表静止画を生成する。
実施形態の第3局面に係るガス検査レポート作成支援プログラムは、実施形態の第1局面に係るガス検査レポート作成支援装置をプログラムの観点から規定しており、実施形態の第1局面に係るガス検査レポート作成支援装置と同様の作用効果を有する。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
2017年9月21日に提出された日本国特許出願特願2017−181284は、その全体の開示が、その全体において参照によりここに組み込まれる。