JP6319527B2 - ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム Download PDF

Info

Publication number
JP6319527B2
JP6319527B2 JP2017556045A JP2017556045A JP6319527B2 JP 6319527 B2 JP6319527 B2 JP 6319527B2 JP 2017556045 A JP2017556045 A JP 2017556045A JP 2017556045 A JP2017556045 A JP 2017556045A JP 6319527 B2 JP6319527 B2 JP 6319527B2
Authority
JP
Japan
Prior art keywords
image
gas
pixel
value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017556045A
Other languages
English (en)
Other versions
JPWO2017104617A1 (ja
Inventor
基広 浅野
基広 浅野
隆史 森本
隆史 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2017104617A1 publication Critical patent/JPWO2017104617A1/ja
Application granted granted Critical
Publication of JP6319527B2 publication Critical patent/JP6319527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/38Investigating fluid-tightness of structures by using light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/002Investigating fluid-tightness of structures by using thermal means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/02Investigating fluid-tightness of structures by using fluid or vacuum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Description

本発明は、赤外線カメラを利用してガスを検知する技術に関する。
ガス漏れが発生したとき、漏れたガスが漂っている箇所では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外線カメラを利用したガス検知が知られている。
例えば、特許文献1は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外線画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外線画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
また、特許文献2は、検知対象ガスが吸収する第1波長域の赤外光の強度を測定する第1の赤外線カメラと、第1波長域とは異なる波長域と第1波長域とからなる第2波長域の赤外光の強度を測定する第2の赤外線カメラと、第1の赤外線カメラで測定された結果、及び、第2の赤外線カメラで測定された結果に基づいて、検知対象ガスの有無を判定する判定部と、を備えるガス検知装置を開示している。
ガス漏れの監視対象の赤外画像を利用して、漏れたガスをガス像として示す監視画像を生成して、表示部に表示させるガス検知装置がある。この装置よれば、漏れたガスによる僅かな温度変化が生じる箇所をガス像として、可視化して表示させることができる。しかし、監視画像において、動体(人の動き、草、木々等の物の動き)の像もガス像と同様に見えるので、無人で自動的にガス漏れを検知するためには、ガス像と動体の像とを間違わないようにする必要がある。
特開2012−58093号公報 特開2011−237213号公報
本発明は、監視対象の赤外画像を利用して生成された監視画像において、ガス像と非ガス像とを識別できるガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システムを提供することを目的とする。
上記目的を達成する本発明の第1の局面に係るガス検知用画像処理装置は、算出部及び識別部を備える。前記算出部は、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する。前記識別部は、前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する。
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
本実施形態に係るガス検知用画像処理装置を含むガス検知システムのブロック図である。 図1Aに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データを説明する説明図である。 本実施形態の第1態様を説明するフローチャートである。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点SP1の温度変化を示すグラフである。 試験場所の地点SP2の温度変化を示すグラフである。 監視画像の生成処理(図3のステップS100)を説明するフローチャートである。 地点SP1(図4)に対応する画素の時系列画素データD2、時系列画素データD2から抽出された第2の周波数成分データD3、時系列画素データD2から抽出された第3の周波数成分データD6を示すグラフである。 第1の差分データD4を示すグラフである。 第2の差分データD7を示すグラフである。 第1のばらつきデータD5及び第2のばらつきデータD8を示すグラフである。 第3の差分データD9を示すグラフである。 時刻T1のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。 時刻T2のフレームを基にして生成された、画像I16、画像I17及び画像I18を示す画像図である。 時刻T10で撮影された赤外画像とガスを含む背景との関係を説明する説明図である。 時刻T11で撮影された赤外画像とガスを含む背景との関係を説明する説明図である。 屋外の試験場所を撮影した赤外画像を示す画像図である。 試験場所の地点SP4(図15)の温度変化を示すグラフである。 ガスの濃度厚み積を算出する方法を説明する説明図である。 ガスの濃度厚み積の推定値を求める処理を説明するフローチャートである。 試験場所の地点SP4(図15)の温度変化とフレーム群との関係を示すグラフである。 ガスの温度が背景温度より低いとき、ガスの温度、ガス有り背景温度、及び、ガス無し背景温度の関係を説明する説明図である。 ガスの温度が背景温度より高いとき、ガスの温度、ガス有り背景温度、及び、ガス無し背景温度の関係を説明する説明図である。 図18の処理が実行されているときに、表示部に表示される画像の遷移を示す画像図である。 赤外画像の動画データD1から選択された三つの赤外画像を示す画像図である。 ガスの濃度厚み積を利用して生成された各種画像を示す画像図である。 本実施形態の第2態様を説明するフローチャートである。 ガスの濃度厚み積の基本的特性を説明する説明図である。 濃度厚み積可視化画像の問題〈1〉を説明する説明図である。 濃度厚み積可視化画像の問題〈2〉を説明する説明図である。 ガスの濃度厚み積が本当に大きい場合と、ガスの濃度厚み積が誤差により大きい場合とを説明する説明図である。 相関値において、ガス温度とガス無し背景温度との温度差の補正を説明する第1の説明図である。 相関値において、ガス温度とガス無し背景温度との温度差の補正を説明する第2の説明図である。 昼間に撮影された試験場所の各種画像を示す画像図である。 夜間に撮影された試験場所の各種画像を示す画像図である。 識別処理(図24のステップS202)を説明するフローチャートである。 識別処理(図24のステップS202)において関係する各種画像を示す画像図である。 本実施形態の第3態様を説明するフローチャートである。 時系列に並ぶ相関値可視化画像を示す画像図である。 時系列相関値データを説明する説明図である。 時系列相関値データを利用して生成されたヒストグラムを説明する説明図である。 本実施形態の第4態様を説明するフローチャートである。 差分画像の生成処理(図38のステップS405)において関係する各種画像を示す画像図である。 識別処理(図38のステップS406)において関係する各種画像を示す画像図である。 時系列に並ぶ相関値可視化画像を示す画像図である。 差分画像の生成処理において関係する各種画像を示す画像図である。
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
図1Aは、本実施形態に係るガス検知用画像処理装置3を含むガス検知システム1のブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)、及び、背景の赤外画像の動画を撮影し、動画を示す動画データD1を生成する。動画は、時系列に並べられた複数の赤外画像の一例である。動画に限らず、赤外線カメラ2によって、ガス漏れの監視対象及び背景の赤外画像を複数の時刻で撮影してもよい。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体(監視対象及び背景)の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データD1となる。
動画データD1(画像データ)で示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレームにおいて、空間的に同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データとする。時系列画素データを具体的に説明する。図2は、時系列画素データを説明する説明図である。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されているとする。画素データは、画素の輝度又は温度を示す。
複数(K個)のフレームにおいて、空間的に同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データとなる。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数(M個)の時系列画素データにより動画データD1が構成される。
図1Aを参照して、ガス検知用画像処理装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像生成部8、演算処理部9、表示制御部12、表示部13、入力部14及び画像データ入力部15を備える。
画像データ入力部15は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部15には、赤外線カメラ2の通信部から送られてきた動画データD1が入力される。動画データD1は、画像データの一例である。画像データとは、ガス漏れの監視対象が複数の時刻で撮影されることにより得られた、複数の赤外画像を示すデータである。画像データ入力部15は、動画データD1を画像生成部8、演算処理部9及び表示制御部12へ送る。
画像生成部8、演算処理部9及び表示制御部12は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、及び、HDD(Hard Disk Drive)等によって実現される。
画像生成部8は、動画データD1に対して所定の画像処理をして、所定の画像(例えば、監視画像)を生成する。
演算処理部9は、ガス検知用画像処理に必要な各種演算をする。演算処理部9は、算出部10及び識別部11を備える。これらについては後で説明する。
表示制御部12は、画像生成部8によって生成された所定の画像を表示部13に表示させる。表示部13は、例えば、液晶ディスプレイにより実現される。
入力部14は、キーボードやタッチパネルにより実現され、ガス検知に関連する各種入力がされる。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU3a、RAM3b、ROM3c、HDD3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、表示部13を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部15を実現するハードウェアである。キーボード等3gは、入力部14を実現するハードウェアである。
HDD3dには、画像生成部8、演算処理部9及び表示制御部12について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像生成部8を実現するプログラムは、動画データD1(画像データ)を取得し、動画データD1に上記所定の処理(例えば、監視画像の生成処理)をする処理プログラムである。演算処理部9を実現するプログラムは、ガス検知用画像処理に必要な各種演算をするための演算プログラムである。表示制御部12を実現するプログラムは、画像(例えば、画像生成部8によって生成された所定の画像)を表示部13に表示させる表示制御プログラムである。これらのプログラムは、HDD3dの替わりにROM3cに格納しても良い。
CPU3aは、処理プログラム、演算プログラム及び表示制御プログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム、演算プログラム及び表示制御プログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されても良い。
なお、ガス検知用画像処理装置3は、次に説明するように、第1態様から第4態様がある。これらの態様は、それぞれ、複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス検知用画像処理装置3の第1態様は、要素として、算出部及び識別部を含む。HDD3dには、算出部、識別部のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、算出プログラム、識別プログラムと表現される。
これらのプログラムは、要素の定義を用いて表現される。算出部及び算出プログラムを例にして説明する。算出部は、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する識別値を算出する。算出プログラムは、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する識別値を算出するプログラムである。
CPU3aによって実行されるこれらのプログラム(算出プログラム、識別プログラム)のフローチャートが、後で説明する図3である。
上述したように、本実施形態には、第1態様から第4態様がある。図3は、本実施形態の第1態様を説明するフローチャートである。第1態様は、監視画像の生成処理(ステップS100)、ガスの濃度厚み積の算出処理(ステップS101)、及び、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素との識別処理(ステップS102)によって構成される。ガス像以外の動体の像は、以下、「動体の像」と簡単に記載することもある。監視画像とは、監視対象の赤外画像を利用して生成される画像であり、監視対象からガスが漏れている場合、漏れたガスを可視化したガス像を含む。
ガスの濃度厚み積(以下、「濃度厚み積」と簡単に記載することもある)について説明する。ガス漏れが検知されたとき、ガスの危険度(例えば、爆発の可能性)が判定される必要がある。ガスの危険度は、ガスが漂っている箇所のガス濃度で判定することができる。しかし、赤外線カメラを利用した遠隔からのガス検知では、ガスが漂っている箇所のガスの濃度を直接測定することができず、ガスの濃度厚み積を測定する。ガスの濃度厚み積とは、ガスの濃度を、ガスが漂っている箇所の奥行き方向に沿って積分した値を意味する。
監視画像の生成及び濃度厚み積の算出については、公知の方法を用いることもできるので、以下の[監視画像の生成処理]及び[ガスの濃度厚み積の算出処理]の箇所を読まずに、[ガス像を構成する画素とガス像以外の動体の像を構成する画素との識別処理]の箇所を読むだけでも、本実施形態の第1態様を理解することが可能である。
[監視画像の生成処理]
監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図4は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図5Aは、試験場所の地点SP1の温度変化を示すグラフであり、図5Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図5Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図4に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図4に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データD1(図1A)には、漏れたガスによる温度変化を示す第1の周波数成分データに加えて、第1の周波数成分データよりも周波数が低く、背景温度の変化を示す第2の周波数成分データが含まれるからである。第2の周波数成分データで示される像(背景の明暗の変化)により、第1の周波数成分データで示される像が見えなくなるのである。図5A及び図5Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、第1の周波数成分データに対応する。地点SP2の温度変化を示すグラフが第2の周波数成分データに対応する。
そこで、画像生成部8(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データ(すなわち、動画データD1を構成する複数の時系列画素データ)を、動画データD1から生成し、複数の時系列画素データのそれぞれに対して、第2の周波数成分データを除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目の画素の時系列画素データ、2番目の画素の時系列画素データ、・・・、M−1番目の画素の時系列画素データ、M番目の画素の時系列画素データを意味する。
第1の周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、第3の周波数成分データとする。画像生成部8は、動画データD1を構成する複数の時系列画素データのそれぞれに対して、第2の周波数成分データを除く処理に加えて、第3の周波数成分データを除く処理をする。
このように、画像生成部8は、フレームの単位で第2の周波数成分データ及び第3の周波数成分データを除く処理をするのではなく、時系列画素データの単位で第2の周波数成分データ及び第3の周波数成分データを除く処理をする。
図6は、図3のステップS100で示す監視画像の生成処理を説明するフローチャートである。時系列画素データの画素データに所定の処理がされる前の時系列画素データを、第1の時系列画素データとし、所定の処理がされた後の時系列画素データを、第2の時系列画素データとする。所定の処理とは、監視画像、濃度厚み積が可視化された画像等を生成するための処理である。後で説明する図7に示す時系列画素データD2が第1の時系列画素データであり、図10に示す第3の差分データD9が第2の時系列画素データである。図2に示す時系列画素データは、画素データが所定の処理がされる前の場合、第1の時系列画素データとなり、画素データが所定の処理がされた後の場合、第2の時系列画素データとなる。
画像生成部8は、第1の時系列画素データに対して、図2に示すK個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより第1の時系列画素データから抽出されたデータを、第2の周波数成分データとし、図2に示すM個の時系列画素データのそれぞれに対応するM個の第2の周波数成分データを抽出する(ステップS1)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データから第2の周波数成分データを抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像生成部8は、第1の時系列画素データに対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより第1の時系列画素データから抽出されたデータを、第3の周波数成分データとし、図2に示すM個の時系列画素データのそれぞれに対応するM個の第3の周波数成分データを抽出する(ステップS4)。
図7は、地点SP1(図4)に対応する画素の時系列画素データD2、時系列画素データD2から抽出された第2の周波数成分データD3、時系列画素データD2から抽出された第3の周波数成分データD6を示すグラフである。グラフの縦軸及び横軸は、図5Aのグラフの縦軸及び横軸と同じである。時系列画素データD2で示される温度は、比較的急に変化し(変化の周期が比較的短く)、第2の周波数成分データD3で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。第3の周波数成分データD6は、時系列画素データD2とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
画像生成部8は、第1の時系列画素データとこの第1の時系列画素データから抽出された第2の周波数成分データとの差分を算出して得られるデータを、第1の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第1の差分データを算出する(ステップS2)。
画像生成部8は、第1の時系列画素データとこの第1の時系列画素データから抽出された第3の周波数成分データとの差分を算出して得られるデータを、第2の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第2の差分データを算出する(ステップS5)。
図8Aは、第1の差分データD4を示すグラフであり、図8Bは、第2の差分データD7を示すグラフである。これらのグラフの縦軸及び横軸は、図5Aのグラフの縦軸及び横軸と同じである。第1の差分データD4は、図7に示す時系列画素データD2と第2の周波数成分データD3との差分を算出して得られたデータである。図5Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、第1の差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、第1の差分データD4の振幅及び波形のばらつきが大きくなっている。
第2の差分データD7は、図7に示す時系列画素データD2と第3の周波数成分データD6との差分を算出して得られたデータである。
第1の差分データD4は、第1の周波数成分データ(漏れたガスによる温度変化を示すデータ)及び第3の周波数成分データD6(高周波ノイズを示すデータ)を含む。第2の差分データD7は、第1の周波数成分データを含まず、第3の周波数成分データD6を含む。
第1の差分データD4は、第1の周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、第1の差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、第2の差分データD7は、第1の周波数成分データを含まないので、そのようなことはない。第2の差分データD7は、微小な振幅を繰り返している。これが高周波ノイズである。
第1の差分データD4と第2の差分データD7とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、第1の差分データD4の値がプラス、第2の差分データD7の値がマイナスとなり、又は、その逆となる場合がある。このため、第1の差分データD4と第2の差分データD7との差分を算出しても、第3の高周波成分データD6を除去できない。第3の高周波成分データD6を除去するには、第1の差分データD4及び第2の差分データD7を引き算できる絶対値のような値に変換する必要がある。
そこで、画像生成部8は、第1の差分データに対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、第1のばらつきデータとし、M個の時系列画素データのそれぞれに対応するM個の第1のばらつきデータを算出する(ステップS3)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像生成部8は、第2の差分データに対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、第2のばらつきデータとし、M個の時系列画素データのそれぞれに対応するM個の第2のばらつきデータを算出する(ステップS6)。移動標準偏差の替わりに、移動分散を用いてもよい。
図9は、第1のばらつきデータD5及び第2のばらつきデータD8を示すグラフである。グラフの横軸は、図5Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。第1のばらつきデータD5は、図8Aに示す第1の差分データD4の移動標準偏差を示すデータである。第2のばらつきデータD8は、図8Bに示す第2の差分データD7の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、第1のばらつきデータD5及び第2のばらつきデータD8のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
第1のばらつきデータD5及び第2のばらつきデータD8は、標準偏差なので、マイナスの値を含まない。このため、第1のばらつきデータD5及び第2のばらつきデータD8は、第1の差分データD4及び第2の差分データD7を引き算できるように変換したデータと見なすことができる。
画像生成部8は、同じ時系列画素データから得られた第1のばらつきデータと第2のばらつきデータとの差分を算出して得られるデータを、第3の差分データとし、M個の時系列画素データのそれぞれに対応するM個の第3の差分データを算出する(ステップS7)。
図10は、第3の差分データD9を示すグラフである。グラフの横軸は、図5Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差である。第3の差分データD9は、図9に示す第1のばらつきデータD5と第2のばらつきデータD8との差分を示すデータである。
画像生成部8は、ステップS7で得られたM個の第3の差分データを、第2の周波数成分データ及び第3の周波数成分データを除く処理がされた動画データとして表示制御部12に出力する。この動画データで示される動画が、監視画像となる。表示制御部12は、この動画データで示される動画を表示部13に表示させる。この動画に含まれる監視画像として、例えば、図11に示す画像I15及び図12に示す画像I18がある。
図11は、時刻T1のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、図6のステップS3で得られたM個の第1のばらつきデータで示される動画において、時刻T1のフレームの画像である。画像I14は、図6のステップS6で得られたM個の第2のばらつきデータで示される動画において、時刻T1のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。
図12は、時刻T2のフレームを基にして生成された、画像I16、画像I17及び画像I18を示す画像図である。画像I16は、ステップS3で得られたM個の第1のばらつきデータで示される動画において、時刻T2のフレームの画像である。画像I17は、ステップS6で得られたM個の第2のばらつきデータで示される動画において、時刻T2のフレームの画像である。画像I16と画像I17との差分が、画像I18(監視画像)となる。図11及び図12に示す画像I13〜画像I18のいずれも、いずれも標準偏差を5000倍にした画像である。
図11に示す画像I15は、図4に示す地点SP1からガスが噴出される前に撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れていない。これに対して、図12に示す画像I18は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I18には、地点SP1からガスが出ている様子が現れている。
以上説明したように、本実施形態によれば、画像生成部8(図1A)が、赤外画像の動画データD1に含まれる第2の周波数成分データを除く処理をして、動画データを生成し、表示制御部12が、この動画データで示される動画(監視画像の動画)を表示部13に表示させる。従って、本実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。本実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部13に表示させることができる。
[ガスの濃度厚み積の算出処理]
赤外画像は、複数の画素が二次元に配列されて構成される。監視対象を含む背景は、複数の画素のそれぞれに対応する複数の領域に仮想的に分割されている。各画素の画素データは、対応する領域の背景温度を示している。ある領域に位置するガスの濃度厚み積を算出するためには、その領域にガスが有る場合のその領域の背景温度(ガス有り背景温度)、及び、その領域にガスが無い場合のその領域の背景温度(ガス無し背景温度)が必要となる。
図13は、時刻T10で撮影された赤外画像とガスを含む背景との関係を説明する説明図である。ガスは、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)から漏れており、空間を漂っている。赤外画像は、1番目からM番目までのM個の画素が二次元に配列されて構成される。Mは、複数である。背景は、M個の画素のそれぞれに対応する1番目からM番目までのM個の領域に仮想的に分割されている。例えば、1番目の画素は、1番目の領域に対応しており、1番目の画素の画素データは、1番目の領域の背景温度を示している。J番目の画素は、J番目の領域に対応しており、J番目の画素の画素データは、J番目の領域の背景温度を示している。
例えば、J番目の領域に位置するガスの濃度厚み積を算出するためには、J番目の領域のガス有り背景温度、及び、J番目の領域のガス無し背景温度が必要となる。
図13に示す状態では、J番目の領域にガスが位置しているので、J番目の領域のガス有り背景温度を検知できるが、J番目の領域のガス無し背景温度を検知できない。図14は、時刻T10と異なる時刻T11で撮影された赤外画像とガスを含む背景との関係を説明する説明図である。時刻T11では、J番目の領域にガスが無い。これは、漏れたガスがゆらいでいるからである。ガスのゆらぎは、風などによって発生する。本発明者は、漏れたガスがゆらぐことにより、時系列で見れば、J番目の領域にガスが有る状態とガスが無い状態とが発生する可能性が高いことを見出した。
この原理を利用して、ガス有り背景温度及びガス無し背景温度が測定される。図15は、屋外の試験場所を撮影した赤外画像を示す画像図である。これは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP4がある。
図16は、試験場所の地点SP4の温度変化を示すグラフである。グラフの縦軸は、背景温度を示している。グラフの横軸は、フレームの順番を示している。例えば、160とは、160番目のフレームを意味する。フレームレートは、30fpsである。
ガスの温度は11.4度であり、試験場所(すなわち、赤外画像が撮影された場所)の気温よりも低い。170番目あたりのフレームから地点SP4の背景温度が低下している。これは、このフレームに対応する時刻が、地点SP4でガスの噴出を開始させた時刻だからである。ガスは、地点SP4で噴出し続けている。170番目あたりのフレーム以降、地点SP4の背景温度が一定でなく、変化し続けるのは、噴出したガスがゆらいでいるからであり、地点SP4にガスが有る状態とガスが無い状態とが発生するからである。本実施形態では、ガス噴出後の背景温度の変化データ(背景温度の変動を示すグラフの振幅)を利用して、ガス有り背景温度及びガス無し背景温度を求める。
公知技術として、検知対象のガスにより吸収される波長域を透過するフィルター、及び、その波長域を透過しないフィルターを用意し、これらのフィルターを適宜に切り替えて、ガス有り背景温度及びガス無し背景温度を測定する技術がある。これに対して、本実施形態では、漏れたガスがゆらいでいる現象を利用して、ガス有り背景温度及びガス無し背景温度を求める。本実施形態によれば、二種類のフィルター及びこれらを切り替える機構が不要となる。
ガス有り背景温度及びガス無し背景温度は、演算処理部9(図1A)によって算出される。地点SP4(図15)は、一つの画素であり、図16に示すグラフは、地点SP4に対応する時系列画素データ(図2)である。図13及び図14を参照して、演算処理部9は、監視対象(不図示)を含む背景のうち、赤外画像を構成する複数(M個)の画素の中の所定の画素(例えば、J番目の画素)に対応する領域にガスが有る場合に、所定の画素の画素データで示される背景温度をガス有り背景温度とし、その領域にガスが無い場合に、所定の画素の画素データで示される背景温度をガス無し背景温度とし、ガス有り背景温度及びガス無し背景温度を、所定の画素に対応する時系列画素データ(図2)を利用して決定することを温度決定処理とし、赤外画像を構成する複数(M個)の画素のそれぞれを所定の画素として、赤外画像を構成する複数(M個)の画素のそれぞれについて、温度決定処理をする。
すなわち、図2及び図13を参照して、演算処理部9は、1番目の画素に対応する時系列画素データを利用して、1番目の領域について、ガス有り背景温度及びガス無し背景温度を決定し、2番目の画素に対応する時系列画素データを利用して、2番目の領域について、ガス有り背景温度及びガス無し背景温度を決定し、・・・、M−1番目の画素に対応する時系列画素データを利用して、M−1番目の領域について、ガス有り背景温度及びガス無し背景温度を決定し、M番目の画素に対応する時系列画素データを利用して、M番目の領域について、ガス有り背景温度及びガス無し背景温度を決定する。
演算処理部9及び画像処理部8によって、決定部が構成される。決定部は、画像データ入力部15から入力された複数の赤外画像(動画データD1)から時系列画素データを生成し、赤外画像を構成する複数の画素のそれぞれの時系列画素データを基にして、複数の画素のそれぞれに対応するガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する。
算出部10は、決定部によって決定されたガス有り背景温度及びガス無し背景温度を利用して、赤外画像を構成する複数(M個)の画素のそれぞれに対応するガスの濃度厚み積を算出する。
ガスの濃度厚み積の算出について具体的に説明する。図17は、これを説明する説明図である。図1Aに示す赤外線カメラ2に含まれる二次元イメージセンサー6は、画素(図13、図14)に対応するセンサー画素を備える。すなわち、二次元イメージセンサー6は、1番目からM番目までのM個のセンサー画素が二次元に配列されて構成される。例えば、二次元イメージセンサー6は、J番目の画素に対応するJ番目のセンサー画素を備える。J番目のセンサー画素は、J番目の領域に対応することになる。
Igasは、あるセンサー画素に対応する領域にガスが有るときに、そのセンサー画素が出力する信号(ガス有り背景信号)を示す式である。Inogasは、その領域にガスが無いときに、そのセンサー画素が出力する信号(ガス無し背景信号)を示す式である。J番目のセンサー画素で説明すると、Igasは、J番目の領域にガスが有るときに、J番目のセンサー画素が出力する信号を示す式である。Inogasは、J番目の領域にガスが無いときに、J番目のセンサー画素が出力する信号を示す式である。
ガスの濃度厚み積ctは、τgas(λ)の式に含まれ、この式は、Igasの式に含まれている。Igasの式から分かるように、ガス有り背景信号、ガスの温度、気温、湿度、赤外線カメラ2と被写体(ガス漏れの監視対象)との距離、及び、背景赤外線量Pbackが分かれば、ガスの濃度厚み積ctが求まる。背景赤外線量Pbackは、背景温度に相当する。以下、J番目の領域のガスの濃度厚み積ctを例にして説明する。
J番目のセンサー画素から出力されるガス有り背景信号は、J番目の画素の画素データで示されるガス有り背景温度から求めることができる。ガスの温度は、気温と近似できるので、気温と同じとする。気温は、気温センサーを用いて求める。湿度は、湿度センサーを用いて求める。湿度は、ガスの濃度厚み積に与える影響が小さいので、湿度センサーで湿度を求めるのでなく、湿度を例えば50%としてもよい。距離は、赤外線カメラ2に設定された、赤外線カメラ2と被写体との距離を用いる。
J番目の領域の背景赤外線量Pbackは、Inogasの式を用いて求める。詳しく説明すると、Inogasの式から分かるように、ガス無し背景信号、気温、湿度、及び、赤外線カメラ2と被写体(ガス漏れの監視対象)との距離が分かれば、背景赤外線量Pbackが求まる。
J番目のセンサー画素から出力されるガス無し背景信号は、J番目の画素の画素データで示されるガス無し背景温度から求めることができる。気温、湿度、距離は、上述したようにして求めることができる。これらのパラメータ(ガス無し背景信号、気温、湿度、距離)から背景赤外線量Pbackを求める式は、存在しないので、これらのパラメータと背景赤外線量Pbackとの関係を示すテーブルを予め作成しておく。このテーブル及びパラメータを利用して(必要であれば、さらに補間を利用して)、背景赤外線量Pbackを求める。なお、テーブルを利用することなく、収束計算を用いて、背景赤外線量Pbackを求めても良い。
以上のようにして求めたパラメータ(ガス有り背景信号、ガスの温度、気温、湿度、距離、背景赤外線量Pback)からガスの濃度厚み積ctを求める式は、存在しないので、これらのパラメータとガスの濃度厚み積ctとの関係を示すテーブルを予め作成しておく。このテーブル及びパラメータを利用して(必要であれば、さらに補間を利用して)、ガスの濃度厚み積ctを求める。なお、テーブルを利用することなく、収束計算を用いて、ガスの濃度厚み積ctを求めても良い。
ガス検知用画像処理装置3(図1A)は、ガスのゆらぎを利用したガスの濃度厚み積の算出処理を行い、ガスの濃度厚み積の推定値を求める。図18は、ガスの濃度厚み積の推定値を求める処理を説明するフローチャートである。図1A及び図18を参照して、表示制御部12は、ガス漏れの監視対象を含む背景の赤外画像を利用して生成された監視画像を表示部13に表示させる。ガス漏れの監視者は、表示部13に表示されている監視画像の中で、監視者が注目する画素を注目画素とし、入力部14を操作して、注目画素の位置を入力する(すなわち、注目画素を指定する)。注目画素は、所定の画素の一例であり、漏れたガスが漂っている領域に対応する画素である。例えば、図13及び図14に示すJ番目の領域に対応する画素、すなわち、J番目の画素を注目画素にすることができる。以下、注目画素が、J番目の画素を例にして説明する。
図13及び図14を参照して、演算処理部9は、M個の画素の中のJ番目の画素(注目画素、所定の画素)において、J番目の画素に対応するJ番目の領域にガスが有る場合に、J番目の画素の画素データで示される背景温度をガス有り背景温度とし、J番目の領域にガスが無い場合に、J番目の画素の画素データで示される背景温度をガス無し背景温度とし、ガス有り背景温度及びガス無し背景温度を、J番目の画素の時系列画素データ(図2)を基にして決定する。
詳しく説明すると、演算処理部9は、図2に示すK個(複数)のフレームの数より少なく、時系列の順番が連続する所定数のフレームの群をフレーム群とし、J番目の画素の時系列画素データのうち、フレーム群に含まれる画素データで示される背景温度の中から、ガス有り背景温度及びガス無し背景温度を決定する(ステップS31)。
フレーム群は、時系列の順番が連続する所定数のフレームにより構成される。ここでは、所定数を例えば、41とする。フレーム群は、注目するフレーム、このフレームの直前の連続する20個のフレーム、及び、このフレームの直後の連続する20個のフレームにより構成される。これを図19で説明する。図19は、試験場所の地点SP4(図15)の温度変化とフレーム群との関係を示すグラフである。グラフの縦軸、横軸、及び、温度変化を示す線は、図5Aに示すそれらと同じである。この温度変化を示す線は、地点SP4に対応する画素の時系列画素データである。注目するフレームが、例えば、200番目のフレームのとき、180番目から220番目のフレームにより一つのフレーム群が構成される。最初に、1番目のフレーム群が構成される。1番目のフレーム群は、注目するフレームが21番目のフレームであり、1番目から41番目のフレームにより構成される。最後のフレーム群は、例えば、フレーム数が300の場合、260番目から300番目のフレームにより構成されるフレーム群である。1番目から最後のフレーム群は、フレームの組み合わせが異なる複数のフレーム群である。
演算処理部9は、J番目の画素の時系列画素データのうち、フレーム群に含まれる画素データで示される背景温度の中から背景温度の最大値及び最小値を決定する。ここでは、フレーム群が1番目のフレーム群である。
最大値が、ガス有り背景温度又はガス無し背景温度の一方となり、最小値が、ガス有り背景温度又はガス無し背景温度の他方となる。これは、ガスの温度と、ガス有り背景温度と、ガス無し背景温度との関係で決まる。これを図20A及び図20Bで説明する。図20A及び図20Bは、その関係を説明する説明図である。赤外画像を構成する複数の画素の中で、J番目の画素(所定の画素)の画素データで示される背景温度として、ガス有り背景温度及びガス無し背景温度がある。被写体にガスが含まれている場合、ガス温度とガス無し背景温度との間に、ガス有り背景温度がある。ガスの温度が、J番目の画素(所定の画素)の画素データで示される背景温度より低い場合、ガス無し背景温度>ガス有り背景温度>ガスの温度の関係が成立し(図20A)、ガスの温度が、J番目の画素の画素データで示される背景温度より高い場合、ガスの温度>ガス有り背景温度>ガス無し背景温度の関係が成立する(図20B)。
ガスの温度が、J番目の画素の画素データで示される背景温度より低い場合、この背景温度の最大値がガス無し背景温度となり、この背景温度の最小値がガス有り背景温度となる。これに対して、ガスの温度が、J番目の画素の画素データで示される背景温度より高い場合、この背景温度の最大値がガス有り背景温度となり、この背景温度の最小値がガス無し背景温度となる。なお、検知の対象となるガスが常温の場合、気温をガスの温度にしてもよい。
以上のようにして、ステップS31でのガス有り背景温度及びガス無し背景温度が決定される。このように、本実施形態によれば、二種類のフィルター及びこれらを切り替える機構を必要とすることなく、一つの赤外線カメラ2で、ガス有り背景温度及びガス無し背景温度を測定できる。
算出部10(図1A)は、ステップS31で決定されたガス有り背景温度及びガス無し背景温度を用いて、J番目の領域にあるガスの濃度厚み積を算出する(ステップS32)。ここでは、1番目のフレーム群のガス有り背景温度及びガス無し背景温度を用いて、ガスの濃度厚み積が算出される。
算出部10は、ステップS32で算出されたガスの濃度厚み積と候補値とを比較し、大きい方を候補値として記憶する(ステップS33)。後で説明するように、算出部10は、最終的に記憶されている候補値を、漏れたガスの濃度厚み積の推定値とする。候補値の初期値は、0である。従って、算出部10は、ステップS32で算出されたガスの濃度厚み積、すなわち、1番目のフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積を候補値として記憶する。
演算処理部9は、注目するフレームが最後か否かを判断する(ステップS34)。フレームの数が、例えば、300の場合、280番目のフレームが最後となる。注目するフレームが280番目の場合、260番目から300番目のフレームによりフレーム群(最後のフレーム群)が構成されるからである。
演算処理部9が、注目するフレームが最後でないと判断したとき(ステップS34でNo)、ステップS31に戻る。演算処理部9は、注目するフレームを時系列に一つずらして次のフレーム群を作成する。ここでは、注目するフレームが22番目のフレームの場合のフレーム群を作成する。このフレーム群は、2番目のフレーム群であり、2番目から42番目のフレームにより構成される。
演算処理部9は、J番目の画素の時系列画素データのうち、2番目のフレーム群に含まれる画素データで示される背景温度の中から、ガス有り背景温度及びガス無し背景温度を決定する(ステップS31)。
算出部10は、ステップS31で決定された背景温度の最大値及び背景温度の最小値を用いて、J番目の背景にあるガスの濃度厚み積を算出する(ステップS32)。ここでは、2番目のフレーム群のガス有り背景温度及びガス無し背景温度を用いて、ガスの濃度厚み積が算出される。
算出部10は、ステップS32で算出されたガスの濃度厚み積と候補値とを比較し、大きい方を候補値として記憶する。ここでは、2番目のフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積と、候補値(1番目のフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積)とが比較される。従って、候補値として記憶されるガスの濃度厚み積は、これまでに演算されたガスの濃度厚み積の中の最大値となる。
演算処理部9及び算出部10は、注目するフレームが最後と判断するまで(ステップS34でYes)、ステップS31からステップS33の処理を繰り返す。つまり、演算処理部9は、フレームの組み合わせが異なるフレーム群を複数用意し、複数のフレーム群のそれぞれについて、ガス有り背景温度及びガス無し背景温度を決定する。算出部10は、複数のフレーム群のそれぞれについて、算出部10に含まれる決定部によって決定されたガス有り背景温度及びガス無し背景温度を用いて、ガスの濃度厚み積を算出する。
演算処理部9が、注目するフレームが最後であると判断したとき(ステップS34でYes)、算出部10は、ステップS33で記憶している候補値を、漂っているガスの濃度厚み積と推定する(ステップS35)。このように、算出部10は、ステップS32で算出された、複数のフレーム群のそれぞれのガスの濃度厚み積の中の最大値を、漂っているガスの濃度厚み積の推定値とする。
図21は、図18の処理が実行されているときに、表示部13(図1A)に表示される画像の遷移を示す画像図である。これらは、赤外線カメラ2で、図15で説明した試験場所の動画を撮影して得られた赤外画像である。
点線で示す枠内の部分は、ステップS32で算出されたガスの濃度厚み積を可視化した画像である。これは、注目画素(J番目の画素)及びこれの周囲に位置する画素で構成されている。これらの画素は、ステップS32で算出されたガスの濃度厚み積を100倍した値に相当する。これらの画素について、ステップS31からステップS35の処理がされている。
ガスの濃度をLEL(Lower Explosive Limit:爆発下限界)で示す。爆発下限界は、空気と混合した可燃性ガスが着火によって爆発を起こす最低濃度である。100%LELは、爆発下限界に到達したことを意味する。メタンの場合、濃度5%に到達したとき、100%LELとなる。ガスの濃度厚み積をLELmで示す。mは、奥行き方向の距離である。
「ct」は、ステップS32で算出されたガスの濃度厚み積を示し、「ct max」は、ステップS33の候補値(これまでに算出されたガスの濃度厚み積の最大の値)を示す。上述したように、点線で示す枠の部分の全ての画素に対して、ステップS31からステップS35の処理がされているが、「ct」及び「ct max」は、注目画素についての値である。
時刻T20で示す画像は、ガスの噴出を開始した直後の画像である。ここでのctは、注目するフレームを時刻T20のフレームとするフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積を示している。
時刻T21で示す画像は、時刻T20から2秒経過したときの画像である。ここでのctは、注目するフレームを時刻T21のフレームとするフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積を示している。この時刻では、注目画素に対応する領域(例えば、注目画素が図13及び図14に示すJ番目の画素の場合、J番目の領域)に漂っているガスの濃度厚み積が比較的低い。これは、この領域に漂っているガスが比較的少ないことを意味する。
時刻T22で示す画像は、時刻T20から5秒経過したときの画像である。ここでのctは、注目するフレームを時刻T22のフレームとするフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積を示している。この時刻では、注目画素に対応する領域に漂っているガスの濃度厚み積が比較的高い。これは、この領域に漂っているガスが比較的多いことを意味する。
時刻T23で示す画像は、時刻T20から8秒経過したときの画像である。ここでのctは、注目するフレームを時刻T23のフレームとするフレーム群のガス有り背景温度及びガス無し背景温度を用いて算出されたガスの濃度厚み積を示している。この時刻では、注目画素に対応する領域に漂っているガスの濃度厚み積が比較的低い。これは、この領域に漂っているガスが比較的少ないことを意味する。
時刻T22でのガスの濃度厚み積(3.5%LELm)が、注目画素に対応する領域のガスの濃度厚み積の推定値とされる。この領域のガスの濃度厚み積の正確な値は、3%LELmであった。本実施形態では、漏れたガスがゆらいでいる現象を利用して、ガス有り背景温度及びガス無し背景温度を決定している。ガスのゆらぎは、風などによって発生するので、ガス有り背景温度とガス無し背景温度との温度差は、時間軸に沿って変動し、この結果、濃度厚み積も時間軸に沿って変動する。本実施形態では、時間軸において、濃度厚み積の最大値を濃度厚み積の推定値とし、この推定値を濃度厚み積と見なす。本実施形態によれば、ガスの濃度厚み積の推定値は、ガスの濃度厚み積の正確な値に対して、0.5倍〜2倍の範囲に収めることができる。
ここで、所定数のフレームを41フレームとした理由を説明する。本実施形態では、各フレーム群において、例えば、図13及び図14に示すJ番目の領域(注目画素に対応する領域)のガスの濃度厚み積を算出し、その中の最大の値を、ガスの濃度厚み積の推定値とする。あるフレーム群の全期間において、J番目の領域にガスが有る状態、又は、J番目の領域にガスが無い状態の場合、そのフレーム群でのガスの濃度厚み積を算出することができない。ガスの濃度厚み積を算出するためには、一つのフレーム群の期間中に、J番目の領域にガスが有る状態とガスが無い状態とが発生する必要がある。
一つのフレーム群の期間を長くすれば、J番目の領域にガスが有る状態とガスが無い状態とを確実に発生させることができる。しかし、雲が移動して太陽光を遮ったり、太陽光を遮っている雲が移動したりすると、背景温度が変化する。一つのフレーム群の期間を長くし過ぎると、この影響を受ける可能性が高くなる。一方、一つのフレーム群の期間を短くし過ぎると、J番目の領域にガスが有る状態とガスが無い状態との両方が発生し難い。
よって、一つのフレーム群の期間は、これらの観点から、およそ1.4秒とした。赤外線カメラ2で撮影する動画のフレームレートが、30fpsの場合には、所定数のフレームは41フレームとなる。フレームレートが変われば、所定数のフレームの数が変わる。なお、想定する条件(例えば、風速)によっては、必ずしも1.4秒である必要性はなく、変更しても構わない。
[ガス像を構成する画素とガス像以外の動体の像を構成する画素との識別処理]
図1Aを参照して、赤外線カメラ2で撮影された赤外画像の動画データD1が、ガス検知用画像処理装置3に送られる。図22は、赤外画像の動画データD1から選択された三つの赤外画像を示す画像図である。画像I30は、時刻T30に撮影された試験場所の赤外画像である。画像I31は、時刻T30から1秒後の時刻T31に撮影された試験場所の赤外画像である。画像I32は、時刻T30から2秒後に撮影された試験場所の赤外画像である。いずれの時刻でも、地点SP5でガスが噴出している。画像I30には写っていないが、画像I31の上部において、左から中央に向けて、動体(走行する電車)の像が写っている。画像I31が撮影された時刻T31から1秒経過後の時刻T32に撮影された画像I32の上部において、左から右に向けて、動体の像が写っている。
図1Aを参照して、画像生成部8は、赤外画像の動画データD1に対して、画像処理をして、監視画像の動画データを生成する(図3のステップS100)。表示制御部12は、監視画像の動画データで示される監視画像の動画を、表示部13に表示させる。図22の赤外画像に対応する監視画像ではないが、監視画像を例示すると、図11に示す画像I15や図12に示す画像I18である。ガス漏れが発生した場合、監視画像には、漏れたガスを可視化したガス像が含まれる。ガス像以外の動体が、背景に存在する場合、監視画像には、その動体の像が含まれる。画像I15及び画像I18において、ガス像と動体の像とは、いずれも白色の像で示されている。このように、ガス漏れが自動的に検知されるようにするためには、動体が間違ってガスと判断されないようにする必要がある。
本実施形態の第1態様では、濃度厚み積可視化画像を利用して、監視画像に含まれるガス像を構成する画素と、監視画像に含まれる動体の像を構成する画素とを識別できるようにする。濃度厚み積可視化画像は、ガスの濃度厚み積が可視化する処理がされた画像である。
算出部10は、ステップS100の処理に用いられた動画データD1を構成する各赤外画像について、濃度厚み積を算出する処理をする(図3のステップS101)。この処理では、赤外画像を構成する複数の画素(言い換えれば、全画素)のそれぞれに対応する領域について、濃度厚み積が算出される。具体的に説明すると、例えば、図13に示す時刻T10の赤外画像について、M個の画素のそれぞれに対応するM個の領域について、濃度厚み積が算出される。すなわち、算出部10は、赤外画像を利用して、赤外画像を構成する複数の画素のそれぞれに対応する濃度厚み積を、識別値として算出する。濃度厚み積の算出方法の一例が、図17で説明されている。
画像生成部8は、図3のステップS101で算出された濃度厚み積が可視化された画像(濃度厚み積可視画像)を生成する。図23は、濃度厚み積を利用して生成された各種画像を示す画像図である。画像I31aは、図22に示す画像I31を構成する複数の画素のそれぞれに対応する濃度厚み積を100倍した値を可視化した画像(濃度厚み積可視化画像)である。濃度厚み積可視化画像は、画像の全面に対応する領域にガスがあると見なして算出された濃度厚み積を可視化した画像であり、ガス像を示す画像ではない。濃度厚み積可視化画像と監視画像とは、同じ赤外画像を利用して生成されるので、濃度厚み積可視化画像は、監視画像に含まれるガス像を構成する画素や監視画像に含まれる動体の像を構成する画素を含むことになる。
ガスの濃度をLEL(爆発下限界)で示す。100%LELは、爆発下限界に到達したことを意味する。メタンの場合、濃度5%が100%LELとなる。濃度厚み積をLELmで示す。mは、奥行き方向の距離である。画像I31aは、256階調であり、2.55%LELm以上の領域は、白で示されている。
ガスの爆発下限界を大きく超える濃度厚み積(例えば、200%LELm以上の値)は、異常値である。濃度厚み積可視化画像において、ある画素に対応する濃度厚み積が異常な値である場合、その画素は、監視画像に含まれるガス像を構成する画素でなく、監視画像に含まれる動体の像を構成する画素と見なすことができる。具体的に説明すると、図23に示す画像I31bは、図22に示す画像I31を構成する複数の画素のそれぞれに対応する濃度厚み積を1倍した値を可視化した画像である。なお、ここでは濃度厚み積の算出時において、200%LELm以上の領域も200としてクリップして算出している。従って、256階調表示の場合、200%LELm以上の領域は、同じ階調値(200)として表示している。
識別部11(図1A)は、濃度厚み積可視化画像を構成する複数の画素(全画素)のそれぞれに対応する濃度厚み積を、予め定められたしきい値(例えば、200%LELm)と比較し、しきい値を超えている濃度厚み積に対応する画素を、監視画像に含まれる動体の像を構成する画素として特定する。これにより、識別部11は、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素とを識別することができる(ステップS102)。このように、識別部11は、赤外画像を構成する複数の画素のそれぞれに対応する識別値の絶対値を、予め定められたしきい値と比較し、しきい値を超えている識別値の絶対値に対応する画素を、非ガス像(例えば、ガス像以外の動体の像)を構成する画素として特定する。
画像生成部8は、識別部11によって特定された、監視画像に含まれる動体の像を構成する画素により形成される像(言い換えれば、動体の像の疑似像)を可視化した可視化画像を生成する。具体的に説明すると、図23に示す画像I31cは、画像I31aを構成する複数の画素のそれぞれに対応する濃度厚み積を、上記しきい値で二値化した画像(可視化画像)である。しきい値を超えている濃度厚み積に対応する画素は、白色で示され、しきい値以下の濃度厚み積に対応する画素は、黒色で示されている。これにより、画像生成部8で生成された監視画像(図3のステップS100)に対して、ガスらしいと判断する出力が発生しても、図23の画像131aの白色で示された領域についてはガスでないと判定できる。
なお、表示制御部12により表示部13にガス領域を表示させたい場合、画像生成部8で生成された監視画像の画素のうち、図23の画像131aの白色で示された領域が表示されないようにする(その領域が黒く表示されるようにする)。これにより、ガスでない領域を排除した画像が表示部13に表示される 。
なお、上記[ガスの濃度厚み積の算出処理]で説明された図18に示すフローチャートに従って、算出部10が、濃度厚み積の推定値を求める場合、算出部10は、赤外画像を構成する複数(M個)の画素のそれぞれに対応する推定値を算出する。識別部11は、赤外画像を構成する複数(M個)の画素のそれぞれに対応する推定値を、識別値となるガスの濃度厚み積として、しきい値と比較する。
なお、演算処理部9が、第2態様で記載するような濃度厚み積と相関のある値を算出し、その閾値と比較することで、同様の処理を行っても構わない。
本実施形態の第2態様を説明する。図23で説明したように、本実施形態の第1態様は、画像I31aのような濃度厚み積可視化画像を利用して、画像I31cのような可視化画像を生成し、ガス漏れの監視者がガス像と動体の像とを識別できるようにしている。これに対して、本実施形態の第2態様では、相関値可視化画像を利用して、ガス漏れの監視者がガス像と動体の像とを識別できるようにする。相関値可視化画像は、ガスの濃度厚み積の相関値を可視化した画像である。画素もしくは部分領域ごとにガスかどうかを判別するために、画像全面にガスがあると仮定し濃度厚み積を算出しようとすると、画素によっては、ガス有り背景温度、ガス無し背景温度、及び、ガス温度の関係から、ガスの濃度厚み積が求まらない場合がある。このことは、ガスかどうか判別のために、例えば画像上の空間的な変化を見るためのフィルター処理を行おうとしても行えず、不都合である。
図20A及び図20Bを参照して、濃度厚み積の相関値は、次の式で定義される。
相関値=(ガス有り背景温度とガス無し背景温度との温度差)/(ガスの温度とガス無し背景温度との温度差)・・・(式)
相関値は、ガス有り背景温度とガス無し背景温度との温度差を、ガス無し背景温度とガス温度との温度差で割り算した値である。前者の温度差は、ガスによる温度変化の振幅と言い換えることができる。ガス有り背景温度及びガス無し背景温度の決定方法の一例が、本実施形態の第1態様の[ガスの濃度厚み積の算出処理]で説明されている。
なお、相関値の算出では、ガス有り背景温度とガス無し背景温度との温度差を、温度変化の最大値と最小値との差である振幅とし、ガスの温度とガス無し背景温度との温度差を、ガスの温度と、温度変化の最大値と最小値の平均値と、の温度差で近似的に代用することもできる。そうすると、ガス検知用画像処理装置3は、温度変化の最大値と最小値を見つけるだけで、ガス有り背景温度及びガス無し背景温度を決定しなくても、相関値を算出できる。
図24は、本実施形態の第2態様を説明するフローチャートである。第2態様は、監視画像の生成処理(ステップS200)、ガスの濃度厚み積の相関値の算出処理(ステップS201)、及び、監視画像に含まれるガス像を構成する画素と監視画像に含まれるガス像以外の動体の像を構成する画素との識別処理(ステップS202)によって構成される。監視画像の生成処理(ステップS200)は、図3に示す第1態様の監視画像の生成処理(ステップS100)と同じなので、説明を省略する。
相関値の算出処理(ステップS201)から説明する。本実施形態の第2態様において、濃度厚み積の替わりに、相関値を用いる。この理由を説明する前に、濃度厚み積の基本的特性を説明する。図25は、濃度厚み積の基本的特性を説明する説明図である。濃度厚み積は、三つの基本的特性(1)〜(3)を有する。
(1)濃度厚み積が同じ場合、ガス無し背景温度とガス温度との差が大きい方が、監視画像において、ガス像が濃く映る。すなわち、温度変化の振幅が大きくなる。(2)ガス無し背景温度が同じで、かつ、ガス温度が同じ場合、濃度厚み積が大きい方が、監視画像において、ガス像が濃く映る。すなわち、温度変化の振幅が大きくなる。(3)ガス温度がガス無し背景温度より低い場合、ガス有り背景温度は、ガス温度より高く、かつ、ガス無し背景温度より低くなる。これに対して、ガス温度がガス無し背景温度より高い場合、ガス有り背景温度は、ガス温度より低く、かつ、ガス無し背景温度より高くなる。
(1)〜(3)の特性から、相関値は、濃度厚み積の大小を決める主要因となり、相関値が大きくなれば、濃度厚み積が大きくなり、相関値が小さくなれば、濃度厚み積が小さくなる。
濃度厚み積可視化画像(例えば、図23に示す画像I31a)は、この画像を構成する複数の画素のそれぞれに対応する領域(画像の全面に対応する領域)にガスがあると仮定し、算出される。これにより、以下の二つの問題〈1〉、〈2〉が生じる。図26は、濃度厚み積可視化画像の問題〈1〉を説明する説明図である。図27は、濃度厚み積可視化画像の問題〈2〉を説明する説明図である。
〈1〉図26を参照して、図25に示す特性(3)から、ガス温度が、ガス無し背景温度又はガス有り背景温度の一方と、ガス無し背景温度又はガス有り背景温度の他方との間となることはない。赤外画像を構成する複数の画素(言い換えれば、全画素)のうち、このような温度関係が生じる画素については、この画素に対応する濃度厚み積が算出できない。画素もしくは部分領域ごとにガスかどうかを判別するために、画像全面にガスがあると仮定し濃度厚み積を算出しようとすると、画素によっては、ガス有り背景温度、ガス無し背景温度、及び、ガス温度の関係から、ガスの濃度厚み積が求まらない場合がある。このことは、ガスかどうか判別のために、例えば画像上の空間的な変化を見るためのフィルター処理を行おうとしても行えず、不都合である。
相関値は、上記(式)で定義されるので、ガス温度が、ガス無し背景温度又はガス有り背景温度の一方と、ガス無し背景温度又はガス有り背景温度の他方との間であっても、相関値が定まる。従って、相関値可視化画像では、この画像を構成する複数の画素のそれぞれに対応する相関値が全て定まるので、この画像を構成する複数の画素の全てを利用する画像処理をする場合に不都合が生じない。
〈2〉ガス温度は、測定誤差が生じやすい。図27では、濃度厚み積の数値が示されていないが、ガス温度とガス無し背景温度との差が小さい場合は、この差が大きい場合と比較して、ガス温度の少しの誤差で、濃度厚み積の誤差が大きくなる。見方を変えると、図28を参照して、濃度厚み積が大きいとは、本当に、濃度厚み積が大きい場合と、例えばガス温度の測定誤差により濃度厚み積が大きい場合とがある。後者は、ガス温度とガス無し背景温度との差が小さい場合に発生する。
相関値可視化画像は、濃度厚み積可視化画像の近似画像であり、相関値可視化画像によれば、上述したように、問題〈1〉をなくすことができる。なお、問題〈2〉は、相関値の場合でも生じる。具体的に説明すると、「温度変化の振幅/ガス温度とガス無し背景温度との温度差」が、上記(式)で示される相関値である。図27に示すように、ガス温度が10℃であるのに、11℃と測定されたとする。ガス温度とガス無し背景温度との温度差が大きい場合、相関値の誤差が1.5倍(=0.15÷0.1)となる。これに対して、ガス温度とガス無し背景温度との温度差が小さい場合、相関値の誤差が3倍(=0.3÷0.1)となる。
そこで、図29A及び図29Bに示すように、相関値の場合、算出部10(図1A)は、ガス温度とガス無し背景温度との温度差が予め定められたしきい値Th以下のとき、その差を補正して、相関値を算出する。図29Aは、相関値において、ガス温度とガス無し背景温度との温度差の補正を説明する第1の説明図である。図29Bは、相関値において、ガス温度とガス無し背景温度との温度差の補正を説明する第2の説明図である。
図29Aを参照して、上記補正は、クリップ処理である。濃度厚み積の精度が悪くなる、ガス温度とガス無し背景温度との温度差(例えば、5℃)が、しきい値Thとなる。ガス温度とガス無し背景温度との温度差の補正とは、ガス温度とガス無し背景温度との温度差がしきい値Th以下のとき、しきい値Thを、ガス温度とガス無し背景温度との温度差とし(温度差が例えば、3℃のとき、しきい値5℃が温度差となる)、ガス温度とガス無し背景温度との温度差がしきい値Thより大きいとき、この温度差を、ガス温度とガス無し背景温度との温度差とする(温度差が例えば、10℃のとき、10℃が温度差となる)。
誤差(例えば、ガス温度の測定誤差)が発生しても、図29Bのグラフに示すように、ガス温度とガス無し背景温度との温度差が補正された場合、しきい値Th以下の範囲において、相関値は極端に大きくならず、一定値になる。
次に、相関値可視化画像を、濃度厚み積可視化画像と比較して説明する。図30は、昼間に撮影された試験場所の各種画像を示す画像図である。図31は、夜間に撮影された試験場所の各種画像を示す画像図である。図30及び図31を参照して、画像I40及び画像I50は、試験場所の赤外画像である。画像I41は、画像I40を利用して生成された濃度厚み積可視化画像である。画像I51は、画像I50を利用して生成された濃度厚み積可視化画像である。画像I41及び画像I51において、濃淡が薄くなるにつれて、濃度厚み積が大きくなり、濃淡が濃くなるにつれて、濃度厚み積が小さくなる。
画像I41の一部、及び、画像I51のかなりの部分において、白色部分が存在する。白色部分を構成する画素に対応する濃度厚み積は大きい。上述したように、濃度厚み積が大きいのは、本当に大きい場合と誤差で大きい場合とがある。特に、ガス温度とガス無し背景温度との差が小さいことを示す、画像I42及び画像I52の白色部分(温度差が5℃以下)では、濃度厚み積の誤差が大きくなる。このため、特に、画像I51で示すように、白色部分の面積が広くなっていても、濃度厚み積が本当に大きいのか、誤差で大きいのか分からない。
画像I43は、画像I40を利用して生成された相関値可視化画像である。画像I53は、画像I50を利用して生成された相関値可視化画像である。しきい値Th(図29A及び図29B)を5℃として、「ガス温度とガス無し背景温度との温度差」を補正し、相関値が算出されている。誤差により相関値が大きい部分が白色部分から黒色部分や灰色部分に変わり、本当に相関値が大きい部分が、白色部分で示されている。
画像I44は、画像I40を利用して生成された相関値可視化画像である。画像I44は、画像I43の比較となる画像であり、しきい値Thを0.1℃として、相関値が算出されている。しきい値Th0.1℃とは、相関値が無限大になることを防ぐために便宜上設定おり、ほぼ補正しないことを示す。画像I54は、画像I50を利用して生成された相関値可視化画像である。画像I54は、画像I53の比較となる画像であり、しきい値Thを0.1℃として、相関値が算出されている。ガス温度とガス無し背景温度との差が小さい場合(例えば夜間)、相関値の誤差が大きくなるので、画像I51と同様に画像I54でも、白色部分の面積が広くなり、濃度厚み積が適切に算出できなくなることが分かる。
相関値可視化画像は、次のようにして作成される。図1Aを参照して、算出部10は、ステップS200(ステップS100)の処理に用いられた動画データD1を構成する各赤外画像について、相関値を算出する処理をする。この処理では、赤外画像を構成する複数の画素(言い換えれば、全画素)のそれぞれに対応する領域について、相関値が算出される。具体的に説明すると、例えば、図13に示す時刻T10の赤外画像について、M個の画素のそれぞれに対応するM個の領域について、相関値が算出される。すなわち、算出部10は、赤外画像を利用して、赤外画像を構成する複数の画素のそれぞれに対応する相関値を、識別値として算出する。
相関値の算出方法について説明する。演算処理部9は、監視対象(不図示)を含む背景(例えば、図13、図14)のうち、赤外画像を構成する複数(M個)の画素の中の所定の画素に対応する領域にガスが有る場合に、所定の画素の画素データで示される背景温度をガス有り背景温度とし、領域にガスが無い場合に、所定の画素の画素データで示される背景温度をガス無し背景温度とし、赤外画像を構成する複数(M個)の画素のそれぞれを所定の画素として、赤外画像を構成する複数(M個)の画素のそれぞれについて、ガス有り背景温度及びガス無し背景温度を決定する。
算出部10は、演算処理部9によって決定されたガス有り背景温度及びガス無し背景温度、及び、上記(式)を用いて、識別値として、赤外画像を構成する複数(M個)の画素のそれぞれに対応する相関値を算出する。画像生成部8は、算出部10によって算出された相関値を可視化した画像(相関値可視化画像)を生成する。
識別部11は、相関値可視化画像を構成する複数の画素のそれぞれについて、識別値の空間的変化量(例えば、エッジ量)を算出し、算出した空間的変化量を基にしてガス像以外の動体の像(非ガス像)を構成する画素を特定する。好ましくは、空間的変化量は、相関値可視化画像を構成する複数の画素のそれぞれの識別値を空間微分した値である。識別部11は、識別値を空間微分した値を微分値とし、相関値可視化画像を構成する複数の画素のそれぞれの微分値を算出し、算出した微分値を予め定められたしきい値と比較し、しきい値を超えている微分値に対応する画素を、ガス像以外の動体の像を構成する画素として特定する。
以上述べたように、識別部11は、相関値可視化画像を利用して、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素とを識別する処理をする(図24のステップS202)。この処理について、図32及び図33を参照して、詳しく説明する。図32は、図24に示す識別処理(ステップS202)を説明するフローチャートである。この処理は、相関値可視化画像のエッジ量の算出処理(ステップS202−1)、補正量の算出処理(ステップS202−2)、及び、監視画像の補正処理(ステップS202−3)によって構成される。図33は、図24に示す識別処理(ステップS202)において関係する各種画像を示す画像図である。
画像I43は、図30で説明した相関値可視化画像であり、監視画像に含まれるガス像を構成する画素、及び、ガス像以外の動体の像を構成する画素が含まれている。相関値可視化画像は、相関値が可視化された画像であり、ガス像やガス像以外の動体の像を示す画像ではない。画像I43を構成する複数の画素(言い換えれば、全画素)のうち、監視画像に含まれるガス像を構成する画素に対応する相関値において、その相関値の空間的変化は緩やかである。言い換えれば、注目画素に対応する相関値と、この画素の周囲に位置する画素に対応する相関値との差は、比較的小さい。これは、漏れたガスがゆらぎながらゆっくりと漂うからである。従って、その差が比較的大きい場合、注目画素は、監視画像に含まれるガス像を構成する画素でなく、監視画像に含まれる動体の像を構成する画素と判断できる。上記差が比較的大きい場合となる注目画素は、エッジ量で特定できる。
エッジ量とは、注目画素の画素値と、この画素の周囲に位置する画素の画素値との差に関係する値である。エッジ量は、例えば周辺24画素(5×5画素での近傍)との差の絶対値を加算することにより、算出できる。Sobelフィルター等によってもエッジ量は算出できる。以下に説明するように、識別部11は、相関値可視化画像を構成する複数の画素のそれぞれについて、エッジ量を算出し、算出したエッジ量を基にして(すなわち、相関値の空間的変化を基にして)、監視画像に含まれるガス像を構成する画素と、監視画像に含まれる動体の像を構成する画素とを識別する。
識別部11は、画像I43に示すような相関値可視化画像を構成する複数の画素のそれぞれに対応するエッジ量を算出する(ステップS202−1)。画像I60は、画像I43を構成する複数の画素のそれぞれに対応するエッジ量を可視化した画像である。識別部11は、補正量を算出する処理をする(ステップS202−2)。詳しく説明すると、エッジ量が予め定められたしきい値を超える画素については、ガス像を構成する画素でなく、ガス像以外の動体の像を構成する画素とする。識別部11は、エッジ量が上記しきい値を超える画素について、エッジ量を一定値で減算した値に係数をかけた値を補正値とし、その画素が示す値を補正値で割り算し、これに対して、エッジ量が上記しきい値以下の画素については、補正しない。このように、識別部11は、識別部11によって特定された、監視画像に含まれるガス像以外の動体の像(非ガス像)を構成する画素の識別値を小さくする補正をする。
画像I61は、画像I60を構成する複数の画素のそれぞれに対応する補正量が可視化された画像である。白っぽいほど、補正量が大きくなり、黒っぽいほど、補正量が小さくなる。
画像生成部8は、監視画像を、ステップS202−2で算出された補正量で補正した画像を生成する(ステップS202−3)。例えば、監視画像を構成する複数の画素のそれぞれに対応する画素値が、それぞれの画素の補正量で割り算される。
画像I70は、図30に示す画像I40を利用して生成された、補正前の監視画像である。画像I71は、画像I70を、ステップS202−2で算出された補正量で補正した画像である。画像I71において、動体の像は、補正量が大きいので、白色部分から黒色部分や灰色部分に変化している。これに対して、ガス像は、補正されない量なので、白色部分のままである。画像I71において、中央に位置する白色部分がガス像を示している。画像I70には、ガス像以外の白色部分が多数存在するが、画像I71ではそれらの白色部分が弱められている。このように、補正後の監視画像である画像I71は、ガス像の輝度と比べて動体の像の輝度を抑制することができる。
エッジ量の算出処理(ステップS202−1)、補正量の算出処理(ステップS202−2)、及び、監視画像の補正処理(ステップS202−3)は、以下のように表現することができる。識別部11は、相関値可視化画像を構成する複数の画素のそれぞれについて、エッジ量を算出し、算出したエッジ量を予め定められたしきい値と比較し、しきい値を超えるエッジ量の画素は、監視画像に含まれる動体の像を構成する画素と特定する。画像生成部8は、監視画像を構成する複数の画素のうち、識別部11によって特定された、監視画像に含まれる動体の像を構成する画素と一致する画素を補正することにより、ガス像の輝度と比べて動体の像の輝度が抑制された監視画像(言い換えれば、動体の像がガス像より目立たなくされた監視画像)を生成する。
このように、識別部11は、赤外画像を構成する複数の画素のそれぞれに対応する識別値の絶対値を、予め定められたしきい値と比較し、しきい値を超えている識別値の絶対値に対応する画素を、非ガス像(例えば、ガス像以外の動体の像)を構成する画素として特定する。
本実施形態の第3態様を説明する。本実施形態の第2態様は、相関値可視化画像において、注目画素に対応する相関値と、この画素の周囲に位置する画素に対応する相関値との差が大きい場合、注目画素は、ガス像以外の動体の像を構成する画素と見なして、ガス像を構成する画素と動体の像を構成する画素とを識別する。すなわち、本実施形態の第2態様は、相関値の空間的変化を利用して、上記識別をする。これに対して、本実施形態の第3態様は、相関値の時間的変化を利用して、上記識別をする。
図34は、本実施形態の第3態様を説明するフローチャートである。第3態様は、監視画像の生成処理(ステップS300)、ガスの濃度厚み積の相関値の算出処理(ステップS301)、時系列相関値データの算出処理(ステップS303)、及び、監視画像に含まれるガス像を構成する画素と監視画像に含まれるガス像以外の動体の像を構成する画素との識別処理(ステップS304)によって構成される。監視画像の生成処理(ステップS300)、及び、相関値の算出処理(ステップS301)は、図24に示す第2態様の監視画像の生成処理(ステップS200)、及び、相関値の算出処理(ステップS201)と同じなので、説明を省略する。
画像生成部8は、時系列に並ぶ相関値可視化画像を生成する。図35は、時系列に並ぶ相関値可視化画像を示す画像図である。画像I80は、試験場所の赤外画像である。試験場所には、ガスが噴出している地点SP6、及び、動体が現れる地点SP7がある。地点SP6及び地点SP7は、それぞれ、一つの画素で示されている。画像I81〜画像I84は、試験場所の赤外画像の動画を利用して生成された相関値可視化画像の中の一部(四枚)の相関値可視化画像を図示している。画像I82は、画像I81から5秒経過後の画像であり、画像I83は、画像I82から5秒経過後の画像であり、画像I84は、画像I83から5秒経過後の画像である。画像I84には、動体の像を構成する画素により形成される像(言い換えれば、動体の像に対応する像)が写されている。
時系列相関値データ(時系列識別値データ)の算出処理(ステップS303)を説明する。図36は、時系列相関値データ(時系列識別値データ)を説明する説明図である。時系列に並べられた相関値可視化画像の数をKとする。一つの相関値可視化画像が、M個(複数)の画素のそれぞれに対応する相関値、すなわち、1番目の画素に対応する相関値、2番目の画素に対応する相関値、・・・、M−1番目の画素に対応する相関値、M番目の画素に対応する相関値で構成されているとする。
複数(M個)の相関値可視化画像において、空間的に同じ位置にある画素に対応する相関値とは、同じ順番の画素に対応する相関値を意味する。例えば、1番目の画素で説明すると、1番目の相関値可視化画像に含まれる1番目の画素に対応する相関値、2番目の相関値可視化画像に含まれる1番目の画素に対応する相関値、・・・、K−1番目の相関値可視化画像に含まれる1番目の画素に対応する相関値、K番目の相関値可視化画像に含まれる1番目の画素に対応する相関値を、時系列に並べたデータが、1番目の画素に対応する相関値の時系列相関値データとなる。時系列相関値データの数は、一つの相関値可視化画像を構成する画素の数(M個)と同じである。
算出部10は、M個(複数)の時系列相関値データ、すなわち、1番目の画素に対応する相関値の時系列相関値データ、2番目の画素に対応する相関値の時系列相関値データ、・・・、M−1番目の画素に対応する相関値の時系列相関値データ、M番目の画素に対応する相関値の時系列相関値データを生成する。
次に、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素との識別処理(ステップS304)について説明する。本実施形態の第3態様では、相関値の時間的変化を利用して、上記識別をする。監視対象から漏れたガスは、ゆらぎながらゆっくりと広がる。このため、ガス像を構成する画素に対応する相関値は、時間軸において、徐々に変化する(ゆるやかに変化する)。相関値が、時間軸において、急激に変化する場合、その相関値に対応する画素は、ガス像以外の動体の像を構成する画素と見なすことができる。そこで、識別部11は、時系列相関値データを利用して、相関値が時間軸において、急激に変化するか否かを判定する。以下、詳しく説明する。
図36を参照して、識別部11は、相関値可視化画像を構成する複数(M個)の画素の中の所定の画素について、所定の画素に対応する時系列相関値データの中に、異常な値の相関値を含むか否かを判定することを異常値判定とし、相関値可視化画像を構成する複数(M個)の画素のそれぞれを所定の画素として、相関値可視化画像を構成する複数(M個)の画素のそれぞれについて、異常値判定をし、異常な値の相関値を含む時系列相関値データに対応する画素を、監視画像に含まれる動体の像を構成する画素として特定する。
すなわち、算出部10は、1番目の画素の時系列相関値データからM番目の画素の時系列相関値データのそれぞれについて、異常な値の相関値が含まれるか否かを判定する。算出部10は、例えば、1番目の画素の時系列相関値データの中に、異常な値の相関値が含まれていれば、相関値可視化画像の1番目の画素を、動体の像を構成する画素として特定する。相関値が異常な値か否かは、しきい値で判定することができる。すなわち、算出部10は、時系列相関値データに含まれる相関値の中にしきい値を超えている相関値について、異常な値と判定する。
本実施形態の第3態様では、ヒストグラムを利用して、時系列相関値データの中に、異常な値の相関値が含まれているか否かを判定する。識別部11は、図36に示す1番目からM番目の時系列相関値データのそれぞれについて、同じ値の相関値の出現頻度を示すヒストグラムを生成する。すなわち、識別部11は、1番目の画素に対応する相関値の時系列相関値データを基にして、1番目の画素に対応する相関値のヒストグラムを生成し、2番目の画素に対応する相関値の時系列相関値データを基にして、2番目の画素に対応する相関値のヒストグラムを生成し、・・・、M−1番目の画素に対応する相関値の時系列相関値データを基にして、M−1番目の画素に対応する相関値のヒストグラムを生成し、M番目の画素に対応する相関値の時系列相関値データを基にして、M番目の画素に対応する相関値のヒストグラムを生成する。
図37は、時系列相関値データを利用して生成されたヒストグラムを説明する説明図である。ヒストグラム20は、ガスが噴出している地点SP6(画素)に対応する時系列相関値データを基にして作成されたヒストグラムである。ヒストグラム21は、動体が現れる地点SP7(画素)に対応する時系列相関値データを基にして作成されたヒストグラムである。ヒストグラム20及びヒストグラム21の縦軸は、同じ相関値の出現頻度を示し、横軸は、相関値を示している。なお、実際の相関値は、1以下の値であるので、相関値を整数で示すために、実際の相関値を40倍し、少数点を切り捨てた値を相関値としている。相関値0については、棒グラフも示している。
ガスが噴出している地点SP6(画素)に対応する相関値は、所定の範囲内(ここでは、0から2の範囲内)で変動している。これに対して、動体が現れる地点SP7(画素)に対応する相関値は、所定の範囲内(ここでは、0〜2の範囲内)とは、異なる値(ここでは、17から20)が存在する。識別部11は、このような相関値を異常な値と判定する。すなわち、識別部11は、ヒストグラムにおいて、所定の範囲内の相関値のグループに属さない相関値を、異常な値と判定する。所定の範囲とは、監視対象から漏れたガスで生じる相関値の変動範囲であり、識別部11は、その変動範囲のデータを予め記憶している。
識別部11は、図36に示す1番目からM番目の時系列相関値データのそれぞれにおいて、所定の範囲内の相関値のグループに属さない相関値を異常な値と判定する。
画像生成部8は、識別部11の判定に基づいて、相関値が異常な値と判定された画素と相関値が異常な値でないと判定された画素とを二値化した画像を生成する。この画像の一例が、図37に示す画像I90である。白色の画素が、相関値が異常な値と判定された画素であり、黒色の画素が、相関値が異常な値でないと判定された画素である。白色の画素(相関値が異常な値と判定された画素)は、監視画像に含まれる動体の像を構成する画素により形成される像(動体の像の疑似像)である。
以上説明したように、識別部11は、時系列相関値データ(時系列識別値データ)について、上記ヒストグラムを基にして(同じ値の識別値の時間的変化量を基にして)、ガス像以外の動体の像を構成する画素を特定する。
本実施形態の第4態様を説明する。この態様は、相関値の空間的変化及び時間的変化を利用して、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素とを識別する。図38は、本実施形態の第4態様を説明するフローチャートである。第4態様は、監視画像の生成処理(ステップS400)、ガスの濃度厚み積の相関値の算出処理(ステップS401)、時系列相関値データの算出処理(ステップS403)、相関値の最大値及び最小値の検索(ステップS404)、差分画像の生成処理(ステップS405)、並びに、監視画像に含まれるガス像を構成する画素と監視画像に含まれるガス像以外の動体の像を構成する画素との識別処理(ステップS406)によって構成される。
監視画像の生成処理(ステップS400)、ガスの濃度厚み積の相関値の算出処理(ステップS401)、時系列相関値データの算出処理(ステップS403)は、図34に示す第3態様の監視画像の生成処理(ステップS300)、ガスの濃度厚み積の相関値の算出処理(ステップS301)、時系列相関値データの算出処理(ステップS303)と同じなので、説明を省略する。
相関値の最大値及び最小値の検索(ステップS404)から説明する。識別部11(図1A)は、検索部の機能を有する。図36を参照して、検索部は、相関値可視化画像を構成する複数(M個)の画素の中の所定の画素について、所定の画素に対応する時系列相関値データに含まれる相関値の最大値及び最小値を検索することを最大最小値検索処理とし、相関値可視化画像を構成する複数(M個)の画素のそれぞれを所定の画素として、相関値可視化画像を構成する複数の画素のそれぞれについて、最大最小値検索処理をする。
すなわち、検索部は、1番目からM番目の画素の時系列相関値データのそれぞれにおいて、相関値の最大値及び最小値を検索する(1番目の画素の時系列相関値データに含まれる相関値の最大値及び最小値を検索し、2番目の画素の時系列相関値データに含まれる相関値の最大値及び最小値を検索し、・・・、M−1番目の画素の時系列相関値データに含まれる相関値の最大値及び最小値を検索し、M番目の画素の時系列相関値データに含まれる相関値の最大値及び最小値を検索する)。例えば、図35に示す相関値可視化画像の動画は、20秒間の動画であり、時系列相関値データの時間は、20秒間となる。
画像生成部8は、検索部によって検索された最大値を可視化した画像である最大値可視化画像、及び、検索部によって検索された最小値を可視化した画像である最小値可視化画像を生成する。そして、画像生成部8は、生成した最大値可視化画像と最小値可視化画像との差分画像を生成する(ステップS405)。図39は、差分画像の生成処理において関係する各種画像を示す画像図である。画像I100は、最大値可視化画像であり、画像I101は、最小値可視化画像であり、画像I102は、差分画像である。
図36を参照して、最大値可視化画像は、1番目からM番目の画素の時系列相関値データのそれぞれにおいて、相関値の最大値を可視化した画像、すなわち、1番目の画素の時系列相関値データに含まれる相関値の最大値、2番目の画素の時系列相関値データに含まれる相関値の最大値、・・・、M−1番目の画素の時系列相関値データに含まれる相関値の最大値、M番目の画素の時系列相関値データに含まれる相関値の最大値を可視化した画像である。
最小値可視化画像は、1番目からM番目の画素の時系列相関値データのそれぞれにおいて、相関値の最小値を可視化した画像、すなわち、1番目の画素の時系列相関値データに含まれる相関値の最小値、2番目の画素の時系列相関値データに含まれる相関値の最小値、・・・、M−1番目の画素の時系列相関値データに含まれる相関値の最小値、M番目の画素の時系列相関値データに含まれる相関値の最小値を可視化した画像である。
ある画素の時系列相関値データに含まれる相関値の最大値は、その画素に対応する領域にガスが一番多い瞬間での相関値と見なすことができ、最小値は、その画素に対応する領域にガスが一番少ない瞬間での相関値と見なすことができる。図13及び図14を参照して、J番目の画素で説明すると、最大値は、J番目の画素に対応する領域(J番目の領域)にガスが一番多い瞬間での相関値と見なすことができ、最小値は、J番目の画素に対応する領域(J番目の領域)にガスが一番少ない瞬間での相関値と見なすことができる。
監視対象から漏れたガスは、ゆらぎながらゆっくりと漂うので、最大値可視化画像を構成する複数の画素のうち、相関値の空間的な変化が緩やかな画素は、監視画像に含まれるガス像を構成する画素と一致することになる。差分画像についても同様である。後で説明するように、差分画像によれば、監視対象の像(これは、サブピクセルレベルの微小なものを含む)のぶれによるエッジノイズの影響を少なくすることができる。
識別部11は、差分画像を利用して、監視画像に含まれるガス像を構成する画素と、監視画像に含まれるガス像以外の動体の像を構成する画素とを識別する処理をする(ステップS406)。この処理を、図40を参照して説明する。図40は、図38に示す識別処理(ステップS406)において関係する各種画像を示す画像図である。
識別部11は、画像I102(差分画像)を構成する複数の画素のそれぞれに対応するエッジ量を算出する。これは、図32のステップS202−1と同じである。画像I103は、画像I102(差分画像)を構成する複数の画素のそれぞれに対応するエッジ量を可視化した画像(エッジ量可視化画像)である。
エッジ量が予め定められたしきい値を超える画素については、監視画像に含まれるガス像を構成する画素でなく、監視画像に含まれるガス像以外の動体の像を構成する画素とする。識別部11は、画像I103(エッジ量可視化画像)を構成する複数の画素のそれぞれについて、しきい値と比較し、二値化処理をする。
画像I104は、画像I103(エッジ量可視化画像)を構成する複数の画素が二値化された画像(二値化画像)である。白色の画素が、エッジ量がしきい値を超えている画素であり、黒色の画素が、エッジ量がしきい値以下の画素である。白色の画素(エッジ量がしきい値を超えている画素)によって、監視画像に含まれる動体の像を構成する画素により形成される像(動体の像の疑似像)が構成される。なお、本実施形態の第4態様は、二値化画像の生成処理の替わりに、図32で説明した補正量の算出処理及び監視画像の補正処理をしてもよい。また、本実施形態の第4態様は、差分画像の替わりに最大値可視化画像(図39に示す画像I100)について、上述した画像処理(エッジ量の算出処理、二値化処理、補正量の算出処理、監視画像の補正処理)をしてもよい。
差分画像は、上限値可視化画像よりも、監視対象の像のエッジノイズの影響を少なくすることができることについて説明する。図41は、図35と同様に、時系列に並ぶ相関値可視化画像を示す画像図である。監視対象は、ガスに関する処理装置である。画像I110は、ガスに関する処理装置の赤外画像である。画像I111〜画像I114は、ガスに関する処理装置の赤外画像の動画を利用して生成された相関値可視化画像の中から選択された四枚の相関値可視化画像である。画像I112は、画像I111から2秒経過後の画像であり、画像I113は、画像I112から2秒経過後の画像であり、画像I114は、画像I113から2秒経過後の画像である。
図42は、図39と同様に、差分画像の生成処理において関係する各種画像を示す画像図である。画像I120は、最大値可視化画像であり、画像I121は、最小値可視化画像であり、画像I112は、差分画像である。画像I112を見れば分かるように、ガスに関する処理装置の像のエッジノイズが弱くなっている。
図1Aに示す本実施形態に係るガス検知用画像処理装置3の第1態様から第4態様は、演算処理部9が所定の情報を処理し、画像生成部8が、処理された情報を可視化した画像を生成し、表示制御部12が、その画像を表示部13に表示させている。本発明は、この構成に限定されず、演算処理部9を備えるが、画像生成部8、表示制御部12及び表示部13を備えない構成でもよいし、演算処理部9及び画像生成部8を備えるが、表示制御部12及び表示部13を備えない構成でもよいし、演算処理部9、画像生成部8及び表示制御部12を備えるが、表示部13を備えない構成でもよい。
(実施形態の纏め)
実施形態の第1の局面に係るガス検知用画像処理装置は、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出部と、前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別部と、を備える。これは、実施形態の第1態様〜第4態様に対応する。なお、実施形態の第1態様は、図3に示すように、ステップS100、S101及びS102により構成される。ステップS100(監視画像の生成処理)及びステップS101(ガスの濃度厚み積の算出処理)については、公知の方法を用いることもできるので、明細書中の[監視画像の生成処理]及び[ガスの濃度厚み積の算出処理]の箇所を読まずに、[ガス像を構成する画素とガス像以外の動体の像を構成する画素との識別処理]の箇所を読むだけでも、実施形態の第1態様を理解することが可能である。
実施形態の第1の局面に係るガス検知用画像処理装置によれば、監視画像に含まれるガス像を構成する画素と、監視画像に含まれる非ガス像(例えば、ガス像以外の動体の像)を構成する画素とを識別することができるので、監視画像において、ガス像と非ガス像とを識別することを実現できる。
上記構成において、前記監視対象が複数の時刻で撮影されることにより得られた、複数の赤外画像を示す画像データが入力される画像データ入力部と、前記画像データ入力部から入力された複数の前記赤外画像において、同じ位置にある前記画素の画素データを時系列に並べた時系列画素データを生成し、前記赤外画像を構成する前記複数の画素のそれぞれの前記時系列画素データを基にして、前記複数の画素のそれぞれに対応する、ガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する決定部と、をさらに備え、前記算出部は、前記決定部によって決定された前記ガス有り背景温度及び前記ガス無し背景温度を利用して、前記複数の画素のそれぞれに対応する前記濃度厚み積を算出する。この構成は、実施形態の第1態様に対応する。
この構成は、ガスの濃度厚み積を識別値にしている。決定部は、図1Aに示す画像生成部8及び演算処理部9によって実現される。検知対象のガスにより吸収される波長域を透過するフィルター、及び、その波長域を透過しないフィルターを用意し、これらフィルターを適宜に切り替えて、ガス有り背景温度、及び、ガス無し背景温度を測定する公知技術がある。これに対して、この構成では、漏れたガスがゆらいでいる現象を利用して、ガス有り背景温度及びガス無し背景温度を求める。この構成によれば、二種類のフィルター及びこれらを切り替える機構が不要となる。
上記構成において、前記識別値は、ガスの濃度厚み積と相関する相関値である。前記相関値は、例えば、前記監視対象から漏れたガスにより発生する第1の温度差と、前記ガスの温度を基準にした第2の温度差とを用いて算出される。この構成は、実施形態の第2態様〜第4態様に対応する。
前記第1の温度差は、ガス有り背景温度とガス無し背景温度との温度差であり、前記第2の温度差は、前記ガスの温度と前記ガス無し背景温度との温度差とした場合、前記相関値は、下記式で示される。この構成は、実施形態の第2態様に対応する。
相関値=(ガス有り背景温度とガス無し背景温度との温度差)/(ガスの温度とガス無し背景温度との温度差)・・・(式)
画素もしくは部分領域ごとにガスかどうかを判別するために、画像全面にガスがあると仮定し、濃度厚み積を算出しようとすると、画素によっては、ガス有り背景温度、ガス無し背景温度、及び、ガス温度の関係から、ガスの濃度厚み積が求まらない場合がある。このことは、ガスかどうか判別のために、例えば画像上の空間的な変化を見るためのフィルター処理を行おうとしても行えず、不都合である。
これに対して、相関値は、上記(式)で定義されるので、ガス有り背景温度、ガス無し背景温度、及び、ガス温度が決まれば、相関値が定まる。従って、相関値が可視化された画像である相関値可視化画像では、この画像を構成する複数の画素のそれぞれに対応する相関値が全て定まるので、この画像を構成する複数の画素の全てを利用する画像処理をする場合に不都合が生じない。
上記構成において、前記識別部は、前記赤外画像を構成する前記複数の画素のそれぞれに対応する前記識別値の絶対値を、予め定められたしきい値と比較し、前記しきい値を超えている前記識別値の絶対値に対応する画素を、前記非ガス像を構成する画素として特定する。この構成は、実施形態の第1態様、第2態様に対応する。識別値の絶対値としたのは、識別値が負の場合があるからである。
ある画素に対応する識別値(濃度厚み積、相関値)が異常な値である場合、その画素は、ガス像を構成する画素でなく、非ガス像を構成する画素と見なすことができる。この構成は、ある画素に対応する識別値が異常な値であるか否かについて、しきい値を利用して判断している。
上記構成において、前記算出部によって算出された前記識別値を可視化した画像である可視化画像を生成する画像生成部をさらに備え、前記識別部は、前記可視化画像を構成する複数の画素のそれぞれについて、前記識別値の空間的変化量(例えば、エッジ量)を算出し、算出した前記空間的変化量を基にして、前記非ガス像を構成する画素を特定する。この構成は、実施形態の第2態様に対応する。好ましくは、前記空間的変化量は、前記可視化画像を構成する前記複数の画素のそれぞれの前記識別値を空間微分した値である。前記識別部は、前記識別値を空間微分した値を微分値とし、前記可視化画像を構成する前記複数の画素のそれぞれの前記微分値を算出し、算出した前記微分値を予め定められたしきい値と比較し、前記しきい値を超えている前記微分値に対応する画素を、前記非ガス像を構成する画素として特定する。
上記構成において、前記識別部は、前記識別部によって特定された、前記監視画像に含まれる前記非ガス像を構成する画素の前記識別値を小さくする補正をする。この構成は、実施形態の第2態様に対応する。
この構成によれば、補正後の監視画像は、ガス像の輝度と比べて非ガス像の輝度を抑制することができる。
上記構成において、前記算出部によって算出された前記識別値を可視化した画像を可視化画像とし、時系列に並べられた複数の前記可視化画像を生成する画像生成部をさらに備え、前記識別部は、時系列に並べられた複数の前記可視化画像において、空間的に同じ位置にある画素に対応する前記識別値を時系列に並べた時系列識別値データを生成し、前記可視化画像を構成する複数の画素のそれぞれについて、前記時系列識別値データの中に異常な値の前記識別値を含むか否かを判定し、前記異常な値の前記識別値を含む前記時系列識別値データに対応する画素を、前記非ガス像を構成する画素として特定する。この構成は、実施形態の第3態様に対応する。
上記構成において、前記識別部は、前記時系列識別値データについて、同じ値の前記識別値の時間的変化量を基にして(例えば、同じ値の前記識別値の出現頻度を示すヒストグラムを基にして)、前記非ガス像を構成する画素を特定する。この構成は、実施形態の第3態様に対応する。
実施形態の第2の局面に係るガス検知用画像処理方法は、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出ステップと、前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別ステップと、を備える。
実施形態の第3の局面に係るガス検知用画像処理プログラムは、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出ステップと、前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別ステップと、をコンピュータに実行させる。
実施形態の第4の局面に係るコンピュータ読み取り可能な記録媒体は、上記ガス検知用画像処理プログラムを記録している。
実施形態の第2の局面に係るガス検知用画像処理方法、実施形態の第3の局面に係るガス検知用画像処理プログラム、実施形態の第4の局面に係るコンピュータ読み取り可能な記録媒体は、実施形態の第1の局面に係るガス検知用画像処理装置を、方法、プログラム、コンピュータ読み取り可能な記録媒体の観点から規定しており、実施形態の第1の局面に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第5の局面に係るガス検知システムは、監視対象領域を撮影する赤外線カメラと、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、前記赤外線カメラによって撮影された前記監視対象領域の画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出部と、を備える。
監視対象領域は、例えば、ガス漏れの監視対象が存在する領域である。実施形態の第5の局面に係るガス検知システムは、ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値を算出するシステムである。
この出願は、2015年12月15日に出願された日本国特許出願特願2015−244193を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、及び、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

Claims (12)

  1. ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出部と、
    前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別部と、を備え、
    前記識別値は、ガスの濃度厚み積、又は、前記ガスの濃度厚み積と相関する相関値である、ガス検知用画像処理装置であって、
    前記監視対象が複数の時刻で撮影されることにより得られた、複数の前記赤外画像を示す画像データが入力される画像データ入力部と、
    前記画像データ入力部から入力された複数の前記赤外画像において、同じ位置にある前記画素の画素データを時系列に並べた時系列画素データを生成し、前記赤外画像を構成する前記複数の画素のそれぞれの前記時系列画素データを基にして、前記複数の画素のそれぞれに対応する、ガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する決定部と、を備え、
    前記算出部は、前記決定部によって決定された前記ガス有り背景温度及び前記ガス無し背景温度を利用して、前記複数の画素のそれぞれに対応する、前記濃度厚み積、又は、前記相関値を算出する、ガス検知用画像処理装置
  2. 前記相関値は、下記式で示される請求項に記載のガス検知用画像処理装置。
    相関値=(ガス有り背景温度とガス無し背景温度との温度差)/(ガスの温度とガス無し背景温度との温度差)・・・(式)
  3. 前記識別部は、前記赤外画像を構成する前記複数の画素のそれぞれに対応する前記識別値の絶対値を、予め定められたしきい値と比較し、前記しきい値を超えている前記識別値の絶対値に対応する画素を、前記非ガス像を構成する画素として特定する請求項1又は2に記載のガス検知用画像処理装置。
  4. 前記算出部によって算出された前記識別値を可視化した画像である可視化画像を生成する画像生成部をさらに備え、
    前記識別部は、前記可視化画像を構成する複数の画素のそれぞれについて、前記識別値の空間的変化量を算出し、算出した前記空間的変化量を基にして、前記非ガス像を構成する画素を特定する請求項1又は2に記載のガス検知用画像処理装置。
  5. 前記空間的変化量は、前記可視化画像を構成する前記複数の画素のそれぞれの前記識別値を空間微分した値であり、
    前記識別部は、前記識別値を空間微分した値を微分値とし、前記可視化画像を構成する前記複数の画素のそれぞれの前記微分値を算出し、算出した前記微分値を予め定められたしきい値と比較し、前記しきい値を超えている前記微分値に対応する画素を、前記非ガス像を構成する画素として特定する請求項に記載のガス検知用画像処理装置。
  6. 前記識別部は、前記識別部によって特定された、前記監視画像に含まれる前記非ガス像を構成する画素の前記識別値を小さくする補正をする請求項に記載のガス検知用画像処理装置。
  7. 前記算出部によって算出された前記識別値を可視化した画像を可視化画像とし、時系列に並べられた複数の前記可視化画像を生成する画像生成部をさらに備え、
    前記算出部は、時系列に並べられた複数の前記可視化画像において、空間的に同じ位置にある画素に対応する前記識別値を時系列に並べた時系列識別値データを生成し、
    前記識別部は、前記可視化画像を構成する複数の画素のそれぞれについて、前記時系列識別値データの中に異常な値の前記識別値を含むか否かを判定し、前記異常な値の前記識別値を含む前記時系列識別値データに対応する画素を、前記非ガス像を構成する画素として特定する請求項1又は2に記載のガス検知用画像処理装置。
  8. 前記識別部は、前記時系列識別値データについて、同じ値の前記識別値の時間的変化量を基にして、前記非ガス像を構成する画素を特定する請求項に記載のガス検知用画像処理装置。
  9. ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、
    監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出ステップと、
    前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別ステップと、を備え、
    前記識別値は、ガスの濃度厚み積、又は、前記ガスの濃度厚み積と相関する相関値である、ガス検知用画像処理方法であって、
    前記監視対象が複数の時刻で撮影されることにより得られた、複数の前記赤外画像を示す画像データが入力される画像データ入力ステップと、
    前記画像データ入力ステップで入力された複数の前記赤外画像において、同じ位置にある前記画素の画素データを時系列に並べた時系列画素データを生成し、前記赤外画像を構成する前記複数の画素のそれぞれの前記時系列画素データを基にして、前記複数の画素のそれぞれに対応する、ガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する決定ステップと、を備え、
    前記算出ステップは、前記決定ステップによって決定された前記ガス有り背景温度及び前記ガス無し背景温度を利用して、前記複数の画素のそれぞれに対応する、前記濃度厚み積、又は、前記相関値を算出する、ガス検知用画像処理方法
  10. ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、監視対象の赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出ステップと、
    前記識別値を基にして、前記赤外画像を用いて生成される監視画像において、前記ガス像を構成する画素と前記非ガス像を構成する画素とを識別する識別ステップと、をコンピュータに実行させ、
    前記識別値は、ガスの濃度厚み積、又は、前記ガスの濃度厚み積と相関する相関値である、ガス検知用画像処理プログラムであって、
    前記監視対象が複数の時刻で撮影されることにより得られた、複数の前記赤外画像を示す画像データが入力される画像データ入力ステップと、
    前記画像データ入力ステップで入力された複数の前記赤外画像において、同じ位置にある前記画素の画素データを時系列に並べた時系列画素データを生成し、前記赤外画像を構成する前記複数の画素のそれぞれの前記時系列画素データを基にして、前記複数の画素のそれぞれに対応する、ガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する決定ステップと、を前記コンピュータに実行させ、
    前記算出ステップは、前記決定ステップによって決定された前記ガス有り背景温度及び前記ガス無し背景温度を利用して、前記複数の画素のそれぞれに対応する、前記濃度厚み積、又は、前記相関値を算出する、ガス検知用画像処理プログラム
  11. 請求項10に記載されたガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 監視対象の赤外画像を撮影する赤外線カメラと、
    ガス像を構成する画素と非ガス像を構成する画素とを識別するための識別値について、前記赤外線カメラによって撮影された前記赤外画像を構成する複数の画素のそれぞれに対応する前記識別値を算出する算出部と、を備え、
    前記識別値は、ガスの濃度厚み積、又は、前記ガスの濃度厚み積と相関する相関値である、ガス検知システムであって、
    前記監視対象が複数の時刻で撮影されることにより得られた、複数の前記赤外画像を示す画像データが入力される画像データ入力部と、
    前記画像データ入力部から入力された複数の前記赤外画像において、同じ位置にある前記画素の画素データを時系列に並べた時系列画素データを生成し、前記赤外画像を構成する前記複数の画素のそれぞれの前記時系列画素データを基にして、前記複数の画素のそれぞれに対応する、ガスが有る場合の背景温度を示すガス有り背景温度及びガスが無い場合の背景温度を示すガス無し背景温度を決定する決定部と、を備え、
    前記算出部は、前記決定部によって決定された前記ガス有り背景温度及び前記ガス無し背景温度を利用して、前記複数の画素のそれぞれに対応する、前記濃度厚み積、又は、前記相関値を算出する、ガス検知システム
JP2017556045A 2015-12-15 2016-12-12 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム Active JP6319527B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015244193 2015-12-15
JP2015244193 2015-12-15
PCT/JP2016/086929 WO2017104617A1 (ja) 2015-12-15 2016-12-12 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム

Publications (2)

Publication Number Publication Date
JPWO2017104617A1 JPWO2017104617A1 (ja) 2018-03-01
JP6319527B2 true JP6319527B2 (ja) 2018-05-09

Family

ID=59056663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017556045A Active JP6319527B2 (ja) 2015-12-15 2016-12-12 ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム

Country Status (4)

Country Link
US (1) US10852213B2 (ja)
EP (1) EP3392635B1 (ja)
JP (1) JP6319527B2 (ja)
WO (1) WO2017104617A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908079B2 (en) * 2016-06-07 2021-02-02 Konica Minolta, Inc. Image-processing device for gas detection, image-processing method for gas detection, and image-processing program for gas detection
JP6508439B2 (ja) * 2016-12-27 2019-05-08 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
DE102017010151A1 (de) * 2017-11-02 2019-05-02 Dräger Safety AG & Co. KGaA lnfrarot-optische Gasmessvorrichtung
US11519852B2 (en) 2018-01-09 2022-12-06 Konica Minolta, Inc. Gas detection-use image processing device, and gas detection-use image processing method
CN108131166B (zh) * 2018-02-23 2023-04-14 中国矿业大学(北京) 基于图像的矿井爆炸监测报警系统
CN108071423B (zh) * 2018-02-23 2023-04-14 中国矿业大学(北京) 基于红外图像监测设备的矿井爆炸监控系统
CN108071422B (zh) * 2018-02-23 2023-04-14 中国矿业大学(北京) 基于图像监测设备的矿井爆炸监控系统
CN108590763B (zh) * 2018-02-23 2023-04-14 中国矿业大学(北京) 基于红外图像的矿井爆炸监测报警系统
US11466554B2 (en) 2018-03-20 2022-10-11 QRI Group, LLC Data-driven methods and systems for improving oil and gas drilling and completion processes
JP7056342B2 (ja) * 2018-04-13 2022-04-19 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
US11506052B1 (en) 2018-06-26 2022-11-22 QRI Group, LLC Framework and interface for assessing reservoir management competency
US11108995B2 (en) * 2018-09-11 2021-08-31 Draeger Medical Systems, Inc. System and method for gas detection
US11529979B2 (en) 2020-03-10 2022-12-20 Progress Rail Services Corporation Systems and methods for adjusting train operation
JP7438850B2 (ja) 2020-05-29 2024-02-27 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
DE102021100405A1 (de) 2021-01-12 2022-07-14 Inficon Gmbh Verfahren zur Detektion von aus einem Prüfling austretendem Prüfgas mit einem optischen Sensor
JPWO2022264604A1 (ja) 2021-06-16 2022-12-22
WO2023105856A1 (ja) * 2021-12-10 2023-06-15 コニカミノルタ株式会社 ガス濃度測定装置、ガス濃度測定方法、およびプログラム
KR102539500B1 (ko) * 2022-10-21 2023-06-05 (주)에스에프테크놀로지 하나의 장치에서 유해가스 탐지와 방사선 탐지로 이루어진 원샷 하이브리드형 화생방 통합 원격 탐지 장치 및 방법
CN115841434B (zh) * 2023-02-21 2023-04-21 深圳市特安电子有限公司 一种用于气体浓度分析的红外图像增强方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5215385B2 (ja) * 1973-08-15 1977-04-28
JPS5215386A (en) * 1975-07-25 1977-02-04 Babcock Hitachi Kk Rotor flaw detection method by acoustic emission signal
JPS5215385A (en) 1975-07-25 1977-02-04 Hitachi Ltd Image recognizer
JPS6232336A (ja) * 1985-08-05 1987-02-12 Toshiba Corp Itvカメラによる液体漏洩検出方法
DE69125011T2 (de) * 1991-12-04 1997-09-25 Bertin & Cie Verfahren und Vorrichtung zur optischen Ferndetektion eines sich in einem beobachteten Raumgebiet befindenden Gases
JPH06288858A (ja) 1993-03-31 1994-10-18 Osaka Gas Co Ltd ガスの可視化装置
JP3138381B2 (ja) * 1994-01-20 2001-02-26 株式会社日立製作所 監視装置
SE9904836L (sv) 1999-12-28 2001-06-29 Jonas Sandsten Kvantitativ avbildning av gasemissioner utnyttjande optisk teknik
JP3776681B2 (ja) * 2000-06-06 2006-05-17 ホーチキ株式会社 ガス監視装置
US6822742B1 (en) * 2003-12-19 2004-11-23 Eastman Kodak Company System and method for remote quantitative detection of fluid leaks from a natural gas or oil pipeline
JP5573340B2 (ja) 2010-05-07 2014-08-20 日本電気株式会社 ガス検知装置およびガス検知方法
JP5343054B2 (ja) * 2010-09-09 2013-11-13 三菱電機ビルテクノサービス株式会社 ガス漏れ検出装置
US20140002639A1 (en) * 2011-03-25 2014-01-02 Joseph M. Cheben Autonomous Detection of Chemical Plumes
JP2012220313A (ja) * 2011-04-07 2012-11-12 Mitsubishi Electric Corp 気体検出装置
CN103217397A (zh) 2013-01-23 2013-07-24 山西省电力公司晋城供电分公司 基于红外图像处理的sf6气体检测方法
US9488629B2 (en) 2014-04-10 2016-11-08 General Electric Company Method for detecting coolant leaks in generators
CA2985486C (en) 2014-05-09 2021-04-13 Kairos Aerospace Inc. Systems and methods for detecting gas leaks

Also Published As

Publication number Publication date
JPWO2017104617A1 (ja) 2018-03-01
US10852213B2 (en) 2020-12-01
EP3392635A1 (en) 2018-10-24
WO2017104617A1 (ja) 2017-06-22
EP3392635A4 (en) 2019-05-08
EP3392635B1 (en) 2022-06-08
US20190003919A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP6319527B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
JP6344533B2 (ja) ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
US11092507B2 (en) Method of indicating gas movement in a scene
JP6245418B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP6620878B2 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP6468439B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
CN101726357A (zh) 烟检测装置
JP6579290B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP6508439B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US11393096B2 (en) Gas-detection image processing device, gas-detection image processing method, and gas-detection image processing program
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
JP2020071698A (ja) 火災検知装置、火災検知方法及び火災監視システム
JPWO2019058863A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP2020008326A (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
US20220034742A1 (en) Gas flow rate estimation device, gas flow rate estimation method, and gas flow rate estimation program
JP7056342B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JPWO2019058864A1 (ja) ガス検査レポート作成支援装置、ガス検査レポート作成支援方法、及び、ガス検査レポート作成支援プログラム
JP6504325B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6319527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150