JPWO2019058863A1 - ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム Download PDF

Info

Publication number
JPWO2019058863A1
JPWO2019058863A1 JP2019543494A JP2019543494A JPWO2019058863A1 JP WO2019058863 A1 JPWO2019058863 A1 JP WO2019058863A1 JP 2019543494 A JP2019543494 A JP 2019543494A JP 2019543494 A JP2019543494 A JP 2019543494A JP WO2019058863 A1 JPWO2019058863 A1 JP WO2019058863A1
Authority
JP
Japan
Prior art keywords
image
time
series
gas
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019543494A
Other languages
English (en)
Other versions
JP7230813B2 (ja
Inventor
基広 浅野
基広 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2019058863A1 publication Critical patent/JPWO2019058863A1/ja
Application granted granted Critical
Publication of JP7230813B2 publication Critical patent/JP7230813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/002Investigating fluid-tightness of structures by using thermal means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/38Investigating fluid-tightness of structures by using light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Examining Or Testing Airtightness (AREA)
  • Image Analysis (AREA)

Abstract

ガス検知用画像処理装置は、第1生成部と表示制御部とを備える。第1生成部は、撮像時間が第1所定期間である第1時系列画像を取得し、第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、第2所定期間に対応する第1時系列画像の一部分(第2時系列画像)の代表画像の生成を、複数の第2所定期間のそれぞれに対応する複数の第2時系列画像に対して実行することにより、時系列代表画像を生成する。第1生成部は、ガス領域を含む第2時系列画像を用いて、代表画像を生成する場合、ガス領域を含む代表画像を生成する。表示制御部は、時系列代表画像を構成する複数の代表画像を、時系列順に表示させる。

Description

本発明は、画像を利用してガスを検知する技術に関する。
ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。
赤外画像を利用したガス検知として、例えば、特許文献1は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
赤外画像を利用したガス検知以外に、画像を利用したガス検知として、例えば、オプティカルフローを利用したガス検知が提案されている。特許文献2は、長焦点光学系の撮影に基づいてガス漏れを検知するシステムであって、平行光または平行光に近い光に照射された被写体を長焦点光学系のカメラによって連続撮影する撮影手段と、その撮影手段が撮影した連続画像データをオプティカルフロー処理によって複数の画像データにおける粒子の動きをベクトル表示したベクトル表示画像データに変換する演算手段と、その演算手段が変換したベクトル表示画像データを出力表示する出力手段と、を備えるガス漏れ検知システムを開示している。
画像処理により抽出されたガス領域は、検知対象となるガスの出現以外の事象により生じることがある。例えば、移動する雲によって太陽が遮られることにより、太陽光が反射する反射面に写された、蒸気等の影がゆらいでいるとき、これによる像がガス領域として画像に含まれることがある。従って、ガス領域を抽出する画像処理がされた、時系列画像(例えば、動画)を基にしたガス検知技術の場合、ガス検知(ガス領域が検知)がされても、ユーザーは、ガス検知時の気象条件(風、天候)、時間帯(昼間、夜間)等を考慮し、誤検知の可能性があると判断することがある。
このようなとき、ユーザーは、画像に含まれるガス領域を見て、誤検知か否かを判断することになるが、ガス検知された時点の画像だけを見ても、誤検知か否かを判断できないことがある。そこで、ユーザーは、ガス検知された時点から過去に戻り、ガス領域の動き、形状の変化等を見て、誤検知か否かを判断する。また、上記影のゆらぎの場合、太陽との位置関係が同じ位置で、違う日の同じ時間帯において、太陽が雲に遮られていないときに、ユーザーが、同じようなガス領域が検出されているか否かを見て、誤検知か否かを判断する。この判断をするために、ガス検知された時点より遡り、上記時系列画像を再生することが考えられる。しかし、遡る期間が長いとき(例えば、1日や1週間)、時系列画像の再生時間が長くなるので、ユーザーは、誤検知か否かを速やかに判断することができない。時系列画像を早送り再生すれば、画像に含まれるガス領域を見逃す可能性がある。
特開2012−58093号公報 特開2009−198399号公報
本発明は、ユーザーが画像に含まれるガス領域を見逃すことなく、時系列画像の内容を短時間で把握することができるガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラムを提供することを目的とする。
上述した目的を実現するために、本発明の一側面を反映したガス検知用画像処理装置は、第1生成部と表示制御部とを備える。前記第1生成部は、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する。前記第1生成部は、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成する。前記表示制御部は、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる。
発明の1又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態に係るガス検知システムの構成を示すブロック図である。 図1Aに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データD1を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点SP1の温度変化を示すグラフである。 試験場所の地点SP2の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点SP1(図3)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波数成分データD2、時系列画素データD1から抽出された高周波数成分データD3を示すグラフである。 差分データD4を示すグラフである。 差分データD5を示すグラフである。 標準偏差データD6及び標準偏差データD7を示すグラフである。 差分データD8を示すグラフである。 時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。 時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。 実施形態で実行される各種処理を説明するフローチャートである。 実施形態が、監視画像動画から代表画像動画を生成する工程を説明する模式図である。 監視画像動画の一部分の具体例を示す画像図である。 監視画像動画の一部分の具体例を示す画像図である。 50秒間の監視画像動画を用いて生成された代表画像動画を示す画像図である。 代表画像の生成方法の第1例を用いて生成された代表画像を示す画像図である。 代表画像の生成方法の第2例を用いて生成された代表画像を示す画像図である。 実施形態の第1変形例が、監視画像動画から代表画像動画を生成する工程を説明する模式図である。 実施形態の第2変形例が、監視画像動画から代表画像動画を生成する工程を説明する模式図である。 実施形態の第3変形例に係るガス検知システムの構成を示すブロック図である。 グレースケールの領域をカラーの領域に変換する方法の一例を説明する説明図である。 カラーガス領域が合成された可視画像の具体例を示す画像図である。 カラーガス領域が合成された可視画像の具体例を示す画像図である。 実施形態の第3変形例が、可視画像動画から代表画像動画を生成する工程を説明する模式図である。 50秒間の可視画像動画を用いて生成された代表画像動画を示す画像図である。 第3変形例の第1形態によって生成された代表画像を示す画像図である。 第3変形例の第2形態によって生成された代表画像を示す画像図である。
以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。図1Aは、実施形態に係るガス検知システム1の構成を示すブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス検知用画像処理装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、ディスプレイ11及び入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、第1生成部91及び第2生成部92を備える。これらについては、後で説明する。
表示制御部10は、動画データMDで示される動画、及び、画像処理部9で上記所定の処理がされた動画を、ディスプレイ11に表示させる。
入力部12は、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置3は、ディスプレイ11及び入力部12を備えるが、これらを備えないガス検知用画像処理装置3でもよい。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU(Central Processing Unit)3a、RAM(Random Access Memory)3b、ROM(Read Only Memory)3c、HDD(Hard Disk Drive)3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、ディスプレイ11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ(例えば、動画データMD)が格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、例えば、動画データMDで示される動画をディスプレイ11に表示させたり、画像処理部9によって上記所定の処理がされた動画をディスプレイ11に表示させたりする表示制御プログラムである。これらのプログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されてもよい。これらのプログラムは、HDD3dの替わりにROM3cに記憶してもよい。ガス検知用画像処理装置3は、HDD3dの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
CPU3aは、ハードウェアプロセッサの一例であり、これらのプログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、画像処理部9及び表示制御部10が実現される。但し、画像処理部9の機能及び表示制御部10の機能について、各機能の一部又は全部は、CPU3aによる処理に替えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
なお、画像処理部9は、図1Aに示す複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。すなわち、HDD3dには、第1生成部91及び第2生成部92のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1生成プログラム、第2生成プログラムと表現される。第1生成プログラムを記憶しているHDDと、第2生成プログラムを記憶しているHDDとが異なっていてもよい。この場合、第1生成プログラムを記憶しているHDDを有するサーバと、第2生成プログラムを記憶しているHDDを有するサーバとが、ネットワーク(例えば、インターネット)を介して接続されていてもよい。又は、少なくとも一方のHDDが、USBポートなどに接続された外付けHDDでもよいし、ネットワーク対応のHDD(NAS:Network Attached Storage)でもよい。
これらのプログラムは、要素の定義を用いて表現される。第1生成部91及び第1生成プログラムを例にして説明する。第1生成部91は、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する。第1生成プログラムは、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1生成プログラム、第2生成プログラム等)のフローチャートが、後で説明する図12である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス検知用画像処理装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分を抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画をディスプレイ11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、いずれも標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)をディスプレイ11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ11に表示させることができる。
実施形態は、図12に示すステップS100〜ステップS102を実行することにより、ユーザーは、画像に含まれるガス領域を見逃すことなく、時系列画像の内容を短時間で把握することができる。図12は、これを実現するために、実施形態で実行される各種処理を説明するフローチャートである。図13は、実施形態が、監視画像動画V1から代表画像動画V2を生成する工程を説明する模式図である。
図1A及び図13を参照して、第2生成部92は、動画データMDを用いて、監視画像動画V1を生成する(図12のステップS100)。詳しく説明すると、第2生成部92は、画像データ入力部8に入力された動画データMDを取得する。動画データMD(第3時系列画像の一例)は、上述したように、赤外線カメラ2により撮像されたガス監視対象の動画である。この動画は、図2に示すように、時系列に並ぶ複数の赤外画像(1番目フレームからK番目フレーム)により構成される。
第2生成部92は、動画データMDに対して、図5に示すステップS1〜ステップS9の処理(ガス領域を抽出する画像処理)をする。これにより、動画を構成する各フレームは、赤外画像から監視画像Im1となり、監視画像動画V1が生成される。監視画像動画V1(第1時系列画像の一例)は、時系列に並ぶ複数の監視画像Im1により構成される。
監視画像Im1は、例えば、図10に示す画像I12、図11に示す画像I15である。検知対象となるガスが出現している期間、又は、誤検知の原因となる事象が発生している期間において、監視画像動画V1には、ガス領域が含まれる。検知対象となるガスが出現しておらず、かつ、誤検知の原因となる事象が発生していない期間において、監視画像動画V1には、ガス領域が含まれない。図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、地点SP1付近にガス領域がある。ガス領域は、画像I15の中心付近に広がっている、輝度が比較的大きい領域である。
実施形態では、図5に示すステップS1〜ステップS9の処理でガス領域を抽出しているが、赤外画像に対してガス領域を抽出する画像処理であれば、他の画像処理でもよい(例えば、特許文献1に開示された画像処理)。
図1A及び図13を参照して、第1生成部91は、監視画像動画V1を用いて、代表画像動画V2を生成する(図12のステップS101)。詳しく説明すると、画像処理部9が、監視画像動画V1を構成する複数の監視画像Im1のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、監視画像動画V1にガス領域が含まれているか否かをリアルタイムで判定する。画像処理部9は、ガス領域を含む監視画像Im1があるとき、監視画像動画V1にガス領域が含まれていると判定する。
画像処理部9が、監視画像動画V1にガス領域が含まれていると判定したとき、ガス検知用画像処理装置3は、所定の発報をすることにより、ユーザーにガス検知を報知する。ユーザーは、その検知が誤検知の可能性があると判断したとき、入力部12を操作して、第1所定期間及び第2所定期間を入力し、そして、代表画像動画V2を生成する命令を入力する。第1所定期間は、ガス検知がされた時点から遡る期間である。第2所定期間は、代表画像Im2の生成に用いる監視画像動画V1の時間単位である。ここでは、第1所定期間が24時間とし、第2所定期間が10秒間とする。これらは具体例であり、第1所定期間及び第2所定期間は、これらの値に限定されない。
第1生成部91は、第2生成部92に記憶されている監視画像動画V1のうち、ガス検知用画像処理装置3がガス検知をした時点から24時間前までの監視画像動画V1を取得し、取得した監視画像動画V1に対して、24時間を10秒間隔で分割する。各10秒間には、監視画像動画V1の一部分P1(第2時系列画像の一例)が対応している。監視画像動画V1の一部分P1は、時系列に並ぶ複数の監視画像Im1により構成される。
図14A及び図14Bは、監視画像動画V1の一部分P1の具体例を示す画像図である。監視画像動画V1の一部分P1は、時系列に並ぶ300枚の監視画像Im1(フレーム)により構成される。図14A及び図14Bは、300枚の一部をおよそ等間隔にサンプリングした例である。これは、10秒分に相当する。1番目の監視画像Im1が10秒間の開始時点の監視画像Im1としてサンプリングされたものである。16番目の監視画像Im1が10秒間の終了時点の監視画像Im1としてサンプリングされたものである。各監視画像Im1の中心付近が地点SP1(図3)である。10秒間のうち、1番目から5番目の監視画像Im1、及び、15番目から16番目の監視画像Im1には、ガス領域が明確に現れているが(図面では分かりにくいが、実際の画像では、ガス領域が現れている)、6番目から14番目の監視画像Im1には、ガス領域が明確に現れていない。
図1A及び図13を参照して、第1生成部91は、各10秒間に対応する、監視画像動画V1の一部分P1について、代表画像Im2を生成することにより、代表画像動画V2(時系列代表画像の一例)を生成する。代表画像動画V2は、時系列に並ぶ複数の代表画像Im2により構成される。代表画像Im2は、10秒間単位で作成されるので、代表画像動画V2を構成する代表画像Im2(フレーム)の数は、8640(=24時間×60分×6)となる。
代表画像動画V2の具体例を図15に示す。図15は、50秒間の監視画像動画V1を用いて生成された代表画像動画V2を示す画像図である。「11:48」で示す画像は、11分48秒から11分58秒までの10秒間の代表画像Im2である。「11:58」で示す画像は、11分58秒から12分08秒までの10秒間の代表画像Im2である。「12:08」で示す画像は、12分08秒から12分18秒までの10秒間の代表画像Im2である。「12:18」で示す画像は、12分18秒から12分28秒までの10秒間の代表画像Im2である。「12:28」で示す画像は、12分28秒から12分38秒までの10秒間の代表画像Im2である。
ガス領域の見逃しを防ぐために、10秒間の少なくとも一部にガス領域が存在すれば、第1生成部91は、代表画像Im2にガス領域が含まれるようにする。代表画像Im2の生成方法の第1例を説明する。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1(第2時系列画像)を構成する複数の監視画像Im1において、同じ順番に位置する画素の中から、画素が示す値(ここでは、標準偏差の差分)の最大値を決定する。第1生成部91は、この最大値を、代表画像Im2の上記順番に位置する画素の値とする。具体的に説明すると、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1において、1番目の画素が示す値の最大値を決定し、この値を、代表画像Im2の1番目の画素の値とする。第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1において、2番目の画素が示す値の最大値を決定し、この値を、代表画像Im2の2番目の画素の値とする。第1生成部91は、3番目以降の画素についても同様の処理をする。
図16は、代表画像Im2の生成方法の第1例を用いて生成された代表画像Im2を示す画像図である。代表画像Im2の中心付近(図3の地点SP1)に輝度が大きい領域が比較的大きく広がっている。これがガス領域である。ガス領域を構成する画素が示す値は、比較的大きいので、比較的大きい値を有する画素で構成される領域がガス領域となる。第1例は、監視画像動画V1の一部分P1(第2時系列画像)にガス領域が含まれるか否かを判定しないで、代表画像Im2を生成する。第1例によれば、監視画像動画V1の一部分P1にガス領域が含まれる場合、代表画像Im2に含まれるガス領域が、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のそれぞれに含まれるガス領域の論理和を示すようなガス領域になる。従って、風向きの変化等でガスがゆらいでいる場合、代表画像Im2に含まれるガス領域の面積を大きくすることができることが分かった。このような場合、ユーザーは、ガス領域を容易に見つけ出すことができる。
代表画像Im2の生成方法の第2例を説明する。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1(第2時系列画像)を構成する複数の監視画像Im1のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の監視画像Im1のそれぞれ対して、ガス領域が含まれているか否かを判定する。第1生成部91は、複数の監視画像Im1の少なくとも1つにガス領域が含まれているとき、監視画像動画V1の一部分P1にガス領域が含まれていると判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれる場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、ガス領域を含む監視画像Im1のそれぞれについて、ガス領域の平均輝度値を算出する。ガス領域の平均輝度値の算出方法を簡単に説明する。第1生成部91は、監視画像Im1からガス領域を切り出し、ガス領域を構成する各画素の輝度値の平均値を算出する。これが、ガス領域の平均輝度値となる。
第1生成部91は、ガス領域の平均輝度値が最大となる監視画像Im1を代表画像Im2として選択する。図17は、代表画像Im2の生成方法の第2例を用いて生成された代表画像Im2を示す画像図である。代表画像Im2の中心付近(図3の地点SP1)にある矩形領域R1が、ガス領域の位置を示している。矩形領域R1内において、輝度が大きい領域がガス領域である。第2例によれば、監視画像動画V1の一部分P1(第2時系列画像)にガス領域が含まれる場合、代表画像Im2に含まれるガス領域の平均輝度値を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
代表画像Im2の生成方法の第3例を説明する。第3例は、ガス領域の平均輝度値の替わりに、ガス領域の面積を用いる。図1A及び図13を参照して、第1生成部91は、監視画像動画V1の一部分P1(第2時系列画像)を構成する複数の監視画像Im1のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の監視画像Im1のそれぞれ対して、ガス領域が含まれているか否かを判定する。第1生成部91は、複数の監視画像Im1の少なくとも1つにガス領域が含まれているとき、監視画像動画V1の一部分P1にガス領域が含まれていると判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれる場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、ガス領域を含む監視画像Im1のそれぞれについて、ガス領域の面積を算出する。ガス領域の面積の算出方法を簡単に説明する。第1生成部91は、監視画像Im1からガス領域を囲む矩形領域を切り出し、その矩形内で一定値以上の画素をガス領域と判断し、ガス領域と判断した画素の数を算出する。これが、ガス領域の面積となる。第1生成部91は、ガス領域の面積が最大となる監視画像Im1を代表画像Im2として選択する。
第3例によれば、監視画像動画V1の一部分P1(第2時系列画像)にガス領域が含まれる場合、代表画像Im2に含まれるガス領域の面積を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
第2例及び第3例において、第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれるか否かを判定し、監視画像動画V1の一部分P1にガス領域が含まれるとき、ガス領域を含む代表画像Im2を生成する。第2例及び第3例において、第1生成部91は、監視画像動画V1の一部分P1を構成する複数の監視画像Im1のいずれにもガス領域が含まれていないとき、監視画像動画V1の一部分P1にガス領域が含まれないと判定する。第1生成部91は、監視画像動画V1の一部分P1にガス領域が含まれない場合、監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、予め定められた監視画像Im1(任意の監視画像Im1)を代表画像Im2とする。予め定められた監視画像Im1は、その監視画像動画V1の一部分P1を構成する複数の監視画像Im1であれば、いずれでもよい(例えば、先頭の監視画像Im1)。
ユーザーは、監視画像動画V1(第1時系列画像)の内容を短時間で把握するために、代表画像動画V2(時系列代表画像)を見る。複数の第2所定期間(10秒間)の中で、ガス領域が存在しない第2所定期間がある場合、そのことを、ユーザーに認識させる必要がある。そこで、第1生成部91は、ガス領域が存在しない第2所定期間に対応する、監視画像動画V1の一部分P1の場合(監視画像動画V1の一部分にガス領域が含まれない場合)、その監視画像動画V1の一部分P1を構成する複数の監視画像Im1の中で、予め定められた監視画像Im1を代表画像Im2とする。
以上説明したように、第1生成部91は、撮像時間が第1所定期間(24時間)である第1時系列画像(監視画像動画V1)を取得し、第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間(10秒間)を設定し、第2所定期間に対応する第1時系列画像の一部分である第2時系列画像の代表画像Im2の生成を、複数の第2所定期間のそれぞれに対応する複数の第2時系列画像に対して実行することにより、時系列代表画像(代表画像動画V2)を生成する。
図1A及び図13を参照して、表示制御部10は、代表画像動画V2を再生する(図12のステップS102)。詳しく説明すると、代表画像動画V2が生成されると、ガス検知用画像処理装置3は、ユーザーに代表動画画像の再生が可能である旨を報知する。ユーザーは、入力部12を操作して、代表画像動画V2の再生を命令する。これにより、表示制御部10は、代表画像動画V2を構成する複数の代表画像Im2を、時系列順にディスプレイ11に表示する(複数の代表画像Im2を連続表示する)。例えば、再生のフレームレートが4fpsとする。再生時間は、以下の式で示すように、36分となる。8640は、上述したように、代表画像動画V2を構成する代表画像Im2(フレーム)の数である。
8640フレーム÷4fps=2160秒=36分
なお、再生時間をさらに短くしたいとき、第2所定期間を長くする。例えば、第2所定期間が1分のとき、代表画像動画V2を構成する代表画像Im2(フレーム)の数は、1440(=24時間×60分)となる。再生時間は、以下の式で示すように、6分となる。
1440フレーム÷4fps=360秒=6分
上記第1例を用いて代表画像Im2を生成する場合、第2所定期間中の画素値の最大値を代表画像Im2の画素値にする。よって、この場合、第2所定期間を長くしたとき、代表画像Im2にノイズが含まれやすくなる。
図1A及び図13を参照して、実施形態の主な作用効果について説明する。代表画像Im2は、監視画像画像の一部分P1(第2時系列画像)を代表する画像である。代表画像動画V2(時系列代表画像)は、時系列に並ぶ複数の代表画像Im2により構成される。表示制御部10は、複数の代表画像Im2を時系列順にディスプレイ11に表示させる。従って、ユーザーは、これらの代表画像Im2を見ることにより、監視画像動画V1(第1時系列画像)の内容を把握することが可能となる。
また、代表画像Im2は、監視画像動画V1の一部分P1を代表する画像であるので、代表画像動画V2を構成する代表画像Im2の数は、監視画像動画V1を構成する監視画像Im1の数より少ない。よって、代表画像動画V2は、監視画像動画V1よりも、再生時間を短くできる。
このように、実施形態によれば、ユーザーは、時系列画像(監視画像動画V1)の内容を短時間で把握することができる。
第1生成部91は、監視画像動画V1の一部分P1がガス領域を含むとき、ガス領域を含む代表画像Im2を生成する。よって、実施形態によれば、ガス領域の見逃しを防ぐことができる。
以上より、実施形態によれば、ユーザーが画像に含まれるガス領域を見逃すことなく、監視画像動画V1の内容を短時間で把握することができる。よって、監視画像動画V1をダイジェスト再生した効果と同様の効果が得られる。
ガス検知システム1を用いて、ガス監視の対象(例えば、ガスプラントのガス配管)を長期間監視し、この期間中に発生した事実をユーザーに提供するサービスが考えられる。代表画像動画V2をクラウドコンピューティングのストレージに記憶させれば、サービス提供者は、ガス監視の対象がある場所に訪れる必要がない。クラウドコンピューティングを利用する場合、監視画像動画V1の全データをクラウドにアップロードし続けることはデータ容量や帯域から現実的ではなく、データ量を少なくすることが好ましい。上述したように、代表画像動画V2を構成する代表画像Im2の数は、監視画像動画V1を構成する監視画像Im1の数より少ないので、代表画像動画V2は、監視画像動画V1よりもデータ量を少なくすることができる。
実施形態の第1変形例を説明する。実施形態では、図13に示すように、24時間(第1所定期間)を10秒間隔に分割し、各10秒間を第2所定期間にしている。すなわち、実施形態では、複数の第2所定期間が連続している。これに対して、第1変形例では、複数の第2所定期間が所定間隔で設定される。図18は、実施形態の第1変形例が、監視画像動画V1から代表画像動画V2を生成する工程を説明する模式図である。
図1A及び図18を参照して、第1変形例において、第1生成部91は、24時間の監視画像動画V1を、2分間隔で分割し、2分間のうち、先頭の10秒間を第2所定期間に設定する。このように、第1変形例において、第1生成部91は、第1所定期間(24時間)を分割した複数の分割期間(2分間)を設定し、分割期間に含まれ、分割期間より短い第2所定期間(10秒間)を、複数の分割期間のそれぞれについて設定する。なお、24時間、2分間、10秒間は、具体例であり、第1所定期間、分割期間、第2所定期間は、これらの値に限定されない。また、第2所定期間は、分割期間の先頭(最初)から開始される例で説明しているが、先頭からでなくてもよい。
第1変形例において、第1生成部91は、各10秒間に対応する、監視画像動画V1の一部分P1を用いて、代表画像Im2を生成する。これは、実施形態と同様である。
複数の分割期間(2分間)を合計した期間は、第1所定期間(24時間)と同じ長さとなる。第1変形例によれば、第2所定期間(10秒間)が分割期間より短いので、複数の第2所定期間が所定間隔で設定されることになる。第1変形例は、複数の第2所定期間が連続に設定される態様(図13)と比べて、第2所定期間の長さが同じ場合、代表画像Im2の数を少なくすることができる。従って、第1変形例によれば、第1所定期間が長くても、代表画像動画V2(時系列代表画像)の再生時間を長くすることなく、監視画像動画V1(第1時系列画像)の内容を大まかに把握することができる。第1変形例は、第1所定期間が長い場合(例えば、1日)に有効となる。
実施形態の第2変形例を説明する。図19は、実施形態の第2変形例が、監視画像動画V1から代表画像動画V2を生成する工程を説明する模式図である。分割期間(2分間)の全期間でなく、一部の期間に、ガス領域が存在することがある。図18に示すように、第1変形例では、分割期間(2分間)のうち、先頭期間(10秒間)を第2所定期間にしている。先頭期間において、ガス領域が発生しておらず、先頭期間以外で、ガス領域が発生していることがある。この場合、ガス領域を見逃すことになる。第2変形例は、以下に説明するように、ガス領域の見逃しを防止することができる。
図1A及び図19を参照して、第2変形例において、第1生成部91は、分割期間内にガス領域が存在する期間があるとき、この期間を第2所定期間に設定し、分割期間内にガス領域が存在する期間がないとき、この分割期間に第2所定期間を設定しない。図19に示す連続する3つの分割期間T1,T2,T3を例にして、詳しく説明する。第1生成部91は、分割期間T1において、監視画像動画V1にガス領域が含まれているか否かを判定する。分割期間T1において、監視画像動画V1にガス領域が含まれているとする。第1生成部91は、分割期間T1において、最初にガス領域が現れる期間に、第2所定期間(10秒間)を設定する。第1生成部91は、第2所定期間に対応する、監視画像動画V1の一部分P1(第2時系列画像)を用いて、代表画像Im2を生成する。なお、分割期間内にガス領域が存在する期間がなくても、第1生成部91は、分割期間の先頭から第2所定期間(10秒間)を設定し、代表画像Im2を生成してもよい。
第1生成部91は、分割期間T2において、監視画像動画V1にガス領域が含まれているか否かを判定する。分割期間T2において、監視画像動画V1にガス領域が含まれていないとする。第1生成部91は、分割期間T2に属する複数の監視画像Im1の中から、予め定められた監視画像Im1を代表画像Im2とする。例えば、最初の監視画像Im1が代表画像Im2とされる。
第1生成部91は、分割期間T3において、監視画像動画V1にガス領域が含まれているか否かを判定する。分割期間T3において、監視画像動画V1にガス領域が含まれているとする。第1生成部91は、分割期間T3において、最初にガス領域が現れる期間に、第2所定期間(10秒間)を設定する。第1生成部91は、第2所定期間に対応する、監視画像動画V1の一部分P1を用いて、代表画像Im2を生成する。
第2変形例によれば、分割期間の全期間において、ガス領域が存在しないとき、ガス領域を含まない代表画像Im2を生成し、分割期間の少なくとも一部において、ガス領域が存在するとき、ガス領域を含む代表画像Im2を生成する。従って、分割期間の一部において、ガス領域が存在するとき、ガス領域の見逃しを防止することができる。
第2変形例は、監視画像動画V1にガス領域が含まれているか否かの判定を前提とする。このため、第2変形例には、上述した代表画像Im2の生成方法の第2例(ガス領域の平均輝度値を基にして代表画像Im2が決定される)、第3例(ガス領域の面積を基にして代表画像Im2が決定される)が適用される。
第3変形例について説明する。第3変形例は、ガス領域をカラー化する。図20は、実施形態の第3変形例に係るガス検知システム1aの構成を示すブロック図である。ガス検知システム1aが、図1Aに示すガス検知システム1と相違する点を説明する。ガス検知システム1aは、可視カメラ13を備える。可視カメラ13は、赤外線カメラ2による監視対象の動画の撮像と並行して、同じ監視対象の動画を撮像する。これにより、可視カメラ13から出力された動画データmdが画像データ入力部8に入力される。
ガス検知システム1aの画像処理部9は、カラー処理部93を備える。カラー処理部93は、ガス領域をカラー化する画像処理をする。図14A及び図14Bに示す監視画像Im1を例にして詳しく説明する。監視画像Im1がグレースケールで表されているので、ガス領域もグレースケールで表されている。カラー処理部93は、1番目の監視画像Im1に対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、1番目の監視画像Im1からガス領域を切り出す。
カラー処理部93は、切り出したガス領域を構成する各画素の輝度値に応じて、ガス領域をカラー化する。カラー処理部93は、所定の閾値以下の輝度値を有する画素をノイズとみなし、その画素はカラー化しない。よって、カラー処理部93は、所定の閾値を超える輝度値を有する画素をカラー化する。図21は、グレースケールの領域をカラーの領域に変換する方法の一例を説明する説明図である。図21に示すグラフの横軸が、元の輝度値を示し、縦軸が、RGBのそれぞれの輝度値を示す。Rの輝度値は、元の輝度値が0〜127のとき、0であり、元の輝度値が127〜191のとき、0から255に直線的に増加し、元の輝度値が191〜255のとき、255となる。Gの輝度値は、元の輝度値が0〜63のとき、0から255に直線的に増加し、元の輝度値が63〜191のとき、255であり、元の輝度値が191〜255のとき、255から0に直線的に減少する。Bの輝度値は、元の輝度値が0〜63のとき、255であり、元の輝度値が63〜127のとき、255から0に直線的に減少し、元の輝度値が127〜255のとき、0となる。
カラー処理部93は、切り出したガス領域において、隣接する三つの画素を一組とし、これらの画素の輝度値の平均値を算出する。この平均値が元の輝度値となる。例えば、平均値(元の輝度値)が63のとき、カラー処理部93は、その組を構成する三つの画素のうち、Rに対応する画素の輝度値を0、Gに対応する画素の輝度値を255、Bに対応する画素の輝度値を255にする。カラー処理部93は、他の組につても同様の処理をする。これにより、ガス領域がカラー化される。ガス濃度が高ければ、ガス領域を構成する各画素の輝度値(画素値)が比較的大きいので、ガス領域は赤色の面積が大きくなる。ガス濃度が低ければ、ガス領域を構成する各画素の輝度値(画素値)が比較的小さいので、ガス領域は青色の面積が大きくなる。
カラー処理部93は、2番目から16番目の監視画像Im1のそれぞれに含まれるガス領域について、同様に、ガス領域をカラー化する。
カラー処理部93は、カラー化されたガス領域(以下、カラーガス領域)を可視画像Im3に合成する。詳しく説明すると、カラー処理部93は、動画データmdの中から、図14A及び図14Bに示す監視画像Im1と同じ時刻に撮像されたフレーム(可視画像Im3)を取得する。カラー処理部93は、1番目の監視画像Im1から切り出されたガス領域のカラーガス領域を、1番目の監視画像Im1と撮像時刻が同じであるフレーム(可視画像Im3)に合成する。カラー処理部93は、2番目から16番目の監視画像Im1から切り出されたガス領域のカラーガス領域についても、同様の処理をする。図22A及び図22Bは、カラーガス領域R2が合成された可視画像Im3の具体例を示す画像図である。同じ順番の可視画像Im3と監視画像Im1とは、撮像時刻が同じである。例えば、1番目の可視画像Im3と1番目の監視画像Im1とは、撮像時刻が同じである。
可視画像Im3は、カラー画像である。可視画像Im3の中心付近(図3の地点SP1)にカラーガス領域R2が合成されている。10秒分300枚からサンプリングされた16枚のうち、1番目から5番目の可視画像Im3、及び、15番目から16番目の可視画像Im3において、カラーガス領域R2が明確に現れているが(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)、6番目から14番目の可視画像Im3において、カラーガス領域R2が明確に現れていない。これは、図14A及び図14Bに示す監視画像Im1に現れるガス領域を反映しているからである。
図22A及び図22Bに示すような、カラーガス領域R2が合成された可視画像Im3の動画を、可視画像動画V3と記載する。図23は、実施形態の第3変形例が、可視画像動画V3(第1時系列画像の一例)から代表画像動画V4(時系列代表画像の一例)を生成する工程を説明する模式図である。
図20及び図23を参照して、第1生成部91は、各10秒間に対応する、可視画像動画V3の一部分P2(第2時系列画像)について、代表画像Im4を生成することにより、代表画像動画V4を生成する。代表画像動画V4は、時系列に並ぶ複数の代表画像Im4により構成される。代表画像Im4は、10秒間単位で作成されるので、代表画像動画V4を構成する代表画像Im4(フレーム)の数は、8640(=24時間×60分×6)となる。
代表画像動画V4の具体例を図24に示す。図24は、50秒間の可視画像動画V3を用いて生成された代表画像動画V4を示す画像図である。「11:48」で示す画像は、11分48秒から11分58秒までの10秒間の代表画像Im4である。「11:58」で示す画像は、11分58秒から12分08秒までの10秒間の代表画像Im4である。「12:08」で示す画像は、12分08秒から12分18秒までの10秒間の代表画像Im4である。「12:18」で示す画像は、12分18秒から12分28秒までの10秒間の代表画像Im4である。「12:28」で示す画像は、12分28秒から12分38秒までの10秒間の代表画像Im4である。「11:58」で示す代表画像Im4及び「12:08」で示す代表画像Im4において、カラーガス領域R2が明確に現れている(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)。
カラーガス領域R2の見逃しを防ぐために、10秒間の少なくとも一部にカラーガス領域R2が存在すれば、第1生成部91は、代表画像Im4にカラーガス領域R2が含まれるようにする。代表画像Im4の生成方法を説明する。図20及び図23を参照して、第1生成部91は、可視画像動画V3の一部分P2を構成する複数の可視画像Im3のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の可視画像Im3のそれぞれ対して、カラーガス領域R2が含まれているか否かを判定する。第1生成部91は、複数の可視画像Im3の少なくとも1つにカラーガス領域R2が含まれているとき、可視画像動画V3の一部分P2にカラーガス領域R2が含まれていると判定する。第1生成部91は、可視画像動画V3の一部分P2(第2時系列画像)にカラーガス領域R2が含まれる場合、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3の中で、カラーガス領域R2を含む可視画像Im3のそれぞれについて、カラーガス領域R2の面積を算出する。カラーガス領域R2の面積を算出方法は、ガス領域の面積の算出方法と同じである。第1生成部91は、カラーガス領域R2の面積が最大となる可視画像Im3を代表画像Im4として選択する。図25は、第3変形例によって生成された代表画像Im4を示す画像図である。代表画像Im4において、カラーガス領域R2が明確に現れている(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)。
第1生成部91は、可視画像動画V3の一部分P2を構成する複数の可視画像Im3のいずれにもカラーガス領域Rが含まれていないとき、可視画像動画V3の一部分P2にカラーガス領域R2が含まれないと判定する。第1生成部91は、可視画像動画V3の一部分P2にカラーガス領域R2が含まれない場合、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3の中で、予め定められた可視画像Im3を代表画像とする。予め定められた可視画像Im3は、その可視画像動画V3の一部分P2を構成する複数の可視画像Im3であれば、いずれでもよい(例えば、先頭の可視画像Im3)。
第3変形例は、以上のような第1形態の他に、以下に示す第2形態がある。図20に示す第1生成部91及び第2生成部92が、図13〜図16を用いて説明した方法(代表画像Im2の生成方法の第1例)で代表画像動画V2を生成し、代表画像動画V2を基にして、代表画像動画V4を生成してもよい。詳しく説明すると、カラー処理部93は、代表画像動画V2(図13)を構成する複数の代表画像Im2のそれぞれに対して、ノイズ除去をする処理(例えば、モルフォロジー)をした後、複数の代表画像Im2のそれぞれ対して、ガス領域が含まれているか否かを判定する。カラー処理部93は、ガス領域を含む代表画像Im2について、ガス領域を切り出し、上述した方法を用いて、ガス領域をカラー化し(カラーガス領域R2を生成)、この代表画像Im2に対応する撮像時刻と同じ時刻に撮像された可視画像Im3に、カラーガス領域R2を合成する。この合成画像が、代表画像Im4(図23)となる。図26は、第3変形例の第2形態によって生成された代表画像Im4を示す画像図である。代表画像Im4において、カラーガス領域R2が明確に現れている(図面では分からないが、実際の画像では、カラーガス領域R2が現れている)。
以上説明したように、第3変形例によれば、代表画像Im4に含まれるガス領域がカラー化されるので(カラーガス領域R2)、ガス領域を目立たせることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
第3変形例は、図18に示す第1変形例と組み合わせることができ、また、図19に示す第2変形例と組み合わせることができる。
第3変形例では、カラーガス領域R2の背景として、カラーの可視画像Im3を例に説明したが、グレースケールの可視画像Im3を背景にしてもよい。また、赤外線カメラ2で撮像した赤外画像を背景にしてもよい。赤外画像を背景にする形態では、可視カメラ13は不要となる。
(実施形態の纏め)
実施形態の第1局面に係るガス検知用画像処理装置は、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成部を備え、前記第1生成部は、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御部を備える。
第1時系列画像には、ガス監視の対象(例えば、ガスプラントのガス管)が写されている。第1時系列画像は、ガス領域を抽出する画像処理がされた時系列画像でもよいし、このような画像処理がされていない時系列画像でもよい。後者は、例えば、ガス管から液化天然ガスが漏れたとき、ガス領域を抽出する画像処理がされてなくても、第1時系列画像には霧状の像(ガス領域)が含まれる。ガス領域を抽出する画像処理は、実施形態で説明する画像処理に限らず、公知の画像処理でもよい。
第1所定期間(第1所定期間>第2所定期間)のうち、検知対象となるガスが出現している期間、又は、誤検知の原因となる事象が発生している期間において、第1時系列画像には、ガス領域が含まれる。第1所定期間のうち、検知対象となるガスが出現しておらず、かつ、誤検知の原因となる事象が発生していない期間において、第1時系列画像には、ガス領域が含まれない。
代表画像は、第2時系列画像(第1時系列画像の一部分)を代表する画像である。時系列代表画像は、時系列に並ぶ複数の代表画像により構成される。表示制御部は、複数の代表画像を時系列順に表示部に表示させる(時系列代表画像を再生させる)。従って、ユーザーは、これらの代表画像を見ることにより、第1時系列画像の内容を把握することが可能となる。
また、代表画像は、第1時系列画像の一部分である第2時系列画像を代表する画像であるので、時系列代表画像を構成する代表画像の数は、第1時系列画像を構成する画像の数より少ない。よって、時系列代表画像は、第1時系列画像よりも、再生時間を短くできる。
このように、実施形態の第1局面に係るガス検知用画像処理装置によれば、ユーザーは、時系列画像(第1時系列画像)の内容を短時間で把握することができる。
第1生成部は、ガス領域を含む第2時系列画像のとき、ガス領域を含む代表画像を生成する。よって、実施形態の第1局面に係るガス検知用画像処理装置によれば、ガス領域の見逃しを防ぐことができる。
実施形態の第1局面に係るガス検知用画像処理装置は、第2時系列画像にガス領域が含まれるか否かを判定する第1態様と、第2時系列画像にガス領域が含まれるか否かを判定しない第2態様とがある。第2態様は、第2時系列画像にガス領域が含まれていれば、結果として、ガス領域を含む代表画像を生成し、第2時系列画像にガス領域が含まれていなければ、結果として、ガス領域を含まない代表画像を生成する。
上記構成において、前記ガス領域をカラー化する画像処理をする処理部をさらに備える。
この構成によれば、ガス領域がカラー化されるので、ガス領域を目立たせることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。第1時系列画像の段階で、ガス領域がカラー化されてもよいし(第1時系列画像を構成する複数の画像に対して、ガス領域をカラー化する処理がされてもよい)、時系列代表画像の段階で、ガス領域がカラー化されてもよい(時系列代表画像を構成する複数の代表画像に対して、ガス領域をカラー化する処理がされてもよい)。
上記構成において、前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれる場合、前記第2時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の面積を算出し、前記ガス領域の面積が最大となる画像を前記代表画像として選択する。
この構成は、上述した第1態様である。この構成によれば、第2時系列画像にガス領域が含まれる場合、代表画像に含まれるガス領域の面積を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれる場合、前記第2時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の平均輝度値を算出し、前記ガス領域の平均輝度値が最大となる画像を前記代表画像として選択する。
この構成は、上述した第1態様である。この構成によれば、第2時系列画像にガス領域が含まれる場合、代表画像に含まれるガス領域の平均輝度値を大きくすることができる。これにより、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれない場合、前記第2時系列画像を構成する複数の画像の中で、予め定められた画像を前記代表画像として選択する。
この構成は、上述した第1態様である。上述したように、ユーザーは、第1時系列画像の内容を短時間で把握するために、時系列代表画像を見る。よって、複数の第2所定期間の中で、ガス領域が存在しない第2所定期間がある場合、そのことを、ユーザーに認識させる必要がある。そこで、第1生成部は、ガス領域が存在しない第2所定期間に対応する第2時系列画像の場合(第2時系列画像にガス領域が含まれない場合)、その第2時系列画像を構成する複数の画像の中で、予め定められた画像(任意の画像)を代表画像とする。予め定められた画像は、その第2時系列画像を構成する複数の画像であれば、いずれでもよい(例えば、先頭の画像)。
上記構成において、前記第1生成部は、前記第1所定期間を分割した複数の分割期間を設定し、前記分割期間に含まれ、前記分割期間より短い前記第2所定期間を、複数の前記分割期間のそれぞれについて設定する。
複数の分割期間を合計した期間は、第1所定期間と同じ長さとなる。この構成によれば、第2所定期間が分割期間より短いので、複数の第2所定期間が所定間隔で設定されることになる。この構成は、複数の第2所定期間が連続に設定される態様と比べて、第2所定期間の長さが同じ場合、代表画像の数を少なくすることができる。従って、この構成によれば、第1所定期間が長くても、時系列代表画像の再生時間を長くすることなく、第1時系列画像の内容を大まかに把握することができる。この構成は、第1所定期間が長い場合(例えば、1日)に有効となる。
上記構成において、前記第1生成部は、前記分割期間内に前記ガス領域が存在する期間があるとき、前記期間を前記第2所定期間に設定する。
分割期間の全期間でなく、一部の期間に、ガス領域が存在することがある。第1生成部は、ガス領域が存在する期間に第2所定期間を設定したとき、ガス領域を含む代表画像を生成し、ガス領域が含まれない期間に第2所定期間を設定したとき、ガス領域を含まない代表画像を生成することになる。この構成は、前者を優先する。従って、第1生成部は、分割期間の全期間において、ガス領域が存在しないとき、ガス領域を含まない代表画像を生成し、分割期間の少なくとも一部において、ガス領域が存在するとき、ガス領域を含む代表画像を生成する。この構成によれば、分割期間の少なくとも一部の期間がガス領域が存在するとき、ガス領域の見逃しを防止できる。
上記構成において、前記第1生成部は、前記第2時系列画像を構成する複数の画像において、同じ順番に位置する画素が示す値の最大値を、前記代表画像の前記順番に位置する画素の値として設定して前記代表画像を生成する。
ガス領域を構成する画素が示す値は、比較的大きいので、比較的大きい値を有する画素で構成される領域がガス領域となる。この構成は、上述した第2態様であり、第2時系列画像にガス領域が含まれるか否かを判定しないで、代表画像を生成する。この構成によれば、第2時系列画像にガス領域が含まれる場合、代表画像に含まれるガス領域が、第2時系列画像を構成する複数の画像のそれぞれに含まれるガス領域の論理和を示すようなガス領域になる。従って、風向きの変化等でガスがゆらいでいる場合、代表画像に含まれるガス領域の面積を大きくすることができることが分かった。このような場合、ユーザーは、ガス領域を容易に見つけ出すことができる。
上記構成において、前記第1生成部は、前記第1所定期間を分割した複数の分割期間を設定し、前記分割期間に含まれ、前記分割期間より短い前記第2所定期間を、複数の前記分割期間のそれぞれについて設定する。
この構成によれば、上述したように、第1所定期間が長くても、時系列代表画像の再生時間を長くすることなく、第1時系列画像の内容を大まかに把握することができる。この構成は、第1所定期間が長い場合(例えば、1日)に有効となる。
上記構成において、前記代表画像に前記ガス領域が含まれる場合、前記ガス領域をカラー化する画像処理をする処理部をさらに備える。
この構成は、代表画像にガス領域が含まれるか否かを判定し、代表画像にガス領域が含まれる場合、ガス領域をカラー化する。従って、この構成によれば、ガス領域を目立たせることができる。
上記構成において、前記第1所定期間において撮像された第3時系列画像に対して、前記ガス領域を抽出する画像処理をすることにより、前記第1時系列画像を生成する第2生成部をさらに備える。
この構成によれば、ガス領域を抽出する画像処理がされた時系列画像が第1時系列画像となる。
実施形態の第2局面に係るガス検知用画像処理方法は、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成ステップを備え、前記第1生成ステップは、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御ステップを備える。
実施形態の第2局面に係るガス検知用画像処理方法は、実施形態の第1局面に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第3局面に係るガス検知用画像処理プログラムは、撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成ステップをコンピュータに実行させ、前記第1生成ステップは、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御ステップをコンピュータに実行させる。
実施形態の第3局面に係るガス検知用画像処理プログラムは、実施形態の第1局面に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
2017年9月21日に提出された日本国特許出願特願2017−181283は、その全体の開示が、その全体において参照によりここに組み込まれる。
本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラムを提供することができる。

Claims (13)

  1. 撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成部を備え、
    前記第1生成部は、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、
    さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御部を備えるガス検知用画像処理装置。
  2. 前記ガス領域をカラー化する画像処理をする処理部をさらに備える請求項1に記載のガス検知用画像処理装置。
  3. 前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれる場合、前記第2時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の面積を算出し、前記ガス領域の面積が最大となる画像を前記代表画像として選択する、請求項1又は2に記載のガス検知用画像処理装置。
  4. 前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれる場合、前記第2時系列画像を構成する複数の画像の中で、前記ガス領域を含む画像のそれぞれについて、前記ガス領域の平均輝度値を算出し、前記ガス領域の平均輝度値が最大となる画像を前記代表画像として選択する、請求項1に記載のガス検知用画像処理装置。
  5. 前記第1生成部は、前記第2時系列画像に前記ガス領域が含まれない場合、前記第2時系列画像を構成する複数の画像の中で、予め定められた画像を前記代表画像として選択する、請求項1〜4のいずれか一項に記載のガス検知用画像処理装置。
  6. 前記第1生成部は、前記第1所定期間を分割した複数の分割期間を設定し、前記分割期間に含まれ、前記分割期間より短い前記第2所定期間を、複数の前記分割期間のそれぞれについて設定する、請求項1〜5のいずれか一項に記載のガス検知用画像処理装置。
  7. 前記第1生成部は、前記分割期間内に前記ガス領域が存在する期間があるとき、前記期間を前記第2所定期間に設定する、請求項6に記載のガス検知用画像処理装置。
  8. 前記第1生成部は、前記第2時系列画像を構成する複数の画像において、同じ順番に位置する画素が示す値の最大値を、前記代表画像の前記順番に位置する画素の値として設定して前記代表画像を生成する、請求項1に記載のガス検知用画像処理装置。
  9. 前記第1生成部は、前記第1所定期間を分割した複数の分割期間を設定し、前記分割期間に含まれ、前記分割期間より短い前記第2所定期間を、複数の前記分割期間のそれぞれについて設定する、請求項8に記載のガス検知用画像処理装置。
  10. 前記代表画像に前記ガス領域が含まれる場合、前記ガス領域をカラー化する画像処理をする処理部をさらに備える請求項8又は9に記載のガス検知用画像処理装置。
  11. 前記第1所定期間において撮像された第3時系列画像に対して、前記ガス領域を抽出する画像処理をすることにより、前記第1時系列画像を生成する第2生成部をさらに備える請求項1〜10のいずれか一項に記載のガス検知用画像処理装置。
  12. 撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成ステップを備え、
    前記第1生成ステップは、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、
    さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御ステップを備えるガス検知用画像処理方法。
  13. 撮像時間が第1所定期間である第1時系列画像を取得し、前記第1所定期間に含まれ、時系列に並ぶ複数の第2所定期間を設定し、前記第2所定期間に対応する前記第1時系列画像の一部分である第2時系列画像の代表画像の生成を、複数の前記第2所定期間のそれぞれに対応する複数の前記第2時系列画像に対して実行することにより、時系列代表画像を生成する第1生成ステップをコンピュータに実行させ、
    前記第1生成ステップは、ガス領域を含む前記第2時系列画像を用いて、前記代表画像を生成する場合、前記ガス領域を含む前記代表画像を生成し、
    さらに、前記時系列代表画像を構成する複数の前記代表画像を、時系列順に表示部に表示させる表示制御ステップをコンピュータに実行させるガス検知用画像処理プログラム。
JP2019543494A 2017-09-21 2018-08-24 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム Active JP7230813B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017181283 2017-09-21
JP2017181283 2017-09-21
PCT/JP2018/031286 WO2019058863A1 (ja) 2017-09-21 2018-08-24 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2019058863A1 true JPWO2019058863A1 (ja) 2020-09-10
JP7230813B2 JP7230813B2 (ja) 2023-03-01

Family

ID=65810193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543494A Active JP7230813B2 (ja) 2017-09-21 2018-08-24 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム

Country Status (3)

Country Link
US (1) US20200258267A1 (ja)
JP (1) JP7230813B2 (ja)
WO (1) WO2019058863A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450163B2 (ja) * 2018-09-18 2024-03-15 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP7241011B2 (ja) * 2019-12-27 2023-03-16 株式会社メタルワン 情報処理装置、情報処理方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175149A (ja) * 1998-12-09 2000-06-23 Matsushita Electric Ind Co Ltd 映像検出装置、及び要約映像生成装置
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US20130113939A1 (en) * 2011-11-07 2013-05-09 Flir Systems Ab Gas visualization arrangements, devices, and methods
JP2014072642A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置
WO2016143754A1 (ja) * 2015-03-09 2016-09-15 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定システム、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
WO2017122660A1 (ja) * 2016-01-15 2017-07-20 コニカミノルタ株式会社 ガス可視化装置、ガス可視化方法およびガス可視化プログラム
WO2017150565A1 (ja) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175149A (ja) * 1998-12-09 2000-06-23 Matsushita Electric Ind Co Ltd 映像検出装置、及び要約映像生成装置
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US20130113939A1 (en) * 2011-11-07 2013-05-09 Flir Systems Ab Gas visualization arrangements, devices, and methods
JP2014072642A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置
WO2016143754A1 (ja) * 2015-03-09 2016-09-15 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定システム、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
WO2017122660A1 (ja) * 2016-01-15 2017-07-20 コニカミノルタ株式会社 ガス可視化装置、ガス可視化方法およびガス可視化プログラム
WO2017150565A1 (ja) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム

Also Published As

Publication number Publication date
WO2019058863A1 (ja) 2019-03-28
US20200258267A1 (en) 2020-08-13
JP7230813B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
JP6245418B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
RU2702160C2 (ru) Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания
JP6024999B2 (ja) 撮像装置、録画装置および映像出力制御装置
JP6579290B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
WO2017213075A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP7230813B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP6579291B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
KR101917622B1 (ko) 배경모델링 기법을 이용한 영상 내 누수 감지 방법
JP6176619B2 (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
JP2007267332A (ja) 映像監視装置
JP7156291B2 (ja) ガス検査レポート作成支援装置、ガス検査レポート作成支援方法、及び、ガス検査レポート作成支援プログラム
JP2020008326A (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
JP2014022756A (ja) 画像処理プログラム、画像処理装置及び画像処理方法
JP6693609B1 (ja) ガス流量推定装置、ガス流量推定方法、及び、ガス流量推定プログラム
JP7036112B2 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP2017184288A (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
JP7056342B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
WO2020110411A1 (ja) ガス流量推定装置、ガス流量推定方法、及び、ガス流量推定プログラム
JP2011193159A (ja) 監視システム、画像処理装置、及び監視方法
JP6504325B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP2005339202A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JPWO2020110410A1 (ja) 漏洩源特定支援装置、漏洩源特定支援方法、及び、漏洩源特定支援プログラム
JP2014138398A (ja) 監視装置
KR20100027331A (ko) 관제 영상 모니터링 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7230813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150