JP7048590B2

JP7048590B2 - 構造物異常診断装置及び構造物異常診断プログラム

Info

Publication number: JP7048590B2
Application number: JP2019517511A
Authority: JP
Inventors: 隆史森本; 基広浅野; 斉一都築; 裕晶鈴木; 輝夫日置; 任晃堀田; 明史土岐
Original assignee: Chiyoda Corp; Konica Minolta Inc
Current assignee: Chiyoda Corp; Konica Minolta Inc
Priority date: 2017-05-10
Filing date: 2018-04-09
Publication date: 2022-04-05
Anticipated expiration: 2038-04-09
Also published as: WO2018207528A1; JPWO2018207528A1

Description

本発明は、構造物異常診断装置及び構造物異常診断プログラムに関するものであり、例えば、撮像画像上の構造物の振動から構造物の異常の有無を診断する構造物異常診断装置及び構造物異常診断プログラムに関するものである。

工業製品の製造設備，工場，建造物等においては、それらを構成する構造物の腐食・劣化，機械の老朽化等を検知して事故を未然に防ぐため、構造物の振動を観測し、その異常状態を検知する、ということが行われている。この異常状態の検知には振動センサーを用いるのが一般的である。振動センサーの方式としては、静電容量方式，圧電素子方式，レーザードップラー方式等が挙げられるが、いずれも観測したい地点に振動センサーを設置する必要がある。そのため、特に構造物の劣化をみる目的等で多数の観測地点を設ける場合には、振動センサーの設置コストや保守管理コストがかかってしまい、また、振動センサーと制御監視装置との間の回線接続の煩雑さもある。

振動情報から構造物が異常な状態にあるかどうかを判定する方法として、例えば特定周波数成分の振幅の変化をみる方法も知られている。例えば、特許文献１に記載の方法では、監視対象物を赤外線カメラで撮像し、温度の時間変化を示す時系列データをフーリエ変換して、特定周波数にて信号ピーク値が発生しているか否かを判定することにより、異常検出を行う構成になっている。

特開２０１５－２１９０９８号公報

しかしながら、特許文献１に記載されている方法では、信号異常が発生したときにどのような状態になるのかをあらかじめ把握しておく必要がある。そのため、これまでに経験の無い、あるいは予想のできない振動状態に対しては対応することができない。

本発明はこのような状況に鑑みてなされたものであって、その目的は、構造物に異常が起きたときの振動状態をあらかじめ把握することなしに、撮像画像の振動情報から構造物が異常な状態にあるかどうかを診断することの可能な構造物異常診断装置及び構造物異常診断プログラムを提供することにある。

上記目的を達成するために、本発明の構造物異常診断装置は、構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する振動情報抽出部と、
前記振動情報を複数時刻分取得して蓄積する情報蓄積部と、
前記情報蓄積部によって蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する異常状態診断部と、
前記撮像画像から撮像している空間内に存在するガスの分布情報を抽出するガス分布抽出部と、
を有し、
前記情報蓄積部が、前記ガス分布抽出部によって抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報をさらに蓄積することを特徴とする。
本発明の構造物異常診断プログラムは、構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する処理と、前記振動情報を複数時刻分取得して蓄積する処理と、蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する処理と、前記撮像画像から撮像している空間内に存在するガスの分布情報を抽出する処理と、抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報をさらに蓄積する処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、蓄積された振動情報を用いて構造物の異常状態診断を行い、その診断結果を出力する構成になっているため、構造物に異常が起きたときの振動状態をあらかじめ把握することなしに、撮像画像の振動情報から構造物が異常な状態にあるかどうかを診断することが可能である。したがって、これまでの経験では予想もできないような異常状態の検知が可能となる。

構造物異常診断装置の第１の実施の形態を示すブロック図。構造物異常診断装置の第２の実施の形態を示すブロック図。第１の実施の形態による第１の処理工程例を示すフローチャート。第１の実施の形態による第２の処理工程例を示すフローチャート。第２の実施の形態による第１の処理工程例を示すフローチャート。第２の実施の形態による第２の処理工程例を示すフローチャート。ガス漏れと背景の温度変化とが発生している屋外試験場を時系列で示す赤外線画像図。屋外試験場における２つの地点ＳＰ１，ＳＰ２の温度変化を示すグラフ。ガス領域抽出処理（図５，図６の＃１０）の一例を示すフローチャート。時間平均化処理（図９の＃１１，＃１４）が施されたデータを示すグラフ。平均化データと元データとで差分処理（図９の＃１２，＃１５）が施されたデータを示すグラフ。２種類の差分データに対して前後２１フレームで標準偏差処理（図９の＃１３，＃１６）が施されたデータを示すグラフ。２種類の標準偏差データの差分処理（図９の＃１７）が施されたデータを示すグラフ。２１フレーム平均との差分の標準偏差（図９の＃１３）を５０００倍した表示画像を示す標準偏差画像図。３フレーム平均との差分の標準偏差（図９の＃１６）を５０００倍した表示画像を示す標準偏差画像図。標準偏差の差分（図９の＃１７）を５０００倍した表示画像を示す標準偏差の差分画像図。構造物の一例を示す赤外線画像図。構造物のエッジ部と非エッジ部の温度変化を示すグラフ。構造物のエッジ部における温度変化の原理を説明するための模式図。構造物のエッジ部と非エッジ部について標準偏差データの差分処理（図９の＃１７）が施されたデータをグラフ等で示す図。振動検知領域の記録方法の具体例を示す模式図。

以下、本発明を実施した構造物異常診断装置等を、図面を参照しつつ説明する。なお、各実施の形態等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。

図１，図２に、第１，第２の実施の形態に係る構造物異常診断装置１０Ａ，１０Ｂの概略構成を示す。構造物異常診断装置１０Ａは、振動情報抽出部１，情報蓄積部２及び異常状態診断部３を機能ブロックとして有しており、構造物異常診断装置１０Ｂは、振動情報抽出部１，情報蓄積部２，異常状態診断部３及びガス分布抽出部４を機能ブロックとして有している。振動情報抽出部１は、構造物を撮像した撮像画像を入力とし、その撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する。情報蓄積部２は、振動情報を複数時刻分取得して蓄積する。異常状態診断部３は、情報蓄積部２によって蓄積された振動情報を用いて構造物の異常状態診断を行い、その診断結果を出力する。ガス分布抽出部４は、撮像画像から撮像している空間内に存在するガスの分布情報を抽出する。なお、図１，図２中の矢印は、機能ブロック間のデータの流れを示している。

構造物異常診断装置１０Ａに対する入力信号（撮像画像情報）は、図１に示すように、振動情報抽出部１に入力される。振動情報抽出部１の出力結果は、情報蓄積部２に入力されるとともに、異常状態診断部３にも入力される。情報蓄積部２からは必要に応じて異常状態診断部３にデータが入力される。異常状態診断部３からの出力信号（異常状態診断結果）は、構造物異常診断装置１０Ａからの出力として外部に出力される他、情報蓄積部２への入力にも用いられる。

構造物異常診断装置１０Ｂに対する入力信号（撮像画像情報）は、図２に示すように、ガス分布抽出部４と振動情報抽出部１に入力される。ガス分布抽出部４と振動情報抽出部１の出力結果は、共に情報蓄積部２に入力される。振動情報抽出部１の出力結果は異常状態診断部３にも入力され、情報蓄積部２からは必要に応じて異常状態診断部３にデータが入力される。異常状態診断部３からの出力信号（異常状態診断結果）は、構造物異常診断装置１０Ｂからの出力として外部に出力される他、情報蓄積部２への入力にも用いられる。つまり、情報蓄積部２には、ガス分布抽出部４によって抽出されたガスの空間分布情報と構造物異常状態診断結果とを対応づけた情報が蓄積される。

ガス分布抽出部４で抽出した結果を構造物異常診断装置１０Ｂの外部に出力することにより、ガス分布情報の有効活用が可能となる。例えば、図２に示すように、ガス漏れが発生した場合にガス漏れ報知やガス漏れ箇所表示等を行う出力装置として、ガス漏洩警報装置５を使用するのが好ましい。ガス漏洩警報装置５としては、例えば、中央監視室における制御端末装置，パーソナルコンピュータ（据え置き型，可搬型等），携帯端末（スマートフォン，タッチパッド等）が挙げられる。

構造物異常診断装置１０Ａ，１０Ｂは、パーソナルコンピュータ，携帯機器（スマートフォン，タブレット端末等）等のデジタル機器において、ＣＰＵ（Central Processing Unit），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＨＤＤ（Hard Disk Drive）等によって構成されており、撮像画像情報を入力とし、異常状態診断結果を出力とする。ＨＤＤに格納されている構造物異常診断用の処理プログラムをＣＰＵが読み出し、ＲＡＭに展開して実行することによって、上記機能ブロックが実現される。

ここで、ガス分布抽出部４によるガス分布情報抽出処理について説明する。まず図７に、構造物異常診断装置１０Ａ，１０Ｂへの入力画像の例として、ガス漏れと背景の温度変化とが発生している屋外試験場を時系列の赤外線画像で示す。これらは、赤外線カメラで動画撮影して得られた赤外線画像Ｇ１～Ｇ４であり、雲で陰ったために、全体的に温度が急激に下がった場合の実際の撮影データである。また、入力画像は絶対温度０Ｋ以上の物体が発生する黒体放射光をとらえた画像であり、画像の信号強度は被写体の温度を表している。画像の波長域は赤外領域となっていて、この画像では、ガスの光吸収に基づきガス分布も信号の強弱として記録されている。屋外試験場にはガスを噴出させることができる地点ＳＰ１が設定されており、その地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２も設定されている。

赤外線画像Ｇ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された屋外試験場の赤外線画像である。赤外線画像Ｇ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された屋外試験場の赤外線画像（ガスあり）である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。画像Ｇ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された屋外試験場の赤外線画像（ガスあり）である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。画像Ｇ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された屋外試験場の赤外線画像（ガスあり）である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。

図８（Ａ），（Ｂ）のグラフに、屋外試験場の２つの地点ＳＰ１，ＳＰ２での温度変化をそれぞれ示す。各グラフにおいて、縦軸は温度を示しており、横軸はフレーム数を示している。フレームレートは３０ｆｐｓである。よって、第４５フレームから第４９５フレームまでの時間は１５秒となる。

図８（Ａ）に示すように、時刻Ｔ１から時刻Ｔ２までの間の時刻に、地点ＳＰ１でガスの噴出を開始させている。そのため、例えば破線領域で示す範囲から分かるように、地点ＳＰ１の温度変化を示すグラフ（Ａ）と地点ＳＰ２の温度変化を示すグラフ（Ｂ）とは異なっている。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は背景の温度変化のみを示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１にはガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。

図８（Ｂ）に示すように、時刻Ｔ１から時刻Ｔ４までの１５秒間で背景の温度は約４℃下がっている。このため、図７に示すように、画像Ｇ４は画像Ｇ１と比べて全体的に暗く（つまり濃く）なっており、背景の温度が低下していることが分かる。しかし、地点ＳＰ１で噴出したガスによる温度変化はわずかであり、０．５℃もないことが分かる。このため、時刻Ｔ２，時刻Ｔ３，時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出したガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｇ２，画像Ｇ３，画像Ｇ４を見ても地点ＳＰ１からガスが出ている様子は分からない。

図８（Ａ），（Ｂ）に示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図７に示す赤外線画像からは、地点ＳＰ１でガスが噴出していることは分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。そこで、背景の温度変化を考慮して赤外線画像を画像処理することにより、ガスが漏れている様子を画像で示すことができるようにする。つまり、ガスの存在に伴うわずかな温度変化成分（周波数成分）を、以下に説明する手法で取り出す。

図９に、ガス領域抽出（図５及び図６の＃１０）の処理フローの一例を示す。背景温度変化に相当するデータ作成のための低周波抽出用時間平均化処理（図９の＃１１）として前後２１フレームでの平均化を行い、高周波抽出用時間平均化処理として前後３フレームでの平均化を行う（図９の＃１４）。図１０のグラフに、時間平均化処理（図９の＃１１，＃１４）が施されたデータを示す。図１０中、元データ（図８（Ａ））を一点鎖線で示し、前後３フレームで時間平均化処理（図９の＃１４）されたデータ（Ａｖｅ３）を実線で示し、前後２１フレームで時間平均化処理（図９の＃１１）されたデータ（Ａｖｅ２１）を破線で示す。

さらに、それぞれ元データとの差分を取ると（図９の＃１２，＃１５）、図１１（Ａ），（Ｂ）のグラフに示すような波形データが得られる。図１１（Ａ）のグラフは、前後２１フレームで低周波抽出用時間平均化処理（図９の＃１１）されたデータ（Ａｖｅ２１）と元データ（図８（Ａ））とで差分処理（図９の＃１２）が施されたデータ（元－Ａｖｅ２１）を示しており、図１１（Ｂ）のグラフは、前後３フレームで高周波抽出用時間平均化処理（図９の＃１４）されたデータ（Ａｖｅ３）と元データ（図８（Ａ））とで差分処理（図９の＃１５）が施されたデータ（元－Ａｖｅ３）を示している。

図１１（Ａ）から分かるように、９０フレーム目を超えたあたりからガスが出ている。しかし、図１１（Ｂ）の波形データは非常に高周波の成分のみを取りだした波形であるため、ガスのゆらゆらする揺らぎ成分に相当する周波数の情報は含まれておらず、ガス噴出前後であまり変化なく見えることが分かる。すなわち、高周波抽出用時間平均化処理データと元データとの差分では、センサーノイズ等の高周波だけが抽出され、ガスは抽出されない。言い換えると、図１１（Ａ）の波形データはガスとセンサーノイズ等の高周波ノイズ成分の加算された波形であり、図１１（Ｂ）の波形データはセンサーノイズ等の高周波ノイズのみの波形である。しかし、両波形のノイズ成分同士は完全な相関があるわけではないので、図１１（Ａ），（Ｂ）の波形のまま差分を取っても、ノイズ成分を除去することはできない（ノイズの波形レベルでの減算は、加算するのと実質同じように働き、ノイズ波形は残る。）。

そこで、図１１（Ａ），（Ｂ）に示す２種類の波形（元－Ａｖｅ２１，元－Ａｖｅ３）に対して、前後２１フレームで標準偏差を算出する（図９の＃１３，＃１６）。図１２において実線は元－Ａｖｅ２１の標準偏差ｓｔｄｅｖ２１を、破線は元－Ａｖｅ３の標準偏差ｓｔｄｅｖ３をそれぞれ示している。さらに、標準偏差ｓｔｄｅｖ２１と標準偏差ｓｔｄｅｖ３との差分値Ｓｔｄｅｖ２１－３を算出する（図９の＃１７）。図１３が標準偏差の差分値Ｓｔｄｅｖ２１－３を示している。図１３から、ガスの出ていない９０フレーム目までは、ほぼ０に近い値に補正できていることが分かる。つまり、標準偏差を取ることにより途中で絶対値を取るような効果をもつ処理を挟み、それによって実際に高周波ノイズ成分を減算できるようにしている。この処理を画像全体に対して行った例を、図１４～図１６に示す。

図１４は２１フレーム平均Ａｖｅ２１と元データとの差分の標準偏差ｓｔｄｅｖ２１（図９の＃１３）を５０００倍した表示画像を示す標準偏差画像図であり、図１５は３フレーム平均Ａｖｅ３と元データとの差分の標準偏差ｓｔｄｅｖ３（図９の＃１６）を５０００倍した表示画像を示す標準偏差画像図である。図１６は標準偏差の差分Ｓｔｄｅｖ２１－３（図９の＃１７）を５０００倍した表示画像を示す標準偏差の差分画像図である。図１６に示す画像に画像処理で漏洩源特定処理を施すことによって、漏洩ガスＰＧの漏洩箇所を得ることができる。

次に、振動情報抽出部１による振動情報抽出処理を説明する。図１７に、構造物ＳＴの一例を撮影した赤外線画像で示す。図１７（Ｂ）は、図１７（Ａ）に示す撮像画面Ｉｏ内に存在する部分領域ＰＳを拡大したものである。図１７（Ｂ）においてＥ１はエッジを含んだ領域であるエッジ部を示し、Ｅ０はエッジを含まない領域である非エッジ部を示している。

図１８はエッジ部及び非エッジ部の温度変化を示している。具体的には、図１８において太線は非エッジ部Ｅ０内の一画素の温度変化を示し、細線はエッジ部Ｅ１内のエッジに対応する一画素の温度変化を示している。図１８のグラフから分かるように、非エッジ部では温度変化が小さい状況でも、エッジでは大きな温度変化が発生する。この温度変化が発生する原理を、図１９を用いて説明する。図１９はフレームＦ１とその１／３０秒後のフレームＦ２でのエッジ部Ｅ１の上下近傍３画素の温度値を示している。フレームＦ１とフレームＦ２とでは、各画素に対応する構造物上の位置が、構造物の振動により下方に０．１画素ずれている。このため、フレームＦ１では中央の画素と最下の画素とで温度差が２℃あったのが、１／３０秒後のフレームＦ２では、フレームＦ１における中央の画素と最下の画素との温度差２℃のうちの０．１画素分に相当する０．２℃分変化し、見かけ上温度変化があるように見える。したがって、前記ガス検知と同じ処理を行うと、図２０に示すように、標準偏差の差分値はエッジに対応する画素では大きな値を示すことになる。一方、上述のように非エッジ部では構造物の振動により生じる温度変化は小さいので、エッジ部で大きな温度変化が検出され、その近傍の非エッジ部で温度変化が検出されなければ、構造物が振動していると分かる。このように、振動情報は、撮像画像に写りこんでいる構造物ＳＴのエッジに対応する画素の値の変化として取得することができる。

図２０（Ａ）は、図１３のグラフに対応しており、構造物ＳＴのエッジ部Ｅ１の画素と非エッジ部Ｅ０の画素について標準偏差データの差分処理（図９の＃１７）が施されたデータＳｔｄｅｖ２１－３を示している。図２０（Ｂ）はエッジ部Ｅ１及び非エッジ部Ｅ０を含む領域ＰＳの拡大図であり、図２０（Ｃ）は領域ＰＳ内の全画素の標準偏差の差分値Ｓｔｄｅｖ２１－３の８．３３秒間の平均値を示す画像であり、図２０（Ｄ）は図２０（Ｃ）の画像を２値化した画像である。

振動量を示す評価値として、例えば標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値を用いるものとする。この平均値を画像化した例を示しているのが図２０（Ｃ）である。さらに、図２０（Ｄ）に示すように、その値を適当な閾値で２値化し、閾値を超えた画素数をカウントし、振動量の評価値としてもよい。振動が大きいほど、影響の出る画素数も増加する。したがって、振動情報を、撮像画像に写りこんでいる構造物の画素値（温度）変化を示す画素数として取得するようにしてもよい。また、この標準偏差の差分値の代わりに、高周波成分を減算する処理前の「前後２１フレームで平均化との差の標準偏差」（図１２の大きい値）を用いるようにしても構わない。

次に、本発明に係る構造物異常診断装置による異常診断処理の例を説明する。図３のフローチャートに、構造物異常診断装置１０Ａ（図１）による第１の処理工程例を示す。構造物異常診断装置１０Ａへの入力画像は、振動情報抽出部１に入力される。振動情報抽出部１では、入力画像を微分処理することにより入力画像に存在するエッジを抽出する（＃３０）。抽出したエッジごとに振動情報を数値化し（＃３２）、エッジの場所と数値化した振動情報を情報蓄積部２に蓄積記録する（＃３４）。この場合、記録する振動情報としては、標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値が好ましい。そして、抽出したエッジごとに振動情報と蓄積情報中の同じ場所の振動情報とを比較し、相違があれば異常振動ありと判定して異常検知処理を行う（＃３６）。異常振動ありと判定された場所の振動情報を記録し（＃３８）、異常診断結果を出力する（＃４０）。なお、振動情報の数値化や記録は、入力画像の全画素について行ってもよい。

図４のフローチャートに、構造物異常診断装置１０Ａ（図１）による第２の処理工程例を示す。この第２処理工程例では、撮影画像をオペレーターがモニター画面で確認して、振動を監視する領域を指定する。構造物異常診断装置１０Ａへの入力画像は、振動情報抽出部１に入力される。振動情報抽出部１では、指定された領域ごとに振動情報を数値化し（＃４２）、領域の場所と数値化した振動情報を情報蓄積部２に蓄積記録する（＃４４）。この場合、記録する振動情報としては、領域内の各画素の標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値でもよいが、標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値が所定の閾値を越えた、当該領域内の画素の数でもよい。そして、指定した領域ごとに振動情報と蓄積情報中の同じ領域の振動情報とを比較し、相違があれば異常振動ありと判定して異常検知処理を行う（＃４６）。異常振動ありと判定された領域を記録し（＃４８）、異常診断結果を出力する（＃５０）。

図５のフローチャートに、構造物異常診断装置１０Ｂ（図２）による第１の処理工程例を示す。構造物異常診断装置１０Ｂへの入力画像は、ガス分布抽出部４と振動情報抽出部１に入力される。ガス分布抽出部４では、ガス分布情報が抽出される（＃１０）。ガスの存在が確認されれば、画像処理を用いてガスの漏洩源特定処理が行われ、算出されたガス漏洩箇所が記録される（＃２０）。また、抽出した結果は外部に出力されることで有効活用される（＃１９）。例えば、出力先をガス漏洩警報装置５とすれば、ガス分布情報に基づいて警報が発報される。

一方、振動情報抽出部１では、図３のステップ＃３０～＃３６と同じ処理により、異常検知処理を行う。そして、ガス漏洩箇所と、異常振動ありと判定された領域の振動情報と、を対応づけて記録し（＃５２）、異常診断結果を出力する（＃５４）。

図６のフローチャートに、構造物異常診断装置１０Ｂ（図２）による第２の処理工程例を示す。構造物異常診断装置１０Ｂへの入力画像は、ガス分布抽出部４と振動情報抽出部１に入力される。ガス分布抽出部４では、図５のステップ＃１０～＃２０と同じ処理が行われ、ガス漏洩箇所が記録される。

一方、振動情報抽出部１では、図４のステップ＃４２～＃４６と同じ処理により、異常検知処理を行う。そして、ガス漏洩箇所と、異常振動ありと判定された領域と、を対応づけて記録し（＃５６）、異常診断結果を出力する（＃５８）。

振動情報の記録方法としては（図３の＃３４等）、画素ごとに振動量を記録する、という方法もあるが、画面内の一部の領域のみで振動が検出された場合には、領域の場所と当該領域としての振動情報とを記録する方が、のちに異常振動解析を行う場合に有用である。図２１に振動が検知された領域（以下、振動検知領域ＳＡと記す）の記録方法の具体例を示す。図２１（Ａ）は撮影画像の部分領域ＰＳ内の振動検知領域ＳＡを表しており、この振動検知領域ＳＡを記録する方法を、図２１（Ｂ）～（Ｄ）が示している。

図２１（Ｂ）に示す記録方法では、振動が検出された振動検知領域ＳＡを取り囲む複数の点の座標の組からなる座標点ＳＢとして、振動検知領域ＳＡを記録する。図２１（Ｃ）に示す記録方法では、振動が検出された振動検知領域ＳＡの重心を中心とし、かつ、振動検知領域ＳＡに外接する外接円ＳＣとして、振動検知領域ＳＡを記録する。図２１（Ｄ）に示す記録方法では、振動が検出された振動検知領域ＳＡに外接する外接長方形ＳＤの座標及び傾き（角度θ）として、振動検知領域ＳＡを記録する。振動検知領域ＳＡの振動情報としては、振動検知領域ＳＡ内の各画素の標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値を振動検知領域ＳＡの全域で平均した値や、標準偏差の差分値Ｓｔｄｅｖ２１－３の所定時間の平均値が閾値を越えた、振動検知領域ＳＡ内の画素の数が好ましい。

振動情報と蓄積情報とを比較する際には同じ領域の情報同士を比較するが（図３～図６の＃６０）、その際、蓄積されている同じ領域のデータを全部抽出して比較対象とする場合と、ほぼ同じ時刻のデータだけを抽出して比較対象とする場合と、がある。前者は振動の仕方に時刻依存性が無いことが予想される場合に有効である。後者は、振動の仕方に時刻依存性がある場合（例えば、定期的な機械振動が他の場所から加えられる等）で、その影響を排除したい場合や、逆に定期的な機械振動が加えられた状態での振動の異常を検知したい場合等に有効である。

異常検知処理の出力例としては、
・異常検知したことを示すデータを蓄積情報に追加して記録すること、
・異常検知したことを監視装置に表示すること、
・異常検知したことを監視装置に表示し、警報を出すこと、
等が挙げられる。なお、以上の説明では振動情報が振動の振幅に関する情報である場合を説明したが、振動の周波数を振動情報として用いてもよい。

以上の説明から分かるように、上述した各実施の形態には以下の特徴的な構成（Ｃ１）～（Ｃ７）等が含まれている。

（Ｃ１）：構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する振動情報抽出部と、
前記振動情報を複数時刻分取得して蓄積する情報蓄積部と、
前記情報蓄積部によって蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する異常状態診断部と、
を有することを特徴とする構造物異常診断装置。

（Ｃ２）：上記構成（Ｃ１）において、前記撮像画像から撮像している空間内に存在するガスの分布情報を抽出するガス分布抽出部をさらに有し、前記情報蓄積部が、前記ガス分布抽出部によって抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報をさらに蓄積する構成。

（Ｃ３）：構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出し、前記振動情報を複数時刻分取得して蓄積し、蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力することを特徴とする構造物異常検知方法。

（Ｃ４）：構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する処理と、前記振動情報を複数時刻分取得して蓄積する処理と、蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する処理と、をコンピュータに実行させることを特徴とする構造物異常診断プログラム。

（Ｃ５）：上記構成（Ｃ１）～（Ｃ４）における前記振動情報を、前記撮像画像に写りこんでいる構造物のエッジ部の画素値の変化として取得する構成。

（Ｃ６）：上記構成（Ｃ１）～（Ｃ４）における前記振動情報を、前記撮像画像に写りこんでいる構造物の画素値の変化を示す画素数として取得する構成。

（Ｃ７）：上記構成（Ｃ１）～（Ｃ６）において、前記情報蓄積部によって蓄積された振動情報の中から、同じ時刻の振動情報を抽出し、抽出された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する構成。

上述した各実施の形態から分かるように、構造物異常診断装置の実施の形態によれば、蓄積しておいた情報と抽出した振動情報とを用いて構造物ＳＴの異常状態診断を行い、その診断結果を出力する構成になっているため、構造物ＳＴに異常が起きたときの振動状態をあらかじめ把握することなしに、撮像画像の振動情報から構造物ＳＴが異常な状態にあるかどうかを診断することが可能である。したがって、これまでの経験では予想もできないような異常状態の検知が可能となる。これは上記構造物異常検知方法や構造物異常診断プログラムを用いた場合でも同様である。

そして、漏洩ガスＰＧの空間分布が信号の強弱として写りこんだ撮像画像を用いて、漏洩ガスＰＧの空間分布と構造物ＳＴの振動情報を抽出することにより、ガス漏洩検出と異常振動検出を同時に行うことが可能となり、また、振動センサーを多数設ける必要がなくなるため、設置コスト，保守管理コスト等を削減でき、回線接続の煩雑さが解消される。さらに、ガス漏洩検出結果と振動異常状態の検知結果とを対応づけて記録することにより、予知保全のデータとしての活用が可能となる。

１振動情報抽出部
２情報蓄積部
３異常状態診断部
４ガス分布抽出部
５ガス漏洩警報装置
１０Ａ，１０Ｂ構造物異常診断装置
Ｇ１～Ｇ４赤外線画像（撮像画像）
Ｉｏ撮像画面
ＰＧ漏洩ガス
ＳＡ振動検知領域
ＳＢ座標点
ＳＣ外接円
ＳＤ外接長方形
Ｅ０非エッジ部
Ｅ１エッジ部
ＳＴ構造物

Claims

構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する振動情報抽出部と、
前記振動情報を複数時刻分取得して蓄積する情報蓄積部と、
前記情報蓄積部によって蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する異常状態診断部と、
前記構造物から漏洩して撮像している空間内に存在するガスの分布情報を前記撮像画像から抽出するガス分布抽出部と、
を有し、
前記情報蓄積部が、前記ガス分布抽出部によって抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報をさらに蓄積する構造物異常診断装置。
前記ガス分布抽出部によって抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報が、予知保全のデータとして蓄積される請求項１記載の構造物異常診断装置。
前記振動情報抽出部の処理において、ガスの分布情報を抽出するための画像処理と同じ画像処理を行う請求項１又は２記載の構造物異常診断装置。
前記振動情報を、前記撮像画像に写りこんでいる構造物のエッジ部の画素値の変化として取得する請求項１～３のいずれか１項に記載の構造物異常診断装置。
前記振動情報を、前記撮像画像に写りこんでいる構造物の画素値の変化を示す画素数として取得する請求項１～３のいずれか１項に記載の構造物異常診断装置。
前記構造物の振動の仕方に時刻依存性がある場合、前記情報蓄積部によって蓄積された振動情報の中から、同じ時刻の振動情報を抽出し、抽出された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する請求項１～５のいずれか１項に記載の構造物異常診断装置。
構造物を撮像した撮像画像から画像内に写りこんでいる構造物の振動情報を抽出する処理と、前記振動情報を複数時刻分取得して蓄積する処理と、蓄積された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する処理と、前記構造物から漏洩して撮像している空間内に存在するガスの分布情報を前記撮像画像から抽出する処理と、抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報をさらに蓄積する処理と、をコンピュータに実行させる構造物異常診断プログラム。
前記抽出されたガスの空間分布情報と前記構造物異常状態診断結果とを対応づけた情報が、予知保全のデータとして蓄積される請求項７記載の構造物異常診断プログラム。
前記振動情報を抽出する処理において、ガスの分布情報を抽出するための画像処理と同じ画像処理を行う請求項７又は８記載の構造物異常診断プログラム。
前記構造物の振動の仕方に時刻依存性がある場合、前記蓄積された振動情報の中から、同じ時刻の振動情報を抽出し、抽出された振動情報を用いて前記構造物の異常状態診断を行い、その診断結果を出力する請求項７～９のいずれか１項に記載の構造物異常診断プログラム。