JP2024042126A - 振動検知システム、振動検知方法、および振動検知プログラム - Google Patents

Abstract

【課題】構造物または対象物の振動検知を簡易に行い得るようにする。【解決手段】構造物または構造物に取り付けられた対象物の振動を検知する振動検知システムは、撮像装置によって撮影された構造物または対象物の画像を取得する取得部と、空間フィルタ処理によって画像から各画素の時系列を生成する空間フィルタ処理部と、構造物または対象物を特徴付けるパラメータを用いた時間フィルタ処理によって各画素の時系列のうちの特定振動数の画素の変化量を拡大する時間フィルタ処理部と、特定振動数の画素の変化量が拡大された各画素の時系列を基に再構成した拡大画像をフレーム分割したサンプリングフレームから構造物または対象物の振動を定量化する指標を算出し、指標の時系列から構造物または対象物の振動を検知する振動検知部とを有する。【選択図】図２

Description

本発明は、振動検知システム、振動検知方法、および振動検知プログラムに関する。

橋梁等の構造物にはボルト等の対象物が取り付けられている。より具体的には、構造物の部材を連結するために、ボルト等の締結部材が多くの場所で用いられている。例えばボルトは、その軸部に作用する軸力によりボルトに挟まれた添接板間に働く摩擦力を以って、部材を強固に連結する。

ここで、ボルトの軸力が経年変化により減少し、ボルトの締結が緩むと、構造物の信頼性や安全性の低下につながる。このため、従来は点検者が実地にてボルトの締結の緩みを点検していた。

また、ＥＶＭ（Eulerian Video Magnification）は、経時的なビデオ（画素など）の空間的な位置の微妙な変化を増幅する技術である。ＥＶＭに関するさらなる詳細は、Ｗｕ等による「世界の若干の微妙な変化を明らかにするオイラービデオ倍率」と題されたマサチューセッツ工科学研究所が発表した記事で提供されている。ＥＶＭを血流や呼吸の検出や、血管のサイズなどにおける僅かな変化の可視化に適用する技術がある。

H. Wu, M. Rubinstein, E. Shih, F. Durand, W. Freeman, "Eulerian Video Magnification for Revealing Subtle Changes in the World.," ACM Transactions on Graphics, July 2012, Vol. 31, No. 4, Article No.: 65. A. Long, C.W. Kim, and Y. Kondo, "Detecting Loosening Bolts of Highway Bridges by Image Processing Techniques.," 16th East Asia-Pacific Conference on Structural Engineering & Construction (EASEC16), Brisbane, Australia, December 3-6, 2019.

特表２０２０－５２２２９２号公報 特表２０１６－５３３７８６号公報

しかしながら、構造物において、全てのボルトが緩んでいるとは限らない。特に橋梁などの大型構造物において、全てのボルトの緩みの有無を、個別に調査することは、構造物に足場を組むなど、大変な労力と費用を要することから、非現実的である。そこで、詳細な調査の対象とするボルトを事前にスクリーニングする技術が望まれていた。

本発明は上記の点を考慮してなされたものであって、構造物または対象物の振動検知を簡易に行い得るようにすることを目的とする。

上記課題を解決するために、本発明では、例えば、構造物または構造物に取り付けられた対象物の振動を検知する振動検知システムは、撮像装置によって撮影された前記構造物または前記対象物の画像を取得する取得部と、空間フィルタ処理によって前記画像から各画素の時系列を生成する空間フィルタ処理部と、前記構造物または前記対象物を特徴付けるパラメータを用いた時間フィルタ処理によって前記各画素の時系列のうちの特定振動数の画素の変化量を拡大する時間フィルタ処理部と、前記特定振動数の画素の変化量が拡大された前記各画素の時系列を基に再構成した拡大画像をフレーム分割したサンプリングフレームから前記構造物または前記対象物の振動を定量化する指標を算出し、前記指標の時系列から前記構造物または前記対象物の振動を検知する振動検知部とを有することを特徴とする。

本発明によれば、例えば、構造物または対象物の振動検知を簡易に行うことができる。

実施形態の振動検知システムを含む全体システムの概略を示す図。 実施形態の振動検知システムの構成を示すブロック図。 実施形態の空間フィルタ処理部における画像分解処理を説明するための図。 実施形態の空間フィルタ処理部における画像分解処理を説明するための図。 実施形態のボルトの振動の定量化を説明するための図。 実施形態のボルトの振動の定量化を説明するための図。 実施形態のボルトの振動の定量化を説明するための図。 実施形態の振動検知処理を示すフローチャート。 実施形態のハンマーテストによる実験結果を説明するための図。 実施形態のハンマーテストによる実験結果を説明するための図。 実施形態のハンマーテストによる実験結果を説明するための図。 実施形態のハンマーテストによる実験結果を説明するための図。 実施形態のハンマーテストによる実験結果を説明するための図。 実施形態の模型橋梁での模型車両の走行実験の実験条件を説明するための図。 実施形態の模型橋梁での模型車両の走行実験の実験条件を説明するための図。 実施形態の模型橋梁での模型車両の走行実験の実験条件を説明するための図。 実施形態の模型橋梁での模型車両の走行実験の実験条件を説明するための図。 実施形態の模型橋梁での模型車両の走行実験による実験結果を説明するための図。 実施形態の模型橋梁での模型車両の走行実験による実験結果を説明するための図。 実施形態の模型橋梁での模型車両の走行実験による実験結果を説明するための図。 実施形態の適用例において振動検知対象である送電鉄塔と、送電鉄塔に設定する複数の振動検知点の例を示す図。 実施形態の適用例における送電鉄塔の固有振動数の例を示す図。 実施形態の適用例において複数の振動検知点の各振動モードの拡大画像から検知される振動による変位の例を示す図。

以下、図面を参照しつつ本発明の実施形態を説明する。以下の実施形態は、本発明を必要十分に説明するための例示であって、適宜省略および簡略化がなされている。以下の実施形態で説明する構成および処理のうち、全てが本発明の実施において必須ではなく、適宜省略可能である。本発明は、以下の実施形態の他、本発明の目的を達成できる様々な他の形態で実施することができる。また、本発明の技術思想の範囲内で整合する限りにおいて、各実施形態および変形例の一部または全部を組合せた形態も、本発明の実施形態に含まれる。

以下の実施形態では、既出の構成および処理と同様の後出の構成および処理には、同一の符号を付与して説明を省略あるいは差分のみを説明する場合がある。添え字のみが異なり添え字を除く本体部分が同一である符号は、同一または類似の構成もしくは処理を添え字で区別し、添え字を除く本体部分のみの符号で同一または類似の構成および処理を総称する場合がある。

以下の実施形態では、振動検知の対象物として、橋梁の部材締結に用いられるボルトを例として説明する。しかし本発明は、橋梁のボルトに限らず、トンネル、道路構造物、河川構造物、港湾構造物、プラント、上下水道、ビル、鉄塔、ケーブル（電線、吊り橋、索道など）、柱（照明柱、標識柱、信号柱など）、留め具（トンネル照明やジェットファンの留め金具など）といった構造物または対象物を振動検知の対象とし、その微小な振動を検知し、異常の有無を診断することができる。また振動する構造物または対象物の目に見えない異常を評価できることから、原子炉や焼却炉といった、人が近付いて点検することができない、あるいは接触式のセンサなどが設置できない構造物または対象物の振動を検知し、評価することができる。

（全体システムＳの構成）
図１は、実施形態の振動検知システム１を含む全体システムＳの概略を示す図である。全体システムＳは、橋梁３を含む系であり、振動検知システム１と、カメラ２とを有する。

カメラ２は、橋梁３に取り付けられているボルトを、例えば数ｍ離れた位置から、ボルトの頭部側から撮影する。あるいはボルトのナット側から撮影してもよい。カメラ２の画角に一度に収まるボルトを同時に振動検出対象とできる。振動検出対象のボルトに対してカメラ２を常時設置するとしてもよいし、都度、振動検出対象のボルトに対してカメラ２を設置するとしてもよい。

またカメラ２は、例えば４Ｋカメラやハイスピードカメラなどの動画像カメラとするが、これに限らず、本実施形態で十分な解像度およびフレームレートの動画像を取得可能な有するカメラあるいはセンサでもよい。またカメラ２は、動画像を撮影するカメラに限らず、静止画像を一定間隔で連続して撮影できるカメラあるいはセンサでもよい。

図１の例では、橋梁３に取り付けられているボルトのうち４つのボルト４２ａ，４２ｂ，４２ｃ，４２ｄがカメラ２の画角に同時に収まる全てのボルトである。以下、振動検出対象のボルトをボルト４２と総称する。図１に示す添接板（補強板）４０は、橋梁３におけるボルト４２の周辺部材である。図１では、カメラ２の撮影方向を固定した場合に、カメラ２の画角に同時に収まるボルト４２が４つである場合を示している。

全体システムＳでは、橋梁３の振動検出対象のボルト４２近傍に設置されたカメラ２によって取得された動画像が、有線もしくは無線の伝送媒体または記録媒体を介して、カメラ２から振動検知システム１へ受け渡される。振動検知システム１は、構造物または構造物に取り付けられた対象物の振動を検知する。一例をあげると、構造物は橋梁３であり、対象物はボルト４２である。振動検知システム１は、カメラ２から取得した動画像に基づいてボルト４２の振動を検知し、ボルト４２の緩みを評価する。なお、カメラ２は、車両が常時走行可能な橋梁の場合には、常時動画像を取得してもよいし、通行量が少なくなる時間帯において所定期間動画像を取得するようにしてもよい。或いは、カメラ２は、車両の走行が制限されている橋梁において、検査用に車両を走行させる前後の所定期間について動画像を取得してもよいし、橋梁が鉄道用である場合には、運行ダイヤを参照して鉄道車輛がこの橋梁を通過する前後の所定期間について動画像を取得してもよい。

なお本実施形態では、図１に示すように、１つのカメラ２から取得された動画像を振動検知システム１が処理する構成を例として説明している。本実施形態で振動検知システム１が行うとして以下に説明する処理は、一部または全部がカメラ２側で処理されてもよい。または複数のカメラ２が分散協調処理を行うことで振動検知システム１と同等の機能を実現する分散協調システムの構成であってもよい。

（振動検知システム１の構成）
図２は、実施形態の振動検知システム１の構成を示すブロック図である。振動検知システム１は、カメラ２から取得したボルト４２の動画像から、ボルト４２の振動を検知し評価する処理を行う。振動検知システム１は、プロセッサ１１と、メモリ１２と、ストレージ１３と、Ｉ／Ｆ（Inter/Face）部１４と、出力部１５と、を有する。プロセッサ１１は、メモリ１２と協働してプログラムを実行することで、画像取得部１１１と、空間フィルタ処理部１１２と、時間フィルタ処理部１１３と、振動検知部１１４と、の各機能部を実現する。

プロセッサ１１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの処理装置である。メモリ１２は主記憶装置である。ストレージ１３は補助記憶装置である。Ｉ／Ｆ部１４は、振動検知システム１がカメラ２と伝送媒体または記録媒体を介して動画像を受け取るためのインターフェースである。出力部１５は、モニタやディスプレイなどであり、各種情報を出力する。

画像取得部１１１は、Ｉ／Ｆ部１４を介して、カメラ２から構造物または構造物に取り付けられた対象物の動画像を取得し、ストレージ１３へ格納する。例えば、画像取得部１１１は、動画像として橋梁３に取り付けられたボルト４２の動画像を取得する。

空間フィルタ処理部１１２は、空間フィルタ（Spatial Filter）処理によって、カメラ２から受け取ったボルト４２の動画像の各フレームをピクセル（画素）へ分解し、各フレームに亘る各ピクセルの動きを時系列化する。

図３Ａおよび図３Ｂは、実施形態の空間フィルタ処理部１１２における画像分解処理を説明するための図である。図３Ａでは、ｕ軸およびｖ軸で動画像内のピクセルの座標ｘ＝（ｕ，ｖ）を表し、ｔ軸でフレーム経過の時刻を表す。図３Ａでは、説明の簡単のため、時刻ｔ＝０のフレームに対してグリッド線を重畳し、１つのグリッドが１つのピクセルに該当するとしている。図３Ａから、時刻ｔ＝０における座標（ｕ，ｖ）のピクセルＩ（ｕ，ｖ）に該当する各時刻ｔのピクセルＩ（ｕ，ｖ，ｔ）を抜き出すと、図３Ｂに示すように、ピクセルＩ（ｕ，ｖ，ｔ）は、ピクセルＩ（ｕ，ｖ）の時間経過に伴う動きを含んだ時系列を構成する。

時間フィルタ処理部１１３は、時間フィルタ（Temporal Filter）処理によって、空間フィルタ処理部１１２が時系列化したピクセルに対して、抽出したい振動の振動数のバンドパスフィルタを適用し、この振動数の振動による各ピクセルの変化量を拡大する。抽出したい振動の振動数は、例えば６０～６５Ｈｚや９０～１００Ｈｚといった、緩みによるボルトの振動と考えられる振動数であり、以下、特定振動数という。

本実施形態では、下記文献１に開示のPhase-based Video Motion Processingを用いて、特定振動数の振動を拡大する。
文献１：Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman, “Phase-based Video Motion Processing,” ACM Transactions on Graphics, July 2013, Vol. 32, No. 4, Article No.: 80

以下、Phase-based Video Motion Processingを用いた空間フィルタ処理部１１２および時間フィルタ処理部１１３の処理を説明する。

空間フィルタ処理部１１２は、空間フィルタ処理によって、カメラ２から取得したボルト４２の動画像を分解したピクセルｘの単位で各フレームに亘るピクセルの時系列Ｉ（ｘ，ｔ）を構成する。ピクセルｘはフレーム経過に応じて変位することから、ピクセルｘの変位（変化量）は時間の関数δ（ｔ）で表される。よって時系列Ｉ（ｘ，ｔ）＝ｆ（ｘ＋δ（ｔ））は、式（１）のように、各振動数ωに対応する複素正弦曲線の和で表される。

なお各振動数ωの複素正弦曲線Ｓω（ｘ，ｔ）は、式（２）のように表される。

時間フィルタ処理部１１３は、時間フィルタ処理によって、空間フィルタ処理部１１２が時系列Ｉ（ｘ，ｔ）＝ｆ（ｘ＋δ（ｔ））に対してバンドパスフィルタを適用し、特定振動数の振動を拡大する。そこで特定振動数のピクセルｘの変位δ（ｔ）を強調するバンドパスフィルタを、式（３）のように構成する。式（３）においてαは強調係数である。

Ｓ_ω（ｘ，ｔ）に式（２）のバンドパスフィルタを作用させると、式（４）に示すＳ＾_ω（ｘ，ｔ）のように、特定振動数の複素正弦曲線Ｓ＾ω（ｘ，ｔ）の変動δ（ｔ）が強調されることが分かる。

なお特定振動数は、ボルト４２の動きを特徴付ける物理パラメータと相関がある。よってこの物理パラメータを用いて、特定振動数を算出してもよい。

振動数ω＝（－∞，∞）の範囲で、変位を強調したい特定振動数の複素正弦曲線Ｓ＾ω（ｘ，ｔ）と、特定振動数ω以外の振動数の複素正弦曲線Ｓω（ｘ，ｔ）の和を算出する。このようにして、時系列Ｉ（ｘ，ｔ）は、変動δ（ｔ）が強調された特定振動数と、変動δ（ｔ）が強調されていない振動数と、を含む全ての振動数ωに対応する複素正弦曲線の和で表される。

または空間フィルタ処理部１１２および時間フィルタ処理部１１３は、上記Phase-based Video Motion Processingに代えて、非特許文献１に開示のEulerian Video Magnificationを用いて、特定振動数の振動を拡大してもよい。しかし、ノイズを低減しつつ目的の振動数の振動を明瞭に拡大できるという点で、Phase-based Video Motion Processingの方が有利である。

振動検知部１１４は、時間フィルタ処理部１１３によって特定振動数の振動が強調された全てのピクセルを再結合して元の動画像を構成する。振動検知部１１４は、再構成した動画像を所定のサンプリングレートのサンプリングによって再度フレーム分割する。振動検知部１１４は、再度フレーム分割した各フレームについて、画素の強調、補間、および平滑化を行う。振動検知部１１４は、画素の強調、補間、および平滑化を行った各フレームにおいてボルト４２の振動を定量化し、ボルト４２の緩みを評価する。

図４Ａ、図４Ｂ、図４Ｃは、実施形態のボルトの振動の定量化を説明するための図である。例えば図４Ａに示すように、振動検知部１１４は、振動検出対象のボルト４２毎に、ボルトの所定近傍の橋梁３のある部分（例えば添接板４０の外周部分のあるピクセル）を基準点ｐ０に設定し、ボルト４２のある部分（例えばボルト４２の頭部のあるピクセル）を観測点ｐ１に設定する。振動検知部１１４は、基準点ｐ０に対する観測点ｐ１の相対距離の変化である相対ピクセル振幅を各ボルト４２の振動を表す指標として定義することで、ボルト４２の振動を定量化する。相対ピクセル振幅として、基準点ｐ０に対する観測点ｐ１のｖ軸方向の相対距離の変化としてもよい。

鋼鈑のような固定された部材に取り付けられたボルトが緩んだ際のボルトの振動は、固定された部材と比較して相対的に大きい。よって、基準点ｐ０、観測点ｐ１、および相対ピクセル振幅を設定すると、図４Ｂおよび図４Ｃから分かるように、図面に向かって最も右側のボルトの相対ピクセル振幅が他のボルトと比較して大きくなっており（破線丸囲み部分）、ボルト４２を振動させる外力の大きさに依存せずボルト４２の振動を検知できる。またボルト４２の緩みと振動の間に相関があることから、検知した相対ピクセル振幅の大きさに基づいてボルト緩みの程度を評価できる。

（振動検知システム１における振動検知処理）
図５は、実施形態の振動検知処理を示すフローチャートである。振動検知システム１は、定期的にまたはオペレータの指示を契機として、振動検知処理を実行する。

先ずＳ１１では、画像取得部１１１は、カメラ２からボルト４２の頭部を含んだ動画像を取得する。次に空間フィルタ処理部１１２は、空間フィルタ処理によって、Ｓ１１で取得した動画像を各ピクセルに分解し、動画像のフレーム間に亘る各ピクセルの動きを示す時系列Ｉ（ｘ，ｔ）＝ｆ（ｘ＋δ（ｔ））を生成する画像分解処理を行う。

次にＳ１３では、時間フィルタ処理部１１３は、文献１のPhase-based Video Motion Processingを用いる時間フィルタ処理によって、Ｓ１２で画像分解後の各ピクセルの時系列Ｉ（ｘ，ｔ）＝ｆ（ｘ＋δ（ｔ））に対してバンドパスフィルタを適用し、特定振動数のピクセルの振動を拡大する。

次にＳ１４では、振動検知部１１４は、Ｓ１３で特定振動数のピクセルの振動を拡大した各ピクセルをもとにピクセル分割前の元の動画像を再構成する。次にＳ１５では、振動検知部１１４は、Ｓ１４で再構成した動画像を、所定のサンプリングレートでサンプリングしたサンプリングフレームに分割する。

次にＳ１６では、振動検知部１１４は、Ｓ１４で得られた各サンプリングフレームに対し、グレースケーリングなどによる画素強調処理、双三次内挿法などによる画素補間処理、およびウイナーフイルタなどによる画素平滑化処理を含む画像処理を行う。画素強調処理では、画素の輪郭や明暗を明瞭にし、基準点やボルト４２の観測点を検出しやすくする。画素補間処理では、画素の動きを滑らかにして振動を検知しやすくする。画素平滑化処理では、平均や分散を用いてノイズを除去する。

次にＳ１７では、振動検知部１１４は、ボルト４２の振動を定量化する。振動検知部１１４は、ボルト４２の相対ピクセル振幅をボルト４２の振動を表す指標として定義し、振動を定量化する。

次にＳ１８では、振動検知部１１４は、Ｓ１７で定量化したボルト４２の相対ピクセル振幅に基づいて、ボルト４２の振動を検知し、ボルト緩みを評価する。本実施形態を用いた実験結果の説明でも後述するが、例えば振動検知部１１４は、Ｓ１７で定量化したボルト４２の振動を表す相対ピクセル振幅に対してＦＦＴ（Fast Fourier Transform）などの周波数解析を実行する。周波数解析を実行することで、相対ピクセル振幅の振動数を抽出する。相対ピクセル振幅が抽出した振動数がボルト緩みと見なしうる特定振動数と一致しかつ相対ピクセル振幅が所定値以上である場合に、ボルト４２が緩んでいると評価できる。なお抽出した振動数と特定振動数の一致度および相対ピクセル振幅の大きさに応じて、ボルト４２の緩みの危険度を判断してもよい。

なおＳ１８でボルトの振動が適切に検知できなかった場合には、Ｓ１３に戻って特定振動数を調整し、再度Ｓ１３～Ｓ１８の処理を、ボルト緩みに起因する振動が検知されるまで、またはボルト緩みに起因する振動が発生していないと判断できるまで、繰り返し実行してもよい。

（ハンマーテストによる実験）
図６Ａ～図６Ｅは、実施形態のハンマーテストによる実験結果を説明するための図である。図６Ａに示すように、４つのボルト４２ａ～４２ｄを取り付けた鋼板４０ａに、ハンマーｈで所定の打撃を加えた。本実験では、ボルト４２ａ，４２ｃ，４２ｄは適正締め付けトルクの１００％で鋼板４０ａに締め付けた一方、ボルト４２ｂはボルト緩みと見なし得る適正締め付けトルクが０％になるように鋼板４０ａに取り付けた。

本実験によれは、Phase-based Video Motion Processingの非適用の場合は動画像上で振動を検知できなかったが、Phase-based Video Motion Processingを適用することで、ボルト緩みと評価できる振動を動画像上で検知できる結果が得られた。

なお本実験では、Phase-based Video Motion Processingの強調係数αを５０、フレームのサンプリングレート５０００ｆ／ｓを振動拡大前の原動画像と同一とした。

Phase-based Video Motion Processingを適用した動画像の時系列Ｉ（ｘ，ｔ）のうち、図６Ｂに示す時刻ｔ＝ｔ１，ｔ２，ｔ３の各時刻のフレームを図６Ｃ、図６Ｄ、図６Ｅに示す。図６Ｃ～図６Ｅに示すように、ボルト４２ａに設定した観測点ｐ１１は、時刻ｔ＝ｔ１，ｔ２，ｔ３を通して変位がない一方、ボルト４２ｂに設定した観測点ｐ１２は、時刻ｔ＝ｔ１，ｔ２，ｔ３の推移に応じて変位したことが分かる。この変位は、Phase-based Video Motion Processingを非適用の動画像の時系列Ｉ（ｘ，ｔ）では確認されなかったが、Phase-based Video Motion Processingを適用することで確認された。

（模型橋梁３０での模型車両５０の走行による実験）
図７Ａ～図７Ｅは、実施形態の模型橋梁３０での模型車両５０の走行実験による実験条件を説明するための図である。図７Ａおよび図７Ｂは、模型橋梁３０の構造を示す。図７Ａおよび図７Ｂでは、模型橋梁３０の長手方向をＸ軸、幅手方向をＹ軸、高さ方向をＺ軸とする正系のＸＹＺの座標軸を用いて説明を行う。

図７Ａは、模型橋梁３０を図７Ａに示すＹ軸の正方向から見た側面図である。模型橋梁３０は、橋台３１ａ，３１ｂおよび橋脚３２ａ，３２ｂを備える。

橋台３１ａと橋脚３２ａとの間には橋桁３３ａが架けられている。橋脚３２ａと橋脚３２ｂとの間には橋桁３３ｂが架けられている。橋脚３２ｂと橋台３１ｂとの間には橋桁３３ｃが架けられている。橋脚３２ａが橋桁３３ｂを支える支承部はＰｉｎ支承とし、橋脚３２ｂが橋桁３３ｂを支える支承部はＲｏｌｌｅｒ支承とした。

橋台３１ａと橋脚３２ａの桁長は２５００ミリ、橋脚３２ａと橋脚３２ｂの桁長はＬ＝５６００ミリ、橋脚３２ｂと橋台３１ｂの桁長は２５００ミリである。橋脚３２ａと橋脚３２ｂの支間長は５４００ミリであり、支間長３０ｍの橋梁に相当する。

模型車両５０は、走行方向の長さが４００ミリである。模型車両５０の鉛直振動数は２．９Ｈｚとし、大型ダンプトラックを模擬している。模型橋梁３０の重さを２８０ｋｇｆ、模型車両５０の重さを２２ｋｇｆとして車両と橋梁の重量比を０．１以下とし、実橋梁と同様の条件とした。

模型車両５０は、橋台３１ａに設けたモータ１００のロープ牽引によって、図７Ａに向かって右から左（ｘ軸の正方向）へ模型橋梁３０上を移動する。橋桁３３ａは、模型車両５０の加速領域である。橋桁３３ｂは、模型車両５０の定速領域である。橋桁３３ｃは、模型車両５０の減速領域である。模型車両５０の走行速度は、０．４６ｍ／ｓ～１．６３ｍ／ｓとした。これは、支間長３０ｍの橋梁上を走る大型ダンプトラックに換算すると、２．６ｍ／ｓ～９．０５５ｍ／sあるいは９ｋｍ／ｈ～３３ｋｍ／ｈに相当する。

橋脚３２ａおよび橋脚３２ｂの中心位置Ｌ／２＝２８００ミリの位置に、添接板４０が４つのボルト４２ａ～４２ｄによって橋桁３３ｂに取り付けた。カメラ２は、添接板４０および４つのボルト４２をその画角に収めて撮影する位置に配置した。

図７Ｂは、模型橋梁３０を図７Ａに示すＸ軸の正方向から見た断面図である。模型橋梁３０の橋桁３３ａについて説明するが、橋桁３３ｂ，３３ｃも同様である。橋桁３３ａは、主桁３３ａ１，３３ａ２と、床板３３ａ３と、床板３３ａ３上のレール３３ａ３１，３３ａ３２とを備える。レール３３ａ３１，３３ａ３２は、模型車両５０がその両輪を乗せて移動する軌道を定める。

主桁３３ａ１，３３ａ２は、それぞれＺ軸方向の高さが９０ミリ、Ｙ軸方向の厚みが８ミリである。橋桁３３ａの幅さは、３００ミリである。床板３３ａ３は、Ｚ軸方向の厚みが１９ミリである。床板３３ａ３上のレール３３ａ３１，３３ａ３２は、それぞれ主桁３３ａ１，３３ａ２から５５ミリだけオフセットした位置に設けられ、高さが８ミリである。

図７Ｃは、実施形態の模型橋梁３０に取り付けた添接板４０のサイズを示す。添接板４０は、Ｘ軸方向が１３．５センチ、Ｚ軸方向が５．００センチの大きさである。添接板４０に取り付けられたボルト４２ａ～４２ｄは、フランジの半径が１センチ、ボルト軸の半径が０．７５センチである。ボルト４２ａ～４２ｄのそれぞれは、ボルト軸の外周が添接板４０のＺ軸方向の両端辺から１．５センチに位置する。ボルト４２ａは、添接板４０のＸ軸方向の最寄りの端辺から０．５センチに位置する。ボルト４２ｄは、添接板４０のＸ軸方向の最寄りの端辺から０．５センチに位置する。ボルト４２ａとボルト４２ｂ、ボルト４２ｂとボルト４２ｃ、ボルト４２ｃとボルト４２ｄのボルト軸間長は、それぞれ１．５センチである。

図７Ｄは、添接板４０とボルト４２の基準点および観測点の設定を示す図である。ボルト４２ａ，４２ｄは、１００％の締め付けトルクで締め付けられている。ボルト４２ｂは、７５％の締め付けトルクで締め付けられている。ボルト４２ｃは、締め付けトルクを０とし、完全にボルトが緩んだ状態とした。

図７Ｄに示すように、グレースケーリングによって添接板４０のＺ軸方向の端辺と、ボルト４２のフランジ部分が他の部分と比較して輝度が高くなっている。よって図７Ｄに示すように、ボルト４２ａに対して基準点ｐ１１と観測点ｐ２１を、ボルト４２ｂに対して基準点ｐ１２と観測点ｐ２２を、ボルト４２ｃに対して基準点ｐ１３と観測点ｐ２３をそれぞれ設定した。

なお本実験では、Phase-based Video Motion Processingの強調係数αを１００、フレームのサンプリングレートを７０００ｆ／ｓ、特定振動数ωを９６～９８Ｈｚ、ＳＩＧＭＡ値を５とした。なお、この特定振動数ωは、緩んだ状態のボルトの振動を特徴付ける物理パラメータである。

図８Ａ～図８Ｃは、実施形態の模型橋梁３０での模型車両５０の走行実験による実験結果を説明するための図である。図８Ａ～図８Ｃは、横軸をフレーム番号（時刻）、縦軸を相対ピクセル振幅の大きさとしている。図８Ａはボルト４２ａの相対ピクセル振幅のフレーム間推移、図８Ｂはボルト４２ｂの相対ピクセル振幅のフレーム間推移、図８Ｃはボルト４２ｃの相対ピクセル振幅のフレーム間推移を示している。なおボルト４２ｄは、図示を省略している。

図８Ａ～図８Ｃに示す各相対ピクセル振幅に対してＦＦＴなどの周波数解析を実行すると、ボルト４２ａ（図８Ａ）およびボルト４２ｂ（図８Ｂ）の相対ピクセル振幅は周期的特性を有さないため、ボルトの振動は発生していないと評価される。一方、ボルト４２ｃ（図８Ｃ）の相対ピクセル振幅は、特定振動数と一定する周期的特性を有し、かつ相対ピクセル振幅の最大値Ｒが所定値以上であるため、ボルトに振動が発生しており、かつボルトの振動はボルト緩みに起因する可能性があると推定できる。

（実施形態の効果）
上記実施形態によれは、ボルトの振動特性に合せて画像中のボルトの微小な振動をノイズやブレなく鮮明に拡大するので、足場の設置を要する現場の実地点検を行うことなく、ボルトの緩みを簡易に評価することができる。また、画像により簡易調査できることから、実地点検に先立ち、調査が必要な個所を事前スクリーニングできる。スクリーニング後にボルトの緩み個所においてボルト軸力が減少している部分を詳細に調査し、交換するボルトを特定でき、調査の労力と費用の軽減を図ることができる。

（実施形態の変形例）
（１）ボルトの振動の定量化指標について
上記実施形態では、基準点ｐ０に対するボルト４２の観測点ｐ１の相対距離の変化を相対ピクセル振幅として、ボルト４２の振動を定量化する指標とした。しかしこれに限らず、ボルト４２の振動の定量化指標は、デジタル画像相関法などを用いて得られるボルト４２の頭部の絶対的な移動量（回転量または変位量）などでもよい。

また、基準点ｐ０を設定せず、ボルト４２の観測点ｐ１の絶対的な移動量を、ボルト４２の振動を定量化する指標としてもよい。例えば車両が橋梁３を通行したことによってボルト４２の振動が生じるが、この振動がボルト緩みによる振動を含みうるかの判断は、次のようにして行う。すなわち、ボルト４２が緩んでいない状態で車両が橋梁３を通行したときに生じたボルト４２の振動の振動数および振幅を予め計測しておく。振動検知時の振動数が予め計測した振動数と異なり、かつ振幅が予め計測した振幅よりも所定以上大きい場合に、実地点検の必要があるボルト緩みの可能性があると評価する。

このように、観測点の絶対的な移動量を振動検知の指標とすることで、振動検知対象の構造物や対象物の動画像をもとに、比較対象物を必要とせず、構造物や対象物の振動を検知することができる。

（２）ボルトの振動の定量化指標を用いない例について
上記実施形態では、ボルト４２の振動を表す指標に基づいてボルト４２の振動を検知し、緩みを評価した。ここで、ボルト４２の振動数は、ボルト４２の締結状態を特徴付ける物理パラメータと相関がある。よって、時間フィルタ処理部１１３による時間フィルタ処理において、緩んでいると見なしうる状態のボルト４２の物理パラメータから導き出されるボルト４２の振動数を特定振動数とすることで、ボルト４２の振動を表す指標を定義しなくても、ボルト４２の緩みに起因する振動を拡大し、検知することができる。

（３）ベイズファクターを用いたボルト緩みの評価について
上記実施形態では、検出されたボルトの振動の振幅や周期性に基づいて、ボルト緩みを評価した。しかし振動特性およびボルト緩みの評価方法は、これに限られるものではない。検出されたボルトの振動の振幅や振動数はボルトの特徴量と見なすことができる。よって、ボルトの振動の振幅や振動数に基づく振動特性およびボルト緩みの評価指標として、式（５）で定義されるベイズファクターＢを算出する。

上記式（５）において、Ｈ_０は帰無仮説（ボルト４２の緩みがない状態）、Ｈ_１は対立仮説（ボルト４２が緩んでいる状態）、ｘは仮説検定の対象とする特徴量（ボルトの振動の振幅や振動数）である。

式（５）に示すベイズファクターＢにおいて、分母ｐ（ｘ|Ｈ_０）は診断時の特徴量ｘがボルト４２の基準時における状態（緩みがない状態）と同じ特徴量である周辺尤度を示し、分子ｐ（ｘ|Ｈ_１）は診断時の特徴量ｘがボルト４２の基準時における状態と異なる特徴量である周辺尤度を示す。ベイズファクターＢが閾値を超えると、ボルト緩みによる振動が発生していると判断できる。このように、ベイズファクターＢを用いると、ボルト緩みの有無やその程度を定量的に評価できる。

なお式（５）に示すベイズファクターＢにおいて、分母ｐ（ｘ|Ｈ_０）を診断時の特徴量ｘが対象物の基準時における状態（振動がない状態）と同じ特徴量である周辺尤度とし、分子ｐ（ｘ|Ｈ_１）を診断時の特徴量ｘが対象物の基準時における状態と異なる状態（振動がある状態）の特徴量である周辺尤度としてもよい。このように、ベイズファクターＢを用いて振動そのものを検知することもできる。

（実施形態の適用例）
上述した実施形態では、構造物が橋梁であり対象物がボルトであり、ボルトの動きを拡大するフィルタを適用してボルトの振動を検知する場合について説明した。以下実施形態の適用例として、構造物の振動を検知する場合について説明する。より具体的には、構造物を送電鉄塔とし、送電鉄塔を撮影した画像に複数の振動検出ポイントを設定し、画像から検知した振動に関する情報の変位に基づいて構造物の構造同定および異常検知を行う場合を説明する。なお画像から検知した振動に関する情報は、変位に限らず、歪みや、速度、加速度などであってもよい。なお、実測現場においては、橋梁にカメラを取り付けているのではなく橋梁とは別の場所にカメラを設置して構造物の振動を計測する。また、送電鉄塔を計測する場合も送電鉄塔等の構造物から離した位置にカメラを設置して対象構造物を撮影した画像で振動数を検知する。

図９は、実施形態の適用例において振動検知対象である送電鉄塔Ｔと、送電鉄塔Ｔに設定する複数の振動検知点ｊの例を示す図である。本適用例では、振動検知部１１４（図２）は、振動検知対象の構造物を一例として送電鉄塔Ｔとし、送電鉄塔Ｔの全体の構造同定および異常検知を行うため、送電鉄塔Ｔの全体を撮影した画像を用いるとする。しかし目的に応じて、構造物の所定部分を撮影した画像を用いてもよい。

図９では、送電鉄塔Ｔを撮影した画像にインデックスｊ＝１，２，３，４の４か所の振動検知点を設定する。なお設定する振動検知点の数および設定位置は、４つおよび図示に限定されない。インデックスｊの振動検知点を振動検知点ｊとする。

図１０は、実施形態の適用例における送電鉄塔Ｔの固有振動数の例を示す図である。図１０では、横軸を固有振動数（Ｈｚ）とし、縦軸を所定期間における各固有振動数の振動の発現回数とする。なお、図１０に示す固有振動数の例は、例えば、送電鉄塔に取り付けた加速度計や変位計等のセンサから取得したデータをもとに固有振動数を算出することで得られる。図１０から分かるとおり、送電鉄塔Ｔの振動には、１次振動モード、２次振動モード、３次振動モード、・・・の各次の振動モードが含まれる。振動モードの次数をｋとする。

本適用例では、１次振動モード、２次振動モード、および３次振動モードの各周波数の振動を含んだ画像を強調するフィルタを、上記実施形態で示した式（３）のようにそれぞれ構成する。上記実施形態で示した画像拡大法によって、送電鉄塔Ｔの各固有振動数の周波数帯の画像を拡大することで、１次振動モード、２次振動モード、３次振動モードといった構造物全体の振動モードの変位量を確認することができる。

図１１は、実施形態の適用例において複数の振動検知点ｊの各振動モードの拡大画像から検知される振動による変位の例を示す図である。図１１は、図９の振動検知点ｊ＝１，２，３，４における各時刻の各次数ｋ＝１，２，３の振動モードの変位をグラフＧ（ｊ，ｋ）で表し、グラフＧ（ｊ，ｋ）を振動検知点ｊごとに足し合わせたグラフをグラフＧｊとして示している。グラフＧ（ｊ，ｋ）およびグラフＧｊでは、横軸を時刻、縦軸を振動による変位としている。

なお本適用例では、ｋ≧４の振動モードはその変位が無視できるものとして取り扱うが、何れの次数の振動モードを含めて検知するかは、振動検知対象の構造物や目的に応じて適宜変更可能である。

例えばグラフＧ（１，１）は、振動検知点ｊ＝１における１次振動モードを拡大した振動波形のグラフを表す。同様にグラフＧ（１，２）は振動検知点ｊ＝１における２次振動モードを拡大した振動波形のグラフを、グラフＧ（１，３）は振動検知点ｊ＝１における３次振動モードを拡大した振動波形のグラフを表す。振動検知点ｊ＝１の画像から、グラフＧ（１，１）、グラフＧ（１，２）、およびグラフＧ（１，３）をそれぞれ作成する。振動検知点ｊ＝２，３，４についても同様である。このように、実施形態の適用例では、バンドパスフィルタとして振動モードに応じたフィルタを適用して、各周波数の振動を含んだ画像を強調した拡大画像を各々得る。ここで、各々の振動検知点において、振動次数に対応した次数のフィルタを適用することで、対応する次数の振動を検知する。例えば、各々の振動検知点において１次のフィルタ（例えば５Ｈｚ～７Ｈｚ）では「振動次数ｋ＝１」の１次の振動が検知できるが２次の振動や３次の振動が検知できず、２次のフィルタ（例えば１０Ｈｚ～１２Ｈｚ）では「振動次数ｋ＝２」の２次の振動が検知できるが１次の振動や３次の振動が検知できず、３次のフィルタ（例えば２０Ｈｚ～２２Ｈｚ）では「振動次数ｋ＝３」の３次の振動を検知できるが１次の振動や２次の振動を検知できない。これにより画像拡大して各振動モードのフィルタで処理すれば、拡大画像に応じて各次数の振動が検知できる。このため、同じ構造物において部位に応じて振動次数が異なる場合でも、画像拡大して各振動モードのフィルタで処理すれば、部位ごとの振動モードを特定できる。

また、グラフＧ（ｊ，ｋ）は、複数の振動検知点ｊのｋ次振動モードの波形を同時性をもって表現している。よって振動検知点ｊごとにグラフＧ（ｊ，ｋ）を合計したグラフＧｊは、振動検知点ｊにセンサを設置して計測した変位の計測結果と同等と見なせる。

そこで、振動検知点ｊ（本適用例ではｊ＝１，２，３，４）を送電鉄塔Ｔに設置されたｎ個（ｎは１以上の自然数、本適用例ではｎ＝４）のセンサの設置位置と見なし、グラフＧｊをｎ個の各センサによる計測結果の時系列と見なす。そしてグラフＧｊによって示されるｎ個の振動検知点ｊにおける時刻ｋの変位から、式（６）に示す時刻ｔにおける観測ベクトルｙ（ｔ）を構成する。観測ベクトルｙ（ｔ）は、送電鉄塔Ｔの振動に関する情報の時系列ベクトルとして取得される。

式（６）において、ｔは時刻インデックス、ｐは自己回帰モデルの次数、ｎ次行列Ａ_ｉは回帰係数の行列、ｅ（ｔ）は時刻ｔにおける自己回帰モデルの誤差項である。行列Ａ_ｉは、自己回帰モデルにおいて線形結合されたセンサ情報ベクトルｙ（ｔ－ｉ）の時系列のそれぞれに乗じられている回帰係数である。式（６）は、構造物の運動方程式を変換することで得られる、対象の構造物の状態を表すシステム行列を含んだ状態方程式を、離散化した観測信号の時系列の線形結合である自己回帰モデルで表現したものである。

式（６）の自己回帰モデルにおける回帰係数である行列Ａ_ｉの各要素は、システム行列に含まれる構造物の物理量と関連付けられ、振動検知点ｊにおける変位、速度、加速度、質量マトリクスｍ、減衰係数マトリクスｃ、および剛性マトリクスｋの情報のうちの少なくとも一つを含んでいる。

よって行列Ａ_ｉを用いることで、振動に関する様々な情報を含むように構造物の状態を表現することができる。すなわち行列Ａ_ｉの変化を捉えることで、変位、速度、加速度、質量マトリクスｍ、減衰係数マトリクスｃ、および剛性マトリクスｋといった構造物の状態の変化を捉えることが可能になる。

ただし、振動検知点ｊが１つ（ｎ＝１）の場合では、自己回帰モデルにおける行列Ａ_ｉは、スカラーとなる。

そしてｎ個のセンサにより計測された観測ベクトルｙ（ｔ）の時系列から生成した式（６）に示すｐ次の自己回帰モデルを行列式で表すと、式（７）のようになる。

ここで式（７）における左辺のＹ_ｆは予測状態を、右辺第１項のＹ_ｐはｐ次の過去の変位を、右辺第２項のＥは構造物の状態観測の不確定性に起因する誤差を表す。また式（７）における右辺第１項の係数行列Ａは、１からｐまでのｉについての行列Ａ_ｉを結合したｎ×（ｎ×ｐ）行列である。

なお係数行列Ａには構造物の診断結果に無関係な質が劣る情報の成分が含まれている。この質が劣る情報の成分を除去するために係数行列Ａの主成分分析によって再構築された主成分行列Ａ＾を、係数行列Ａの代替としてもよい。

このようにして求められた係数行列Ａまたは主成分行列Ａ＾を構造物の状態を表す特徴量として用いることで、構造物の振動特性を有する時系列を再現し、構造物の構造同定および状態の診断が可能となる。

ここで式（８）によって定義されるベイズファクターＢを導入する。式（８）において、Ｈ_０は帰無仮説（本適用例では送電鉄塔Ｔの健全状態）、Ｈ_１は対立仮説（本適用例では送電鉄塔Ｔ異常・損傷状態）、Ｙ_ｔは仮説検定の対象とする或る時刻ｔの特徴量（本適用例では係数行列Ａまたは主成分行列Ａ＾）、Φ_ｔはＨ_０あるいはＨ_１の仮説のもとでのパラメータ（例えば特徴量の確率分布の平均値や標準偏差）である。

式（８）に示すベイズファクターＢにおいて、分母ｐ（Ｙ_ｔ|Φ_ｔ，Ｈ_０）は診断時の特徴量Ｙ_ｔが送電鉄塔Ｔの基準時における状態（健全状態）と同じ特徴量である周辺尤度を示し、分子ｐ（Ｙ_ｔ|Φ_ｔ，Ｈ_１）は診断時の特徴量Ｙ_ｔが送電鉄塔Ｔの基準時における状態と異なる特徴量である周辺尤度を示す。よってｐ（Ｙ_ｔ|Φ_ｔ，Ｈ_０）に対するｐ（Ｙ_ｔ|Φ_ｔ，Ｈ_１）の比であるベイズファクターＢが閾値を超えると、或る特徴量に基づいて送電鉄塔Ｔに異常や損傷が発生していると判断できる。

この閾値は、過去の点検データなどから、送電鉄塔Ｔの点検技術者が異常と判定した区分が設定されたものであり、ベイズファクターＢが閾値より大である場合に送電鉄塔Ｔに異常があると判定し、ベイズファクターＢが閾値以下である場合に送電鉄塔Ｔが正常であると判定する。

なお、過去の点検データなどに基づき、ベイズファクターＢの大きさから、送電鉄塔Ｔの異常や損傷の程度を診断してもよい。

さて、式（８）に基づくベイズファクターＢは、送電鉄塔Ｔを全体的に見て異常を検知するための評価指標である。一方、送電鉄塔Ｔの各振動検知点ｊの変位の時系列から得られる特徴量に基づいて個別のベイズファクターを算出することもできる。個別のベイズファクターをローカルベイズファクターと呼ぶ。例えば振動検知点ｊの変位の時系列に基づくローカルベイズファクターＢ^ｊは、式（９）で定義される。

ローカルベイズファクターＢ^ｊをベイズファクターＢに代えて診断を行うことで、異常を示すローカルベイズファクターＢ^ｊのインデックスｊから、振動検知点ｊにおいて橋梁４の異常や損傷の有無や程度を識別できる。

なお上記では、自己回帰モデルの回帰係数に基づいて、或る時刻における構造物の状態を示す特徴量を生成する場合について説明したが、これに限定されるものではなく、自己回帰モデルの回帰係数以外の情報から、構造物の状態を示す特徴量を生成してもよい。

（機械学習に基づく異常診断）
さて、本適用例では、グラフＧｊが示す送電鉄塔Ｔの各振動検知点ｊにおける変位の時系列に基づいてベイズファクターを算出し、ベイズファクターに基づいて送電鉄塔Ｔの異常や損傷の診断（あるいは構造同定）を行っている。各振動検知点ｊにおける拡大されたｋ次振動モードを含んだグラフＧｊは、送電鉄塔Ｔの各振動検知点ｊについて各振動モードの次数で拡大された各々の拡大画像から作成される。よってグラフＧｊに基づいて算出されたベイズファクターに基づく送電鉄塔Ｔの異常や損傷の診断結果と、グラフＧｊの元となる各々の拡大画像の組合せとは、対応関係を有する。

一例を挙げると、グラフＧ１、Ｇ２、Ｇ３、およびＧ４に基づくベイズファクターＢは、ｊ＝１、２、３、および４のそれぞれの振動検知点における１次、２次、および３次の振動モードの拡大画像の組合せと対応関係を有する。また、グラフＧｊに基づくローカルベイズファクターＢ^ｊは、振動検知点ｊにおける１次、２次、および３次の振動モードの拡大画像の組合せと対応関係を有する。

そこで、振動検知部１１４は、前述の対応関係を大量に機械学習し、送電鉄塔Ｔの拡大画像を入力とし診断結果を出力する学習器を作成する。そしてこの学習器に対して、送電鉄塔Ｔの拡大画像を入力とし、出力として送電鉄塔Ｔの異常や損傷の診断結果の予測値を得る。これにより、構造物の拡大画像から、診断結果（あるいは構造同定結果）の予測値を速やかに得ることができる。なお、学習器を作成する際には、診断結果と診断結果に対応する全ての拡大画像の組合せを学習することが望ましいが、全ての拡大画像の組合せに限らず、診断結果と診断結果に対応する全ての拡大画像のうちの一部の拡大画像の組合せを学習してもよい。

なお機械学習に基づく異常診断において、予測時に学習器を適用する拡大画像の振動検知点と振動モードの次数の組合せのパターンが、学習器の作成に用いた拡大画像の振動検知点と振動モードの次数の組合せのパターンと同一であることが望ましいが、実施形態はこれに限定されるものではない。例えば、振動検知点ｊの数および設定箇所、ならびに学習対象とする振動モードの次数ｋは、適宜変更可能である。また、ローカルベイズファクターＢ^ｊをベイズファクターＢに代えて診断を行うようにしてもよい。

なお、上述した実施形態では、構造物が橋梁であり対象物が橋梁に取り付けられたボルトである場合、或いは、構造物が鉄塔である場合を説明したが実施形態はこれに限定されるものではなく、振動を検知できるすべての構造物に対して適用可能である。例えば、構造物がトンネルであり対象物がトンネルに取り付けられた照明やファンであってもよいし、照明やファンに取り付けられたボルトであってもよい。或いは、構造物が道路や橋梁であり対象物が道路や橋梁に取り付けられた標識柱や照明柱であってもよい。また、構造物はビルや家屋等の建築構造物であってもよい。なお、構造物は、使用する材料の分類に依らず木構造、鉄筋コンクリート構造、鋼（鉄骨）構造、鉄骨鉄筋コンクリート構造、補強コンクリートブロック構造等であってもよい。

本発明は上記実施形態に限定されるものではなく、各実施形態の構成について、追加、削除、置換、統合、または分散をすることが可能である。また実施形態で示した構成および処理は、処理または実装の効率に基づいて適宜分散、統合、または入れ替えることが可能である。上記実施形態で説明したシステムの各処理を実行するプログラムは、記録媒体あるいは伝送媒体を介して１または複数のコンピュータにインストールされるプログラム、もしくは組み込みプログラムとして提供される。

１：振動検知システム、２：カメラ、３：橋梁、１１１：画像取得部、１１２：空間フィルタ処理部、１１３：時間フィルタ処理部、１１４：振動検知部

Claims (13)

1. 構造物または構造物に取り付けられた対象物の振動を検知する振動検知システムであって、
   撮像装置によって撮影された前記構造物または前記対象物の画像を取得する取得部と、
   空間フィルタ処理によって前記画像から各画素の時系列を生成する空間フィルタ処理部と、
   前記構造物または前記対象物を特徴付けるパラメータを用いた時間フィルタ処理によって前記各画素の時系列のうちの特定振動数の画素の変化量を拡大する時間フィルタ処理部と、
   前記特定振動数の画素の変化量が拡大された前記各画素の時系列を基に再構成した拡大画像をフレーム分割したサンプリングフレームから前記構造物または前記対象物の振動を定量化する指標を算出し、前記指標の時系列から前記構造物または前記対象物の振動を検知する振動検知部と
   を有することを特徴とする振動検知システム。
2. 前記時間フィルタ処理部は、
   複数種類の前記パラメータを用いた時間フィルタ処理を実行し、
   前記振動検知部は、
   前記複数種類のパラメータ各々に対応する拡大画像のサンプリングフレームから前記指標を算出して前記構造物または前記対象物の振動を検知する
   ことを特徴とする請求項１に記載の振動検知システム。
3. 前記振動検知部は、
   前記サンプリングフレームにおける基準画素に対する前記構造物または前記対象物の画素の相対振幅を前記指標として前記構造物または前記対象物の振動を検知する
   ことを特徴とする請求項１又は２に記載の振動検知システム。
4. 前記振動検知部は、
   前記サンプリングフレームにおける前記構造物または前記対象物の変位量を前記指標として前記構造物または前記対象物の振動を検知する
   ことを特徴とする請求項１又は２に記載の振動検知システム。
5. 前記振動検知部は、
   前記指標の値を周波数解析した結果に基づく該値の周期性の有無を基に前記構造物または前記対象物の振動を検知する
   ことを特徴とする請求項１～４の何れか１項に記載の振動検知システム。
6. 前記振動検知部は、
   前記サンプリングフレーム毎の前記指標の値について、前記構造物または前記対象物が振動状態でないと仮定した場合における該値の確率分布を表す周辺尤度に対する、前記構造物または前記対象物が振動状態であると仮定した場合における該値の確率分布を表す周辺尤度の比率に基づいて、前記構造物または前記対象物の振動を検知する
   ことを特徴とする請求項１～４の何れか１項に記載の振動検知システム。
7. 前記振動検知部は、
   前記画像に設定された振動検知点における前記構造物の振動に関する情報を時系列で取得し、
   前記時系列から或る時刻における前記構造物の状態を示す特徴量を生成し、当該特徴量に基づいて前記指標を生成する
   ことを特徴とする請求項２に記載の振動検知システム。
8. 前記振動検知部は、
   前記或る時刻における前記情報を、該或る時刻以前において取得された前記情報の時系列の線形結合で表現する自己回帰モデルを生成し、
   前記自己回帰モデルの回帰係数に基づいて、前記特徴量を生成する
   ことを特徴とする請求項７に記載の振動検知システム。
9. 前記情報の時系列は、前記構造物における位置毎に取得されたものであり、
   前記振動検知部は、
   前記構造物における位置毎の前記時系列に基づいて位置毎の前記特徴量を算出する
   ことを特徴とする請求項７または８に記載の振動検知システム。
10. 前記振動検知部は、
    前記特徴量について、前記構造物が健全状態であると仮定した場合における該特徴量の確率分布を表す第１の周辺尤度と、前記構造物が前記健全状態でないと仮定した場合における該特徴量の確率分布を表す第２の周辺尤度と、の比率である評価指標を算出し、該評価指標に基づいて前記構造物を診断する
    ことを特徴とする請求項７～９の何れか１項に記載の振動検知システム。
11. 前記振動検知部は、
    前記画像と、前記構造物の状態を診断した診断結果との対応関係を学習して学習済モデルを作成し、
    前記学習済モデルに対して、前記構造物の画像を入力として、該構造物の状態の診断結果を出力として得る
    ことを特徴とする請求項１０に記載の振動検知システム。
12. 構造物または構造物に取り付けられた対象物の振動を検知する振動検知システムが行う振動検知方法であって、
    撮像装置によって撮影された前記構造物または前記対象物の画像を取得し、
    空間フィルタ処理によって前記画像から各画素の時系列を生成し、
    前記構造物または前記対象物を特徴付けるパラメータを用いた時間フィルタ処理によって前記各画素の時系列のうちの特定振動数の画素の変化量を拡大し、
    前記特定振動数の画素の変化量が拡大された前記各画素の時系列をもとに再構成した拡大画像をフレーム分割したサンプリングフレームから前記構造物または前記対象物の振動を定量化する指標を算出し、前記指標の時系列から前記構造物または前記対象物の振動を検知する
    各処理を有することを特徴とする振動検知方法。
13. コンピュータを、構造物または構造物に取り付けられた対象物の振動を検知する振動検知システムとして機能させるための振動検知プログラムであって、
    前記コンピュータを、
    撮像装置によって撮影された前記構造物または前記対象物の画像を取得する取得部、
    空間フィルタ処理によって前記画像から各画素の時系列を生成する空間フィルタ処理部、
    前記構造物または前記対象物を特徴付けるパラメータを用いた時間フィルタ処理によって前記各画素の時系列のうちの特定振動数の画素の変化量を拡大する時間フィルタ処理部、
    前記特定振動数の画素の変化量が拡大された前記各画素の時系列をもとに再構成した拡大画像をフレーム分割したサンプリングフレームから前記構造物または前記対象物の振動を定量化する指標を算出し、前記指標の時系列から前記構造物または前記対象物の振動を検知する振動検知部
    として機能させるための振動検知プログラム。

Images