JP4828274B2 - 構造物異常判別システム及び構造物異常判別方法ならびにプログラム - Google Patents

Description

本発明は、橋梁等の大型構造物の異常検知するための構造物異常判別システム及び構造物異常判別方法ならびにプログラムに関する。

ダム、橋梁、桟橋等の大型構造物は、経年変化や地震等の災害により部材接続部等の構造的に弱い箇所（以後、可動部と呼ぶ）に大きなずれや部分的移動（以後、変位と呼ぶ）が発生し、その使用継続が危険・困難となることがある。その場合、二次災害防止や影響の最小化のため迅速な判断・対応が求められる。

図１６のような橋梁を例に挙げると、その基本的な構成は橋台１１や橋脚１２の上に支承１３を介して橋桁１４が載る構造で、震災時には橋桁１４の移動あるいは落下が発生して通行が不可能になる場合が多い。広域震災時には、道路ネットワークの健全性を確認するために橋梁の通行可否判断を迅速に行う必要があり、そのためには地震発生直後に橋桁１４の間隔を基本とする橋梁の変形状態を計測し、情報を収集・判断する事が重要である。

構造物の変位を監視・検知する方法としては、様々な方法が考案されており、観測画像の差分比較により構造物の変位を検知する場合、以下の方法がある。大型構造物にターゲットマーカーを設置し、その位置を追跡することで構造物の変位を検知する方法がある（例えば、特許文献１参照）。また、構造物の観測画像から特徴的な部分画像を抽出し、それをパターンマッチング等することにより、構造物の変位を検知する方法がある（例えば、特許文献２参照）。また、レーザスキャナで橋桁等の構造物の３次元構造を捉える方法がある（例えば、特許文献３参照）。

また、接触式センサによる変位検知技術としては、変位計を可動部に設置し、変位を計測する方法が知られている（例えば、非特許文献１参照）。この方法では、計測機器を設置するのは可動部だけであるので、対象の構造物から離れた地点に別の機器を設置する必要がない。
特開２００３−２４０５５０号公報 特開２００１−２４１９１９号公報 特開２００４−３２５２０９号公報 ＮＴＴ技術ジャーナル、「光ファイバセンシング技術を活用した道路災害モニタリングシステムの開発」、２００３年１０月

しかしながら、特許文献１〜３に記載の技術に共通する問題としては、次のようなものがある。特許文献１〜３に記載の技術とも、観測点は構造物から離れた地面上などの不動点に設置されるのが前提となっており、通常、そのような場所の確保が難しい。監視カメラ等の機器を構造物上に設置した場合には、構造物の異常により観測機器自体も移動してしまうため、異常検知が困難になるという問題がある。

また、監視カメラの映像情報では、撮影範囲に含まれる比較的広域の監視が可能であるが、外装の変更や付着物・落下物の発生といった、構造的な異常とは異なる変化についても検知してしまう可能性があるという問題があった。

特許文献１に記載の技術では、ターゲットマーカーを設置した箇所の変位しか追跡できないという問題があった。また、変位計による変位検知は、設置箇所の局所的な変位しか検知できないという問題点がある。また設置箇所ごと構造物全体が変位した場合、それを検知できないという問題もあった。

本発明はかかる課題を解決するためになされたもので、監視カメラは構造物上に設置し、地上部分などの不動部分と構造部分の近景の比較によって、撮影画像からカメラの変位を検知し、その上で、構造物の変位の有無を正確に判定することを目的とする。また、変位計の情報を監視カメラの異常検知情報と組み合わせることで、異常原因の種別の詳細な判別を実現することを目的とする。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、構造物及びその周囲の状況を撮影する撮影手段と、前記構造物に設置された変位計測手段と、前記撮影手段で撮影された画像データと、前記変位計測手段で計測された変位データとから前記構造物の変位状態を判定する構造物変位判定手段とを備え、前記構造物変位判定手段は、前記撮影手段で撮影された時間毎の画像データを比較して、構造物の変位状態を判定する画像比較判定手段と、前記画像比較判定手段の判定結果と、前記変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する異常判定手段と、を具備することを特徴とする構造物異常判別システムである。

また、請求項２に記載の発明は、前記画像データは、一定時間平均化された平均化画像データであることを特徴とする請求項１に記載の構造物異常判別システムである。

また、請求項３に記載の発明は、前記画像比較手段は、画像データを遠景領域と近景領域に分割して、各領域について時間毎の画像データを比較することで、構造物の変位状態及び前記撮影手段の移動状態を判定することを特徴とする請求項１又は２に記載の構造物異常判別システムである。

また、請求項４に記載の発明は、前記画像比較判定手段は、時間毎の前記画像データ内の所定の対応点での変位差を算出することで、構造物の変位状態を判定することを特徴とする請求項１〜３の何れかに記載の構造物異常判別システムである。

また、請求項５に記載の発明は、撮影手段が構造物及びその周囲の状況を撮影し、変位計測手段が前記構造物の変位データを測定する第１ステップと、画像比較判定手段が前記撮影手段で撮影された時間毎の画像データを比較して、構造物の変位状態を判定する第２ステップと、異常判定手段が前記画像比較判定手段の判定結果と、前記変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する第３ステップと、からなることを特徴とする構造物異常判別方法である。

また、請求項６に記載の発明は、構造物及びその周囲の状況を撮影する撮影手段と、前記構造物に設置された変位計測手段と、前記撮影手段で撮影された画像データと、前記変位計測手段で計測された変位データとから前記構造物の変位状態を判定する構造物変位判定手段とからなる構造物異常判別システムにおける構造物変位判定処理を行うコンピュータプログラムであって、前記撮影手段で撮影された時間毎の画像データを比較して、構造物の変位状態を判定する画像比較判定ステップと、前記画像比較判定ステップでの判定結果と、変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する異常判定ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

この発明によれば、監視カメラを橋梁等の構造物に設置させた形態で、構造物の変位の有無を正確に判定することができる。

観測画像と変位計データを組み合わせて使用するので、より信頼性が高く、異常の原因種別を詳細に判別可能になる。

以下、図面を参照して本発明の実施形態について説明する。図１は本実施形態による構造物異常判別システムの全体構成を示す構成図である。図１の構造物異常判別システムは、橋桁間等の変位量を計測する変位計１と、監視センター２と、画像伝送装置３と、橋梁の映像を撮影する監視カメラ４とから構成されている。監視センター２は、変位計１からの変位データを受信するアナライザ２ａと、アナライザ２ａからの変位データを受信すると共に、監視カメラ４から画像伝送装置３を介して送られてきた画像データを受信する構造物異常判別装置２ｂとから構成されている。

図２は本実施形態による構造物異常判別システム内の構造物異常判別装置２ｂの処理及びデータの流れを示した機能ブロック図である。図２のように、カメラ画像入力部２０１が映像データを受信して背景画像作成部２０２にデータを送り、背景画像作成部２０２は受信した映像データから背景画像データを作成する。

作成された背景画像データは背景画像蓄積部２０３に蓄積され、蓄積されたデータを基に画像処理部２０４で直近過去の背景画像データＸと、当該時刻の背景画像データＹとから橋梁とカメラとの位置を判定する。画像処理部２０４で判定結果は画像処理結果メモリ部２０５に記憶される。一方で、変位計１で測定された変位データは変位計計測値入力部２０６で受信され、異常判別部２０７では、画像処理結果メモリ部２０５に記憶された判定結果と、変位計計測値入力部２０６で受信された変位データとを組み合わせて、詳細な異常判定を行う。結果表示部２０８では異常判定の結果を表示する。

図３は、背景画像作成部２０２の詳細な機能ブロック図である。背景画像作成部２０２は、背景画像演算部２０２ａと、平均化画像を記憶する平均化画像メモリ部２０２ｂと、平均化に使用した撮影画像の経過時間を記憶する平均化時間メモリ部２０２ｃとから構成されている。背景画像作成部２０２では、一定時間区切りで監視カメラ４の撮影映像と直近の平均化画像から新たな平均化画像を作成し、平均化画像メモリ部２０２ｂに記憶している。所定の該区切り時間になった場合は、作成した平均化画像を背景画像蓄積部２０３に出力し、平均化画像メモリ部２０２ｂと、平均化時間メモリ部２０２ｃとをクリアする。

図４は、画像処理部２０４の詳細な機能ブロック図である。画像処理部２０４内の遠景・近景分割処理部２０４ａでは、背景画像蓄積部２０３から直近過去の背景画像データＸと当該時刻の背景画像データＹとを取得し、それぞれ遠景画像データＸｆ、Ｙｆと近景画像データＸｃ、Ｙｃとに分割する。例えば図５の背景画像についてはマスク処理にて、直近過去の背景画像Ｘを近景画像データＸｃと遠景画像データＸｆとに分割すると共に、当該時刻の背景画像Ｙを近景画像データＹｃと遠景画像データＹｆとに分割する。ここで、撮影画像は平常時ほぼ変位のない大型構造物が対象であり、マスク処理で分割位置を固定してもよい。

遠景用メモリ部２０４ｂに遠景画像データを記憶し、近景用メモリ部２０４ｅに近景画像データを記憶する。遠景比較処理部２０４ｃでは、当該時間の遠景画像データと直近過去の遠景画像データとを比較し、変位量、変位方向を算出する。例えば図６のような遠景画像データの比較については、遠景用メモリ部２０４ｂに記憶された遠景画像データＸｆ、Ｙｆを遠景比較処理部２０４ｃで比較して、同一の建物の画像Ｂ１、Ｂ２について、その変位量Ａ１と、変位角度θ１とを算出する。遠景比較結果メモリ部２０４ｄでは、遠景比較処理部２０４ｃでの比較結果を記憶する。

近景用メモリ部２０４ｅでは、遠景・近景分割処理部２０４ａで分割された当該時間の近景画像データＹｃと直近過去の近景画像データＸｃとを記憶する。近景比較処理部２０４ｆでは、当該時間の近景画像データＹｃと直近過去の近景画像データＸｃとを比較し、変位量、変位方向を求める。例えば図７のような近景画像データの比較については、近景用メモリ部に記憶された近景画像データＸｃ、Ｙｃを近景比較処理部２０４ｆで比較して、同一の中央破線の画像Ｃ１、Ｃ２について、その変位量Ａ２と、変位角度θ２とを算出する。近景比較結果メモリ部２０４ｇでは、近景比較処理部２０４ｆでの比較結果を記憶する。

総合比較判定部２０４ｈでは、遠景と近景それぞれの比較結果を統合し、橋梁の位置とカメラの位置とを判定し、判定結果を画像処理結果メモリ部２０５に出力する。例えば図５〜図７の比較結果の場合、図６の遠景の変位量Ａ１（＝１０［ｐｉｘ］）と係数α（＝３０［ｍｍ／ｐｉｘ］）との積Ａ１´（＝３００［ｍｍ］）と、図７の近景の変位量Ａ２（＝２０［ｐｉｘ］）と係数β（＝２０［ｍｍ／ｐｉｘ］）との積Ａ２´（＝４００［ｍｍ］）とを算出し、両者の差から遠景と近景の実際の変位差Ａ３´を算出する。

また、変位角度θ１、θ２の値についても比較する。ここで、係数α、βはカメラからの遠近による距離への影響を補正するための係数で、カメラからの距離に応じて値が設定されている。係数α、βはそれぞれ、変位量Ａ１、Ａ２との積を取ることで、実際の変位量Ａ１´、Ａ２´を算出する事ができる。遠景画像の変位量Ａ１´から、カメラが右方向に３００ｍｍ変位したと判定し、変位差Ａ３´から、橋梁が左方向に１００ｍｍ変位したと判定する（図８）。また変位角度θ１、θ２は同一であると判定する。

図９は、本実施形態による構造物異常判別システムの処理フローである。ステップＳ１では、監視カメラ４の入力画像データから、当該時刻の背景画像データを作成する（図３の背景画像作成部２０２の動作に相当）。ステップＳ２では、当該時間の背景画像と直近過去の背景画像との差分から、監視カメラ４の変位、構造物の変位を判定する（図４の画像処理部２０４の動作に相当）。ステップＳ３では、画像処理部２０４の判定結果と変位計１の計測値とから、監視カメラ４の変位、構造物の変位、システム異常を判定する（図２の異常判別部２０７の動作に相当）。

図１０は、本実施形態による構造物異常判別システムの背景画像作成時（図９の処理フローのステップＳ１に相当）の詳細な動作内容を示す処理フローである。ステップＳ１０１では、監視カメラ４での撮影画像データを取得すると共に、平均化画像メモリ部２０２ｂに記憶された平均化画像データを取得する。

ステップＳ１０２では、ステップＳ１０１で取得した撮影画像及び平均化画像から画像の平均化を行うと共に、平均化時間メモリ部２０２ｂに画像の平均化開始からの経過時間を記憶する。ステップＳ１０３では、平均化時間メモリ部２０２ｂに記憶された経過時間が所定の一定時間に達したかを判定する。一定時間に達した場合はステップＳ１０４に進み、一定時間に達していない場合はステップＳ１０５に進む。

ステップＳ１０４では、平均化画像データを背景画像蓄積部２０３に記憶して、平均化画像メモリ部２０２ｂに記憶された平均化画像データと、平均化時間メモリ部に記憶された経過時間データを消去して、処理を終了する。ステップＳ１０５では、平均化画像データを平均化時間メモリ部に記憶して、処理を終了する。

図１１は、本実施形態による構造物異常判別システムの画像処理時（図９の処理フローのステップＳ２に相当）の詳細な動作内容を示す処理フローである。ステップＳ２０１では、マスク処理で、直近過去の背景画像Ｘと当該時間の背景画像Ｙとについて遠景画像と近景画像とを分割する。ステップＳ２０２では、当該時間の背景画像の遠景画像Ｙｆと直近過去の背景画像の遠景画像Ｘｆとの差分を抽出する。すなわち、遠景画像Ｘｆから遠景画像Ｙｆを減算し、一定以上の輝度差を持つ画素数をカウントする。

ステップＳ２０３では、差分の抽出結果から一定以上の輝度差を持つ画素数が閾値以上であるかどうかを判定する。判定結果が閾値以上である場合はステップＳ２０４に進み。判定結果が閾値以上でない場合はステップＳ２０９に進む。ステップＳ２０４では、対応点の追跡により、遠景画像Ｘｆ、Ｙｆの変位量Ａ１と変位角度θ１とを算出する。ここで、画像処理部２０４で取得する変位量は、遠景と近景の変位差を見るための概算値であり、正確な変位差は異常判別部２０７で取得する。

ステップＳ２０５では、対応点の追跡により、近景画像Ｘｃ、Ｙｃの変位量Ａ２と変位角度θ２とを算出する。ステップＳ２０６では、係数α、βと変位量Ａ１、Ａ２とについて α×Ａ１＝β×Ａ２ … （１）でありかつ、変位角度θ１、θ２について θ１＝θ２ … （２）であるかを判定する。式（１）、（２）が両方とも成り立つ時はステップＳ２０７に進み、式（１）、（２）のどちらか一方の式でも成り立たない時はステップＳ２０８に進む。ステップＳ２０７では、構造物は変位していないがカメラは変位していると判定して、処理を終了する。ステップＳ２０８では、構造物、カメラ共変位していると判定して、処理を終了する。

ステップＳ２０９では、当該時間の背景画像の近景画像Ｙｃと直近過去の背景画像の近景画像Ｘｃとの差分を抽出する。すなわち、近景画像Ｘｃから近景画像Ｙｃを減算し、一定以上の輝度差を持つ画素数をカウントする。ステップＳ２１０では、差分の抽出結果から一定以上の輝度差を持つ画素数が閾値以上であるかどうかを判定する。判定結果が閾値以上である場合はステップＳ２１１に進み。判定結果が閾値以上でない場合はステップＳ２１２に進む。ステップＳ２１２では、構造物は変位していないと判定して、処理を終了する。ステップＳ２０８では、構造物は変位していると判定して、処理を終了する。

図１２〜図１５は、本実施形態による構造物異常判別システムの異常判別時（図９の処理フローのステップＳ３に相当）の詳細な動作内容を示す処理フローである。ステップＳ３０１では、画像処理部２０４での判定結果を取得する。ステップＳ３０２ではステップＳ３０１での判定結果で構造物に変位があるかどうかを判定する。変位がある場合はステップＳ３０３に進み、変位がない場合はステップＳ３０５に進む。

ステップＳ３０３では、変位計１により計測情報を取得する。ステップＳ３０４では、変位計１での計測情報から構造物に変位があるかどうかを判定する。変位がある場合は図１３のステップＳ３１１に進み、変位がない場合は図１４のステップＳ３２１に進む。ステップＳ３０５では、変位計１により計測情報を取得する。

ステップＳ３０６では、変位計１での計測情報から構造物に変位があるかどうかを判定する。変位がある場合は図１５のステップＳ３３１に進み、変位がない場合はＳ３０７に進む。Ｓ３０７では構造物に変位が発生していない正常状態と判定して、処理を終了する。ただし、画像処理部２０４の処理の段階でカメラが変位していると判定されていた時には、「システム（カメラ）異常の可能性あり」の旨の表示を行う。

図１３のステップＳ３１１では、画像の対応点の追跡により、変位量と変位角度とを判定する。ステップＳ３１２では、ステップＳ３１１で得られたデータと変位計１の検出値についてデータを突き合せる。ステップＳ３１３では、ステップＳ３１１での両データの結果がほぼ一致するかどうかを判定する。一致する場合はステップＳ３１４に進み、一致しない場合はステップＳ３１５に進む。ステップＳ３１４では、橋桁１４に変位が発生したと判定して、処理を終了する。ステップＳ３１５では、システム異常の可能性があると判定する。

図１４のステップＳ３２１では、画像の対応点の追跡により、変位量と変位角度とを判定する。ステップＳ３２２では、画像の対応点の追跡の結果、変位方向・変位量が検知できたかが判定される。検知できた場合はステップＳ３２３に進み、検知できなかった場合はステップＳ３２４に進む。ステップＳ３２３では、橋桁１４の変位が発生したと判定して、処理を終了する。

ステップＳ３２４では、画像の対応点の追跡の結果、路面部分に変化の検知があるかが判定される。路面部分の変化の検知がある場合はステップＳ３２５に進み、路面部分の変化の検知がない場合はステップＳ３２６に進む。ステップＳ３２５では、道路上で渋滞発生している、落下物などが路面上に発生している等の路面状態が原因の変化の検知であると判定し、処理を終了する。ステップＳ３２６では、カメラ等のシステム異常の可能性があると判定される。

図１５のステップＳ３３１では、変位計１の検出結果について、規定値以下になっているかを判定する。ここで規定値とは、変位量が画像上明瞭な変化が出る限界値にあたる値である。ステップＳ３３２では、判定結果が規定値以下の場合はステップＳ３３３に進み、規定値以下でない場合はステップＳ３３４に進む。ステップＳ３３３では、変位程度の少ない橋桁１４の変位が発生していると判定し、処理を終了する。ステップＳ３３４では、システム異常の可能性があると判定する。

なお本実施形態に係る構造物異常判別システムは、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図１に示されるシステムの各機能を実現させるためのプログラムを実行することによりその機能を実現させるものであっても良い。

本発明の実施形態にかかる構造物異常判別システムの全体構成を示す構成図である。 本発明の実施形態による構造物異常判別システム内の構造物異常判別装置２ｂの処理及びデータの流れを示した機能ブロック図である。 同構造物異常判別装置２ｂ内の背景画像作成部の詳細な機能ブロック図である。 同構造物異常判別装置２ｂ内の画像処理部の詳細な機能ブロック図である。 本発明の実施形態の画像処理部での画像分割時の処理方法の一例を示す図である。 本発明の実施形態の画像処理部での遠景画像の処理方法の一例を示す図である。 本発明の実施形態の画像処理部での近景画像の処理方法の一例を示す図である。 本発明の実施形態の画像処理部での処理結果の一例を示す図である。 本実施形態による構造物異常判別システムの全体的な動作内容を示す処理フローである。 本実施形態による構造物異常判別システムの背景画像作成時の詳細な動作内容を示す処理フローである。 本実施形態による構造物異常判別システムの画像処理時の詳細な動作内容を示す処理フローである。 本発明の実施形態にかかる構造物異常判別システムの構造物異常判別時の処理フローである。 同構造物異常判別時の処理の内で撮影画像及び変位計の結果共に構造物に変位があると判定された場合の処理フローである。 同構造物異常判別時の処理の内で撮影画像の結果のみ構造物に変位があると判定された場合の処理フローである。 同構造物異常判別時の処理の内で変位計の結果のみ構造物に変位があると判定された場合の処理フローである。 本発明の実施形態にかかる構造物異常判別する橋梁の構造を示す構造図である。

符号の説明

１…変位計、 ２…監視センター、 ３…画像伝送装置、 ４…監視カメラ、 ２ａ…アナライザ、 ２ｂ…構造物異常判別装置

Claims (5)

1. 構造物及びその周囲の状況を撮影する撮影手段と、
   前記構造物に設置された変位計測手段と、
   前記撮影手段で撮影された画像データと、前記変位計測手段で計測された変位データとから前記構造物の変位状態を判定する構造物変位判定手段とを備え、
   前記構造物変位判定手段は、
   前記画像データを遠景領域と近景領域とに分割し、各領域について時間毎の画像データを比較することで、遠景領域の変位量と近景領域の変位量とを算出し、遠景領域の変位量及び変位方向と、近景領域の変位量及び変位方向とに基づいて、構造物の変位状態及び前記撮影手段の移動状態を判定する画像比較判定手段と、
   前記画像比較判定手段の判定結果と、前記変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する異常判定手段と、
   を具備することを特徴とする構造物異常判別システム。
2. 前記画像比較判定手段は、遠景領域の変位量と第１係数との積と、近景領域の変位量と第２係数との積との差から、遠景領域の変位量と近景領域の変位量との差を算出することを特徴とする請求項１に記載の構造物異常判別システム。
3. 前記画像比較判定手段は、時間毎の前記画像データ内の所定の対応点での変位差を算出することで、構造物の変位状態を判定することを特徴とする請求項１又は２に記載の構造物異常判別システム。
4. 撮影手段が構造物及びその周囲の状況を撮影し、変位計測手段が前記構造物の変位データを測定する第１ステップと、
   画像比較判定手段が前記画像データを遠景領域と近景領域とに分割し、各領域について時間毎の画像データを比較することで、遠景領域の変位量と近景領域の変位量とを算出し、遠景領域の変位量及び変位方向と、近景領域の変位量及び変位方向とに基づいて、構造物の変位状態及び前記撮影手段の移動状態を判定する第２ステップと、
   異常判定手段が前記画像比較判定手段の判定結果と、前記変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する第３ステップと、
   からなることを特徴とする構造物異常判別方法。
5. 構造物及びその周囲の状況を撮影する撮影手段と、前記構造物に設置された変位計測手段と、前記撮影手段で撮影された画像データと、前記変位計測手段で計測された変位データとから前記構造物の変位状態を判定する構造物変位判定手段とからなる構造物異常判別システムにおける構造物変位判定処理を行うコンピュータプログラムであって、
   前記画像データを遠景領域と近景領域とに分割し、各領域について時間毎の画像データを比較することで、遠景領域の変位量と近景領域の変位量とを算出し、遠景領域の変位量及び変位方向と、近景領域の変位量及び変位方向とに基づいて、構造物の変位状態及び前記撮影手段の移動状態を判定する画像比較判定ステップと、
   前記画像比較判定ステップでの判定結果と、変位計測手段の変位データとから、構造物の変位状態及びシステム異常の状態を判定する異常判定ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images