JP7156529B2 - 変位測定装置、変位測定方法、およびプログラム - Google Patents

Description

本発明は、対象物の画像から面内変位を測定するための、変位測定装置及び変位測定方法に関し、更には、これらを実現するためのプログラムに関する。

従来から、橋梁などの構造物の状態を非接触によって判定する技術が提案されている（例えば、特許文献１及び２参照）。このような判定技術によれば、点検員は、構造物に接触することなく、構造物の点検を行うことができる。このような判定技術は、点検員が容易に近づけない場所に接地されている構造物に対して特に有用である。

特許文献１は、橋梁等の構造物を被写体とした画像から、判定対象となっている部分の面内変位成分を導出し、導出した面内変位成分に基づいて、構造物の状態を判定する装置を開示している。

具体的には、特許文献１に開示された装置は、まず、可視カメラから、複数の画像を時系列に沿って取得する。そして、特許文献１に開示された装置は、取得した画像のオプティカルフローから、又は画像相関法によって得た変位ベクトル場から、判定対象となる面全体の変位に起因する成分を差し引くことで、面内変位成分を導出する。次いで、特許文献１に開示された装置は、導出した面内変位成分から、面内変位分布を求め、求めた面内変位分布と、基準となる面内変位分布とを比較する。このとき、ひび割れによる開口などの損傷が発生していると、２つの面内分布に相違点が生じるため、特許文献１に開示された装置は、比較結果から、ひび割れ等の欠陥を検出する。

特許文献２は、構造物に生じる熱弾性温度変動を測定し、そして、この熱弾性温度変動を参照信号して用いる自己相関ロックイン方式によって、構造物の応力変動分布を求め、求めた応力変動分布に基づいて、構造物の状態を判定する装置を開示している。

具体的には、特許文献２に開示された装置は、まず、赤外線カメラによって構造物を撮影して得られた熱画像を取得し、取得した熱画像内の任意の部分の熱弾性温度変動の波形（温度変化波形）を特定し、特定した波形を参照信号とする。次いで、特許文献２に開示された装置は、参照信号を用いて、熱画像から得られた熱弾性温度変動信号の中から、応力変動に同期する信号のみを抽出し、熱弾性温度変動信号のＳ／Ｎ比を向上させる。そして、特許文献２に開示された装置は、抽出した信号のみを用いて応力変動分布を求めて、構造物の状態を判定する。

国際公開第２０１６／１５２０７５ 特開２００８－２３２９９８号公報

ところで、特許文献２に開示された装置は、熱弾性効果、即ち、固体に引張応力が作用すれば温度降下が発生し、圧縮応力が作用すれば温度上昇が発生することを利用して、構造物の状態を判定している。熱弾性効果は、構造物の周辺の外気温の影響も受けることから、特許文献２に開示された装置には、判定精度を高く維持することが難しいという問題がある。

また、構造物に発生した損傷に起因する面内変位は、通常、非常に小さく、実環境では面内変位とノイズとの区別が難しい場合がある。このため、特許文献１に開示された装置では、損傷がノイズに埋もれてしまい、面内変位成分を正確に測定できなくなるという問題が発生する場合がある。この場合、構造物の状態を正確に判定できず、損傷の検出が困難になる。

これに対して、特許文献２に開示されている自己相関ロックイン方式では、信号のＳ／Ｎ比の向上が図られる。このため、特許文献２に開示されている自己相関ロックイン方式を、特許文献１に開示された装置に適用すれば、面内変位成分を正確に測定できなくなるという問題を解消できるとも考えられる。

但し、特許文献１に開示された装置で、特許文献２に開示されている自己相関ロックイン方式を利用しようとすると、画像内の任意の部分の変位を参照信号として用いる必要がある。しかし、画像は振動等による外乱変動の影響を受けやすいことから、この方式をそのまま採用しても、参照信号の信頼性が低いため、十分な効果を発揮することが困難である。

本発明の目的の一例は、上記問題を解消し、画像からの面内変位の測定において、ノイズによる影響を抑制し得る、変位測定装置、変位測定方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における変位計測装置は、
対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測部と、
前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測部と、
前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出部と、
を備えている、
ことを特徴とすることを特徴とする。

また、上記目的を達成するため、本発明の一側面における変位計測方法は、
（ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
（ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
（ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
（ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を有する、
ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
（ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
（ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
（ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を実行させる、
ことを特徴とする。

以上のように、本発明によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することができる。

図１は、本発明の実施の形態における変位計測装置の構成を示すブロック図である。 図２は、本発明の実施の形態における変位計測装置の構成をより具体的に示すブロック図である。 図３は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。 図４は、計測対象領域を撮影した画像上の特定領域で観察される変位(δｘ_ｉｊ，δｙ_ｉｊ)の２次元空間分布（以下、変位分布とする）の様子を模擬的に示した図である。 図５（ａ）～図５（ｄ）は、それぞれ、本発明の実施の形態において対応成分抽出部によって行われる処理を説明するための図である。 図６は、本発明の実施の形態における変位計測装置の動作を示すフロー図である。 図７は、本発明の実施の形態における変位計測装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、変位計測装置、変位計測方法、及びプログラムについて、図１～図７を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における変位計測装置の構成について説明する。図１は、本発明の実施の形態における変位計測装置の構成を示すブロック図である。

図１に示すように、本実施の形態における変位計測装置１０は、対象物の画像から面内変位を測定する装置である。図１に示すように、変位計測装置１０は、面全体変位計測部１１と、面内変位計測部１２と、参照信号生成部１３と、対応成分抽出部１４とを備えている。

面全体変位計測部１１は、対象物の時系列画像から、対象物の特定表面における面全体変位を計測する。面内変位計測部１２は、面全体変位と時系列画像とから、対象物の特定表面における面内変位を計測する。

参照信号生成部１３は、面全体変位と面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する。対応成分抽出部１４は、参照信号と面内変位とを用いて、計測された面内変位から、対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する。

このように、本実施の形態では、応力変動に合わせて変化する参照信号が生成され、参照信号に基づいて、応力変動に対応して変化する面内変位成分が抽出される。本実施の形態によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することが可能となる。

続いて、図２～図５を用いて、本実施の形態における変位計測装置１０の構成及び機能についてより具体的に示す。図２は、本発明の実施の形態における変位計測装置の構成をより具体的に示すブロック図である。

図２に示すように、本実施の形態では、変位計測の対象物は、橋梁３０である。変位計測装置１０は、特に、橋梁３０を通過する車両３１による加重によって、橋梁３０が撓んだときに、橋梁３０に設定された計測対象領域における面内変位を計測する。計測対象領域としては、橋梁の桁、床版等が挙げられる。

また、図２に示すように、変位計測装置１０には、撮像装置２０が接続されている。撮像装置２０は、動画を撮影可能なカメラであり、時系列画像をフレーム毎に出力する。具体的には、撮像装置２０は、設定間隔をおいて、撮影を行い、撮影した画像の画像データを連続的に出力する。本実施の形態では、図２に示すように、撮像装置２０は、橋梁３０の計測対象領域である床版（底面）を撮影できるように、配置されている。

図２に示すように、本実施の形態では、変位計測装置１０は、面全体変位計測部１１、面内変位計測部１２、参照信号生成部１３、及び対応成分抽出部１４に加えて、画像データ取得部１５と、面内変位出力部１６と、記憶部１７とを備えている。

画像データ取得部１５は、撮像装置２０から画像データが出力されると、出力された画像データを取得し、取得した画像データを、面全体変位計測部１１と、面内変位計測部１２とに出力する。

面全体変位計測部１１は、本実施の形態では、撮像装置２０が出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、面全体変位計測部１１は、基準画像内での計測対象領域に対応する領域（以下「特定領域」と表記する）の各点について、処理画像毎に、処理画像内で対応する位置をそれぞれ探索して、変位を算出する。このようにして算出された処理画像毎の特定領域に対する変位が、変位分布となる。

具体的には、面全体変位計測部１１は、特定領域内のある箇所（座標）に最も類似している処理画像における箇所（座標）を探索して、特定した箇所（座標）の変位を算出する。類似している箇所の特定手法としては、例えば、ある箇所（座標）、およびその周辺の座標の輝度値を用いて、ＳＡＤ（Sum of Squared Difference）、ＳＳＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等の類似度相関関数を用いて、最も相関が高い位置（座標）を探索する手法が挙げられる。

このような算出処理を、特定領域内の各座標に対して繰り返し実施することで、その処理画像における特定領域に対する変位の分布を得ることができる。また同様の処理を、処理画像毎に行うことで、処理画像毎に特定領域に対する変位分布を得ることができる。ここで、計測対象領域の特定の座標を(i,j)）とし、算出される変位を(δx_ij, δy_ij)と表記することとする。

続いて、面全体変位計測部１１は、算出した変位（δx_ij，δy_ij）と、撮影情報とから、計測対象領域の面方向における移動量（Δx、Δy）と法線方向における移動量（Δz）とを算出する。また、面全体変位計測部１１は、算出した変位（δx_ij，δy_ij）と、移動量（Δx、Δy、Δz）が、面全体変位となる。また、面全体変位計測部１１は、算出した変位（δx_ij，δy_ij）と、移動量（Δx、Δy、Δz）とを、面全体変位情報として、記憶部１７に格納する。撮影情報としては、撮像装置２０における固体撮像素子の１画素のサイズ、レンズの焦点距離、撮像装置２０から計測対象領域までの撮像距離、撮影フレームレート、等が挙げられる。

面内変位計測部１２は、面全体変位計測部１１によって計算された移動量（Δx、Δy、Δz）と時系列画像とから、橋梁３０の特定表面における面内変位を計測する。ここで、面内変位については、(δδx_ij ，δδy_ij)と表記する。

続いて、図３及び図４を用いて、面全体変位計測部１１及び面内変位計測部１２における処理について具体的に説明する。図３は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。また、図３では、対象物である橋梁３０が、通過する車両３１によって、負荷を受け、その結果、計測対象領域が３次元方向に移動量（Δx、Δy、Δz）分だけ移動した状態を示している。

ここで、撮像装置２０の撮像面の中心、つまりレンズの光軸と撮像面との交点となる撮像中心にあたる点を原点とした座標系を考える。この座標系において、撮像装置２０の撮像面上の座標(i, j)の点Ａにおいて観測される変位（δx_ij，δy_ij）について考える。なお、撮像装置２０の撮像面上の座標(i, j)は、撮影された画像上の座標に置き換えることもできる。

図３の状態では、橋梁３０の計測対象領域には、画面上の水平方向及び垂直方向（Ｘ，Ｙ方向）と、法線方向（Ｚ方向）において、移動量（Δx、Δy、Δz）が発生している。計測対象領域は、画面内の水平方向及び垂直方向（Ｘ，Ｙ方向）に移動した分（Δx、Δy）だけ、撮像装置２０の撮像面に対して平行に移動する。また、法線方向（Ｚ方向）に移動した分（Δz）だけ撮像装置２０に近づく。そのため、撮像距離は移動量Δzだけ短くなる。

これにより、図３に示すように、撮像装置２０の撮像面に対して水平方向（Ｘ方向）における計測対象領域の移動量Δxによって生じる変位δxとは別に、移動量Δzによる変位δzx_ijが生じる。同様に、撮像装置２０の撮像面には、画面に対して垂直方向（Ｙ方向）における撮像装置２０の移動量Δyによって生じる変位δyとは別に、移動量Δzによる変位δzy_ijも生じる。

また、橋梁３０が負荷を受けたことによって計測対象領域の表面が変形した場合（ΔΔX_ij，ΔΔY_ij）、それに伴って撮像装置２０の撮像面には、面内変位（δδx_ij，δδy_ij）も重ね合わされる。

ここで、計測対象領域の表面の変形に伴う面内変位(δδx_ij ，δδy_ij)は、例えば、ひび割れのような欠陥がない健全な領域では、表面の変位は連続的に変化するのに対し、ひび割れをまたぐ領域では表面の変位は連続的に変化せずに不連続に変化する。このように、欠陥がない健全な領域と何らかの欠陥がある領域とでは、表面の変位の分布が異なるという特徴を示す。

そして、計測対象領域では、発生する全ての変位が足し合わされて、合成ベクトルとなって観察される。すなわち、点Ａ(i, j)で観測される変位（δx_ij，δy_ij）は、後述の図４に示すように、以下の数１及び数２によって表すことができる。

ここで、レンズの主点から計測対象領域までの撮像距離をＬ、撮像装置２０のレンズ焦点距離をｆ、撮像中心からの座標を（ｉ，ｊ）とすると、対象物３０の面方向の移動(Δx, Δy)に伴う変位(δx, δy)、法線方向の移動(Δz)に伴う変位(δzx_ij,δzy_ij)は、それぞれ、下記の数３、数４で表される。

計測対象領域がすべて同じ３次元の動きをしていると仮定すると、上記の数３及び数４で示される面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、点Ａの座標によらず一定であることがわかる。また、法線方向の移動(Δｚ)に伴う変位(δzx_ij ，δzy_ij)は、点Ａの座標が原点から離れるほど大きくなることがわかる。一方、計測対象領域の面内変位(δδx_ij ，δδy_ij)は、点Ａの座標の座標によらず、表面のひび割れなどの欠陥の位置などに応じて連続・不連続な変位の分布を示す。

図４は、計測対象領域を撮影した画像上の特定領域で観察される変位(δｘ_ｉｊ，δｙ_ｉｊ)の２次元空間分布（以下、変位分布とする）の様子を模擬的に示した図である。図４に示すように面全体変位計測部１１が算出する特定領域の各座標の変位(δｘ_ｉｊ，δｙ_ｉｊ)を変位ベクトルとして表記する。この場合、変位ベクトルは、画面全体で一様な方向及び大きさで観察される面方向の移動(Δｘ, Δｙ)に伴う変位(δx, δy)と、画面の撮像中心から放射状のベクトル群として観察される法線方向の移動(Δｚ)に伴う変位(δzx_ij ，δzy_ij)と、計測対象領域の表面の変形に伴う面内変位(δδx_ij ，δδy_ij)との合成成分として表される。

続いて、面方向の移動(Δｘ,Δｙ)に伴う変位 (δx, δy)を算出する方法について説明する。図４に示すように、面方向の移動(Δｘ, Δｙ)に伴う変位(δx, δy)は、基本的には画面全体で一様な方向及び大きさで観察される。そこで、面全体変位計測部１１によって、撮像中心を中心とした特定領域の各座標において算出された変位（δx_ij，δy_ij）に、変位の方向によってプラスマイナスを付加し、これを変位ベクトルとする。そして、対象となる各座標における変位ベクトルを全て足し合わせ、平均を算出することにより、面方向の移動(Δx, Δy)に伴う変位(δx,δy)が算出される。

次に、法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)を算出する方法について述べる。まず、法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)のみが発生する状態を考える。そのベクトルの大きさＲ（i,j）は、特定領域の移動量Δzが特定領域内で一定であれば、下記の数５に示すように、撮像中心からの距離に比例した値となる。また、下記の数６に示すように比例定数をｋと置けば、数５は、数７のようにも表される。

一方、実際に、面全体変位計測部１１によって最初に算出される変位(δx_ij，δy_ij)は、図４に示すように、合成ベクトル（図４：超太実線の矢印）で構成されている。そして、この合成ベクトル(δx_ij，δy_ij)は、図４からもわかるとおり、法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)（図３、図４：中実線の矢印）と、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)（図３、図４：太実線の矢印）と、計測対象領域の表面の変形及び変位に伴う面内変位(δδx_ij ，δδy_ij)（図３、図４：細実線の矢印）とを含んでいる。

従って、この合成ベクトル(δx_ij，δy_ij)から、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)を減算して得られたベクトルは、法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)と、面内変位(δδx_ij ，δδy_ij)との合成ベクトルに相当する。

よって、ある座標(i,j)における法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ijｊ)と面内変位(δδx_ij ，δδy_ij)との合成ベクトルをR_mes(i ,j)とすると、これらは下記の数８で表すことができる。

ところで、面内変位(δδx_ij ，δδy_ij)は、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)に比べると、十分に小さいとみなせる。そのため、支配的な成分である面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)に着目すると、上記の数８は、下記の数９のように表すことができる。

この場合、座標(i, j)におけるR_mes(i ,j)は、法線方向の移動(Δz)に伴う変位ベクトル成分(δzx_ij ，δzy_ij)とほぼ等しいとして扱うことができる。このとき、法線方向の移動量Δｚを与えた時の変位ベクトルは、数６～数８に示すR(i, j)で表される。

このため、面全体変位計測部１１は、数９によって求めた変位ベクトルの大きさR_mes(i ,j)を用いて、法線方向の移動(Δz)に伴う変位ベクトル(δzx_ij ，δzy_ij)による変位ベクトルの大きさR(i ,j)の拡大・縮小の割合を推定する。具体的には、面全体変位計測部１１は、下記の数１０に示す評価関数E(k)を最少にする比例定数kを求めることによって、R(i ,j)の倍率を推定する。

従って、面全体変位計測部１１は、上記の数１０に最小２乗法を適用して、比例定数ｋを算出する。また、評価関数E(k)としては、上記の数１０に示したR_mes(i ,j)とR(i ,j)との差の２乗和以外に、絶対値和、他の累乗和等が用いられていても良い。

そして、面全体変位計測部１１は、算出した比例定数kを、拡大・縮小の割合を示す定数として、上記数７に適用して、移動量Δzを算出する。そして、面全体変位計測部は、算出したΔzと、面方向の移動(Δx, Δy)に伴う変位(δx,δy)と、撮影情報とを、上記数３に適用することによって、移動量Δx及びΔｙも算出する。

また、面全体変位計測部１１は、撮像装置２０による撮影の毎、即ち、時系列画像のフレーム毎に、計測対象領域の面方向における移動量と、計測対象領域の法線方向における移動量とを算出する。そして、面全体変位計測部１１は、時系列画像のフレーム毎に算出した移動量を、面全体変位情報として、記憶部１７に格納する。また、この場合、面全体変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。

面内変位計測部１２は、面全体変位計測部１１によって算出された計測対象領域の面方向における移動量（Δx, Δy）、及び計測対象領域の法線方向における移動量（Δz）を用いて、最初に算出された変位（変位ベクトル(δｘ_ｉｊ，δｙ_ｉｊ)から、計測対象領域の面内変位(δδx_ij ，δδy_ij)を算出する。また、面内変位の算出は、時系列画像のフレーム毎に行われている。

図４によると、面内変位(δδx_ij ，δδy_ij)を算出するためには、面内変位計測部１２によって算出された変位ベクトル(δｘ_ｉｊ，δｙ_ｉｊ)から、計測対象領域の移動量（Δx ,Δy ,Δz）によって発生する変位成分を減算すれば良いことが分かる。つまり、面内変位計測部１２は、下記の数１１及び数１２を用いることによって、面内変位(δδx_ij ，δδy_ij)を算出する。

また、面内変位計測部１２は、撮像装置２０によって撮影が行われる度に、即ち、時系列に沿って、面内変位(δδx_ij ，δδy_ij)を算出する。そして、面内変位計測部１２は、時系列画像のフレーム毎に算出した面内変位を、面内変位情報として、記憶部１７に格納する。また、この場合、面内変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。なお、本明細書においては、面内変位情報は、「面内変位信号」とも表記する。

参照信号生成部１３は、本実施の形態では、対象物の特定表面上の注目点の特定方向における面内変位から、注目点の特定方向における歪みの時系列変化ε(t)を算出し、算出した歪みの時系列変化ε(t)を示す信号を、参照信号として生成する。

具体的には、予め、変位計測装置１０の操作者等によって、注目点が指定される。図２に示すように、対象物が橋梁３０であり、計測対象領域が床版である場合は、床版上の点が注目点として指定される。

参照信号生成部１３は、注目点が指定されると、注目点を取り囲む複数の点（例えば４点）を決定する。ここで、各点で囲まれた領域を「局所領域」とする。次に、参照信号生成部１３は、記憶部１７から、決定した点それぞれにおける面内変位情報を取得する。

そして、特定方向についても、注目点と同様に、予め指定されている場合は、参照信号生成部１３は、取得した各点の面内変位情報を用いて、局所領域の特定方向における長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。

一方、特定方向が予め指定されていない場合は、参照信号生成部１３は、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部１３は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。

その後、参照信号生成部１３は、算出した歪みの時系列変化から得られた参照信号を、参照信号情報として、記憶部１７に格納する。

対応成分抽出部１４は、本実施の形態では、いわゆる自己相関ロックイン方式によって、面内変位情報を補正することによって、橋梁３０に生じた応力の変動に対応して変化する面内変位成分を抽出する。ここで、図５を用いて、対応成分抽出部１４による処理について説明する。図５（ａ）～図５（ｄ）は、それぞれ、本発明の実施の形態において対応成分抽出部によって行われる処理を説明するための図である。

具体的には、最初に対応成分抽出部１４は、図５（ａ）に示す面内変位信号（面内変位情報）と参照信号とを取得する。次いで、対応成分抽出部１４は、図５（ｂ）に示すように、時系列に沿って、即ち、時系列画像のフレーム毎に、参照信号の値と面内信号の値とを比較する。そして、対応成分抽出部１４は、図５（ｃ）に示すように、参照信号と面内変位信号との関係を示す回帰直線を算出する。

次に、対応成分抽出部１４は、図５（ｄ）に示すように、算出した回帰直線を用いて、面内変位信号を補正する。具体的には、対応成分抽出部１４は、各時刻の参照信号に対応する当該時刻の面内変位信号を回帰直線から求めて出力する。なお、この時、対応成分抽出部１４は、回帰直線の切片を０と見なした値を出力することにより、面内変位に定常的に含まれるオフセット成分を除去することもできる。以上の補正は、対象物の特定表面内の全点について、独立に行われる。

そして、このような補正により、面内変位情報を構成する各面内変位から、外乱等によるノイズ成分が除去されるので、補正後の面内変位情報は、橋梁３０に生じた応力の変動に対応して変化する面内変位成分のみとなる。

面内変位出力部１６は、対応成分抽出部１４によって補正された面内変位情報を、外部の端末装置等に出力する。これにより、端末装置等の画面には、補正後の面内変位情報に含まれる面内変位が、時系列にそって表示される。この結果、橋梁３０の点検員は、ノイズの影響が抑制された面内変位を観察することができ、正確に、橋梁３０の状態を判定することができる。

［装置動作］
次に、本発明の実施の形態における変位計測装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における変位計測装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参酌する。また、本実施の形態では、変位計測装置を動作させることによって、変位計測方法が実施される。よって、本実施の形態における変位計測方法の説明は、以下の変位計測装置１０の動作説明に代える。

図６に示すように、最初に、画像データ取得部１５は、撮像装置２０から時系列画像の画像データが出力されると、出力された画像データを取得し、取得した画像データを、フレーム毎に、面全体変位計測部１１及び面内変位計測部１２に出力する（ステップＡ１）。

次に、面全体変位計測部１１は、ステップＡ１によって時系列画像の画像データが出力されてくると、フレーム毎に、対象物である橋梁３０の計測対象領域の面全体変位を計測する（ステップＡ２）。また、面全体変位計測部１１は、計測結果を、面全体変位情報として、記憶部１７に格納する。

次に、面内変位計測部１２は、ステップＡ１で出力されてきた時系列画像の画像データと、ステップＡ２で計測された面全体変位とを用いて、フレーム毎に、対象物である橋梁３０の計測対象領域における面内変位を計測する（ステップＡ３）。また、面内変位計測部１２は、計測結果を、面内変位情報として、記憶部１７に格納する。

次に、参照信号生成部１３は、ステップＡ２で計測された面全体変位と、ステップＡ３で計測された面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する（ステップＡ４）。また、参照信号生成部１３は、生成した参照信号を、参照信号情報として、記憶部１７に格納する。

次に、対応成分抽出部１４は、ステップＡ４で生成された参照信号を用いて、ステップＡ３で計測された面内変位から、橋梁３０に発生した応力の変動に対応して変化する面内変位成分を抽出する（ステップＡ５）。具体的には、対応成分抽出部１４は、自己相関ロックイン方式によって、面内変位情報を補正し、それによって、橋梁３０に発生した応力の変動に対応して変化する面内変位成分を抽出する。

その後、面内変位出力部１６は、ステップＡ５で抽出された面内変位成分、具体的には、対応成分抽出部１４によって補正された面内変位情報を、外部の端末装置等に出力する（ステップＡ６）。

ステップＡ６の実行により、端末装置等の画面には、補正後の面内変位情報に含まれる面内変位が、時系列にそって表示される。また、ステップＡ１～Ａ６は、変位観測が終了するまで、時系列画像のフレーム毎に繰り返し実行される。

［実施の形態による効果］
以上のように本実施の形態では、応力変動に合わせて変化する参照信号が生成され、参照信号によって、最初に計測された面内変位の値が補正される。この結果、面内変位から、外乱等によるノイズが除去されるので、補正により、橋梁３０に生じた応力の変動に対応して変化する面内変位成分のみとなる。つまり、本実施の形態によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することが可能となる。

［変形例１］
次に、本発明の実施の形態の変形例１～変形例４について説明する。まず、本変形例１では、面全体変位計測部１１が、対象物の特定表面の面内方向、及び対象物に印加される外力の印加方向において、面全体変位を計測することが条件となる。なお、上述した実施の形態では、対象物が橋梁３０であり、外力の印加方向が法線方向であるので、上記条件は満たされている。

そして、本変形例１においては、参照信号生成部１３は、外力印加方向における面全体変位の時系列変化D(t)を算出し、算出した面全体変位の時系列変化を示す信号を、参照信号として生成する。具体的には、参照信号生成部１３は、面全体変位情報から、面全体変位計測部１１によって計測された、法線方向における移動量（Δz）の時系列変化を特定し、この特定した移動量（Δz）の時系列変化D(t)を参照信号とする。

本変形例１によれば、上述した実施の形態と異なり、注目点の指定、更には、特定方向の指定が必要ないため、橋梁３０の点検員における負担が軽減される。なお、本変形例１は、撮像装置２０が、外力の影響を受けにくいところに十分に固定されており、且つ、外力による応力変動と外力の印加方向における面全体変位とが連動している、場合に有用である。

［変形例２］
本変形例２では、参照信号生成部１３は、まず、面内変位を用いて、対象物の特定表面における局所歪みを算出し、更に、局所歪みを特定表面全体について積算して、対象物の特定表面全体における歪みの時系列変化を算出する。そして、参照信号生成部１３は、算出した歪みの時系列変化を示す信号を、参照信号として生成する。

具体的には、参照信号生成部１３は、画像データのフレーム毎に、計測対象領域の座標(i,j)での局所的な変形状態から局所歪みε（t,i,j）を求めるため、まず、座標(i,j)を取り囲む複数の点（例えば４点）を決定する。ここでの各点で囲まれた領域も「局所領域」とする。

次いで、参照信号生成部１３は、記憶部１７から、決定した点それぞれにおける面内変位情報を取得し、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部１３は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を局所歪みs(t,i,j)とする。

続いて、参照信号生成部１３は、局所歪みs(t,i,j)を、計測対象領域全体に亘って積算して、計測対象領域の全体にわたる歪み量S(t)を算出し、算出した歪み量S(t)を参照信号とする。本変形例２では、参照信号は、局所歪みから求められるため、本変形例２は、撮像装置２０の固定が不十分な場合、外力による応力変動と外力の印加方向における面全体変位との連動性が低い場合にも有用である。

［変形例３］
本変形例３でも、変形例２と同様に、参照信号生成部１３は、座標(i,j)を取り囲む複数の点（例えば４点）を決定し、記憶部１７から、決定した点それぞれにおける面内変位情報を取得する。但し、本変形例３では、変形例２と異なり、参照信号生成部１３は、取得した各点の面内変位情報を用いて、局所領域における局所変形を示す特異値σ₁、σ₂（σ₁≧σ₂）、及び特異ベクトルv₁を求める。なお、ここでの特異ベクトルv₁は、特異値σ1に対応する左特異ベクトルとするが、本変形例３では、それ以外の特異ベクトルが選ばれるように決められていても良い。

次いで、参照信号生成部１３は、数１３を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルv_op(t,i,j)を算出する。

次に、参照信号生成部１３は、算出した局所開口ベクトルの主成分分析を行って、第１主成分を特定する。具体的には、参照信号生成部１３は、時刻ｔにおけるv_op(t,i,j)による点群の分布を入力として、点群の最大の広がり方向を、主成分分析により導出する。更に、参照信号生成部１３は、主成分分析により得られた第１主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例３では、主成分分析を用いることにより、面内変位に含まれるノイズに対して、より頑健な参照信号を得ることができる。

［変形例４］
本変形例４では、変形例２と同様に、参照信号生成部１３は、まず、座標(i,j)毎に局所歪みs(t,i,j)を算出する。また、参照信号生成部１３は、変形例１と同様に、外力印加方向における面全体変位の時系列変化D(t)も算出する。続いて、参照信号生成部１３は、座標(i,j)毎に、局所歪みs(t,i,j)と時系列変化D(t)との回帰係数w(i,j)を算出する。

続いて、参照信号生成部１３は、変形例３と同様に、上記数１を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルv_op(t,i,j)を算出する。

次に、参照信号生成部１３は、局所開口ベクトルv_op(t,i,j)それぞれに、重みとして、回帰係数w(i,j)を乗算する。次に、参照信号生成部１３は、局所開口ベクトルv_op(t,i,j)それぞれに、重みとして回帰係数w(i,j)を乗算する。更に、参照信号生成部１３は、時刻ｔにおける重み乗算後の局所開口ベクトルv_op(t,i,j)に対して、変形例３と同様の主成分分析を行う。主成分分析により得られた第１主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例４では、外力と連動度の低い点において、局所開口ベクトルの主成分分析への寄与度を下げることにより、面内変位に含まれるノイズに対してより頑健な参照信号を得ることができる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における変位計測装置１０と変位計測方法とを実現することができる。この場合、コンピュータのプロセッサは、面全体変位計測部１１、面内変位計測部１２、参照信号生成部１３、対応成分抽出部１４、画像データ取得部１５、及び面内変位出力部１６として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、面全体変位計測部１１、面内変位計測部１２、参照信号生成部１３、対応成分抽出部１４、画像データ取得部１５、及び面内変位出力部１６のいずれかとして機能しても良い。

（物理構成）
ここで、本実施の形態におけるプログラムを実行することによって、変位計測装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における変位計測装置を実現するコンピュータの一例を示すブロック図である。

図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における変位計測装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、変位計測装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測部と、
前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測部と、
前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出部と、
を備えている、
ことを特徴とする変位計測装置。

（付記２）
付記１に記載の変位計測装置であって、
前記参照信号生成部が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。

（付記３）
付記１に記載の変位計測装置であって、
前記面全体変位計測部が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
前記参照信号生成部が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。

（付記４）
付記１に記載の変位計測装置であって、
前記参照信号生成部が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。

（付記５）
（ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
（ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
（ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
（ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を有する、
ことを特徴とする変位計測方法。

（付記６）
付記５に記載の変位計測方法であって、
前記（ｃ）のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。

（付記７）
付記５に記載の変位計測方法であって、
前記（ａ）のステップにおいてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
前記（ｃ）のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。

（付記８）
付記５に記載の変位計測方法であって、
前記（ｃ）のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。

（付記９）
コンピュータに、
（ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
（ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
（ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
（ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。

（付記１１）
付記９に記載のプログラムであって、
前記（ａ）のステップにおいてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
前記（ｃ）のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。

（付記１２）
付記９に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように、本発明によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することができる。本発明は、橋梁などの構造物の状態を画像から判定するシステムに有用である。

１０ 変位計測装置
１１ 面全体変位計測部
１２ 面内変位計測部
１３ 参照信号生成部
１４ 対応成分抽出部
１５ 画像データ取得部
１６ 面内変位出力部
１７ 記憶部
２０ 撮像装置
３０ 橋梁
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (6)

1. 対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測手段と、
   前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測手段と、
   前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成手段と、
   前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出手段と、
   を備えている、
   ことを特徴とする変位計測装置。
2. 請求項１に記載の変位計測装置であって、
   前記参照信号生成手段が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
   ことを特徴とする変位計測装置。
3. 請求項１に記載の変位計測装置であって、
   前記面全体変位計測手段が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
   前記参照信号生成手段が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
   ことを特徴とする変位計測装置。
4. 請求項１に記載の変位計測装置であって、
   前記参照信号生成手段が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
   ことを特徴とする変位計測装置。
5. （ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測し、
   （ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測し、
   （ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成し、
   （ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、
   ことを特徴とする変位計測方法。
6. コンピュータに、
   （ａ）対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
   （ｂ）前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
   （ｃ）前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
   （ｄ）前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
   を実行させる、プログラム。

Images