JP6308962B2 - 変位又はひずみ算出プログラム、及び変位又はひずみ測定方法 - Google Patents

Description

本願発明は、コンクリート構造物等の変位又はひずみ（以下、「ひずみ等」という。）を測定する技術に関するものであり、より具体的には、変形前の画像と変形後の画像を比較することでひずみ等を算出するプログラム、及びひずみ等を測定する方法に関するものである。

例えばコンクリート構造物のひずみを測定する場合、従来ではひずみゲージを用いた直接的な手法が主流であったが、近年では写真画像を用いて測定する手法も採用されている。構造物が変形する前の画像と変形した後の画像を比較し、画像処理を行うことでひずみを求めるわけである。具体的には、構造物の表面にある標点に着目し、この標点が構造物の変形前後でどのように移動したかを見ることでひずみを把握する。

画像によってひずみ等を測定する手法の１つである「画像相関法」について簡単に説明する。まず、変形前の画像内にある標点に着目し、この標点を含む領域であるサブセットを設定する。このサブセットは、複数の画素によって形成される。次に、変形後の画像内からサブセットと最もよく画像相関する特定領域を探索し、この特定領域内にある標点を求める。そして、変形前の標点と変形後の標点を比較することで、いわば標点の移動（大きさ、方向）を把握する。これを測定する範囲で繰り返し行うことで、構造物のひずみ等が得られる。

特許文献１でも、画像を用いて測定対象物の変位を測定する手法を提案しており、ここでも画像相関法を採用することとしている。

特開２０１３−０８３６０５号公報

特許文献１で提案される技術は、赤熱状態にある測定対象物の変位を求めるもので、変形前後の画像をそれぞれＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３成分に分け、このうち輝度変化が最も小さい成分で両画像を変換し、パターンマッチングを行う手法である。

図９は、画像相関法における画像マッチング手法を示す説明図である。この図に示すように、画像相関法により変形前後の画像のマッチングを行う場合、変形前の画像からサブセット（テンプレート画像）を切り出し、変形後の画像全体から最も画像相関する特定領域を探索していた。具体的には、サブセットを変形後画像内で１画素（あるいは数画素）ずつ移動させながら、画像の相違度を算出していき、相違度が最少となった画像を特定領域とするわけである。なお、ここで相違度とは、ＲＧＢやグレースケールによって算出されるいわば色の物理量を求め、この物理量を比較した結果得られる値である。

このようなマッチング手法によれば、変形後画像内のどこにあっても特定領域を探索することができる反面、相当な数の画像比較（相違度算出）が必要となり、最終結果を得るまでに長時間を要することを余儀なくされていた。特に画像サイズが大きいときは、莫大な数の画像比較が行われ、多大な計算コストがかかっていた。

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、コンクリート構造物等の変形前後の画像をマッチングするにあたり、従来よりも大幅に計算時間を圧縮することができる、変位又はひずみ算出プログラム、及び変位又はひずみ測定方法を提供することである。

本願発明は、変形前後の画像内にある特徴点の位置変化を利用して、変形後の標点位置を推定したうえで画像のマッチングを行うという点に着目してなされたものであり、これまでにない発想に基づいて行われたものである。

本願発明の変位又はひずみ算出プログラムは、対象物の変形前後の画像を比較することで、対象物のひずみ等を求める処理をコンピュータに実行させるプログラムであり、変形前特徴点認識処理と、サブセット作成処理、変形後特徴点認識処理、特徴点変位算出処理、変形後標点内挿処理、探索領域設定処理、サブセット相当領域探索処理、変位又はひずみ算出処理を、コンピュータに実行させる機能を備えたものである。このうち変形前特徴点認識処理は、変形前の画像内にある３以上の特徴点を特定する処理であり、サブセット作成処理は、３以上の特徴点で形成される領域（以下、「主領域」という。）内にある標点を含んで複数の画素からなるサブセットを作成する処理である。また変形後特徴点認識処理は、変形後の画像内にある３以上の特徴点を特定する処理であり、特徴点変位算出処理は、対応する変形前後の特徴点を比較することによってこれら特徴点の変位を求める処理である。変形後標点内挿処理は、３以上の特徴点の変位に基づいて変形後の画像内に標点を内挿する処理であり、探索領域設定処理は、変形後の画像内における標点位置に基づいて探索領域を設定する処理である。サブセット相当領域探索処理は、サブセット内の基準点を探索領域内で移動させながら、サブセットの画像と最も近似する画像（以下、「サブセット相当領域」という。）を変形後の画像から探索する処理である。そして変位又はひずみ算出処理は、サブセットの位置とサブセット相当領域の位置に基づいて、対象物の変位又はひずみを求める処理である。

本願発明の変位又はひずみ算出プログラムは、変形後標点推定処理をコンピュータに実行させる機能をさらに備えたものとすることもできる。変形後標点推定処理は、サブセット相当領域内で標点の位置を推定する処理である。この場合、推定された標点の位置がサブセット相当領域の周縁にあるときは、探索領域を拡張したうえで、再度、サブセット相当領域探索処理を実行させる。

本願発明の変位又はひずみ算出プログラムは、探索領域設定処理が、サブセットよりも小さい領域で探索領域を設定するものとすることもできる。

本願発明の変位又はひずみ測定方法は、対象物の変形前後の画像を比較することで対象物のひずみ等を測定する方法であり、変形前特徴点抽出工程と、サブセット作成工程、変形後特徴点抽出工程、特徴点変位算出工程、変形後標点内挿工程、探索領域設定工程、サブセット相当領域探索工程、変位又はひずみ算出工程を備えた方法である。このうち変形前特徴点抽出工程では、変形前の画像内にある３以上の特徴点が抽出され、サブセット作成工程では、主領域が形成されるとともに主領域内にある標点を含んで複数の画素からなるサブセットが作成される。また変形後特徴点抽出工程では、変形後の画像内にある３以上の特徴点が抽出され、特徴点変位算出工程では、対応する変形前後の特徴点を比較することによって特徴点の変位が求められる。変形後標点内挿工程では、３以上の特徴点の変位に基づいて変形後の画像内に標点が内挿され、探索領域設定工程では、変形後の画像内における標点位置に基づいて探索領域が設定される。サブセット相当領域探索工程では、サブセット内の基準点を探索領域内で移動させながら、変形後の画像からサブセット相当領域が探索される。そして変位又はひずみ算出工程では、サブセットの位置とサブセット相当領域の位置に基づいて、対象物の変位又はひずみが求められる。

本願発明の変位又はひずみ測定方法は、変形後標点推定工程をさらに備えた方法とすることもできる。変形後標点推定工程では、サブセット相当領域内で標点の位置が推定される。この場合、推定された標点の位置がサブセット相当領域の周縁にあるときは、探索領域を拡張したうえで、再度、サブセット相当領域探索工程が行われる。

本願発明の変位又はひずみ算出プログラム、及び変位又はひずみ測定方法には、次のような効果がある。
（１）主に画像のみを利用するため、ひずみゲージに比べて広い範囲を一度に、しかも容易に、コンクリート構造物等の変位やひずみを求めることができる。
（２）従来に比べ探索範囲が極めて小さいことから、計算時間が著しく圧縮され、すなわち計算に掛かるコストを大幅に抑えることができる。
（３）計算時間は短縮されても、従来と同等の精度でひずみ等を求めることができる。

本願発明の主な処理（工程）の流れを示すフロー図。 コンクリート梁をデジタルカメラで撮影して取得した画像を示す説明図。 （ａ）は変形前画像から抽出された４つの角点を示すモデル図、（ｂ）は変形後画像から抽出された４つの角点を示すモデル図。 （ａ）は変形前画像内に作成されたサブセットを示すモデル図、（ｂ）は変形後画像内に設定された探索領域を示すモデル図。 変形前角点と変形後角点の相対的な位置関係を示すモデル図。 サブセットが変形後画像内を走査する状況を示すモデル図。 （ａ）は変形後標点の位置が探索領域の周縁に求められた状態を示すモデル図、（ｂ）は変形後標点が求められた画素の外側に１１画素を追加して拡張された探索領域を示すモデル図。 探索領域を拡張する場合における処理（工程）の流れの一部を示すフロー図。 画像相関法における画像マッチング手法を示す説明図。

本願発明の「変位又はひずみ算出プログラム、及び変位又はひずみ測定方法」の実施形態の一例を、図１のフロー図を参照しながら説明する。図１は、本願発明の主な処理（工程）の流れを示すフロー図であり、中央の列に実施する行為（処理、工程）を示し、左列にはその行為に必要な入力情報を、右列にはその行為から生ずる出力情報を示している。なお、ここでは便宜上、測定する対象物をコンクリートの梁として説明するが、当然ながら本願発明は、コンクリート梁に限らず様々な物を対象物とすることができる。

はじめに、コンクリート梁の画像を用意する。この画像は、例えばデジタルカメラで撮影することで取得できる。図２は、コンクリート梁１０をデジタルカメラで撮影して取得した画像２０を示す説明図である。この図では、コンクリート梁１０を部分的に写す３枚の画像２０が得られている。この図のように間隔をあけて撮影してもよいし、隣接する画像２０をラップさせながら全体を網羅するように撮影してもよいし、あるいは１つの画像で全体を撮影することもできる。

この画像２０は、コンクリート梁１０が変形する前と、変形した後の２枚一組で用意される。つまり図２の場合でいえば、少なくとも２枚×３組の画像が用意される。便宜上ここでは、コンクリート梁１０の変形前の画像２０を「変形前画像２１」、変形後の画像を「変形後画像２２」として説明する。対応する（つまり比較される）変形前画像２１と変形後画像２２は、デジタルカメラの位置・姿勢を固定するなど同じ範囲を撮影したものとすることが望ましいが、コンクリート梁１０の変形前後で変化しない複数の不動点が両方の画像内に含まれるように撮影されれば必ずしも同じ範囲とする必要はない。

以下、説明する処理は、コンピュータ装置を利用することで実行することができる。このコンピュータ装置は、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型端末やスマートフォン、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）などによって構成することができる。コンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含む。なお、一般的なＰＣであればマウスやキーボード等のデバイスから入力するが、タブレット型端末やスマートフォンではタッチパネルを用いた操作（タップ、ピンチイン／アウト、スライド等）で入力することが多い。

例えば画像データサーバから変形前画像２１を読み出し、この変形前画像２１内にある特徴点を抽出する（Ｓｔｅｐ１０）。ここで特徴点とは、画像として特徴ある点のことであり、後に説明するように標点を囲む主領域の構成点であるから、ここでは特に「角点」ということとする。図３は、画像２０から抽出された４つの角点を示すモデル図であり、図３（ａ）は変形前画像２１の場合、図３（ｂ）は変形後画像２２の場合を示す。なお、ここでは便宜上、変形前画像２１内に求めた角点を図３（ａ）に示すように「変形前角点３１」とし、変形後画像２２内に求めた角点を図３（ｂ）に示すように「変形後角点３２」とする。

変形前角点３１は、主領域を構成する点であるから、１つの変形前画像２１から３点以上（図３では４点）が抽出され特定される。変形前角点３１は、オペレータ操作によって指定することもできるが、従来から用いられている画像認識技術によって自動認識することもできる。そのため、コンクリート梁１０表面にあらかじめ変形前角点３１をマーキングしておくか、コンクリート梁１０表面が一様とならないようスプレー等でランダムな模様を付しておくと良い。

変形前角点３１が抽出できると、図３（ａ）に示すように、変形前画像２１の中に変形前角点３１で囲まれる主領域４０を形成する（Ｓｔｅｐ２０）。そして、この主領域４０内から標点を特定する（Ｓｔｅｐ３０）。この場合も変形前角点３１と同様、標点をオペレータ操作によって指定することもできるが、従来から用いられている画像認識技術によって自動認識することもできる。したがって、コンクリート梁１０表面のうち他と識別できる特徴的な点を標点とする良い。なお、ここでは便宜上、変形前画像２１内に求めた標点を図３（ａ）に示すように「変形前標点５１」とし、変形後画像２２内に求めた標点を「変形後標点５２」とする。

変形前標点５１が抽出できると、変形前画像２１の中にサブセット６０を作成する（Ｓｔｅｐ４０）。このサブセット６０は複数の画素（例えば、１０１×１０１画素）からなり、変形前標点５１を含む領域である。例えば、図４（ａ）に示すように変形前標点５１を中心としたサブセット６０を作成することができる。

ここまでが変形前画像２１に対する処理であり、以降は変形後画像２２を使用した処理となる。まず、例えば画像データサーバから変形後画像２２を読み出し、変形前角点３１を抽出した処理と同様の要領で、変形後画像２２内にある変形後角点３２を抽出する（Ｓｔｅｐ５０）。図３（ｂ）に、変形後画像２２内に求めた４つの変形後角点３２を示す。

次に、図５に示すように、変形後画像２２内で変形前角点３１の位置と変形後角点３２の位置を比較する。既述したとおり変形前画像２１と変形後画像２２は、同じ範囲を撮影したものであるか、コンクリート梁１０の変形前後で変化しない不動点が両画像内に含まれていることから、変形前角点３１と変形後角点３２の相対的な位置を求めることができる。なお、変形前画像２１内で変形前角点３１と変形後角点３２の位置を比較することもできるし、変形前画像２１や変形後画像２２とは異なる他の画像等を用いて比較することもできる。

変形前角点３１と変形後角点３２の相対的な位置が確認できると、コンクリート梁１０の変形前後で、それぞれの角点がどの程度変位したかを算出する（Ｓｔｅｐ６０）。具体的には同じ角点に着目し、変形前角点３１の位置座標と変形後角点３２の位置座標から、変位量（長さ）と変位方向、すなわち変位ベクトルを求める。これをすべての角点（図５では４点）で繰り返し行い、次の処理に進む。

それぞれ角点の変位ベクトルが得られると、図５に示すように、変形後画像２２内に変形後標点５２を内挿する（Ｓｔｅｐ７０）。４つの角点の変位ベクトルに基づいて変形前標点５１の変位ベクトルを推定し、変形後標点５２の位置を算出するわけである。この内挿処理を行う場合、主に有限要素法で用いられている形状関数を利用して計算することができる。もちろん、角点の変位ベクトルに基づいて行う計算手法であれば、形状関数に限らず他の手法を採用することもできる。なお、ここで算出された変形後標点５２の位置は最終的なものではなく、いわば仮の位置として捉えられる。

変形後画像２２内に変形後標点５２が内挿されると、図３（ｂ）に示すように、変形後標点５２に基づいて、複数の画素からなる探索領域７０が設定される（Ｓｔｅｐ８０）。図３（ｂ）では、変形後標点５２を中心とした探索領域７０が設定されている。この探索領域７０は、変形前画像２１内に作成された（Ｓｔｅｐ４０）サブセット６０よりも小さい領域とすると良い。例えば、サブセット６０が１０１×１０１画素であれば、探索領域７０は３１×３１画素、あるいは２１×２１画素で設定することができる。

変形後画像２２内に探索領域７０が設定されると、サブセット６０で変形後画像２２内を走査する（Ｓｔｅｐ９０）。このとき、サブセット６０内にある所定の基準点（例えば、サブセット６０の中心点）が、探索領域７０内を順次移動するように走査していく。図６は、サブセット６０が変形後画像２２内を走査する状況を示すモデル図であり、サブセット６０の中心点が探索領域７０内を順次（図では左上から）移動している様子を示している。

サブセット６０を例えば１画素ずつ移動させるたびに、サブセット６０の画素が有する輝度（あるいは色）と、サブセット６０と重なる変形後画像２２の画素が有する輝度（あるいは色）を比較する。サブセット６０を構成する全ての画素で輝度等の比較を行い、サブセット６０と変形後画像２２の相関を求める。このとき、既述した相違度を利用すると良い。サブセット６０を探索領域７０で移動させながら複数の画像相関を求め、例えば相違度が最小となるなど最も画像が近似する領域（つまり、探索領域７０の一部）を探索し、この領域をサブセット相当領域として特定する。あらかじめ変形後標点５２の位置を想定していることから、探索領域７０を小さい範囲に限定することが可能となり、したがって画像探索に掛かる計算処理を著しく短縮させることができる。

サブセット相当領域が特定できると、サブセット相当領域内の所定位置（例えば、中心点）を変形後標点５２の位置として決定する（Ｓｔｅｐ１００）。１つの変形前画像２１内には、複数の変形前標点５１が含まれることもあるので、変形前標点５１を特定する処理（Ｓｔｅｐ３０）から、変形後標点５２位置を決定する処理（Ｓｔｅｐ１００）までを、変形前標点５１の数だけ繰り返し行う。

ところで、探索領域７０を小さくした結果、図７（ａ）に示すように変形後標点５２の位置が探索領域７０の端部（周縁）に求められることもある。この場合、実際には設定した探索領域７０の外側に、変形後標点５２の位置を求めるべきとも考えられる。そこでこのようなケースでは、探索領域７０をさらに拡張したうえで画像探索を行うこともできる。例えば図７（ｂ）では、変形後標点５２が求められた画素（網がけ部）の外側に１１画素を追加する領域拡張を行っている。

図８を参照して、探索領域を拡張する場合における処理（工程）について詳しく説明する。ここまで説明した処理を行い、変形後標点５２の位置を決定する（Ｓｔｅｐ１００）。そして変形後標点５２の位置が、設定した探索領域７０の周縁にあるか否かを判定する（Ｓｔｅｐ１２０）。変形後標点５２が探索領域７０の周縁にない場合（Ｎｏ）、次の処理へ進む。すなわち、同じ変形前画像２１内に他の変形前標点５１があるときはＳｔｅｐ３０へ、他の変形前標点５１がないときはＳｔｅｐ１１０へ進む。

一方、変形後標点５２が探索領域７０の周縁にある場合（Ｙｅｓ）、図７（ｂ）に示すように探索領域７０を周辺に拡張する（Ｓｔｅｐ１３０）。そして、拡張された探索領域７０によって画像探索（Ｓｔｅｐ９０）〜変形後標点５２の位置決定（Ｓｔｅｐ１００）を行い、再び変形後標点５２が探索領域７０の周縁か否かを判定する（Ｓｔｅｐ１２０）。変形後標点５２が探索領域７０の内部（周縁でない位置）に位置するまで繰り返し行い、次の処理（Ｓｔｅｐ３０／Ｓｔｅｐ１１０）へ進む。

ここまで説明した処理を、１つの変形前画像２１内にある全ての変形前標点５１に対して行い、さらに取得したすべての変形前画像２１（図２では３枚）に対して行われると、変形したコンクリート梁１０の変位又はひずみを計算する。このとき、サブセット６０の位置とサブセット相当領域の位置の変化に基づいて、コンクリート梁１０の部分的な変位量を求めることができ、その変位量に基づいて部分的なひずみを算出することができる。あるいは、変形前標点５１と変形後標点５２の位置の変化に基づいて、コンクリート梁１０の部分的な変位量やひずみを算出することもできる。コンクリート梁１０全体にわたってひずみが算出されると、例えば最大主ひずみ分布図や最少主ひずみ分布図といったひずみ分布図を出力することができる。

本願発明の変位又はひずみ算出プログラム、及び変位又はひずみ測定方法は、橋梁下部工やトンネル覆工など、重要コンクリート構造物造における主ひずみ分布を把握する際に、有効に利用することができる。供用されている重要構造物の主ひずみ分布を把握することによって早期の補修や補強が可能となり、すなわち、いままさに喫緊の課題となっている「社会インフラの長寿命化」に対して好適な解決策を提供することを考えれば、本願発明は、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明である。

１０ コンクリート梁
２０ 画像
２１ 変形前画像
２２ 変形後画像
３１ 変形前角点
３２ 変形後角点主領域
４０ 主領域
５１ 変形前標点
５２ 変形後標点
６０ サブセット
７０ 探索領域

Claims (5)

1. 対象物の変形前後の画像を比較することで該対象物の変位又はひずみを求める機能を、コンピュータに実行させるプログラムにおいて、
   変形前の画像内にある３以上の特徴点を、特定する変形前特徴点認識処理と、
   ３以上の前記特徴点で形成される領域内にある標点を含む、複数の画素からなるサブセットを作成するサブセット作成処理と、
   変形後の画像内にある３以上の前記特徴点を、特定する変形後特徴点認識処理と、
   対応する変形前後の前記特徴点を比較することによって、該特徴点の変位を求める特徴点変位算出処理と、
   ３以上の前記特徴点の変位に基づいて、変形後の画像内に前記標点を内挿する変形後標点内挿処理と、
   変形後の画像内における前記標点位置に基づいて、探索領域を設定する探索領域設定処理と、
   前記サブセット内の基準点を前記探索領域内で移動させながら、該サブセットの画像と最も近似するサブセット相当領域を、変形後の画像から探索するサブセット相当領域探索処理と、
   前記サブセットの位置と前記サブセット相当領域の位置と、に基づいて前記対象物の変位又はひずみを求める変位又はひずみ算出処理と、を前記コンピュータに実行させる機能を備えた、ことを特徴とする変位又はひずみ算出プログラム。
2. 前記サブセット相当領域内で、前記標点の位置を推定する変形後標点推定処理を、前記コンピュータに実行させる機能をさらに備え、
   前記変形後標点推定処理によって推定された前記標点の位置が、前記サブセット相当領域の周縁にあるときは、前記探索領域を拡張して、再度前記サブセット相当領域探索処理を実行させる、ことを特徴とする請求項１記載の変位又はひずみ算出プログラム。
3. 前記探索領域設定処理では、前記サブセットよりも小さい領域で前記探索領域を設定する、ことを特徴とする請求項１又は請求項２記載の変位又はひずみ算出プログラム。
4. 対象物の変形前後の画像を比較することで該対象物の変位又はひずみを測定する方法において、
   変形前の画像内にある３以上の特徴点を、抽出する変形前特徴点抽出工程と、
   ３以上の前記特徴点によって囲まれる主領域を形成するとともに、該主領域内にある標点を特定し、該標点を含んで複数の画素からなるサブセットを作成するサブセット作成工程と、
   変形後の画像内にある３以上の前記特徴点を、抽出する変形後特徴点抽出工程と、
   対応する変形前後の前記特徴点を比較することによって、該特徴点の変位を求める特徴点変位算出工程と、
   ３以上の前記特徴点の変位に基づいて、変形後の画像内に前記標点を内挿する変形後標点内挿工程と、
   変形後の画像内における前記標点位置に基づいて、探索領域を設定する探索領域設定工程と、
   前記サブセット内の基準点を前記探索領域内で移動させながら、該サブセットの画像と最も近似するサブセット相当領域を、変形後の画像から探索するサブセット相当領域探索工程と、
   前記サブセットの位置と前記サブセット相当領域の位置と、に基づいて前記対象物の変位又はひずみを求める変位又はひずみ算出工程と、を備えたことを特徴とする変位又はひずみ測定方法。
5. 前記サブセット相当領域内で、前記標点の位置を推定する変形後標点推定工程を、さらに備え、
   前記変形後標点推定工程によって推定された前記標点の位置が、前記サブセット相当領域の周縁にあるときは、前記探索領域を拡張して、再度前記サブセット相当領域探索工程を行う、ことを特徴とする請求項４記載の変位又はひずみ測定方法。

Images