JP6858742B2

JP6858742B2 - 変位計測装置

Info

Publication number: JP6858742B2
Application number: JP2018235102A
Authority: JP
Inventors: 武志仲沢
Original assignee: Fujita Corp
Current assignee: Fujita Corp
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2021-04-14
Anticipated expiration: 2038-12-17
Also published as: JP2020098100A; JP2021103178A

Description

本発明は、変位計測装置に関する。

例えば立坑工事等の工事現場には、地盤の変位を計測する変位計測装置が設置される。変位計測装置により地盤が監視され、土砂崩れ等の事故発生の兆候が早期に観測される。これにより、事故発生を未然に防止し、作業者の安全が確保される。

地盤変位の計測中、例えば、風荷重やカメラ設置器具の不備等により、カメラのアングルや位置が変わってしまう場合がある。このような場合においても、変位の測定精度を確保するための技術が開示されている。

例えば、特許文献１には、建設物等の変位、位置、姿勢の計測や測量を、画像処理技術を利用して自動的に行う変位位置姿勢計測システムが開示されている。具体的に述べると、変位位置姿勢計測システムでは、人工的な基準点を設置せず、背景画像中の被検体以外の不動点と認識される物体、自然物を選別、設定し、カメラとその画像の特徴点を結ぶ線を基準として、計測点と基準点を同時撮影することにより揺らぎの影響が相殺される。

特許文献２には、カメラが動いた場合でも、その移動による誤差分を求めて差し引くことにより、精度の良い計測を行い得る撮像画像による変位計測時の補正方法が開示されている。具体的に述べると、橋桁の基礎の基準領域での１回目の撮像画像と２回目の撮像画像とにおける同一点の位置関係を表す同次座標変換行列を有する第１座標変換式および２枚の撮像画像上での位置関係をカメラの撮像画像上での位置関係に変換する第２座標変換式を求めておく。この第２の座標変換式における未知係数を、基準領域における少なくとも未知係数の個数に等しい座標位置データを用いて第２座標変換式を決定する。そしてこの第２座標変換式を用いて基準領域での変形量を誤差分として求め、この誤差分を橋桁での計測変形量から差し引く。

特許文献３には、簡易に精度良く構造物に生じる変位を計測可能な変位計測方法等が開示されている。具体的に述べると、構造物の異なる複数の位置にターゲットを配置し、ターゲットを撮影する光学式撮像装置を固定点に配置し、構造物の変位前後のターゲットが撮影される。各ターゲットの画像データの濃度分布に基づいて解析処理される変位前後のターゲットの中心座標から構造物の変位が計測される。

特開２００７−３２２４０７号公報特開２００７−２４０２１８号公報特開２０１８−７２２１８号公報

また、特許文献１〜３に示される対策以外にも、風荷重等に十分耐え得る固定部材を用いてカメラを固定することも考えられるが、カメラの振動を完全に抑えることは困難であるし、設置コストの増大を招くことにもなる。また、撮像領域内の基準点を規定する基準マーカーを設置すると、撮像領域内に変位計測用の計測点を増やすことができないといった問題もある。

そこで、本発明は、コストの増大を抑えつつ、簡易な手法で地盤等の変位を計測することが可能な変位計測装置を提供することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による変位計測装置は、変位計測点を含む変位計測領域の撮像画像を生成する撮像部と、変位計測領域の変位を計測する変位計測部と、を備えている。変位計測部は、比較対象である第１の撮像画像における変位計測点の特徴量と、新たに生成された第２の撮像画像における変位計測点の特徴量とを比較し、変位計測領域の変位を計測する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明の代表的な実施の形態によれば、コストの増大を抑えつつ、簡易な手法で地盤等の変位を計測することが可能となる。

本発明の実施の形態１に係る変位計測装置の一例を示す図である。本発明の実施の形態１に係る変位計測方法の一例を示すフローチャート図である。変位計測領域の撮像画像の一例を示す図である。

（実施の形態１）
以下、本発明の各実施の形態について、図面を参照しつつ説明する。なお、開示はあくまでも一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

＜変位計測装置の構成＞
本実施の形態１に係る変位計測装置は、比較対象元の撮像画像（第１の撮像画像）と新たに生成された比較対象先の撮像画像（第２の撮像画像）とを比較することにより、地盤や建造物等の変位を計測する装置である。

〈撮像部１０〉
図１は、本発明の実施の形態１に係る変位計測装置の一例を示す図である。図１に示すように、変位計測装置１は、撮像部１０及び変位計測部２０を備えている。撮像部１０は、変位計測マーカーが設けられた変位計測領域を撮像し、撮像画像を生成する機能ブロックである。撮像部１０は、レンズ１１、イメージセンサ１２、演算部１３、データ格納部１４、通信インタフェース１５を備えている。例えば、イメージセンサ１２、演算部１３、データ格納部１４、通信インタフェース１５等は、内部バスに接続されてもよいし、個別の配線により互いに接続されてもよい。

撮像部１０は、地盤等に予め設定された変位計測領域Ａ１にレンズ１１が向けられるように固定される。その際、撮像部１０は、変位計測を行っている期間、アングルや位置が変わらないように所定箇所に確実に固定されることが好ましい。

変位計測領域Ａ１は、地盤や構造物等に設定される。変位計測領域Ａ１には、変位計測マーカーＭ１〜Ｍ３が設けられている。変位計測マーカーは、図1に示すように、複数設けられることが好ましい。ただし、設置スペースに余裕がない場合には、変位計測マーカーは１個のみでも構わない。

レンズ１１は、変位計測領域Ａ１方向から届いた光をイメージセンサ１２へ集光させる。イメージセンサ１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子がアレイ状に配置されたＣＭＯＳイメージセンサや、ＣＣＤ（Charge Coupled Device）素子がアレイ状に配置されたＣＣＤイメージセンサ等で構成される。イメージセンサ１２の各素子は、レンズ１１で集光された光の光量に応じた電気信号を生成する。イメージセンサ１２は、各素子で生成された電気信号を演算部１３へ出力する。

演算部１３は、イメージセンサ１２で生成された電気信号に基づき撮像画像データのファイルを生成する。なお、撮像画像データのファイルには、撮像時刻の情報が付加されてもよい。演算部１３は、撮像画像に撮像時刻を合成した画像に基づく撮像画像データを生成してもよい。また、演算部１３は、撮像部１０の各部の動作を制御する。

演算部１３は、例えばマイコン１３ａ及びＲＡＭ（Random Access Memory）１３ｂを備えている。ＲＡＭ１３ｂには、例えば、データ格納部１４から読み出されたプログラムが展開され、展開されたプログラムがマイコン１３ａで実行されることにより、撮像画像データの生成機能が実現され、撮像部１０の各部が制御される。

データ格納部１４は、データ格納部１４は、例えばフラッシュメモリ等の不揮発性メモリを備え、演算部１３で生成された撮像画像データ、それぞれの変位計測マーカーまでの距離情報、プログラム、各種設定情報等を格納する。なお、撮像画像データや距離情報は、後述する変位計測部２０のデータ格納部２３に格納されてもよい。

通信インタフェース１５は、変位計測部２０の通信インタフェース２１との間でデータの送受信を行う。撮像部１０から、通信インタフェース１５，２１を介して、撮像画像データや変位計測部２０への制御信号等のデータが送信される。一方、変位計測部２０から、通信インタフェース２１，１５を介して、撮像部１０への制御信号等のデータが送信される。通信インタフェース１５及び通信インタフェース２１は、有線で接続されてもよいし、無線で接続されてもよい。また、通信インタフェース１５及び通信インタフェース２１は、内部ネットワーク、インターネット等の外部ネットワークを介してデータの送受信を行ってもよい。

〈変位計測部２０〉
変位計測部２０は、撮像部１０で生成された撮像画像データに基づき、変位計測マーカーの変位を計測し、変位計測領域すなわち地盤や構造物等の変位を計測する機能ブロックである。変位計測部２０は、図１に示すように、通信インタフェース２１、演算部２２、データ格納部２３を備えている。これらは、内部バスに接続されてもよいし、個別の配線により互いに接続されてもよい。

演算部２２は、撮像画像データに対する画像処理を行い、地盤や構造物等の変位を計測する。演算部２２は、例えばマイコン２２ａ及びＲＡＭ２２ｂを備えている。ＲＡＭ２２ｂには、例えばデータ格納部２３から読み出されたプログラムが展開され、展開されたプログラムがマイコン２２ａで実行されることにより、画像処理や、変位計測部２０の各部の制御が実行される。なお、変位計測方法については、後で詳しく説明する。

データ格納部２３は、例えばフラッシュメモリ等の不揮発性メモリを備え、演算部２２における変位計測結果、プログラム、各種設定情報等の各データを格納する。また、データ格納部２３は、撮像部１０から送信された撮像画像データを格納してもよい。

図１では、撮像部１０及び変位計測部２０が別体で構成されているが、これらが一体で構成されてもよい。この場合、例えば、演算部１３，２２が統合されてもよいし、データ格納部１４，２３が統合されてもよい。また、この場合には、通信インタフェース１５，２１は省略されてもよい。

＜変位計測方法＞
次に、図１の変位計測装置を用いた変位計測方法について説明する。図２は、本発明の実施の形態１に係る変位計測方法の一例を示すフローチャート図である。図２（ａ）は、比較対象元となる参照画像の生成等に係るフローチャートである。図２（ｂ）は、変位計測マーカーの変位計測に関わるフローチャートである。

参照画像の生成等には、図２（ａ）に示すステップＳ１１〜Ｓ１３の処理が実行される。なお、ステップＳ１１の処理に先立ち、撮像部１０の設置やレンズ１１の位置決め等が行われているものとする。ステップＳ１１では、撮像部１０は、所定のタイミングで変位計測領域Ａ１を撮像し、参照画像用の撮像画像データを生成する。撮像部１０は、参照画像用の撮像画像データを変位計測部２０へ送信する。参照画像用の撮像画像データは、変位計測部２０のデータ格納部２３や、撮像部１０のデータ格納部１４に格納される。

ステップＳ１２では、演算部２２は、参照画像用の撮像画像データに対する画像処理を行い、変位計測領域Ａ１に設けられた変位計測マーカーＭ１〜Ｍ３を抽出する。そして、演算部２２は、抽出した変位計測マーカーＭ１〜Ｍ３の位置（第１の位置）を計測する。
具体的に述べると、演算部２２は、各変位計測マーカーＭ１〜Ｍ３に変位計測点Ｐ１〜Ｐ３を設定し、参照画像における変位計測点Ｐ１〜Ｐ３の位置を変位計測マーカーＭ１〜Ｍ３のそれぞれの位置として計測する。演算部２２は、計測した変位計測マーカーＭ１〜Ｍ３の位置を、データ格納部２３へ格納する。なお、演算部２２は、各変位計測マーカーに複数の変位計測点を設定し、各変位計測点の位置を計測し、データ格納部２３へ格納してもよい。

ステップＳ１３では、演算部２２は、参照画像用の撮像画像データに対する画像処理において、変位計測領域Ａ１の変位計測マーカーＭ１〜Ｍ３と重複しない領域の特徴量を抽出する。言い換えれば、演算部２２は、撮像画像において、変位計測マーカーＭ１〜Ｍ３の背景を構成する領域の特徴量を抽出する。演算部２２は、画像処理により、例えば、特徴的な形状を有する場所や、色彩の諧調の変化が大きい場所等の特徴量を抽出し、変位計測マーカーＭ１〜Ｍ３と重複する領域を除く、変位計測領域Ａ１全域における特徴量を抽出する。ここでいう特徴量とは、例えばＯｐｅｎＣＶライブラリ等の画像処理ツールにより抽出されるＯＲＢ、ＳＨＩＦＴ、ＳＵＲＦ等の特徴量である。

この特徴量は、新たな撮像画像（以下では、引用画像とも呼ぶ）の生成時における撮像部１０の移動量（撮像部移動量）を算出する際に用いられる情報となる。そして、撮像部移動量により、画像変換処理による撮像画像の調整が行われる。これらの処理が行われると、参照画像の生成等に関わる一連の処理が完了する。なお、ステップＳ１２の前にステップＳ１３の処理が行われてもよい。

次に、変位計測マーカーの変位計測について説明する。変位計測では、図２（ｂ）に示すステップＳ２１〜Ｓ２４の処理が実行される。ステップＳ２１では、比較対象先である新たな撮像画像（第２の撮像画像）が生成される。撮像部１０は、参照画像の生成後、所定のタイミングで変位計測領域Ａ１を撮像する。演算部１３は、新たな撮像画像の撮像画像データを生成し、変位計測部２０へ送信する。

ステップＳ２２では、引用画像の生成時における撮像部移動量が算出される。まず、変位計測部２０の演算部２２は、引用画像用の撮像画像データに対する画像処理を行い、引用画像の変位計測領域Ａ１の各領域Ｒ１〜Ｒ５の特徴量を抽出する。特徴量の抽出方法は、ステップＳ１３と同様である。そして、演算部２２は、参照画像（第１の撮像画像）の変位計測領域Ａ１のＯＲＢ等の特徴量（第１の特徴量）と、画像変換処理前の引用画像（第２の撮像画像）の変位計測領域Ａ１のＯＲＢ等の特徴量（第２の特徴量）とを比較する。そして、演算部２２は、引用画像生成時における参照画像生成時に対する撮像部移動量を算出する。

なお、演算部２２は、撮像部移動量を算出する際、変位計測領域Ａ１の全域において特徴量を比較してもよいし、変位計測領域Ａ１の一部の領域（例えばＲ１〜Ｒ５）のみで特徴量を比較してもよい。

引用画像には、変位計測領域Ａ１の全域が含まれていることが望ましいが、変位計測領域Ａ１の一部しか含まれていなくてもよい。この場合、演算部２２は、引用画像に含まれる変位計測領域のみに対して、特徴量の比較を行うことにより、撮像部移動量を算出すればよい。

ステップＳ２３では、引用画像に対する画像変換処理が実行される。具体的に述べると、変位計測部２０の演算部２２は、引用画像の撮像領域が参照画像の撮像領域と一致するような画像変換処理を行う。より詳しく述べると、演算部２２は、参照画像の各位置の特徴量と、引用画像の各位置の特徴量とを合わせるように画像変換処理を行う。その際、演算部２２は、ステップＳ２２において算出された撮像部移動量を用いて、すなわち撮像部移動量を１つのパラメータとして画像変換処理を行う。これら一連の画像変換処理には、すでに述べたＯｐｅｎＣＶライブラリの画像マッチング演算等の画像処理ツールが用いられる。なお、画像変換処理後の引用画像の撮像領域が、画像変換処理前の引用画像の撮像領域外の領域を含んでいても構わない。具体的に述べると、引用画像には、すべての変位計測マーカーが含まれていることが望ましいが、一部の変位計測マーカーしか含まれていなくてもよい。演算部２２は、画像変換処理後の引用画像に含まれる変位計測マーカーを対象に、後述する変位計測マーカーの変位を計測すればよい。

ステップＳ２４では、変位計測マーカーの変位が計測される。具体的に述べると、演算部２２は、参照画像における変位計測マーカーＭ１〜Ｍ３の位置（第１の位置）と、引用画像における変位計測マーカーＭ１〜Ｍ３の位置（第２の位置）とを比較し、変位計測マーカーの変位を計測する。詳しく述べると、演算部２２は、参照画像における変位計測マーカーＭ１〜Ｍ３の変位計測点Ｐ１〜Ｐ３の位置と、画像変換処理後の引用画像における変位計測マーカーＭ１〜Ｍ３の変位計測点Ｐ１〜Ｐ３の位置（第２の位置）とを比較し、変位計測マーカーＭ１〜Ｍ３の変位を計測する。より詳しく述べると、演算部２２は、変位計測点ごとに、例えば、位相限定相関法等を用いて、変位計測マーカーの位置の差分を算出する。この変位計測マーカーの位置の差分は、ピクセル単位で得られる値である。

そして、演算部２２は、撮像画像上における変位計測マーカーの変位、各ピクセルにおける変位計測マーカーの位置の差分と、データ格納部２３に格納された変位計測マーカーまでの距離情報とを用いて、ピクセルごとに変位計測マーカーの実際の変位を算出する。その際、演算部２２は、例えば解像度等のカメラ（撮像部）の特性値から得られる校正係数を用いて、変位計測マーカーの変位を算出してもよい。

この例のように、演算部２２は、複数の変位計測マーカーの変位を計測することが好ましいが、変位計測マーカーの設置場所が十分に確保できない場合には、１つの変位計測マーカーの変位のみを算出してもよい。

演算部２２は、変位計測結果をデータ格納部２３に格納したり、変位を検出した場合には変位計測装置１から警報を出させる処理を行ってもよい。また、演算部２２は、変位計測結果を外部装置に送信し、変位計測結果に基づく処理を外部装置が行ってもよい。

これらのステップＳ２１〜Ｓ２４により変位計測処理が行われる。そして、変位計測装置１は、変位計測処理を繰り返し実行する。繰り返しの変位計測処理は、任意のタイミングで実行されてもよいし、所定の間隔で実行されてもよい。

＜変位計測マーカーが設置された変位計測領域の具体例＞
図３は、変位計測マーカーが設置された変位計測領域の撮像画像の一例を示す図である。図３（ａ）は参照画像、図３（ｂ）は画像変換処理前の引用画像、図３（ｃ）は画像変換処理後の引用画像である。防護壁Ｗ１の左側は、立坑工事が行われている工事現場である。図３の各図では、防護壁Ｗ１に沿って３個の変位計測マーカーＭ１〜Ｍ３が配置されている。各変位計測マーカーは、主面が撮像部１０に向くように配置されている。

演算部２２は、変位計測マーカーＭ１〜Ｍ３の変位計測点Ｐ１〜Ｐ３（図３では省略）を、図３（ａ）の参照画像から抽出しておく。もちろん、ユーザー自身が変位計測マーカーＭ１〜Ｍ３から変位計測点Ｐ１〜Ｐ３を抽出してもよい。また、図３（ａ）の参照画像及び図３（ｂ）の引用画像において、背景の特徴量が抽出され、これらの特徴量の比較により、撮像部移動量が算出される。

図３（ｃ）に示す画像変換処理後の引用画像の上端は、図３（ｂ）に示す画像変換処理前の引用画像の撮像領域外であるため黒くつぶれている。ただし、画像変換処理後の引用画像にも変位計測マーカーＭ１〜Ｍ３が含まれているので、すべての変位計測マーカーの変位を計測することが可能である。

＜本実施の形態による主な効果＞
本実施の形態によれば、演算部２２は、参照画像からＯＲＢ等の特徴量を抽出し、引用画像におけるＯＲＢ等の画像特徴量により画像マッチング演算を行い、変位計測領域Ａ１内の変位計測マーカーの変位を算出する。この構成によれば、基準位置を規定する基準マーカーを変位計測マーカーとは別に設けることなく参照画像と引用画像との位置的な補正が行われ、変位計測マーカーの変位が算出されるので、コストの増大を抑えつつ、簡易な手法で地盤等の変位を計測することが可能となる。

また、本実施の形態によれば、演算部２２は、引用画像の撮像領域が参照画像の撮像領域と一致するように引用画像に対する画像変換処理を行う。具体的に述べると、演算部２２は、参照画像と、引用画像とを、ＯＲＢ特徴量等を用いた画像マッチング演算により画像変換処理を行う。この構成によれば、画像変換処理における基準位置を規定する基準マーカーが不要となり、コストの増大を抑えつつ、簡易な手法で地盤等の変位を計測することが可能となる。

また、本実施の形態によれば、画像変換処理後の引用画像の撮像領域は、画像変換処理前の引用画像の撮像領域外の領域を含む。この構成によれば、画像変換処理後の引用画像に含まれる変位計測領域のみで、画像マッチング演算が可能となる。また、画像変換処理後の引用画像に含まれる変位計測マーカーのみで変位計測が可能となる。これにより、撮像部１０のアングルや位置の制約が緩和される。

また、本実施の形態によれば、演算部２２は、複数の変位計測マーカーの変位を計測する。この構成によれば、複数の場所で変位計測が行われるので、変位計測精度が向上する。また、この構成によれば、同一画像から得られる変位計測用の情報が増えるので、情報取得に係る労力やコストを低減させることが可能となる。

また、本実施の形態によれば、演算部２２は、変位計測マーカーに複数の変位計測点を設定する。この構成によれば、引用画像において、付着物や破損等により一部の変位計測点が認識されない場合でも、対象の変位計測マーカーの変位を確実に計測することが可能となる。

また、本実施の形態によれば、参照画像及び引用画像における変位計測領域の特徴量により、撮像部移動量が算出される。この構成によれば、撮像部１０の移動量を反映させた画像変換処理（画像マッチング演算）の実行が可能となり、変位計測精度を向上させることが可能となる。

また、本実施の形態によれば、演算部２２は、変位計測領域の一部の領域で特徴量の比較を行う。この構成によれば、引用画像に撮像範囲に、参照画像の撮像範囲外の領域が含まれていても、特徴量の比較が行われる。これにより、撮像部１０のアングルや位置の制約が緩和される。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

１…変位計測装置、１０…撮像部、２０…変位計測部、Ａ１…変位計測領域、Ｍ１〜Ｍ３…変位計測マーカー、Ｐ１〜Ｐ３…変位計測点

Claims

変位計測領域の撮像画像を生成する撮像部と、
前記変位計測領域に設けられた変位計測マーカーの変位を計測する変位計測部と、
を備え、
前記変位計測部は、比較対象元である第１の撮像画像における前記変位計測マーカーの第１の位置と、新たに生成された比較対象先である第２の撮像画像における前記変位計測マーカーの第２の位置とを比較し、前記変位計測マーカーの前記変位を計測し、
前記変位計測部は、前記変位計測マーカーに変位計測点を設定し、前記第１の撮像画像における前記変位計測点の位置を前記変位計測マーカーの前記第１の位置とし、前記第２の撮像画像における前記変位計測点の位置を前記変位計測マーカーの前記第２の位置とし、
前記変位計測部は、前記第２の撮像画像の撮像領域が前記第１の撮像画像の撮像領域と一致するように前記第２の撮像画像に対する画像変換処理を行い、前記第１の撮像画像における前記変位計測マーカーの前記第１の位置と、前記画像変換処理後の前記第２の撮像画像における前記変位計測マーカーの前記第２の位置とを比較し、
前記変位計測部は、前記第１の撮像画像の各位置の特徴量と前記第２の撮像画像の各位置の特徴量とを合わせるように前記画像変換処理を行い、
前記画像変換処理後の前記第２の撮像画像の前記撮像領域は、前記画像変換処理前の前記第２の撮像画像の前記撮像領域外の領域を含み、
前記変位計測部は、前記第１の撮像画像及び前記第２の撮像画像から、撮像部移動量を算出し、前記撮像部移動量を用いて前記画像変換処理を行い、
前記変位計測部は、前記変位計測領域の前記変位計測マーカーと重複しない領域の特徴量を抽出し、前記第１の撮像画像における前記領域の第１の特徴量と、前記画像変換処理前の前記第２の撮像画像における前記領域の第２の特徴量とを比較し、前記撮像部移動量を算出する、
変位計測装置。
請求項１に記載の変位計測装置において、
前記第１の特徴量および前記第２の特徴量は、画像処理ツールにより抽出されるＯＲＢ特徴量、ＳＨＩＦＴ特徴量、あるいはＳＵＲＦ特徴量である、
変位計測装置。