JP7011093B1 - 変位計測装置および変位計測方法 - Google Patents

Abstract

【課題】マーカ、ひいては物体の変位を高分解能かつ容易に計測可能な変位計測装置および変位計測方法を提供する。【解決手段】マーカには、周期模様と幾何学模様とが記される。サンプリングモアレ部２６は、各マーカ画像（２９ａ，２９ｂ）内の各周期模様を対象に、サンプリングモアレ法を用いてモアレ縞の位相を検出し、各画像間でのモアレ縞の位相差を、モアレ縞の１周期の範囲で算出する。位相限定相関部２７は、各マーカ画像（２９ａ，２９ｂ）内の各幾何学模様を対象に、位相限定相関法を用いて各画像間の相関を算出することで、幾何学模様のシフト量を算出する。変位量算出部２８は、この幾何学模様のシフト量に基づいて、サンプリングモアレ部で算出されたモアレ縞の位相差に加わる周期ズレの大きさを判別し、それを反映してマーカの変位量を算出する。【選択図】図４

Description

本発明は、変位計測装置および変位計測方法に関する。

特許文献１には、柱状構造物に付した所定のパターンを撮影した時系列画像データを入力し、当該時系列画像データから柱状構造物に発生している変位を求め、当該変位から柱状構造物の固有振動数を求め、当該固有振動数に基づいて柱状構造物の状態を判定する方法が示される。柱状構造物に発生している変位を求める際には、ディジタル画像相関法又はモアレ縞位相解析法が用いられる。

特許文献２には、サンプリングモアレ法を用いて対象表面における計測点の変位を計測する際に、対象面の傾き又は計測方向による誤差を低減可能にする方法が示される。また、特許文献３には、単一カメラから得た画像に基づき、サンプリングモアレ法を用いて物体の面内変位および面外変位を測定する方法が示される。

特開２０１８－１４１６６３号公報 特開２０１９－１１９８４号公報 国際公開第２０１７／０２９９０５号

物体の変位を計測する方式として、特許文献１に示されるように、画像マッチングを利用したディジタル画像相関法や、モアレ縞を利用したモアレ縞位相解析法等が知られている。ディジタル画像相関法の一つとして、画像の位相情報に基づいて変位を計測する位相限定相関法が知られている。モアレ縞位相解析法の一つとして、特許文献２および特許文献３に示されるようなサンプリングモアレ法が知られている。

ここで、位相限定相関法を用いると、計測時点の間で物体が大きく変位した場合でも、それを検出することが可能である。ただし、位相限定相関法では、通常、画素単位の分解能でしか物体の変位を計測することができない。一方、サンプリングモアレ法を用いると、サブ画素単位の分解能で物体の変位を計測することが可能になる。ただし、サンプリングモアレ法では、計測時点の間で物体が大きく変位した場合、すなわち、モアレ縞に周期ズレが生じた場合に、それを検知することは困難となり得る。このように、各計測方式には、それぞれ、メリット／デメリットがあるため、一般的に、個々の計測方式毎にデメリットを低減するための技術開発が進められている。

本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、マーカ、ひいては物体の変位を高分解能かつ容易に計測可能な変位計測装置および変位計測方法を提供することにある。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による変位計測装置は、マーカを撮像することでマーカ画像を作成する撮像装置と、撮像装置によって作成されたマーカ画像に基づいてマーカの変位を計測する変位計測器と、を有する。マーカには、周期模様と幾何学模様とが記される。変位計測器は、サンプリングモアレ部と、位相限定相関部と、変位量算出部と、を有する。サンプリングモアレ部は、第１の時点で撮像された第１のマーカ画像内の周期模様と、その後の第２の時点で撮像された第２のマーカ画像内の周期模様とを対象に、サンプリングモアレ法を用いてモアレ縞の位相を検出し、第１のマーカ画像における位相と第２のマーカ画像における位相との位相差を、モアレ縞の１周期の範囲で算出する。位相限定相関部は、第１のマーカ画像内の幾何学模様と、第２のマーカ画像内の幾何学模様とを対象に、位相限定相関法を用いて第１のマーカ画像と第２のマーカ画像との相関を算出することで、第１の時点から第２の時点までの間で生じた幾何学模様のシフト量を算出する。変位量算出部は、位相限定相関部で算出された幾何学模様のシフト量に基づいて、サンプリングモアレ部で算出されたモアレ縞の位相差に加わる周期ズレの大きさを判別し、モアレ縞の位相差と周期ズレの大きさとに基づいて、マーカの変位量を算出する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、マーカ、ひいては物体の変位を高分解能かつ容易に計測することが可能になる。

本発明の実施の形態１による変位計測システムの構成例を示す概略図である。 図１におけるマーカの構成例を示す概略図である。 図１における変位計測装置の概略構成例を示すブロック図である。 図３における変位計測器の主要部の概略構成例を示すブロック図である。 図４におけるサンプリングモアレ部の構成例を示すブロック図である。 図５における位相検出部の処理内容の一例を説明する模式図である。 図４における位相限定相関部の構成例を示すブロック図である。 図４における変位量算出部の処理内容の一例を説明する概念図である。 本発明の実施の形態２による変位計測システムにおいて、図１におけるマーカの構成例を示す概略図である。

以下、本発明の各実施の形態について、図面を参照しつつ説明する。なお、開示はあくまでも一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

（実施の形態１）
《変位計測システムの概略》
図１は、本発明の実施の形態１による変位計測システムの構成例を示す概略図である。図２は、図１におけるマーカの構成例を示す概略図である。図１に示す変位計測システムは、物体３に装着されたマーカ１と、カメラ等の撮像装置を含む変位計測装置２とを有する。物体３は、例えば、立坑工事等の建設現場において地盤上に設置された建造物や、または、地盤そのもの等である。

変位計測装置２は、物体３に装着されたマーカ１を撮像することでマーカ画像を作成し、当該マーカ画像に基づいてマーカ１の変位、ひいては、地盤の変位を計測する。これにより、地盤の変位状況を監視することができ、例えば、土砂崩れ等の事故発生の兆候を早期に検知できる。その結果、事故を未然に防止でき、作業者の安全を確保することが可能になる。

明細書では、図１に示されるように、変位計測装置２内のカメラの光軸方向をＺ軸とし、Ｚ軸に直交する面の面方向において、一方向（水平方向）をＸ軸とし、当該一方向に直交する方向（垂直方向）をＹ軸とする。変位計測装置２内のカメラは、マーカ１の面がＸＹ面となるように設置される。マーカ１の面（ＸＹ面）には、例えば、図２に示されるような模様が記されている。

図２に示すマーカ１ａには、幾何学模様１ａ１と周期模様１ａ２とが、互いに重複しないように、例えばＸ軸方向に並んで記されている。幾何学模様１ａ１は、位相限定相関法で用いられる。幾何学模様１ａ１は、この例では、６個の円を６０°刻みで配置したものとなっている。ただし、これに限らず、幾何学模様１ａ１は、一般的に知られている様々な模様であってよく、特に、Ｘ軸方向およびＹ軸方向に周期的な成分を含まないような模様であればよい。

一方、周期模様１ａ２は、サンプリングモアレ法で用いられる。この例では、周期模様１ａ２は、格子模様となっており、Ｘ軸方向およびＹ軸方向において、黒レベルの四角が白レベルの四角を挟んで等間隔で配置されている。黒レベルまたは白レベルの四角のＸ軸方向のピッチはＷｘ［ｍｍ］であり、Ｙ軸方向のピッチはＷｙ［ｍｍ］であり、ピッチＷｘ，Ｗｙは、例えば、数ｍｍ～数十ｍｍ等であってよい。

また、図２に示した格子模様は、実質的には、Ｘ軸方向またはＹ軸方向に並んだストライプ模様と等価であり、周期模様１ａ２は、格子模様に限らず、このようなストライプ模様であってもよい。すなわち、格子模様に対して画像処理、詳細にはＹ軸方向に沿った平均化処理を行うことでＸ軸方向に並んだストライプ模様に変換できる。同様に、格子模様に対して画像処理、詳細にはＸ軸方向に沿った平均化処理を行うことでＹ軸方向に並んだストライプ模様に変換できる。

《変位計測装置の概略》
図３は、図１における変位計測装置の概略構成例を示すブロック図である。図３に示す変位計測装置２は、マーカ１を撮像することでマーカ画像を作成する撮像装置１０と、撮像装置１０によって作成されたマーカ画像に基づいてマーカ１、ひいては物体３の変位を計測する変位計測器２０とを備える。撮像装置１０は、代表的には、デジタルカメラ等である。変位計測器２０は、例えば、ＰＣ（Personal Computer）等の情報処理装置や、または、専用の画像処理装置等である。ただし、撮像装置１０および変位計測器２０は、例えば、カメラ付きの情報処理装置等の形態で同一の装置内に実装されてもよい。

撮像装置１０は、レンズ１１と、イメージセンサ１２と、演算器１３と、内部メモリ１４と、通信インタフェース１５とを備える。この内、演算器１３、内部メモリ１４および通信インタフェース１５は、互いにバスで接続される。演算器１３、内部メモリ１４および通信インタフェース１５は、例えば、１個のマイクロコントローラ等に実装されてもよい。

レンズ１１は、マーカ１からの光をイメージセンサ１２に集光する。イメージセンサ１２は、代表的には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等であり、アレイ状に配置された複数の画素を含む。イメージセンサ１２の各画素は、レンズ１１で集光された光の光量に応じた電気信号を生成する。イメージセンサ１２は、各画素で生成された電気信号を演算器１３へ送信する。

内部メモリ１４は、例えば、フラッシュメモリ等の不揮発性メモリであり、マイクロコントローラ内の内蔵メモリや、または、メモリカード等の外付けメモリ等に該当する。演算器１３は、イメージセンサ１２からの電気信号に基づいてマーカ画像を作成し、作成したマーカ画像を内部メモリ１４に格納する。この際に、演算器１３は、マーカ画像を、撮像時刻の情報を付加した上で内部メモリ１４に格納してもよい。

演算器１３は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、またはＤＳＰ（Digital Signal Processor）等のプロセッサ１３ａと、ＲＡＭ（Random Access Memory）１３ｂとを備える。プロセッサ１３ａは、例えば、内部メモリ１４からＲＡＭ１３ｂへ展開された制御プログラムを実行することで、イメージセンサ１２からの電気信号に応じたマーカ画像を作成する。

通信インタフェース１５は、変位計測器２０（その中の通信インタフェース２１）との間でデータの送受信を行う。その一つとして、通信インタフェース１５は、内部メモリ１４に格納されたマーカ画像を変位計測器２０へ送信する。通信インタフェース１５と通信インタフェース２１との間は、有線または無線で接続される。この際には、例えば、インターネット等の外部ネットワークを介して接続される形態を用いてもよい。

外部ネットワークを用いる場合には、例えば、無線通信用の通信インタフェース１５を備えた撮像装置１０を建設現場に固定的に設置し、変位計測器２０を建設会社の社内サーバ装置等に実装するような形態が有益となる。この場合、撮像装置１０は、撮像したマーカ画像を、逐次、外部ネットワークを介して社内サーバ装置へ送信し、社内サーバ装置は、当該マーカ画像に基づいて変位計測を行うことが可能である。

変位計測器２０は、演算器２２と、内部メモリ２３と、通信インタフェース２１とを備える。演算器２２、内部メモリ２３および通信インタフェース２１は、互いにバスで接続される。例えば、変位計測器２０を専用の画像処理装置等で構成する場合、演算器２２、内部メモリ２３および通信インタフェース２１は、１個のマイクロコントローラに実装されてもよい。内部メモリ２３は、例えばフラッシュメモリやハードディスクドライブ等の不揮発性メモリである。通信インタフェース２１は、例えば、通信インタフェース１５からのマーカ画像を受信し、それを内部メモリ２３に格納する。

演算器２２は、ＣＰＵ、ＧＰＵ、またはＤＳＰ等のプロセッサ２２ａと、ＲＡＭ２２ｂとを備える。演算器２２は、例えば、内部メモリ２３に格納されたマーカ画像に対して所定の画像処理を実行することで物体３の変位を計測する。この際に、プロセッサ２２ａは、例えば、内部メモリ２３からＲＡＭ２２ｂへ展開された変位計測プログラムを実行することで変位計測を行う。なお、演算器２２は、プロセッサ２２ａに限らず、一部または全てがＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで構成されてもよい。すなわち、演算器２２は、ソフトウェア方式、ハードウェア方式、あるいはその組み合わせによって適宜構成されればよい。これは、撮像装置１０内の演算器１３に関しても同様である。

《変位計測器の概略》
図４は、図３における変位計測器の主要部の概略構成例を示すブロック図である。図４に示す変位計測器２０は、画素領域設定部２５と、サンプリングモアレ部２６と、位相限定相関部２７と、変位量算出部２８とを備える。これらの各部は、例えば、プロセッサ２２ａが変位計測プログラムを実行することで実現される。また、変位計測器２０内の内部メモリ２３には、基準時点で撮像装置１０によって撮像および作成された基準用マーカ画像２９ａと、基準時点よりも後の計測時点で撮像装置１０によって撮像および作成された計測用マーカ画像２９ｂとが格納される。明細書では、基準用マーカ画像２９ａおよび計測用マーカ画像２９ｂを総称して、マーカ画像２９と呼ぶ。

画素領域設定部２５は、マーカ画像２９に含まれる周期模様１ａ２の領域情報３０と、幾何学模様１ａ１の領域情報３１とを生成する。具体的には、画素領域設定部２５は、マーカ画像２９において、幾何学模様１ａ１および周期模様１ａ２のそれぞれがどの画素領域に存在するかの情報を生成する。各領域情報３０，３１は、図１のシステムを構築した段階で固定的に定められる。

また、例えば、領域情報３０が表す周期模様１ａ２の外枠は、図２に示した周期模様１ａ２の外枠よりもある程度内側に設定される。これは、マーカ１ａがＸ軸方向またはＹ軸方向に変位した場合でも、周期模様１ａ２の画像の中に不要な画像が入り込まないようにするためである。幾何学模様１ａ１に関しても同様である。

サンプリングモアレ部２６は、画素領域設定部２５からの領域情報３０に基づいて、基準用マーカ画像２９ａ内の周期模様１ａ２と、計測用マーカ画像２９ｂ内の周期模様１ａ２とを対象に、サンプリングモアレ法を用いて画像処理を行う。概略的には、サンプリングモアレ部２６は、サンプリングモアレ法を用いて、基準用マーカ画像２９ａおよび計測用マーカ画像２９ｂから得られるモアレ縞の位相をそれぞれ検出する。そして、サンプリングモアレ部２６は、基準用マーカ画像２９ａにおけるモアレ縞の位相と計測用マーカ画像２９ｂにおけるモアレ縞の位相との位相差Δφｘ，Δφｙ［ｒａｄ］をモアレ縞の１周期の範囲で算出する。位相差Δφｘは、Ｘ軸方向の位相差であり、位相差Δφｙは、Ｙ軸方向の位相差である。

位相限定相関部２７は、画素領域設定部２５からの領域情報３１に基づいて、基準用マーカ画像２９ａ内の幾何学模様１ａ１と、計測用マーカ画像２９ｂ内の幾何学模様１ａ１とを対象に、位相限定相関法を用いて画像処理を行う。概略的には、位相限定相関部２７は、位相限定相関法を用いて、基準用マーカ画像２９ａと計測用マーカ画像２９ｂとの相関を算出することで、基準時点から計測時点までの間で生じた幾何学模様１ａ１のシフト量ΔＰｘ，ΔＰｙ［画素（ｐｘ）］を算出する。シフト量ΔＰｘは、Ｘ軸方向のシフト量であり、シフト量ΔＰｙは、Ｙ軸方向のシフト量である。

変位量算出部２８は、位相限定相関部２７で算出された幾何学模様１ａ１のシフト量ΔＰｘ，ΔＰｙ［ｐｘ］に基づいて、サンプリングモアレ部２６で算出されたモアレ縞の位相差Δφｘ，Δφｙ［ｒａｄ］に加わる周期ズレの大きさを判別する。そして、変位量算出部２８は、当該モアレ縞の位相差Δφｘ，Δφｙ［ｒａｄ］と周期ズレの大きさとに基づいて、マーカ１ａの変位量Ｄｘ，Ｄｙ［ｍｍ］を算出する。変位量Ｄｘは、Ｘ軸方向の変位量であり、変位量Ｄｙは、Ｙ軸方向の変位量である。

このような方式を用いることで、マーカ１ａ、ひいては物体３の変位を高分解能かつ容易に計測することが可能になる。具体的に説明すると、まず、位相限定相関法を用いると、画像の輝度やコントラスト、軽微なノイズ等に影響されることなく、マーカ１ａのシフト量ΔＰｘ，ΔＰｙを容易に計測できる。さらに、位相限定相関法を用いると、マーカ１ａが大きく変位した場合であっても、マーカ１ａのシフト量ΔＰｘ，ΔＰｙを問題無く計測できる。ただし、位相限定相関法によって得られる分解能は、通常、イメージセンサ１２の画素単位となる。

一方、サンプリングモアレ法では、実質的に、イメージセンサ１２で撮像した周期模様１ａ２を拡大したものであるモアレ縞を用いて、マーカ１ａの変位を計測することができる。このため、サンプリングモアレ法では、画素単位よりも高分解能であるサブ画素単位の分解能を容易に実現できる。ただし、サンプリングモアレ法では、モアレ縞の周期ズレの有無を判別することが容易でない。このため、マーカ１ａが大きく変位した場合、特に、連続する計測時点の間で図２のピッチＷｘ，Ｗｙよりも大きく変位した場合に、正しい計測結果が得られない恐れがある。

そこで、図４のように、サンプリングモアレ部２６と位相限定相関部２７とを併用し、位相限定相関部２７からのシフト量ΔＰｘ，ΔＰｙに基づいて、サンプリングモアレ部２６におけるモアレ縞の周期ズレの有無およびその大きさを判別することが有益となる。その結果、サンプリングモアレ法によって高分解能を実現しつつ、そのデメリットとなる周期ズレの問題を位相限定相関法によって補うことが可能になる。なお、この際には、サンプリングモアレ部２６と位相限定相関部２７との間で生じる相対誤差を防止するため、図２に示した幾何学模様１ａ１および周期模様１ａ２を含むマーカ１ａ全体を１台の撮像装置１０で一度に撮像するように構成することが望ましい。

《サンプリングモアレ部の詳細》
図５は、図４におけるサンプリングモアレ部の構成例を示すブロック図である。図６は、図５における位相検出部の処理内容の一例を説明する模式図である。図５に示すサンプリングモアレ部２６は、位相検出部３５と、位相差算出部３６とを有する。位相検出部３５は、基準用マーカ画像２９ａ内の周期模様１ａ２を対象に、サンプリングモアレ法を用いてモアレ縞の基準位相ＲＰｘ，ＲＰｙを検出する。同様に、位相検出部３５は、計測用マーカ画像２９ｂ内の周期模様１ａ２を対象に、サンプリングモアレ法を用いてモアレ縞の計測位相ＭＰｘ，ＭＰｙを検出する。

ここで、基準位相ＲＰｘおよび計測位相ＭＰｘは、Ｘ軸方向に並ぶ周期模様１ａ２から得られたモアレ縞の位相である。同様に、基準位相ＲＰｙおよび計測位相ＭＰｙは、Ｙ軸方向に並ぶ周期模様１ａ２から得られたモアレ縞の位相である。図２で述べたように、位相検出部３５は、基準位相ＲＰｘおよび計測位相ＭＰｘを検出する場合、その前処理として格子模様をＸ軸方向に並んだストライプ模様に変換する。同様に、位相検出部３５は、基準位相ＲＰｙおよび計測位相ＭＰｙを検出する場合、その前処理として格子模様をＹ軸方向に並んだストライプ模様に変換する。

図６には、位相検出部３５で用いられるサンプリングモアレ法の原理が示される。図６において、ピッチｐで配置された複数の画素Ｐを有する撮像装置１０は、マーカ１ａを撮像することで周期模様１ａ２を含んだマーカ画像２９を作成する。位相検出部３５は、このマーカ画像２９内の周期模様１ａ２を対象に、サンプリングモアレ法に基づき次のような処理を行うことで、モアレ縞の位相を検出する。

まず、位相検出部３５は、マーカ画像２９内の周期模様１ａ２を対象に、画素Ｐを所定の間隔で（代表的には４画素に１画素ずつ）サンプリングすることで、サンプリング画像を作成する。この際に、位相検出部３５は、このサンプリングする画素位置を順にシフトすることで、４個のサンプリング画像４０［０］～４０［３］を作成する。

続いて、位相検出部３５は、４個のサンプリング画像４０［０］～４０［３］を対象にそれぞれ内挿を行うことで、モアレ縞を含んだ４個のモアレ画像４１［０］～４１［３］を作成する。次いで、位相検出部３５は、モアレ画像４１［０］に含まれるモアレ縞の位相、詳細にはモアレ縞の輝度分布４２における画素Ｐ毎の位相φを求めるため、複数の画素Ｐ毎に式（１）を演算する。式（１）において、Ｉ０，Ｉ１，Ｉ２，Ｉ３は、それぞれ、各画素Ｐにおけるモアレ画像４０［０］，４０［１］，４０［２］，４０［３］の輝度値である。
ｔａｎφ＝－（Ｉ３－Ｉ１）／（Ｉ２－Ｉ０） …（１）

ここで、モアレ画像４１［ｎ］（ｎ＝０，１，２，３）における各画素Ｐの輝度値Ｉｎは、一般的に、輝度振幅Ａ０、位相φ、背景輝度Ｂ０を用いて、式（２）で表すことができる。式（２）において、未知数であるＡ０，Ｂ０が判明すれば、位相φを求めることが可能である。そこで、サンプリングモアレ法では、例えば、図６のように、順に位相をπ／２ずつシフトさせた４個のモアレ画像４１［０］～４１［３］を作成することで、画素Ｐ毎に４個の輝度値Ｉ０～Ｉ３を取得できるようにする。４個の輝度値Ｉ０～Ｉ３を取得できると、式（２）に基づき、４個の連立方程式を作成できる。式（１）は、この４個の連立方程式から位相φを求めた式である。
Ｉｎ＝Ａ０×ｃｏｓ（φ＋（ｎ×π／２））＋Ｂ０ …（２）

このようなサンプリングモアレ法を用いて、位相検出部３５は、複数の画素Ｐ毎に、基準用マーカ画像２９ａを対象として基準位相ＲＰｘ，ＲＰｙを検出し、計測用マーカ画像２９ｂを対象として計測位相ＭＰｘ，ＭＰｙを検出する。なお、図６のように、位相を順にシフトさせた複数の格子画像（ここではモアレ画像）を作成し、式（１）等によって格子（ここではモアレ縞）の位相φを求める方式は、位相シフト法とも呼ばれる。サンプリングモアレ法は、この位相シフト法を利用すると共に、格子画像として、画素Ｐのサンプリングによって作成したモアレ画像を適用したものである。

図５に戻り、位相差算出部３６は、平均値算出部３７を備える。位相差算出部３６は、位相検出部３５からの入力を受けて、基準位相ＲＰｘと計測位相ＭＰｘとのＸ軸方向の位相差（Δφｘ’とする）と、基準位相ＲＰｙと計測位相ＭＰｙとのＹ軸方向の位相差（Δφｙ’とする）とを算出する。詳細には、位相差算出部３６は、このような位相差を、複数の画素Ｐ毎に式（１）を用いて算出する。

平均値算出部３７は、複数の画素Ｐから得られるＸ軸方向の複数の位相差（Δφｘ’）の平均値を算出し、算出結果となる位相差Δφｘ［ｒａｄ］を図４の変位量算出部２８へ出力する。同様に、平均値算出部３７は、複数の画素Ｐから得られるＹ軸方向の複数の位相差（Δφｙ’）の平均値を算出し、算出結果となる位相差Δφｙ［ｒａｄ］を変位量算出部２８へ出力する。

なお、サンプリングモアレ法は、一般的に、画素Ｐ毎の位相差に基づいて、マーカ１の装着領域における面内変位（言い換えればマーカ１が装着された物体３の変形）を計測する際に用いられる。一方、例えば、立坑工事等の建設現場では、地盤の変位を計測する際等で、マーカ１の装着領域における面内変位の情報は、特に必要とされず、マーカ１の全体として変位情報（ひいては、物体３自体の移動情報）が必要とされる場合が多い。このようにマーカ１の全体として変位を計測するため、この例では、平均値算出部３７を用いて平均値の算出が行われる。

また、位相差Δφｘ，Δφｙのそれぞれは、通常、－πから＋πまでの範囲の値である。すなわち、サンプリングモアレ法では、取り扱う信号が周期信号であるため、モアレ縞の１周期を超える位相差Δφｘ，Δφｙを算出すること、すなわち、周期ズレの有無およびその大きさを判別することは容易でない。言い換えれば、図２のマーカ１ａにおいて、周期模様１ａ２のピッチＷｘ，Ｗｙ［ｍｍ］を超える変位が生じた場合に、正しい変位計測を行うことが困難となり得る。

《位相限定相関部の詳細》
図７は、図４における位相限定相関部の構成例を示すブロック図である。複数の画像の一致度を、画像の周波数成分の相関によって求める方式が知られている。画像の周波数成分を求めた場合、画像内の像の形状に関する情報は、一般的に、振幅スペクトルではなく位相スペクトルによって保持される。これを利用して、位相限定相関法では、画像の相関を求める際に、画像の周波数成分の振幅スペクトルを例えば１に正規化した上で位相スペクトルを主体として相関が求められる。

図７に示す位相限定相関部２７は、フーリエ変換部４５と、合成関数算出部４６と、相関関数算出部４７とを備える。フーリエ変換部４５には、基準用マーカ画像２９ａ内の幾何学模様１ａ１の画像データｆ１（ｍ，ｎ）と、計測用マーカ画像２９ｂ内の幾何学模様１ａ１の画像データｆ２（ｍ，ｎ）とが入力される。ここで、幾何学模様１ａ１の画素領域をＭ×Ｎ画素として、ｍはＭ個の整数であり、ｎはＮ個の整数である。

フーリエ変換部４５は、画像データｆ１（ｍ，ｎ），ｆ２（ｍ，ｎ）を例えば二次元離散フーリエ変換することで、式（３）および式（４）に示されるフーリエ変換値Ｆ１（ｕ，ｖ），Ｆ２(ｕ，ｖ)をそれぞれ算出する。式（３）および式（４）において、ｕはＭ個の整数であり、ｖはＮ個の整数である。また、Ａ（ｕ，ｖ），Ｂ（ｕ，ｖ）は、振幅スペクトルであり、ｅ^{ｊθ１（ｕ，ｖ）}およびｅ^{ｊθ２（ｕ，ｖ）}は、位相スペクトルである。
Ｆ１（ｕ，ｖ）＝Ａ（ｕ，ｖ）×ｅ^{ｊθ１（ｕ，ｖ）} …（３）
Ｆ２（ｕ，ｖ）＝Ｂ（ｕ，ｖ）×ｅ^{ｊθ２（ｕ，ｖ）} …（４）

合成関数算出部４６は、フーリエ変換値Ｆ１（ｕ，ｖ）の位相スペクトルと、フーリエ変換値Ｆ２（ｕ，ｖ）の位相スペクトルの複素共役とを乗算することで、式（５）に示される合成関数Ｃ１２（ｕ，ｖ）を算出する。相関関数算出部４７は、式（５）の合成関数Ｃ１２（ｕ，ｖ）を二次元離散フーリエ逆変換することで、相関関数ｃ１２（ｍ，ｎ）を算出する。
Ｃ１２（ｕ，ｖ）＝ｅ^{ｊ（θ１（ｕ，ｖ）－θ２（ｕ，ｖ））} …（５）

ここで、例えば、画像データｆ１（ｍ，ｎ）と画像データｆ２（ｍ，ｎ）とで像の位置が同一である場合を想定する。この場合、画像データｆ１（ｍ，ｎ）と画像データｆ２（ｍ，ｎ）との相関関数ｃ１２（ｍ，ｎ）は、原点位置（０，０）にピーク値を持つデルタ関数に近いものとなる。一方、画像データｆ２（ｍ，ｎ）が、画像データｆ１（ｍ，ｎ）に対して像の位置をｍ方向にΔｍだけシフトさせた画像データである場合を想定する。この場合、画像データｆ１（ｍ，ｎ）と画像データｆ２（ｍ，ｎ）（＝ｆ１（ｍ－Δｍ，ｎ））との相関関数ｃ１２（ｍ，ｎ）を算出すると、ピーク値の位置が原点位置からｍ方向にΔｍだけシフトする。ｎ方向についても同様である。

このように、このように位相限定相関部２７を用いると、ピーク値が生じた位置に基づいて、基準時点の基準用マーカ画像２９ａと計測時点の計測用マーカ画像２９ｂとの間で生じた、幾何学模様１ａ１のｍ方向およびｎ方向への各シフト量、すなわち、Ｘ軸方向およびＹ軸方向への各シフト量ΔＰｘ，ΔＰｙを容易に算出できる。ただし、シフト量ΔＰｘ，ΔＰｙは、画素（ｐｘ）単位である。位相限定相関部２７は、当該シフト量ΔＰｘ，ΔＰｙ［ｐｘ］を図４の変位量算出部２８へ出力する。

《変位量算出部の詳細》
前述したように、図７の位相限定相関部２７は、シフト量ΔＰｘ，ΔＰｙをイメージセンサ１２上の画素単位の分解能で算出する。この画素単位で得られるシフト量ΔＰｘ，ΔＰｙ［ｐｘ］は、マーカ１ａ上の長さの単位のシフト量に換算すると、それぞれ、Ｒｘ，Ｒｙ［ｍｍ］となる。Ｒｘは、マーカ１ａ上のＸ軸方向のシフト量であり、Ｒｙは、マーカ１ａ上のＹ軸方向のシフト量である。

すなわち、シフト量Ｒｘ，Ｒｙ［ｍｍ］は、位相限定相関部２７が幾何学模様１ａ１のシフト量を算出する際のマーカ１ａ上の分解能を表す。シフト量（分解能）Ｒｘ，Ｒｙ［ｍｍ］は、主に、マーカ１ａにおいて幾何学模様１ａ１が記された領域のサイズと、イメージセンサ１２において当該領域に対応する撮像領域のサイズと、当該撮像領域に含まれる画素数との関係に基づいて固定的に定められる。

図４の変位量算出部２８は、位相限定相関部２７で得られるマーカ１ａ上の分解能Ｒｘ［ｍｍ］と、位相限定相関部２７からのＸ軸方向のシフト量ΔＰｘ［ｐｘ］とに基づいて、式（６）を用いてマーカ１ａ上のＸ軸方向の概算変位量Ｄｘ’［ｍｍ］を算出する。同様に、変位量算出部２８は、位相限定相関部２７で得られるマーカ１ａ上の分解能Ｒｙ［ｍｍ］と、位相限定相関部２７からのＹ軸方向のシフト量ΔＰｙ［ｐｘ］とに基づいて、式（７）を用いてマーカ１ａ上のＹ軸方向の概算変位量Ｄｙ’［ｍｍ］を算出する。
Ｄｘ’＝ΔＰｘ×Ｒｘ …（６）
Ｄｙ’＝ΔＰｙ×Ｒｙ …（７）

また、変位量算出部２８は、図２に示した周期模様１ａ２のマーカ１ａ上のピッチＷｘ［ｍｍ］と、図５のサンプリングモアレ部２６からのＸ軸方向の位相差Δφｘ［ｒａｄ］（－π≦Δφｘ≦π）とに基づいて、式（８）を用いてマーカ１ａ上のＸ軸方向の拡大変位量ΔＤｘ［ｍｍ］を算出する。同様に、変位量算出部２８は、マーカ１ａ上のピッチＷｙ［ｍｍ］と、サンプリングモアレ部２６からのＹ軸方向の位相差Δφｙ［ｒａｄ］（－π≦Δφｙ≦π）とに基づいて、式（９）を用いてマーカ１ａ上のＹ軸方向の拡大変位量ΔＤｙ［ｍｍ］を算出する。
ΔＤｘ＝（Δφｘ／２π）×Ｗｘ …（８）
ΔＤｙ＝（Δφｙ／２π）×Ｗｙ …（９）

ただし、前述したように、サンプリングモアレ部２６では、モアレ縞の周期ズレを検出することは容易でない。このため、当該周期ズレを反映させると、マーカ１ａ上のＸ軸方向およびＹ軸方向の正しい変位量Ｄｘ［ｍｍ］およびＤｙ［ｍｍ］は、それぞれ、式（１０）および式（１１）となる。式（１０）および式（１１）において、Ｎｘ，Ｎｙは未知の整数である。
Ｄｘ＝（Ｎｘ×Ｗｘ）＋ΔＤｘ …（１０）
Ｄｙ＝（Ｎｙ×Ｗｙ）＋ΔＤｙ …（１１）

ここで、位相限定相関部２７が幾何学模様１ａ１のシフト量を算出する際のマーカ１ａ上の分解能Ｒｘ，Ｒｙ［ｍｍ］と、周期模様１ａ２のマーカ１ａ上のピッチＷｘ，Ｗｙ［ｍｍ］との関係は、例えば、Ｒｘ≦ＷｘおよびＲｙ≦Ｗｙとなるように設計される。この場合、位相限定相関部２７が式（６）および式（７）を算出することで、正しい変位量Ｄｘ，Ｄｙが存在する範囲がピッチＷｘ，Ｗｙ以下の分解能で得られる。

一方、式（１０）を例とすると、サンプリングモアレ部２６に基づく正しい変位量Ｄｘとして、複数の候補値…，“－２Ｗｘ＋ΔＤｘ”，“－Ｗｘ＋ΔＤｘ”，“ΔＤｘ”，“Ｗｘ＋ΔＤｘ”，“２Ｗｘ＋ΔＤｘ”，…が得られる。前述したようにＲｘ≦Ｗｘとなるように設計すると、このサンプリングモアレ部２６で得られる複数の候補値の中から、位相限定相関部２７で得られる範囲に含まれる値が、一つに定まる。この一つの値が最終的に正しい変位量Ｄｘとなる。式（１１）の場合も同様である。

このように、実施の形態１の方式を用いると、サンプリングモアレ部２６で得られる複数の候補値の中から、どの候補値が正しい変位量Ｄｘ，Ｄｙであるかを、位相限定相関部２７を用いて判別することが可能になる。言い換えれば、サンプリングモアレ部２６で算出されたモアレ縞の位相差に加わる周期ズレの大きさを、位相限定相関部２７を用いて判別することが可能になる。

図８は、図４における変位量算出部の処理内容の一例を説明する概念図である。図８には、図５のサンプリングモアレ部２６内の位相検出部３５によって検出された、基準時点でのモアレ縞の輝度分布４２［ｔ１］の位相と、計測時点でのモアレ縞の輝度分布４２［ｔ２］の位相とが示される。サンプリングモアレ部２６内の位相差算出部３６は、輝度分布４２［ｔ１］の位相と、輝度分布４２［ｔ２］の位相との位相差Δφ［ｒａｄ］を－πから＋πまでの範囲で算出する。

このように、サンプリングモアレ部２６は、モアレ縞の周期内での位相差Δφを算出できる。ただし、サンプリングモアレ部２６は、当該位相差Δφに加わる周期ズレの有無およびその大きさを判別することは容易でなく、図８の例では、０か２πか４πの周期ズレが加わる可能性がある。変位量算出部２８は、この周期ズレの有無およびその大きさを、位相限定相関部２７からのシフト量ΔＰｘ，ΔＰｙに基づいて判別する。

《実施の形態１の主要な効果》
以上、実施の形態１の方式を用いることで、代表的には、マーカ１、ひいては物体３の変位を高分解能かつ容易に計測することが可能になる。さらに、サンプリングモアレ法と位相限定相関法のそれぞれのメリットを活かしつつ、それぞれのデメリットを補い合った高品質な変位計測システムを構築することが可能になる。

具体的に説明すると、サンプリングモアレ法のメリットとして、高分解能や、分解能を調整する際の高自由度等が挙げられ、デメリットとして、大きい変位量への対応等が挙げられる。一方、位相限定相関法のメリットとして、大きい変位量への対応や、変位計測の容易性等が挙げられ、デメリットして、低分解能や、分解能を設定する際の低自由度等が挙げられる。サンプリングモアレ法と位相限定相関法とを併用すると、互いのメリット／デメリットを補完することができる。

特に、分解能を設定する際の自由度に関し、サンプリングモアレ法では、マーカ１ａ上の周期模様１ａ２のピッチによって分解能を高い自由度で調整できる。一方、位相限定相関法では、光学系やイメージセンサの構成等によって分解能が定まるため、分解能を定める際の自由度は低くなる。その結果として、位相限定相関法で高分解能化を図ることも困難となり得る。実施の形態１の方式を用いると、位相限定相関法は、低分解能であってよいため、変位計測システムを構築する際の光学系やイメージセンサの構成等に対する制約を緩和することができる。その上で、分解能や、分解能を設定する際の自由度を、サンプリングモアレ法を利用して高めることができる。

（実施の形態２）
《マーカの構成》
図９は、本発明の実施の形態２による変位計測システムにおいて、図１におけるマーカの構成例を示す概略図である。位相限定相関法を用いる場合、図７で述べた相関関数ｃ１２（ｍ，ｎ）の算出精度を高めるためには、マーカにおける幾何学模様の領域のサイズを大きくすることが望ましい。しかし、図２に示したようなマーカ１ａを用いた場合、幾何学模様１ａ１の領域のサイズが、例えば、マーカ１ａのサイズの半分程度となるため、幾何学模様の領域のサイズを大きくすると、マーカ１ａが大型化し、マーカ１ａの設置箇所等によっては望ましくない事態が生じ得る。

そこで、図９に示したようなマーカ１ｂを用いることが有益となる。図９に示すマーカ１ｂには、図２の場合と異なり、周期模様１ｂ２と幾何学模様１ｂ１とが重複して記されており、周期模様１ｂ２が幾何学模様１ｂ１の一部として記されている。図４等に示した位相限定相関部２７は、例えば、周期模様１ｂ２を幾何学模様１ｂ１の一部とみなして、周期模様１ｂ２を含んだ幾何学模様１ｂ１を対象に前述したような処理を行ってもよい。一方、図４等に示したサンプリングモアレ部２６は、周期模様１ｂ２を対象に前述したような処理を行えばよい。

ここで、サンプリングモアレ法では、モアレ縞を利用することで周期模様１ｂ２を拡大した上で変位を計測することができる。また、分解能を高めるため、周期模様１ｂ２のピッチを小さくすると、これに応じて周期模様１ｂ２の領域のサイズも小さくすることができる。このようなことから、周期模様１ｂ２の領域のサイズは、幾何学模様１ｂ１の領域のサイズに比べてある程度小さくてもよく、寧ろ、ある程度小さい方が望ましい場合もある。

《実施の形態２の主要な効果》
以上、実施の形態２の方式を用いることで、実施の形態１で述べた各種効果に加えて、マーカの小型化や、または、位相限定相関法による相関関数の算出精度を高めることが可能になる。すなわち、例えば、位相限定相関法による相関関数の算出精度が一定である場合、図９のマーカ１ｂのサイズは、図２のマーカ１ａにおける幾何学模様１ａ１の領域のサイズと同等であってよい。また、図９のマーカ１ｂのサイズと図２のマーカ１ａのサイズとが同等の場合、図９のマーカ１ｂを用いることで、相関関数の算出精度を高めることができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

１，１ａ，１ｂ…マーカ、１ａ１，１ｂ１…幾何学模様、１ａ２，１ｂ２…周期模様、２…変位計測装置、３…物体、１０…撮像装置、２０…変位計測器、２６…サンプリングモアレ部、２７…位相限定相関部、２８…変位量算出部、２９…マーカ画像、２９ａ…基準用マーカ画像、２９ｂ…計測用マーカ画像、３５…位相検出部、３６…位相差算出部、３７…平均値算出部、４５…フーリエ変換部、４６…合成関数算出部、４７…相関関数算出部、Ｄｘ，Ｄｙ…変位量、Ｗｘ，Ｗｙ…ピッチ、ｐ…ピッチ、ΔＰｘ，ΔＰｙ…シフト量、Δφｘ，Δφｙ…位相差

Claims (6)

1. 物体に装着されたマーカを撮像することでマーカ画像を作成し、固定的に設置される撮像装置と、
   前記撮像装置によって作成された前記マーカ画像に基づいて前記マーカの変位を計測する変位計測器と、
   を有する変位計測装置であって、
   前記マーカには、周期模様と幾何学模様とが記され、
   前記変位計測器は、
   第１の時点で撮像された第１のマーカ画像内の前記周期模様と、前記第１の時点よりも後の第２の時点で撮像された第２のマーカ画像内の前記周期模様とを対象に、サンプリングモアレ法を用いてモアレ縞の位相を検出し、前記第１のマーカ画像における前記モアレ縞の位相と前記第２のマーカ画像における前記モアレ縞の位相との位相差を、前記モアレ縞の１周期の範囲で算出するサンプリングモアレ部と、
   前記第１のマーカ画像内の前記幾何学模様と、前記第２のマーカ画像内の前記幾何学模様とを対象に、位相限定相関法を用いて前記第１のマーカ画像と前記第２のマーカ画像との相関を算出することで、前記第１の時点から前記第２の時点までの間で生じた前記幾何学模様のシフト量を算出する位相限定相関部と、
   前記位相限定相関部で算出された前記幾何学模様のシフト量に基づいて、前記サンプリングモアレ部で算出された前記モアレ縞の位相差に加わる周期ズレの大きさを判別し、前記モアレ縞の位相差と前記周期ズレの大きさとに基づいて、前記物体に装着された前記マーカの全体としての変位量を算出する変位量算出部と、
   を有する、
   変位計測装置。
2. 請求項１記載の変位計測装置において、
   前記マーカには、前記周期模様が前記幾何学模様の一部として記されている、
   変位計測装置。
3. 請求項１記載の変位計測装置において、
   前記マーカには、前記周期模様と前記幾何学模様とが重複しないように記されている、
   変位計測装置。
4. 請求項１～３のいずれか１項に記載の変位計測装置において、
   前記位相限定相関部が前記幾何学模様のシフト量を算出する際の前記マーカ上の分解能をＲとし、前記周期模様の前記マーカ上のピッチをＷとすると、Ｒ≦Ｗとなるように設計されている、
   変位計測装置。
5. 請求項１～３のいずれか１項に記載の変位計測装置において、
   前記周期模様と前記幾何学模様とが記された前記マーカを、１台の前記撮像装置で撮像するように構成されている、
   変位計測装置。
6. 物体に装着されたマーカを撮像することでマーカ画像を作成し、固定的に設置される撮像装置と、
   前記撮像装置によって作成された前記マーカ画像に基づいて前記マーカの変位を計測する変位計測器と、
   を用いて前記マーカの変位を計測する変位計測方法であって、
   前記マーカには、周期模様と幾何学模様とが記され、
   前記変位計測器が、第１の時点で撮像された第１のマーカ画像内の前記周期模様と、前記第１の時点よりも後の第２の時点で撮像された第２のマーカ画像内の前記周期模様とを対象に、サンプリングモアレ法を用いてモアレ縞の位相を検出し、前記第１のマーカ画像における前記モアレ縞の位相と前記第２のマーカ画像における前記モアレ縞の位相との位相差を、前記モアレ縞の１周期の範囲で算出する第１のステップと、
   前記変位計測器が、前記第１のマーカ画像内の前記幾何学模様と、前記第２のマーカ画像内の前記幾何学模様とを対象に、位相限定相関法を用いて前記第１のマーカ画像と前記第２のマーカ画像との相関を算出することで、前記第１の時点から前記第２の時点までの間に生じた前記幾何学模様のシフト量を算出する第２のステップと、
   前記変位計測器が、前記第２のステップで算出された前記幾何学模様のシフト量に基づいて、前記第１のステップで算出された前記モアレ縞の位相差に加わる周期ズレの大きさを判別し、前記モアレ縞の位相差と前記周期ズレの大きさとに基づいて、前記物体に装着された前記マーカの全体としての変位量を算出する第３のステップと、
   を有する、
   変位計測方法。

Images