JP6590339B2 - 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な三次元形状計測装置に関する。また、非接触の振動面位置計測や変位分布計測に用いることもできる。

計測対象物に格子パターンを投影し、計測対象物に投影された格子パターンを撮像して得られた格子パターン像の画素毎の位相を求めることにより三次元形状計測を行う格子投影法が公知である。

図６に一次元格子投影法による形状計測装置の光学系の例を示す。

基準面に対して、カメラレンズの中心とプロジェクタの光源の高さが同じであり、カメラ撮像面および格子の面は基準面に平行であるモアレトポグラフィの光学系である。モアレトポグラフィでは図６のＷの位置には白い線が、Ｂの位置には黒い線が等高線として撮影できる。

格子投影法では格子の位相を解析することにより高精度でその変形を解析でき、面外変形や三次元形状を高精度に計測することができる。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。

新井泰彦，倉田忠雄，縞走査干渉計の手法による高速かつ高精度なモアレトポグラフィ法，光学，Vol.15，No.5，402-406 (1986). 森本吉春，藤垣元治，米山聡: モアレ法・格子法による形状・変形計測の最近の研究，非破壊検査，52-3(2003)，116-121. 李志遠，森本吉春，藤垣元治，サンプリングモアレ法による構造物の非接触変位分布計測.日本工業出版 検査技術，14(5)，(2009)，1-6 Takeda, M. and Mutoh, K., Fourier transform profilometry for the automatic measurement of 3-D object shapes, Applied Optics, 22-24, 3977-3982(1983). Morimoto, Y., Seguchi, Y. and Higashi, T., Two-dimensional Moire Method and Grid Method Using Fourier Transform, Experimental Mechanics, Vol. 29, No. 4, 399-404(1989). 藤垣元治，森本吉春，全空間テーブル化手法による格子投影三次元形状計測，実験力学，8-4, 92-98(2008).

格子投影法やモアレ法では、格子の位相を解析することによって高精度で対象の変形を解析することができ、面内変形や三次元形状の高精度の計測が可能である（非特許文献１，２）。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。これらの中で、サンプリングモアレ法（非特許文献３）やフーリエ変換法（非特許文献４，５）は１枚の画像で位相を解析できるため、運動物体などの解析に有用である。

運動物体をリアルタイムに計測するには計算を高速に行う必要があり、できるだけ少ない画像データで位相計算をするほうが良い。しかしながら、サンプリングモアレ法は２周期のデータを用いて位相計算を行ない、またフーリエ変換法は全画素のデータを用いて位相の解析を行っており、少ない画像データにより動画像での計測をすることができなかった。

本発明は、格子１周期分の画像データをフーリエ変換などにより位相を解析する新しい格子投影法である。これにより１枚の画像から位相分布を高速に解析することができ、動画像の解析も可能となる。

本発明の特徴を以下に示す。
（１）位相解析による計測であるため精度が良い。
（２）１枚の画像で位相解析できるので、運動する物体の形状計測が可能である。
（３）フーリエ変換により周波数１のみを抽出しているので、正確な余弦波の輝度分布をもつ格子を投影しなくても良い。
（４）また、フーリエ変換により周波数１のみを抽出しているので、高周波部分に現れるノイズは自動的に削除されるためノイズに強い。
（５）処理が簡単で、高速に処理ができる。
（６）ゲージ長がＮ画素となり、サンプリングモアレ法よりも短い。一般的に、デジタル画像相関法よりもゲージ長が短い。
（７）サンプリングモアレ法では直線補間によりモアレ縞を生成しているが、本発明は余弦波と相関をとっていることになるため、精度がより高い。

図１はモアレトポグラフィの光学系の説明図である。 図２Ａはカメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 図２Ｂはカメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 図３は実施例１の装置全体の構成である。 図４はカメラ撮像面に映る格子の影像である。 図５Ａは格子の処理手順である。 図５Ｃは格子の処理手順である。 図５Ｃは格子の処理手順である。 図６は格子投影法の光学系（モアレトポグラフィ）である。

本発明は物体面の格子をカメラにより撮影して解析し、計測する方法である。物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の横方向への変位を計測することもできる。

まず、測定原理を説明する。
＜光学系と座標＞
図１，２に形状計測装置の格子投影機構と計測対象物の説明用概略図を示す。

まず、図１でモアレトポグラフィの光学系についてさらに説明する。

Ｌは光源の位置、Ｖはカメラレンズの中心を表す。格子は光源の位置Ｌからｄの距離にあり、１周期の幅はｐである。

この光学系では、基準面に対して、カメラレンズの中心Ｖとプロジェクタの光源Ｌの高さが同じであり、カメラ撮像面および格子面は基準面に平行である。

光源Ｌから距離ｚ１離れた位置に物体面が、距離ｚ２離れた位置に基準面があり、光源Ｌからｄ離れた位置には格子面がある。格子面は基準面に平行であり、周期がｐである等間隔の一次元格子線が描かれている。光源には点光源を用いるが、格子線に平行な１ライン線光源を用いてもよい。

光源Ｌを含み基準面に平行な面を光源面と呼ぶ。説明のために光源を原点としてｘ，ｙ，ｚ座標をとり、基準面に垂直な方向をｚ方向とする。図１では下方がｚ方向の正になっている。

格子の面に描いた格子線に垂直な方向がｘ方向、格子線に平行な方向がｙ方向である。カメラレンズの中心は光源面内にあり、ｘ方向に距離ｖだけ光源Ｌから離れている。カメラ撮像面は基準面と格子面に平行であり、カメラ撮像面の画素座標（ｉ，ｊ）のｉ方向，ｊ方向は各々ｘ方向とｙ方向と一致している。

この光学系では、物体面や基準面がどの高さにあってもカメラ撮像面での格子１周期の像は同じ幅になる。したがって、デジタルカメラ撮像面のＮ画素に格子の１周期が映るように設定すると、物体面や基準面がどの高さでも格子の１周期の像がＮ画素に映ることになる。このことを図１で説明すると以下の通りになる。

投影された格子１周期の影は、物体面ではｘ１に、基準面ではｘ２になる。光源面からの距離は、物体面ではｚ１、基準面ではｚ２、カメラ撮像面ではｚ３、格子面ではｄである。
格子の１周期ｐの影は、物体面ではｐをｚ１／ｄ倍したｘ１となり、基準面ではｐをｚ２／ｄ倍したｘ２となる。カメラ撮像面での大きさｘ４はｘ１をｚ３／ｚ１倍したものであり、ｘ５はｘ２をｚ３／ｚ２倍した大きさであるから、ｘ４とｘ５はともにｐのｚ３／ｄ倍になる。すなわち、カメラ撮像面に映る格子の１周期の大きさは光源面から格子までの距離と、カメラレンズの中心からカメラ撮像面までの距離の比によって定まり、物体面や基準面までの距離には影響されない。

このことから、カメラ撮像面に映る格子の本数とカメラ撮像面の画素数は常に比例しており、格子１周期の像を捉えるカメラのセンサー画素数は計測対象物体の高さによらず一定となる。すなわち、格子１周期をＮ画素に映るように設定すると、連続するＮ画素には常に格子１周期分が映っていることになる。

一方で、図１においてｘ４とｘ５の位置がずれていることから判るように、物体面や基準面までの距離が変化すると格子がカメラ撮像面に映る位置は変化する。換言すると、基準面から物体面までの高さにより、カメラ撮像面の画素に映る格子の位相が変わることになる。

以上のことから、位相解析を行えばその高さを求めることができる。すなわち、Ｎ画素をフーリエ変換し、最大のパワースペクトルをもつ周波数１を抽出し、その周波数１の位相を求めれば、物体面等の高さを計測できることになる。また、実際の測定に際しては、光学系に応じて、前記周波数を予め設定しておき、その予め設定した周波数の位相を求めることにより、物体面等の高さを計測することもできる。

なお、上記したように、基準面に投影された格子の１周期がデジタルカメラのＮ画素となるようにレンズの拡大率を調整しておくことが好ましい。

次に、図２を用いて基準面から物体面までの高さを求める方法を説明する。

図２Ａは図２Ｂの上部を拡大したものである。

まず、カメラレンズの中心Ｖをｘ軸上の座標（ｖ，０，０）の位置に置く。すなわちカメラレンズの中心Ｖは距離ｖだけ光源Ｌから離れている。基準面の点Ｒが映るカメラ撮像面の画素には、物体を置いた際に物体面の点Ｓが映る。図２では、この画素および点Ｓ、点Ｒを通る線を、カメラ視線として示す。物体面における点Ｓをｚ軸に垂直に投影した点を点Ｂ、基準面における点Ｒをｚ軸に垂直に投影した点を点Ｉとする。また、光源の位置Ｌから点Ｒへの光が格子面を通過する点を点Ｑとし、光源の位置Ｌから点Ｒへの光が物体面の点Ｓからｚ軸に垂直に投影した線をその光が横切る点を点Ｐとする。さらに、光源の位置Ｌから点Ｓへの光が格子面を通過する点を点Ｇとする。ｚ軸と格子面の交点を点Ｃとする。点Ｅは格子の原点であり、点Ｃと点Ｅの距離をｅとする。そして、点Ｉと点Ｂの距離、すなわち基準面から物体面までの高さをｈとする。
＜投影格子の位相＞
いま、ｚ＝ｄにある格子の透過率分布Ｉ_ｇは余弦波状になっており、次の式で示される。

ここで、ａ_ｇは振幅、Φは格子の位相、ｂ_ｇは背景である。光源が格子を照射して、格子の影が基準面または物体面に投影される。その格子の影がカメラ撮像面に映る際の輝度分布は、格子１周期に相当する連続したＮ画素に対して、基準面や物体面等の高さｚにおいて、次の式で表される。

ここで ｎ＝０，１，・・・Ｎ である。

数式２において、

と置き直すと、

となる。

物体面の場所Ｓ（ｘ，ｙ，ｚ）からｘ方向の格子の影の１周期は、カメラ撮像面の連続するＮ画素に映るように、カメラレンズにより調整されている。

そこで、このＮ個のデータに対して離散的フーリエ変換を行ない、その周波数１を抽出し、それより位相を求めると、滑らかな余弦波状の波の位相θを得ることができ、非常に精度の良い位相解析を行うことができる。

この位相θ（−π＜θ≦π）は、次の式を用いて計算できる。

ｘ方向の全画素について上記の位相θを求めてｘ方向に位相接続すると、格子の位相Θを得ることができる。

＜等高線を表すモアレ縞の位相＞
モアレトポグラフィにおいては、等高線を表すモアレ縞の位相Θ_Ｍは、基準面に投影された格子の位相Θ_Ｒと物体の上に投影された格子の位相Θの差Θ_Ｍ＝Θ−Θ_Ｒとして求められる。これよりｚが求められ、あるいは基準面からの高さｈ＝ｚ_R−zが求められる。

この計算式は次のように求められる。

基準面上の点Ｒに投影された格子の影の位相Θ_Ｒは

となる。

ここで、△ＬＩＲと△ＬＣＱとの相似より

となり、数式９を数式８に代入すると

となる。

同様に△ＬＢＳと△ＬＣＧとの相似を用いると、物体上の点Ｓに投影された格子の影の位相Θ_Ｓは以下のようになる。

数式１０の点Ｒの位相と数式１１の点Ｓの位相の差として、次の式のようにモアレ縞の位相Θ_Ｍが得られる。

一方、二つの三角形△ＬＰＳおよび△ＬＱＧの相似より

また、△ＲＬＶおよび△ＲＰＳの相似より

これらから

これより

このように、基準面の格子と物体面の格子の位相差としてモアレ縞の位相を計測することにより、基準面から物体面までの高さｈが求められる。

次に、いくつかの実施例を示す。

まず、物体面の高さを求めることにより物体面形状を計測する方法を説明する。

図３に実施例１の計測装置全体の構成を示す。

１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子の幅や方向を自在に変更することができる。

物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。

基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。

＜位相解析手順＞
基準面に一次元格子を投影する。これをデジタルカメラで撮影する。図４はこのようにして撮影した画像の一部の拡大説明図である。この例の場合、格子の１周期をカメラ撮像面のＮ画素（ここではＮ＝８）となるように倍率を調節している。カメラ撮像面の画素が黒い長方形で表現されている。この図の斜線で示される部分は格子の輝度の低い部分を示し、その他の部分は格子の輝度の高い部分を示している。格子線に直角な方向をｘ方向、それに垂直な方向をｙ方向とする。カメラ撮像面における画素の座標を（ｉ，ｊ）とする。そして、ｉ方向、ｊ方向をそれぞれｘ方向およびｙ方向に合わせて撮影する。

この画像を次のように処理する。
（１）連続するＮ画素の画像データ（図５Ａ）を一次元フーリエ変換する。
（２）これにより−Ｎ／２〜Ｎ／２の周波数スペクトル（図５Ｂ）が得られる。この中で最大のパワースペクトルをもつ、Ｎ画素を一周期とする周波数１または周波数−１の成分を抽出する。図５Ｂでは、周波数１だけを取り出している。
（３）その抽出した周波数の位相計算を行えば位相が得られる。そして、そのＮ画素の格子の先頭の画素に対応して記憶する。（図５Ｃ）
（４）次に、Ｎ画素の格子の組み合わせをｘ方向に１画素だけずらして（１）〜（３）の位相計算と記憶を繰り返す。
（５）ｘ方向の移動がすべて終わったら（１）〜（４）の走査をすべてのｙ方向について行う。

なお、数式７を用いて位相を直接求める場合は（１）〜（３）の手順をまとめて行っていることになる。このようにして得られたほぼ１画面分の位相がこの格子の基準面の位相分布となる。

物体の格子の位相を解析する場合は、カメラはそのままにして、基準面の代わりに物体を置くなどして同様に（１）〜（５）の計算を繰り返す。このようにして得られた位相分布が物体面の位相分布となる。

次に、得られた物体面の位相および基準面の位相をそれぞれ位相接続する。格子投影法の場合、格子の位相は基本的に単調関数となる。そのため、位相のジャンプが起こる毎に２πを増加あるいは減少させることにより容易に位相接続ができる。

位相接続の後に、各画素に物体の位相と基準面の格子の位相との位相差であるモアレ縞の位相Θ_Ｍを求める。これより数式１７を用いて高さｈを求めることができる。

ここでは、フーリエ変換してから周波数１等の位相を得ているため、正確な余弦波の輝度分布をもつ格子を投影することなく、ノイズに強い計測を行うことができる。

実施例１では物体面の高さおよび形状を計測したが、投影用の格子を用いずに物体面に格子を描いたり、格子を描いたフィルムを貼着したり、物体面がもともと有している格子を用いること等により、物体面の格子を撮影して物体面の水平方向への変位を計測することができる。

具体的には、実施例１と同様に変位の前後で物体面の格子をカメラで撮影して像を得る。その像をフーリエ変換してから周波数１の位相を位相接続して、各画素に対応して位相を記憶する。変位の前後における位相差と格子周期の積により水平方向に変位した距離が得られる。

１ ランプ
２ 格子
３ 物体
４ 載置台
５ デジタルカメラ
６ 撮像素子
７ レンズ
８ コンピュータ
９ 出力装置
Ｌ 光源の位置
Ｖ カメラレンズの中心
Ｒ 基準面の点
Ｓ 物体面の点
Ｃ ｚ軸と格子面の交点
Ｅ 格子の原点
Ｑ 光源から点Ｒへの光が格子面を通過する点
Ｇ 光源から点Ｓへの光が格子面を通過する点
Ｂ 物体面における点Ｓをｚ軸に垂直に投影した点
Ｐ 光源から点Ｒへの光が、物体面の点Ｓからｚ軸に垂直に投影した線を横切る点
Ｉ 基準面における点Ｒをｚ軸に垂直に投影した点

Claims (2)

1. 基準面に対して、デジタルカメラのレンズの中心とプロジェクタの光源の高さが同じであり、前記デジタルカメラの撮像面および前記プロジェクタに備わった一次元の等間隔の格子線が描画された格子面が、前記基準面に平行であるモアレトポグラフィ光学系を用い、
   計測対象物の物体面の格子像を前記デジタルカメラにより撮影した撮影像により、前記物体面の形状を計測する計測方法であって、
   前記物体面の形状を計測する計測方法は、
   前記格子線に直角な方向をｘ方向、前記ｘ方向に垂直な方向をｙ方向、前記基準面に対して垂直な方向をｚ方向とし、前記格子線に前記デジタルカメラの撮影面における画素の座標を（ｉ，ｊ）とし、ｉ方向、ｊ方向を各々前記ｘ方向、ｙ方向に合わせ、前記プロジェクタの前記格子面が前記基準面に投影されて形成された格子像の１周期が、前記デジタルカメラの撮像面のＮ画素、ただしＮは２より大きく前記デジタルカメラの撮像面の画素の数の範囲にある整数、に映るように設定する工程と、
   前記基準面に前記プロジェクタの前記格子面の前記格子線を投影し前記基準面に前記格子像を形成する工程と、
   前記格子像の格子の１周期が前記デジタルカメラの撮像面のＮ画素、ただしＮは２より大きく前記デジタルカメラの撮像面の画素の数の範囲にある整数、に合わせられた状態で、前記デジタルカメラにより前記基準面に投影された前記格子像を撮影し撮影像を取得する工程と、
   前記取得した撮影像をコンピュータに入力する工程と、
   を有し、
   前記コンピュータにより前記基準面における位相分布を求めるため、
   （１）前記入力した前記撮影像から連続する前記Ｎ画素のデータを抽出する工程と、
   （２）前記連続するＮ画素のデータに対して離散的フーリエ変換を行い、得られた周波数スペクトルの中から最大のパワースペクトルを持つ、前記Ｎ画素を１周期とする周波数１または周波数−１の周波数成分を抽出する工程と、
   （３）前記抽出した周波数成分の位相を求め、前記Ｎ画素のいずれかの画素に対応して記憶する工程と、
   （４）前記Ｎ画素の格子の組み合わせを前記ｉ方向に１画素だけずらして、前記（１）〜前記（３）の処理を前記ずらしが可能な限り繰り返す工程と、
   （５）前記（１）〜前記（４）の処理を前記ｊ方向に可能な限り繰り返す工程と、により、前記基準面における前記格子像の位相分布を求める工程と、を実行し、
   次に、
   計測対象物の前記物体面に前記プロジェクタの前記格子面の前記格子線を投影し前記物体面に前記格子像を形成する工程と、
   前記格子像の格子の１周期が前記デジタルカメラの撮像面のＮ画素、ただしＮは２より大きく前記デジタルカメラの撮像面の画素の数の範囲にある整数、に合わせられた状態で、前記デジタルカメラにより前記物体面に投影された前記格子像を撮影し撮影像を取得する工程と、
   前記取得した撮影像をコンピュータに入力する工程と、
   前記コンピュータにより前記計測対象物の前記物体面の位相分布を求めるため、
   （６）前記入力した前記撮影像から連続する前記Ｎ画素のデータを抽出する工程と、
   （７）前記連続するＮ画素のデータに対して離散的フーリエ変換を行い、得られた周波数スペクトルの中から最大のパワースペクトルを持つ、前記Ｎ画素を１周期とする周波数１または周波数−１の周波数成分を抽出する工程と、
   （８）前記抽出した周波数成分の位相を求め、前記Ｎ画素のいずれかの画素に対応して記憶する工程と、
   （９）前記Ｎ画素の格子の組み合わせを前記ｉ方向に１画素だけずらして、前記（６）〜前記（８）の処理を前記ずらしが可能な限り繰り返し実行する工程と、
   （１０）前記（６）〜前記（９）の処理を前記ｊ方向に可能な限り繰り返す工程と、により、前記物体面における前記格子像の位相分布を求める工程と、を実行し、
   前記基準面の位相および前記物体面の位相をそれぞれ位相接続する工程と、
   前記前記位相接続の後に、前記デジタルカメラの各画素に前記物体面の位相と前記基準面との位相差であるモアレ縞の位相を求め、前記求めたモアレ縞の位相に基づいて、前記物体面の形状を求める工程と、
   を有する計測方法。
2. 前記請求項１の計測方法を行なう計測装置。

Images