JP6884393B2 - 射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう方法および装置 - Google Patents

Description

本発明は、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な三次元形状計測装置に関する。また、本発明は非接触の振動面位置計測や変位分布計測に用いることもできる。

計測対象物に格子パターンを投影し、計測対象物に投影された格子パターンを撮像して得られた格子パターン像の画素毎の位相を求めることにより三次元形状計測を行う格子投影法が公知である。

図１Ａに従来の一次元格子投影法による形状計測装置のモアレトポグラフィ光学系の例を示す。基準面に対して、カメラレンズの中心とプロジェクタの光源の高さが同じであり、カメラ撮像面および格子の面は基準面に平行であるモアレトポグラフィの光学系である。この図の場合、基準面の位置において投影された格子の１ピッチと撮像面上で撮像される画素ピッチが一致しており、図１ＡのＷの位置には白い線が、Ｂの位置には黒い線が等高線として撮影できる。カメラの画素ピッチが細かくなっても投影された格子の画像の１ピッチの画素数は基準面からどの高さでも一定である。

モアレトポグラフィの光学系を図１Ｂに示す（図１Ａの部分図である）。モアレトポグラフィの光学系において、投影された格子の１ピッチを整数Ｎ画素に合わせると、基準面Ｒからどの高さにおいても１ピッチがＮ画素となり、基準面Ｒからの計測面Ｍの高さにより、位相のみが異なる。そこで１ピッチ（Ｎ画素）のフーリエ変換を行うことで、その位置の位相を求められ、その位置の高さｈがわかる（以下、「ＯＰＰＡ法」という）。これにより１枚の画像から位相分布を高速に解析することができ、測定対象物の動画像の解析も可能となる。なお、ＯＰＰＡ法は、特許文献１、特許文献２に示されるとおり公知の技術である。

ＷＯ２０１６／００１９８５Ａ１

ＷＯ２０１６／００１９８６Ａ１

サンプリングモアレ法や、特許文献１や特許文献２に開示されるＯＰＰＡ法は、格子間隔が一定である画像の場合、位相解析が簡単で精度も良い。

しかし、格子画像を撮影するカメラの光軸が格子面に垂直でないようにして撮影した場合や、曲面に格子を貼り付けた場合は、撮影した格子画像は格子間隔が一定とならず場所により異なる。また、一定となってもそのピッチが整数画素数とならず、歪んだ格子となり、位相解析において誤差が発生する。

従来のＯＰＰＡ法は、カメラのレンズ面と撮像面が基準面に平行である必要があった（図１Ａ，図１Ｂを参照）。このため、光学系に大きな制限があり、ＯＰＰＡ法を計測に適用できる範囲に制約があった。

そこで本発明の目的は、発明が解決しようとする課題を克服し、射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう計測方法およびその装置を提供することである。

本発明に係る計測方法の実施形態は、
物体面の格子像をカメラにより撮影した撮影像により、物体面の位置に対応する位相を計測する計測方法であって、
前記格子画像の格子の１ピッチが整数画素とならない場合は、撮影した前記格子像を射影変換することにより、前記格子画像の格子の１ピッチが整数画素となるように変換する第１工程と、
前記第１工程により変換された前記格子画像を位相解析することにより前記物体面の位置に対応する位相を計測することを特徴とする。

本発明の他の実施形態は、前記カメラの光軸が前記物体面に投影される格子の格子面に対して傾いて配置された光学系を用いることを特徴とする前記計測方法である。

本発明の他の実施形態は、前記物体面が曲面の場合、前記物体面の微小部分で射影変換のパラメータを変えながら撮影した前記格子像を射影変換し、前記格子画像の格子の１ピッチが整数となるように曲面を平面に変換することを特徴とする前記計測方法である。

本発明の他の実施形態は、前記計測方法の計測方法を実行する装置である。

本発明により、射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう計測方法およびその装置を提供できる。

従来のＯＰＰＡ法で用いているモアレトポグラフィの光学系を説明する図である。 従来のＯＰＰＡ法で用いているモアレトポグラフィの光学系において、物体上に投影された格子の画像は、物体の高さに関係なく、カメラ内の撮像面では一定の長さとなり、高さにより格子の位相だけが異なることを示す図である。 従来のＯＰＰＡ法により、基準面に投影した格子模様を示す図である。 従来のＯＰＰＡ法により、基準面に投影した格子模様を撮影した等間隔の格子画像を示す図である（格子面に垂直な光軸をもつカメラから撮影したとき）。 本発明の実施形態の一つであるカメラの光軸方向が格子面に垂直でない場合の光学系を示す図である。 図３Ａにおいて、基準面と計測面での点光源Ｌから出射された光がカメラ撮像面に到達するまでの光路を示す図である。 基準面に投影した格子を示す図である。 基準面に投影した格子を、カメラで撮影した不等間隔の格子画像を示す図である（格子面に対して、光軸が斜め方向であるカメラから撮影したとき）。 射影変換により、斜め方向から撮影した格子画像（左図）のピッチを整数Ｎ画素となるように射影変換した格子画像（右図）を示す図である。 図１の光学系において、基準面が格子面に平行でない場合の光学系を示す図である。 １辺が整数Ｎ画素となる場所にある仮想基準面に投影されている格子画像を作ることができることを説明する図である。 基準面が傾いている場合の撮影した格子と仮想基準面上に射影変換した格子画像の例を示す図である。 図３Ａ，図３Ｂの光学系において、さらに基準面が格子面に平行でない場合の光学系を示す図である。 本発明に係る計測装置の構成を説明する図である。

本発明は、射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう形状および／または変形計測法に関連する。

本発明は物体面の格子をカメラにより撮影して解析し、計測する方法に適用できる。本発明は、物体に投影された格子像あるいは、物体に描画された格子を撮像した画像の輝度データをもとに、高精度に位相値を求めることが可能となる位相解析方法に関する。そして、ＯＰＰＡ法に適用して、高精度に求めた位相をもとに、基準とする面からの物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の面内方向への変位を計測することもできる。

以下、本発明の実施形態を図面と共に説明する。
＜ＯＰＰＡ法＞
従来のＯＰＰＡ法では、図１Ａ，図１Ｂに示すように、格子投影法の一つであるモアレトポグラフィの光学系において、物体上に投影された２の画像は、物体の高さに関係なく、カメラ内の撮像面では一定の長さとなり、高さにより格子の位相だけが異なる。撮影した格子１ピッチの輝度データより位相を解析することにより、すべての画素の位相の解析が可能となる。

図１Ａ，図１Ｂにおいて、格子２は光源１である点光源Ｌと基準面Ｒあるいは計測面Ｍとの間に配置される。点光源Ｌから出射した光は、基準面Ｒでは例えば、光路Ａ−Ｅ−Ｃ−レンズ７−G（カメラ撮像面６Ｓ上）というように、カメラ撮像面６Ｓに到達する。

計測面Ｍの高さである基準面Ｒからの高さｈと基準面Ｒからの位相差Θ_Ｍの関係は、数１に示される関係があり、格子に平行な面のｘ，ｙ座標には関係しない。ここで、ｐ’は基準面Ｒでの格子２の影の格子のピッチ、ｚ_Ｒは光源１の点光源から基準面Ｒまでの距離、ｖは点光源とカメラレンズ中心の距離である。

この式において、位相差Θ_Ｍが２πとなるときの高さＨが計測可能範囲ダイナミックレンジを示し、数２で表される。

図１Ａ，図１Ｂのモアレトポグラフィの光学系はデジタルカメラ５を含む。デジタルカメラ５はカメラ撮像面６Ｓおよびカメラのレンズ７を有する。デジタルカメラ５において、デジタルカメラ５を見ると、カメラのレンズ７とのカメラ撮像面６Ｓは平行であり、デジタルカメラ５の光軸はレンズ面に垂直である。この図の場合、撮像面中心はカメラレンズ中心から右方向にずれている。すなわちレンズ７がシフトしている。このためカメラレンズ中心が撮像面中心に対してずれていない普通のカメラを使った場合は、計測範囲が狭くなる。計測範囲を広くしたい場合は普通のカメラは使えず、シフトレンズなどを使った特殊なカメラが必要となる。

このとき、基準面Ｒに投影された格子と、カメラ撮像面６Ｓに撮影された格子画像を図２Ａ，図２Ｂに示す。図２Ａは従来のＯＰＰＡ法により、基準面Ｒに投影した格子模様を示す図である。図２Ｂは従来のＯＰＰＡ法により、基準面Ｒに投影した格子模様を撮影した等間隔の格子画像を示す図である（格子面に垂直な光軸をもつカメラから撮影したとき、カメラ撮影面６Ｓに撮像される格子模様）。

基準面Ｒ上で正方形である格子模様はカメラ撮影面６Ｓの画像面でも正方形となっており、１ピッチをＮ（例えばＮ＝９）画素に合わせると、計測面Ｍがどの高さにおいても１ピッチがＮ画素となり、計測面の高さにより、位相のみが異なる。そこで、ＯＰＰＡ法を用いて、１ピッチ（Ｎ画素）のフーリエ変換を行い、その部分の位相を求めると、高さｈがわかる。

図３Ａ，図３Ｂは本発明による光学系を示す図である。本発明の実施形態における光学系において、カメラの光軸は格子２の格子面に対して傾いており、シフト機構を持たない普通のカメラを用いて、広範囲を撮影することができる。

図４Ａは図３Ａにおいて基準面に投影した格子を示す図である。図４Ｂは基準面に投影した格子を、カメラで撮影した不等間隔の格子画像を示す図である（格子面に対して、光軸が斜め方向であるカメラから撮影したとき）。この場合、撮影した画像は図４Ｂに示すように、１ピッチがＮ画素の正方形（ｘ，方向とｙ方向でＮの画素数が異なる長方形でも良い）とならず、４角形となっている。

この場合、図４Ａと図４Ｂの２つの格子画像は、ホモグラフィ変換などの射影変換により対応付けができる。射影変換は公知の数学的な変換方法である。この射影変換を用いると、図５の左図に示すように、斜め方向のカメラから撮影した扁平した４角形の格子画像が、正方形の格子画像になる。これにより、公知のＯＰＰＡ法による位相解析が可能となる。この場合、格子画像は、基本的に整数画素ピッチの格子画像となっているため、ＯＰＰＡ法で使用する周波数１の基本周波数はかなり正確に抽出することができ、精度良い位相解析が可能となる。

つぎに、図６Ａに示すように、基準面が格子面に対して平行に配置されていない場合を考える。図６Ａに示されるように、基準面Ｒ’は格子２の格子面に対して平行に配置されていない。この場合も、図７に示すように、射影変換により、左図の斜め方向の基準面Ｒ’に投影された格子２を撮影した格子画像が、右図に示される正方形の格子画像に変換される。１辺が整数Ｎ画素となる場所にある仮想基準面Ｒ’’に投影されている格子画像を作ることができる（図６Ｂ参照）。このようにして撮影してもカメラに映った画像は基準面Ｒ’からの高さを表す。図７は基準面Ｒ’が傾いている場合の撮影した格子と射影変換した格子画像の例を示す図である。

図８に示すように、カメラ撮像面６Ｄと基準面Ｒ’両方が格子２の格子面に平行でない場合も、撮影した画像を射影変換することにより、仮想基準面Ｒ’’の画像に変換することができ、計測面における位相解析を高精度に行なうことが可能となる。

格子２が正しく投影される仮想基準面Ｒ’’に対してずれた位置に置かれた実際の基準面Ｒ’に格子２が投影される。この基準面Ｒ’に投影された格子像をデジタルカメラ５で撮影し、そのカメラ撮像面６Ｄに記録される。物体３の物体表面に投影された格子模様はカメラ撮像面６Ｄで記録されるが、これを仮想基準面Ｒ’’で記録されたと考えても、位相は同じである。

カメラ撮像面６Ｄで記録された格子像を仮想基準面Ｒ’’に射影して、その位相を求めても良い。すなわち、カメラの撮像面６Ｄの画像を仮想基準面Ｒ’’の座標に変換して、位相を解析すればよい。これにより、仮想基準面Ｒ’’上では等間隔となり、位相のみが異なってくる。したがって、ＯＰＰＡ法による位相解析が可能となる。

図９に本発明に係る計測装置全体の構成を示す。１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子のピッチや格子線の方向を自在に変更することができる。

物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。

コンピュータ８には、公知の全空間テーブル化法を実行するためのデータテーブル８ａをメモリに記憶することも可能である。また、本発明に係るプログラムをコンピュータ８で実行することができる。また、本発明に係るプログラムを記録した記録媒体８ｂをコンピュータ８に装着することで、本発明に係る計測方法を実行することができる。

本発明に係る格子像の射影変換により格子像を変換する方法を、例えば、特許文献１や特許文献２に開示される計測方法および計測装置に適用し、計測対象物の形状あるいは変形を測定することができる。また、本発明は、特許文献１や特許文献２に限定されず、計測面での位相解析をもとに、計測対象物の形状あるいは変形を測定する方法や装置に適用できる。

基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。

上述したように、本発明によれば、精度良く解析するため、撮影した格子画像を座標変換により、格子ピッチが一定の整数画素となるように長方形格子や正方形格子に変換し、変換された格子画像をサンプリングモアレ法やＯＰＰＡ法により位相解析する。これにより、精度が良くなるだけでなく、撮影時に格子画像が長方形や正方形となるように光学系を調整する必要がなく、格子画像の撮影が容易になる。

ＯＰＰＡ法はモアレトポグラフィの光学系を用いている。この光学系は光源とカメラレンズ高さが格子面から同じ高さであり、さらに、基準面とカメラ撮像面が格子面に平行である必要があり制限が多かった。本発明の方法はこの制限を緩和し、光学系の融通性を広くするもので、格子画像が長方形や正方形となる仮想の基準面を使うことができ、カメラ撮像面は格子面に平行でなくても良い方法で、光学系の配置が容易になる。

基準面に投影された格子を斜め方向から撮影しても、撮影された格子画像と、カメラ撮像面が基準面に平行な場合の撮像面の画像とは１：１の対応関係があり、撮影された格子画像をホモグラフィ変換などの射影変換によりカメラ撮像面が基準面に平行な場合の撮像面の格子画像に対応付けることができる。

物体面に格子を投影した場合も同じ対応関係を使うことにより、撮像した画像から、カメラ撮像面が基準面に平行な場合の撮像面の画像を生成することができ、この格子画像の位相解析により高さを解析することが可能となる。すなわち、カメラ光軸が格子面に垂直でなくても、また、基準面の位置が正確に決まっていなくても、撮像した画像はすべて、ＯＰＰＡ法の１ピッチが整数Ｎ画素となる格子面に平行な仮想基準面の画像に対応させることができ、この対応した格子画像の位相を解析することにより。高さを求めることができるようになる。

サンプリングモアレ法においては、材料に描いた格子の位相を解析することにより、格子面の面内の変位を求めることができる。カメラの光軸が格子面に垂直でない場合は、撮影された格子画像の場所により、格子の１ピッチの長さが異なって撮影され、位相の解析が困難となり、誤差も大きくなる。ところが、本発明に係る射影変換を用いる方法により、撮影した画像を、１ピッチの間隔が整数Ｎ画素となる平面に対応付けておくと、特許文献１や特許文献２に開示されるＯＰＰＡ法による格子の位相の解析が簡単となり、精度も良くなる。

ＯＰＰＡ法を用いて形状計測を行なうモアレトポグラフィの光学系では、カメラ光軸は格子面に垂直であるなどの制限があり、カメラの光軸が対象物の中心にない場合は、カメラレンズをシフトさせる機構などが必要で制限があった。本発明を用いることにより、その制限が緩和され、光学系の組み方の自由度が増え、コンパクトな３次元形状計測装置となる。

サンプリングモアレ法において、カメラ光軸を格子面に垂直にしていない場合は、位相解析の誤差が大きくなるが、本発明により斜め方向からの撮影も可能となり、撮影の自由度が増え、計測が容易になる。従来のＯＰＰＡ法は、モアレトポグラフィの光学系を満足しないと形状計測ができなかった。すなわち、本発明はその拘束を緩和するもので、カメラの光軸が格子面に対して垂直でなくても解析できる方法を提供できる。

従来のサンプリングモアレ法は１ピッチの画素数が整数からずれると位相解析の誤差が大きかった。カメラで撮影した格子画像を射影変換により１ピッチが整数となるように変換してから位相解析を行なうと位相の精度が良くなる。また、これにより、物体面に垂直な光軸方向から撮影した画像として得られ、ＯＰＰＡ法による位相解析が可能となる。

モアレトポグラフィの光学系は大きなものを撮影する場合、装置が大きくなるという欠点があった。逆に、対象物が小さい場合にはカメラとプロジェクタが近づきすぎ、その配置ができないという問題があった。本発明の方法を用いることにより、コンパクトな装置を組むことができるようになる。

格子を描画する物体の面は平面に限らない。物体表面の面内での変位を測定するので、物体の表面が曲面であってもよい。

１ 光源
２ 格子
３ 物体
４ 載置台
５ デジタルカメラ
６ 撮像素子
６Ｓ カメラ撮像面
６Ｄ カメラ撮像面
７ レンズ
８ コンピュータ
８ａ データテーブル
８ｂ 記録媒体
９ 出力装置
Ｌ 光源の位置
Ｖ カメラレンズの中心
Ｒ 基準面の点
Ｒ’ 基準面の点（基準面が格子面に対して平行ではない場合）
R’’ 仮想基準面（格子１ピッチが整数N画素となる面）

Claims (4)

1. 物体面の格子像をカメラにより撮影した格子画像により、前記物体面の位置に対応する位相を計測する計測方法であって、
   前記格子画像の格子の１ピッチが整数画素とならない場合は、撮影した前記格子画像を射影変換することにより、前記格子画像の格子の１ピッチが整数画素となるように変換する第１工程と、
   前記第１工程により変換された前記格子画像を位相解析することにより前記物体面の位置に対応する位相を計測する計測方法。
2. 前記カメラの光軸が前記物体面に投影される格子の格子面に対して傾いて配置された光学系を用いる請求項１に記載の計測方法。
3. 前記物体面が曲面の場合、前記物体面の微小部分で射影変換のパラメータを変えながら撮影した前記格子画像を射影変換し、前記格子画像の格子の１ピッチが整数となるように曲面を平面に変換する請求項１に記載の計測方法。
4. 前記請求項１〜３のいずれかの計測方法を行なう装置。

Images