JP3851189B2 - 液晶格子を用いた格子パタン投影装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は非接触で３次元形状を測定する格子パタン投影装置における格子パタンの投影と画像処理システムに関する。
【０００２】
【従来の技術】
近年、工業、医療、ファッションなどの多くの分野で対象物の３次元形状を測定するニーズが高まり、特に光学的な手段を用いた非接触型の測定器が望まれている。表面凹凸の大きさがサブｍｍ（〜１００μｍ）からｃｍ領域の場合の代表的な光学式３次元形状測定法として、▲１▼スポット光を２次元走査する点計測法、▲２▼線状のスリット光を走査する光切断法などの線計測法、▲３▼規則性のある２次元パタンを投影し、凹凸で生じたパタンの変形を検出して画像処理するモアレ法や格子パタン投影法などの面計測法がある。これらの中でも、格子パタン投影法は計測原理が単純、装置構成が簡素、計測精度が高いなどの利点があり、３次元形状の自動計測に適している。
【０００３】
図６（ａ）に従来の格子パタン投影装置の構成例、図６（ｂ）に従来の格子パタンの強度分布の波形例を示して動作を説明する。図６（ａ）の装置において、光源部６０はハロゲンランプなどの白色光源と照明レンズなどで構成され、格子６１を照明する。格子６１は所定の光透過分布とピッチを有する直線状の格子パタンが多数形成されており、格子６１の光透過分布とピッチに応じた強度分布の格子パタンを投影レンズ６３で拡大、または縮小して３次元形状が測定される物体６４に投影する。初期の格子パタン投影装置では、バイナリ（白黒２値階調）な強度分布をガラス基板に描画した格子を用いていたが、最近では液晶素子で構成した液晶格子が用いられており、多階調の強度分布のパタンが容易に作成できるようになった。液晶格子を用いる場合の格子パタン投影では、４相正弦波信号作成部６２で位相がπ／２ずつシフトした４相正弦波信号を作成して、正弦波強度分布を有する格子パタンを物体６４に４回投影する。
【０００４】
物体６４に投影された格子パタンは物体６４の凹凸に応じて変形し、凹凸が大きいほど直線からの変形が大きくなる。凹凸で変形した格子パタン（以下、変形格子パタンと称する）の２次元画像を、投影した方向とは異なる方向から撮像レンズ６５を介してＣＣＤカメラからなる４相画像検出部６６で検出する。１回の測定あたり、位相がπ／２ずつシフトされた格子パタンを４回投影するため、１回の投影あたり１回の変形格子パタン画像を検出し、全体として４相画像を検出する。
【０００５】
変形格子パタンの直線からの変形は４相画像検出部６６の受光面の面内方向のシフトとして生じ、変形の大きさが物体６４の凹凸の大きさに対応する。したがって、検出した２次元画像の強度分布ｐ（ｘ、ｙ）から物体６４の３次元座標Ｐ（Ｘ、Ｙ、Ｚ）を算出する。このとき、強度分布ｐ（ｘ、ｙ）を規格化された量である位相分布φ（ｘ、ｙ）に変換する。そのため、４相画像検出部６６から出力される４相画像信号を、正弦波位相算出部６７２と位相分布接続部６７４から構成される４相画像演算部６７で位相分布φ（ｘ、ｙ）を算出する。
【０００６】
正弦波位相算出部６７２は、４相画像の各周期ごとに正弦波の強度分布を０から２πの間の位相分布に変換する。位相に変換することで、強度レベルに依存しない基準化された分布が得られる。位相分布接続部６７４は、各周期の位相分布を４相画像の全体にわたって接続する。画像全体の位相分布を、格子６１、物体６４、４相画像検出部６６の受光面を結ぶ三角形の各辺の距離と辺間の角度の関係で定まる三角測量法の演算を行って物体６４の３次元形状を算出する。
【０００７】
図６（ｂ）の波形６８は４相正弦波の強度分布である。格子パタンの１周期の期間がＰである。波形６８Ａ、６８Ｂ、６８Ｃ、６８Ｄは位相がπ／２ずつシフトしている。このような位相がπ／２ずつシフトした格子パタンを投影する方法を４相位相シフト法と呼んでいる。
【０００８】
位相シフトした４相画像の任意の位置ｘ、ｙでの強度をＩ₀ 、Ｉ₁、Ｉ₂、Ｉ₃ とすると、その位置での正弦波強度画像の位相φ（ｘ、ｙ）は、
φ（ｘ、ｙ）＝ａｒｃｔａｎ［（Ｉ₃ −Ｉ₁ ）／（Ｉ₀ −Ｉ₂ ）］
で表される。以上の三角関数のａｒｃｔａｎ演算を２次元画像の全体で行うことで、画像全体としての位相分布が検出できる。得られた各周期毎の位相分布を接続した位相分布を三角測量法により物体６４の凹凸分布に変換する。
【０００９】
【発明が解決しようとする課題】
従来の格子パタン投影装置は、格子パタンの強度分布が正弦波であって、正弦波の位相をπ／２ずつシフトして４回投影することが必要である。格子パタンを４回投影するため、測定時間が長くなるという問題点がある。また、液晶格子で正弦波強度分布を作成するとき、液晶素子の駆動電圧に対する透過光強度特性が非線形な関係であるため、正弦波のピーク強度領域付近では正弦波が歪んでしまうという問題点もある。
【００１０】
正弦波強度分布の４相画像から位相分布を算出するとき、正弦波のピーク領域も含めた画像全体の強度を演算の対象にする。そのため、正弦波が歪むことにより、位相分布φ（ｘ、ｙ）に誤差が生じ、３次元形状の測定誤差が大きくなるという問題もある。また、正弦波強度を位相に変換するときに三角関数演算が必要で、ａｒｃｔａｎの値を三角関数テーブルで参照するなど、画像データ処理の構成が複雑になるという問題点もある。
【００１１】
正弦波強度分布の格子パタンの位相シフトを行うことで生じる上記の諸課題を解決するため、本発明は正弦波または三角波の強度分布の格子パタンを作成し、位相がπ／２異なる２相格子パタンを投影する。２相画像の処理に関しては、強度がほぼ直線的に変化する領域を選択し、選択された領域での画像強度または画素数の比例演算で位相分布を検出する構成で、計測時間が短く、計測精度が高い３次元形状測定装置を実現することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明の液晶格子を用いた格子パタン投影装置は、白色光を出射する光源部と、３次元形状が測定される物体に格子パタンを投影する液晶格子と、前記物体の凹凸に応じて変形した格子パタン画像を検出する画像検出部と、前記変形した格子パタン画像の強度分布を演算処理する画像演算部とを備えて、前記物体の３次元形状を測定する液晶格子を用いた格子パタン投影装置において、前記物体に投影する格子パタンは特定の強度分布を有する位相がπ／２シフトした２相パタンであって、前記画像検出部は前記２相パタンが変形した２相画像を検出し、前記画像演算部は、前記２相画像の特定の強度範囲を選択して画像の１周期を４個の象限に分割する象限設定部と、各象限の基準データとする強度振幅と画素数を検出する象限基準データ検出部と、各象限の強度分布を位相分布に変換する象限位相演算部と、個々の象限の位相分布を２相画像全体の位相分布に接続する位相分布接続部から構成され、接続された位相分布から前記物体の３次元形状を測定するように構成される。
【００１３】
また、本発明の液晶格子を用いた格子パタン投影装置の前記位相がπ／２異なる２相パタンの強度分布は、正弦波強度分布または三角波強度分布であるように構成される。
【００１４】
また、本発明の液晶格子を用いた格子パタン投影装置の前記象限設定部は、前記２相画像の特定の強度をスライスレベルとして、前記２相画像の強度分布がほぼ直線的に変化する領域を選択するために前記２相画像を交互に選択して１周期を４個の象限に分割し、該選択された領域内の強度を位相分布の算出に用いるように構成される。
【００１５】
また、本発明の液晶格子を用いた格子パタン投影装置の前記象限設定部は、前記象限の位相幅をπ／２に設定したとき、前記象限基準データ検出部で検出した振幅と画素数を基準として、象限内の各画素の強度と画素位置の少なくとも一方のデータと前記象限基準データの一方のデータとの比例演算から象限内での位相分布を算出するように構成される。
【００１６】
【発明の実施の形態】
本発明による格子パタン投影装置は、投影する格子パタンのピッチと強度分布が自在に可変できるように液晶格子を用いる。物体に投影する格子パタンの強度分布に関しては、正弦波強度分布、あるいは三角波強度分布に設定する。また、パタンピッチは、物体の凹凸の大きさ、格子パタンの本数や強度階調などに応じて設定する。三角波強度分布では、特に、強度が増加する領域と減少する領域の幅が等しくなるように設定する。格子パタンは位相をπ／２（１／４周期）シフトさせ、物体に２回投影する。
【００１７】
物体の凹凸で変形した２相変形格子パタン画像（２相画像）を画像処理するとき、２相画像の特定の強度範囲を選択し、その強度範囲では強度が直線的に変化すると仮定して、比例演算をベースにして強度分布を位相分布に変換する。そのため、２相画像の特定の強度値をスライスレベルに設定して２相画像を交互に２回ずつ選択し、１周期を４つの象限に分割する。この選択された領域内の強度信号だけを位相算出の演算対象にする。なお、スライスレベルは象限内の強度分布の基本形が実質的に直線状の分布になるような範囲に設定する。
【００１８】
各象限毎に強度分布を位相分布に変換するとき、各象限の位相幅をπ／２に設定（１周期の位相幅を２π）する。このとき、各象限毎に強度の振幅Ｖと象限の画素数Ｎを検出して象限基準データとする。投影する格子パタンの強度レベルと物体の反射率が一定の場合は、振幅Ｖは各象限について一定である。また、画素数Ｎと強度分布は物体の凹凸形状に応じて変動する。
【００１９】
象限内で強度が直線的に変化する場合は、その象限内の形状が一定な平面であることを意味し、直線の傾きが大きい（象限の画素数Ｎが少ない）ほど平面の傾斜が大きい。したがって、強度が直線的に変化する場合は、象限内で位相が直線的に変化する。この場合は、象限の画素数Ｎを位相π／２に対応させて、画素数Ｎに対する各画素位置の画素の比から象限内の位相分布を算出する。あるいは、象限の振幅Ｖに対する各画素位置の強度の比から位相分布を算出してもよい。
【００２０】
象限内で強度が非線形に変化する場合は、その象限内で形状が非線形に変化することを意味し、強度の変化が大きいほど形状の変化が大きく、強度分布が形状に対応する。強度分布が非線形に変化する場合は、象限内で位相が非線形に変化する。この場合は、象限の振幅Ｖに対する各画素位置の強度を比例演算で位相に変換する。このように、本発明は各象限の画素数、あるいは振幅を基準にして、比例演算をベースにして象限内の位相分布を算出する。
【００２１】
各象限の位相分布は０〜π／２の範囲であるため、▲１▼象限から▲４▼象限までの１周期の期間について位相分布を順次接続して１周期の位相分布を算出する。さらに、各周期で得られた位相分布を２相画像の全体にわたって接続する。この画像全体の位相分布を三角測量演算で３次元形状を測定する。
【００２２】
以下に図面を用いて本発明の実施の形態を詳細に説明する。図１に本発明による液晶格子を用いた格子パタン投影装置の構成ブロック図、図２に２相格子を作成するときの液晶素子の駆動信号波形例を示す。光源部６０はハロゲンランプなどの照明用白色光源とレンズ系などから構成され、白色光を液晶格子１１に照射する。２相格子信号作成部１２は、位相がπ／２シフトした正弦波信号、あるいは三角波信号を作成して、液晶格子１１を駆動する。液晶格子１１は前記の信号に応じた強度分布を有する格子パタンを作成して、投影レンズ６３を通して３次元形状が測定される物体６４に順次（２回）投影する。
【００２３】
図２に２相格子の駆動信号波形例を示す。図２（ａ）の波形２１、２２は正弦波信号波形、図２（ｂ）の波形２３、２４は強度が離散的、階段波状に変化する三角波信号波形である。正弦波、三角波のいずれも位相がπ／２シフトした信号で、１周期がＰである。このとき、液晶画素の大きさや画素数、投影する格子パタンの本数、強度階調などに応じて駆動電圧範囲や電圧ステップを設定する。図２（ｂ）の離散三角波信号は強度増加領域と強度減少領域の幅と電圧振幅が等しい対称な三角波信号である。実験結果からは、正弦波信号の場合は強度が３２階調程度でよく、三角波信号の場合は強度が８階調程度でよい。
【００２４】
物体６４に投影された２相格子パタンは物体６４の表面凹凸に応じて変形し、その変形格子パタン画像を撮像レンズ６５を介してＣＣＤカメラなどから成る２相画像検出部１３で２相画像として検出して記憶する。本発明は位相がπ／２シフトした２相画像を検出して画像処理する構成で、２相画像信号を２相画像演算部１００で画像処理して物体６４の３次元形状を算出する。
【００２５】
２相画像演算部１００は、２相画像信号の１周期の期間を４個の象限に分割する象限設定部１４と、象限毎の強度振幅Ｖと象限画素数Ｎとを検出する象限基準データ検出部１５と、象限基準データを元にして象限の強度分布を０〜π／２の範囲の位相分布に変換する象限位相演算部１６と、各象限毎の位相データを接続して２相画像全体の位相分布を算出する位相分布接続部１７から構成され、検出された位相分布から物体６４の３次元形状を計測する。以上の２相画像処理において、本発明は２相画像の強度分布が実質的に直線的に変化する領域を選択し、その強度範囲内の強度や画素数の比例演算をベースにして位相分布を検出することが特徴である。
【００２６】
図３に２相画像の例を示して象限設定の動作を説明する。図３（ａ）は２相正弦波信号で、波形３１はＡ相信号、波形３２はＢ相信号である。この２相信号は位相がπ／２シフトしている。点線３３と３４はスライス強度で、２相信号３１と３２の強度が等しくなる位置の強度に設定する。図３（ｂ）の波形３５、３６は三角波強度分布の例である。図３（ａ）と同じく、位相がπ／２シフトしており、点線３７と３８はスライス強度で、２相信号３５と３６の強度が等しくなる位置の強度に設定する。液晶格子１１の駆動信号は三角波であっても、検出された２相画像の強度分布は、特にピーク強度領域で歪みが生じて強度がブロードに変化する。
【００２７】
図３（ｃ）は、図３（ｂ）の波形のスライス強度の範囲内の強度を表す。波形３５のＡ相信号の強度がスライス範囲内にあるときは、波形３６のＢ相信号の強度はスライス範囲外になる。そこで、２相画像を交互に２回ずつ選択して、１周期を▲１▼、▲２▼、▲３▼、▲４▼の４個の象限に分割する。各象限内の強度はほぼ直線状に変化する。図３（ａ）の正弦波の場合であっても、スライス強度内の強度は実質的に直線状に変化する。このとき、さらに高精度な測定が必要な場合は、正弦波分布よ直線分布の差強度を補正すればよい。正弦波の場合のスライス強度をピーク強度の±７１％程度に設定すれば、前記の直線状の強度分布が得られる。２相信号の１周期を４個の象限に分割したとき、１周期の位相範囲を２πとすると、各象限当たりの位相はπ／２で、各象限の強度分布を０〜π／２の位相分布に変換する。
【００２８】
図４に、選択した直線強度を位相分布に変換する演算を示す。図４（ａ）は１周期の各象限で強度が直線状に変化する場合である。このとき、スライス強度内の振幅をＶ、▲１▼、▲２▼、▲３▼、▲４▼象限の画素数をａ、ａ、ｂ，ｃとする。各象限の強度が直線的に変化する場合は、その象限内では物体形状は平面である。平面の形状は画素数で決まる。▲１▼、▲２▼象限の画素数は等しいため、形状は等しい。また、▲３▼、▲４▼象限は画素数が異なるため、異なる形状の平面である。ここで、異なる平面とは、平面の傾きが異なることを意味する。なお、象限の画素数が少ないほど格子パタンの変形が大きく、平面の傾きが急である。
【００２９】
図４（ａ）の▲３▼象限の点４１の位相を求める場合を説明する。点４１での強度（電圧）をｖ、その象限内での画素位置をｎとする。なお、▲３▼象限の振幅強度をＶ、画素数をＮとする。これが象限基準データである。強度分布は直線であるから、象限内の位相は直線的に変化し、比例演算で位相が算出できる。画素数の比例演算を用いれば、位置４１の位相φは、φ＝πｎ／（２Ｎ）である。また、強度の比例演算を用いれば、φ＝π（Ｖ−ｖ）／（２Ｖ）である。以上で求めた位相は象限内での位相であるから、１周期で見たときの位相はπ＋φである。
【００３０】
図４（ｂ）は強度変化が非線形になる場合の位相検出の例である。▲１▼、▲２▼、▲３▼及び▲４▼象限の画素数はａ、ｂ、ｃ、ｄで、▲１▼、▲２▼象限は強度が直線的に変化し、▲３▼、▲４▼象限は強度が非線形に変化する場合である。強度が非線形に変化する場合は、その象限内で形状が平面でなく、傾きが変化していることを意味する。▲３▼、▲４▼象限を比較すると、▲３▼象限の形状が凸ならば、▲４▼象限は凹の形状である。以上の例から、基本の強度分布を直線状の分布に設定することで、強度分布は物体の形状に対応する。
【００３１】
▲１▼、▲２▼象限は強度だけでなく、画素数の比例演算で位相が検出できるが、▲３▼、▲４▼象限の場合は画素数データからは位相検出ができない。そこで、強度が非線形に変化する場合は強度情報から位相を検出する。図４（ｃ）で象限の振幅をＶ、点４２の強度をＳとしたとき、象限内の位相φは、φ＝π（Ｖ−Ｓ）／（２Ｖ）である。この場合も図４（ａ）の直線強度の場合と同様に比例演算で位相検出が可能である。さらには、象限内の仮想直線４３の強度と実際の強度分布の差強度を各座標位置毎に算出し、直線位相との差を算出して位相分布を求めてもよい。
【００３２】
図５に本発明による２相画像信号の１周期内の位相分布を算出するときの演算処理のフローチャート図を示す。ステップ５００は２相画像の検出と記憶で、信号の１周期を基本単位として画像全体にわたって以下に示す演算を行う。ステップ５０２は２相画像信号の１周期内の最大強度、最小強度となるピーク強度と、ピーク強度の画素位置を検出する。ステップ５０４はスライスレベル設定で、例えばピーク強度の±７０．７％の強度、あるいは２相画像の互いの強度が等しくなる位置の強度をスライスレベルに設定する。
【００３３】
ステップ５０６は直線領域の設定で、スライス範囲内にある強度を選択して１周期を４つの象限に分割する。各象限の位相幅をπ／２として、１周期の期間を２πに設定する。各象限ステップ５０８は象限基準データ検出で、各象限毎の強度振幅と画素数を検出する。これらのデータを以降の位相演算の参照用のデータとする。
【００３４】
ステップ５１０は各象限内の強度分布の判定で、強度が直線的に変化するか、非線形に変化するかを判定する。ステップ５１２は各象限内の位相算出で、象限基準データの振幅、あるいは画素数を基準として、比例演算をベースとして象限内の各画素の強度、あるいは画素位置から位相分布を算出する。このとき得られる位相はπ／２までの範囲である。ステップ５１４は位相接続で、各象限ごとに算出した位相を各区分の境界位置で接続し、１周期の全体での位相分布に接続する。この１周期の期間の位相は２πまでの範囲である。以上で検出された１周期ごとの位相分布を２次元の位相分布に再度接続し、２次元位相分布から３次元形状を算出する。
【００３５】
以上の説明で明らかなごとく、本発明は液晶格子から位相がπ／２シフトした２相格子を作成して物体に投影し、２相の変形格子パタン画像の特定の強度範囲を選択し、比例演算をベースとした演算処理で３次元形状を測定する。演算処理は画像強度、あるいは画素数の比例演算である。
【００３６】
【発明の効果】
上記のごとく本発明による３次元形状測定装置は、液晶格子を用いて正弦波、あるいは三角波の強度分布を持ち、位相がπ／２シフトした格子パタンを２回投影する。格子パタンを投影する回数が２回でよいため、測定時間が短縮される効果がある。特に、三角波の強度分布の場合は、８階調程度の低階調でも直線性の高い三角波分布が得られるため、液晶格子の駆動信号の作成が容易になり、投影する格子パタンの本数などの制約が少なくなり、物体形状に応じて自在なパタンが投影できる。
【００３７】
２相画像の画像処理に関しては、強度が直線的に変化する領域を設定して１周期を４つの象限に分割し、各象限ごとに強度あるいは画素数データを用いて比例演算で位相を算出する。比例演算により位相算出の演算が簡素化されて測定の信頼性が向上すると共に、演算の高速化が実現される。また、１周期の１／４の区間ごとに位相算出演算を行うため、たとえ位相誤差が生じてもそれが広い領域まで積算されることがなく、高精度な測定が実現できる。本発明は、特に、格子パタンの強度分布と物体の表面反射率が一定の場合に有効である。
【図面の簡単な説明】
【図１】本発明の構成と動作を説明するブロック図である。
【図２】本発明の格子パタンの強度分布の波形例で、（ａ）は正弦波強度、（ｂ）は三角波強度の波形例である。
【図３】本発明の２相画像から直線強度を選択する例で、（ａ）は正弦波信号の場合、（ｂ）は三角波信号の場合、（ｃ）は直線強度の波形例である。
【図４】本発明の比例演算による位相算出例で、（ａ）は強度が線形に変化する場合、（ｂ）と（ｃ）は強度が非線形に変化する場合の波形例である。
【図５】本発明の位相算出の動作を説明するフローチャート図である。
【図６】（ａ）は従来の正弦波格子を用いた格子パタン投影装置の構成と動作を説明するブロック図、（ｂ）は４相正弦波の波形例である。
【符号の説明】
１１ 液晶格子
１２ ２相格子信号作成部
１３ ２相画像検出部
１４ 象限設定部
１５ 象限基準データ検出部
１６ 象限位相演算部
１７ 位相分布接続部

Claims (4)

1. 白色光を出射する光源部と、３次元形状が測定される物体に格子パタンを投影する液晶格子と、前記物体の凹凸に応じて変形した格子パタン画像を検出する画像検出部と、前記変形した格子パタン画像の強度分布を演算処理する画像演算部とを備えて、前記物体の３次元形状を測定する液晶格子を用いた格子パタン投影装置において、
   前記物体に投影する格子パタンは特定の強度分布を有する位相がπ／２シフトした２相パタンであって、前記画像検出部は前記２相パタンが変形した２相画像を検出し、前記画像演算部は、前記２相画像の特定の強度範囲を選択して画像の１周期を４個の象限に分割する象限設定部と、各象限の基準データとする強度振幅と画素数を検出する象限基準データ検出部と、各象限の強度分布を位相分布に変換する象限位相演算部と、個々の象限の位相分布を２相画像全体の位相分布に接続する位相分布接続部から構成され、接続された位相分布から前記物体の３次元形状を測定することを特徴とする液晶格子を用いた格子パタン投影装置。
2. 前記位相がπ／２異なる２相パタンの強度分布は、正弦波分布または三角波分布であることを特徴とする請求項１に記載の液晶格子を用いた格子パタン投影装置。
3. 前記象限設定部は、前記２相画像の特定の強度をスライスレベルとして、前記２相画像の強度分布がほぼ直線的に変化する領域を選択するために前記２相画像を交互に選択して１周期を４個の象限に分割し、該選択された領域内の強度を位相分布の算出に用いることを特徴とする請求項１に記載の液晶格子を用いた格子パタン投影装置。
4. 前記象限位相演算部は、前記象限の位相幅をπ／２に設定したとき、前記象限基準データ検出部で検出した振幅と画素数を基準として、象限内の各画素の強度と画素位置の少なくとも一方のデータと前記象限基準データの一方のデータとの比例演算から象限内での位相分布を算出することを特徴とする請求項１に記載の液晶格子を用いた格子パタン投影装置。

Images