JP6658625B2 - ３次元形状計測装置及び３次元形状計測方法 - Google Patents

Description

本発明は、計測対象物に周期性を有するパターンを投影し、観測される信号を用いて当該計測対象物の３次元形状を計測する技術に関する。

画像を用いて物体の三次元形状を計測する技術として、位相シフト法が知られている。位相シフト法とは、プロジェクタにより計測対象物に周期性を有するパターンを投影し、物体表面の凹凸に依存して生じる投影パターンの歪み（位相ずれ）を解析することで、物体表面の三次元形状を復元する方法である。また、位相シフト法の改良手法としてＭＰＳ（Micro phase shifting）と呼ばれる手法も知られている（非特許文献１参照）。

これらの方法においては、計測対象物の周囲に存在する他の物体での反射光が計測精度を低下させるという現象が生じることがある。この現象について図６を参照して説明する。図６は、撮像装置２００とプロジェクタ２０１を用いた計測系を示している。プロジェクタ２０１から所定のパターンをもつ光２０１Ｌを計測対象物２０２に投影し、計測対象物２０２の表面に映る投影パターンを撮像装置２００で撮像する。このとき、計測対象物２０２の表面凹凸による投影パターンの歪みは、画像の輝度変化となって現れる。よって、画像の輝度変化を基に、プロジェクタ２０１と計測対象物２０２の表面上の点と撮像装置２００の位置関係を特定し、三角測量の原理から計測対象物２０２の表面の高さ（３次元位置）を算出することができる。

しかしながら、図６に示すように、計測対象物２０２の近傍に物体２０３が存在すると、プロジェクタ２０１から投影された光が物体２０３の表面で反射し、その反射光２０３Ｌが計測対象物２０２の表面を照らしてしまうことがある。そうすると、撮像装置２００で観測される観測信号の中に、プロジェクタ２０１の光２０１Ｌの反射光成分２０１Ｒ（直接成分信号とよぶ）だけでなく、物体２０３からの間接光２０３Ｌの反射光成分２０３Ｒ（間接成分信号とよぶ）も含まれることとなる。この間接成分信号２０３Ｒは、計測対象物２０２の表面上の投影パターンにノイズとして重畳されるため、投影パターンの解析（つまり観測信号の位相値の算出）に悪影響を与え、計測誤差を生じさせてしまうのである。本明細書では、このような現象を「相互反射」又は「多重反射」と呼び、相互反射又は多重反射の原因となる物体（図６の例では物体２０３）を「原因物体」と呼ぶ。

相互反射の影響を低減する方法として、特許文献１では、相互反射の原因となる原因物体を特定し、その原因物体に投影される投影パターンを減光もしくは消光した状態で撮像を行うという方法が提案されている。しかしながら、この方法のように投影パターンを減光もしくは消光してしまうと、３次元形状を計測できない部分（いわゆる死角）が発生する可能性がある。また、この方法は、原因物体（投影パターンを減光もしくは消光すべき部分）を予め正確に特定できなければ相互反射を効果的に抑制できないため、現実の装置への実装が難しいという問題もある。

特開２００８−３０９５５１号公報

Gupta, Mohit, and Shree K. Nayar. "Micro phase shifting." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.

本発明は上記実情に鑑みてなされたものであって、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、相互反射の影響を低減し、計測精度を向上するための技術を提供することを目的とする。

上記目的を達成するために、本発明では、観測信号に含まれる２つの成分信号を推定する処理を繰り返し実行することによって、観測信号を２つの成分信号に精度良く分離する、という構成を採用する。

具体的には、本発明に係る３次元形状計測装置は、投影装置と、撮像装置と、前記投影装置から時間方向と空間方向に周期性を有する投影パターンを計測対象物に対し投影した状態で前記撮像装置により観測される観測信号に基づいて、前記計測対象物の３次元形状を計測する制御装置と、を有する。ここで、前記観測信号が、位相が互いに異なる第１成分信号と第２成分信号の合成信号であると仮定し、前記制御装置は、前記計測対象物上の計測点に対する観測信号として、異なる空間周波数をもつ複数の投影パターンを用いて観測された複数の観測信号を取得し、各観測信号について第１成分信号の推定値の初期値を設定し、（１）各観測信号の第１成分信号の推定値に対して、振幅および位相の誤差を低減する第１の補正処理を適用することにより、各観測信号の第１成分信号の補正推定値を求める第１のステップと、（２）各観測信号から第１成分信号の補正推定値を減算することにより、各観測信号の第２成分信号の推定値を求める第２のステップと、（３）各観測信号の第２成分信号の推定値に対して、振幅および位相の誤差を低減する第２の補正処理を適用することにより、各観測信号の第２成分信号の補正推定値を求める第３のステップと、（４）各観測信号から第２成分信号の補正推定値を減算することにより、各観測信号の第１成分信号の推定値を求める第４のステップと、を含む演算を繰り返し実行することによって、各観測信号に含まれる第１成分信号および第２成分信号を推定し、推定された第１成分信号または第２成分信号の位相に基づいて、前記計測点の３次元位置を算出する。

この構成によれば、第１から第４のステップを含む演算を繰り返し実行することにより、各成分信号の振幅および位相の誤差（真値との差）がより小さくなるように、各成分信号の推定値が更新されていく。したがって、観測信号を２つの成分信号に精度良く分離することができる。そして、分離した成分信号の位相を計測点の３次元位置算出に利用することにより、相互反射の影響が低減された高精度な３次元形状計測が可能となる。

また、本発明の方法は、観測信号に含まれる第１成分信号と第２成分信号の割合が全く未知であっても、すなわち特別な事前知識や前提条件が無くても、適用できるという利点を有する。例えば、現実の適用場面では、相互反射の影響の程度、原因物体の形状（反射面の形状、向きなど）や反射特性（反射率など）、原因物体と計測対象物との位置関係、といった条件が様々であるが、本発明の方法であればいかなる条件に対しても汎用的に適用できるものと期待できる。したがって、本発明は現実の装置への実装が容易である。

本発明を相互反射の影響を低減するために用いる場合、例えば、前記第１成分信号および前記第２成分信号のうちの一方の信号は、前記投影装置から投影された光が前記計測点で反射し前記撮像装置に入射する直接成分信号であり、他方の信号は、前記投影装置から投影され他の反射面で反射された光が前記計測点で反射し前記撮像装置に入射する間接成分信号である。

前記第１の補正処理は、「各観測信号の第１成分信号の推定値から振幅および位相を算出することにより、前記複数の投影パターンそれぞれの空間周波数に対する複数の振幅値および複数の位相値を取得し、前記複数の振幅値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正振幅値を決定し、前記複数の位相値を正規化し、正規化された前記複数の位相値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正位相値を決定し、前記補正振幅値および前記補正位相値に基づいて、前記複数の投影パターンそれぞれの空間周波数に対する輝度信号を再生する」処理であるとよい。この場合、前記再生された各空間周波数に対する輝度信号が、各観測信号の第１成分信号の補正推定値である。

前記第２の補正処理は、「各観測信号の第２成分信号の推定値から振幅および位相を算出することにより、前記複数のパターンそれぞれの空間周波数に対する複数の振幅値および複数の位相値を取得し、前記複数の振幅値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正振幅値を決定し、前記複数の位相値を正規化し、正規化された前記複数の位相値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正位相値を決定し、前記補正振幅値および前記補正位相値に基づいて、前記複数のパターンそれぞれの空間周波数に対する輝度信号を再生する」処理であるとよい。この場合、前記再生された各空間周波数に対する輝度信号が、各観測信号の第２成分信号の補正推定値である。

各成分信号の推定値から算出される振幅値は誤差を含んでおり、その誤差の大きさ（真値との差の絶対値）および正負（真値より大きいか小さいか）は、投影パターンの空間周波数ごとに異なり得る。すなわち、複数の投影パターンそれぞれの空間周波数に対して推定される「複数の振幅値」は、真値を挟んで正側と負側にそれぞれ分布している可能性が高い。逆の見方をすると、振幅値の真値は、複数の振幅値のうちの最小値と最大値のあいだに存在する蓋然性が高い。したがって、上記のように決定された補正振幅値は、少なくとも、複数の振幅値のうち誤差の最も大きいものよりも、真値に近いと期待できる。

同様に、各成分信号の推定値から算出される位相値は誤差を含んでおり、その誤差の大きさ（真値との差の絶対値）および正負（真値より大きいか小さいか）は、投影パターンの空間周波数ごとに異なり得る。すなわち、複数の投影パターンそれぞれの空間周波数に対して推定される「複数の位相値」は、真値を挟んで正側と負側にそれぞれ分布している可能性が高い。逆の見方をすると、位相値の真値は、複数の位相値のうちの最小値と最大値のあいだに存在する蓋然性が高い。したがって、上記のように決定された補正位相値は、少なくとも、複数の位相値のうち誤差の最も大きいものよりも、真値に近いと期待できる。

よって、上述した第１の補正処理および第２の補正処理によって、各成分信号の振幅値および位相値の誤差を低減することができる。

前記補正振幅値は、前記複数の振幅値の平均値または中間値であるとよい。また、前記補正位相値は、正規化された前記複数の位相値の平均値または中間値であるとよい。これにより、簡単な演算処理によって、振幅値および位相値の誤差を低減することができる。

前記複数の位相値を正規化する処理は、前記複数の位相値を共通の空間周波数の位相値に変換する処理であるとよい。各成分信号から算出される位相値は、その成分信号の観測に用いた投影パターンの空間周波数に対する位相値である。それゆえ、上記のように共通の空間周波数の位相値に変換する正規化を施すことで、複数の位相値の比較が可能となる。

空間周波数ごとに前記複数の振幅値の減衰率が異なる場合には、前記補正振幅値を求める前に、前記複数の振幅値それぞれの減衰率の違いをキャンセルするための正規化を行ってもよい。なお、減衰率が同じであるか、減衰率の違いが無視できる場合には、振幅値の正規化を省略しても構わない。

前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ Ｐｈａｓｅ Ｓｉｆｔｉｎｇ）により、推定された第１成分信号または第２成分信号の位相に基づいて、前記計測点の３次元位置を算出するとよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する３次元形状計測装置又は画像処理装置として捉えることができる。また、本発明は、かかる３次元形状計測装置を備える検査装置や３次元スキャナや物体認識装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む、３次元形状計測方法、画像処理方法、検査方法、物体認識方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、相互反射の影響を低減し、計測精度を向上することができる。

図１は３次元形状計測装置のハードウェア構成を示す模式図である。 図２は３次元形状計測に関わる機能を示すブロック図である。 図３Ａおよび図３Ｂは相互反射と観測信号のモデルを示す模式図である。 図４は信号分離処理のフローチャートである。 図５は３次元形状計測処理のフローチャートである。 図６は相互反射を説明する図である。

本発明は、計測対象物に投影したパターンの位相の変化を基に３次元形状を計測する３次元形状計測技術に関し、特に、計測対象物の周囲に存在する反射面による相互反射の影響を低減し、計測精度を向上するための方法に関する。本発明は、位相シフト法やその改良であるＭＰＳ（Micro phase shifting）を利用した３次元形状計測、さらにはＴＯＦ（Time of Flight）方式の位相差法を利用した３次元形状計測に好ましく適用できる。本発明に係る３次元形状計測は、例えば、物体の表面形状を計測する３次元スキャナ、計測した３次元形状に基づき物体の検査を行う検査装置、計測した３次元形状に基づき物体認識や個体識別を行う装置など、様々な装置に応用可能である。例えば、表面実装基板の外観検査装置では、基板上の金属製部品による相互反射が検査精度の低下を招く可能性があるため、本発明に係る３次元形状計測を特に好ましく適用することができる。

以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（３次元形状計測装置の構成）
図１を参照して、本実施形態に係る３次元形状計測装置の全体構成について説明する。図１は３次元形状計測装置のハードウェア構成を示す模式図である。３次元形状計測装置
１は計測対象物Ｏの３次元形状を計測するための装置であり、主な構成として、投影装置（プロジェクタ）１０、撮像装置（カメラ）１１、制御装置（コンピュータ）１２を有して構成される。

投影装置１０は、計測対象物Ｏに対し時間方向と空間方向に周期性を有するパターンを投影する投影手段である。投影装置１０の数は一つでもよいが、複数の方向から計測対象物Ｏに対しパターンを投影可能なように複数の投影装置１０を設けてもよい。投影装置１０としては、デジタルミラーデバイスを用いた方式のＤＬＰ（Digital Light Processing）プロジェクタを好ましく利用できる。ＤＬＰプロジェクタは投影パターンの変更が容易だからである。

撮像装置１１は、パターンが投影された状態の計測対象物Ｏを撮影し、デジタル画像を出力する手段である。撮像装置１１は、例えば、光学系とイメージセンサを有して構成される。３次元形状計測を行う際は、投影装置１０から投影するパターンの位相を変えながら、撮像装置１１によって複数枚の画像を取り込む。本明細書では、撮像装置１１によって観測される計測対象物Ｏの輝度を「観測信号」と呼び、撮像装置１１によって撮像された画像を「観測画像」と呼ぶ。つまり、観測画像の各画素の値は、計測対象物上の対応する計測点の観測信号（輝度値）を表している。本実施形態では、投影パターンの空間周波数を変えながら、複数の観測画像が取得される。

制御装置１２は、投影装置１０及び撮像装置１１の制御、撮像装置１１から取り込まれた画像に対する処理、３次元形状の計測などの機能を有する手段である。制御装置１２は、ＣＰＵ（プロセッサ）、メモリ、不揮発性の記憶装置（例えば、ハードディスクやフラッシュメモリ）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、表示装置（例えば、液晶ディスプレイなど）を備えるコンピュータにより構成することができる。後述する制御装置１２の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することにより実現することができる。ただし、制御装置１２の機能の全部又は一部を、ＡＳＩＣやＦＰＧＡや専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置１２の機能を複数のコンピュータの協働により実現しても構わない。

図２は、制御装置１２の３次元形状計測に関わる機能を示すブロック図である。制御装置１２は、３次元形状計測に関わる機能として、画像取得部２０、信号分離部２１、位相算出部２２、３次元復元部２３を有している。

画像取得部２０は、撮像装置１１から３次元形状計測に用いる複数の観測画像を取り込む機能である。信号分離部２１は、観測画像の画素ごとに、観測信号を２つの成分信号に分離する機能である。位相算出部２２は、分離した成分信号の位相値を算出する機能である。３次元復元部２３は、位相算出部２２で算出された位相値に基づいて、観測画像の各画素（つまり計測対象物Ｏの表面上の各計測点）の３次元位置を算出する機能である。これらの機能の詳細は後述する。

（相互反射と観測信号のモデル）
図３Ａおよび図３Ｂに、相互反射と観測信号のモデルを示す。

図３Ａは、拡散反射面をもつ計測対象物Ｏの近傍に鏡面性の高い反射面３０（例えば金属製の物体の表面）が存在する例である。図３Ｂは、鏡面性の高い反射面をもつ計測対象物Ｏの近傍に拡散反射面３１が存在する例である。

投影装置１０から正弦波状の縞パターンをもつ投影画像１００を投影した場合に、投影画像１００上の位置ｘ_Ｄに対応する光（直接光と呼ぶ）Ｌ_Ｄと、投影画像１００上の位置ｘ_Ｒに対応する光の反射面３０または３１での反射光（間接光と呼ぶ）Ｌ_Ｒとが、計測対象物Ｏ上の計測点Ｐに到達すると仮定する。

このとき、撮像装置１１で観測される観測信号Ｉは、直接光Ｌ_Ｄが計測点Ｐで反射し撮像装置１１に入射した光（直接成分信号と呼ぶ）Ｉ_Ｄと、間接光Ｌ_Ｒが計測点Ｐで反射し撮像装置１１に入射した光（間接成分信号と呼ぶ）Ｉ_Ｒとの合成信号となる。３次元形状計測に必要な所望信号は直接成分信号Ｉ_Ｄである。なお、図３Ａのようなシーンでは、間接成分信号Ｉ_Ｒは反射面３０での反射時に減衰するため、直接成分信号Ｉ_Ｄの強度が間接成分信号Ｉ_Ｒの強度よりも大きくなる。一方、図３Ｂのようなシーンでは、光Ｌ_Ｄのほとんどは鏡面性反射面において正反射方向に反射するため、間接成分信号Ｉ_Ｒの強度が直接成分信号Ｉ_Ｄの強度よりも大きくなることもある。

投影パターンの空間周波数をω、時間方向の周波数（時間周波数）をｖ、直接成分信号Ｉ_Ｄの振幅をＡ_Ｄ、間接成分信号Ｉ_Ｒの振幅をＡ_Ｒとする。このとき、時刻ｔにおける観測信号Ｉ（ω，ｔ）は、直接成分信号Ｉ_Ｄ（ω，ｔ）と間接成分信号Ｉ_Ｒ（ω，ｔ）を用いて加法的に、

と表現できる。観測信号を単一成分信号であるとみなし、位相φ´（ω，Δｘ）および振幅Ａ´（ω，Δｘ）を計算すると、次のように推定される。ただし、Δｘ＝ｘ_Ｄ−ｘ_Ｒである。

直接成分信号Ｉ_Ｄが所望信号であるから、振幅の真値はＡ_Ｄであり、位相の真値はωｘ_Ｄである。しかしながら、相互反射（間接成分信号Ｉ_Ｒ）の影響によって、振幅・位相ともに誤差が生じている。上記式より、この誤差は投影パターンの空間周波数ωと差分Δｘに依存することがわかる。

（信号分離法）
次に、観測信号から所望信号である直接成分信号を分離する手法について説明する。

本実施形態では、観測信号が、位相が互いに異なる２種類の成分信号の合成信号であると仮定する。２種類の成分信号のうち、振幅が大きく信号強度の高い方の信号を主成分信号（添え字「Ｐ」を付す）、他方の信号を副成分信号（添え字「Ｓ」を付す）と定義する。殆どのケースでは、主成分信号が直接成分信号に対応し、副成分信号が間接成分信号に対応するため、本実施形態では観測信号から分離した主成分信号を３次元形状計測に利用する。なお、図３Ｂに例示したように、直接成分信号の信号強度の方が低くなるケースもあるが、その場合は副成分信号を３次元形状計測に利用すればよい。

本実施形態の信号分離法は、相互反射の影響による振幅・位相の誤差が投影パターンの空間周波数に依存する、という性質を利用する。したがって、入力として、異なる空間周波数をもつ複数の投影パターンを用いて観測された複数の観測信号を用いる。投影パターンの空間周波数をω_ｋ（ｋ＝１，…，Ｋ）、時間周波数をｖ_ｋとすると、観測信号は、

と表現できる。

前処理として、観測信号Ｉ_Ｏ（ω_ｋ，ｔ）からオフセット成分（直流成分）Ｃ（ω_ｋ）を除去する。後段の繰り返し演算には、下記式によりオフセット成分を除去した観測信号Ｉ（ω_ｋ，ｔ）を用いる。

空間周波数ω_ｋにおけるオフセット成分Ｃ（ω_ｋ）の値は、例えば、観測信号の時間方向の１周期分の和を用いて、

と計算できる。なお、空間周波数ごとにオフセット成分の値を推定する代わりに、空間周波数の近い他の観測信号で推定したオフセット成分の値を代用することも可能である。オフセットの代用を行わない場合、所望の処理を実現するためには、空間周波数ω_ｋごとに位相の異なる３枚以上の観測画像が必要である。これに対し、オフセットの代用を行う場合、オフセットを代用する空間周波数に関しては位相の異なる観測画像が少なくとも２枚あれば所望の処理が実現できる。したがって、オフセットの代用を行うことにより、必要な投影回数および撮影回数を削減することができ、３次元形状計測の高速化を図ることができる。

図４は、信号分離部２１によって実行される信号分離処理のフローを示す。図４の処理は、観測画像の画素ごとに実行されるものである。以後、処理対象とする画素を「注目画素」と呼ぶ。

ステップＳ４０では、信号分離部２１が、注目画素の観測信号Ｉ（ω_ｋ，ｔ）の集合Ｉを取得する（図４では集合を太字の記号で表記するものとする。）。観測信号集合Ｉは、複数の空間周波数ω_１，…，ω_Ｋに対応する複数の観測信号Ｉ（ω_１，ｔ），…，Ｉ（ω_Ｋ，ｔ）から構成される。また各空間周波数ω_ｋの観測信号は、複数の時刻ｔ（ｔ＝０，１，…，Ｔ_ｋ−１）において観測された、位相の異なる複数の観測信号Ｉ（ω_ｋ，０），Ｉ（ω_ｋ，１），…，Ｉ（ω_ｋ，Ｔ_ｋ−１）を含む。なお、観測信号Ｉ（ω_ｋ，ｔ）はオフセット成分が除去された信号であり、Ｔ_ｋは投影パターンの時間周期である。

観測信号Ｉ（ω_ｋ，ｔ）は、主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）と副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）の合成信号であるが、それぞれの成分信号の割合（強度比）は未知である。そこで、本実施形態の信号分離部２１は、分離性能の低い単一成分推定法を各成分信号に繰り返し適用し、各成分信号の推定値（近似値）を更新していくことで、各成分信号の真値を推定す
る、というアプローチを採用する。

まずステップＳ４１では、信号分離部２１が、各空間周波数ω_ｋの観測信号Ｉ（ω_ｋ，ｔ）について、主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）および副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）の初期値を設定する。本実施形態では、観測信号Ｉ（ω_ｋ，ｔ）を主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）の初期値として設定し、副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）の初期値は０とする。図４の太字記号Ｉ_ｐは主成分信号集合、太字記号Ｉ_Ｓは副成分信号集合を示している。

ステップＳ４２では、信号分離部２１が、空間周波数ω_ｋごとに、主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）から振幅値Ａ_Ｐ（ω_ｋ）および位相値φ_Ｐ（ω_ｋ）を計算する。一般的に同一空間周波数ω_ｋの信号が時間的に等間隔で一周期分観測されているとき、各時刻ｔにおける信号は、時間周波数ｖ_ｋを用いて、

と表現される。

これらの信号Ｉ_Ｐ（ω_ｋ，０），Ｉ_Ｐ（ω_ｋ，１），…，Ｉ_Ｐ（ω_ｋ，Ｔ_ｋ−１）を周波数変換すると、第一高調波である時間周波数ｖ_ｋの成分Ｊ（ω_ｋ，ｖ_ｋ）は、ｊを虚数単位として、

となる。したがって、空間周波数ω_ｋに対する振幅値Ａ_Ｐ（ω_ｋ）と位相値φ_Ｐ（ω_ｋ）は、

と計算できる。ただし、記号Ｒｅ（）とＩｍ（）はそれぞれ複素数の実部と虚部をとる演算子である。

後段での処理のため、算出された位相値φ_Ｐ（ω_ｋ）を正規化する。例えば、信号分離部２１は、いわゆる位相接続を用いて、異なる空間周波数ω_ｋにおける複数の位相値φ_Ｐ（ω_１），φ_Ｐ（ω_２），…，φ_Ｐ（ω_Ｋ）を、共通の空間周波数ω_Ｌにおける位相値θ_Ｐ（ω_１），θ_Ｐ（ω_２），…，θ_Ｐ（ω_Ｋ）に変換する。例えば、空間周波数ω_ｋの投影パターンでの位相値をφ_Ｓ、接続用の空間周波数ω_Ｌの投影パターンでの位相値をφ_Ｌ、接続倍率をαとすると、変換後の位相値θは、

と計算できる。

各空間周波数ω_ｋの振幅値集合Ａ_Ｐと、正規化された位相値集合θ_Ｐが、ステップＳ４
２の処理の出力

である。

ステップＳ４２の処理では、主成分信号Ｉ_ｐ（ω_ｋ，ｔ）を単一成分信号とみなして振幅値および位相値を計算する。しかし、主成分信号Ｉ_ｐ（ω_ｋ，ｔ）の分離がまだ十分でない段階では、ステップＳ４２で計算される振幅値および位相値は真値に対して誤差が大きい。そこで、ステップＳ４３では、信号分離部２１が、ステップＳ４２で求めた振幅値集合Ａ_Ｐと位相値集合θ_Ｐに基づいて、より真値に近い（誤差の小さい）振幅値および位相値を推定する。なお、ここでの推定法は、誤差を完全に解消する方法である必要はなく、わずかでも誤差が小さくなると期待できる方法（「弱推定」と呼ぶ）でよい。弱推定を繰り返し適用することによって真値に漸近させることで、実用的な分離精度を得ることができるからである。

弱推定の具体的な方法は問わない。振幅値の誤差の大きさおよびその正負は空間周波数ω_ｋごとに異なるため、ステップＳ４２で計算される複数の振幅値Ａ_Ｐ（ω_ｋ）は、真値を挟んで正側と負側にそれぞれ分布している可能性が高い。逆の見方をすると、振幅値の真値は、複数の振幅値Ａ_Ｐ（ω_ｋ）のうちの最小値と最大値のあいだに存在する蓋然性が高いといえる。したがって、複数の振幅値Ａ_Ｐ（ω_ｋ）のうちの最小値よりも大きくかつ最大値よりも小さい値となるように振幅値を決定することにより、真値に近い振幅値が得られると期待できる。例えば、複数の振幅値Ａ_Ｐ（ω_ｋ）の平均値や中間値を求める方法がこれに該当する。以上のことは、位相値θ_Ｐ（ω_ｋ）にも同様に当てはまる。

本実施形態では、弱推定の方法として「平均」を用いる。具体的には、ステップＳ４３において、信号分離部２１は、下記式で定義される補正振幅値（Ａ_Ｐハット）および補正位相値（θ_Ｐハット）を計算する。

なお、空間周波数ω_ｋごとに振幅の減衰率が異なる場合には、

により補正振幅値を計算してもよい。ｒ_ｋは、空間周波数ω_ｋの投影パターンの振幅の減衰率である。

ステップＳ４４では、信号分離部２１が、ステップＳ４３で求めた補正振幅値および補正位相値に基づいて、各空間周波数ω_ｋに対する輝度信号を再生する。振幅の減衰率が空
間周波数ω_ｋによらず一定とみなせる場合、輝度信号は、

により計算できる。また、空間周波数ω_ｋごとに振幅の減衰率が異なる場合には、輝度信号は、

により計算できる。

このように再生された輝度信号Ｉ_Ｐ´（ω_ｋ，ｔ）は、ステップＳ４２で用いた元の主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）に比べて振幅および位相の誤差が低減された信号となる。以上述べたステップＳ４２〜Ｓ４４の処理が本発明における「第１のステップ」の一例であり、元の輝度信号Ｉ_Ｐ（ω_ｋ，ｔ）が本発明における「第１成分信号の推定値」の一例であり、再生された輝度信号Ｉ_Ｐ´（ω_ｋ，ｔ）が本発明における「第１成分信号の補正推定値」の一例である。

ステップＳ４５では、信号分離部２１が、各空間周波数ω_ｋの観測信号Ｉ（ω_ｋ，ｔ）から、ステップＳ４４で求めた輝度信号Ｉ_Ｐ´（ω_ｋ，ｔ）を減算する。これにより、副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）の推定値を更新することができる。輝度信号Ｉ_Ｐ´（ω_ｋ，ｔ）は元の主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）に比べて誤差が小さいため、この更新処理によって、副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）の誤差も低減することができる。このステップＳ４５の処理が本発明における「第２のステップ」の一例であり、ステップＳ４５で求められた輝度信号Ｉ_Ｓ（ω_ｋ，ｔ）が本発明における「第２成分信号の推定値」の一例である。

次に、ステップＳ４６では、信号分離部２１が、空間周波数ω_ｋごとに、副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）から振幅値Ａ_Ｓ（ω_ｋ）および位相値θ_Ｓ（ω_ｋ）を計算する。具体的な処理内容はステップＳ４２のものと同様である（ただし、主成分信号は副成分信号に置き換える。）ため、詳しい説明は割愛する。ステップＳ４６の処理の出力として、各空間周波数ω_ｋの副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）における振幅値集合Ａ_Ｓと正規化された位相値集合θ_Ｓが得られる。

ステップＳ４７では、信号分離部２１が、ステップＳ４６で求めた振幅値集合Ａ_Ｓと位相値集合θ_Ｓに基づいて、より真値に近い補正振幅値（Ａ_Ｓハット）および補正位相値（θ_Ｓハット）を計算する。具体的な処理内容はステップＳ４３のものと同様である（ただし、主成分信号は副成分信号に置き換える。）ため、詳しい説明は割愛する。

ステップＳ４８では、信号分離部２１が、ステップＳ４７で求めた補正振幅値および補正位相値に基づいて、各空間周波数ω_ｋに対する輝度信号を再生する。振幅の減衰率が空間周波数ω_ｋによらず一定とみなせる場合、輝度信号は、

により計算できる。また、空間周波数ω_ｋごとに振幅の減衰率が異なる場合には、輝度信号は、

により計算できる。

このように再生された輝度信号Ｉ_Ｓ´（ω_ｋ，ｔ）は、ステップＳ４６で用いた元の副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）に比べて振幅および位相の誤差が低減された信号となる。以上述べたステップＳ４６〜Ｓ４８の処理が本発明における「第３のステップ」の一例であり、元の輝度信号Ｉ_Ｓ（ω_ｋ，ｔ）が本発明における「第２成分信号の推定値」の一例であり、再生された輝度信号Ｉ_Ｓ´（ω_ｋ，ｔ）が本発明における「第２成分信号の補正推定値」の一例である。

ステップＳ４９では、信号分離部２１が、各空間周波数ω_ｋの観測信号Ｉ（ω_ｋ，ｔ）から、ステップＳ４８で求めた輝度信号Ｉ_Ｓ´（ω_ｋ，ｔ）を減算する。これにより、主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）の推定値を更新することができる。輝度信号Ｉ_Ｓ´（ω_ｋ，ｔ）は元の副成分信号Ｉ_Ｓ（ω_ｋ，ｔ）に比べて誤差が小さいため、この更新処理によって、主成分信号Ｉ_Ｐ（ω_ｋ，ｔ）の誤差も低減することができる。このステップＳ４９の処理が本発明における「第４のステップ」の一例であり、ステップＳ４９で求められた輝度信号Ｉ_Ｐ（ω_ｋ，ｔ）が本発明における「第１成分信号の推定値」の一例である。

以上述べたステップＳ４２〜Ｓ４９の演算を複数回繰り返すことによって、各成分信号の振幅および位相の誤差（真値との差）がより小さくなるように、各成分信号の推定値が更新されていく。したがって、観測信号Ｉ（ω_ｋ，ｔ）を２つの成分信号Ｉ_Ｐ（ω_ｋ，ｔ），Ｉ_Ｓ（ω_ｋ，ｔ）に精度良く分離することができる。なお、繰り返し回数は予め定めておいてもよいし、所定の評価式を用いて各成分信号の推定値の収束度合を評価することにより繰り返し回数を動的に変えてもよい。

（３次元形状計測）
図５のフローチャートに沿って、本実施形態における３次元形状計測の処理の流れの一例を説明する。

ステップＳ５０では、制御装置１２が投影装置１０及び撮像装置１１を制御し、複数の観測画像を撮影する。例えば、正弦波状に輝度が変化する縞パターンをπ／２ずつ位相を変えながら４回投影し、４枚の観測画像を撮影する。

高い計測精度（分解能）を達成するために、縞パターンの空間周波数ωは高周波であることが好ましい。しかし、計測レンジは縞パターンの周期に依存するため、高周波の縞パターンを用いると計測レンジが狭くなるという不利がある。そこで、高周波の位相を低周波の位相に変換することによって、計測レンジの拡大を行う。この手法は位相接続と呼ばれる。位相接続により、高い計測精度と広い計測レンジを両立することができる。

位相接続を行う場合には、空間周波数の異なる複数の投影パターンを用いて、空間周波数の異なる複数の観測画像を取得する。例えば一般的な位相接続の場合は、計測用の高周波の投影パターンと接続用の低周波の投影パターンによる撮影を行い、ＭＰＳの場合は、複数種類の高周波の投影パターンによる撮影を行う。観測画像のデータは、画像取得部２０によって制御装置１２に取り込まれ、メモリ又は不揮発性の記憶装置に格納される。

ステップＳ５１では、信号分離部２１が、観測画像上の各画素における観測信号を２つの成分信号に分離する処理を行う。信号分離の具体的な処理は図４で述べたとおりである。本実施形態では、主成分信号を直接成分信号とみなす。

ステップＳ５２では、位相算出部２２が、ステップＳ５１で分離した直接成分信号から、注目画素の位相値を算出する。なお、ステップＳ５１の信号分離の計算過程で取得された位相値（例えば、図４のステップＳ４３で求められた補正位相値（θ_Ｐハット））を利用してもよい。

その後、ステップＳ５３において、３次元復元部２３が、位相算出部２２で算出された各画素の位相値に基づいて、観測画像上の各画素（つまり計測対象物の表面上の各計測点）の３次元位置を算出する。これにより、計測対象物表面の３次元形状を復元できる。位相値を３次元位置（高さ情報）に変換する方法としては、例えば、キャリブレーションにより位相と高さの変換式を予め求めておき、その変換式に位相値を代入することで高さ情報を求める方法などがある。

以上述べた本実施形態の信号分離法によれば、観測信号から直接成分信号を精度良く分離することができる。そして、分離した直接成分信号の位相を計測点の３次元位置算出に利用することにより、相互反射の影響が低減された高精度な３次元形状計測が可能となる。また、本実施形態の方法は、観測信号に含まれる直接成分信号と間接成分信号の割合が全く未知であっても、すなわち特別な事前知識や前提条件が無くても、適用できるという利点を有する。例えば、現実の適用場面では、相互反射の影響の程度、相互反射の原因物体の形状（反射面の形状、向きなど）や反射特性（反射率など）、相互反射の原因物体と計測対象物との位置関係、といった条件が様々であるが、本実施形態の方法であればいかなる条件に対しても汎用的に適用できるものと期待できる。したがって、本実施形態の方法は現実の装置への実装が容易である。

なお、上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

１：３次元形状計測装置
１０：投影装置、１１：撮像装置、１２：制御装置
２０：画像取得部、２１：信号分離部、２２：位相算出部、２３：３次元復元部
３０：反射面、３１：反射面

Claims (10)

1. 投影装置と、
   撮像装置と、
   前記投影装置から時間方向と空間方向に周期性を有する投影パターンを計測対象物に対し投影した状態で前記撮像装置により観測される観測信号に基づいて、前記計測対象物の３次元形状を計測する制御装置と、を有し、
   前記観測信号が、位相が互いに異なる第１成分信号と第２成分信号の合成信号であると仮定し、
   前記制御装置は、
   前記計測対象物上の計測点に対する観測信号として、異なる空間周波数をもつ複数の投影パターンを用いて観測された複数の観測信号を取得し、
   各観測信号について第１成分信号の推定値の初期値を設定し、
   （１）各観測信号の第１成分信号の推定値に対して、振幅および位相の誤差を低減する第１の補正処理を適用することにより、各観測信号の第１成分信号の補正推定値を求める第１のステップと、（２）各観測信号から第１成分信号の補正推定値を減算することにより、各観測信号の第２成分信号の推定値を求める第２のステップと、（３）各観測信号の第２成分信号の推定値に対して、振幅および位相の誤差を低減する第２の補正処理を適用することにより、各観測信号の第２成分信号の補正推定値を求める第３のステップと、（４）各観測信号から第２成分信号の補正推定値を減算することにより、各観測信号の第１成分信号の推定値を求める第４のステップと、を含む演算を繰り返し実行することによって、各観測信号に含まれる第１成分信号および第２成分信号を推定し、
   推定された第１成分信号または第２成分信号の位相に基づいて、前記計測点の３次元位置を算出する
   ことを特徴とする３次元形状計測装置。
2. 前記第１成分信号および前記第２成分信号のうちの一方の信号は、前記投影装置から投影された光が前記計測点で反射し前記撮像装置に入射する直接成分信号であり、
   他方の信号は、前記投影装置から投影され他の反射面で反射された光が前記計測点で反射し前記撮像装置に入射する間接成分信号である
   ことを特徴とする請求項１に記載の３次元形状計測装置。
3. 前記第１の補正処理は、
   各観測信号の第１成分信号の推定値から振幅および位相を算出することにより、前記複数の投影パターンそれぞれの空間周波数に対する複数の振幅値および複数の位相値を取得し、
   前記複数の振幅値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正振幅値を決定し、
   前記複数の位相値を正規化し、正規化された前記複数の位相値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正位相値を決定し、
   前記補正振幅値および前記補正位相値に基づいて、前記複数の投影パターンそれぞれの空間周波数に対する輝度信号を再生する、
   処理であり、
   前記再生された各空間周波数に対する輝度信号が、各観測信号の第１成分信号の補正推定値である
   ことを特徴とする請求項１または２に記載の３次元形状計測装置。
4. 前記第２の補正処理は、
   各観測信号の第２成分信号の推定値から振幅および位相を算出することにより、前記複数の投影パターンそれぞれの空間周波数に対する複数の振幅値および複数の位相値を取
   得し、
   前記複数の振幅値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正振幅値を決定し、
   前記複数の位相値を正規化し、正規化された前記複数の位相値のうちの最小値よりも大きくかつ最大値よりも小さい値となるように、補正位相値を決定し、
   前記補正振幅値および前記補正位相値に基づいて、前記複数の投影パターンそれぞれの空間周波数に対する輝度信号を再生する、
   処理であり、
   前記再生された各空間周波数に対する輝度信号が、各観測信号の第２成分信号の補正推定値である
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の３次元形状計測装置。
5. 前記補正振幅値は、前記複数の振幅値の平均値または中間値である
   ことを特徴とする請求項３または４に記載の３次元形状計測装置。
6. 前記補正位相値は、正規化された前記複数の位相値の平均値または中間値である
   ことを特徴とする請求項３〜５のうちいずれか１項に記載の３次元形状計測装置。
7. 前記複数の位相値を正規化する処理は、前記複数の位相値を共通の空間周波数の位相値に変換する処理である
   ことを特徴とする請求項３〜６のうちいずれか１項に記載の３次元形状計測装置。
8. 前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ Ｐｈａｓｅ Ｓｉｆｔｉｎｇ）により、推定された第１成分信号または第２成分信号の位相に基づいて、前記計測点の３次元位置を算出する
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の３次元形状計測装置。
9. 投影装置から時間方向と空間方向に周期性を有する投影パターンを計測対象物に対し投影した状態で撮像装置により観測される観測信号に基づいて、前記計測対象物の３次元形状を計測する３次元形状計測方法において、
   前記観測信号が、位相が互いに異なる第１成分信号と第２成分信号の合成信号であると仮定し、
   前記３次元形状計測方法が、
   前記計測対象物上の計測点に対する観測信号として、異なる空間周波数をもつ複数の投影パターンを用いて観測された複数の観測信号を取得するステップと、
   各観測信号について第１成分信号の推定値の初期値を設定するステップと、
   （１）各観測信号の第１成分信号の推定値に対して、振幅および位相の誤差を低減する第１の補正処理を適用することにより、各観測信号の第１成分信号の補正推定値を求める第１のステップと、（２）各観測信号から第１成分信号の補正推定値を減算することにより、各観測信号の第２成分信号の推定値を求める第２のステップと、（３）各観測信号の第２成分信号の推定値に対して、振幅および位相の誤差を低減する第２の補正処理を適用することにより、各観測信号の第２成分信号の補正推定値を求める第３のステップと、（４）各観測信号から第２成分信号の補正推定値を減算することにより、各観測信号の第１成分信号の推定値を求める第４のステップと、を含む演算を繰り返し実行することによって、各観測信号に含まれる第１成分信号および第２成分信号を推定するステップと、
   推定された第１成分信号または第２成分信号の位相に基づいて、前記計測点の３次元位置を算出するステップと、
   を含むことを特徴とする３次元形状計測方法。
10. 請求項９に記載の３次元形状計測方法の各ステップをコンピュータに実行させるための
    プログラム。

Images