JP3690212B2 - ３次元形状計測方法 - Google Patents
３次元形状計測方法 Download PDFInfo
- Publication number
- JP3690212B2 JP3690212B2 JP30408699A JP30408699A JP3690212B2 JP 3690212 B2 JP3690212 B2 JP 3690212B2 JP 30408699 A JP30408699 A JP 30408699A JP 30408699 A JP30408699 A JP 30408699A JP 3690212 B2 JP3690212 B2 JP 3690212B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- light
- phase
- measurement
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、位相シフト法（縞走査法）を用いた画像処理により計測対象の３次元形状を計測する３次元計測方法に関するものである。
【０００２】
【従来の技術】
従来、美容分野において施療の効果は視感的判定やアンケート等による定性的な評価により行われていた。しかしながら、定性的な判定では評価者の主観が決定要因であることから正確さを欠き、また効果の度合いを定量的に評価できないことから、近年、施療部位を計測し、効果を定量的に評価することが求められている。
【０００３】
美容分野に応用するための計測においては計測対象が生体であるため、非侵襲的（非侵襲：測定部位を傷つけたり薬液等を塗布するなど、対象物に物理的影響を与える方法を採らないこと）に計測が行えることが望ましい。また、たとえば美肌器具のように人体表面形状に変化が現れるものの評価の場合、その形状を計測する目的において、生体は柔軟物体であるため物理的接触を伴う計測方法では接触圧力による対象物の変形が生じ、正確な計測が行えない。従って、人体の計測は非接触による計測が求められる。
【０００４】
一般的な工業部品等の非接触３次元計測装置においては、安価かつ高精度が得られるため光切断法が最も頻繁に使用されるが、光切断法は２次元的な走査を行うためには撮像時間が長くなるため、固定することが難しい生体の計測には向かない。また、この装置は目に対して有害なレーザー光線を使用するため、美容分野において主たる計測部位となる人体顔面部における使用には問題がある。そこで、人体にほぼ無害な白色光源により高速かつ高精度の計測が可能な位相シフト法(縞走査法)による計測が採用される。
【０００５】
図１７に位相シフト法により３次元計測を行う従来の３次元計測装置の基本構成例を示し、図１８に３次元形状の検出に使用する各部におけるパターン例を示す。図１７に示す装置は、投影装置１１、撮像装置１３、量子化回路１４、記憶装置１５および画像処理装置１６ｐを備えている。
【０００６】
投影装置１１は、ランプ１１１、投影用レンズ１１３およびパターン板１１４などにより構成される。パターン板１１４には光の透過率がある１方向に沿って正弦波状に変化する縞状の濃淡パターンＰ１１が形成されており、これをランプ１１１により照明し、投影用レンズ１１３を介して計測対象Ｔの表面に縞パターンＰ１２を投影する。
【０００７】
投影装置１１には、パターン板１１４が濃淡パターンＰ１１の周期よりも小さい移動量分だけなるべく正確に移動することが出来るようにパターンシフト部１１５が具備される。このパターンシフト部１１５は、濃淡表示の可能な液晶パネルのように電子的に光の透過率を変化させることができるデバイスをパターン板１１４に使用すれば省略可能で、機械的可動部のない装置構成が可能になる。
【０００８】
また、上記縞投影方法は一例であり、この他にも白黒格子パターンをレンズによりぼかして投影する方法やレーザーの干渉を利用する方法、モアレトポグラフィにより縞を生成する方法により置換しても構わない。
【０００９】
この縞パターンを撮像装置１３により投影装置１１の光軸と異なる角度から撮影し、そのカメラ信号を量子化回路１４で量子化することにより、計測対象Ｔの形状に応じて変形した縞画像Ｐ１３が記憶装置１５上に記録される。なお、以下の説明において、投影されたパターン自体の光量を「強度」、撮像で得られる縞画像Ｐ１３における任意の座標点の画素値を「明度」という。
【００１０】
図１９に従来の位相シフト法による計測の手順を示す。まず、ステップＳ１０〜Ｓ１５およびステップＳ１８に示すように、パターンシフト部１１５により所定の移動量分だけ濃淡パターンＰ１１の位相をシフトし、縞画像Ｐ１３を撮像する処理を少なくとも３回以上繰り返し、記憶装置１５上に記録する。続いて、ステップＳ１９に示すように、記録された複数の縞画像Ｐ１３に対して同一座標点における明度変化を画像処理装置１６ｐで演算することにより投影されたパターンの位相を推定する。
【００１１】
例えば図２０に示すように、周期の１／４（π／２)づつ位相をシフトして４回撮影された画像において、同一座標点(x, y)における明度がI0(x, y)→I1(x, y)→I2(x, y)→I3(x, y)と変化する場合、その位置における位相値α(x, y)は次式で表される。
【００１２】
【数１】
【００１３】
撮影された画像のあらゆる点(x, y)に対して上式によりαの値を求めたとき、位相値が等しくなる点を結んでできる等位相線は、いわゆる光切断法における光切断線に相当し、計測対象Ｔの断面形状を反映する。また、投影装置１１および撮像装置１３の位置関係、各種光学的パラメータは既知であるので、光切断法同様にこれらのパラメータと上記等位相線の形状から計測対象Ｔの高さ情報が得られる。また、上述の位相は撮影された画像のあらゆる位置で求められるので、位相シフト法によれば光切断法において光切断線をそれと略直交する方向に極めて密な間隔で走査してエリア的な距離情報を得ることと等価な計測が簡単かつ高速に行える。
【００１４】
ここで、位相シフト法において発生する「位相連結問題」について説明する。位相シフト法による計測においては、明度の変化を（数１）の逆正接関数に代入して位相値推定を行うので、縞と垂直な方向に沿った明度の微分値が大きいほど、すなわち縞が明瞭に見えるほど上式により求められるα(x, y)の推定精度が高くなり、高い測定精度が得られる。したがって、光学系のコントラスト自体が高くなるように配慮するとともに、コントラストが同じであれば、一度に投影される縞の本数（縞次数）が多いほど測定精度が高い。
【００１５】
しかしながら、位相シフト法においては上式の通り逆正接関数を解くことにより位相値を導出するので、α(x, y)の値は−π〜πの間となり、縞次数が２以上であれば図２１に示すように位相が単調増加せず不連続が生じる。撮影された画像の全面に対して高さ情報を求める処理（図１９のＳ２２）を行うためには、投影したパターンの端からの絶対的な位相値を求める必要がある。したがって、図１９のステップＳ２０に示すように、位相の不連続位置を検出し、その位置で位相値に２π×縞次数を加算して位相が単調増加するように「位相連結処理(図１９のＳ２１)」を行う必要がある。
【００１６】
計測の際得られる画像が完全に理想的な条件で撮影されていれば、上記位相の不連続は極めて明瞭に得られるので、単純に位相値が＋πから−πへ変化する部分を検出して位相値の加算を行えばよい。しかしながら、実際の撮影においては光学系の歪みやノイズ、計測対象Ｔの表面での光の反射特性などの影響により、上記位相不連続部分はしばしば不明瞭となる。位相シフト法においては、上述の通り位相が単調増加するように正しく位相連結処理が行われていなければ高さ情報を一意に決定できないため、位相不連続位置が不明瞭であっても全ての位相不連続位置を正しく検出することが必要である。これを位相連結問題と称する。
【００１７】
このような位相連結問題に関して、特公平３−３８５２４号公報に開示されているように、計測対象の近くに投影パターン全体を捉えることが出来るような広い基準面を配置し、ここに投影される歪みのない投影パターンを基準位相として計測し、これをもとにして計測対象に投影されたパターンの歪みを求めるという方法がある。
【００１８】
また、上記のようにハード的な対策を設けず、画像処理のみにより位相連結処理を行う方法としては、本発明者らによる特開平１１−１４３２７号公報に記載の発明のごとく、画像全面に対して位相不連続部分の特徴を抽出するフィルタを適用する方法がある。
【００１９】
さらに、投影方法の改良により位相連結問題を解決する方法としては、特開平６−６６５２７号公報に、投影するパターンの周期を変えて２度の計測を行い、周期から決定される最大計測高さを元に小さい周期での計測の際に発生した周期ズレを大きい周期での計測結果をもとに補正する方法が記載されている。
【００２０】
【発明が解決しようとする課題】
上記の３つの公報に記載の方法によれば、位相連結問題を解決することができるが、各々以下のような課題が残る。
【００２１】
特公平３−３８５２４号公報に記載の方法では、カメラ視野内にその基準面の全体を捉える必要があり、計測対象は画面の一部にしか捉えられないため、撮像装置の分解能が十分に活用されないという問題があった。また、装置構成の面でも基準面を設置する必要があり、計測対象が人体のように加工することのできない場合、適用が困難であるという問題があった。
【００２２】
特開平１１−１４３２７号公報に記載の方法では、得られた位相推定結果画像の全面に対して演算量の多い大きな畳み込みフィルタを適用する必要があり、位相導出の処理に時間がかかるという問題があった。
【００２３】
特開平６−６６５２７号公報に記載の方法では、計測を行うにあたって２回の計測を実施する必要があり、計測時間が２倍かかるという問題があった。
【００２４】
本発明は、上記事情に鑑みてなされたものであり、撮像装置の解像度を損なうことなく計測対象の３次元形状の計測が行え、また位相の連結処理が簡易で高速な計測が可能な３次元形状計測方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の発明の３次元形状計測方法は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記第１パターンの位相境界の位置に強度のエッジまたはピークを形成する第２パターンの光を前記計測対象に照射し、前記位相の連結の際、前記第２パターンの光により形成された強度のエッジまたはピークに応じて前記第１パターンの位相境界の位置を割り出すのである。
【００２８】
この方法によれば、位相シフト法の計測の原理上生じる位相連結問題を解決するために、第１パターンの位相境界の位置にエッジまたはピークの明瞭な特徴を持つ第２パターンの光を照射し、第２パターンの特徴のみを用いて第１パターンの位相境界の位置を検出するようにしたので、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【００２９】
なお、請求項１記載の３次元形状計測方法において、前記第１パターンの光は投影手段から射出され、前記第２パターンの光は、補助投影手段から少なくとも１つの点状光として射出され、前記第１パターンの位相境界の位置に点状のピークを形成する方法でもよい（請求項２）。この方法によれば、第１パターンの位相境界を示す第２パターンを点状にすることで、位相の連結処理が非常に簡易になる。
【００３０】
また、請求項１記載の３次元形状計測方法において、前記第１パターンの光は投影手段から射出され、前記第２パターンの光は、補助投影手段から少なくとも１つの線状光として射出され、前記第１パターンの位相境界の位置に線状のエッジを形成する方法でもよい（請求項３）。この方法によれば、第１パターンの位相境界を示す第２パターンを、第１パターンにおける位相が同一となる方向に沿った線状にすることで、計測対象が段差を有するものであっても、適切な計測が可能になる。
【００３１】
また、請求項２または３に記載の３次元形状計測方法において、前記第１パターンの光に前記第２パターンの光が重畳される方法でもよい（請求項４）。この方法によれば、第１パターンの光と第２パターンの光とを同時に計測対象に照射することで、撮像時間を増大させることなく位相境界の位置を検出することができる。
【００３２】
また、請求項２または３に記載の３次元形状計測方法において、前記第２パターンの光は前記第１パターンの光とは別に前記計測対象に照射され、前記撮像は前記第２パターンの光の照射の際にも行われる方法でもよい（請求項５）。この方法によれば、第２パターンの光を第１パターンの光と別に計測対象に照射することで、計測対象が例えば人体などのように半透明の性状を有する場合でも、第２パターンの光の照射によって第１パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【００３３】
また、請求項１記載の３次元形状計測方法において、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って周期的にかつ段階的に変化するパターンであり、前記第１パターンの一部に形成される方法でもよい（請求項６）。この方法によれば、第１パターンの一部に第２パターンを形成するので、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第１パターンの位相境界の位置を検出することができる。
【００３４】
さらに、請求項１記載の３次元形状計測方法において、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って明暗で周期的に変化するパターンであり、前記第１パターンの光および前記第２パターンの光は、同一の投影手段から別々にそれぞれ複数回および少なくとも１回射出される方法でもよい（請求項７）。この方法によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【００３５】
請求項８記載の発明の３次元形状計測方法は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、光の強度が一定となる帯状の第２パターンを前記第１パターンにおける位相が同一となる方向に挿入し、前記位相の連結の際、前記第２パターンにより発生する逆正接関数の近似誤差を元に前記第２パターンの位置の検出を行い、この検出結果に応じて前記第１パターンの位相境界の位置を割り出すものである。
【００３６】
この方法によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【００３７】
請求項９記載の発明は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記位相シフトの方向に沿った位置に対応する強度変調関数により光の強度が変調された第２パターンを前記計測対象に投影し、前記位相の連結の際、前記計測対象での前記第１パターンの光による反射光量を測定することにより前記第２パターンの強度変調関数を復元し、この復元された強度変調関数を用いて前記第１パターンの位相境界の位置を割り出す３次元形状計測方法であって、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿った位置に対応する線形関数に従って変化するパターンであり、前記第１パターンの光および前記第２パターンの光は、別々に前記計測対象に照射されるものである。
【００３８】
この方法によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相の境界位置を正確に検出することができる。
【００４０】
また、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【００４１】
【発明の実施の形態】
以下、本発明の３次元形状計測方法に係る種々の実施形態を説明する。３次元形状計測方法は、位相シフト法を応用したもので、その位相シフト法による計測で発生する位相連結問題を解決するために、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影することに加えて、第１パターンの位相境界の位置を割り出すために、第１パターンの位相境界の位置を示す補助パターン（第２パターン）を補助的に使用するものである。
【００４２】
補助パターンは、第１パターンの位相シフトの方向に沿った位置に対する光の強度が分かるように、第１パターンの光の強度が変調され、かつその変調パターンが第１パターンと異なるように形成される。つまり、補助パターンの光として、レーザーによるスポットや縞、あるいは明暗の繰り返しのある縞パターンなどの光が使用される。
【００４３】
また、補助パターンの情報を使用する場合、補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法と、補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法とがある。
【００４４】
図１に補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法を採用する装置の構成図を示し、図２に３次元形状の検出に使用する各部におけるパターン例を示し、図３に図１の補助投影装置から射出される光のパターンなどを示す。
【００４５】
図１に示す装置は、投影装置１１、補助投影装置１２、撮像装置１３、量子化回路１４、記憶装置１５および画像処理装置１６を備えている。
【００４６】
投影装置１１は、光源としてのランプ１１１と、このランプ１１１の光を一の方向に向けて反射する凹面鏡１１２と、ランプ１１１の前方に配置される投影用レンズ１１３と、ランプ１１１および投影用レンズ１１３の間に介設され、図２（ａ）に示すように、ランプ１１１からの面状光を、この強度が一の方向に沿って１周期以上に亘る正弦波状に変化する縞状の濃淡パターンＰ１１（第１パターン）で、投影光として計測対象Ｔに照射するためのパターン板１１４と、このパターン板１１４を複数回小刻みに移動させて、上記１周期（ＴＭ１）の縞間隔よりも狭い間隔で、正弦パターンである濃淡パターンＰ１１の位相シフトを行うパターンシフト部１１５とにより構成されている。
【００４７】
補助投影装置１２は、濃淡パターンＰ１１の位相境界の位置を示す補助パターンの光をランプ１１１の光軸ＯＡ１に沿って計測対象Ｔに照射するもので、例えば、レーザーなどの光源１２１と、この光源１２１の光軸ＯＡ２をランプ１１１の光軸ＯＡ１に一致させるためのハーフミラー１２２とにより構成される。このハーフミラー１２２は投影装置１１の光軸ＯＡ１中にこの光軸との傾斜角が４５度になるように配置されるとともに、光源１２１はこの光軸ＯＡ２がハーフミラー１２２の反射面で投影装置１１の光軸ＯＡ１と直交するように配置される。なお、光源１２１の補助パターンについては後述する。
【００４８】
撮像装置１３は、少なくとも上記位相シフト毎に、計測対象Ｔに対するランプ１１１の光軸ＯＡ１と異なる方向から計測対象Ｔの撮像を行うもので、例えば受光レンズおよびＣＣＤなどにより構成される。ここで、ランプ１１１からの面状光が濃淡パターンＰ１１で計測対象Ｔに照射されると、濃淡パターン（濃淡パターン像）Ｐ１１が計測対象Ｔに投影されることになるのであるが、投影された濃淡パターンＰ１１が、図２（ｂ）に示すように、計測対象Ｔの表面形状に応じて変形した縞パターンＰ１２となるので、この縞パターンＰ１２の画像が撮像されることになる。また、補助投影装置１２の補助パターンの画像も撮像される。
【００４９】
量子化回路１４は、撮像装置１３の撮像から、つまり撮像装置１２のカメラ信号を量子化することで、図２（ｃ）に示すように、縞パターンＰ１２に対応する縞画像Ｐ１３を得るものである。また、補助投影装置１２の補助パターンの画像も得られる。
【００５０】
記憶装置１５は、量子化回路１３で得られた画像を複数フレーム分記憶するもので、例えばＲＡＭなどの半導体記憶素子またはいわゆるハードディスクなどのディスク装置などにより構成される。
【００５１】
画像処理装置１６は、記憶装置１５に記憶の画像を用いて、各種の画像処理を行うもので、例えば、記憶装置１５に記憶されている複数の画像の同一位置における明度を逆正接関数で演算処理して、計測対象Ｔの表面形状に応じた濃淡パターンＰ１１の位相の導出、つまり縞画像Ｐ１３の位相の導出処理を行う。また、縞画像Ｐ１３の位相境界の検出処理が行われる。また、縞画像Ｐ１３の位相境界で発生する不連続を復元して位相の連結処理が行われる。さらに、計測対象Ｔの高さ計算の処理が行われる。
【００５２】
ここで、補助投影装置１２から射出される光の補助パターンを説明する。例えば、最も簡単な補助パターン（スポット光投影方法）を採用する場合には、補助投影装置１２の光源１２１は、スポット（点）状の光を射出するように構成される。図３の例には、ビームスプリッタなどにより複数のレーザースポットを補助パターンＰ１４として発生させ、縞画像Ｐ１３の１位相について１個の点状の補助パターンＰ１４を重畳させて投影した状態が示されている。
【００５３】
この場合、補助投影装置１２は投影装置１１のようにパターンシフト部を備えず、画像処理装置１６は、濃淡パターンＰ１１の位相のみをシフトさせて得られる複数の画像の明度変化から、上記（数１）に示す式によって位相復元を行う。このとき、補助パターンの光は常に同一位置を同一強度で照明するので、相対的な明度変化のみにより位相復元が行われる上記（数１）の式によれば、位相復元は補助パターンに関係なく行われる。
【００５４】
また、図３に示すように、スポット光による点状の補助パターンＰ１４を濃淡パターンＰ１１に重畳させて投影し、濃淡パターンＰ１１の位相のみをシフトさせ、そして得られた複数枚の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、補助パターンＰ１４のみを投影したのと同じ状態の画像が得られるので、上記スポット光の位置を容易に検出できる。このようにして補助パターンＰ１４の位置を計測することにより、濃淡パターンＰ１１の位相シフトの方向における縞間隔が実測されるので、上記位相の連結処理の際、その実測値に従って位相値の加算を行うことにより位相の連結処理が簡単に行える。
【００５５】
上記スポット光投影方法は、濃淡パターンＰ１１の位相シフトの方向における高さ変動が大きく、かつそれと直交する方向（縞と垂直な方向）の高さ変動が少ない場合に有効である。しかし、スポット光投影方法では、縞と交差する方向に段差などの大きな高さ変動がある場合、段差部分で同じ次数の縞を対応付けすることができない。
【００５６】
図４に縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す。計測対象Ｔが段差を有するような場合、線状光投影方法を採用して、光切断法と同様の線状光Ｐ２４を射出するように補助投影装置１２の光源１２１を構成すれば、同じ次数の縞を対応付けすることができる。
【００５７】
図４に示すように、線状光を、濃淡パターンＰ１１の例えば位相境界の位置に沿って重畳するように照射し、濃淡パターンＰ１１のみに対して位相シフトを行い、これにより得られる複数の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、線状光のみを照射したのと同じ状態の画像が得られるので、線状光による線状の補助パターンＰ２４の位置は光切断法と同様の方法により容易に検出できる。
【００５８】
ここで、図４の場合、２周期ごとに１本、合計で３本の線状光による線状の補助パターンＰ２４が縞次数６の濃淡パターンＰ１１に重畳するように投影されるので、縞画像Ｐ１３に存在すべき線状光Ｐ２４の本数が３本であるのが分かる。従って、段差部分で各縞が切れていても３本の線状光が全て視野内に入っている限り、補助パターンＰ２４のＡ１部分とＡ２部分とが同一であるのが分かるので、これらＡ１，Ａ２部分の片方における縞のＢ１部分と縞のＢ２部分とが同じ次数で、もう片方における縞のＣ１部分と縞のＣ２部分とが同じ次数であるのが分かる。このようにして、段差のある場合の計測が可能となる。
【００５９】
これらスポット光投影方法および線状光投影方法、すなわち濃淡パターンＰ１１と補助パターンとを重畳させて投影する方法は、計測対象Ｔが不透明な物体である場合に有効である。これに対して、計測対象Ｔが例えば人体のように半透明の性状を持つ物体である場合、濃淡パターンＰ１１の光と補助パターンの光とを重畳させて投影すると、光が計測対象Ｔの内側に浸透して拡散するため、（濃淡パターンＰ１１が計測対象Ｔに投影されてその表面形状に応じて変化する）縞パターンＰ１２が大きく乱れて見える恐れがある。このような場合、濃淡パターンＰ１１のみを計測対象Ｔに投影して撮像し、この後、補助パターンを計測対象Ｔに別途投影して撮像することにより、縞パターンＰ１２が大きく乱れて見える不具合を回避できる。
【００６０】
次に、補助投影装置１２を使用しないで補助パターンを投影する方法について説明する。
【００６１】
図５に補助投影装置１２を使用しないで補助パターンを投影する第１の方法の説明図を示す。この第１の方法は、上記スポット光投影方法の点状の補助パターンＰ１４に替えて、濃淡パターンＰ１１の位相シフトの方向と同じ方向に帯状の余白部Ｍを設け、この余白部Ｍ内に濃淡パターンＰ１１の位相位置を示す補助パターンＰ３４を入れる方法であり、この方法を採用する場合には、補助パターンＰ３４の入った濃淡パターンＰ１１を投影するようにパターン板１１４が構成される。このような補助パターンＰ３４の入った濃淡パターンＰ１１が計測対象Ｔに投影されると、その撮像により得られる縞画像Ｐ１３にも図５に示すように補助パターンＰ３４が入るので、上記スポット光投影方法と同様の効果を得ることができる。図５の例では、補助パターンＰ３４は１周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界位置を上記点状の補助パターンＰ１４の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方はスポット光投影法と同様である。
【００６２】
図６に補助投影装置１２を使用しないで補助パターンを投影する第２の方法の説明図を示す。この第２の方法は、段差のある物体の計測に対応可能にすべく、上記線状光投影方法の線状の補助パターンＰ２４に替えて、濃淡パターンＰ１１とは別に濃淡パターンＰ１１の位相位置を示す補助パターンＰ４４を計測対象Ｔに少なくとも１回投影する方法であり、この方法を採用する場合、パターン板１１４は例えば透光型液晶パネルで構成される。このような濃淡パターンＰ１１の光と補助パターンＰ４４の光とが計測対象Ｔに別々に投影されると、各撮像により、図６（ａ）に示すように、計測対象Ｔの表面形状に応じた縞画像Ｐ１３が得られるとともに、計測対象Ｔの表面形状に応じた補助パターンＰ４４の画像が得られるので、上記線状光投影方法と同様の効果を得ることができる。図６（ｂ）では、補助パターンＰ４４は１周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界に生じるエッジを上記線状の補助パターンＰ２４の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方は上記線状光投影方法と同様である。
【００６３】
図７は補助投影装置１２を使用しないで補助パターンを投影する第２の方法を採用する場合のフローチャートの一例で、画像処理装置１６などにより実行される。このフローチャートには、図１９に示した従来のフローチャートと同様の処理（Ｓ１０〜Ｓ１５およびＳ１８〜Ｓ２２）に加えて、ステップＳ１５とステップＳ１８との間に、「補助パターンに切替え」および「画像取り込み」の両処理がさらに設けられる手順になっている（Ｓ１６，Ｓ１７）。つまり、ステップＳ１０〜Ｓ１５において、図１９と同様に、濃淡パターンＰ１１の位相シフトおよび縞画像Ｐ１３の取り込みの一連の処理が複数回（Ｎ回）実行され、この後、ステップＳ１６，Ｓ１７において、補助パターンＰ４４に切替え（Ｓ１６）、続いて、その画像取り込み（Ｓ１７）を行う一連の処理が１回実行されるのである。
【００６４】
これら第１および第２の方法では、画像の特徴を抽出して縞画像Ｐ１３の位相境界の位置を検出するので、画像の特徴が曖昧になる計測対象（模様のある物体など）Ｔへの適用が困難となる場合が考えられる。
【００６５】
次に、このような場合に好適な方法として、補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法について説明する。ただし、補助投影装置１２を用いないで投影を行うものとして説明する。
【００６６】
図８に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法の説明図を示し、図９に図８におけるＰ１位置での明度変化を示す。この方法は、濃淡パターンＰ１１の位相ごとにその周期を任意の整数で割った幅を持つ空白部を補助パターンＰ５４として設ける方法であり、この方法を採用する場合、補助パターンＰ５４の入った濃淡パターンＰ１１の光を投影するようにパターン板１１４が構成される。このような補助パターンＰ５４の入った濃淡パターンＰ１１が計測対象Ｔに投影されると、その撮像により得られる縞画像Ｐ１３にも図８（ａ）に示すように空白部が入り、これにより、図８（ｂ）に占めすように明度が変化する。
【００６７】
図８（ａ）では、補助パターンＰ５４は、濃淡パターンＰ１１の周期の１／４幅（位相シフト時の移動幅に相当する幅）に設定されており、このパターンを図１９に示す手順により、周期の１／４幅づつ移動させつつ５回撮像すると、図８（ａ）のＰ１に示す位置での明度は図９のI0〜I4に示すように変化する。この明度I0〜I4について、連続する４回の明度を選び出す全ての組み合わせ、すなわち[I0, I1, I2, I3]、[I1, I2, I3, I4]、[I2, I3, I4, I0]、[I3, I4, I0, I1]、[I4, I0, I1, I2]のｋ＝５種の組合せの中から、変化が正弦波に最も近いものを求める。上記組合せの各々に対して、（数１）に示す式により位相値αｋ（ｋ＝０〜４）を求めると、明度ψの近似式は
【００６８】
【数２】
【００６９】
となるので、次式により近似式との差分和を求め、これが最も小さいものを真の位相値とする。ただし、Ｆは明度コントラストで、Ｂは背景明度である。
【００７０】
【数３】
【００７１】
以上の処理により得られたΣdjの値を最小化するｋの値から、IO〜I4のうち補助パターンＰ５４に相当する位置が求められるので、上述の補助投影装置１２により線状光を投影した場合と同様に、計測対象Ｔに段差があっても計測が可能となり、また撮像時間も１回分増加するだけで済む。
【００７２】
図１０に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す別の方法の説明図を示す。この方法は、図８を用いて説明した方法のように、補助パターンと第１パターンを同時に使用するのではなく、強度変調が関数により定義された補助パターンを用いる方法であり、この方法を採用する場合、パターン板１１４は例えば透光型液晶パネルで構成される。また、この方法には、図１０〜図１４を用いて説明するが２種類あり、まず、図１０，図１１を用いてその１つ目の方法を説明する。
【００７３】
１つ目の方法では、まず従来と同様の位相シフト法の手順により、波長λなる濃淡パターンＰ１１を計測対象Ｔに投影し、複数回位相シフトしつつ撮像し、図１０（ａ）に示すように、複数の縞画像Ｐ１３を得る。続いて、波長２λなる補助パターンを１回だけ投影して撮像し、図１０（ｂ）に示すように、補助パターンＰ６４の画像を得る。この手順は図７に示す手順と同じである。
【００７４】
図１１に位相の開始点が同じで波長が２倍異なるパターンを投影したときの明度の変化を示す。波長２λなる補助パターンＰ６４において位相θとなる点Ｐ２における明度f2と、位相開始点が同じで波長がλである縞画像Ｐ１３の同じ位置における明度f1は以下のようになる。
【００７５】
【数４】
【００７６】
したがって、この２式により、
【００７７】
【数５】
【００７８】
なお、上式において、補助パターンＰ６４は計測対象Ｔの表面の反射率によって決定される背景明度であるが、補助パターンＰ６４の明度の値は最初の４回の投影で得られた明度の値を用いて、（数２）により求められる。（数５）でθを求めることにより、最初の４回において投影された正弦波の隣り合う２周期分の境界はθ＝ｎπ（ｎ：整数）となる位置であるので、容易に縞画像Ｐ１３の位相境界の位置を求めることができる。また、縞と直交する方向に段差がある場合においても、最後の投影の周期２λ以内のずれを生じる範囲内であれば縞次数の判断を誤ることなく計測を行うことができる。
【００７９】
図１２に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す２つ目の方法の説明図を示す。この方法では、図７に示す手順によって、まず従来と同様の位相シフト法の手順により、正弦波パターンである濃淡パターンＰ１１を計測対象Ｔに投影し、複数回位相シフトしつつ撮像し、図１２（ａ）に示すように、複数の縞画像Ｐ１３を得る。続いて、光の強度が濃淡パターンＰ１１の位相シフトの方向に沿って線形に増加するような補助パターンを１回だけ投影して撮像し、図１２（ｂ）に示すように、補助パターンＰ７４の画像を得る。
【００８０】
ここで、（数２）より、濃淡パターンＰ１１を位相シフトさせて複数回撮影して得た複数の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、計測対象Ｔの表面の濃淡情報が得られる。この平均化画像の縞を横切る方向の明度変化の例を図１３（ｂ）に示す。平均化画像と最後に補助パターンを投影して得た画像の明度（図１３（ａ）参照）を差分することにより、明度が計測対象Ｔの形状（図１３（ｄ）参照）を表すようなプロフィール（図１３（ｃ）参照）が得られる。これにより、図１４の上段の明度Ｂ１に示す縞画像Ｐ１３の位相境界に対応する明度Ｂ２（図１４の下段参照）が分かるので、図１３（ｃ）に示すプロフィールにおいて明度Ｂ２になる位置を探すことにより縞画像Ｐ１３の位相境界の位置を検出すれば、位相の連結処理を行うことができる。
【００８１】
なお、図１１では強度変化パターンは端から一定の比率で明度が高くなるように設定されているが、これを図１５に示すように階段状に強度が変化するパターンとしてもよい。また、図１６に示すように周期的に強度が変化するパターンとしても同様の効果が得られる。
【００８２】
【発明の効果】
請求項１記載の発明によれば、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【００８４】
請求項２記載の発明によれば、非常に簡易に位相の連結処理を行うことができる。
【００８５】
請求項３記載の発明によれば、計測対象が段差を有するものであっても、適切な計測が可能になる。
【００８６】
請求項４記載の発明によれば、撮像時間を増大させることなく位相境界の位置を検出することができる。
【００８７】
請求項５記載の発明によれば、計測対象が例えば人体などのように半透明の性状を有する場合でも、第２パターンの光の照射によって第１パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【００８８】
請求項６記載の発明によれば、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第１パターンの位相境界の位置を検出することができる。
【００８９】
請求項７記載の発明によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【００９０】
請求項８記載の発明によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【００９３】
請求項９記載の発明によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【図面の簡単な説明】
【図１】補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法を採用する装置の構成図である。
【図２】３次元形状の検出に使用する各部におけるパターン例を示す図である。
【図３】図１の補助投影装置から射出される光のパターンなどを示す図である。
【図４】縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す図である。
【図５】補助投影装置を使用しないで補助パターンを投影する第１の方法の説明図である。
【図６】補助投影装置を使用しないで補助パターンを投影する第２の方法の説明図である。
【図７】補助投影装置を使用しないで補助パターンを投影する第２の方法を採用する場合のフローチャートの一例を示す図である。
【図８】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法の説明図である。
【図９】図８におけるＰ１位置での明度変化を示す図である。
【図１０】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す別の方法の説明図である。
【図１１】位相の開始点が同じで波長が２倍異なるパターンを投影したときの明度の変化を示す図である。
【図１２】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す２つ目の方法の説明図である。
【図１３】撮像により得られた画像から補助パターンを復元する方法の説明図である。
【図１４】復元された補助パターンの関数から位相境界の位置を検出する方法の説明図である。
【図１５】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図１６】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図１７】位相シフト法により３次元計測を行う従来の３次元計測装置の基本構成例を示す図である。
【図１８】３次元形状の検出に使用する各部におけるパターン例を示す図である。
【図１９】従来の位相シフト法による計測の手順を示す図である。
【図２０】位相シフト法における位相推定原理の説明図である。
【図２１】位相シフト法における位相連結問題の説明図である。
【符号の説明】
１１ 投影装置
１２ 補助投影装置
１３ 撮像装置
１４ 量子化回路
１５ 記憶装置
１６ 画像処理装置
【発明の属する技術分野】
本発明は、位相シフト法（縞走査法）を用いた画像処理により計測対象の３次元形状を計測する３次元計測方法に関するものである。
【０００２】
【従来の技術】
従来、美容分野において施療の効果は視感的判定やアンケート等による定性的な評価により行われていた。しかしながら、定性的な判定では評価者の主観が決定要因であることから正確さを欠き、また効果の度合いを定量的に評価できないことから、近年、施療部位を計測し、効果を定量的に評価することが求められている。
【０００３】
美容分野に応用するための計測においては計測対象が生体であるため、非侵襲的（非侵襲：測定部位を傷つけたり薬液等を塗布するなど、対象物に物理的影響を与える方法を採らないこと）に計測が行えることが望ましい。また、たとえば美肌器具のように人体表面形状に変化が現れるものの評価の場合、その形状を計測する目的において、生体は柔軟物体であるため物理的接触を伴う計測方法では接触圧力による対象物の変形が生じ、正確な計測が行えない。従って、人体の計測は非接触による計測が求められる。
【０００４】
一般的な工業部品等の非接触３次元計測装置においては、安価かつ高精度が得られるため光切断法が最も頻繁に使用されるが、光切断法は２次元的な走査を行うためには撮像時間が長くなるため、固定することが難しい生体の計測には向かない。また、この装置は目に対して有害なレーザー光線を使用するため、美容分野において主たる計測部位となる人体顔面部における使用には問題がある。そこで、人体にほぼ無害な白色光源により高速かつ高精度の計測が可能な位相シフト法(縞走査法)による計測が採用される。
【０００５】
図１７に位相シフト法により３次元計測を行う従来の３次元計測装置の基本構成例を示し、図１８に３次元形状の検出に使用する各部におけるパターン例を示す。図１７に示す装置は、投影装置１１、撮像装置１３、量子化回路１４、記憶装置１５および画像処理装置１６ｐを備えている。
【０００６】
投影装置１１は、ランプ１１１、投影用レンズ１１３およびパターン板１１４などにより構成される。パターン板１１４には光の透過率がある１方向に沿って正弦波状に変化する縞状の濃淡パターンＰ１１が形成されており、これをランプ１１１により照明し、投影用レンズ１１３を介して計測対象Ｔの表面に縞パターンＰ１２を投影する。
【０００７】
投影装置１１には、パターン板１１４が濃淡パターンＰ１１の周期よりも小さい移動量分だけなるべく正確に移動することが出来るようにパターンシフト部１１５が具備される。このパターンシフト部１１５は、濃淡表示の可能な液晶パネルのように電子的に光の透過率を変化させることができるデバイスをパターン板１１４に使用すれば省略可能で、機械的可動部のない装置構成が可能になる。
【０００８】
また、上記縞投影方法は一例であり、この他にも白黒格子パターンをレンズによりぼかして投影する方法やレーザーの干渉を利用する方法、モアレトポグラフィにより縞を生成する方法により置換しても構わない。
【０００９】
この縞パターンを撮像装置１３により投影装置１１の光軸と異なる角度から撮影し、そのカメラ信号を量子化回路１４で量子化することにより、計測対象Ｔの形状に応じて変形した縞画像Ｐ１３が記憶装置１５上に記録される。なお、以下の説明において、投影されたパターン自体の光量を「強度」、撮像で得られる縞画像Ｐ１３における任意の座標点の画素値を「明度」という。
【００１０】
図１９に従来の位相シフト法による計測の手順を示す。まず、ステップＳ１０〜Ｓ１５およびステップＳ１８に示すように、パターンシフト部１１５により所定の移動量分だけ濃淡パターンＰ１１の位相をシフトし、縞画像Ｐ１３を撮像する処理を少なくとも３回以上繰り返し、記憶装置１５上に記録する。続いて、ステップＳ１９に示すように、記録された複数の縞画像Ｐ１３に対して同一座標点における明度変化を画像処理装置１６ｐで演算することにより投影されたパターンの位相を推定する。
【００１１】
例えば図２０に示すように、周期の１／４（π／２)づつ位相をシフトして４回撮影された画像において、同一座標点(x, y)における明度がI0(x, y)→I1(x, y)→I2(x, y)→I3(x, y)と変化する場合、その位置における位相値α(x, y)は次式で表される。
【００１２】
【数１】
撮影された画像のあらゆる点(x, y)に対して上式によりαの値を求めたとき、位相値が等しくなる点を結んでできる等位相線は、いわゆる光切断法における光切断線に相当し、計測対象Ｔの断面形状を反映する。また、投影装置１１および撮像装置１３の位置関係、各種光学的パラメータは既知であるので、光切断法同様にこれらのパラメータと上記等位相線の形状から計測対象Ｔの高さ情報が得られる。また、上述の位相は撮影された画像のあらゆる位置で求められるので、位相シフト法によれば光切断法において光切断線をそれと略直交する方向に極めて密な間隔で走査してエリア的な距離情報を得ることと等価な計測が簡単かつ高速に行える。
【００１４】
ここで、位相シフト法において発生する「位相連結問題」について説明する。位相シフト法による計測においては、明度の変化を（数１）の逆正接関数に代入して位相値推定を行うので、縞と垂直な方向に沿った明度の微分値が大きいほど、すなわち縞が明瞭に見えるほど上式により求められるα(x, y)の推定精度が高くなり、高い測定精度が得られる。したがって、光学系のコントラスト自体が高くなるように配慮するとともに、コントラストが同じであれば、一度に投影される縞の本数（縞次数）が多いほど測定精度が高い。
【００１５】
しかしながら、位相シフト法においては上式の通り逆正接関数を解くことにより位相値を導出するので、α(x, y)の値は−π〜πの間となり、縞次数が２以上であれば図２１に示すように位相が単調増加せず不連続が生じる。撮影された画像の全面に対して高さ情報を求める処理（図１９のＳ２２）を行うためには、投影したパターンの端からの絶対的な位相値を求める必要がある。したがって、図１９のステップＳ２０に示すように、位相の不連続位置を検出し、その位置で位相値に２π×縞次数を加算して位相が単調増加するように「位相連結処理(図１９のＳ２１)」を行う必要がある。
【００１６】
計測の際得られる画像が完全に理想的な条件で撮影されていれば、上記位相の不連続は極めて明瞭に得られるので、単純に位相値が＋πから−πへ変化する部分を検出して位相値の加算を行えばよい。しかしながら、実際の撮影においては光学系の歪みやノイズ、計測対象Ｔの表面での光の反射特性などの影響により、上記位相不連続部分はしばしば不明瞭となる。位相シフト法においては、上述の通り位相が単調増加するように正しく位相連結処理が行われていなければ高さ情報を一意に決定できないため、位相不連続位置が不明瞭であっても全ての位相不連続位置を正しく検出することが必要である。これを位相連結問題と称する。
【００１７】
このような位相連結問題に関して、特公平３−３８５２４号公報に開示されているように、計測対象の近くに投影パターン全体を捉えることが出来るような広い基準面を配置し、ここに投影される歪みのない投影パターンを基準位相として計測し、これをもとにして計測対象に投影されたパターンの歪みを求めるという方法がある。
【００１８】
また、上記のようにハード的な対策を設けず、画像処理のみにより位相連結処理を行う方法としては、本発明者らによる特開平１１−１４３２７号公報に記載の発明のごとく、画像全面に対して位相不連続部分の特徴を抽出するフィルタを適用する方法がある。
【００１９】
さらに、投影方法の改良により位相連結問題を解決する方法としては、特開平６−６６５２７号公報に、投影するパターンの周期を変えて２度の計測を行い、周期から決定される最大計測高さを元に小さい周期での計測の際に発生した周期ズレを大きい周期での計測結果をもとに補正する方法が記載されている。
【００２０】
【発明が解決しようとする課題】
上記の３つの公報に記載の方法によれば、位相連結問題を解決することができるが、各々以下のような課題が残る。
【００２１】
特公平３−３８５２４号公報に記載の方法では、カメラ視野内にその基準面の全体を捉える必要があり、計測対象は画面の一部にしか捉えられないため、撮像装置の分解能が十分に活用されないという問題があった。また、装置構成の面でも基準面を設置する必要があり、計測対象が人体のように加工することのできない場合、適用が困難であるという問題があった。
【００２２】
特開平１１−１４３２７号公報に記載の方法では、得られた位相推定結果画像の全面に対して演算量の多い大きな畳み込みフィルタを適用する必要があり、位相導出の処理に時間がかかるという問題があった。
【００２３】
特開平６−６６５２７号公報に記載の方法では、計測を行うにあたって２回の計測を実施する必要があり、計測時間が２倍かかるという問題があった。
【００２４】
本発明は、上記事情に鑑みてなされたものであり、撮像装置の解像度を損なうことなく計測対象の３次元形状の計測が行え、また位相の連結処理が簡易で高速な計測が可能な３次元形状計測方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の発明の３次元形状計測方法は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記第１パターンの位相境界の位置に強度のエッジまたはピークを形成する第２パターンの光を前記計測対象に照射し、前記位相の連結の際、前記第２パターンの光により形成された強度のエッジまたはピークに応じて前記第１パターンの位相境界の位置を割り出すのである。
【００２８】
この方法によれば、位相シフト法の計測の原理上生じる位相連結問題を解決するために、第１パターンの位相境界の位置にエッジまたはピークの明瞭な特徴を持つ第２パターンの光を照射し、第２パターンの特徴のみを用いて第１パターンの位相境界の位置を検出するようにしたので、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【００２９】
なお、請求項１記載の３次元形状計測方法において、前記第１パターンの光は投影手段から射出され、前記第２パターンの光は、補助投影手段から少なくとも１つの点状光として射出され、前記第１パターンの位相境界の位置に点状のピークを形成する方法でもよい（請求項２）。この方法によれば、第１パターンの位相境界を示す第２パターンを点状にすることで、位相の連結処理が非常に簡易になる。
【００３０】
また、請求項１記載の３次元形状計測方法において、前記第１パターンの光は投影手段から射出され、前記第２パターンの光は、補助投影手段から少なくとも１つの線状光として射出され、前記第１パターンの位相境界の位置に線状のエッジを形成する方法でもよい（請求項３）。この方法によれば、第１パターンの位相境界を示す第２パターンを、第１パターンにおける位相が同一となる方向に沿った線状にすることで、計測対象が段差を有するものであっても、適切な計測が可能になる。
【００３１】
また、請求項２または３に記載の３次元形状計測方法において、前記第１パターンの光に前記第２パターンの光が重畳される方法でもよい（請求項４）。この方法によれば、第１パターンの光と第２パターンの光とを同時に計測対象に照射することで、撮像時間を増大させることなく位相境界の位置を検出することができる。
【００３２】
また、請求項２または３に記載の３次元形状計測方法において、前記第２パターンの光は前記第１パターンの光とは別に前記計測対象に照射され、前記撮像は前記第２パターンの光の照射の際にも行われる方法でもよい（請求項５）。この方法によれば、第２パターンの光を第１パターンの光と別に計測対象に照射することで、計測対象が例えば人体などのように半透明の性状を有する場合でも、第２パターンの光の照射によって第１パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【００３３】
また、請求項１記載の３次元形状計測方法において、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って周期的にかつ段階的に変化するパターンであり、前記第１パターンの一部に形成される方法でもよい（請求項６）。この方法によれば、第１パターンの一部に第２パターンを形成するので、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第１パターンの位相境界の位置を検出することができる。
【００３４】
さらに、請求項１記載の３次元形状計測方法において、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って明暗で周期的に変化するパターンであり、前記第１パターンの光および前記第２パターンの光は、同一の投影手段から別々にそれぞれ複数回および少なくとも１回射出される方法でもよい（請求項７）。この方法によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【００３５】
請求項８記載の発明の３次元形状計測方法は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、光の強度が一定となる帯状の第２パターンを前記第１パターンにおける位相が同一となる方向に挿入し、前記位相の連結の際、前記第２パターンにより発生する逆正接関数の近似誤差を元に前記第２パターンの位置の検出を行い、この検出結果に応じて前記第１パターンの位相境界の位置を割り出すものである。
【００３６】
この方法によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【００３７】
請求項９記載の発明は、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記位相シフトの方向に沿った位置に対応する強度変調関数により光の強度が変調された第２パターンを前記計測対象に投影し、前記位相の連結の際、前記計測対象での前記第１パターンの光による反射光量を測定することにより前記第２パターンの強度変調関数を復元し、この復元された強度変調関数を用いて前記第１パターンの位相境界の位置を割り出す３次元形状計測方法であって、前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿った位置に対応する線形関数に従って変化するパターンであり、前記第１パターンの光および前記第２パターンの光は、別々に前記計測対象に照射されるものである。
【００３８】
この方法によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相の境界位置を正確に検出することができる。
【００４０】
また、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【００４１】
【発明の実施の形態】
以下、本発明の３次元形状計測方法に係る種々の実施形態を説明する。３次元形状計測方法は、位相シフト法を応用したもので、その位相シフト法による計測で発生する位相連結問題を解決するために、光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影することに加えて、第１パターンの位相境界の位置を割り出すために、第１パターンの位相境界の位置を示す補助パターン（第２パターン）を補助的に使用するものである。
【００４２】
補助パターンは、第１パターンの位相シフトの方向に沿った位置に対する光の強度が分かるように、第１パターンの光の強度が変調され、かつその変調パターンが第１パターンと異なるように形成される。つまり、補助パターンの光として、レーザーによるスポットや縞、あるいは明暗の繰り返しのある縞パターンなどの光が使用される。
【００４３】
また、補助パターンの情報を使用する場合、補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法と、補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法とがある。
【００４４】
図１に補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法を採用する装置の構成図を示し、図２に３次元形状の検出に使用する各部におけるパターン例を示し、図３に図１の補助投影装置から射出される光のパターンなどを示す。
【００４５】
図１に示す装置は、投影装置１１、補助投影装置１２、撮像装置１３、量子化回路１４、記憶装置１５および画像処理装置１６を備えている。
【００４６】
投影装置１１は、光源としてのランプ１１１と、このランプ１１１の光を一の方向に向けて反射する凹面鏡１１２と、ランプ１１１の前方に配置される投影用レンズ１１３と、ランプ１１１および投影用レンズ１１３の間に介設され、図２（ａ）に示すように、ランプ１１１からの面状光を、この強度が一の方向に沿って１周期以上に亘る正弦波状に変化する縞状の濃淡パターンＰ１１（第１パターン）で、投影光として計測対象Ｔに照射するためのパターン板１１４と、このパターン板１１４を複数回小刻みに移動させて、上記１周期（ＴＭ１）の縞間隔よりも狭い間隔で、正弦パターンである濃淡パターンＰ１１の位相シフトを行うパターンシフト部１１５とにより構成されている。
【００４７】
補助投影装置１２は、濃淡パターンＰ１１の位相境界の位置を示す補助パターンの光をランプ１１１の光軸ＯＡ１に沿って計測対象Ｔに照射するもので、例えば、レーザーなどの光源１２１と、この光源１２１の光軸ＯＡ２をランプ１１１の光軸ＯＡ１に一致させるためのハーフミラー１２２とにより構成される。このハーフミラー１２２は投影装置１１の光軸ＯＡ１中にこの光軸との傾斜角が４５度になるように配置されるとともに、光源１２１はこの光軸ＯＡ２がハーフミラー１２２の反射面で投影装置１１の光軸ＯＡ１と直交するように配置される。なお、光源１２１の補助パターンについては後述する。
【００４８】
撮像装置１３は、少なくとも上記位相シフト毎に、計測対象Ｔに対するランプ１１１の光軸ＯＡ１と異なる方向から計測対象Ｔの撮像を行うもので、例えば受光レンズおよびＣＣＤなどにより構成される。ここで、ランプ１１１からの面状光が濃淡パターンＰ１１で計測対象Ｔに照射されると、濃淡パターン（濃淡パターン像）Ｐ１１が計測対象Ｔに投影されることになるのであるが、投影された濃淡パターンＰ１１が、図２（ｂ）に示すように、計測対象Ｔの表面形状に応じて変形した縞パターンＰ１２となるので、この縞パターンＰ１２の画像が撮像されることになる。また、補助投影装置１２の補助パターンの画像も撮像される。
【００４９】
量子化回路１４は、撮像装置１３の撮像から、つまり撮像装置１２のカメラ信号を量子化することで、図２（ｃ）に示すように、縞パターンＰ１２に対応する縞画像Ｐ１３を得るものである。また、補助投影装置１２の補助パターンの画像も得られる。
【００５０】
記憶装置１５は、量子化回路１３で得られた画像を複数フレーム分記憶するもので、例えばＲＡＭなどの半導体記憶素子またはいわゆるハードディスクなどのディスク装置などにより構成される。
【００５１】
画像処理装置１６は、記憶装置１５に記憶の画像を用いて、各種の画像処理を行うもので、例えば、記憶装置１５に記憶されている複数の画像の同一位置における明度を逆正接関数で演算処理して、計測対象Ｔの表面形状に応じた濃淡パターンＰ１１の位相の導出、つまり縞画像Ｐ１３の位相の導出処理を行う。また、縞画像Ｐ１３の位相境界の検出処理が行われる。また、縞画像Ｐ１３の位相境界で発生する不連続を復元して位相の連結処理が行われる。さらに、計測対象Ｔの高さ計算の処理が行われる。
【００５２】
ここで、補助投影装置１２から射出される光の補助パターンを説明する。例えば、最も簡単な補助パターン（スポット光投影方法）を採用する場合には、補助投影装置１２の光源１２１は、スポット（点）状の光を射出するように構成される。図３の例には、ビームスプリッタなどにより複数のレーザースポットを補助パターンＰ１４として発生させ、縞画像Ｐ１３の１位相について１個の点状の補助パターンＰ１４を重畳させて投影した状態が示されている。
【００５３】
この場合、補助投影装置１２は投影装置１１のようにパターンシフト部を備えず、画像処理装置１６は、濃淡パターンＰ１１の位相のみをシフトさせて得られる複数の画像の明度変化から、上記（数１）に示す式によって位相復元を行う。このとき、補助パターンの光は常に同一位置を同一強度で照明するので、相対的な明度変化のみにより位相復元が行われる上記（数１）の式によれば、位相復元は補助パターンに関係なく行われる。
【００５４】
また、図３に示すように、スポット光による点状の補助パターンＰ１４を濃淡パターンＰ１１に重畳させて投影し、濃淡パターンＰ１１の位相のみをシフトさせ、そして得られた複数枚の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、補助パターンＰ１４のみを投影したのと同じ状態の画像が得られるので、上記スポット光の位置を容易に検出できる。このようにして補助パターンＰ１４の位置を計測することにより、濃淡パターンＰ１１の位相シフトの方向における縞間隔が実測されるので、上記位相の連結処理の際、その実測値に従って位相値の加算を行うことにより位相の連結処理が簡単に行える。
【００５５】
上記スポット光投影方法は、濃淡パターンＰ１１の位相シフトの方向における高さ変動が大きく、かつそれと直交する方向（縞と垂直な方向）の高さ変動が少ない場合に有効である。しかし、スポット光投影方法では、縞と交差する方向に段差などの大きな高さ変動がある場合、段差部分で同じ次数の縞を対応付けすることができない。
【００５６】
図４に縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す。計測対象Ｔが段差を有するような場合、線状光投影方法を採用して、光切断法と同様の線状光Ｐ２４を射出するように補助投影装置１２の光源１２１を構成すれば、同じ次数の縞を対応付けすることができる。
【００５７】
図４に示すように、線状光を、濃淡パターンＰ１１の例えば位相境界の位置に沿って重畳するように照射し、濃淡パターンＰ１１のみに対して位相シフトを行い、これにより得られる複数の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、線状光のみを照射したのと同じ状態の画像が得られるので、線状光による線状の補助パターンＰ２４の位置は光切断法と同様の方法により容易に検出できる。
【００５８】
ここで、図４の場合、２周期ごとに１本、合計で３本の線状光による線状の補助パターンＰ２４が縞次数６の濃淡パターンＰ１１に重畳するように投影されるので、縞画像Ｐ１３に存在すべき線状光Ｐ２４の本数が３本であるのが分かる。従って、段差部分で各縞が切れていても３本の線状光が全て視野内に入っている限り、補助パターンＰ２４のＡ１部分とＡ２部分とが同一であるのが分かるので、これらＡ１，Ａ２部分の片方における縞のＢ１部分と縞のＢ２部分とが同じ次数で、もう片方における縞のＣ１部分と縞のＣ２部分とが同じ次数であるのが分かる。このようにして、段差のある場合の計測が可能となる。
【００５９】
これらスポット光投影方法および線状光投影方法、すなわち濃淡パターンＰ１１と補助パターンとを重畳させて投影する方法は、計測対象Ｔが不透明な物体である場合に有効である。これに対して、計測対象Ｔが例えば人体のように半透明の性状を持つ物体である場合、濃淡パターンＰ１１の光と補助パターンの光とを重畳させて投影すると、光が計測対象Ｔの内側に浸透して拡散するため、（濃淡パターンＰ１１が計測対象Ｔに投影されてその表面形状に応じて変化する）縞パターンＰ１２が大きく乱れて見える恐れがある。このような場合、濃淡パターンＰ１１のみを計測対象Ｔに投影して撮像し、この後、補助パターンを計測対象Ｔに別途投影して撮像することにより、縞パターンＰ１２が大きく乱れて見える不具合を回避できる。
【００６０】
次に、補助投影装置１２を使用しないで補助パターンを投影する方法について説明する。
【００６１】
図５に補助投影装置１２を使用しないで補助パターンを投影する第１の方法の説明図を示す。この第１の方法は、上記スポット光投影方法の点状の補助パターンＰ１４に替えて、濃淡パターンＰ１１の位相シフトの方向と同じ方向に帯状の余白部Ｍを設け、この余白部Ｍ内に濃淡パターンＰ１１の位相位置を示す補助パターンＰ３４を入れる方法であり、この方法を採用する場合には、補助パターンＰ３４の入った濃淡パターンＰ１１を投影するようにパターン板１１４が構成される。このような補助パターンＰ３４の入った濃淡パターンＰ１１が計測対象Ｔに投影されると、その撮像により得られる縞画像Ｐ１３にも図５に示すように補助パターンＰ３４が入るので、上記スポット光投影方法と同様の効果を得ることができる。図５の例では、補助パターンＰ３４は１周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界位置を上記点状の補助パターンＰ１４の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方はスポット光投影法と同様である。
【００６２】
図６に補助投影装置１２を使用しないで補助パターンを投影する第２の方法の説明図を示す。この第２の方法は、段差のある物体の計測に対応可能にすべく、上記線状光投影方法の線状の補助パターンＰ２４に替えて、濃淡パターンＰ１１とは別に濃淡パターンＰ１１の位相位置を示す補助パターンＰ４４を計測対象Ｔに少なくとも１回投影する方法であり、この方法を採用する場合、パターン板１１４は例えば透光型液晶パネルで構成される。このような濃淡パターンＰ１１の光と補助パターンＰ４４の光とが計測対象Ｔに別々に投影されると、各撮像により、図６（ａ）に示すように、計測対象Ｔの表面形状に応じた縞画像Ｐ１３が得られるとともに、計測対象Ｔの表面形状に応じた補助パターンＰ４４の画像が得られるので、上記線状光投影方法と同様の効果を得ることができる。図６（ｂ）では、補助パターンＰ４４は１周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界に生じるエッジを上記線状の補助パターンＰ２４の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方は上記線状光投影方法と同様である。
【００６３】
図７は補助投影装置１２を使用しないで補助パターンを投影する第２の方法を採用する場合のフローチャートの一例で、画像処理装置１６などにより実行される。このフローチャートには、図１９に示した従来のフローチャートと同様の処理（Ｓ１０〜Ｓ１５およびＳ１８〜Ｓ２２）に加えて、ステップＳ１５とステップＳ１８との間に、「補助パターンに切替え」および「画像取り込み」の両処理がさらに設けられる手順になっている（Ｓ１６，Ｓ１７）。つまり、ステップＳ１０〜Ｓ１５において、図１９と同様に、濃淡パターンＰ１１の位相シフトおよび縞画像Ｐ１３の取り込みの一連の処理が複数回（Ｎ回）実行され、この後、ステップＳ１６，Ｓ１７において、補助パターンＰ４４に切替え（Ｓ１６）、続いて、その画像取り込み（Ｓ１７）を行う一連の処理が１回実行されるのである。
【００６４】
これら第１および第２の方法では、画像の特徴を抽出して縞画像Ｐ１３の位相境界の位置を検出するので、画像の特徴が曖昧になる計測対象（模様のある物体など）Ｔへの適用が困難となる場合が考えられる。
【００６５】
次に、このような場合に好適な方法として、補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法について説明する。ただし、補助投影装置１２を用いないで投影を行うものとして説明する。
【００６６】
図８に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法の説明図を示し、図９に図８におけるＰ１位置での明度変化を示す。この方法は、濃淡パターンＰ１１の位相ごとにその周期を任意の整数で割った幅を持つ空白部を補助パターンＰ５４として設ける方法であり、この方法を採用する場合、補助パターンＰ５４の入った濃淡パターンＰ１１の光を投影するようにパターン板１１４が構成される。このような補助パターンＰ５４の入った濃淡パターンＰ１１が計測対象Ｔに投影されると、その撮像により得られる縞画像Ｐ１３にも図８（ａ）に示すように空白部が入り、これにより、図８（ｂ）に占めすように明度が変化する。
【００６７】
図８（ａ）では、補助パターンＰ５４は、濃淡パターンＰ１１の周期の１／４幅（位相シフト時の移動幅に相当する幅）に設定されており、このパターンを図１９に示す手順により、周期の１／４幅づつ移動させつつ５回撮像すると、図８（ａ）のＰ１に示す位置での明度は図９のI0〜I4に示すように変化する。この明度I0〜I4について、連続する４回の明度を選び出す全ての組み合わせ、すなわち[I0, I1, I2, I3]、[I1, I2, I3, I4]、[I2, I3, I4, I0]、[I3, I4, I0, I1]、[I4, I0, I1, I2]のｋ＝５種の組合せの中から、変化が正弦波に最も近いものを求める。上記組合せの各々に対して、（数１）に示す式により位相値αｋ（ｋ＝０〜４）を求めると、明度ψの近似式は
【００６８】
【数２】
となるので、次式により近似式との差分和を求め、これが最も小さいものを真の位相値とする。ただし、Ｆは明度コントラストで、Ｂは背景明度である。
【００７０】
【数３】
以上の処理により得られたΣdjの値を最小化するｋの値から、IO〜I4のうち補助パターンＰ５４に相当する位置が求められるので、上述の補助投影装置１２により線状光を投影した場合と同様に、計測対象Ｔに段差があっても計測が可能となり、また撮像時間も１回分増加するだけで済む。
【００７２】
図１０に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す別の方法の説明図を示す。この方法は、図８を用いて説明した方法のように、補助パターンと第１パターンを同時に使用するのではなく、強度変調が関数により定義された補助パターンを用いる方法であり、この方法を採用する場合、パターン板１１４は例えば透光型液晶パネルで構成される。また、この方法には、図１０〜図１４を用いて説明するが２種類あり、まず、図１０，図１１を用いてその１つ目の方法を説明する。
【００７３】
１つ目の方法では、まず従来と同様の位相シフト法の手順により、波長λなる濃淡パターンＰ１１を計測対象Ｔに投影し、複数回位相シフトしつつ撮像し、図１０（ａ）に示すように、複数の縞画像Ｐ１３を得る。続いて、波長２λなる補助パターンを１回だけ投影して撮像し、図１０（ｂ）に示すように、補助パターンＰ６４の画像を得る。この手順は図７に示す手順と同じである。
【００７４】
図１１に位相の開始点が同じで波長が２倍異なるパターンを投影したときの明度の変化を示す。波長２λなる補助パターンＰ６４において位相θとなる点Ｐ２における明度f2と、位相開始点が同じで波長がλである縞画像Ｐ１３の同じ位置における明度f1は以下のようになる。
【００７５】
【数４】
したがって、この２式により、
【００７７】
【数５】
なお、上式において、補助パターンＰ６４は計測対象Ｔの表面の反射率によって決定される背景明度であるが、補助パターンＰ６４の明度の値は最初の４回の投影で得られた明度の値を用いて、（数２）により求められる。（数５）でθを求めることにより、最初の４回において投影された正弦波の隣り合う２周期分の境界はθ＝ｎπ（ｎ：整数）となる位置であるので、容易に縞画像Ｐ１３の位相境界の位置を求めることができる。また、縞と直交する方向に段差がある場合においても、最後の投影の周期２λ以内のずれを生じる範囲内であれば縞次数の判断を誤ることなく計測を行うことができる。
【００７９】
図１２に補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す２つ目の方法の説明図を示す。この方法では、図７に示す手順によって、まず従来と同様の位相シフト法の手順により、正弦波パターンである濃淡パターンＰ１１を計測対象Ｔに投影し、複数回位相シフトしつつ撮像し、図１２（ａ）に示すように、複数の縞画像Ｐ１３を得る。続いて、光の強度が濃淡パターンＰ１１の位相シフトの方向に沿って線形に増加するような補助パターンを１回だけ投影して撮像し、図１２（ｂ）に示すように、補助パターンＰ７４の画像を得る。
【００８０】
ここで、（数２）より、濃淡パターンＰ１１を位相シフトさせて複数回撮影して得た複数の画像の同一位置における明度を平均した画像（平均化画像）を生成すれば、計測対象Ｔの表面の濃淡情報が得られる。この平均化画像の縞を横切る方向の明度変化の例を図１３（ｂ）に示す。平均化画像と最後に補助パターンを投影して得た画像の明度（図１３（ａ）参照）を差分することにより、明度が計測対象Ｔの形状（図１３（ｄ）参照）を表すようなプロフィール（図１３（ｃ）参照）が得られる。これにより、図１４の上段の明度Ｂ１に示す縞画像Ｐ１３の位相境界に対応する明度Ｂ２（図１４の下段参照）が分かるので、図１３（ｃ）に示すプロフィールにおいて明度Ｂ２になる位置を探すことにより縞画像Ｐ１３の位相境界の位置を検出すれば、位相の連結処理を行うことができる。
【００８１】
なお、図１１では強度変化パターンは端から一定の比率で明度が高くなるように設定されているが、これを図１５に示すように階段状に強度が変化するパターンとしてもよい。また、図１６に示すように周期的に強度が変化するパターンとしても同様の効果が得られる。
【００８２】
【発明の効果】
請求項１記載の発明によれば、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【００８４】
請求項２記載の発明によれば、非常に簡易に位相の連結処理を行うことができる。
【００８５】
請求項３記載の発明によれば、計測対象が段差を有するものであっても、適切な計測が可能になる。
【００８６】
請求項４記載の発明によれば、撮像時間を増大させることなく位相境界の位置を検出することができる。
【００８７】
請求項５記載の発明によれば、計測対象が例えば人体などのように半透明の性状を有する場合でも、第２パターンの光の照射によって第１パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【００８８】
請求項６記載の発明によれば、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第１パターンの位相境界の位置を検出することができる。
【００８９】
請求項７記載の発明によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【００９０】
請求項８記載の発明によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【００９３】
請求項９記載の発明によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第１パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【図面の簡単な説明】
【図１】補助パターンの情報のみから第１パターンの位相境界の位置を割り出す方法を採用する装置の構成図である。
【図２】３次元形状の検出に使用する各部におけるパターン例を示す図である。
【図３】図１の補助投影装置から射出される光のパターンなどを示す図である。
【図４】縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す図である。
【図５】補助投影装置を使用しないで補助パターンを投影する第１の方法の説明図である。
【図６】補助投影装置を使用しないで補助パターンを投影する第２の方法の説明図である。
【図７】補助投影装置を使用しないで補助パターンを投影する第２の方法を採用する場合のフローチャートの一例を示す図である。
【図８】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す方法の説明図である。
【図９】図８におけるＰ１位置での明度変化を示す図である。
【図１０】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す別の方法の説明図である。
【図１１】位相の開始点が同じで波長が２倍異なるパターンを投影したときの明度の変化を示す図である。
【図１２】補助パターンと第１パターンの両方を用いて相互の関係から第１パターンの位相境界の位置を割り出す２つ目の方法の説明図である。
【図１３】撮像により得られた画像から補助パターンを復元する方法の説明図である。
【図１４】復元された補助パターンの関数から位相境界の位置を検出する方法の説明図である。
【図１５】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図１６】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図１７】位相シフト法により３次元計測を行う従来の３次元計測装置の基本構成例を示す図である。
【図１８】３次元形状の検出に使用する各部におけるパターン例を示す図である。
【図１９】従来の位相シフト法による計測の手順を示す図である。
【図２０】位相シフト法における位相推定原理の説明図である。
【図２１】位相シフト法における位相連結問題の説明図である。
【符号の説明】
１１ 投影装置
１２ 補助投影装置
１３ 撮像装置
１４ 量子化回路
１５ 記憶装置
１６ 画像処理装置
Claims (9)
- 光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、
前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、
前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
前記第１パターンの位相境界の位置に強度のエッジまたはピークを形成する第２パターンの光を前記計測対象に照射し、
前記位相の連結の際、前記第２パターンの光により形成された強度のエッジまたはピークに応じて前記第１パターンの位相境界の位置を割り出す
ことを特徴とする３次元形状計測方法。 - 前記第１パターンの光は投影手段から射出され、
前記第２パターンの光は、補助投影手段から少なくとも１つの点状光として射出され、前記第１パターンの位相境界の位置に点状のピークを形成する
ことを特徴とする請求項１記載の３次元形状計測方法。 - 前記第１パターンの光は投影手段から射出され、
前記第２パターンの光は、補助投影手段から少なくとも１つの線状光として射出され、前記第１パターンの位相境界の位置に線状のエッジを形成する
ことを特徴とする請求項１記載の３次元形状計測方法。 - 前記第１パターンの光に前記第２パターンの光が重畳されることを特徴とする請求項２または３に記載の３次元形状計測方法。
- 前記第２パターンの光は前記第１パターンの光とは別に前記計測対象に照射され、前記撮像は前記第２パターンの光の照射の際にも行われることを特徴とする請求項２または３に記載の３次元形状計測方法。
- 前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って周期的にかつ段階的に変化するパターンであり、前記第１パターンの一部に形成されることを特徴とする請求項１記載の３次元形状計測方法。
- 前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿って明暗で周期的に変化するパターンであり、
前記第１パターンの光および前記第２パターンの光は、同一の投影手段から別々にそれぞれ複数回および少なくとも１回射出される
ことを特徴とする請求項１記載の３次元形状計測方法。 - 光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、
前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、
前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
光の強度が一定となる帯状の第２パターンを前記第１パターンにおける位相が同一となる方向に挿入し、
前記位相の連結の際、前記第２パターンにより発生する逆正接関数の近似誤差を元に前記第２パターンの位置の検出を行い、この検出結果に応じて前記第１パターンの位相境界の位置を割り出す
ことを特徴とする３次元形状計測方法。 - 光の強度が少なくとも１周期以上に亘る正弦波状に変化し縞状となる第１パターンを計測対象に投影し、
前記１周期の縞間隔よりも狭い間隔で前記第１パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第１パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第１パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第１パターンの位相を導出し、
前記第１パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
前記位相シフトの方向に沿った位置に対応する強度変調関数により光の強度が変調された第２パターンを前記計測対象に投影し、
前記位相の連結の際、前記計測対象での前記第１パターンの光による反射光量を測定することにより前記第２パターンの強度変調関数を復元し、この復元された強度変調関数を用いて前記第１パターンの位相境界の位置を割り出す
３次元形状計測方法であって、
前記第２パターンは、当該第２パターンの光の強度が前記位相シフトの方向と同じ方向に沿った位置に対応する線形関数に従って変化するパターンであり、
前記第１パターンの光および前記第２パターンの光は、別々に前記計測対象に照射される
ことを特徴とする３次元形状計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30408699A JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | ３次元形状計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30408699A JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | ３次元形状計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001124534A JP2001124534A (ja) | 2001-05-11 |
| JP3690212B2 true JP3690212B2 (ja) | 2005-08-31 |
Family
ID=17928865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30408699A Expired - Fee Related JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | ３次元形状計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3690212B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005315728A (ja) * | 2004-04-28 | 2005-11-10 | Hiroshima Univ | 表面形状計測装置、表面形状計測方法 |
| JP4108085B2 (ja) | 2005-02-18 | 2008-06-25 | 富士通株式会社 | 光学歪補正装置および光学歪補正方法 |
| JP4611782B2 (ja) * | 2005-03-28 | 2011-01-12 | シチズンホールディングス株式会社 | ３次元形状測定方法及び測定装置 |
| JP4688625B2 (ja) * | 2005-10-18 | 2011-05-25 | 株式会社山武 | ３次元計測装置、３次元計測方法、及び３次元計測プログラム |
| JP4830871B2 (ja) * | 2007-01-26 | 2011-12-07 | パナソニック電工株式会社 | ３次元形状計測装置及び３次元形状計測方法 |
| KR100839167B1 (ko) | 2007-09-18 | 2008-06-17 | 주식회사 엔씨비네트웍스 | 모아레 무늬 발생기를 적용한 위상천이 영사식 3차원형상측정장치 및 그 방법 |
| KR100904755B1 (ko) | 2009-01-14 | 2009-06-29 | 선문대학교 산학협력단 | 입체 형상 측정에서의 측정물 위치 설정 방법 |
| JP4807599B2 (ja) * | 2009-01-22 | 2011-11-02 | 日商精密光学株式会社 | 光切断法と点光による深さ高さの測定法の融合光学システム |
| KR101227427B1 (ko) * | 2012-10-10 | 2013-01-29 | 서울과학기술대학교 산학협력단 | 정현파 신호의 위상 측정 방법 |
| JP6104662B2 (ja) * | 2013-03-25 | 2017-03-29 | 株式会社東芝 | 計測装置、方法及びプログラム |
| CN103697825B (zh) * | 2013-12-30 | 2017-01-18 | 中国科学院西安光学精密机械研究所 | 一种超分辨3d激光测量系统及方法 |
| JP6894280B2 (ja) * | 2017-04-10 | 2021-06-30 | 株式会社サキコーポレーション | 検査方法及び検査装置 |
| JP6894348B2 (ja) * | 2017-11-10 | 2021-06-30 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
| JP7156794B2 (ja) * | 2018-01-16 | 2022-10-19 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
| EP3767227B1 (en) * | 2018-03-16 | 2022-05-04 | NEC Corporation | Three-dimensional shape measuring device, three-dimensional shape measuring method, program, and recording medium |
| CN109307483B (zh) * | 2018-11-20 | 2020-05-19 | 西南石油大学 | 一种基于结构光系统几何约束的相位展开方法 |
| JP2022130940A (ja) | 2021-02-26 | 2022-09-07 | Juki株式会社 | ３次元計測装置及び３次元計測方法 |
| CN113899321B (zh) * | 2021-10-08 | 2023-06-23 | 河北工业大学 | 凹面镜辅助成像的镜面物体三维形貌测量方法及系统 |
-
1999
- 1999-10-26 JP JP30408699A patent/JP3690212B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001124534A (ja) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3690212B2 (ja) | ３次元形状計測方法 | |
| JP3856838B2 (ja) | 物体の形状を測定する方法および装置 | |
| CN106796721B (zh) | 三维轮廓测量中根据多个相机和源的点云合并 | |
| US6252623B1 (en) | Three dimensional imaging system | |
| JP5252820B2 (ja) | ３次元計測方法及びそれを用いた３次元形状計測装置 | |
| EP2161537B1 (en) | Optical position measuring apparatus based on projection of grid patterns | |
| EP1643210A1 (en) | Method and apparatus for measuring shape of an object | |
| US20100201811A1 (en) | Depth ranging with moire patterns | |
| EP0327567A1 (en) | Extended-range moire contouring | |
| CN108168464A (zh) | 针对条纹投影三维测量系统离焦现象的相位误差校正方法 | |
| CN109631797B (zh) | 一种基于相移技术的三维重构无效区域快速定位方法 | |
| CN113108721B (zh) | 基于多光束自适应互补匹配的高反光物体三维测量方法 | |
| Guo et al. | 3-D shape measurement by use of a modified Fourier transform method | |
| CN111971525A (zh) | 用立体镜测量物体的方法和系统 | |
| CN110595388B (zh) | 一种基于双目视觉的高动态实时三维测量方法 | |
| CN111473745A (zh) | 一种基于多频相移方案的发光表面微观三维测量方法 | |
| CN116608794B (zh) | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 | |
| Xu et al. | Realtime 3D profile measurement by using the composite pattern based on the binary stripe pattern | |
| KR100752545B1 (ko) | 2개 영상을 이용한 물체 표면 형상 및 반사율 정보 획득 시스템 | |
| KR20100041026A (ko) | 컬러 투사 모아레 기법을 이용한 3차원 형상 측정 장치 및 방법 | |
| JP2538435B2 (ja) | 縞位相分布解析方法および縞位相分布解析装置 | |
| JPH1114327A (ja) | ３次元形状計測方法及びその装置 | |
| JP3912666B2 (ja) | 光学的形状測定装置 | |
| KR100714821B1 (ko) | 단일영상을 이용한 거리영상 획득방법 | |
| KR100585270B1 (ko) | 2개 영상을 이용한 물체 표면 형상 및 컬러 정보 획득시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050606 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130624 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |