JP3525964B2 - 物体の三次元形状計測方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プロジェクタから
パターン光を投影して得た変形格子画像をカラーカメラ
により撮像し、物体の三次元形状を非接触で計測する物
体の三次元形状計測方法に関する。

【０００２】

【従来の技術】物体の三次元形状を非接触で計測する方
法として、基準となるパターン光を物体に投影して物体
の形状を計測する方式が知られている。この方式の原理
は、物体に対して、例えば格子状のスリット光やレーザ
光による干渉光などの基準パターン光を投影する。これ
らの基準パターンとしては、小さい物体に対してはレー
ザ光による干渉縞が用いられ、また、大きい物体に対し
ては、格子パターンをフィルム等に作成してスライドプ
ロジェクタ等の光源により投影したり、フィルムの代わ
りに液晶素子を使用して発生させた任意のパターンが用
いられている。

【０００３】基準パターンが投影された物体を、その基
準パターンが投影された方向とは異なる方向からカメラ
で観測すると、パターン光が物体の形状によって変形を
受けた変形格子画像が観測される。この格子画像の変形
状態を解析することにより、元の物体の三次元形状を得
ることができる。

【０００４】変形格子画像を解析する方式には、種々の
ものが提案されている。例えば、第１の方式として、投
影するパターンの位相をシフトし、シフトしたパターン
による変形格子画像間の各画素の位相を計算して元の形
状を算出する縞走査法または位相シフト法（小松原，吉
澤：“縞走査を導入した格子パターン投影法”，精密学
会誌，Vol.55，No.10，pp1817〜1822（1989））があ
る。

【０００５】第２の方式として、一つの投影パターンに
よる変形格子画像を周波数領域に変換し、必要な周波数
成分のみを抽出することで形状を算出するフーリエ変換
法（M. Takeda, K. Mutoh ：“Fourier transform p
rofilometry forthe automatic measurement of 3
-D object shapes”，APPLIED OPTICS，Vol.22，No.
24，pp3977〜3982（1983））がある。

【０００６】第３の方式として、カメラの走査線に合わ
せたパターンを投影して観測された変形格子画像と、カ
メラの走査線を観測側の基準格子として得られるモアレ
像とから形状を算出する走査モアレ法（新井，倉田：
“縞走査干渉計の手法による高速かつ高分解能なモアレ
トポグラフィ法”，光学，Vol.15，No.5，pp402〜406
（1986））がある。

【０００７】更に第４の方式として、一つの投影パター
ンによる変形格子画像と計算機内で作成した複数の位相
のずれた参照パターンとの間のモアレ像を計算機により
作成し、これらのモアレ像の間の位相から形状を算出す
る位相シフト電子モアレ法（加藤，山口：“位相シフト
電子モアレを用いた縞画像の実時間処理”，センサ技
術，Vol.12，No.7，pp39〜44（1992））がある。

【０００８】いずれの方式においても、観測された各画
素において得られる縞の強度分布Ｉ(x,y)を数式１によ
り定義して、各点における位相情報φ(x,y)を算出して
いる。

【０００９】

【数１】Ｉ(x,y)＝Ａ(x,y)＋Ｂ(x,y)・ｃｏｓ（２πｆ
ｘ＋φ(x,y)）

【００１０】ここで、φは物体の形状を反映している情
報であり、このφを求めることができれば形状を算出す
ることができる。各点における位相情報φは、−π≦φ
≦π（方式によっては−π／２≦φ≦π／２とされてい
る）の範囲に折り畳まれ、不連続な値をとる。これを位
相アンラッピング法（K. Itoh ：“Analysis of the
phase unwapping algorithm”， APPLIED OPTIC
S，Vol.21，No.14，pp2470（1982）参照）と呼ばれる方
法などにより接続し、連続した位相分布を得る。そし
て、最終的な形状として、カメラや光源などの光学的位
置関係をもとに、位相を空間内での物体の三次元形状に
変換する。

【００１１】これらの方式は、主に表面形状の変化が急
峻ではない物体に対して適用されている。

【００１２】

【発明が解決しようとする課題】上述したようにパター
ン光を投影して物体の三次元形状を計測する従来技術に
は、次のような課題が存在する。 １回のパターン投影では物体表面の急峻な変化を計測
できないため、何回かの異なるパターン投影及び観測が
必要になる。物体が静止している状態での計測しか行え
ないため、全体的な処理や演算に多くの時間がかかる。

【００１３】物体表面の形状変化が急峻であると、物
体に投影されたパターン光が物体により遮蔽されるため
カメラで観測できない。また、プロジェクタからのパタ
ーン光が物体により遮蔽され、パターン光が当たらない
領域が発生する。 対象物体がカメラの視野やプロジェクタの投影領域よ
りも大きいと、１回のパターン投影で形状を計測でき
ず、物体または光学系を移動させる必要がある。この場
合、各移動位置での物体形状の計測結果に誤差が生じや
すい。

【００１４】物体が基準となる平面に置かれた状態で
計測する場合、その基準面と物体との段差内に一周期以
上のパターン光が隠れてしまうと、算出された物体の形
状は相対的な値になってしまう。 物体表面に存在する凹凸が、階段状の段差か、または
それに近い凹凸形状である場合、これらの高さが考慮さ
れない状態で形状を算出すると物体の形状を正確に計測
できない。

【００１５】表面上に段差がある物体の高い部分で
は、投影されたパターン光の物体表面におけるピッチが
混み入ってしまい、この高い部分にピッチを合わせると
低い部分での精度が劣化する。 物体と基準面との段差や、物体表面上での段差が非常
に大きい場合、カメラで観測した画像の焦点や投影した
パターン光が暈けてしまい、形状を正確に測定すること
ができない。

【００１６】物体表面での模様や汚れ、小径の孔など
により投影したパターン光の変化が検出されず、それら
の領域の観測データを含めて物体全体の形状を算出する
と、正確な形状が得られない。 物体の材質や表面形状により投影したパターン光が反
射する場合にはその変化が検出されず、それらの領域の
観測データを含めて物体全体の形状を算出すると、正確
な形状が得られない。

【００１７】本発明は上記種々の課題を解決するために
なされたもので、その目的とするところは、物体表面の
形状変化や凹凸や段差、模様、汚れ、物体の大きさ、材
質等の様々な要因に関わらず、正確かつ高速に物体の三
次元形状を計測可能な三次元形状計測方法を提供するこ
とにある。

【００１８】

【課題を解決するための手段】前記課題を解決するた
め、請求項１記載の発明は、物体の表面形状を撮像する
カラーカメラと、このカメラから出力されるアナログ画
像データをディジタル画像データに変換するＡ／Ｄ変換
部と、Ａ／Ｄ変換部から出力されるディジタル画像デー
タを格納するフレームメモリと、カラーカメラとは異な
る方向に配置されて任意の色と強度を持つパターン光を
物体に投影するプロジェクタと、プロジェクタから投影
するパターン光のパターンデータを格納するパターンメ
モリと、作業領域としてのメモリと、ディジタル画像デ
ータをアナログ画像データに変換するＤ／Ａ変換部と、
Ｄ／Ａ変換部から出力されるアナログ画像データを表示
するディスプレイと、全体の制御及び演算を実行するＣ
ＰＵとを備えた物体の三次元形状計測装置において、異
なる周波数成分及び色成分を持つ複数の正弦波状のスリ
ットパターンデータを合成して一つのパターンデータを
作成し、このパターンデータに基づくパターン光を物体
に投影して得た変形格子画像を色成分ごとに分離すると
共に、色成分ごとの変形格子画像から物体の形状を算出
し、この算出結果を統合したものを最終的な物体の三次
元形状とする。

【００１９】 前記課題を解決するため、請求項２記
載の発明は、物体の表面形状を撮像するカラーカメラ
と、このカメラから出力されるアナログ画像データをデ
ィジタル画像データに変換するＡ／Ｄ変換部と、Ａ／Ｄ
変換部から出力されるディジタル画像データを格納する
フレームメモリと、カラーカメラとは異なる方向に配置
されて任意の色と強度を持つパターン光を物体に投影す
るプロジェクタと、プロジェクタから投影するパターン
光のパターンデータを格納するパターンメモリと、作業
領域としてのメモリと、ディジタル画像データをアナロ
グ画像データに変換するＤ／Ａ変換部と、Ｄ／Ａ変換部
から出力されるアナログ画像データを表示するディスプ
レイと、全体の制御及び演算を実行するＣＰＵとを備え
た物体の三次元形状計測装置において、異なる色成分で
同一の周波数成分を持つ複数の正弦波状のスリットパタ
ーンデータを一定量ずつ位相をずらして合成して一つの
パターンデータを作成し、このパターンデータに基づく
パターン光を物体に投影して得た変形格子画像を色成分
ごとに分離すると共に、色成分ごとの変形格子画像間か
ら位相変調量を算出して物体の三次元形状を算出する。

【００２０】前記課題を解決するため、請求項３記載
の発明は、請求項１または２において、物体を多方向か
ら撮像するように複数台のカラーカメラを物体に対して
放射状に配置し、各カメラによる観測画像に基づいて計
測された形状データを合成して物体の三次元形状を算出
する。

【００２１】前記課題を解決するため、請求項４記載
の発明は、請求項１または２において、物体の平面的な
計測範囲を分割するように複数台のカラーカメラを物体
に対して並置し、各カメラによる観測画像に基づいて計
測された形状データを合成して物体の三次元形状を算出
する。

【００２２】前記課題を解決するため、請求項５記載
の発明は、請求項１，２または３において、物体に多方
向からパターン光を投影するように物体に対して複数台
のプロジェクタを放射状に配置し、各プロジェクタから
のパターン光によるカメラ観測画像に基づいて計測され
た形状データから物体の三次元形状を算出する。

【００２３】前記課題を解決するため、請求項６記載
の発明は、請求項１，２，３または４において、物体に
対するパターン光の平面的な投影範囲を分割するように
複数台のプロジェクタを物体に対して並置し、各プロジ
ェクタからのパターン光によるカメラ観測画像に基づい
て計測された形状データから物体の三次元形状を算出す
る。

【００２４】前記課題を解決するため、請求項７記載
の発明は、請求項５または６において、複数台のプロジ
ェクタにより白色かつ無地のパターン光を物体に投影し
て物体が置かれた基準面と物体との段差により発生する
陰影部分を検出し、パターン光の投影角度に基づき陰影
部分における物体の輪郭位置及び高さを検出すると共
に、この輪郭位置情報により物体が存在すると判定され
た領域のみを対象として、スリットパターンデータに基
づくパターン光を投影して物体の形状を算出し、この算
出された形状を前記輪郭位置及び高さに基づいて絶対的
な値に補正する。

【００２５】前記課題を解決するため、請求項８記載
の発明は、請求項５または６において、複数台のプロジ
ェクタにより白色かつ無地のパターン光を物体に投影し
て物体表面上の段差により発生する陰影部分を検出し、
この陰影情報から段差のエッジ位置を検出すると共に、
パターン光の投影角度から段差のエッジ位置での高さを
検出し、かつ陰影部分を発生させたパターン光の投影方
向からエッジ位置の両側における高低を検出し、これら
の検出値を用いて物体の三次元形状の算出結果を補正す
る。

【００２６】前記課題を解決するため、請求項９記載
の発明は、請求項８において、物体表面上の段差のエッ
ジ位置と物体の輪郭位置とにより、同一の高さを持つ領
域ごとに物体の平面形状を複数に分割し、分割された領
域ごとにパターン光の周波数成分を調整して領域ごとに
形状を算出し、これらの形状を合成して物体の全体的な
三次元形状を算出する。

【００２７】前記課題を解決するため、請求項１０記
載の発明は、請求項９において、カメラ及びプロジェク
タのレンズとして焦点を電気的に調整可能なレンズを用
いると共に、同一の高さを持つ領域ごとに分割された物
体の領域ごとの形状算出に際し、これらの領域の平均的
な高さに従って、前記レンズの焦点をＣＰＵによりイン
ターフェースを介して調整する。

【００２８】前記課題を解決するため、請求項１１記
載の発明は、請求項５〜１０の何れか１項において、す
べてのプロジェクタからパターン光を投影しない状態を
カメラにより観測した画像と、すべてのプロジェクタか
らパターン光を投影した状態をカメラにより観測した画
像との、各画素における輝度差を算出し、この輝度差が
微小となる領域では形状が不定と判定し、この領域以外
の領域による測定データから物体の三次元形状を計測す
る。

【００２９】前記課題を解決するため、請求項１２記
載の発明は、請求項１１において、カメラ及びプロジェ
クタのレンズとして絞りを電気的に調整可能なレンズを
用いると共に、前回の形状計測により輝度差が微小とな
って形状が不定と判定された領域に対し、輝度値を上げ
るためにレンズの絞りをＣＰＵによりインターフェース
を介して調整し、絞りを調整した状態で輝度差を再度算
出し、前回の形状計測により形状が不定と判定された領
域について絞りの調整により輝度差が変化した領域と変
化しない領域とに分離し、輝度差が変化した領域につい
てはパターン光を投影して形状を再度計測し、輝度差が
変化しない領域については形状不定と判定し、前回の形
状計測結果と再度計測した今回の計測結果とを統合して
物体の三次元形状を計測する。

【００３０】前記課題を解決するため、請求項１３記
載の発明は、請求項５〜１０の何れか１項において、す
べてのプロジェクタからパターン光を投影した状態をカ
メラにより観測した画像から、物体の表面状態により輝
度値が飽和する領域を抽出し、この領域では形状が不定
と判定すると共に、この領域以外の領域による測定デー
タから物体の三次元形状を計測する。

【００３１】前記課題を解決するため、請求項１４記
載の発明は、請求項１３において、カメラ及びプロジェ
クタのレンズとして絞りを電気的に調整可能なレンズを
用いると共に、前回の形状計測により輝度値が飽和して
形状が不定と判定された領域に対し、輝度値を下げるた
めにレンズの絞りをＣＰＵによりインターフェースを介
して調整し、絞りを調整した状態で輝度値の飽和領域を
再度抽出し、前回の形状計測により形状が不定と判定さ
れた領域について絞りの調整により輝度値が変化した領
域と輝度値が再度飽和した領域とに分離し、輝度値が変
化した領域についてはパターン光を投影して形状を再度
計測し、輝度値が再度飽和した領域については形状不定
と判定し、前回の形状計測結果と再度計測した今回の計
測結果とを統合して物体の三次元形状を計測する。

【００３２】

【作用】請求項１の発明において、物体に投影されるパ
ターン光は、ディスプレイのグラフィックスと同様に、
パターンメモリに書かれたカラー画像としてプロジェク
タから物体に投影される。その際、物体に投影するパタ
ーン光として、周波数成分の高いスリットパターンと低
いスリットパターンとを合成したパターンデータに基づ
くものを用いる。この際、パターンメモリには、特定の
色成分を表現するようなパターンデータが書き込まれ、
このパターン光を物体に投影すると、物体の形状に応じ
た変形格子画像がカメラにより観測される。

【００３３】観測した変形格子画像を合成した色成分ご
とに分離すると、複数の異なる周波数成分のパターン光
を投影した場合に得られる変形格子画像を、１枚のカラ
ー画像から同時に得ることができる。形状を高精度に計
測するためには高い周波数成分のパターンを用いる必要
があり、また、形状の変化が大きい場合には、低い周波
数成分のパターンを用いる必要がある。

【００３４】この発明では、これらのパターンを合成し
て得たパターン光を投影すると共に一度の観測で変形格
子画像を取り込み、色成分ごとに物体の形状を計測す
る。なお、形状を算出する具体的な方式は、フーリエ変
換法でも、電子モアレ法でも、縞走査モアレ法でも良
い。物体の形状が急峻に（大きく）変化する部分では、
高い周波数成分のパターンからは情報の欠落が生じ、形
状を正確に算出できないことがある。そのためにまず、
低い周波数成分のパターンからマクロ的な形状を算出し
ておき、次いで高い周波数成分のパターンを用いてマク
ロ的な形状情報の欠落部分を補正することにより、正確
かつ高精度に三次元形状を計測する。

【００３５】請求項２記載の発明では、物体に投影する
合成スリットパターンとして、特定の同一周波数成分を
有し、かつ、位相を例えばπ／２，π，３π／２ずつシ
フトしたスリットパターンデータを作成すると共に、こ
れらのパターンデータを異なる色成分として合成する。
この合成されたパターン光を物体に投影して変形格子画
像を撮像し、１枚の変形格子画像から色分離により各位
相ごとの変形格子画像に分解する。これらの画像間の各
画素において、位相変調量を求めて物体の三次元形状を
算出する。

【００３６】請求項３記載の発明では、複数台のカメラ
により物体を多方向から観測することで、１台のカメラ
により特定方向から観測する際に発生する死角をなく
す。すなわち、複数台のカメラにより観測した物体の形
状データを合成し補間することにより、一方向からの観
測では解析不能な物体の部分的な三次元形状も計測でき
るようになる。

【００３７】請求項４記載の発明では、物体の平面形状
が大きくその計測範囲が広い場合に、複数台のカメラに
よって撮像範囲を分割する。複数台のカメラにより物体
を同時に観測して形状データを合成すれば、物体または
カメラを移動させる必要がなく、１回の撮像により物体
の全体的な形状を計測することができる。

【００３８】請求項５記載の発明では、放射状に配置さ
れた複数台のプロジェクタが、互いに異なる方向から物
体にパターン光を投影する。カメラを物体の真上に配置
し、複数台のプロジェクタをそれぞれ斜め上方に配置し
た場合、物体の凹凸部分では投影部側の領域にはパター
ン光が当たるが、その反対側では物体の凹凸部分により
遮られてパターン光が当たらなくなる。パターン光を投
影して形状を計測するこの種の計測方法では、パターン
光が当たらない部分の形状を算出することができない。
従って、複数台のプロジェクタを用いて異なった方向か
ら物体にパターン光を投影することで、パターン光を物
体表面の全領域に当てることができ、物体の全体形状を
欠落なく計測することが可能になる。

【００３９】請求項６記載の発明では、物体の平面形状
が大きくその計測範囲が広い場合に、複数台のプロジェ
クタによりパターン光の投影領域を分割する。複数台の
プロジェクタにより同時に投影し、１台または複数台の
カメラによる観測データから物体の三次元形状を計測す
る。なお複数台のカメラを用いた場合には、各カメラに
より得た形状データを合成すれば、物体またはカメラを
移動させる必要がなく、１回の撮像により物体の全体的
な形状を計測することができる。

【００４０】請求項７記載の発明の作用を説明する。物
体の輪郭が基準面から徐々に変化せず、基準面から急峻
に立ち上がるような形状を持つ場合、投影されたパター
ン光が物体と基準面との段差により１周期以上隠れてし
まうと、位相が正確に検出されない。よって、物体表面
上での計測結果は相対的な値となり、算出された形状は
正確でなくなる。

【００４１】このような物体に対して、通常の照明と同
様の白色かつ無地のパターン光を物体に投影すると、物
体と基準面との段差に起因して陰影部分が発生する。こ
の陰影部分は、物体の境界部分の高さ、プロジェクタの
位置、パターン光の投影角度に依存し、この位置及び投
影角度が既知であれば、カメラによる観測画像から物体
の輪郭位置及び高さを知ることができる。複数のプロジ
ェクタによるパターン光の投影により得られた物体全周
の輪郭位置をもとに、スリットパターン光を投影して形
状を計測する範囲を限定することができ、その領域に対
してのみ形状を算出すれば形状計測のための演算量が軽
減される。

【００４２】請求項８記載の発明の作用を説明する。表
面形状に段差を持つ物体に対してパターン光を投影した
場合、請求項７の発明と異なり、物体の表面上に陰影部
分が発生する。この陰影部分を計測すると、物体表面上
の段差のエッジ位置及び高さを算出することができる。
この情報に基づいて、全領域において算出された位相変
調量の接続に際し、段差による陰影部分を跨ぐ接続で
は、算出された段差のエッジ位置の両側の高低を利用し
て正確な形状を測定することができる。

【００４３】請求項９記載の発明では、表面形状に段差
を持つ物体に対してパターン光を投影して、段差を構成
するエッジ位置及び高さと物体の輪郭位置及び高さを陰
影情報から算出し、物体の平面形状を同一の高さを持つ
複数の領域に分割する。パターン光は、物体の低い部分
で精度を良くするために高い周波数成分のスリットパタ
ーンを一様に投影すると、物体の高い部分ではパターン
が密になり、スリットパターンとして観測できなくな
る。

【００４４】そこで、分割された領域ごとの高さに応じ
てスリットパターンの周波数成分を変化させる。基準面
上での周波数で言えば、高さの低い領域には狭いスリッ
トパターン（高い周波数成分のスリットパターン）、高
い領域では広いスリットパターン（低い周波数成分のス
リットパターン）のパターン光を投影することで、各領
域にわたり同様のスリットパターンを観測でき、同様の
精度で形状を算出することが可能になる。

【００４５】請求項１０記載の発明の作用を説明する。
物体表面上の凹凸部の段差が大きくなると、プロジェク
タの投影レンズの焦点と観測するカメラのレンズの焦点
とが合わなくなる。そこで、凹凸部のエッジの位置及び
高さと物体の輪郭位置及び高さとから、物体表面を同一
の高さを持つ領域ごとに分割する。そして、電気的な制
御機構を持つレンズをプロジェクタ及びカメラに装着
し、各領域の高さに基づいてＣＰＵによりレンズの焦点
を調整する。これにより、物体の三次元形状を一層高精
度に算出することができる。

【００４６】請求項１１記載の発明の作用を説明する。
物体表面に汚れや小径の孔、模様や塗装がある部分で
は、投影されたパターン光が正確に観測されない。これ
らの部分を、他の正常に観測される部分と同様に扱って
形状を算出すると、その部分ばかりでなく、それ以後に
接続した位相も不確実なものとなる。

【００４７】従って、汚れや小径の孔などがある物体表
面の部分も正確に検出するために、プロジェクタからパ
ターン光を投影せずに観測した無投影状態の画像を得
る。この画像には、完全な暗室状態でない限り、電灯な
どの外部照明光が当たった物体が観測される。また、物
体に通常の照明と同様のパターン光を投影した全照明状
態の画像も得る。

【００４８】そして、これらの画像間の各画素における
輝度差を算出する。この差が微小であると、パターン光
を投影した場合でも、その画素ではパターンの変化を観
測することはできない。このような部分を予め検出して
おき、その部分での形状の算出結果を排除して形状不定
と判定すると共に、形状を正常に算出可能である部分か
らのデータのみを用いて物体の三次元形状を算出する。

【００４９】請求項１２記載の発明の作用を説明する。
物体表面にある汚れ等により、投影したパターン光が観
測されない領域として検出された原因が、照度不足に起
因する場合がある。そこで、この発明では電気的に制御
可能な絞りを持つレンズをプロジェクタ及びカメラに装
着しておき、前回の計測時よりも照度値（輝度値）を上
げる方向に絞りを調整する。ここで更に輝度差を算出
し、小径の孔のような照度とは関係なくパターンが観測
できない領域と、照度を上げることによって観測が可能
になる領域とに分離する。照度を上げて観測した画像か
ら、１回目では不定となった領域の形状を算出し、結果
を統合することで一層正確な形状を得ることができる。

【００５０】請求項１３記載の発明の作用を説明する。
計測対象である物体の材質が金属のように光沢がある材
質の場合には、プロジェクタから投影されたパターン光
が乱反射を引き起こす。正常にパターンが観測される部
分と同様にこの反射部分の形状を算出すると、不正確な
形状となる。そこで、本発明ではこれらの反射を起こす
部分（輝度値が飽和している部分）を予め検出する。そ
して、通常の照明と同様のパターンを投影し、全照明状
態の画像を得る。この画像から、輝度値が飽和している
領域を検出し、パターンを投影して形状を算出する際に
輝度値が飽和している領域からの情報を削除すること
で、正確な形状を算出することが可能となる。

【００５１】請求項１４記載の発明の作用を説明する。
乱反射が発生する領域は、実際に反射を起こしている部
分よりも広い範囲で輝度値が飽和してしまう。そこで本
発明では、電気的に制御可能な絞りを持つレンズをプロ
ジェクタ及びカメラに装着しておき、前回よりも照度
（輝度値）を下げる方向に絞りを調整する。ここで更に
輝度差が飽和している領域を限定し、照度を下げること
で観測が可能になる領域と分離する。照度を下げて観測
した画像から、１回目では不定となった領域の形状を算
出し、結果を統合することで一層正確な形状を得ること
ができる。

【００５２】

【発明の実施の形態】以下、図に沿って各発明の実施の
形態を説明する。図１は本発明の実施の形態を示すブロ
ック図であり、この図を参照しながら請求項１記載の発
明の実施の形態を述べる。まず、１０１は基準面であ
り、その上には三次元形状の計測対象である物体１０２
が置かれている。この物体１０２の真上に観測用のカラ
ーカメラ１０３が設置され、斜め上方にはパターン光の
投影用プロジェクタ１０４が設置される。このプロジェ
クタ１０４は、スライドプロジェクタと同様に光源及び
投影レンズを備え、内蔵されたカラー液晶パネル上に任
意の色と強度を持つパターンを表示し、そのパターンに
基づくパターン光を物体１０２に投影可能である。

【００５３】物体１０２に投影するスリットパターンデ
ータは、ＣＰＵ１０９により、パターンメモリ１０７に
ＲＧＢの３フレーム分、作成される。このうち一つのフ
レームは１画素８ビットで構成され、図２（ａ）のよう
に明るい帯２０１と暗い帯２０２とが一定間隔で交互に
並ぶようなスリットパターンが構成される。図２（ａ）
においてｙ座標がｊであるライン２０３のｘ座標のデー
タを図２（ｂ）に示す。このライン２０３上でのｘ座標
のデータｇ(x)を、数式２により作成する。

【００５４】

【数２】 ｇ(x)＝１２８×ｓｉｎ（ｘ／ａ・π）＋１２７

【００５５】ここで、０≦ｇ(x)≦２５５の範囲とし、
スリットパターンの周期はａで定まる。ａは１以上の数
とし、大きい場合には周波数の低い正弦波パターンが、
また、小さい場合には周波数の高い正弦波パターンが作
成される。

【００５６】パターンメモリ１０７のＲＧＢの３フレー
ムにそれぞれ周波数が異なる同様のパターンを作成する
と、これらの３フレームの各ライン２０３におけるｘ座
標のデータ３０１，３０２，３０３は図３のようにな
る。ここでは、データ３０１に対して、３０２は１／２
倍、３０３は１／３倍の周波数成分を持っている。これ
らの３フレームはカラーのＲＧＢに対応しており、デー
タ３０１，３０２，３０３の合成データは図４のように
なる。

【００５７】図４において、ＲＧＢすべてのフレームの
合成データの値が最大になる点では、パターン光が白色
として物体に投影される。逆に、図４の点３０４のよう
にＲＧＢすべてのフレームのデータ３０１，３０２，３
０３が０であれば、その点においてパターン光が黒色と
して物体に投影される。このようなパターンメモリ１０
７のＲＧＢの３フレーム分のデータ３０１，３０２，３
０３をパターンデータとして、図１の投影プロジェクタ
１０４のカラー液晶パネルに転送し、プロジェクタ１０
４に内蔵された光源により、投影レンズを介して物体１
０２の表面にカラーのパターン光を投影する。

【００５８】物体１０２に投影されたパターン光はカラ
ーカメラ１０３により撮像され、その画像はＡ／Ｄ変換
部１０５によりディジタル画像データに変換される。こ
のディジタル画像データはフレームメモリ１０６に格納
される。この画像は、物体１０２の三次元形状によって
変形を受けた変形格子画像となる。カラーの変形格子画
像は、撮像と同時にフレームメモリ１０６のＲＧＢフレ
ームに格納されるため、投影パターンをＲＧＢに各１パ
ターンずつ作成しておけば、フレームメモリ１０６のＲ
ＧＢフレームには投影した周波数ごとの変形格子画像と
して格納されることになる。すなわち、撮像と同時に色
成分への分離が実行される。

【００５９】このように投影したパターンが３パターン
であれば、ＲＧＢを用いることで撮像と同時に色分離が
可能であるが、４つ以上のパターンを合成して投影する
場合には、色相を各パターンに与える。合成する場合に
は、色相情報をＲＧＢに変換した後で合成し、パターン
メモリ１０７に格納することになる。この際、各パター
ンに与える色相は、互いに排他的になるようにする。

【００６０】すなわち、このパターンを撮像して色分離
する場合には、ＲＧＢから色相に変換することになるの
で、そのときどのパターンであったかを分離するために
は、ＲＧＢの組合せ的に排他的である必要がある。この
ように合成されたパターンの投影を行った場合、色分離
した画像は作業領域としてのメモリ１０８に格納され
る。なお、図１において、１１０はＤ／Ａ変換部、１１
１はディスプレイである。

【００６１】図５は、色分離されたパターンのうち、高
い周波数成分のパターンによる変形格子画像の一つのラ
インでの輝度値を示している。このラインでの物体５０
１表面の立上り部分５０２は、本来２周期分のパターン
が投影されるが、カメラ１０３からの観測画像５０３に
おける立上り部分５０２に対応する部分５０４ではパタ
ーンが密集しているため、２周期分として観測すること
ができない。

【００６２】例えば、形状計測手法として位相変調量を
求める方式では、立上り部分５０２の形状は図６の６０
１のようになり、本来の形状である６０２とは異なった
形状が算出されてしまう。一方、同一のラインに対し
て、低い周波数成分のパターン投影による変形格子画像
からは、図７における７０１のように立上り部分５０２
における抜けは生じない。しかし、低い周波数成分のパ
ターン投影では周期ピッチが長くなるため正弦波パター
ンからの誤差が大きくなり、全体的な形状は把握できる
が形状の計測精度が部分的に劣化する。

【００６３】従って、異なる周波数成分のパターン光を
投影することにより、大局的な形状から精密な形状を段
階的に算出して形状を補正し、図６、図７の本来の形状
６０２を算出することとした。具体的には、低い周波数
成分のパターン光からマクロ的な形状を算出しておき、
高い周波数成分のパターン光を用いてマクロ的な形状情
報の欠落部分を補正するものである。これにより、図５
の立上り部分５０２が補正され、図６、図７に示した本
来の形状６０２が算出される。なお、形状を算出する方
式は、フーリエ変換法でも、電子モアレ法でも、縞走査
モアレ法でも良い。

【００６４】次に、請求項２記載の発明の実施の形態を
説明する。ここでは、投影パターンデータとして、一つ
のライン上のｘ座標データｇ(x)が図８に示すような合
成パターンデータを作成する。図８におけるデータ１０
０１に対し、１００２ではπ／２、１００３ではπ、１
００４では３π／２の位相差を持ち、これらは同一の周
波数を有する。これらのデータに特定の色相を与えて合
成し、ＲＧＢに変換してパターンメモリ１０７に格納す
る。

【００６５】プロジェクタ１０４により、上記合成パタ
ーンデータに基づくパターン光を投影し、カラーカメラ
１０３により観測されたＲＧＢの変形格子画像を、パタ
ーンを作成した際の色相ごとに分離し、メモリ１０８に
格納する。これらの変形格子画像間の各画素において位
相変調量を算出し、物体の三次元形状を算出する。

【００６６】図９及び図１０は、請求項３記載の発明の
実施の形態を示している。この実施の形態は、物体を多
方向から観測できるように、物体を中心として複数台の
カラーカメラを放射状に配置したものである。図９に示
すように、カラーカメラ１０３の両側にカラーカメラ１
２０１，１２０２を配置し、各カメラ１０３，１２０
１，１２０２の光軸が基準面１０１上で一致するように
する。ここで、物体１２０３の両端部の領域１２０４，
１２０５の形状は、中央のカラーカメラ１０３では観測
することができない。

【００６７】従って、物体１２０３にパターン光を投影
して各カメラ１０３，１２０１，１２０２からの観測画
像により形状を算出し、中央のカラーカメラ１０３では
観測できない１２０４，１２０５等の領域を両側のカラ
ーカメラ１２０１，１２０２による観測画像によって補
なえば良い。なお、カラーカメラの台数は３台以外の複
数台でも良い。

【００６８】物体１２０３の撮像に当たっては、図１０
（ａ）に示すごとく、各カメラ１０３，１２０１，……
に独立したＡ／Ｄ変換器１０５，１０５Ａ，……とフレ
ームメモリ１０６，１０６Ａ……とを設け、画像入力を
並列的に実行するか、図１０（ｂ）に示すごとく、Ａ／
Ｄ変換器１０５及びフレームメモリ１０６を図１と同様
に１系統とし、カラーカメラ１０３，１２０１，……と
Ａ／Ｄ変換器１０５との間に設けられた切換器１３０１
をＣＰＵ１０９により制御して画像を順次入力すれば良
い。

【００６９】図１１は、請求項４記載の発明の実施の形
態であり、計測対象となる物体１４０３の平面形状が大
きい場合の観測部の構成を示している。解像度を一定に
保つために、複数台のカラーカメラ１０３，１４０１，
１４０２を同一の高さで物体１４０３の上方に並設し、
計測領域を複数に分割して観測する。この場合も、カラ
ーカメラの台数は３台以外の複数台であれば良い。計測
領域は、互いに重なり合う領域が発生するように、物体
１４０３の高さや平面形状に応じて決定する。カメラ１
０３，１４０１，１４０２からの入力系は、図１０に示
した如く並列入力でも逐次入力でも良い。各カメラ１０
３，１４０１，１４０２による観測画像に基づき、物体
１４０３の各撮像領域における形状を算出してその結果
を合成し、物体全体の三次元形状を計測する。

【００７０】図１２は請求項５記載の発明の実施の形態
であり、物体１５０２を複数台のプロジェクタにより異
なる方向から投影する場合のものである。図１２におい
て、カラーカメラ１０３を挾んで第１のプロジェクタ１
０４と第２のプロジェクタ１５０１とを物体１５０２に
対し放射状に配置する。カラーカメラ１０３、プロジェ
クタ１０４，１５０１の光軸は基準面１０１上で一致し
ている。ここで、プロジェクタは２台以外の複数台でも
良い。

【００７１】第１のプロジェクタ１０４により投影され
るパターン光では、物体１５０２の領域１５０３は物体
１５０２自身により遮蔽されてしまうので、パターン光
が領域１５０３の表面に投影されない。このような領域
１５０３については、第２のプロジェクタ１５０１から
パターン光を投影してカラーカメラ１０３により観測す
る。

【００７２】プロジェクタ１０４，１５０１からの投影
に当たっては、図１３（ａ）のように第２のプロジェク
タ１５０１用に独立したパターンメモリ１６０１を設け
る。そして、第２のプロジェクタ１５０１用に第１のプ
ロジェクタ１０４とは異なる色成分を持つパターンを作
成してパターンメモリ１６０１に格納し、パターンメモ
リ１０７，１６０１のパターンデータを用いてプロジェ
クタ１０４，１５０１により同時に投影し、カラーカメ
ラ１０３により変形格子画像を観測して色成分を分離す
る。

【００７３】または、図１３（ｂ）のようにプロジェク
タ１０４，１５０１と単一のパターンメモリ１０７との
間に切換器１６０２を設け、プロジェクタ１０４による
パターン光とプロジェクタ１５０１によるパターン光と
を切り換えて順次観測しても良い。このようにして並列
入力または逐次入力された各画像から物体１５０２の各
部の形状を算出し、その後合成することで、物体全体の
三次元形状を計測することが可能になる。

【００７４】図１４は請求項６記載の発明の実施の形態
であり、計測対象である物体１７０１の平面形状が大き
い場合のものである。この実施の形態では、物体１７０
１に対し並置された第１のプロジェクタ１７０２及び第
２のプロジェクタ１７０３により、物体１７０１に対す
るパターン光の投影領域を分割して異なる方向からそれ
ぞれパターン光を投影する。なお、プロジェクタの台数
は２台以外の複数台でも良い。

【００７５】投影領域は、互いに重なり合う領域１７０
４が発生するように、対象となる物体１７０１の高さや
平面形状を考慮して決定する。各プロジェクタからの投
影は、図１３のように同時投影でも逐次投影でも良い。
各プロジェクタ１７０２，１７０３から投影されたパタ
ーン光をカラーカメラ１０３により観測し、得られた画
像から物体１７０１の各領域での形状を算出してその結
果を合成し、物体全体の三次元形状を計測する。

【００７６】この実施の形態において、図９や図１１の
ようにカラーカメラを複数台配置しても良い。その場合
には、各カメラにより観測した形状データを合成すれ
ば、物体１７０１またはカメラを移動させることなく１
回の撮像で物体１７０１の全体形状を計測することが可
能になる。

【００７７】図１５は請求項７記載の発明の実施の形態
を示している。この実施の形態は、物体の輪郭が基準面
から徐々に変化するものではなく、基準面から急峻に立
ち上がるような形状を持つ場合であっても、これを正確
に計測するためのものである。図１５において、基準面
１０１上の物体１８０１の形状を計測する場合に、第１
のプロジェクタ１０４からの投影パターン光をＲＧＢす
べて最大輝度、すなわち合成されたパターン光が白色で
無地になるようにして投影すると、基準面１０１と物体
１８０１との段差により陰影部分１８０２が発生する。
この陰影部分１８０２は、物体１８０１の輪郭位置の高
さ１８０３とプロジェクタ１０４の位置及びパターン光
の投影角度に依存する。

【００７８】この状態をカラーカメラ１０３により観測
し、画像を取り込む。そして、既知である光学系の配置
（プロジェクタ１０４の位置及び投影角度）から、物体
１８０１の輪郭位置及び高さ１８０３を算出する。ま
た、カラーカメラ１０３を介して第１のプロジェクタ１
０４の反対側に第２のプロジェクタ１８０４を配置すれ
ば、物体１８０１の反対側の輪郭位置及び高さ１８０５
が算出される。同様に、複数台のプロジェクタを配置す
ることにより、物体全体の輪郭位置及び高さを得ること
ができる。

【００７９】次に、スリットパターンデータを合成して
なるパターン光を投影してカラーカメラ１０３により観
測する。取り込んだ画像に対し、検出した物体１８０１
の輪郭位置から物体１８０１の存在する領域についての
み形状を算出する。これにより算出される形状は、図１
６（ａ）に示すように物体表面での相対的な値となるの
で、このデータに対し、先に検出した輪郭位置の高さで
ある図１６（ｂ）のデータを加味することにより、図１
６（ｃ）に示す最終的な形状データを得る。これによ
り、基準面から急峻に立ち上がるような形状を持つ物体
１８０１についても、三次元形状を正確に検出すること
ができる。

【００８０】図１７は請求項８記載の発明の実施の形態
を示している。この実施の形態は、表面に段差を有する
物体の形状を正確に計測するためのものである。図１７
のように、物体２００１の表面に段差２００２が存在す
る場合、第１のプロジェクタ１０４から前述のごとく白
色かつ無地のパターン光を投影すると、上記段差２００
２により陰影部分２００３が発生する。この状態をカラ
ーカメラ１０３により観測して画像を取り込むと、既知
である光学系の配置から段差２００２のエッジ位置及び
高さ２００４を算出することができる。

【００８１】陰影部分２００３は、プロジェクタ１０４
からの投影により発生するが、反対側に設けられた第２
のプロジェクタ２００５から白色かつ無地のパターン光
を投影すれば、陰影部分２００３は観測されなくなる。
このことから、段差２００２の左側が高く、右側が低い
ことがわかる。このように、複数台のプロジェクタによ
り多方向からパターン光を投影して観測した画像間の演
算を行うと、段差２００２のエッジ位置の両側における
物体表面の高低を検出することができる。

【００８２】次に、プロジェクタ１０４，２００５から
スリットパターンデータを合成してなるパターン光を投
影し、カラーカメラ１０３により観測する。カメラ１０
３に取り込んだ画像から形状を算出し、検出した物体２
００１の陰影部分２００３については、先に検出した情
報により陰影部分２００３の観測が可能である方向のプ
ロジェクタ１０４による投影パターンから形状を算出
し、その算出結果により全体形状を補正して物体の三次
元形状を決定する。

【００８３】図１８は請求項９記載の発明の実施の形態
を示している。この実施の形態は、表面に凹凸状の段差
を有する物体の形状を正確に計測するためのものであ
る。図１８のように表面に段差を持つ物体２１０１に対
して、図１５、図１７と同様に物体２１０２の輪郭と表
面上の段差による、エッジ位置及び高さを検出する。こ
れらの情報に基づき、同一の高さを持つ輪郭及びエッジ
によって、図１９に示すように物体２１０２の平面形状
を複数の領域２２０１，２２０２，２２０３に分割す
る。

【００８４】ここで、単一周波数のパターン光を物体２
１０２に投影すると、図２０に示すように領域２２０２
上でのパターンピッチは２３０１となり、領域２２０１
上でのパターンピッチは２３０２となる。この周波数が
領域２２０２にとって適切である場合、この領域２２０
２よりも高い領域２２０１ではパターンピッチが狭くな
る。よって、領域２２０１内で形状が変化している場合
にはピッチが更に密集し、周期パターンとして観測でき
なくなる。

【００８５】そのような場合には、領域ごとの平均的な
高さをエッジから算出し、その高さに応じた低い周波数
成分を持つパターン光を領域ごとに投影する。投影され
たパターン光により領域ごとに形状を算出して合成する
ことにより、物体全体の三次元形状を算出する。また、
逆に高さが低い領域では、投影パターン光の周波数を高
くすればよい。

【００８６】次に、請求項１０記載の発明の実施の形態
を説明する。物体表面における高低差や基準面との高低
差が増大すると、物体の高さによって投影レンズを通し
て結像するパターンが暈けてしまい、また、カメラによ
る撮像でも暈けが発生する。図２１に示す構成におい
て、図１８に示したような段差を持つ物体２１０１に対
し図１９と同様に領域分割を行う。分割された各領域に
対して、その領域のエッジの平均高さを算出し、ＣＰＵ
１０９により焦点の調整量を決定するか、または、高さ
による焦点の調整量を予めテーブルデータとしてメモリ
１０８に保存しておく。

【００８７】図２１において、上述のように決定した調
整量は、焦点を制御するためのインターフェース２４０
５に転送し、カメラ１０３及びプロジェクタ１０４，２
４０１のレンズ２４０２，２４０３，２４０４の焦点調
整用の駆動系を制御して焦点を調整する。また、要求さ
れる精度により、焦点を調整して形状を算出する領域の
分割数を決定する。

【００８８】図１９のように物体の平面形状で分割され
た領域が２２０１，２２０２，２２０３であるとき、こ
れらの各領域をすべて同じ領域として扱い、初期状態と
して設定されている焦点で１回の撮像により物体形状を
算出する。この状態よりも更に高精度を得たい場合に
は、領域２２０２と２２０３とは比較的近い高さである
ことから同一領域として扱い、１回の焦点調整と２回の
パターン観測とにより物体形状を算出する。同様に、領
域２２０１〜２２０３すべてを高さが異なる個別の領域
として扱い、２回の焦点調整と３回のパターン観測とに
より物体形状を算出する。これらの焦点調整及びパター
ン観測の回数は、形状計測処理に与えられる時間と検出
精度とにより任意に選択可能である。

【００８９】次に、請求項１１記載の発明の実施の形態
を説明する。図２２（ａ）に示すように、物体表面の１
本のライン２５０１上に汚れ２５０２及び小径の孔２５
０３がある場合を考える。この表面にパターン光を投影
すると、汚れ２５０２及び孔２５０３に対応する輝度値
は、それぞれ図２２（ｂ）における領域２５０４，２５
０５のようになる。

【００９０】このようなパターンから形状を算出する
と、領域２５０４，２５０５の部分で形状が不定とな
り、そのまま接続すると全体の形状が正確に得られな
い。従って、まず、どのプロジェクタからもパターン光
を投影しない無投影状態で観測する。このときのライン
２５０１の輝度値は、図２３（ａ）における２６０１と
なり、白色かつ無地のパターン光を各プロジェクタから
投影した場合の輝度値は２６０２となる。このとき、汚
れ２５０２及び孔２５０３に対応する領域２６０３，２
６０４では、輝度値２６０２と２６０１との差が少なく
なる。

【００９１】すなわち、領域２６０３，２６０４では、
実際にパターン光を投影してもパターンとしては観測で
きないことになる。また、領域２６０３，２６０４はど
の方向からの投影でも発生すること等から、これらの領
域２６０３，２６０４は段差によるものではないことが
わかる。

【００９２】スリットパターンデータに基づくパターン
光を投影した場合の輝度値は、図２３（ｂ）の２６０５
となる。輝度値を周波数領域で解析する場合、領域２６
０９，２６１０（図２３（ａ）の領域２６０３，２６０
４）はノイズ成分的なデータとなるため、輝度値２６０
５のデータから領域２６０９，２６１０のデータを削除
する。従って、分断された図２３（ｂ）の領域２６０
６，２６０７，２６０８内で、個々に形状を算出する。

【００９３】最終的な物体の三次元形状を決定する際、
例えば、物体の表面が基本的に平面であるという知識が
あるならば、領域２６０６，２６０７，２６０８をその
まま接続し、領域２６０９，２６１０の部分を形状不定
としたままで最終結果とする。最終結果として上述のよ
うに一部を形状不定としない場合には、削除した部分
（領域２６０９，２６１０）は直線にて接続する等の補
正の手段を予め定めておき、補正処理を行う。

【００９４】また、最終的な形状を決定する際の前提と
なる知識がない場合には、前述した汚れ２５０２や孔２
５０３の幅よりも十分に長い周期を持つパターン光を投
影し、図２４における２７０１〜２７０４の位置を得る
ことで相対的な領域２６０６，２６０７，２６０８から
算出された形状を接続し、物体の全体形状を決定するこ
とも可能である。なお、この実施の形態は、物体表面に
模様や塗装が施されている場合にも同様に適用可能であ
る。

【００９５】次いで、請求項１２記載の発明の実施の形
態を説明する。この実施の形態では、図２２に示したよ
うに物体表面の汚れや小さい孔、模様などにより形状が
不定となる領域に対して、前回の形状計測時よりも輝度
値を増加させる。すなわち、図２１に示したインターフ
ェース２４０５によりレンズ２４０２〜２４０４の絞り
を調整し、投影するパターン光とカメラ１０３への入射
光量を増加させる。

【００９６】ここで、どのプロジェクタからもパターン
光を投影しない無投影状態の輝度値と、白色で無地のパ
ターン光を各プロジェクタから投影した場合の輝度値と
は、それぞれ図２５の２８０１，２８０２となる。図２
５の領域２８０４（図２２の孔２５０３による図２３の
領域２６０４，２６１０に対応）では、輝度を増加して
も２８０１，２８０２の輝度差は微小であり、パターン
光を投影しても計測は不能である。一方、領域２８０３
（図２２の汚れ２５０２による図２３の領域２６０３，
２６０９に対応）では２８０１，２８０２の輝度差が増
加し、この状態でパターン光を投影すれば計測が可能と
なっている。

【００９７】図２６は、スリットパターンデータに基づ
くパターン光を投影したときの輝度値を示している。１
回目では計測不能だった図２２の汚れ２５０２の部分で
も、図２６の領域２９０１においてパターンが観測さ
れ、形状が算出される。この形状を１回目で得られた形
状に加味することで、表面に汚れ等がある物体について
もその形状を正確に計測することができる。

【００９８】次に、請求項１３記載の発明の実施の形態
を説明する。この実施の形態は、金属のように光沢のあ
る材質からなり、表面での投影パターン光の反射が強い
物体を計測する場合のものである。図２７（ａ）におい
て、表面での反射が強い材料からなる物体３００１にパ
ターン光を投影すると、輝度値の変化は図２７（ｂ）の
３００３のようになる。

【００９９】この時、プロジェクタ１０４に正対してい
る傾斜面３００２で観測される輝度値は、図２７（ｂ）
の領域３００６における３００４となり、高輝度で飽和
した状態が連続するのでパターンとしての変化が得られ
ない。従って、３００６のような領域を含めたままで
は、物体の三次元形状を正確に測定できない。

【０１００】そこで、白色で無地のパターン光をプロジ
ェクタ１０４から投影すると、その輝度値は図２８の３
１０１となる。このため、最大輝度値３１０２との差が
ある、領域３００５と３００７のみについてパターン光
を投影して物体の三次元形状を算出する。この時、傾斜
面３００２に対応する領域３００６についてはそのまま
不定の領域として処理する。

【０１０１】次いで、請求項１４記載の発明の実施の形
態を説明する。この実施の形態では、図２８における形
状不定と判定された領域３００６に対して輝度を減少さ
せる。図２１におけるインターフェース２４０５によ
り、レンズ２４０２〜２４０４の絞りを制御し、投影す
るパターン光とカメラ１０３への光量を減少させる。こ
こで、物体３００１に対して白色で無地のパターン光を
プロジェクタから投影すると、その輝度値は図２９の３
２０１となる。前回形状不定と判定された領域３００６
では最大輝度値３１０２との輝度差が増加し、パターン
としての変化を得ることができる。

【０１０２】図３０に、この状態でスリットパターンデ
ータに基づくパターン光を投影したときの輝度値の変化
を３３０１として示す。領域３００６では輝度値の変化
が得られ、この領域での形状を算出することが可能にな
っている。１回目の計測で算出された形状とここで算出
された形状とを統合することで、物体の全体形状を得る
ことができる。また、輝度を減少させても輝度値が飽和
してしまう領域については、形状を算出する際のデータ
から外し、その領域では形状不定として処理すれば良
い。

【０１０３】

【発明の効果】以上のように請求項１の発明によれば、
周波数成分の異なる正弦波状の複数のスリットパターン
データを合成してカラーのパターンデータを作成し、こ
のデータに基づくパターン光を投影して変形格子画像を
色成分に分離することにより、１回の観測すなわち１枚
の画像から、変化が急峻な物体の三次元形状についても
短時間かつ高精度に計測することができる。

【０１０４】請求項２の発明によれば、同一周波数成分
を持ち、位相のずれた正弦波状の複数のスリットパター
ンデータに基づくパターン光を投影して変形格子画像を
色分離することにより、位相のずれた各パターンデータ
の画像間の各画素における位相変調量が１枚の画像から
得られ、物体の三次元形状を短時間かつ高精度に計測す
ることができる。

【０１０５】請求項３の発明によれば、複数台のカメラ
により多方向から物体を観測することで形状を相互に補
間し合うことが可能になり、三次元形状を高精度に計測
することができる。

【０１０６】請求項４の発明によれば、複数台のカメラ
を用いて物体の計測範囲を複数に分割することにより、
１台のカメラの視野以上の大きさを持つ物体や球形の物
体の形状を計測することができる。

【０１０７】請求項５の発明によれば、物体に対して複
数台のプロジェクタにより多方向からパターン光を投影
することにより、物体自体に遮られてパターン光が当た
らない領域をなくすと共に、異なる方向からの投影によ
って欠落のない形状を計測することが可能になる。

【０１０８】請求項６の発明によれば、複数台のプロジ
ェクタを用いて物体の投影領域を複数に分割することに
より、１台のプロジェクタによる投影領域以上の大きさ
を持つ物体や曲面を有する物体の形状を欠落なく計測す
ることができる。

【０１０９】請求項７の発明においては、複数台のプロ
ジェクタを用いて基準面と物体との段差による陰影部分
を検出し、この陰影部分における輪郭位置及び高さを検
出する。これらの情報に基づき、物体が存在する領域の
みについて形状を計測するので、処理時間の短縮が可能
になる。また、算出された物体の形状に対して段差量を
加味するので、段差部分で投影したパターン光が何周期
も観測不能となっても、物体の三次元形状を正確に計測
することができる。

【０１１０】請求項８の発明においては、表面に段差を
有する物体の形状計測において、スリットパターンデー
タによるパターン光を投影する前に、通常の照明と同様
のパターン光を複数方向から投影し、パターン光の投影
角度から段差のエッジ位置での高さを検出し、パターン
光の投影方向からエッジ位置の両側の高低状態を検出す
る。これにより、表面に段差を有する物体であってもそ
の全体的な形状を正確に計測可能である。

【０１１１】請求項９の発明においては、予め検出した
物体の輪郭位置と高さ、物体表面での段差のエッジ位置
と高さとを用いて、物体を高さが同一な複数の領域に分
割し、これらの領域の高さに応じた周期を持つパターン
光を投影することで、どの高さに対しても同様の精度で
形状を測定することができる。

【０１１２】請求項１０の発明においては、複数に分割
された各領域の高さに応じてカメラ及びプロジェクタの
レンズの焦点を調整することにより、より高精度に形状
を計測することができる。

【０１１３】請求項１１の発明においては、物体表面の
汚れや小さな孔、模様等の情報を予め検出し、その領域
については形状不定として判定すると共に、それ以外の
領域から得たデータに基づいて物体の三次元形状を測定
することができる。

【０１１４】請求項１２の発明においては、観測したパ
ターン光での輝度が小さく、形状不定と判定された領域
に対して、カメラ及びプロジェクタのレンズの絞りを調
整し、その領域に対してのみ形状を再度計測することに
より、形状不定とされる領域を減少させることができ
る。

【０１１５】請求項１３の発明においては、投影したパ
ターン光が物体表面で反射する輝度値の飽和領域を予め
検出し、その領域については形状不定と判定すると共
に、それ以外の領域から得たデータに基づいて物体の三
次元形状を測定することができる。

【０１１６】請求項１４の発明においては、物体表面で
の反射により観測したパターン光の輝度が飽和した領域
に対してカメラ及びプロジェクタのレンズの絞りを調整
し、その領域に対してのみ形状を再度計測することによ
り、形状不定とされる領域を減少させることが可能にな
る。

【図面の簡単な説明】

【図１】本発明の実施の形態を示すブロック図である。

【図２】スリットパターンと１ライン上のデータの説明
図である。

【図３】ＲＧＢの３フレームのデータの説明図である。

【図４】図３の合成データの説明図である。

【図５】高い周波数成分のパターン光による変形格子画
像の輝度値を示す図である。

【図６】形状の計測誤差を説明する図である。

【図７】形状の計測誤差を説明する図である。

【図８】合成されたパターンデータの説明図である。

【図９】本発明の実施の形態における観測部の構成図で
ある。

【図１０】本発明の実施の形態における主要部のブロッ
ク図である。

【図１１】本発明の実施の形態における観測部の構成図
である。

【図１２】本発明の実施の形態における観測部の構成図
である。

【図１３】本発明の実施の形態における主要部のブロッ
ク図である。

【図１４】本発明の実施の形態における観測部の構成図
である。

【図１５】本発明の実施の形態における観測部の構成図
である。

【図１６】本発明の実施の形態において計測された形状
データの説明図である。

【図１７】本発明の実施の形態における観測部の構成図
である。

【図１８】本発明の実施の形態における観測部の構成図
である。

【図１９】本発明の実施の形態における物体平面形状の
分割領域の説明図である。

【図２０】本発明の実施の形態におけるパターンピッチ
の説明図である。

【図２１】本発明の実施の形態における観測部の構成図
である。

【図２２】本発明の実施の形態における物体表面の様子
と輝度値の説明図である。

【図２３】本発明の実施の形態における輝度値の説明図
である。

【図２４】本発明の実施の形態における輝度値の説明図
である。

【図２５】本発明の実施の形態における輝度値の説明図
である。

【図２６】本発明の実施の形態における輝度値の説明図
である。

【図２７】本発明の実施の形態における観測状態と輝度
値の説明図である。

【図２８】本発明の実施の形態における輝度値の説明図
である。

【図２９】本発明の実施の形態における輝度値の説明図
である。

【図３０】本発明の実施の形態における輝度値の説明図
である。

【符号の説明】

１０１ 基準面 １０２，５０１，１２０３，１４０３，１５０２，１７
０１，１８０１，２００１，２１０１，３００１ 物体 １０３，１２０１，１２０２，１４０１，１４０２ カ
ラーカメラ １０４，１５０１，１７０２，１７０３，１８０４，２
００５，２１０２，２４０１ プロジェクタ １０５，１０５Ａ Ａ／Ｄ変換部 １０６，１０６Ａ フレームメモリ １０７，１６０１ パターンメモリ １０８ メモリ １０９ ＣＰＵ １１０ Ｄ／Ａ変換部 １１１ ディスプレイ １３０１，１６０２ 切換器 ２４０２，２４０３，２４０４ レンズ ２４０５ インターフェース

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−98108（ＪＰ，Ａ) 特開 平６−66527（ＪＰ，Ａ) 特開 平３−293507（ＪＰ，Ａ) 特開 平２−21373（ＪＰ，Ａ) 特公 平１−53721（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】物体の表面形状を撮像するカラーカメラ
   と、このカメラから出力されるアナログ画像データをデ
   ィジタル画像データに変換するＡ／Ｄ変換部と、Ａ／Ｄ
   変換部から出力されるディジタル画像データを格納する
   フレームメモリと、カラーカメラとは異なる方向に配置
   されて任意の色と強度を持つパターン光を物体に投影す
   るプロジェクタと、プロジェクタから投影するパターン
   光のパターンデータを格納するパターンメモリと、作業
   領域としてのメモリと、ディジタル画像データをアナロ
   グ画像データに変換するＤ／Ａ変換部と、Ｄ／Ａ変換部
   から出力されるアナログ画像データを表示するディスプ
   レイと、全体の制御及び演算を実行するＣＰＵとを備え
   た物体の三次元形状計測装置において、 異なる周波数成分及び色成分を持つ複数の正弦波状のス
   リットパターンデータを合成して一つのパターンデータ
   を作成し、このパターンデータに基づくパターン光を物
   体に投影して得た変形格子画像を色成分ごとに分離する
   と共に、色成分ごとの変形格子画像から物体の形状を算
   出し、この算出結果を統合したものを最終的な物体の三
   次元形状とすることを特徴とする物体の三次元形状計測
   方法。
2. 【請求項２】物体の表面形状を撮像するカラーカメラ
   と、このカメラから出力されるアナログ画像データをデ
   ィジタル画像データに変換するＡ／Ｄ変換部と、Ａ／Ｄ
   変換部から出力されるディジタル画像データを格納する
   フレームメモリと、カラーカメラとは異なる方向に配置
   されて任意の色と強度を持つパターン光を物体に投影す
   るプロジェクタと、プロジェクタから投影するパターン
   光のパターンデータを格納するパターンメモリと、作業
   領域としてのメモリと、ディジタル画像データをアナロ
   グ画像データに変換するＤ／Ａ変換部と、Ｄ／Ａ変換部
   から出力されるアナログ画像データを表示するディスプ
   レイと、全体の制御及び演算を実行するＣＰＵとを備え
   た物体の三次元形状計測装置において、 異なる色成分で同一の周波数成分を持つ複数の正弦波状
   のスリットパターンデータを一定量ずつ位相をずらして
   合成して一つのパターンデータを作成し、このパターン
   データに基づくパターン光を物体に投影して得た変形格
   子画像を色成分ごとに分離すると共に、色成分ごとの変
   形格子画像間から位相変調量を算出して物体の三次元形
   状を算出することを特徴とする物体の三次元形状計測方
   法。
3. 【請求項３】 請求項１または２記載の三次元形状計測
   方法において、 物体を多方向から撮像するように複数台のカラーカメラ
   を物体に対して放射状に配置し、各カメラによる観測画
   像に基づいて計測された形状データを合成して物体の三
   次元形状を算出することを特徴とする物体の三次元形状
   計測方法。
4. 【請求項４】 請求項１または２記載の三次元形状計測
   方法において、 物体の平面的な計測範囲を分割するように複数台のカラ
   ーカメラを物体に対して並置し、各カメラによる観測画
   像に基づいて計測された形状データを合成して物体の三
   次元形状を算出することを特徴とする物体の三次元形状
   計測方法。
5. 【請求項５】 請求項１，２または３記載の三次元形状
   計測方法において、 物体に多方向からパターン光を投影するように物体に対
   して複数台のプロジェクタを放射状に配置し、各プロジ
   ェクタからのパターン光によるカメラ観測画像に基づい
   て計測された形状データから物体の三次元形状を算出す
   ることを特徴とする物体の三次元形状計測方法。
6. 【請求項６】 請求項１，２，３または４記載の三次元
   形状計測方法において、 物体に対するパターン光の平面的な投影範囲を分割する
   ように複数台のプロジェクタを物体に対して並置し、各
   プロジェクタからのパターン光によるカメラ観測画像に
   基づいて計測された形状データから物体の三次元形状を
   算出することを特徴とする物体の三次元形状計測方法。
7. 【請求項７】 請求項５または６記載の三次元形状計測
   方法において、 複数台のプロジェクタにより白色かつ無地のパターン光
   を物体に投影して物体が置かれた基準面と物体との段差
   により発生する陰影部分を検出し、パターン光の投影角
   度に基づき陰影部分における物体の輪郭位置及び高さを
   検出すると共に、この輪郭位置情報により物体が存在す
   ると判定された領域のみを対象として、スリットパター
   ンデータに基づくパターン光を投影して物体の形状を算
   出し、この算出された形状を前記輪郭位置及び高さに基
   づいて絶対的な値に補正することを特徴とする物体の三
   次元形状計測方法。
8. 【請求項８】 請求項５または６記載の三次元形状計測
   方法において、 複数台のプロジェクタにより白色かつ無地のパターン光
   を物体に投影して物体表面上の段差により発生する陰影
   部分を検出し、この陰影情報から段差のエッジ位置を検
   出すると共に、パターン光の投影角度から段差のエッジ
   位置での高さを検出し、かつ陰影部分を発生させたパタ
   ーン光の投影方向からエッジ位置の両側における高低を
   検出し、これらの検出値を用いて物体の三次元形状の算
   出結果を補正することを特徴とする物体の三次元形状計
   測方法。
9. 【請求項９】 請求項８記載の三次元形状計測方法にお
   いて、 物体表面上の段差のエッジ位置と物体の輪郭位置とによ
   り、同一の高さを持つ領域ごとに物体の平面形状を複数
   に分割し、分割された領域ごとにパターン光の周波数成
   分を調整して領域ごとに形状を算出し、これらの形状を
   合成して物体の全体的な三次元形状を算出することを特
   徴とする物体の三次元形状計測方法。
10. 【請求項１０】 請求項９記載の三次元形状計測方法に
    おいて、 カメラ及びプロジェクタのレンズとして焦点を電気的に
    調整可能なレンズを用いると共に、同一の高さを持つ領
    域ごとに分割された物体の領域ごとの形状算出に際し、
    これらの領域の平均的な高さに従って、前記レンズの焦
    点をＣＰＵによりインターフェースを介して調整するこ
    とを特徴とする物体の三次元形状計測方法。
11. 【請求項１１】 請求項５〜１０の何れか１項に記載の
    三次元形状計測方法において、 すべてのプロジェクタからパターン光を投影しない状態
    をカメラにより観測した画像と、すべてのプロジェクタ
    からパターン光を投影した状態をカメラにより観測した
    画像との、各画素における輝度差を算出し、この輝度差
    が微小となる領域では形状が不定と判定し、この領域以
    外の領域による測定データから物体の三次元形状を計測
    することを特徴とする物体の三次元形状計測方法。
12. 【請求項１２】 請求項１１記載の三次元形状計測方法
    において、 カメラ及びプロジェクタのレンズとして絞りを電気的に
    調整可能なレンズを用いると共に、前回の形状計測によ
    り輝度差が微小となって形状が不定と判定された領域に
    対し、輝度値を上げるためにレンズの絞りをＣＰＵによ
    りインターフェースを介して調整し、絞りを調整した状
    態で輝度差を再度算出し、前回の形状計測により形状が
    不定と判定された領域について絞りの調整により輝度差
    が変化した領域と変化しない領域とに分離し、輝度差が
    変化した領域についてはパターン光を投影して形状を再
    度計測し、輝度差が変化しない領域については形状不定
    と判定し、前回の形状計測結果と再度計測した今回の計
    測結果とを統合して物体の三次元形状を計測することを
    特徴とする物体の三次元形状計測方法。
13. 【請求項１３】 請求項５〜１０の何れか１項に記載の
    三次元形状計測方法において、 すべてのプロジェクタからパターン光を投影した状態を
    カメラにより観測した画像から、物体の表面状態により
    輝度値が飽和する領域を抽出し、この領域では形状が不
    定と判定すると共に、この領域以外の領域による測定デ
    ータから物体の三次元形状を計測することを特徴とする
    物体の三次元形状計測方法。
14. 【請求項１４】 請求項１３記載の三次元形状計測方法
    において、 カメラ及びプロジェクタのレンズとして絞りを電気的に
    調整可能なレンズを用いると共に、前回の形状計測によ
    り輝度値が飽和して形状が不定と判定された領域に対
    し、輝度値を下げるためにレンズの絞りをＣＰＵにより
    インターフェースを介して調整し、絞りを調整した状態
    で輝度値の飽和領域を再度抽出し、前回の形状計測によ
    り形状が不定と判定された領域について絞りの調整によ
    り輝度値が変化した領域と輝度値が再度飽和した領域と
    に分離し、輝度値が変化した領域についてはパターン光
    を投影して形状を再度計測し、輝度値が再度飽和した領
    域については形状不定と判定し、前回の形状計測結果と
    再度計測した今回の計測結果とを統合して物体の三次元
    形状を計測することを特徴とする物体の三次元形状計測
    方法。