JP5029618B2 - パターン投影法による３次元形状計測装置、方法およびプログラム - Google Patents

Description

［関連出願の記載］
本発明は、日本国特許出願：特願２００６−３４７７７７号（２００６年１２月２５日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は３次元形状計測技術、すなわち、３次元形状計測のための装置、方法及びプログラムに関し、特に、パターン投影法による３次元形状計測装置、３次元形状計測方法、コンピュータに３次元形状計測を実行させる３次元形状計測プログラムおよびかかるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

近年、非接触による３次元形状計測技術の進歩により、設計図やＣＡＤデータが存在しない人体など自然物体の３次元形状モデルの取得が容易となり、様々な分野に３次元形状モデルの応用が広がっている。人体の３次元形状モデルは、アパレル、医療、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）など多様な分野で活用されている。さらに、最近では人の顔の３次元形状データを個人認証に利用する技術も提案されている。

非接触３次元形状計測手法として、飛行時間計測法、モアレ計測法、パターン投影法など、従来から様々な手法が提案されている。一般的に、飛行時間計測法は送受信共に特殊な手法であるため、高精度な装置が必要とされる。モアレ計測法は基準形状からの相対的な形状しか計測することができない。これに対し、パターン投影法に基づく手法は比較的低コストで高精度な形状計測を実現でき、形状計測を行ったのと同じカメラによってテクスチャ画像も撮影することができるなど、多くの利点がある。これまでにも同（パターン投影）手法を用いた３次元形状計測装置が多く製品化されている。古典的なパターン投影法においては、プロジェクタとカメラの組を用い、三角測量の原理に基づいて３次元形状（奥行）を計測する。まず、プロジェクタから、投影方向（光線とプロジェクタ格子の交点の位置）を位相としてエンコードした光パターンを投影し、反射されたパターンをカメラで撮影する。撮影された画像の輝度パターンをデコードすることにより、上記位相を復元する。プロジェクタの位置、姿勢、投影レンズの焦点距離などの幾何モデルパラメタをあらかじめ決定しておくことにより、上記の位相に基づいて、計測対象点へ投影されたプロジェクタ投影線（または面）を決定することができる。さらに、カメラの幾何モデルパラメタも決定されている場合には、画素に対応するカメラ視線を決定することができる。また、カメラ視線と前記プロジェクタ投影線（面）との交点を求めることにより、計測対象点の３次元座標を決定することができる。

このようなパターン投影法を用いた３次元形状計測手法の主な手法は、投影するパターンの種類によって以下の３つの手法に分類される。なお、以下では、投影されるパターンとして光波を例として説明するが、パターンは音波その他の波であってもよい。したがって、以下の説明中の「プロジェクタ」および「カメラ」は、それぞれ、使用される波に対応した「パターン投影手段」および「パターン撮影手段」であってもよい。

パターン投影法の中でも最も多く用いられている手法として、レーザー光を用いたスポット（又はスリット）光走査法がある。これらの手法は、時系列でレーザー光の投影方向を徐々に変化させながら画像を撮影し、２値化処理を行って、検出された観測点に対するプロジェクタからの投影直線（面）を決定する。レーザー光による強いコントラストが得られるため、環境光に対して頑強であり、遠方まで計測することができる。しかし、１ステップの投影と撮影において、一つの点（スリット光走査の場合には曲線上の１点）に対してしか計測を行うことができない。従って、短時間で高密度な計測を行うためには、高速な走査及び高いフレームレートでの撮影を可能とする特殊な機構が必要とされる。本手法は、デルタ関数を投影パターンとしたパターン投影法と見なすことができ、プロジェクタ格子と投影されるレーザー光の交点の位置が位相に相当する。例えば、レーザー光の照射方向が一定の角速度ωで変化し、ある画素の輝度値が閾値以上になる時刻をτとすれば、プロジェクタ中心から距離１にある（位置する）プロジェクタ格子を考えると、投影光線とプロジェクタ格子の交点の位置である位相はφ＝tan(ωτ)に相当する。

空間コード化法は、プロジェクタ格子の各領域が一意なパターンになるよう、時系列で変化する２値パターンを投影し、投影方向（面）をエンコードする手法である。近年、多様なパターンを投影することができる液晶プロジェクタが普及したため、レーザー走査等の特殊な装置を用いることなく、汎用のコンポーネントのみで安価にレンジファインダを構成することができる手法としてポピュラーになっている。本手法は、ｎ回の投影で２^ｎの奥行解像度が得られるため、スポット（又はスリット）走査法よりも少ない投影回数で高い奥行分解能が得られる。本手法において復元されるｎビットのデジタル値は、プロジェクタ格子と投影される光線の交点の位置である位相を、デジタル値にエンコードした値に相当する。

位相シフト法は、投影方向をアナログ値の位相によってエンコードしたパターンを投影する手法である。本手法は、上記の手法に比べ、さらに少ない投影ステップ数で、高い奥行分解能を得ることができる。本手法は、投影方向を初期位相としてエンコードした正弦波パターンを用い、その位相を１周期に亘って変化させながら画像を撮影する。撮影された画像の各画素の輝度値の時系列変化に対して、正弦波を当てはめることにより、投影方向をエンコードした位相を計算する。本手法は、必要な投影パターンの数が最低３枚と少ないため、高速な３次元形状計測が可能である。また、原理的に画像の全画素について同時に３次元形状測定ができ、テクスチャ画像計測が形状計測と同時にでき、ステップ数を増やすことで奥行計測の高精度化が容易であるなど、様々な長所を持つ。特に、複数の繰り返されたパターンを投影し、１周期に対応する奥行距離を短くすることによって、少ないステップ数であっても高精度な計測を実現することができる。

Zhou W.-S.; Su X.-Y., A Direct Mapping Algorithm for Phase-measuring Profilometry, Journal of Modern Optics, Volume 41, Number 1, January 1994, pp. 89-94(6) Anand Asundi and Zhou Wensen, Unified calibration technique and its applications in optical triangular profilometry, APPLIED OPTICS / Vol. 38, No. 16 / 1 June 1999 W. Li, X. Su, Z. Liu, Large-Scale three-dimensional object measurement: a practical coordinate mapping and image data-patching method, J. Applied Optics, 40(20), 3326-3333, 2001

以上の非特許文献１〜３の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

以上に述べたようなパターン投影法に基づく３次元形状計測の古典的な手法においては、カメラとプロジェクタの幾何モデルに基づいて観測された位相から３次元座標を計算する。まず、一般的なカメラのキャリブレーション（校正）の手法を利用して、あらかじめカメラおよびプロジェクタの位置、姿勢、焦点距離などの幾何モデルパラメタを決定しておく。該幾何モデルパラメタを用いて、画像上での観測画素の位置から視線を決定するとともに、位相から投影線（面）を決定し、これらの交点として計測対象点の３次元座標を求める。しかしながら、前記校正処理は計測にとって必ずしも最適なパラメタ決定手段ではなく、誤差が生じるという問題があった。また、プロジェクタが前記校正処理に適したパターンを投影する機能を備えていない場合には、校正が行えないことがあるという問題があった。

この問題に対し、非特許文献１において、プロジェクタの幾何モデルパラメタを校正する必要がないパターン投影法に基づく３次元形状計測方法が提案されている。同手法は、位相と計測対象点の奥行距離の間に成り立つ関係式を利用し、位相から直接奥行距離を求める。あらかじめ、既知の奥行距離に物体を設置し、計測を行って参照データを得ておく。該参照データに対する回帰により前記関係式の係数を求めておき、該関係式を用いて計測された位相から奥行距離を直接計算する。

以上に述べたパターン投影を用いた３次元形状計測手法を実装した場合の誤差要因として、次のような要素が挙げられる。
１．カメラやプロジェクタの幾何モデル、および、事前に決定しておくパラメタの誤差（
位置、姿勢、レンズ歪等）
２．カメラによる画像撮影におけるノイズ
３．プロジェクタによるパターン投影における誤差（パターンの作成誤差、駆動系の誤差、ぼけ、レンズ歪等）
上記１の誤差は装置の形状や構成が変化しない限り常に再現される定常的誤差（系統誤差）である。

また、上記２および３の誤差要因に関しては、同様に定常的誤差が含まれるのに加えて、計測の都度変化するランダム誤差も含まれる。ランダム誤差に関しては事前に知ることができないため、何らかの作業を事前に行っておくことによって補正することは困難である。

しかしながら、定常的誤差に関しては事前に知ることが可能であるため、様々な補正技術が提案されている。

そのような補正技術の一例として、非特許文献２の技術が提案されている。同技術は、上述したような定常誤差を補正するために、奥行の範囲を細かく区切って多数の参照データを計測し、区間毎に前記回帰式を求める技術である。

また、レンズ歪など奥行座標に対して比較的低周波の成分として現れる定常誤差を補正する技術として、非特許文献３における２次の多項式回帰を用いる技術もある。

しかし、短い周期の繰り返しパターンを投影するときの投影パターンにおける誤差は、高周波であるため、２次の項では補正することができないという問題があった。

前記のいずれの技術を用いた場合も、投影パターンの歪みによる高周波の定常誤差を補正するためには極めて多数（誤差の周波数成分の数以上）の地点において参照データをあらかじめ計測しておく必要があった。このため、装置の製造及び調整に手間がかかる上、特殊な設備が必要なためにコストが高くなるという問題があった。

プロジェクタからのパターンの投影方向と実際に計測されるパターンの位相の間に定常的な誤差（系統誤差）が含まれるため、プロジェクタの幾何モデルパラメタを校正しない場合には、３次元形状計測結果に常に定常的な誤差が生じるという問題がある。

また、この誤差を補正するためにはあらかじめ参照データを大量に計測しておくことが必要であり、３次元形状計測装置の保守に手間を要するという問題がある。そこで、パターン投影手段の幾何モデルパラメタの校正を実施することなく、高精度に奥行距離を計測することができる３次元形状計測装置を提供することが課題となる。また、誤差を補正するために、事前に大量の参照データを計測する必要のない３次元形状計測装置を提供することが課題となる。

本発明の第１の視点に係る距離計測装置は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの奥行距離を計測する距離計測装置であって、
前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相とを入力し、位相複比を計算して出力する位相複比計算手段と、
前記参照点の奥行距離と前記位相複比とを入力し、前記位相複比と、前記参照点および前記対象点の間の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする。

第１の展開形態の距離計測装置は、
前記パターンを観測したパターン計測手段の、計測座標系に対する位置、姿勢、焦点距離に係る幾何モデルパラメタと、前記対象点の奥行距離と、を入力し、前記対象点の３次元座標を計算する３次元座標計算手段を備えることが好ましい。

第２の展開形態の距離計測装置は、
前記位相複比計算手段が、前記対象点を計測した視線上の４点以上の参照点の中から、前記対象点の位相に最も近い値の位相を有する３点を近傍点として選択して、該近傍点と前記対象点との間で前記位相複比を計算し、
前記奥行距離計算手段が、前記近傍点を前記参照点とすることが好ましい。

本発明の第２の視点に係る距離計測装置は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの距離を計測する距離計測装置であって、
表面に直線部分を含む物体の、前記直線部分に対して計測された位相である参照位相画像と、前記対象点を計測した視線上の３点の参照点の位相および奥行距離と、前記対象点の位相とを入力し、前記参照位相画像上で前記参照点および前記対象点の位相と一致する位相値を持つ点である画像投影点の位置を探索し、該画像投影点間の距離を計算して画像距離として出力する画像投影点探索手段と、
前記画像距離を入力し、前記画像投影点間の距離の複比を画像距離複比として計算して出力する画像距離複比計算手段と、
前記参照点の奥行距離および前記画像距離複比を入力し、前記画像距離複比と、前記参照点および前記対象点に対する奥行距離複比と、が等しいことを利用して前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする。

第３の展開形態の距離計測装置は、
前記画像投影点探索手段が、表面に複数の直線部分を含む物体の該直線部分に対する位相画像の中から、前記参照点および前記計測点の位相に等しい点を含む画像を前記参照位相画像とすることが好ましい。

第４の展開形態の距離計測装置は、
前記画像投影点探索手段が、表面に平面領域を含む物体の該平面領域に対する位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第５の展開形態の距離計測装置は、
前記画像投影点探索手段が、複数の平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として決定し、該探索直線上で前記画像投影点を探索することが好ましい。

本発明の第３の視点に係る距離計測装置は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの奥行距離を計測する距離計測装置であって、
計測対象物体のうち、３次元形状が直線である領域に対して計測された位相画像を参照位相画像とし、前記参照位相画像上で、前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相のそれぞれと位相が一致する点である画像投影点を探索し、該画像投影点間の距離を計算して画像距離として出力する画像投影点探索手段と、
前記画像距離を入力し、前記画像投影点間の距離の複比を画像距離複比として計算して出力する画像距離複比計算手段と、
前記参照点の奥行距離と前記画像距離複比とを入力し、前記画像距離複比と、前記参照点および前記対象点の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする。

第６の展開形態の距離計測装置は、
前記画像投影点探索手段が、表面に複数の直線部分を含む物体の該直線部分に対する位相を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む画像を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第７の展開形態の距離計測装置は、
前記画像投影点探索手段が、計測対象物体のうち３次元形状が平面である領域の位相値である参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第８の展開形態の距離計測装置は、
前記画像投影点探索手段が、計測対象物体のうち３次元形状が平面である複数の領域の位相値を参照位相画像とし、前記参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第９の展開形態の距離計測装置は、
前記対象点の位相の計測と同時に前記参照位相画像を計測することが好ましい。

第１０の展開形態の距離計測装置は、
前記画像投影点探索手段が、前記参照位相画像の中で、画像上において前記対象点に最も近い直線のいずれかを探索直線とすることが好ましい。

第１１の展開形態の距離計測装置は、
前記画像投影点探索手段が、前記参照位相画像の中で、画像上において前記対象点を観測する画像上の点と、前記パターン投影手段に対するエピ極点と、を通る直線に最も近い方向の直線のいずれかを探索直線とすることが好ましい。

第１２の展開形態の距離計測装置は、
前記画像投影点探索手段が、あらかじめ定めた一定の直線上の位相画像のみを前記参照位相画像とすることが好ましい。

本発明の第４の視点に係る距離計測方法は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの奥行距離を計測する距離計測方法であって、
前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相とに基づいて、位相複比を計算する位相複比計算工程と、
前記参照点の奥行距離と前記位相複比とに基づいて、前記位相複比と、前記参照点および前記対象点の間の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする。

第１３の展開形態の距離計測方法は、
前記パターンを観測したパターン計測手段の、計測座標系に対する位置、姿勢、焦点距離に係る幾何モデルパラメタと、前記対象点の奥行距離と、に基づいて、前記対象点の３次元座標を計算する３次元座標計算工程を含むことが好ましい。

第１４の展開形態の距離計測方法は、
前記位相複比計算工程において、前記対象点を計測した視線上の４点以上の参照点の中から、前記対象点の位相に最も近い値の位相を有する３点を近傍点として選択して、該近傍点と前記対象点との間で前記位相複比を計算し、
前記奥行距離計算工程において、前記近傍点を前記参照点とすることが好ましい。

本発明の第５の視点に係る距離計測方法は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの距離を計測する距離計測方法であって、
表面に直線部分を含む物体の、前記直線部分に対して計測された位相である参照位相画像と、前記対象点を計測した視線上の３点の参照点の位相および奥行距離と、前記対象点の位相とに基づいて、前記参照位相画像上で前記参照点および前記対象点の位相と一致する位相値を持つ点である画像投影点の位置を探索し、該画像投影点間の距離を計算して画像距離とする画像投影点探索工程と、
前記画像距離に基づいて、前記画像投影点間の距離の複比を画像距離複比として計算する画像距離複比計算工程と、
前記参照点の奥行距離および前記画像距離複比に基づいて、前記画像距離複比と、前記参照点および前記対象点に対する奥行距離複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする。

第１５の展開形態の距離計測方法は、
前記画像投影点探索工程において、表面に複数の直線部分を含む物体の該直線部分に対応する複数の位相画像の中から、前記参照点および前記計測点の位相に等しい点を含む画像を前記参照位相画像とすることが好ましい。

第１６の展開形態の距離計測方法は、
前記画像投影点探索工程において、表面に平面領域を含む物体の該平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第１７の展開形態の距離計測方法は、
前記画像投影点探索工程において、複数の平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として決定し、該探索直線上で前記画像投影点を探索することが好ましい。

本発明の第６の視点に係る距離計測方法は、
奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの奥行距離を計測する距離計測方法であって、
計測対象物体のうち、３次元形状が直線である領域に対して計測された位相画像を参照位相画像とし、前記参照位相画像上で、前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相のそれぞれと位相が一致する点である画像投影点を探索し、該画像投影点間の距離を計算して画像距離とする画像投影点探索工程と、
前記画像距離に基づいて、前記画像投影点間の距離の複比を画像距離複比として計算する画像距離複比計算工程と、
前記参照点の奥行距離と前記画像距離複比とに基づいて、前記画像距離複比と、前記参照点および前記対象点の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする。

第１８の展開形態の距離計測方法は、
前記画像投影点探索工程において、表面に複数の直線部分を含む物体の該直線部分に対応する位相画像を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む画像を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第１９の展開形態の距離計測方法は、
前記画像投影点探索工程において、計測対象物体のうち３次元形状が平面である領域の位相値を参照位相画像とし、前記参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第２０の展開形態の距離計測方法は、
前記画像投影点探索工程において、計測対象物体のうち３次元形状が平面である複数の領域の位相値を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することが好ましい。

第２１の展開形態の距離計測方法は、
前記対象点の位相の計測と同時に前記参照位相画像を計測することが好ましい。

第２２の展開形態の距離計測方法は、
前記画像投影点探索工程において、前記参照位相画像の中で、画像上において前記対象点に最も近い直線のいずれかを探索直線とすることが好ましい。

第２３の展開形態の距離計測方法は、
前記画像投影点探索工程において、前記参照位相画像の中で、画像上において前記対象点を観測する画像上の点と、前記パターン投影手段に対するエピ極点と、を通る直線に最も近い方向の直線のいずれかを探索直線とすることが好ましい。

第２４の展開形態の距離計測方法は、
前記画像投影点探索工程において、あらかじめ定めた一定の直線上の位相画像のみを前記参照位相画像とすることが好ましい。

第２５の展開形態の距離計測プログラムは、
上記の距離計測方法における処理をコンピュータに実行させることが好ましい。

本発明により、３次元形状計測において、パターン投影手段の幾何モデルパラメタを用いることなく、計測された位相から計測対象点の奥行距離を直接計算することができる。したがって、パターン投影手段の幾何モデルパラメタの校正を実施することなく、高精度に奥行距離を計測することが可能となる。

また、本発明により、実際に計測した位相を用いて、奥行距離を求めることができる。したがって、この計測された位相と奥行距離との関係を用いて、パターン投影・観測における誤差を補正し、高精度な計測を行うことが可能となる。したがって、誤差を補正するために、事前に大量の参照データを計測する必要がなくなる。

パターン投影法に基づく３次元形状計測の幾何学的モデルを説明するための図である。 位相誤差補正のための平面計測を伴う３次元形状計測の幾何学的モデルを説明するための図である。 エピポーラ線決定が不要な位相誤差補正を用いた３次元形状計測の幾何学的モデルを説明するための図である。 参照平面位相画像の計測が不要な３次元形状計測手法の幾何学的モデルを説明するための図である。 本発明の第１ないし第４の実施例の構成を示す図である。 本発明の第１の実施例の構成を示すブロック図である。 本発明の第２の実施例の構成を示すブロック図である。 本発明の第３の実施例の構成を示すブロック図である。 本発明の第４の実施例の構成を示すブロック図である。

符号の説明

１ プロジェクタ中心
２ 対象点
３ カメラ中心
４ プロジェクタ格子
５ カメラ視線
６ 参照点群
７ カメラ画像
８ プロジェクタ格子上のエピポーラ線
９ カメラ画像上のエピポーラ線
１０ 参照平面
１１ カメラ画像上の任意の直線α
１２ 参照線α”
１０００ コンピュータ
１０２０ 記憶手段
１０４０ 位相複比計算手段
１０４１ 画像距離複比計算手段
１０５０ 奥行距離計算手段Ａ
１０５１ 奥行距離計算手段Ｂ
１０６０ ３次元座標計算手段
１０６１ 画像投影点探索手段
１０６２ 平面・直線領域情報
１１００ 計測手段
１１０１ 参照点計測手段
１１０２ 対象点計測手段
１１０３ 参照位相画像計測手段Ａ
１１０４ 参照位相画像計測手段Ｂ
１１１０ プロジェクタ
１１２０ カメラ
１１３０ カメラパラメタ
１２００ 計測対象物体

本発明の実施形態に係る距離計測装置（３次元形状計測装置）について図面を参照して説明する。本実施形態においては、図１を参照すると、参照点群（すなわち、参照点の集合）６および計測すべき対象点２に対する、奥行距離の複比と位相の複比とが等しいことを利用する。本実施形態に係る３次元形状計測装置は、参照点群６と計測対象点２それぞれから計測された位相の複比を計算する位相複比計算手段と、前記参照点群６の奥行距離と計算された複比を用いて、計測対象点２の奥行距離を計算する奥行距離計算手段と、を備える。ここで、ある点の奥行距離とは、カメラ中心３を基準として測ったその点のｚ方向への距離をいい、奥行座標とはその点のｚ座標をいう。ただし、奥行距離の基準はカメラ中心３に限らず、任意に選ぶことができる。なぜなら、複比の値は基準の位置に依存しないからである。したがって、以下の説明において、奥行距離と奥行座標とを読み替えてもよい。

さらに、本実施形態に係る３次元形状計測装置においては、前記参照点群６および対象点２を基準参照面（すなわち、参照平面１０）へ投影した点である投影点群｛Ｐ_ｉ”｝の距離の複比、該投影点群を画像へ投影した点である画像投影点群｛Ｐ_ｉ’｝の距離の複比、上記奥行距離の複比が互いに等しいことを利用する。本実施形態に係るの３次元形状計測装置は、基準参照面（参照平面１０）を計測したときの位相画像上で前記画像投影点群｛Ｐ_ｉ’｝を探索する画像投影点探索手段と、該画像投影点群｛Ｐ_ｉ’｝間の距離の複比を求める画像距離複比計算手段と、をさらに備える。

図１は、パターン投影法に基づく３次元形状計測の幾何学的モデルを説明するための図である。

３次元形状計測用のパターンを投影するプロジェクタの中心（プロジェクタ中心）１を点Ｏ_Ｐとし、パターンの画像を撮影するカメラの中心（カメラ中心）３を点Ｏ_ｃとする。プロジェクタ格子４上の座標軸ｓに沿って位相φを変化させたパターンが、プロジェクタ中心１から計測対象点２（Ｐ_ｔ）に向けて投影される。投影されたパターンをカメラで撮影し、観測されたカメラ画像７の輝度パターンから位相φを復元する。

ここで、カメラ画像７上の画素Ｐ_０’（ｕ，ｖ）において観測される、カメラ視線５上の任意の点に対する奥行距離ｚと位相φとの間に成り立つ関係式を考える。以下の説明では、計測座標系のｚ軸は他の軸（ｘ軸、ｙ軸）と比べ、カメラ視線５の方向と成す角が最も小さくなるように選ぶものとする。以下では、ｚ座標を奥行座標と呼ぶ。

カメラ視線５上の４つの点Ｐ_ｉ（ｉ＝１、２，３，４）へ投影されるプロジェクタ格子４上の点をＰ_ｉ ^＊とする。このとき、点群｛Ｐ_ｉ ^＊｝は点群｛Ｐ_ｉ｝の透視投影である。よって、各点間の距離の複比が保存される。このとき、次式が成り立つ。
Ｒ（｛Ｐ_ｉ ^＊｝）＝Ｒ（｛Ｐ_ｉ｝） （１）
ここで、Ｒ（｛Ｐ_ｉ ^＊｝）＝Ｐ_１ ^＊Ｐ_３ ^＊・Ｐ_２ ^＊Ｐ_４ ^＊／Ｐ_２ ^＊Ｐ_３ ^＊・Ｐ_１ ^＊Ｐ_４ ^＊、Ｒ（｛Ｐ_ｉ｝）＝Ｐ_１Ｐ_３・Ｐ_２Ｐ_４／Ｐ_２Ｐ_３・Ｐ_１Ｐ_４である。また、記号ＡＢは、点Ａと点Ｂとの距離を表す。
従って、点Ｐ_ｉの奥行座標ｚをｚ_ｉとし、点Ｐ_ｉ ^＊のプロジェクタ格子４上の位置をｓ_ｉとすると、次式が成り立つ。
Ｒ（｛ｓ_ｉ｝）＝Ｒ（｛Ｐ_ｉ ^＊｝） （２）
Ｒ（｛Ｐ_ｉ｝）＝Ｒ（｛ｚ_ｉ｝） （３）
ここで、Ｒ（｛ｓ_ｉ｝）＝（ｓ_３−ｓ_１）（ｓ_４−ｓ_２）／（ｓ_３−ｓ_２）（ｓ_４−ｓ_１）である。

いま、投影されるパターンの位相φはプロジェクタ格子４上の位置ｓに比例し、かつ、観測パターンから位相φが正確に復元されるものと仮定する。点Ｐ_ｉ ^＊の位相をφ_ｉとすると、次式が成り立つ。
Ｒ（｛φ_ｉ｝）＝Ｒ（｛ｓ_ｉ｝） （４）
ゆえに、式（１）ないし（４）より次式が導かれる。
Ｒ（｛φ_ｉ｝）＝Ｒ（｛ｚ_ｉ｝） （５）
従って、４点｛Ｐ_ｉ｝のうち３点の位相φ_iと奥行座標ｚ_ｉを既知とすると、残る１点Ｐ_ｔの位相φ_ｔを計測することにより、奥行座標ｚ_ｔを式（５）によって求めることができる。
以下では、位相と奥行座標が既知の点を参照点群６と呼び、奥行座標を求めたい計測対象の点を対象点２と呼ぶ。例えば、図１は、４点｛Ｐ_ｉ｝のうち、３点Ｐ_１、Ｐ_２、Ｐ_４が参照点群６、Ｐ_３が対象点２の場合を示す。

以上の奥行距離を求める処理では、プロジェクタの幾何モデルに関するパラメタ（幾何モデルパラメタ）を一切用いていない。したがって、本手法によれば、プロジェクタの幾何モデルの校正（キャリブレーション）を行うことなく、３次元形状計測を行うことが可能となる。

しかし、実際の装置においては、投影されるパターンが完全に設計通りにはならない場合がある。また、観測されたパターンから位相φを再現する際にも誤差が含まれる。

この誤差は用いるパターンの種類や位相の復元方法によって様々である。例として、正弦波パターンの投影と位相シフト法を用いる場合について説明する。

位相シフトの実装方法の一つとして、座標軸ｓに比例して位相が変化する正弦波パターンをフィルムに印刷したものをプロジェクタ格子４とし、モーター等によってフィルムをｓ軸に沿って駆動する方法がある。このとき、上記の印刷の濃淡に含まれる誤差により、投影されるパターンは正確な正弦波ではなくなる。また、プロジェクタ格子４の駆動方向または駆動距離に含まれる誤差により、位相のシフト量が設計通りではなくなる。

特に、機構の工夫により駆動量を常に一定に保つことは容易であるが、その絶対量を設計値に完全に合わせるのは困難かつコストがかかる。印刷の濃淡に関しても、変化しないようにすることは容易であるが、設計どおりの濃淡を印刷するのは困難かつコストがかかる。

このように、実際の装置では、投影・観測される位相φに定常的な（系統）誤差が生じるため、位相φとプロジェクタ格子上の位置ｓは設計通りの比例関係を満たさない。従って、式（４）は厳密には成り立たず、式（５）による奥行距離の計算には定常的な誤差（系統誤差）が含まれる。

そこで、本実施形態では、さらに、計測される位相φとプロジェクタ格子上の位置ｓとの間の関係に生じる誤差を補正する手法を提案する。

図２は、位相誤差補正のための平面（以下「参照平面」とする。）の計測を伴う、３次元形状計測の幾何学的モデルを示す。

空間内の適当な位置に参照平面１０を配置する。参照平面１０とカメラ視線５上の４点{Ｐ_ｉ；ｉ＝１〜４}へのパターンの投影光線との交点を{Ｐ_ｉ ^”；ｉ＝１〜４}とする。点群{Ｐ_ｉ ^”}は、カメラ視線５とプロジェクタ中心１（Ｏ_Ｐ）を含むエピポーラ平面上にある。さらに、各点Ｐ_ｉ ^”のカメラ画像７上の点をＰ_ｉ ^’とする。点{Ｐ_ｉ ^’}はカメラ視線５とプロジェクタ中心（Ｏ_Ｐ）１を含むエピポーラ平面上にあるから、点{Ｐ_ｉ ^’}はカメラ画像７上のプロジェクタに対するエピポーラ線９上にある。さらに、参照平面１０を計測したとき、画素Ｐ_ｉ ^’において点Ｐ_ｉ ^”が観測されるので、画素Ｐ_ｉ’において点Ｐ_ｉと同じ位相が観測される。したがって、参照平面１０を計測したときの各画素の位相を参照平面位相画像ψ（ｕ，ｖ）とすると、エピポーラ線９上においてψが点Ｐ_ｉの位相φ_ｉと等しい点を検索することによってカメラ画像７上の点｛Ｐ_ｉ ^’｝の位置を決定することができる。以上のカメラ画像７上における点Ｐ_ｉ ^’の位置の探索は、カメラのレンズ歪や撮像素子のアスペクト比の補正を行ったうえで行われる。

いま、点{Ｐ_ｉ ^’}は点{Ｐ_ｉ ^”}の透視投影であるとともに、点{Ｐ_ｉ ^”}は点{Ｐ_ｉ}の透視投影であるから、点{Ｐ_ｉ ^’}間の距離の複比は点{Ｐ_ｉ}間の奥行距離の複比に等しい。従って、点{Ｐ_ｉ}の奥行座標を{ｚ_ｉ}、位相を{φ_ｉ}とすると、次式が成り立つ。
Ｒ（{Ｐ_ｉ ^’}）＝Ｒ（{ｚ_ｉ}） （６）
従って、４点{Ｐ_ｉ}のうち３点の参照点群６について位相φ_ｉと奥行座標ｚ_ｉが既知であれば、残る１点、すなわち、対象点の位相φ_ｔを計測するとともに、点{Ｐ_ｉ ^’}の位置を探索することによって、式（６）から計測点の奥行座標ｚを求めることができる。

以上の処理過程では、計測される位相φが、プロジェクタ格子上の位置ｓに比例するとは仮定していない。参照平面１０の位相画像ψ（ｕ、ｖ）を用いて計測される位相と距離との関係を補正しているので、投影パターンの誤差を補正し、高精度な３次元形状計測を行うことができる。

上記の参照平面１０を利用する手法では、カメラ画像７上においてエピポーラ線９を決定することが必要となる。しかしながら、プロジェクタの内部パラメタやエピ極（エピポール）の推定には手間がかかる。また、パターン投影に用いるプロジェクタとして安価な装置を用いる場合は、適切なパターン投影ができないために、これらの推定が不可能な場合もある。そこで、本実施形態ではさらに、エピポーラ線９の決定を必要としない、３次元形状計測手法を提案する。

図３は、エピポーラ線の決定が不要な位相誤差補正を用いた３次元形状計測の幾何学的モデルを説明するための図である。

プロジェクタ格子４上において、等しい位相φが投影される点は直線上に分布し、かつ、各直線は平行または１点で交わるものと仮定する。これらの直線を等位相線と呼ぶ。図３は、位相がφ_ｉであるパターンが等位相線φ_ｉ ^＊を通る光線上の点へ投影される様子を示しており、等位相線{φ_ｉ ^＊}は１点で交わるか平行であるものとする。このような仮定（特に、等位相線が平行であるとの仮定）が成り立つ場合として、例えば、ｓ軸方向に位相が変化し、ｔ軸方向には位相が一定であるようなパターンを投影する場合がある。

次に、参照平面１０上において観測される位相の分布を考える。プロジェクタ格子４上の位相分布を透視投影したものが、参照面上１０で計測される位相の分布となる。したがって、計測される位相がφ_ｉとなる参照平面上１０の点の集合は、直線φ_ｉ ^＊の透視投影である直線φ_ｉ”となる。直線{φ_ｉ”}は、直線{φ_ｉ ^＊}と同様に平行または１点で交わる直線群をなす。

さらに、参照平面１０を観測したときのカメラ画像７上の位相分布は、参照平面１０上の位相分布をカメラ中心３（Ｏ_ｃ）について透視投影したものになる。したがって、カメラ画像７上で位相がφ_ｉである画素は、直線φ_ｉ”の透視投影である直線{φ_ｉ’}上にある。すると、直線{φ_ｉ’}もまた、平行または１点で交わる直線群をなす。

以上のことから、カメラ画像７上の任意の直線α１１上にあって、エピポーラ線９上の点{Ｐ_ｉ’}と位相が等しい点を{Ｑ_ｉ’}とすると、等位相直線群{Ｐ_ｉ’Ｑ_ｉ’}は平行または１点で交わる。従って、点{Ｑ_ｉ’}間の距離の複比は、点{Ｐ_ｉ’}間の距離の複比に等しい。

従って、点{Ｐ_ｉ}の奥行座標を{ｚ_ｉ}、計測される位相を{φ_ｉ}とすると、次式が成り立つ。
Ｒ（｛Ｑ_ｉ’｝）＝Ｒ（｛ｚ_ｉ｝） （７）
従って、４点{Ｐ_ｉ}のうち３点の参照点群６について位相φ_ｉと奥行座標ｚ_ｉが既知であれば、残る１点、すなわち、計測点２（Ｐ_ｔ）の位相φ_ｔを計測し、点{Ｑ_ｉ’}の位置を探索することにより、式（７）からＰ_ｔの奥行座標ｚ_ｔを求めることができる。

この処理の過程において、エピポーラ線９を知る必要はないため、プロジェクタの幾何モデルのキャリブレーション（校正）は不要である。また、計測される位相が、プロジェクタ格子４上の位置ｓに比例するという仮定を用いていない。つまり、参照平面１０の位相データを用いて計測される位相と距離との関係を補正している。したがって、投影パターンの誤差を補正することにより、高精度な３次元形状計測を行うことができる。

本実施形態では、さらに、上記の点{Ｑ_ｉ’}の探索の際に参照する参照平面の位相のデータ量を削減する手法、および、参照平面１０の計測を必要としない手法を提案する。

図４は、参照平面位相画像の計測が不要な３次元形状計測手法の幾何学的モデルを説明
するための図である。

上述のエピポーラ線の決定が不要な手法において、任意の画素について計測する際に、常に同じ直線α１１上で画像投影点{Ｑ_ｉ’}の探索処理を行うようにすれば、参照平面位相画像ψとして直線α１１上の画素の値のみが参照される。従って、前述の参照平面１０の位相画像は参照線α”１２上の位相のみを事前に計測しておけば十分であり、参照平面１０の全体を計測する必要はない。すなわち、参照平面１０の代わりに、参照線α”１２のみを事前に計測しておけばよい。

図４は、画像投影点{Ｑ_ｉ’}で観測される参照平面１０上の点{Ｑ_ｉ”}、および、探索を行う直線α１１として観測される参照平面上の参照線α”１２を示す。参照平面位相画像ψとして必要な位相は、参照線α”１２を計測した位相のみである。したがって、図４において、参照平面１０を参照線α”１２によって代替することができる。

また、対象物体の計測処理を行う際に、任意の直線を同時に計測した場合には、かかる直線上で計測された位相によって前記の参照平面１０の位相画像ψを代替することができる。したがって、この場合も、参照平面１０の計測は不要となる。さらに、対象物体の表面の一部に直線部分が含まれる場合、または、対象物体と同時に直線状の物体を計測した場合などに、該直線領域を画像中において決定することができれば、該領域の位相を前記参照平面位相画像ψの代用とすることもできる。

本発明の実施例について図面を参照して詳細に説明する。

本発明の第１の実施例に係る３次元形状計測装置は、図５を参照すると、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１０００と、計測手段１１００と、を備える。計測手段１１００は、プロジェクタ１１１０と、カメラ１１２０とを備え、計測対象物体１２００に対する光パターンの投影と、光パターンの計測とを行う。位相の計測手法として、様々な手法が利用可能であり、例えば、文献（特許第３４１７３７７号、三次元形状計測方法及び装置並びに記録媒体）に記載された技術が利用可能である。投影されるパターンは、計測手法に応じて様々なものが用いられる。しかし、いずれの計測手法においても、計測対象点に投影される投影線または投影面とプロジェクタ画像平面との交点の位置に相当する値が決定されるので、該値を位相とみなすことができる。また、用いる計測手法によっては複数のプロジェクタやカメラを組み合わせて用いることもできる。

また、計測手段１１００は、このように実際のパターン投影を伴う計測を行う手段であってもよいが、記憶媒体等の外部から計測結果の画像データを読込んで位相の計算を行う手段であってもよいし、位相自体をデータとして外部から読み込む手段であってもよい。

以下では、計測座標系の座標軸（ｘ、ｙ、ｚ軸）の中で、カメラ１１２０から見た奥行方向と成す角度が最も小さい軸をｚ軸とし、カメラ中心３をｚ軸の原点として、原点から測ったｚ座標を奥行距離とする。

図６は、本発明の第１の実施例のブロック図を示す。図６を参照すると、コンピュータ１０００は記憶手段１０２０と、位相複比計算手段１０４０と、奥行距離計算手段Ａ１０５０とを備える。計測手段１１００は、参照点計測手段１１０１と、対象点計測手段１１０２とを備える。

これらの各手段は次のように動作する。

まず、計測対象とする物体の３次元形状計算を行うために、必要な参照データを得る（校正処理）。校正処理は対象物体の計測処理の前に予め行っておいても良いし、計測処理の際に併せて行ってもよい。この校正処理は一度実行しておけば、計測手段１１００の構造が変更されない限り、繰り返して行う必要はない。

参照点計測手段１１０１は、３次元形状計測を行いたい画素（ｕ、ｖ）について、該画素のカメラ視線５上の奥行位置ｚ＝ｚ_ｉ ^ｒ（ｉ＝１、２、…）にある３点以上の参照点群６の位相を計測手段１１００によって計測し、参照点位相φ_ｉ ^ｒ（ｕ、ｖ）とする。各位置にある参照点の集合を参照点群６｛Ｐ_ｉ｝とする。簡単な実装方法として、例えば、平面を用意し、計測座標系のｚ軸に垂直にｚ＝ｚ_ｉ ^ｒの位置に設置して、プロジェクタ１１１０とカメラ１１２０による計測を行う。このときカメラ１１２０で計測された各画素の位相を参照位相φ_ｉ ^ｒ（ｕ、ｖ）とすれば、任意の画素（ｕ、ｖ）についての参照点位相と参照点奥行距離を一度に得ることができて効率的である。しかし、参照点位相と参照点奥行距離の計測方法はこの他にも様々な方法が利用可能であり、参照データ計測に用いる計測対象物体も平面には限定されない。ある位相と奥行座標の値の組が３点以上について得られればよく、様々な方法が利用可能である。また、参照点計測手段１１０１は、上述したように、実際にパターン投影と計測を行う手段であってもよいが、記憶媒体等の外部から計測結果のパターンの画像データと奥行距離を読込んで位相を計算する手段であってもよいし、参照点位相と参照点奥行距離をデータとして外部から読み込む手段であってもよい。

記憶手段１０２０は、前記参照点位相φ_ｉ ^ｒおよびその奥行距離ｚ_ｉ ^ｒを記憶しておく。該記憶手段１０２０を用いずに、外部から必要に応じてデータとして読み込むように構成してもよい。

次に、対象点２に対して計測された位相と参照点のデータを用いて、対象点の奥行距離を計算する（計測処理）。

対象点計測手段１１０２は、計測手段１１００によって、物体１２００に対する位相を計測する。カメラ１１２０の画素（ｕ、ｖ）で計測された対象点２の位相をφとする。対象点計測手段１１０２は、実際にパターン投影と計測を行う手段であってもよいが、記憶媒体等の外部から計測結果のパターンの画像データを読込んで位相の計算を行う手段であってもよいし、位相データを外部から読み込む手段であってもよい。

位相複比計算手段１０４０は、前記参照点群{Ｐ_ｉ}および対象点Ｐ_ｔの間の位相の複比Ｒ（｛φ_ｉ ^ｒ｝，φ_ｔ）を計算する。３つの参照点の位相{φ_ｉ ^ｒ}と対象点Ｐ_ｔの位相φ_ｔを大きさの昇順に並べたものを、{φ_ｉ ^ｏ}と表す。例えば、φ_１ ^ｒ＜φ_２ ^ｒ＜φ_ｔ＜φ_３ ^ｒのときには、φ_ｉ ^ｏ＝φ_１ ^ｒ、φ_２ ^ｏ＝φ_２ ^ｒ、φ_３ ^ｏ＝φ_ｔ、φ_４ ^ｏ＝φ_３ ^ｒとなる。このとき、位相複比Ｒ（{φ_ｉ ^ｏ}）を次式によって計算する。
Ｒ（{φ_ｉ ^ｏ}）＝（φ_３ ^ｏ−φ_１ ^ｏ）（φ_４ ^ｏ−φ_２ ^ｏ）／（φ_３ ^ｏ−φ_２ ^ｏ）（φ_４ ^ｏ−φ_１ ^ｏ） （８）
参照点が４点以上得られている場合には、適当な３点を選択する。この場合における選択方法として、例えば、対象点Ｐ_ｔの位相φ_ｔに最も近い位相を持つ３点を参照点として選ぶなどの方法が考えられる。

また、対象点Ｐ_ｔの奥行距離の推定値が別途得られている場合には、その奥行距離を参照し、奥行距離が近いものを選択してもよい。前記校正処理において、計測対象範囲のできるだけ多くの位置で前記参照点位相および参照点奥行距離を得ておくことにより、投影パターンの誤差等様々な誤差の影響を抑えて、高精度な計測を行うことが可能となる。

奥行距離計算手段Ａ１０５０は、参照点｛Ｐ_ｉ｝と対象点Ｐ_ｔの奥行距離の複比が前記位相複比に等しいことを利用することにより、計測対象点Ｐ_ｔの奥行距離ｚ_ｔを求める。参照点の奥行距離を｛ｚ_ｉ ^ｒ｝とする。参照点と計測対象点の位相を、大きさの昇順に並べ変えたときに、対応する各点の奥行距離の順序が{ｚ_ｉ ^ｏ}のインデックス順となったとする。例えば、φ_１ ^ｒ＜φ_２ ^ｒ＜φ_ｔ＜φ_３ ^ｒのときには、ｚ_１ ^ｏ＝ｚ_１ ^ｒ、ｚ_２ ^ｏ＝ｚ_２ ^ｒ、ｚ_３ ^ｏ＝ｚ_ｔ、ｚ_４ ^ｏ＝ｚ_３ ^ｒとなる。
このとき、次式が成り立つ。
Ｒ（{ｚ_ｉ ^ｏ}）＝Ｒ（{φ_ｉ ^ｏ}） （９）
ここで、Ｒ（{ｚ_ｉ ^ｏ}）＝（ｚ_３ ^ｏ−ｚ_１ ^ｏ）（ｚ_４ ^ｏ−ｚ_２ ^ｏ）／（ｚ_３ ^ｏ−ｚ_２ ^ｏ）（ｚ_４ ^ｏ−ｚ_１ ^ｏ）である。すなわち、式（９）より、次式が成り立つ。
（ｚ_３ ^ｏ−ｚ_１ ^ｏ）（ｚ_４ ^ｏ−ｚ_２ ^ｏ）＝Ｒ（{φ_ｉ ^ｏ}）（ｚ_３ ^ｏ−ｚ_２ ^ｏ）（ｚ_４ ^ｏ−ｚ_１ ^ｏ） （１０）
この式をｚ_３ ^ｏ（＝ｚ_ｔ）について解くことにより、対象点の奥行距離ｚ_ｔが次式のように求められる。
ｚ_３ ^ｏ＝[（ｚ_４ ^ｏ−ｚ_２ ^ｏ）−Ｒ（ｚ_４ ^ｏ−ｚ_１ ^ｏ）]^−１［ｚ_１ ^ｏ（ｚ_４ ^ｏ−ｚ_２ ^ｏ）−Ｒｚ_２ ^ｏ（ｚ_４ ^ｏ−ｚ_１ ^ｏ）］
３次元形状計測装置を以上のように動作させることにより、プロジェクタの幾何モデルパラメタを用いずに、計測された対象点２の位相から対象点２の奥行距離を直接計算することが可能となる。従って、本実施例により、プロジェクタの幾何モデルのキャリブレーションが不要な３次元形状計測装置を提供することができる。

本発明の第２の実施例に係る３次元形状計測装置は、図５を参照すると、プログラム制御により動作するコンピュータ１０００と、計測手段１１００と、を備える。さらに、図７を参照すると、コンピュータ１０００は、記憶手段１０２０と、位相複比計算手段１０４０と、奥行距離計算手段Ａ１０５０と、３次元座標計算手段１０６０とを備える。

計測手段１１００は、参照点計測手段１１０１、対象点計測手段１１０２およびカメラパラメタ１１３０を備える。

これらの手段は次のように動作する。

まず、計測対象とする物体の３次元形状計算を行うために必要な参照データを得る（校正処理）。

参照点計測手段１１０１の動作は、前記第１の実施例における動作と同じである。

さらに、事前にカメラ１１２０の幾何学的モデルを記述するパラメタとして、計測座標系に対する位置、姿勢、焦点距離、内部パラメタなど（以下、カメラパラメタ１１３０とする）を求めておく。カメラパラメタ１１３０は、計測手段１１００に備えるように構成されてもよい。カメラパラメタの取得には様々な手法が利用可能であり、例えば、文献（"A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 1987, pages 323-344.）に記載の手法を利用することができる。

記憶手段１０２０は、前記カメラパラメタ、前記参照点位相｛φ_ｉ ^ｒ｝および前記参照点奥行距離｛ｚ_ｉ ^ｒ｝を記憶する。

次に、対象点について計測された位相φ_ｔと、前記参照点位相と、前記参照点奥行距離とを用いて対象点Ｐ_ｔの奥行距離ｚ_ｔを計算する（計測処理）。

対象点計測手段１１０２、位相複比計算手段１０４０、奥行距離計算手段Ａ１０５０、の動作は前記第１の実施例と同じである。

３次元座標計算手段１０６０は、前記カメラパラメタ１１３０を読み込み、カメラの幾何モデルに基づき、座標（ｕ、ｖ）の画素に対応するカメラ視線（例えば図１の５）の方程式を３次元空間内において決定する。カメラ視線５は、カメラ中心３（Ｏ_ｃ）と計測点に対応する画素位置（Ｐ_０’）を通る直線として決定することができる（図１参照）。

さらに、カメラ視線５上に位置するとともにｚ座標が前記奥行距離計算手段Ａ１０５０より出力された奥行座標ｚ_ｔに等しい点の３次元座標を前記カメラ視線５の方程式から計算する。以上の処理によって、対象点Ｐ_ｔの３次元座標（ｘ_ｔ、ｙ_ｔ、ｚ_ｔ）を決定することができる。以上の処理を繰り返すことによって、計測対象となる全ての画素について、該画素で観測されている計測対象点の３次元座標を求め、計測対象物体１２００の３次元形状を計測することができる。

以上のように動作することにより、プロジェクタ１１１０の幾何モデルパラメタを用いずに、計測された対象点Ｐ_ｔの位相から対象点の３次元座標（ｘ_ｔ、ｙ_ｔ、ｚ_ｔ）を直接計算することができる。従って、本発明により、プロジェクタの幾何モデルのキャリブレーションが不要な３次元形状計測装置を提供することができる。

本発明の第３の実施例に係る３次元形状計測装置は、図５を参照すると、プログラム制御により動作するコンピュータ１０００と、計測手段１１００と、を備える。さらに、図８を参照すると、コンピュータ１０００は、記憶手段１０２０と、奥行距離計算手段Ｂ１０５１とに加え、画像投影点探索手段１０６１と、画像距離複比計算手段１０４１とをさらに備える。計測手段１１００は、参照点計測手段１１０１と、対象点計測手段１１０２とに加え、参照位相画像計測手段Ａ１１０３をさらに備える。

これらの手段はそれぞれ、次のように動作する。

まず、計測対象物体１２００の３次元形状計算を行うために必要な参照データを得る（校正処理）。校正処理は、対象物体を計測する前に予め行っておいても良いし、対象物体を計測する際に併せて行ってもよい。この校正処理は一度実行しておけば、計測手段１１００の構造が変更されない限り、再度行う必要はない。また、対象物体の計測と同時に平面または直線を計測範囲内に含めて計測することにより、後述の参照平面位相画像を対象物体の計測と同時に得ることも可能である。

参照点計測手段１１０１は、３次元形状計測を行いたい画素（ｕ、ｖ）について、該画素のカメラ視線５上、かつ、３点以上の奥行位置ｚ＝ｚ_ｉ（ｉ＝１、２、…）にある参照点の位相を計測手段１１００によって計測し、参照点位相｛φ_ｉ ^ｒ（ｕ、ｖ）｝および参照点奥行距離｛ｚ_ｉ ^ｒ（ｕ、ｖ）｝とする。

この位相と奥行距離の組（以下「参照データ」という。）を得る方法としては様々な方法が利用可能であるが、簡単な実装方法として、平面を計測座標系のｚ軸に垂直に、ｚ＝ｚ_ｉ ^ｒの位置に設置して、プロジェクタ１１１０とカメラ１１２０による計測を行う方法がある。このようにすれば、カメラ１１２０において平面を観測しているすべての画素 （ｕ、ｖ）の参照データを一度に得ることができ、効率的である。しかし、参照位相と参照奥行距離の計測方法はこの他にも様々な方法が利用可能であり、また、参照データ計測に用いる計測対象物体１２００は平面に限定されるものではない。計測を行う各画素（ｕ、ｖ）について、参照の奥行座標と位相の組を得ることができればよく、これ以外にも様々な方法を利用可能である。

また、参照点計測手段１１０１は、上述したように実際のパターン投影と計測を行う手段であってもよいが、記憶媒体等の外部からパターンの計測結果の画像データと奥行距離を読込んで位相を計算する手段であってもよいし、また、前記参照データを外部から読み込む手段であってもよい。

参照位相画像計測手段Ａ１１０３は、平面または直線を対象物体として用意し、１箇所以上の適当な位置および姿勢で該平面等を設置し、計測を行う。このときカメラ１１２０の各画素で計測された位相全体を、参照平面位相画像ψ_ｊ（ｕ、ｖ）（ｊ＝１、２、…）とする。ここで、ｊを設置位置を識別する番号とした。前記平面または直線は、投影されるパターンの位相の変化方向と平行にならないような任意の向き、かつ、任意の位置に設置すればよい。例えば、カメラ１１２０の観測方向またはプロジェクタ１１１０の投影方向に対して垂直に設置してもよい。設置位置を１箇所としても、本発明の効果は発揮される。しかし、複数個所に設置し、計測点を多くするほど計測精度を高めることができる。また、前記参照点計測手段１１０１が、平面や直線を用いて参照位相｛φ_ｉ ^ｒ｝を計測したときには、｛φ_ｉ ^ｒ（ｕ、ｖ）｝をそのまま参照位相画像ψ_ｊ（ｕ、ｖ）の代用とすることができ、参照平面位相画像を新たに計測しなくても良い。

記憶手段１０２０は、参照点位相および参照点奥行距離{φ_ｉ ^ｒ、ｚ_ｉ ^ｒ}（ｉ＝１、２、…）および前記参照位相画像ψ_ｊ（ｕ、ｖ）（ｊ＝１、２、…）を記憶しておく。記憶手段１０２０の代わりに、外部から必要に応じてデータとして読み込むものであってもよい。

次に、物体に対して計測された位相から、前記の参照データ群を用いて計測対象点の奥行距離を計算する（計測処理）。

対象点計測手段１１０２は、第１の構成と同じであり、画素(ｕ、ｖ)で計測される計測対象点の位相φ（ｕ、ｖ）を計測する。また、対象点計測手段１１０２は、外部から計測結果を読み込むものであってもよい。

画像投影点探索手段１０６１は、まず、計測対象画素（ｕ、ｖ）のプロジェクタ１１１０に対するエピポーラ線を決定する。プロジェクタ１１１０の幾何モデルキャリブレーションを行っていない場合には、エピポーラ線９を決定することができない。プロジェクタ投影面上でパターンの位相が等しくなる点が平行または１点で交わる直線上に分布していると仮定することができる場合には、上述のように、エピポーラ線９の代わりに、エピポーラ線に垂直でない任意の直線１１（α）を用いることができる。前記仮定が成り立たない場合も、直線１１（α）をエピポーラ線９と方向が近い直線として決定することにより、本実施形態は効果を発揮する。直線α１１の決定方法には様々なものがある。例えば、プロジェクタ１１１０の中心の位置がｖ方向に近い場合、画素（ｕ、ｖ）を通りｖ軸に平行な直線とすることができる。本手法を利用した場合、直線が画素列に沿うため、次に行う探索処理を簡単に行うことができる。さらに別の手法としては、どの画素の計測を行う際も、常に同じ直線α１１を選択する方法である。この場合、前記参照位相画像のうち、一定の直線α１１上の値のみが参照されることとなるので、該直線上以外の位相を前記参照位相画像として計測しておく必要はない。従って、参照位相画像計測手段Ａ１１０３の動作で説明したように、参照平面１０は直線であってもよい。

次に、直線α１１上の画素で、前記参照位相ψが前記参照点位相{φ_ｉ ^ｒ（ｕ、ｖ）}（ｉ＝１、２，３）および対象点位相φ（ｕ、ｖ）に等しい点を探索する。これらの探索された各点を直線上に並んだ順に画像投影点Ｐ_ｋ’（ｋ＝１，２，３，４）とする。このとき、Ｐ_ｔ’が対象点位相φ（ｕ、ｖ）に位相が等しい点であるとする。また、該画像投影点の直線α１１に沿った位置（原点は直線α１１上の適当な点でもよい。例えば、原点をＰ_１としてもよい。）を求め、画像距離{ｄ_ｋ}として出力する。

以上の処理における画像の座標として、カメラのレンズ歪や撮像素子のアスペクト比を補正した値を用いる。なお、レンズ歪やアスペクト比を無視することができる場合には、補正を行わなくてもよい。

複数の参照位相画像が利用可能である場合は、適当な参照位相画像を選択してこの処理を行う。この選択方法の一例として、対象点に奥行距離が最も近い位置で計測された参照位相画像を選択する方法がある。対象点の３次元座標は未知であっても、参照位相画像の画素（ｕ、ｖ）の位相が、計測された位相φに最も近い参照位相画像を選択すればよい。この方法を用いることにより、奥行距離によって変化する誤差の要因、例えば、プロジェクタ１１１０またはカメラ１１２０のぼけの影響を抑えることができ、高精度な計測を行うことができる。また、必要に応じ、前記画像投影点の探索が画像の外に出ないような参照位相画像を選択することもできる。これらの手法はあくまで一例であり、この他にも様々な方法が利用可能である。

参照点群６が４点以上利用可能なときは、適当な３点を選択する。この選択方法として、例えば、対象点２に奥行距離が最も近い３点を選択する方法がある。対象点２の奥行距離は未知であるが、対象点２の位相φに最も近い位相に対応する３つの参照点群６を選ぶ方法もある。また、この他にも様々な選択方法を利用可能であることはいうまでもない。

前記校正処理において、計測対象範囲に含まれるできるだけ多くの位置において前記参照点位相および参照点奥行距離を求めておいて、適切な参照データを選択することによって、投影パターンのぼけ等の様々な誤差の影響を抑え、高精度な計測を行うことが可能となる。

画像距離複比計算手段１０４１は、前記参照点の画像投影点{Ｐ_ｉ’}および対象点の画像投影点Ｐ’に対する画像距離複比Ｒ_ｉｍｇを次式から計算する。
Ｒ_ｉｍｇ＝（ｄ_３−ｄ_１）（ｄ_４−ｄ_２）／（ｄ_３−ｄ_２）（ｄ_４−ｄ_１） （１１）
奥行距離計算手段Ｂ１０５１は、参照点群６（{Ｐ_ｉ}）と対象点２の奥行距離の複比Ｒ_ｚが、前記画像距離複比Ｒ_ｉｍｇに等しいことを利用し、対象点２（Ｐ）の奥行距離ｚを計算する。すなわち、ｚ_ｋを前記画像投影点Ｐ_ｋ’に対応する参照点奥行距離(ｋ＝ｔの時は対象点の奥行距離)とすると、次式が成り立つ。
Ｒ_ｚ＝（ｚ_３−ｚ_１）（ｚ_４−ｚ_２）／（ｚ_３−ｚ_２）（ｚ_４−ｚ_１）＝Ｒ_ｉｍｇ （１２）
ここで、ｚ_ｔ以外は既知の値である。この式をｚ_ｔについて解くことにより、対象点２の奥行距離を求める。

さらに、前記第２の実施例のように、カメラの校正によりカメラパラメタ１１３０が得られている場合には、前記奥行距離と前記カメラパラメタ１１３０を用いて、対象点２の３次元座標も計算することができる。

以上のように動作することにより、計測される位相の誤差を実際の計測データである参照位相画像を用いて補正し、プロジェクタの幾何モデルパラメタを用いずに、計測された位相から計測対象点の奥行距離を計算することができる。従って、本実施例により、プロジェクタの幾何モデルのキャリブレーションが不要で、投影パターンの誤差を補正できる、高精度な３次元形状計測装置を提供することができる。

本発明の第４の実施例に係る３次元形状計測装置は、図５を参照すると、プログラム制御により動作するコンピュータ１０００と、計測手段１１００と、を備える。さらに、図９を参照すると、第３の実施例（図８）と比較して、本実施例においては、参照位相画像計測手段Ａ１１０３が含まれず、画像投影点探索手段１０６１は、計測処理において対象点計測手段１１０２によって得られる、参照位相画像を参照する点が異なる。

これらの手段はそれぞれ、次のように動作する。

まず、計測対象となる所望の物体の３次元形状計算を行うために必要な参照データを取得しておく（校正処理）。該校正処理は対象物体１２００の計測の事前に行っておいても良いし、計測処理と同時に行うことももちろん可能である。この校正処理は一度実行しておけば、計測手段１１００の構造が変更されない限り、再度行う必要はない。

参照点計測手段１１０１の動作は、前記第３の実施例と同じである。

記憶手段１０２０は、参照点位相および参照点奥行距離{φ_ｉ ^ｒ、ｚ_ｉ ^ｒ}（ｉ＝１、２、…）を記憶しておく。記憶手段１０２０の代わりに、外部から必要に応じてデータとして読み込むものであってもよい。

次に、対象物体１２００上の対象点２について計測された位相から、参照データ群を用いて対象点の奥行距離を計算する（計測処理）。

対象点計測手段１１０２は、前記第３の実施例におけるものと同じであり、対象点に対して投影されたパターンの位相φを計測する。また、対象点計測手段１１０２は、外部から計測結果を読み込むものであってもよい。このとき、参照位相画像計測手段Ｂ１１０４は、直線または平面である部位を持つ参照物体を同時に計測して、参照位相画像θとする。

画像投影点探索手段１０６１は、前記参照位相画像ψの代用として、参照位相画像θを参照し、参照物体の平面部分または直線部分を計測した領域内において、参照点および対象点に対応する画像投影点の探索を行う直線を決定する。この動作のみが第３の実施形態と異なり、その他の動作は同じである。

画像距離複比計算手段１０４１の動作は、第３の実施例におけるものと同じである。

奥行距離計算手段Ｂ１０５１の動作も、第３の実施例におけるものと同じである。

さらに、第２の実施例のようにカメラ校正手段によってカメラパラメタ１１３０が得られている場合には、前記奥行距離と前記カメラパラメタ１１３０を用いて、対象点２の３次元座標を計算することができる。

以上のように動作することにより、計測される位相の誤差を補正するための計測データである参照位相画像を対象物体の計測位相から得ることができ、校正処理が簡便で、高精度な計測を行うことのできる、３次元形状計測装置を提供することができる。また、以前に実施した、３次元形状計測装置による位相の計測結果に直線部分または平面領域が含まれている場合に、該計測結果データを入力として、本実施形態を適用することによって、高精度な３次元形状の計測を行うことも可能である。

本発明は、物体の３次元形状の計測に適用することができる。また、本発明により、３次元形状計測装置における、投影パターンの誤差を補正し、高精度な計測を実現することができる。さらに、本発明により、プロジェクタの幾何モデルパラメタのキャリブレーション（校正）を行う必要がなくなり、装置の製造や保守のコストを削減することができる。
本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。

Claims (31)

1. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの奥行距離を計測する距離計測装置であって、
   前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相とを入力し、位相複比を計算して出力する位相複比計算手段と、
   前記参照点の奥行距離と前記位相複比とを入力し、前記位相複比と、前記参照点および前記対象点の間の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする距離計測装置。
2. 前記パターンを観測したパターン計測手段の、計測座標系に対する位置、姿勢、焦点距離に係る幾何モデルパラメタと、前記対象点の奥行距離と、を入力し、前記対象点の３次元座標を計算する３次元座標計算手段を備えることを特徴とする、請求項１に記載の距離計測装置。
3. 前記位相複比計算手段が、前記対象点を計測した視線上の４点以上の参照点の中から、前記対象点の位相に最も近い値の位相を有する３点を近傍点として選択して、該近傍点と前記対象点との間で前記位相複比を計算し、
   前記奥行距離計算手段が、前記近傍点を前記参照点とすることを特徴とする、請求項１又は２に記載の距離計測装置。
4. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの奥行距離を計測する距離計測装置であって、
   表面に直線部分を含む物体の、前記直線部分に対して計測された位相である参照位相画像と、前記対象点を計測した視線上の３点の参照点の位相および奥行距離と、前記対象点の位相とを入力し、前記参照位相画像上で前記参照点および前記対象点の位相と一致する位相値を持つ点である画像投影点の位置を探索し、該画像投影点間の距離を計算して画像距離として出力する画像投影点探索手段と、
   前記画像距離を入力し、前記画像投影点間の距離の複比を画像距離複比として計算して出力する画像距離複比計算手段と、
   前記参照点の奥行距離および前記画像距離複比を入力し、前記画像距離複比と、前記参照点および前記対象点に対する奥行距離複比と、が等しいことを利用して前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする距離計測装置。
5. 前記画像投影点探索手段が、表面に複数の直線部分を含む物体の該直線部分に対する位相画像の中から、前記参照点および前記計測点の位相に等しい点を含む画像を前記参照位相画像とすることを特徴とする、請求項４に記載の距離計測装置。
6. 前記画像投影点探索手段が、表面に平面領域を含む物体の該平面領域に対する位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項４に記載の距離状計測装置。
7. 前記画像投影点探索手段が、複数の平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として決定し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項４に記載の距離計測装置。
8. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相を入力し、その対象点までの奥行距離を計測する距離計測装置であって、
   計測対象物体のうち、３次元形状が直線である領域に対して計測された位相画像を参照位相画像とし、前記参照位相画像上で、前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相のそれぞれと位相が一致する点である画像投影点を探索し、該画像投影点間の距離を計算して画像距離として出力する画像投影点探索手段と、
   前記画像距離を入力し、前記画像投影点間の距離の複比を画像距離複比として計算して出力する画像距離複比計算手段と、
   前記参照点の奥行距離と前記画像距離複比とを入力し、前記画像距離複比と、前記参照点および前記対象点の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算手段と、を備えることを特徴とする距離計測装置。
9. 前記画像投影点探索手段が、表面に複数の直線部分を含む物体の該直線部分に対する位相画像を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む画像を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項８に記載の距離計測装置。
10. 前記画像投影点探索手段が、計測対象物体のうち３次元形状が平面である領域の位相値を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項８に記載の距離計測装置。
11. 前記画像投影点探索手段が、計測対象物体のうち３次元形状が平面である複数の領域の位相値を参照位相画像とし、前記参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項８に記載の距離計測装置。
12. 前記対象点の位相の計測と同時に前記参照位相画像を計測することを特徴とする、請求項８乃至１１のいずれか一に記載の距離計測装置。
13. 前記画像投影点探索手段が、前記参照位相画像の中で、画像上において前記対象点に最も近い直線のいずれかを探索直線とすることを特徴とする、請求項５乃至７又は請求項９乃至１２のいずれか一に記載の距離計測装置。
14. 前記画像投影点探索手段が、前記参照位相画像の中で、画像上において前記対象点を観測する画像上の点と、前記パターン投影手段に対するエピ極点と、を通る直線に最も近い方向の直線のいずれかを探索直線とすることを特徴とする、請求項５乃至７又は請求項９乃至１２のいずれか一に記載の距離計測装置。
15. 前記画像投影点探索手段が、あらかじめ定めた一定の直線上の位相画像のみを前記参照位相画像とすることを特徴とする、請求項５乃至７又は請求項９乃至１２のいずれか一に記載の距離計測装置。
16. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの奥行距離を計測する距離計測方法であって、
    前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相とに基づいて、位相複比を計算する位相複比計算工程と、
    前記参照点の奥行距離と前記位相複比とに基づいて、前記位相複比と、前記参照点および前記対象点の間の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする距離計測方法。
17. 前記パターンを観測したパターン計測手段の、計測座標系に対する位置、姿勢、焦点距離に係る幾何モデルパラメタと、前記対象点の奥行距離と、に基づいて、前記対象点の３次元座標を計算する３次元座標計算工程を含むことを特徴とする、請求項１６に記載の距離計測方法。
18. 前記位相複比計算工程において、前記対象点を計測した視線上の４点以上の参照点の中から、前記対象点の位相に最も近い値の位相を有する３点を近傍点として選択して、該近傍点と前記対象点との間で前記位相複比を計算し、
    前記奥行距離計算工程において、前記近傍点を前記参照点とすることを特徴とする、請求項１６又は１７に記載の距離計測方法。
19. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの奥行距離を計測する距離計測方法であって、
    表面に直線部分を含む物体の、前記直線部分に対して計測された位相である参照位相画像と、前記対象点を計測した視線上の３点の参照点の位相および奥行距離と、前記対象点の位相とに基づいて、前記参照位相画像上で前記参照点および前記対象点の位相と一致する位相値を持つ点である画像投影点の位置を探索し、該画像投影点間の距離を計算して画像距離とする画像投影点探索工程と、
    前記画像距離に基づいて、前記画像投影点間の距離の複比を画像距離複比として計算する画像距離複比計算工程と、
    前記参照点の奥行距離および前記画像距離複比に基づいて、前記画像距離複比と、前記参照点および前記対象点に対する奥行距離複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする距離計測方法。
20. 前記画像投影点探索工程において、表面に複数の直線部分を含む物体の該直線部分に対応する複数の位相画像の中から、前記参照点および前記計測点の位相に等しい点を含む画像を前記参照位相画像とすることを特徴とする、請求項１９に記載の距離計測方法。
21. 前記画像投影点探索工程において、表面に平面領域を含む物体の該平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項１９に記載の距離状計測方法。
22. 前記画像投影点探索工程において、複数の平面領域に対する位相画像の中から、前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として決定し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項１９に記載の距離計測方法。
23. 奥行距離を計測する対象点に、パターン投影手段からの投影方向に従って変化するパターンを投影して反射されたパターンを観測することによって計測された、前記パターン変化量を表す値である位相に基づいて、その対象点までの奥行距離を計測する距離計測方法であって、
    計測対象物体のうち、３次元形状が直線である領域に対して計測された位相画像を参照位相画像とし、前記参照位相画像上で、前記対象点の位相と、前記対象点を計測した視線上にある３点の参照点の位相のそれぞれと位相が一致する点である画像投影点を探索し、該画像投影点間の距離を計算して画像距離とする画像投影点探索工程と、
    前記画像距離に基づいて、前記画像投影点間の距離の複比を画像距離複比として計算する画像距離複比計算工程と、
    前記参照点の奥行距離と前記画像距離複比とに基づいて、前記画像距離複比と、前記参照点および前記対象点の奥行距離の複比と、が等しいことを利用して、前記対象点の奥行距離を計算する奥行距離計算工程と、を含むことを特徴とする距離計測方法。
24. 前記画像投影点探索工程において、表面に複数の直線部分を含む物体の該直線部分に対応する位相画像を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む画像を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項２３に記載の距離計測方法。
25. 前記画像投影点探索工程において、計測対象物体のうち３次元形状が平面である領域の位相値を参照位相画像とし、前記参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項２３に記載の距離計測方法。
26. 前記画像投影点探索工程において、計測対象物体のうち３次元形状が平面である複数の領域の位相値を参照位相画像とし、該参照位相画像の中から前記参照点および前記対象点の位相に等しい画素を含む直線領域を探索直線として抽出し、該探索直線上で前記画像投影点を探索することを特徴とする、請求項２３に記載の距離計測方法。
27. 前記対象点の位相の計測と同時に前記参照位相画像を計測することを特徴とする、請求項２３乃至２６のいずれか一に記載の距離計測方法。
28. 前記画像投影点探索工程において、前記参照位相画像の中で、画像上において前記対象点に最も近い直線のいずれかを探索直線とすることを特徴とする、請求項２０乃至２２又は請求項２４乃至２７のいずれか一に記載の距離計測方法。
29. 前記画像投影点探索工程において、前記参照位相画像の中で、画像上において前記対象点を観測する画像上の点と、前記パターン投影手段に対するエピ極点と、を通る直線に最も近い方向の直線のいずれかを探索直線とすることを特徴とする、請求項２０乃至２２又は請求項２４乃至２７のいずれか一に記載の距離計測方法。
30. 前記画像投影点探索工程において、あらかじめ定めた一定の直線上の位相画像のみを前記参照位相画像とすることを特徴とする、請求項２０乃至２２又は請求項２４乃至２８のいずれか一に記載の距離計測方法。
31. 請求項１６乃至３０のいずれか一に記載の距離計測方法における処理をコンピュータに実行させることを特徴とする距離計測プログラム。

Images