JP4429135B2

JP4429135B2 - 三次元形状計測システム及び計測方法

Info

Publication number: JP4429135B2
Application number: JP2004292184A
Authority: JP
Inventors: 敦忠中辻
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2004-10-05
Filing date: 2004-10-05
Publication date: 2010-03-10
Anticipated expiration: 2024-10-05
Also published as: JP2006105755A

Description

本発明は、三次元形状計測システム及び計測方法に関し、特に、１台の三次元形状計測装置を移動して計測を行う場合、又は複数の三次元形状計測装置を用いて測定対象物の三次元形状の計測を行う場合に、各々の計測装置の原点と座標軸とからなる座標系を一致させて三次元形状を計測するシステム及び計測方法に関する。

従来、ＣＧ（Computer Graphics）コンテンツの作成や、ＦＡ（Factory Automation ）・工業計測用途等の様々な分野で非接触式の三次元形状計測装置が開発、製品化されている。実際の三次元形状計測装置は、主に２つのカメラと２つのプロジェクタから構成され、プロジェクタから正弦波状の縞模様を投影し、その画像を２つのカメラで取り込むことにより対象物の三次元座標を求めている。

しかし、上記三次元形状計測装置では、測定対象物が大きいと、１台の三次元形状計測装置では計測できないこともある。このような場合には、１台の計測装置を移動させて複数回測定したり、複数台の固定した計測装置を用いて計測する必要がある。そして、１台の計測装置で計測する場合には、各位置における独自の原点と座標軸で計測しているので、各位置における装置の計測データを単純につなぎ合わせることができず、各位置における計測装置の原点と座標軸とからなる座標系を一致させる必要がある。また、複数台の固定した計測装置を用いる場合にも、各々の計測装置の計測データを単純につなぎ合わせることができず、各計測装置の座標系を一致させる必要がある。

上記複数の座標系を一致させるにあたって、例えば、特許文献１及び２においては、１台の三次元形状計測装置の各々の位置で求めた形状データ、又は複数台の三次元形状計測装置の各々が求めた形状データの特徴点(形状データのエッジ等)を検出し、その特徴点を、計測装置の移動前後又は複数の計測装置間で対応づけることにより、座標系を一致させ、完全な三次元形状を得ていた。

特開２００３−２９４４３３号公報特開２００３−３２２５１５号公報

しかし、上記従来の方法では、測定対象物が平面物体等であって特徴点が少ない場合には、三次元形状計測装置の移動量である運動パラメータを高精度に求めることができず、高精度の三次元形状データを得ることができないという問題があった。また、このような場合には、自動でマッチングを行うことが困難であり、ほとんど手作業に依存することとなるという問題があった。

そこで、本発明は、上記従来の三次元形状計測方法等における問題点に鑑みてなされたものであって、測定対象物が大きい物体や、形状が複雑な物体を計測する場合等において、三次元形状計測装置を移動させて複数回計測を行った場合、又は複数の三次元形状計測装置を用いて計測した場合でも、運動パラメータを簡単かつ高精度に求めることができ、高精度の三次元形状を得ることのできる三次元形状計測システム及び計測方法を提供することを目的とする。

上記目的を達成するため、本発明は、三次元形状計測システムであって、測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、該格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段と、独自の原点と座標軸とからなる座標系を有し、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段とが設けられた三次元形状計測装置と、該三次元形状計測装置を移動させる移動手段と、該移動手段により移動する前の前記三次元形状計測装置の画像撮影手段と、移動した後の前記三次元形状計測装置の画像撮影手段との各々によって、撮影可能なように正弦波格子パターンを所定位置から前記測定対象物に投射する第２の格子パターン投射手段と、該第２の格子パターン投射手段を保持しながら、該第２の格子パターン投射手段を一定の方向に一定量ずつ移動させる第２の格子駆動手段と、前記移動前の画像撮影手段と、前記移動後の画像撮影手段の各々の座標系を一致させる統合キャリブレーション手段とを備えることを特徴とする。

そして、本発明によれば、１台の三次元形状計測装置を移動させることができるため、１台の固定された三次元形状計測装置では計測することのできない大きな測定対象物の計測や、円筒のような形状の全面を三次元計測する場合や、中央がくぼんでいる等の形状が複雑な測定対象物についても三次元形状を計測することができる。

また、第２の格子パターン投射手段から投影される正弦波状のパターンを参照して統合キャリブレーションを行うため、安定して自動的に特徴点の対応づけを行うことができ、運動パラメータを高精度に求めることができる。また、複雑な校正器具を必要としないため、測定場所が制限されない。

前記三次元形状計測システムにおいて、前記統合キャリブレーション手段は、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて、前記三次元形状計測装置の各々の位置における特徴点を対応づけるようにすることができる。

また、前記三次元形状計測システムにおいて、前記統合キャリブレーション手段は、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの輝度値に基づいて、前記三次元形状計測装置の各々の位置における特徴点を対応づけるようにすることができる。

さらに、前記三次元形状計測システムにおいて、前記三次元形状計測装置の各々の位置における特徴点を、前記測定対象物の形状データ及びテクスチャ画像からＳＵＳＡＮオペレータを利用して自動的に、又は手動で算出した後、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて対応づけるようにすることができる。

また、本発明は、三次元形状計測方法であって、各々、測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段と、前記格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段とを備え、各々独自の原点と座標軸とからなる座標系を有する複数の三次元形状計測装置の各々の座標系を一致させる統合キャリブレーションを行うにあたって、前記複数の三次元形状計測装置の一方を用いて前記測定対象物の三次元形状を計測し、該三次元形状計測装置の格子パターン投射手段からの正弦波状のパターンを、他方の三次元形状計測装置の画像撮影手段で撮影して前記複数の三次元形状計測装置の各々の座標系を一致させることを特徴とする。

そして、本発明によれば、各三次元形状計測装置が他の装置が投影する正弦波状のパターンを参照するため、測定対象物の三次元形状計測の計測前の事前のキャリブレーションを行わずに運動パラメータを求めることができ、統合キャリブレーションを行うことができる。また、計測方法の異なる形式の複数の三次元形状計測装置間においても、各三次元形状計測装置のデータ間の座標変換を容易に行うことができるため、異なる形式の複数の三次元形状計測装置間でも使用可能である。

前記三次元形状計測方法において、前記統合キャリブレーションは、前記格子パターン投射手段からの正弦波状のパターンの位相値に基づいて、前記三次元形状計測装置の各々の特徴点を対応づけることによって行うことができる。

また、前記三次元形状計測方法において、前記統合キャリブレーションは、前記格子パターン投射手段からの正弦波状のパターンの輝度値に基づいて、前記三次元形状計測装置の各々の特徴点を対応づけることによって行うことができる。

さらに、前記三次元形状計測方法において、前記三次元形状計測装置の各々の特徴点を、前記測定対象物の形状データ及びテクスチャ画像からＳＵＳＡＮオペレータを利用して自動的に、又は手動で算出した後、前記格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて対応づけることによって行うことができる。

以上のように、本発明によれば、測定対象物が大きい物体や、形状が複雑な物体を計測する場合等でも、運動パラメータを簡単かつ高精度に求めることができ、高精度の三次元形状を得ることのできる三次元形状計測システム等を提供することができる。

図１は、本発明にかかる１台の三次元形状計測装置を示し、この装置は、２台のカメラ（画像撮影手段）１００と、２台のプロジェクタ（格子パターン投射手段）１０１と、各々のプロジェクタ１０１を保持しながら、一定の方向に一定量ずつ移動させる図示しない格子駆動手段とで構成され、多眼正弦波格子位相シフト法と呼ばれる計測原理により形状計測を行う。

この手法は、まず、プロジェクタ１０１内に設けた正弦波状に濃淡値が印刷されている格子を通して、図示しない光源から測定対象物に対して正弦波状の輝度分布を持つ光パターンを投射する。そして、測定対象物上の縞画像をカメラ１００で撮影する。次に、測定対象物を静止させたままで、格子を縞の直角方向へと、波長の１／Ｎずつ、Ｎ回ずらしながらカメラ１００で画像を撮影して行く。撮影された画像は、測定対象物に投射された正弦波光パターンが２π／Ｎラジアンずつ進行して行くように見える。計測点の輝度値を投射方向から計測し、各輝度値より格子パターンの位相値を計算する。計測点の高さ変位に応じて格子パターンの位相が変調するため、この位相の変調量を計算し、光学装置の幾何関係式に代入することにより、測定対象物の高さ変位量を計算し、三次元形状を求めるものである。その際、対象物の空間位置の原点（Ｏ）と座標軸Ｘ、Ｙ、Ｚとからなる座標系１０２を用いて測定対象物の三次元形状を示すことになる。

しかしながら、この三次元形状計測装置に比較して測定対象物が大きいような場合には、計測装置を移動させて複数回測定する必要があり、各々の位置で測定対象物の三次元計測を行うための原点及び座標軸からなる座標系が存在する。これらの原点と座標軸は、三次元形状計測装置の各々の位置に固有のものであり、位置が異なれば、原点及び座標軸も異なる。そのため、各位置における三次元形状計測装置の計測データをそのまま統合することができない。そこで、三次元形状計測装置の各位置における原点及び座標軸に座標変換を施し、これらの原点及び座標軸を一致させることが必要となる。この動作を以下、「統合キャリブレーション」と呼ぶ。

図２は、座標系１４０から座標系１４１へと座標変換をする原理を示す図である。三次元形状計測装置の各位置において、三次元形状計測装置の一方の位置での座標系１４０上の点Ｐ（Ｘ₁、Ｙ₁、Ｚ₁）が、他方の位置での三次元形状計測装置の座標系１４１上では（Ｘ₂、Ｙ₂、Ｚ₂）になるとする。これらをベクトル表示すれば、ベクトルｒ₁＝（Ｘ₁、Ｙ₁、Ｚ₁）、ｒ₂＝（Ｘ₂、Ｙ₂、Ｚ₂）となる。同図のＴ１４５は並進ベクトルを示し、Ｒ１４６は回転行列を示す。図２から、以下の式が成り立つ。

上記の式（１）から、座標系１４１を座標系１４０に一致させるには、座標軸を回転させる３×３の行列Ｒ１４６と、原点を移動させる並進ベクトルＴ１４５を求めることに帰着する。

そこで、本発明では、特徴点の対応づけを目的とした正弦波状のパターンを投影する補助装置として、図３に示す装置を用いる。この補助装置は、機構部１５０と、投影レンズ１５１とを備え、図１に示したプロジェクタ１０１と同様、測定対象物に正弦波状のパターンを投影することができる。

次に、本発明にかかる三次元形状計測システムの動作について説明する。

まず、図４に示すように、補助装置１６２からの正弦波状のパターンを撮影することができる位置に三次元形状計測装置を配置する。同図に示す例では、移動前の三次元形状計測装置を参照番号１６０で示し、移動後の三次元形状計測装置を参照番号１６１で示す。

そして、三次元形状計測装置の移動前、すなわち三次元形状計測装置１６０で測定対象物１６３の三次元形状を計測し、その後、補助装置１６２で測定対象物１６３に補助装置１６２から正弦波フィルタ１６４を介して正弦波状のパターンを投影する。その正弦波パターンを移動前の三次元形状計測装置１６０のカメラ１００（図１参照）で撮影する。

次に、三次元形状計測装置を移動後、すなわち三次元形状計測装置１６１で測定対象物の三次元形状を計測する。その後、再度、補助装置１６２で測定対象物１６３に正弦波フィルタ１６４を介して正弦波状のパターンを投影し、三次元形状計測装置１６１のカメラ１００で撮影する。

次に、三次元形状計測装置の移動前後の各々において特徴点を求める。その特徴点は、形状データ、あるいは、テクスチャデータから求める。特徴点の抽出は、自動で行いたい場合には、画像上のエッジやコーナを検出する一般的な手法であるＳＵＳＡＮオペレータ（SUSAN―A New Approach to Low Level Image Processing, SMITH S M, BRADY J M (Oxford Univ., Oxford, GBR) ,Int J Comput Vis VOL.23,NO.1, PAGE.45 78, 1997参照）等を用いて行うことができる。尚、特徴点の抽出は、手動でも行うことができる。

三次元形状計測装置の移動前後で統合キャリブレーションを行うには、互いの特徴点を対応づける必要がある。この方法で一般的に行われているのがテンプレートマッチングであるが、この方法は、精度が非常に悪く、また誤って特徴点が対応づけられるおそれがある。そのため、テンプレートマッチングに加え、上記補助装置で投影されている正弦波状のパターンから特徴点上の位相を求めて対応づける。これにより、高精度のマッチングが可能となる。

位相を求めるには、正弦波格子位相シフト法と呼ばれる原理を利用している。正弦波状のパターンがプリントされているフィルムをシフトすることで、正弦波の初期位相φ（以下、「位相」と呼ぶ）を求める。正弦波の位相は、以下の方程式で求めることができる。尚、Ｎはシフト回数、ｔはシフト量を示す。

例えば、π／２毎シフトする場合、Ｎ＝４となり、次式により初期位相は以下のようになる。

上記対応づけが完了すると、対応づけられた特徴点から座標変換に必要な運動パラメータを求めることができる。この運動パラメータを求める方法の一つを以下に示す。

格子点の三次元座標が判明したので、その三次元座標を利用して回転行列と並進ベクトルを以下のように決定する。格子点番号が装置１と装置２で一致している場合、回転行列は以下のように決定される。

格子点の座標（ベクトル）をＸ_i、全格子点の平均ベクトルをＸ_iとして、これらの差を以下のように定義する。

まず、ある４次元ベクトルを式（５）に示すようにおき、式（６）の最小固有値に対するｑを求める。

ここで、Ｂ_iは式（７）に示すとおりである。

従って、上記ｑが求められれば、回転行列Ｒは、以下のように決定される。

また、並進ベクトルは、式（８）から次式のようになる。

ところで、Ｘ_i、Ｘ_i’は、各々装置１、装置２の三次元座標であり、図２に示した関係が成立するため、以下の式が成り立ち、回転行列Ｒと、並進ベクトルｔが求められ、統合キャリブレーションを行うことができる。

尚、上記実施の形態においては、一台の三次元形状計測装置を移動させて測定対象物の三次元計測を行う場合について説明したが、複数の三次元形状計測装置を固定して計測を行う場合には、複数の装置間で運動パラメータを求める必要がある。その場合には、通常事前に各装置の運動パラメータを求めるキャリブレーション作業が必要である。しかし、本発明では、以下に説明するように、事前のキャリブレーションを行わずに運動パラメータを求めることが可能である。

図５に示すように、２台の三次元形状計測装置１７０、１７１を用いて測定対象物１７４の三次元形状を計測する場合には、まず、一方の三次元形状計測１７０で測定対象物１７４の三次元形状を計測する。

次に、三次元形状計測装置１７０が計測している正弦波状パターン投影機１７２からの正弦波状のパターンを、他方の三次元形状計測装置１７１のカメラで撮影する。

次に、三次元形状計測装置１７０、１７１の各々の特徴点を求める。その特徴点は、形状データ、あるいは、テクスチャデータから求める。特徴点の抽出は、自動に行いたい場合には、上述のように、画像上のエッジやコーナを検出する一般的な手法であるＳＵＳＡＮオペレータ等を用いて行うことができ、特徴点の抽出を手動でも行うこともできる。

そして、上記実施の形態と同様の要領で、投影されている正弦波状から特徴点上の位相を求めて対応づける。これにより高精度のマッチングが可能になる。また、対応づけが完了すると、対応づけられた特徴点から座標変換に必要な運動パラメータを求めることができる。

本発明にかかる１台の三次元形状計測装置を示す概略斜視図である。三次元形状計測装置を移動させた際の座標軸と座標変換の説明図である。本発明にかかる正弦波状のパターンを投影する補助装置を示す概略斜視図である。図３に示した補助装置と、図１に示した三次元形状計測装置との位置関係を示す図である。本発明にかかる三次元形状計測システムにおいて複数台の三次元形状計測装置を用いる場合の配置図である。

符号の説明

１００１台の三次元形状計測装置のカメラ
１０１１台の三次元形状計測装置のプロジェクタ
１０２１台の三次元形状計測装置の原点と座標軸
１４０変換前の座標系
１４１変換後の座標系
１４５キャリブレーションのための並進ベクトル
１４６キャリブレーションのための回転行列
１５０補助装置の機構部
１５１補助装置の投影レンズ
１６０移動前の三次元形状計測装置
１６１移動後の三次元形状計測装置
１６２補助装置
１６３測定対象物
１６４正弦波フィルタ
１７０１台の三次元形状計測装置
１７１１台の三次元形状計測装置
１７２正弦波状パターン投影機
１７３正弦波状パターン投影機
１７４測定対象物

Claims

測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、該格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段と、独自の原点と座標軸とからなる座標系を有し、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段とが設けられた三次元形状計測装置と、
該三次元形状計測装置を移動させる移動手段と、
該移動手段により移動する前の前記三次元形状計測装置の画像撮影手段と、移動した後の前記三次元形状計測装置の画像撮影手段との各々によって、撮影可能なように正弦波格子パターンを所定位置から前記測定対象物に投射する第２の格子パターン投射手段と、
該第２の格子パターン投射手段を保持しながら、該第２の格子パターン投射手段を一定の方向に一定量ずつ移動させる第２の格子駆動手段と、
前記移動前の画像撮影手段と、前記移動後の画像撮影手段の各々の座標系を一致させる統合キャリブレーション手段とを備えることを特徴とする三次元形状計測システム。
前記統合キャリブレーション手段は、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて、前記三次元形状計測装置の各々の位置における特徴点を対応づけることを特徴とする請求項１に記載の三次元形状計測システム。
前記統合キャリブレーション手段は、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの輝度値に基づいて、前記三次元形状計測装置の各々の位置における特徴点を対応づけることを特徴とする請求項１に記載の三次元形状計測システム。
前記三次元形状計測装置の各々の位置における特徴点を、前記測定対象物の形状データ及びテクスチャ画像からＳＵＳＡＮオペレータを利用して自動的に、又は手動で算出した後、前記第２の格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて対応づけることを特徴とする請求項２に記載の三次元形状計測システム。
各々、測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段と、前記格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段とを備え、各々独自の原点と座標軸とからなる座標系を有する複数の三次元形状計測装置の各々の座標系を一致させる統合キャリブレーションを行うにあたって、
前記複数の三次元形状計測装置の一方を用いて前記測定対象物の三次元形状を計測し、
該三次元形状計測装置の格子パターン投射手段からの正弦波状のパターンを、他方の三次元形状計測装置の画像撮影手段で撮影して前記複数の三次元形状計測装置の各々の座標系を一致させることを特徴とする三次元形状計測方法。
前記統合キャリブレーションは、前記格子パターン投射手段からの正弦波状のパターンの位相値に基づいて、前記三次元形状計測装置の各々の特徴点を対応づけることによって行うことを特徴とする請求項５に記載の三次元形状計測方法。
前記統合キャリブレーションは、前記格子パターン投射手段からの正弦波状のパターンの輝度値に基づいて、前記三次元形状計測装置の各々の特徴点を対応づけることによって行うことを特徴とする請求項５に記載の三次元形状計測方法。
前記三次元形状計測装置の各々の特徴点を、前記測定対象物の形状データ及びテクスチャ画像からＳＵＳＡＮオペレータを利用して自動的に、又は手動で算出した後、前記格子パターン投射手段によって測定対象物に投影された正弦波パターンの位相値に基づいて対応づけることを特徴とする請求項６に記載の三次元形状計測方法。