JP2555368B2 - パタ−ン投影器の位置姿勢校正法 - Google Patents

Description

【発明の詳細な説明】 （１） 発明の目的 ［産業上の利用分野］ 本発明は、計測対象物体に空間パターンを投影して物
体表面の起伏の位置・形状を計測するパターン投影法に
おいてパターン投影器の投影位置姿勢を簡易かつ高精度
に校正する方法に関するものである。

［従来の技術］ パターン投影法は、構造化したパターンを物体表面に
投影しその投影像をテレビカメラで観測し、パターン原
画とテレビカメラ画像の間で特徴点の対応付けを行ない
３角測定原理に基づき物体起伏面上のパターンの各特徴
点の３次元位置を算出する方法である。ここで３角測定
原理に基づき３次元位置を算出するにはカメラとパター
ン投影器のそれぞれの位置姿勢パラメータを予め構成し
ておかねばならない。このうちカメラの撮像位置姿勢の
簡易かつ高精度な校正方法は特願昭60-118756号「カメ
ラ位置姿勢校正方法とその装置」により既に開示されて
いる。しかしパターン投影器の校正法の提案は従来見ら
れず、測定者が必要に応じものさしを使って手作業で位
置姿勢パラメータを推定しているにすぎない。このため
従来はパターン投影法によって物体表面の起伏実態の位
置形状を簡易かつ高精度に計測することが全く不可能で
あった。

［発明が解決しようとする問題点］ 本発明は、パターン投影器の投影位置姿勢を簡易、迅速
かつ高精度、高安定に校正するのに有効適切なパターン
投影器の位置姿勢校正法を提供せんとするものである。

（２） 発明の構成 ［問題点を解決するための手段］ 前記した問題点の解決は、本発明が次に列挙する新規
な特徴的構成手法を採用することにより達成される。

すなわち本発明の特徴は、投影パターンの６点以上の
特徴点群の３次元位置を、撮像位置姿勢校正済みの２台
以上の撮像カメラを用いて同時、又は時系列的に多点計
測し、２台以上の撮像カメラによる多点計測にて得られ
た前記特徴点群の３次元位置と当該特徴点群に対応する
パターン原板上のパターンの特徴点群の座標値から空間
座標系とパターン投影器座標系の相関関係を求めるとと
もに、当該相関関係からパターン投影器の位置姿勢パラ
メータを得るパターン投影器の位置姿勢校正法にある。

前記本発明のパターン投影器の位置姿勢校正法におい
て、前記パターン投影器の位置姿勢パラメータの取得す
るに当たっては、前記空間座標系とパターン撮影器座標
系間の直交性を有する変換行列と、外部パラメーターの
誤差を内部パラメーターの誤差として間接表現した誤差
パラメーターとを最小自乗法に基づく行列演算により解
析的に算出してパターン投影器の位置姿勢パラメータの
近似値を求めた後、前記誤差パラメータを初期値として
用いて前記変換行列及び前記誤差パラメータとを再度最
小自乗法に基づく行列演算により解析的に算出してパタ
ーン投影器の位置姿勢パラメータの補正値を求め、前記
誤差パラメータが指定した値以下になるように前記補正
を繰返すことによってパターン投影器の位置姿勢パラメ
ータを得るという手順を採用することが望ましい。

なお、パターン原板上のパターンは、パターン構造を
少なくとも濃淡３階調又は少なくとも３色階調の市松模
様から成る３値以上の格子板パターンとし、各階調領域
のコーナー部分又はエッジ交点もしくは各階調の境界点
を特徴点とすることが望ましい。

［実施例］ 本発明の実施例を図面について説明する。

第１図はパターン投影法の原理及びパターン投影器の
位置姿勢パラメータを説明する図であって、図中１は撮
像カメラ、２はパターン投影器、３は投影レンズ、４は
パターン原板、５は投影ランプである。又Ｗは計測対象
物体でありその表面にはパターン投影器２によりパター
ン原板４が投影されている。又6,7はそれぞれカメラレ
ンズ及びカメラ結像面である。パターン原板４上の１つ
の特徴点q1の測定対象物体Ｗ上の投影点をｑ、カメラ結
像面７上の対応する位置をq2とする。もしもカメラ１及
びパターン投影器２の投影位置姿勢が既知であれば特徴
点q1と投影レンズ３の主点O1とを結ぶ延長直線T1と、カ
メラ結像面７上の対応位置q2とカメラレンズ６の主点O2
を結ぶ延長直線T2との交点から３角測定原理により投影
点ｑの３次元位置を算出することができる。パターン投
影器の位置姿勢パラメータはレンズ主点O1位置P1,P2,P
3、光軸方向、光軸とパターン原板４の交点（光軸点ξ
i,ξｊ）、主点O1と光軸点ξi,ξｊの距離すなわち光軸
長Lpである。これらのうち光軸点ξi,ξj,光軸長Lpおよ
び換算比はパターン投影器２固有のパラメータであり一
般に内部パラメータと呼ばれ光学的手段を用いてあらか
じめ校正しておくことが可能である。

しかしレンズ主点O1位置P1,P2,P3と光軸方向はパターン
投影器２が移動するにつれて大きく変動する外部パラメ
ータでありこのパラメータを如何に簡易、迅速かつ高精
度に校正するかが本発明の主題である。一方撮像カメラ
１の撮像位置姿勢の校正方法は既に特願昭60-118756号
「カメラ位置姿勢校正方法とその装置」で開示されてい
る。

第２図はパターン投影器２の投影位置姿勢を校正する
際の装置群の配置関係を模式的に示したものである。図
中８はパターン投影器２の位置姿勢校正の際に１時的に
使用する補助カメラである。撮像カメラ１を移動して補
助カメラ代りとしても構わない。９はカメラ1,8の撮像
位置姿勢を校正するための基準マーク板であり、又10は
投影板であって例えば平坦な白板である。

しかして第３図は第２図の装置を用いてパターン投影
器の投影位置姿勢を校正する本発明の実施手順を示した
ものである。

先ずステップ１ではカメラ１と８の撮像位置姿勢を基
準マーク板９を用いて校正する。この校正方法は前記の
特願昭60-118756号に開示されている。カメラ1,8と基準
マーク板９の距離約1mの場合に位置0.1mm、姿勢方位５
×10^-4ラジアンの校正精度を有する。この校正に要する
時間はVAX11/780ミニコンを使った場合画像入出力表示
を含めても６秒以内であり、cpu（中央演算処理）時間
は0.1秒以内である。

次いでステップ２では投影板10にパターンを投影し投
影パターンの特徴点の３次元位置を撮像カメラ１と補助
カメラ８を用いて立体視計測する。引続きステップ３で
は投影板10の位置を前方又は後方に移動してから再度ス
テップ２と同様の処理を行なう。このステップ３は必ず
しも必要ではないが、校正の精度を高めるには必ず行な
うべき処理である。又投影板10の移動量はカメラとの距
離が80cm〜1m程度の場合、少なくとも2cm程度以上と
し、できれば5cm程度とすれば高精度な校正を安定に行
うことができる。さらにステップ４ではステップ２とス
テップ３の処理結果に基づき投影パターンの特徴点とパ
ターン原板４上のパターンの特徴点の対応付けを行って
からパターン投影器２の位置姿勢パラメータを算出す
る。

第４図は、パターン投影器座標系と空間座標系及び投
影器２の位置姿勢パラメータの相関関係を示した図であ
る。

パターン投影器の座標系（Xp,Yp,Zp）と空間座標系
（X,Y,Z）とは次の関係式を有する。

ここでＭは座標変換行列（a_kl），（k,l＝1,2,3）であ
り、行列要素aklは姿勢パラメータで空間座標軸X,Y,Zま
わりの回転角α，β，γの関数である。また（P1,P2,P
3）は投影レンズ主点Ｐの空間座標系における座標であ
る。パターン原板４上の特徴点座標（i,j）はパターン
投影器座標系と次の関係式を有する。

ここで（io,jo）はパターン投影器２の光軸点、Lpは光
軸長である。又δと（εi,εｊ）は、それぞれ光軸長L
p,光軸点io,joの誤差パラメータであり算出される外部
パラメータが仮に真値であるとした場合の内部パラメー
タの誤差を表わす。即ち外部パラメータの算出誤差を内
部パラメータの誤差の度合で間接表現したものである。

一方誤差パラメータを考慮しない場合に前記関係式
（１）を前記関係式（２）に入れ複数の特徴点について
書き並べると連立方程式ができる。この連立方程式から
未知のパラメータを求めるには逐次近似解法が適用でき
る。又、連立方程式を行列形式に直し、最小自乗法に基
づいて１回の行列演算だけで答を得る解析的手法があ
る。誤差パラメータを考慮せず、逐次近似解法又は最小
自乗法による解析的算出法では次の欠点がある。

（Ｉ） 逐次近似解法では、初期値の与え方によって解
の収束性が悪くなったり解が発散したりする。又、処理
時間が長く計算機への負荷が大きい。さらに又、解の精
度の度合を判定できないので収束判定ができないという
欠点がある。

（II） １回の行列演算を使う最小自乗法に基づく解析
的手法を、誤差パラメータを０とした前記関係式（１）
（２）の解法に適用した場合、行列演算に逆行列が含ま
れることにより、解が必ずしも収束せず大きな誤差が含
まれ易い。又この誤差の度合を判定することができない
ため得られる解の精度を保証することもできない。実際
に種々の実験条件について試してみると、誤差が小さか
ったり、大きかったりまた、ある場合には発散して予期
せぬ解が得られることがある。

以上２つの解法の問題点を解決するため誤差パラメー
タを用い、２回の行列演算により解を求める新しい解析
手法について次に説明する。

前記関係式（１）を（２）に代入し、投影板10上に６
個以上の多数の特徴点について連立方程式を作り、行列
形式で表現すると次の関係式（３）ができる。

Ｇ・Ｎ＝Ｗ …（３） 但しＧはパターン投影器２の位置姿勢パラメータ
（a_kl），（k,l＝1,2,3）の関数であるA1〜A11を行列要
素とする行ベクトル（A1,…,A11）である。Ｗ＝（i1,
…,in,j1,…,jn）であり、ｎは特徴点の数である。Ｎは
投影板10に投影されたパターンの複数の特徴点の空間座
標系における３次元位置を２台のカメラ1,8を使って計
測した値、すなわち基準点の３次元位置と、対応するパ
ターン原板４上の特徴点座標とにより構成された11×2n
行列である。前記関係式（３）から行列Ｇの各要素を最
小自乗法に基づいて解析的に算出することができる。こ
の各要素の値から外部パラメータの初期値と誤差パラメ
ータを、行列Ｍの直交性を保存させながら算出する。前
記した１回だけの行列演算による方法では行列Ｍの直交
性が保証されないのに比べここでは保証されているのが
特徴的である。又、誤差パラメータの大きさから算出し
た外部パラメータの誤差の度合が分ることも大きな特徴
点である。ここで得られる外部パラメータ値は通常は誤
差が大きいので次の第２ステップの処理に入る。

誤差パラメータ値と外部パラメータ値の初期値を用いて
行ベクトル要素A1,A2,A3を修正した上で、前記関係式
（３）を次のように書き直す。

Ｐ・Ｑ＝Ｖ …（４） 但し 又、 当該関係式（４）から、最小自乗法を適用してＰの行列
要素を算出する。又、行列Ｍの直交性を保存させながら
誤差パラメータを算出する。誤差パラメータが無視でき
る程小さくなればA1,A2,A3を修正した上で再度関係式
（４）を算出する。但し、実際の実験では常に誤差パラ
メータが無視できる程に小さくて、この処理を繰り返す
必要がなかった。こうして得た行ベクトル（A1,…,A1
1）からパターン投影器２の位置姿勢パラメータを、行
列Ｍの直交性を使って容易に算出できる。実施例では画
像データ転送や特徴点抽出等すべてを含みVAX11/780で
４〜６秒以内で処理が完了できた。精度は位置0.1mm姿
勢５×10^-4ラジアンであった。

第５図はパターン構造の態様例を示す。

前記パターン投影器２の位置姿勢パラメータの校正法
において、予めパターン原板４の特徴点と投影板10に投
影されたパターンの特徴点を対応付けする必要があり、
この対応付けを容易にするパターン構造の代表例であ
る。パターンは白、黒、灰色の濃淡３階調を有し、図で
は白を２、黒を０、灰色を１として表示してある。各階
調はコーナー部分を除き同じ階調レベルが隣接しないよ
うに配置されている。

図中のP0に注目すると、P0は各階調のコーナー部分であ
り、かつ又、エッジの交点であってその左上の領域から
右回りに2,1,0,1の階調領域に囲まれている。そこでP0
のように階調領域のコーナー部分又はエッジ交点を特徴
点とし、特にノードと名付けそのノードの主コードを周
囲階調を使って３進４桁で表すこととする。P0の主コー
ドは（2101）となる。同様にP1〜P4はそれぞれ（101
2），（1020），（1012），（0212）のコードをもつ。
次にノードP0の最近接ノードP1〜P4のもつ主コードをノ
ードP0の補助コードとして与える。つまりP0の補助コー
ドは３進16桁（1012,1020,1012,0212）となる。そこで
ノードP0の特徴コードを主コードと補助コードで表すと
３進20桁となる。特徴コードは1458種できる。このこと
は38×38の格子板パターンでは１つの特徴コードは１回
しか表われないことを示している。パターン像からノー
ドと特徴コードを識別し、ノードの３次元位置を算出す
る処理手順の実施例については特願昭62-23764号「空間
パターンコード化方法」ですでに開示してある。

パターン原画の例として３値格子板パターンを示した
が特徴点の対応が可能なパターンであればどんなパター
ンであっても構わない。例えば３色パターンでもよい。
特徴点は、投影器２の投影位置姿勢の校正目的において
は必ずしも多数である必要がない。原理的には最低６個
あればよい。但し画像中の雑音や画像のサンプリングに
よる量子化誤差の影響を小さくするため数十個用いて、
校正の精度、信頼性を高める方が望ましい。

投影パターンの特徴点の３次元位置を計測する際、実
施例では２台のカメラ1,8を用いて立体視計測したが、
投影板10の空間座標系における３次元位置が既知であれ
ば１台のカメラ１だけで投影パターンの特徴点の３次元
位置を決定できる。

さらに本発明の実施例では投影板10として白板を用い
たが必ずしも白板でなくても良く、又投影板10の位置２
か所について投影パターンの特徴点の３次元位置を計測
したが１ケ所であっても良い。但し１ケ所の場合にはパ
ターン構造に依存して精度、安定性が悪くなる可能性が
ある。

（３） 発明の効果 かくして本発明は、投影板にパターンを投影しその各
特徴点の３次元位置を予め撮像位置姿勢が校正された２
台のカメラを用いて計測した後、各特徴点と、パターン
原画の各特徴点とを対応付けする方法であるから、簡易
に校正することができる。

又、新たに提案した位置姿勢パラメータ算出手法で
は、パターン投影器の投影位置姿勢の近似解と３種の誤
差パラメータの計９個のパラメータを解析的に求め、次
に解析的手続きにより補正を行って誤差パラメータを極
小とする方法であるから近似解を容易に求めることがで
きるとともに誤差パラメータを算出しているため、近似
の度合が容易に分り、その補正手順は、解析的手法によ
っているため見通しが良く直接的であり簡易にかつ精度
が高くしかも本発明では座標系変換マトリクスの直交性
を保持しているので得られた解の信頼性、安定性がよ
く、汎用手法として利用できる利点を有する等優れた効
果を奏する。

【図面の簡単な説明】

第１図はパターン投影法の原理及びパターン投影器の位
置姿勢パラメータを説明する図、第２図はパターン投影
器の投影位置姿勢を校正する際の装置群の配置関係を模
式的に示した図、第３図はパターン投影器の投影位置姿
勢を校正する作業手順説明図、第４図はパターン投影器
座標系と空間座標系及びパターン投影器の位置姿勢パラ
メータの相関関係説明図、第５図はパラメータ構造の態
様例を示す図である。 １……撮像カメラ、２……パターン撮影器 ３……投影レンズ、４……パターン原板 ５……投影ランプ、６……カメラレンズ ７……カメラ結像面、８……補助カメラ ９……基準マーク板、10……投影板 O1,O2……主点、P1,P2,P3……主点位置 ｑ……投影点、q1……特徴点 q2……対応位置、T1,T2……延長直線 ξi,ξj,io,jo……光軸点 Lp……光軸長 Ｗ……測定対象物体

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−56814（ＪＰ，Ａ) 特開 昭62−30904（ＪＰ，Ａ) 特開 昭61−277012（ＪＰ，Ａ) 特開 昭62−291505（ＪＰ，Ａ) 特開 昭62−69106（ＪＰ，Ａ) 特開 昭61−129508（ＪＰ，Ａ) 特開 昭62−95403（ＪＰ，Ａ) 特公 平３−64801（ＪＰ，Ｂ２) 特公 平４−12801（ＪＰ，Ｂ２) 特公 平６−15973（ＪＰ，Ｂ２)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】投影パターンの６点以上の特徴点群の３次
   元位置を、撮像位置姿勢校正済みの２台以上の撮像カメ
   ラを用いて同時、又は時系列的に多点計測し、 ２台以上の撮像カメラによる多点計測にて得られた前記
   特徴点群の３次元位置と当該特徴点群に対応するパター
   ン原板上のパターンの特徴点群の座標値から空間座標系
   とパターン投影器座標系の相関関係を求めるとともに、
   当該相関関係からパターン投影器の位置姿勢パラメータ
   を得る、 ことを特徴とするパターン投影器の位置姿勢校正法。
2. 【請求項２】前記パターン投影器の位置姿勢パラメータ
   の取得手順は、 前記空間座標系とパターン投影器座標系間の直交性を有
   する変換行列と、外部パラメーターの誤差を内部パラメ
   ーターの誤差として間接表現した誤差パラメーターとを
   最小自乗法に基づく行列演算により解析的に算出してパ
   ターン投影器の位置姿勢パラメータの近似値を求めた
   後、 前記誤差パラメータを初期値として用いて前記変換行列
   及び前記誤差パラメータとを再度最小自乗法に基づく行
   列演算により解析的に算出してパターン投影器の位置姿
   勢パラメータの補正値を求め、 前記誤差パラメータが指定した値以下になるように前記
   補正を繰返すことによってパターン投影器の位置姿勢パ
   ラメータを得る、 ことを特徴とする特許請求の範囲第１項に記載のパター
   ン投影器の位置姿勢校正法。
3. 【請求項３】パターン原板上のパターンは、 パターン構造を少なくとも濃淡３階調又は少なくとも３
   色階調の市松模様から成る３値以上の格子板パターンと
   し、各階調領域のコーナー部分又はエッジ交点もしくは
   各階調の境界点を特徴点とした、 ことを特徴とする特許請求の範囲第１項又は第２項に記
   載のパターン投影器の位置姿勢校正法。