JP6061631B2 - 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム - Google Patents

Description

本発明は、三次元物体の三次元位置の情報を取得する計測装置および情報処理装置に関する。

計測対象物体の三次元位置情報を取得する技術の一つとして、パターン投影法によって距離画像を計測する技術がある。

パターン投影法では、まず、二次元パターンを投影装置によって被計測空間に投影する。そして、撮像手段（カメラ）で被計測空間を撮影した画像からパターンを検出し、検出されたパターンを用いた三角測量により計測対象物体までの距離を計測する。

一般的に、出力となる距離値は，撮像画像の各画素値として表現されることが多い。そのような各画素が距離を示す画像は距離画像と呼ばれる。

距離画像を計測するときに利用する投影パターンは、三角測量によって距離を計算するときに利用する直線などの図形（以下、測距図形と呼ぶ）と、その図形を他の図形と区別するために埋め込んでおく幾何学的な模様や色の組み合わせなどの識別子からなる図形（以下、識別図形と呼ぶ）で構成される。

距離画像の被計測空間における計測密度を高めるためには、投影パターンの測距図形の密度を上げることが望ましい。しかしながら、三角測量を実行するためには測距図形を互いに区別することが必要である。そのため、距離を測るための手がかりとして、パターン全体の中で唯一の識別が可能な識別図形を、測距図形に埋め込んでおく必要がある。

これと別の方法としては、被計測空間にある計測対象物体を連続した滑らかな面であると仮定する。そして、識別図形を用いずに測距図形の連続性に基づいて測距図形の同定をする方法もある。

非特許文献１には、距離画像を連続的に計測することで、連続したフレーム間では測距図形が大きく変動しないことに基づいて、識別図形の変化を検出し、投影パターンを変更する方法が開示されている。非特許文献１において、測距図形は平行な直線である。また、識別図形には色が異なる斜線が配置されている。パターンには、測距図形と識別図形の交点に符号となる図形を配置する。

その配置された符号の有無を符号列とし、隣接する測距図形の番号とする。そして、連続するフレームの間の識別図形、測距図形の検出誤差に応じて投影パターンを変更する。検出誤差が大きい場合には、測距図形の間隔を広くし、識別図形の繰り返しを少なくする。これにより、隣接する図形との距離が広くなるため、測距箇所の数は減少するが、誤検出の可能性が減少する。また、距離点の総量に関しては、フレーム間で大きな変動が減少する。

Ｔｏｈｍａｓ Ｐ． Ｋｎｏｎｃｋｘ ａｎｄ Ｌｕｃ Ｖａｎ Ｇｏｏｌ， "Ｒｅａｌ−Ｔｉｍｅ Ｒａｎｇｅ Ａｃｑｕｉｓｉｔｉｏｎ ｂｙ Ａｄａｐｔｉｖｅ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． ２８， Ｎｏ．３， ｐｐ． ４３２−４４５， （２００６）． Ｂｅｓｌ Ｐ．Ｊ． ａｎｄ ＭｃＫａｙ， Ｎ．Ｄ．"Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３−Ｄ Ｓｈａｐｅｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１４， Ｎｏ．２， ｐｐ． ２３９−２５６， （１９９２）． Ｙ． Ｃｈｅｎ ａｎｄ Ｇ． Ｍｅｄｉｏｎｉ， "Ｏｂｊｅｃｔ ｍｏｄｅｌｉｎｇ ｂｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｖｏｌ． ３， ｐｐ． ２７２４−２７２９， （１９９１） Ｇｒｉｆｆｉｎ， Ｐ．Ｍ．， Ｌ．Ｓ． Ｎａｒａｓｉｍｈａｎ ａｎｄ Ｓ．Ｒ． Ｙｅｅ， Ｇｅｎｅｒａｔｉｏｎ ｏｆ ｕｎｉｑｕｅｌｙ ｅｎｃｏｄｅｄ ｌｉｇｈｔ ｐａｔｔｅｒｎｓ ｆｏｒ ｒａｎｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ． ２５， Ｎｏ．６， ｐｐ．６０９−６１６， （１９９２）

１枚の投影パターンによる距離撮像取得方法は、複数枚の投影パターンを必要とする手法に比べて短時間で距離画像を取得できるため、高速性が要求される場面で利用される。上記非特許文献１に開示されている技術では、測距図形と識別図形の検出精度が、計測対象の表面形状に依存する。

従って、測距図形の密度が高くなると、隣接する測距図形間における誤検出が発生しやすくなる。また、識別図形に関しても、多くの構成数が必要となる。個々の図形要素も大きくなり、識別判定のための閾値設定が困難になる。

これらの投影パターンの調整を行う方法として、非特許文献１では、識別図形と測距図形の繰り返し間隔を連続した距離撮像中の検出誤差の変動に応じて調整する方法が開示されている。

しかしながら、連続するフレームで緩やかに変化する対象物体に投影されたパターンの誤検出率を利用しているため、変化が大きい環境や、１枚の距離画像のみを撮影する場合への適用が困難であった。つまり、１枚の投影パターンによる距離画像を効果的に取得できる投影パターンの仕組みがなかった。

本発明は、上記課題を鑑みてなされたものであり、三次元位置計測において、投影パターンのパターン形状を適切に設定することを目的とする。

本発明は、計測対象の撮影画像を取得する撮影手段と、前記計測対象の概略の位置及び姿勢を示す概略位置姿勢と、該概略位置姿勢の誤差範囲を取得する取得手段と、前記概略位置姿勢と前記誤差範囲とに基づいて、前記撮影画像の中で前記計測対象が取り得る範囲を推定する推定手段と、前記計測された前記計測対象が取り得る範囲に基づいて、前記計測対象の三次元形状を計測するために投影されるパターンを決定する決定手段と、を有することを特徴とする。

本発明は、三次元位置計測において、投影パターンのパターン形状を適切に設定することが出来る。

第一の実施形態における三次元計測装置の構成を示す図である。 第一の実施形態における三次元計測装置の処理フローを示す図である。 第一の実施形態におけるパターン光のパターン形状を示す図である。 第一の実施形態における対象物体とパターン投影面との関係と、位置姿勢の精度と投影範囲との関係と、符号長と投影範囲との関係とを示す図である。 第三の実施形態における距離撮像装置の構成図である。 第四の実施形態における計測対象物体の位置姿勢を推定するための装置の構成を示した図である。 符号化長とＮ行Ｍ列の数列との関係を示す図である。

（第一の実施形態）
図１は、本実施形態における三次元計測装置の構成を示す図である。

３次元情報保持部２０は、計測対象に関する３次元情報を保持する。ここでの３次元情報とは、計測対象物体の大きさ、形状を既定する値を有するもので、数値のテーブルやポリゴンモデルなどの表現を利用することができる。

位置姿勢を含む推定状態保持部１０は、計測対象物体が観測空間においてどのような状態にあるかを示す値を保持する。推定状態保持部１０は、事前に設定された３次元空間における計測対象物体の位置と姿勢を少なくとも含む情報を保持する。

識別分解能調整部３０は、３次元情報保持部２０が保持する情報と、位置姿勢を含む推定状態保持部１０の保持している情報を利用して投影パターンの識別分解能に関するパラメータを調整する処理部である。

本実施形態において、識別分解能に関するパラメータは、パターン光のパターン形状のパラメータを含むものとする。また、パターン光のパターン形状のパラメータは、パターン光のパターン間の密度、パターン光のパターンの符号列の長さを含むものとする。

投影パターン構築部４０は、識別分解能調整部３０で調整されたパラメータを用いて、投影パターンを構築する処理部である。以上説明した、位置姿勢を含む推定状態保持部１０、３次元情報保持部２０、識別分解能調整部３０、投影パターン構築部４０は、一般的な記憶媒体、ＣＰＵなどを有する制御手段
などで構成することが出来る。そして、制御手段は、情報処理装置として機能し、各種処理を行うためのコンピュータプログラムが格納された記録媒体からコンピュータプログラムを読み出し、各種処理を行う。

以下、図２を用いて、本実施形態における三次元計測装置の処理フローを説明する。

（ステップＳ１０）ステップＳ１０では、本実施形態における三次元計測装置が、位置姿勢を含む推定状態保持部１０から対象物体の位置姿勢と誤差範囲との情報を取得する。

ここでは、物体の位置と姿勢は、既定された３次元座標系において、並進成分と回転成分で表現する。誤差範囲とは、それぞれの位置と姿勢に対して、その値の不確からしさや、精度として表現された値である。誤差範囲は、物体の変動範囲として表現しても良い。

ここでは、誤差範囲は、位置姿勢パラメータの分散値とする。物体の位置姿勢を並進成分（Ｘｍ，Ｙｍ，Ｚｍ）、回転成分（Ｒｘ，Ｒｙ，Ｒｚ）とし、そのときの並進成分の分散値を（σｘｍ、σｙｍ、σｚｍ）、回転成分の分散値を（σｒｘ、σｒｙ、σｒｚ）と表現する。よって、１２個のパラメータで表現することが出来る。

計測対象物体の位置姿勢に関しては，物体を撮影する環境としておおよその値が決まっている場合には、その値を用いることができる。たとえば、計測台と撮像装置の配置関係が固定されていて、計測台に計測対象物体を配置した場合には、計測台までの位置関係、配置位置などの概略値を利用することができる。

また、撮影画像中に含まれる計測対象物体の像をグラフィカルインターフェース（ＧＵＩ）で提示してユーザに画像中の対象物体の範囲を選択させて、そこから各パラメータを算出しても構わない。

ここでは、撮像装置のカメラが撮像した画像を利用して、位置姿勢のうち位置を決める手順について述べる。基本的に、三角測量（三角法）に基づく位置算出である。

カメラパラメータが既知であるとして、カメラと物体までの距離をＺｄとする。このＺｄは、メジャーにより計測したカメラと物体までの距離を概算値として用いる。ＧＵＩにより、カメラで撮影した画像を提示して、物体の領域の中心を指定する。なお、画像処理で行う場合には、計測対象物体と背景とを分離できるように２値化し、対象領域の重心を求めれば良い。領域中心の画像座標系（Ｕｂ，Ｖｂ）は、次式で３次元空間の位置へ変換できる。

ここで、カメラパラメータのＸ軸方向の焦点距離をｆｘ、Ｙ軸方向の焦点距離をｆｙ、Ｘ軸方向の主点位置をｃｘ、Ｙ軸方向の主点位置をｃｙとする。

位置の分散値（σｘ、σｙ，σｚ）は、対象物体が配置される範囲を指定する。ここでは、対象物体が設置台の範囲のいずれかの位置に置かれている場合を想定して、設置台の面をカメラから観測した場合の設置範囲を事前に取得し、その値を（σｘ、σｙ、σｚ）として設定する。実際には、より確からしい分散値が取得できるのであれば、それを設定するほうが良い。

回転軸まわりの回転として、（Ｒｘ，Ｒｙ，Ｒｚ）および、その分散値（σｒｘ、σｒｙ、σｒｚ）は、カメラ座標系でのモデルの姿勢の初期値と、その誤差を設定する。対象が球体に近い物体であれば、このいずれの値も任意で構わないが、細長い形状を有する場合には、姿勢の情報は重要になってくる。ＧＵＩでモデルの姿勢を変化させて、撮影した画像中の対象と類似する見えのときの姿勢値を利用する方法で簡単に設定できる。また、姿勢の分散値は対象物体の形状にも依存するので、任意に設定すれば良い。

位置姿勢を含む推定状態保持部１０では、物体の位置姿勢と、その不確からしさの値が保持されていれば良く、その表現方法や保持手段については問わない。例として、位置姿勢の値の不確からしさとしては、事前に登録された情報との差も不確からしさの指標として使うことができる。対象物体を事前に複数の視点で観察したものを画像として保持しておき、対応する視点の画像と、撮像画像との相関値を用いても構わない。また、事前に登録された視点と、保持している位置姿勢との差を用いても構わない。ここでは、何らかの位置姿勢の状態を数値として表現し、その位置姿勢の値の確からしい範囲が利用できるようになっていれば何れの表現や算出方法であっても構わない。

なお、対象物体の位置姿勢が不明な場合には、分散値が撮像画面の大きさになるように設定すれば良い。これにより、撮像画面中のどこかに対象が映り込む想定として取り扱える。

（ステップ２０）
ステップＳ２０では、本実施形態における三次元計測装置が、３次元情報保持部２０から対象物体の３次元情報を取得し、ステップＳ１０で取得した位置姿勢に関する情報を用いて、撮影画像中の対象物体の投影範囲を推定する。ここでは、その範囲は、モデル投影範囲と呼ぶ。

３次元情報保持部２０は、計測対象物体の３次元情報として物体の形状情報に関する情報を保持している。具体的には、物体表面を離散的なポリゴンで近似したモデルであっても構わない。また、計測対象物体を直方体、円柱、球体などの単純な立体図形で近似した場合の形状と大きさであっても構わない。

例えば、事前に設定した視点で計測対象物体を撮影した撮影画像を用いる場合、当該撮影画像と撮像装置の位置姿勢から、計測対象物体を含む範囲の視錐体でモデル投影範囲を表現することが出来る。

この３次元情報保持部２０の形状モデルが、ステップＳ１０で取得した３次元の位置姿勢とその誤差を考慮した範囲に存在するとして、パターン投影面の画像座標に投影される範囲を計算する。

ここでは、対象物体の３次元情報保持部２０において、３次元情報としての形状が直方体の場合を説明する。直方体の重心を原点として各頂点座標をＢ（ｉ）＝［Ｘ（ｉ），Ｙ（ｉ），Ｚ（ｉ）］とする（ただし、ｉ＝１〜８）。

ステップＳ１０により取得した位置姿勢は、カメラ座標系での値として並進成分（Ｘｍ，Ｙｍ，Ｚｍ）、回転成分（Ｒｘ，Ｒｙ，Ｒｚ）とする。

頂点Ｂ（ｉ）がカメラ座標系に変換されてＢｃ（ｉ）＝［Ｘｃ（ｉ），Ｙｃ（ｉ），Ｚｃ（ｉ）］とすると、次の式２で計算することが出来る。

さらに、カメラ座標系から投影パターンを投影する装置の座標系への変換を表す基礎行列Ｅが事前の校正値から得られているものとする。すると、カメラ座標系における頂点から投影パターンの座標系の頂点Ｂｐ（ｉ）＝［Ｘｐ（ｉ），Ｙｐ（ｉ），Ｚｐ（ｉ）］に変換する方法は、基礎行列Ｅにカメラ座標系での頂点Ｂｃ（ｉ）を乗じて、Ｂｐ（ｉ）＝Ｅ・Ｂｃ（ｉ）で計算することが出来る。

各頂点Ｂｐ（ｉ）の投影パターン画面への投影位置ＵＶｐ（ｉ）を計算する。

ここで、ｆｐｘ、ｆｐｙは投影パターン座標系におけるＸ軸方向、Ｙ軸方向の焦点距離である。頂点Ｂ（ｉ）からＵＶｐ（ｉ）までの計算は、３次元情報を点とした場合には、同じように計算することができるので、直方体に限定するものでは無い。

次に、各頂点Ｂ（ｉ）に対して並進成分の誤差成分として（σｘ、σｙ、σｚ）と、姿勢成分の誤差成分（σｒｘ、σｒｙ、σｒｚ）が加算／減算された頂点位置をそれぞれＢ^＋（ｉ）、Ｂ⁻（ｉ）とすると、次式のようになる。

Ｂ＋（ｉ）を用いて、（Ｘｍ＋，Ｙｍ＋，Ｚｍ＋）と（Ｒｘ＋，Ｒｙ＋，Ｒｚ＋）からＵＶｐ＋（ｉ） を算出する。Ｂ−（ｉ）は、（Ｘｍ−，Ｙｍ−，Ｚｍ−）および （Ｒｘ−， Ｒｙ−， Ｒｚ−）からＵＶｐ−（ｉ）を算出するのに用いる。

モデル投影範囲は、ＵＶｐ（ｉ）、ＵＶｐ^＋（ｉ）， ＵＶｐ⁻（ｉ）の３つの投影点の全てを含む矩形範囲として設定される。ここでは、各投影点の最小、最大の値を抽出して、それらを含む矩形として設定すれば良い。誤差範囲のパラメータ内に実際の物体があれば、モデル投影範囲のいずれかの位置に計測対象物体が映り込む。本実施例では、計測対象物体を内包する直方体として説明したが、基本的には位置または姿勢の変動、不確からしさとしての分布から、計測対象物体の投影範囲が設定できれば良い。計測対象物体を複数の直方体として表現して、それぞれの投影位置の最大、最小の値を利用しても構わないし、球や円柱などの別の幾何図形で表現して、投影位置を計算しても構わない。計測対象物体のポリゴンモデルからなる投影図形を利用しても構わない。

ここでは、対象の３次元情報として形状の値を、ステップＳ１０で設定された位置姿勢を含む状態を反映するようにモデルとして配置しておく。そして、そのときの投影パターンの画面へ投影計算を行う。尚、モデル投影範囲を決定することが出来れば他の計算方法でも構わない。

例えば、上記実施形態では、３次元情報から投影パターンの画面への投影計算に、ピンホールカメラモデルを利用した投影計算を行った。しかしながら、計測対象物体の奥行き値が変化せずに、カメラ面に対して平行な面に移動する場合には、正射影モデルを利用しても良い。

また、投影パターンの座標系とカメラ座標系のベースラインが短い場合は、モデル投影範囲をカメラ座標系で計算した値で近似しても構わない。

（ステップＳ３０）ステップＳ３０では、三次元計測装置が、ステップＳ２０で計算されたモデル投影範囲に対して、投影パターンの識別図形の識別分解能によるパターンの大きさと測距図形の密度に応じた領域が含まれるように、識別分解能を決定する。

非特許文献４によるＤｅ Ｂｒｕｉｊｎ数列を利用した識別図形の生成方法を利用する場合には、図３に示すパターンのサイズと、測距図形の間隔を乗じた投影パターン面積が、モデル投影範囲を内包するように設定されれば良い。

位置姿勢の誤差が小さい場合には、モデル投影範囲が小さくなり、測距図形の間隔を固定した場合には、識別図形の符号長が短くなる。

符号長が短くなると、識別図形の個数が少なくなり、それぞれの図形の識別が容易になるため、安定した検出が可能となる。また、１回あたりの識別パターンの数列との照合回数も減少するので、処理時間も短くなる。

非特許文献４では、Ｎ行Ｍ列の数列中の３ｘ３の数値の配置が固有となるパターンを生成する方法が開示されている。識別図形のパターン数をｋとすると、Ｎ，Ｍは式５で示す数となる。

図７は、符号化長とＮ行Ｍ列の数列との関係を示す図である。

ｋは符号化長として、図７にそのときのＮとＭの値を示す。具体的な数列の例としてＤｅ Ｂｒｕｉｊｎ数列による行を Ｖｈｍ 、Ｖｈｎ とし、ｋ＝３の場合を式６に示す。

この数列から、パターンの値 ｆ（ｉ，ｊ）を式７のように示すことができる。

ここで、ｆ（０，ｊ） ＝ Ｖｈｍ（ｊ） とする。計算された数列を図３（ａ）に示す。この数列は、数列の３ｘ３の選択範囲における値の配置が他の３ｘ３とは異なる固有な配置になっていることが特徴である。

ここで示された数値に対応して、識別図形を用意する。図３（ｂ）では、｛１，２，３｝に対して、色が異なる円形図形２１０を識別図形とする。図３（ｂ）では、格子状の測距図形２３０の格子点に識別図形２１０を含むパターン図形が物体表面に投影した例である。

点線で示した枠線２２０のパターンが図３（ａ）の２００に対応するパターンを有している。同様に識別図形を矩形の配置により表現した例を、図３（ｃ）に示す。

識別図形２４０は、２ｘ２の矩形の配置で対応する数値を示す。図３（ｃ）中の点線の枠線２５０が図３（ａ）の３ｘ３のブロック２００に対応する。

投影パターンは、識別図形の数により構成されるパターンの大きさと、測距図形の密度により、実際の投影面積が決定される。

図４（ａ）は、一般的なピンホールカメラモデルによる対象物体とパターン投影面との関係を示している。実際に観察される対象物体の投影像に対して、位置姿勢は正確ではないため、投影像にはズレが生じる。

このズレは、位置姿勢の精度、誤差に起因する。図４（ｂ）は、位置姿勢の精度と投影範囲との関係とを示した図である。精度が良い場合には、実際に観察される対象物体の投影像と、３次元モデルの投影像との差が小さくなる（図４（ｂ）左図）。

一方、誤差を多く含む場合には実際の対象物体の投影像に対して、３次元モデルの投影像のズレが大きくなる（図４（ｂ）右図）。

ここで、誤差を含む投影像の取り得る投影範囲を計算により求める。

図４（ｂ）左図は位置姿勢の精度が良い場合として、その３次元モデルの投影範囲３１０の高さ方向をＨ１とする。また、図４（ｂ）右図は位置姿勢の精度が悪い状態として、その３次元モデルの投影範囲３２０は、投影範囲３１０よりも大きくなり、その高さ方向をＨ２とする。

ここでは、Ｈ１，Ｈ２のそれぞれの範囲が含まれるパターンが生成できれば良い。図７のＮとＨ１とＨ２の値を比較して、Ｈ１，Ｈ２のそれぞれが含まれる最小の符号化長をここでは選択する。Ｈ１では、モデル投影範囲が小さいため、符号化長が３のパターンで投影範囲３１０をカバーすることができる。一方、Ｈ２ではモデル投影範囲３２０が大きいため符号化長が６の大きいパターンを利用するように決定する。

なお、他の識別図形を利用する場合には、ここで説明した方法と同様に、モデル投影範囲と、識別図形の範囲を調整できるようにすれば良い。

ステップＳ４０では、ステップＳ３０で決定された符号化長によるパターン図形を、ステップＳ２０で計算されたモデル投影範囲にビットマップ画像として配置することで投影パターン画像を生成する。符号化長によるパターンは事前に生成しておくことができるため、投影画像全体のビットマップに、パターンを含む矩形をモデル投影範囲にコピーすれば良い。

投影パターン構築部４０は、識別分解能調整部３０の情報から投影パターンを構築する。測距図形と識別図形の各パラメータに応じて投影パターンを作成する。なお、事前にパラメータに応じたパターン画像を生成しておいて、それを読み込んで投影パターンとしてビットマップに設定しても構わない。ここでは、ステップＳ３０により設定された測距図形と識別図形がパラメータにより投影パターンが投影できるように準備できていれば良く、利用する測距図形や識別図形に関する限定は無い。

（第二の実施形態）
前述の実施形態は、識別図形の符号化長をパラメータとして、誤差を含む位置姿勢の情報から３次元モデルを利用して投影されるモデル投影範囲を計算した。そして、その範囲をカバーする識別図形の大きさとして符号化長をパラメータとして決定した。異なる手法として、識別分解能調整部３０において、投影パターンを決定する他のパラメータを調整しても構わない。

計測線を含む測距図形の間隔をＤとすると、実際の投影パターンの大きさは識別パターンのサイズが（Ｎ，Ｍ）であることから、（ＮｘＤ，ＭｘＤ）の範囲となる。そのため、識別分解能調整部３０ではＤをパラメータとしてパターン調整しても構わない。具体的には、モデル投影範囲が（ＮｘＤ、ＭｘＤ）のパターンが内包されるＤを決定すれば良い。Ｄが大きい場合には、計測線の密度が低くなるため距離画像が疎になり、隣接する識別図形同士との隙間が広くなる。よって、誤検出が減少して、安定した検出が可能となる。一方で位置姿勢の精度が良い場合には、より計測線の密度を高めることができる。

さらに、識別分解能調整部３０では、識別図形の符号化長と測距図形の間隔の２つのパラメータを同時に利用しても構わない。識別図形の識別数が増加すると、それぞれの識別図形を判別することが難しくなるため、その場合には測距図形の間隔を広げるように調整することもできる。

（第三の実施形態）
第三の実施形態として、距離撮像装置の投影パターンの生成の処理として利用することができる。

図５は、本実施形態の距離撮像装置における構成図である。

３次元情報入力部は、モデルの情報として計測対象物体を基本的な図形に近似したときの寸法を入力する。入力には、画面に表示してユーザが選択できるようになっていても構わないし、ファイルにより記述された値を読み込む方法でも構わない。計測対象物体の３次元情報が距離撮像装置へ入力できるようになっていれば良い。

概略位置姿勢情報入力部は、計測対象物体の距離撮像装置における位置姿勢を入力する。本装置と計測対象物体の配置情報が既知であれば、それを利用しても構わないし、連続した計測で前回の場所とほぼ同じであれば、その値を流用しても構わない。

点線の枠内のブロックについては第一の実施形態で前述した処理ステップを行う。

本実施形態の装置は，投影パターン構築部で生成した投影パターンを投影して撮像することで、距離画像を取得する距離画像取得装置とする。パターン投影部とパターン撮像部は、実際の機器としては液晶プロジェクタとデジタルカメラを利用することができる。また、投影パターンをフィルムとして保持し、識別分解能に応じてフィルムを切り替えるパターン投影でも構わない。また、ＬＥＤやレーザーのスポット光を走査しながら輝度制御するパターン照射でも構わない。ここでは、複数のパターンが切り替えられて、計測対象物体の反射像として撮影できれば、本実施形態においては問題無い。なお、パターン投影とパターン撮像の相対的な配置や、カメラパラメータ、レンズの歪み係数の距離算出に必要な校正値は事前に得られているものとする。

識別図形復号部は、撮像画像中に含まれる識別図形の検出と、対応する数値情報への復号化を行う。検出方法は、カラー部位検出や、しきい値処理などそれぞれの識別図形が検出される画像処理の手順を実行すれば良く、その情報は投影パターン構築部と対応しているものとする。

測距図形検出部は、識別図形復号部で検出された近傍の測距図形を検出して、投影パターンの画像位置との対応付けを行う。

距離値算出部は、測距図形検出部で対応づけられた投影パターンの画像位置と、撮像画像中の検出位置との関係から三角測量により測距図形の３次元位置を算出する。パターン投影画像面のあるパターンの座標をｍ＝［ｕ、ｖ、１］^Ｔとする。撮像画像上の射影パターン位置ｍ’ ’＝［ｕ’ ’、ｖ’ ’、１］^Ｔとする。実際に投影されたパターンを撮像し、検出された座標を実投影パターンの撮像画像上の位置を実射影パターン位置ｍ’’とパターン位置ｍとする。ローカル座標変換行列Ｒ（３ｘ３行列）、ｔ（ｔｘ，ｔｙ，ｔｚ）、そして、実パターンの３次元投影位置Ｍ’の関係は次式のようになる。

Ｍ’は、左辺の行列式の一般化逆行列を両辺に掛け合わせることで求めることができる。

距離画像生成部は、各測距図形の画像位置に対して距離値を対応づけた距離画像を生成する。

本実施形態の処理により、距離画像中に含まれる対象物体の大きさに応じた識別図形の符号化長が適応的に調整される。よって、投影パターン全体を含む符号化長の識別図形を用いた場合と比較して、安定したパターン検出と、数列の比較にかかる時間を短縮することによる処理高速化の効果がある。

（第四の実施形態）
図６は、本実施形態における計測対象物体の位置姿勢を推定するための装置の構成を示した図である。

第三の実施形態に含まれる距離算出の処理は、投影パターン距離測距部で行うとする。投影パターン距離測距部による距離画像を利用して位置姿勢推定部では対象物体の３次元情報と概略位置姿勢から精度良い位置姿勢を推定する。なお、位置姿勢の推定結果は、位置姿勢推定結果出力部より出力される。

位置姿勢推定部の処理は、３次元情報入力部から入力された対象物体の形状モデルと投影パターン距離測距部からの距離画像に含まれる距離点との間の距離が小さくなるように位置姿勢の推定演算を行う。位置姿勢の推定方法として非特許文献２に開示されるＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法や、非特許文献３に開示される方法を利用すれば良い。これは、距離画像の各距離点との間で最近傍の形状を構成する面の対応を求め、その対応する面と距離点との距離を最小化するように位置姿勢のパラメータを更新するものである。非線形最適化の初期値としては、概略位置姿勢情報入力部の位置姿勢を利用すれば良い。

ステップＳ１０での位置姿勢の状態として、位置姿勢推定部の値を用いることができる。位置姿勢推定では、位置姿勢の各パラメータの微小変化に伴う特徴点の画面上の変化を示した画像ヤコビアンを利用する。

画像ヤコビアン行列をＪとして、観測エラーベクトルＥ、パラメータの補正項ベクトルΔと表現すると、線形一次近似により ＪΔ＝Ｅと表現できる。パラメータの補正項Δを、Ｊの一般化逆行列を用いて次式より求める。

式９の補正項Δは、実際の対象物体の位置姿勢パラメータの差を意味している。この補正項Δは、誤差分布の共分散行列から算出されるものであり、現在の位置姿勢の推定状態における分散の値となる。

実際には、距離画像を算出する前に、画像中のエッジを利用した位置姿勢推定を行い、その結果を利用しても良い。画像のエッジを利用する方法は、撮像装置により撮影された画像の１枚があれば良く、対象物体の３次元情報として輪郭として検出できるエッジに関する情報が取得できるので、カメラ座標に投影したときの画像ヤコビアンと初期値を用いることで、補正項Δに相当する値を算出することができる。

本実施形態では、位置姿勢推定部の結果を流用することで、より詳細な３次元の位置姿勢と、その分散値が求められるため、モデル投影範囲が正確になり、識別分解能の調整の精度を向上することができる。これにより、余計な符号化長を削減できるため、識別図形の検出安定化と、パターンの数列照合にかかる処理時間を短縮できる効果を持つ。

（第五の実施形態）
識別分解能調整では、位置姿勢を含む情報であれば、本発明の効果が得られることから、次のような計測対象の位置姿勢および幾何形状に関する情報を利用することもできる。情報とは、焦点距離との差、計測対象の面の向き、モデルの姿勢に応じた視点別に生成したモデルの観察画像との類似度、視点別モデルの視点と視線方向と保持している位置姿勢との差、距離計測あいまい性、である。以下、それぞれについて説明する。

＜焦点距離との差＞
投影パターンを照射には光学レンズが用いられる。また、その撮像装置でも光学レンズを用いる。それらの光学素子では焦点距離が一致する範囲が限定され、ピントが合うところ合わないところがある。ピントが合っていない範囲では、焦点ボケにより図形要素のエッジが不鮮明となり検出が難しくなる。そこで、位置姿勢の情報として奥行き情報である形状表面と焦点距離との差を用いることができる。その差が長い場合には、識別分解能を上げることで、奥行き方向の計測点を増やす。また、焦点距離のピントが合う範囲であれば識別分解能を下げても平面様なので対応が容易にできる。

具体的には焦点ボケによる大きさを画素値として表す。ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いて、理想的な１点を撮影したときのボケによる周辺画素の広がりをσとすると、少なくともσよりも短い間隔でパターンや計測線を配置すると、ボケにより識別が困難になる。そこで、σの値よりも幅の広い間隔でパターンを生成するように設定すれば良い。例えば、３σにしたときの画素値換算の値をパターン識別の空間的な間隔とするように設定すれば良い。

＜計測対象の面の向き＞
投影装置と計測対象物体の各表面の向きもパターン投影では関係がある。面の向きが投影光に対して傾斜している場合には、反射光量が減少し、パターンのエッジが不鮮明となり検出が難しくなる。そこで、計測対象物体の各面と光源との向きとカメラの位置に基づき，反射光量が小さくなる傾斜の箇所を検出し，識別分解能を上げる．逆に，傾斜が小さい場合には識別分解能を下げる。

照明系のパターンを構成する１つの画素相当の領域から照射された光は、三角法により別の視点で観察した場合には、照射された面の法線方向により、広がって観察されることとなる。その広がりは光源方向と面の位置・姿勢とカメラの方向から算出される。そこで、計測対象物体の各表面の法線に対して、照射面の広がりを計算し、その広がりをσとすれば、前述と同様にσに応じてパターンの間隔を調整すれば良い。

＜テンプレート画像との類似度＞
観測画像の特徴検出位置と推定しているモデルとの差異を検出するために、事前に計測対象を複数の視点で観察したときの画像を用いることができる。その画像は、視点の情報を含むことから位置姿勢の情報としても利用できる。その視点別の画像に対して、撮像した画像とのモデル該当領域とのテンプレートマッチングを行い、その相関値を算出する。相関値は位置姿勢の誤差として用いることができるので、相関値が高い場合は識別分解能を上げて、値が小さい場合には識別分解能を下げれば良い。

まず、事前に設定している対象物体の配置における画像を複数毎取得する。そこで、部品領域に相当する部分の画像を抽出して平均化処理を行う。これを基準位置と併せて、テンプレート画像として登録する。次に、実際に撮影を行う際の対象物体の画像を取得し、テンプレートの基準位置での画素値の相互相関係数を計算する。基準位置よりズレている場合には、テンプレートとの相関値は低い値を示す。撮影対象がズレていることから、識別分解能を高くするために、符号長を長くすれば良い。ズレていない場合には、計測線や識別パターンの密度を高くするパターンを設定して、高密度な距離画像を取得するようにすれば良い。

＜テンプレート画像生成時の位置姿勢と推定位置姿勢との差＞
前述のテンプレート画像は、最終的な位置姿勢とは異なる位置姿勢で観測したものを事前に用意したものである。そのため、各テンプレート画像を取得した際の位置姿勢の情報と、推定中に位置姿勢との差を指標として用いることができる。テンプレートの位置姿勢と推定中の位置姿勢との差が大きい場合には、識別分解能を上げて、差が小さい場合には識別分解能を下げる。

複数の視点でテンプレート用の複数の画像を取得し、視点としてのカメラとモデルとの相対的な位置姿勢と平均化した撮像画像をテーブルとして保持する。次に、実際に撮影した対象の位置姿勢の値に対して、テーブルで保持している位置姿勢から最も近い位置姿勢を対応させる。テーブルの位置姿勢と、比較している撮影時の位置姿勢の差を計算する。位置に関してはユークリッド距離とし、姿勢に関しては回転軸まわりの回転角度の差を計算することができる。それらの位置姿勢の差が大きいときは、想定している状態よりも計測対象の部品がズレているとして、識別分解能を大きく設定して、計測線の誤対応を削減することができる。

＜距離計測あいまい性＞
３次元空間中における三角測量（三角法）の誤差のあいまい性の要因として、三角測量のパラメータであるカメラとプロジェクタとのベースラインと計測点までの距離に依存する関数であるσ_３Ｄを用いることができる。これは、距離が遠いほど距離計測の分解能が大きくなり、奥行き方向の分布が大きくなる。位置姿勢の変動範囲のうち、奥行きに関連するのはＺ方向の精度と、面の法線に関連するピッチ・ヨー方向の精度に影響する。

距離計測装置のあいまい性σ_３Ｄは、Ｂをカメラ間のベースライン、Ｚを計測点への距離、σ_ｉｍｇを計測点の画像上でのあいまい性、ｆをカメラの焦点距離とすると、次式のように表現できる。

σ_３Ｄを利用して、その領域にある計測対象物体に照射するパターンの識別分解能を調整しても構わない。あいまい性が大きい場合には、識別分解能を上げる。また、あいまい性が小さい場合には識別分解能を下げる。

これらの位置姿勢の推定状態の１つ以上を利用することで、識別分解能を決定することができる。その設定は、システムとして既定されていても構わないし、利用者が設定できるようになっていても構わない。

（第六の実施形態）
識別分解能調整部において、パターンの識別分解能に応じたパターンの切り替えとして、識別図形、測距図形を変更するパラメータとして調整が可能なものとして以下の対象も利用できる。これらは、サイズや間隔が変更されるとパターンのサイズも変更されるため、各要素のパラメータを調整してモデル投影範囲を内包するようにパラメータを決定すれば良い。利用可能な対象は、図形要素サイズ、パターンの切り替え、識別図形の有無、などである。以下、それぞれについて説明する。

＜図形要素サイズ＞
第一の実施形態において前述したように、図形要素のサイズを調整することができる。識別分解能が低い場合には、面積の小さいパターンを利用する。識別分解能が高い場合には面積が大きいパターンを利用する。

具体的には、撮影画像のボケや変動による大きさをσとしたしたときに、図形の大きさは、そのσよりも小さい場合には１つの図形要素として検出されない場合が発生する。そこで、識別分解能から算出される投影画面上での変動範囲のσから、図形の大きさがσよりも大きくなるように設定すれば良い。

＜パターンの切り替え＞
パターンの切り替えとして、識別分解能が高いものとして検出方向に左右されにくい円形状から、識別分解能が低い場合には細かいストライプで構成されるパターンなどを精度に応じて切り替える。

また、円形以外の場合にはパターンの向きも調整することができる。パターンの向きは、プロジェクタやカメラの走査方向や配置に応じて調整すれば良い。

ここでは、パターン図形の密度の違いとして「円」、「矩形」、「線」の要素と、識別分解能との対応をテーブルとして登録しておく。撮影した際の、パターンの識別分解能に応じて、対応する図形をテーブルから参照すれば良い。

＜識別図形の有無＞
３次元の位置姿勢の状態として、分散の値が十分小さい場合には、保持している位置姿勢と３次元の形状情報から、正確な物体表面への測距図形の投影位置が求められる。この場合、識別図形が不要となる。そのため、識別分解能調整部では、識別図形の生成パラメータとして、識別図形を生成しないという選択も利用することができる。これにより、識別図形の検出処理が無くなるため、処理量が低減され高速化でき、密な測距図形を利用して高密度な計測を行うことができる。

（第七の実施形態）
第一の実施形態では、モデル投影範囲として計測対象を全て含む矩形を設定した例を提示した。投影パターン中に含まれる識別図形は、対象物体を構成する各曲面の単位で、識別分解能調整を行うことが可能である。直方体であれば、６面の法線の異なる面を有しており、その各面（計測面）ごとに識別図形を変更すれば良い。当該手法では、位置姿勢を含む推定状態と、各面のモデルからモデル投影範囲が算出される。よって、その範囲ごとに識別分解能を行って投影パターンを決定することができる。これにより、投影範囲の面積がより小さくなり、識別図形の符号化長が短くなることで識別図形の検出が安定化し、パターンの走査照合時間が短縮されることで高速化となる。

具体的には、第一の実施形態の直方体の例で示した頂点を、面を構成する点列ごとに処理を行えば良い。

（第八の実施形態）
本実施形態では、前述の位置姿勢推定装置をロボット（ロボットハンド）による把持・組み立て（作業）において利用する場合を説明する。ロボットを含む構成では、対象物体の観察位置姿勢が組み立て作業のタスクごとに異なる。部品を把持するために離れた位置から対象物体を観察する場合や、対象物体を把持して組み付け先の部位を観察する場合では、対象物体の画面に占める大きさが変化する。ロボットと対象物体との距離が遠い場合には、ベースラインとの関係から視線方向の不確からしさが大きくなるため、識別分解能を高くして、投影パターンの投影位置の変動が大きくても識別図形が検出できるようにするように調整することができる。対象物体を把持して、所定の姿勢を維持している場合には、視線方向の不確からしさが減少して、位置または姿勢の精度が良くなるため、符号化長を短くするなどの識別分解能を低くする調整が可能となる。その場合、パターン走査照合時間が短縮されるため、短時間での位置姿勢推定が可能となる。なお、本実施形態ではロボット（ロボットハンド）による観察位置の変化に伴う識別分解能を変更する例を述べたが、対象物体の位置姿勢がタスクによって変化する場合も同様に本発明を適用することができる。ベルトコンベアに流れてくる複数の対象物体の、概略の位置を推定する場合には識別分解能が高い投影パターンを用いて、その中から特定の対象に対して把持を行う場合には、概略の位置が既知であるため、識別分解能が低いマルチラインをベースとした投影パターンを用いて密な距離画像を得ることが可能となる。つまり、対象物体の位置姿勢の変更を伴う駆動系を有するシステムにおいて、本発明の実施例は、観察位置や対象物体の配置の拘束条件などの情報を利用して識別分解能を変更することができる。

Claims (10)

1. 計測対象の撮影画像を取得する撮影手段と、
   前記計測対象の概略の位置及び姿勢を示す概略位置姿勢と、該概略位置姿勢の誤差範囲を取得する取得手段と、
   前記概略位置姿勢と前記誤差範囲とに基づいて、前記撮影画像の中で前記計測対象が取り得る範囲を推定する推定手段と、
   前記計測された前記計測対象が取り得る範囲に基づいて、前記計測対象の三次元形状を計測するために投影されるパターンを決定する決定手段と、を有することを特徴とする計測装置。
2. 更に、前記概略位置姿勢に基づき前記計測対象のモデル情報を前記撮影画像に投影する投影手段を備え、
   前記推定手段は、前記投影手段で投影された投影結果と前記誤差範囲とに基づいて、前記撮影画像の中で前記計測対象が取り得る範囲を推定することを特徴とする請求項１に記載の計測装置。
3. 更に、前記計測対象の距離画像を取得する距離画像取得手段を有し、
   前記決定手段は、前記計測対象の取り得る範囲と前記距離画像中に含まれる前記計測対象の大きさとに基づいて、前記パターンを決定することを特徴とする請求項１に記載の計測装置。
4. 前記パターンは、前記計測対象までの測距に用いる測距図形と、該測距離図形を識別するための所定の長さの符号列により生成される複数の識別図形を有しており、
   前記決定手段は、前記計測対象の取り得る範囲に基づいて、前記符号列の長さを決定することを特徴とする請求項１乃至３のいずれか１項に記載の計測装置。
5. 前記パターンは、前記計測対象までの測距に用いる測距図形を有しており、
   前記決定手段は、前記計測対象の取り得る範囲に基づいて、前記測距図形の密度を決定することを特徴とする請求項１乃至３のいずれか１項に記載の計測装置。
6. 前記パターンは、前記計測対象までの測距に用いる測距図形と、該測距離図形を識別するための所定の長さの符号列により生成される複数の識別図形を有しており、
   前記決定手段は、前記計測対象の取り得る範囲に基づいて、前記識別図形の有無を決定することを特徴とする請求項１乃至３のいずれか１項に記載の計測装置。
7. 前記決定手段は、前記計測対象の取り得る範囲と前記計測対象の面の向きとに基づいて、前記計測対象の計測面ごとに、前記パターンを決定することを特徴とする請求項１乃至３のいずれか１項に記載の計測装置。
8. 前記誤差範囲は、位置及び姿勢を示すパラメータの分散値であることを特徴とする請求項１乃至７の何れか１項に記載の計測装置。
9. 計測対象の撮影画像を取得する取得工程と、
   前記計測対象の概略の位置及び姿勢を示す概略位置姿勢と、該概略位置姿勢の誤差範囲を取得する取得工程と、
   前記概略位置姿勢と前記誤差範囲とに基づいて、前記撮影画像の中で前記計測対象が取り得る範囲を推定する推定工程と、
   前記計測された前記計測対象が取り得る範囲に基づいて、前記計測対象の三次元形状を計測するために投影されるパターンを決定する決定工程と、を有することを特徴とする計測方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の計測装置の各手段として機能させるコンピュータプログラム。

Images