JP6468802B2 - 三次元計測装置、三次元計測方法及びプログラム - Google Patents

Description

本発明は、特に、微細形状を持つ物体の三次元形状を計測するために用いて好適な三次元計測装置、三次元計測方法及びプログラムに関する。

従来、動的シーンに対応した三次元形状の計測手法として、複数の平行線で構成した照明パターンを物体に投影する光切断法が知られている（以降、複数の平行線をマルチスリット、それぞれの線を計測線と呼ぶ）。この手法では、物体上で観測される計測線が、投影したマルチスリットの何番目の計測線であるかを識別することにより、複数の計測線を用いた光切断法を可能にしている。また、マルチスリットの何番目の計測線を示す計測線番号の識別方法の一つとして、マルチスリットに何らかの特徴（識別特徴）を加えたパターンを利用する方法がある。

特許文献１に記載の方法では、マルチスリットの計測線上にランダムに切れを加えたパターンを利用して三次元形状の計測している。この方法では、計測線が切れにより複数の線分に分割されており、計測線を識別するために、この線分の両端２点の位置を手掛かりにして計算している。

特開平１−２７４００７号公報

M, Kimura, "Projector Calibration using Arbitrary Planes andCalibrated Camera"Computer Vision and Pattern Recognition, CVPR, 2007. R. Y. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses" IEEE Journal of Robotics and Automation, vol.RA-3, no.4, 1987. P. Felzenszwalb and D. Huttenlocher, "Efficient belief propagation for early vision," IJCV, vol.70, pp.41-54, 2006.

前述したように、物体の三次元形状を計測するためには、マルチスリットの計測線が観測され、さらにその計測線番号が識別される必要がある。特許文献１に記載の方法では、計測線番号を識別するために、線分の両端２点分の長さが必要になるため、微細部分では計測線番号の識別ができない。その結果、微細形状を持つ物体の三次元形状を計測することができない。

本発明は前述の問題点に鑑み、微細形状を持つ物体に対して、ロバストに三次元形状を計測できるようにすることを目的としている。

本発明に係る三次元計測装置は、複数の線から構成され、前記複数の線上にある特徴の少なくとも一部が不等間隔で配置されたパターンを投影手段から物体へ投影する出力手段と、前記パターンが投影された物体を含む画像を取得する取得手段と、前記取得手段によって取得された画像から前記投影されたパターンの線及び特徴を検出する検出手段と、前記検出手段によって検出した前記特徴の位置に基づいて、前記検出手段により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別する識別手段と、前記識別手段の識別結果に基づいて、前記パターンが投影された物体の三次元形状を計測する計測手段と、を備え、前記識別手段は、前記検出手段によって検出した特徴の位置に基づいて算出する前記パターン上の前記複数の線に対する対応度合いと、前記検出手段によって検出した複数の特徴の画像上での順序とに基づいて、前記検出手段によって検出した複数の前記特徴それぞれが前記パターンの前記複数の線のどの線に属するかの解の組み合わせのうち、前記対応度合いが高く、かつ前記順序と前記解の組み合わせとの整合性が高い前記組み合わせを選定することで、前記検出手段により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別することを特徴とする。

本発明によれば、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

計測線上に識別特徴を加えたパターンの一例を示す図である。 実施形態における情報処理装置の機能構成例を示すブロック図である。 第１の実施形態において、三次元形状を計測する処理手順の一例を示すフローチャートである。 識別特徴１点毎に計測線番号を識別する方法を説明するための図である。 第２の実施形態において、画像上で隣り合う識別特徴をつなげ合わせた結果の一例を示す図である。 第４の実施形態において、複数種類の識別特徴を有するパターンの一例を示す図である。 第１の変形例において、識別特徴を計測線上の切れ目とした場合のパターンの一例を示す図である。 第１の変形例において、識別特徴を計測線の太さと異なるサイズに設定したパターンの一例を示す図である。

（第１の実施形態）
本実施形態では、微細形状を持つ物体に対応した、三次元形状の計測手法について説明する。本実施形態では、図１に示すように、直線のマルチスリットの計測線１０１上に識別特徴１０２を加えたパターン１００を利用する。以下、本実施形態の詳細について説明する。

図２は、本実施形態における情報処理装置２００の機能構成例を示すブロック図である。
図２に示すように、本実施形態の情報処理装置２００は、投影装置２１０及び撮像装置２２０を外部に備えており、さらにパターン出力部２０１、画像取得部２０２、パターン検出部２０３、パターン識別部２０４、及び三次元計測部２０５を備えている。

投影装置２１０は例えばプロジェクタであり、濃淡を有するパターンを投影する装置である。なお、投影装置２１０の焦点距離や、主点位置、レンズ歪パラメータなどの内部パラメータ情報、及び撮像装置２２０に対する投影装置２１０の相対的な位置姿勢の情報は予め校正されているものとする。なお、校正方法については、例えば非特許文献１に示す方法を用いる。

撮像装置２２０は、濃淡画像を撮影するカメラである。同様に、撮像装置２２０の焦点距離や主点位置、レンズ歪パラメータなどの内部パラメータ情報も予め校正されているものとする。なお、校正方法については、例えば非特許文献２に示す方法を用いる。

パターン出力部２０１は、計測対象物体２３０に投影するためのパターンを投影装置２１０に出力する。画像取得部２０２は、パターンが投影された物体を撮像した画像を撮像装置２２０から取得する。パターン検出部２０３は、画像取得部２０２が取得した画像から、投影装置２１０によって投影されたパターンの計測線と識別特徴とを検出する。パターン識別部２０４は、パターン検出部２０３により検出された識別特徴１点毎に計測線番号を識別する。つまり、画像上の識別特徴が、マルチスリットの何れの計測線上の識別特徴であるかを識別する。三次元計測部２０５は、パターン識別部２０４の識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の三次元点の位置を算出する。

次に、本実施形態の処理手順について説明する。図４は、本実施形態により三次元形状を計測する処理手順の一例を示すフローチャートである。

（ステップＳ３０１）
パターン出力部２０１は、投影するパターンを投影装置２１０に出力し、投影装置２１０から計測対象物体２３０にパターンを投影する。ここで出力するパターンは、例えば図１に示すように、マルチスリットの計測線１０１上に識別特徴１０２を有するパターン１００である。投影するパターンは、計測線とパターンの背景部分とにおいて画像上で異なる画素値で観測され、さらに計測線と識別特徴とにおいても、画像上で異なる画素値で観測されるように設定する。本実施形態では、図１に示すパターン１００として、背景部分１０３に比べて計測線１０１が高輝度に投影され、さらに計測線１０１に比べて識別特徴１０２が高輝度に投影される濃淡パターンを用いる。

また、投影するパターンは、計測線が粗密なく投影されるように等間隔に配置されているものとする。さらに識別特徴は、識別性能を上げるために、異なる線同士で識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置されるようにする。本実施形態では、計測線上の識別特徴の間隔をＬ＋ΔＬとして設定する。Ｌはユーザーにより指定される固定値であり、ΔＬは所定の範囲［−ε〜ε］で発生させる一様乱数である。また、εはユーザーにより指定される固定値である。

（ステップＳ３０２）
撮像装置２２０は、計測対象物体２３０に投影されたパターンを撮像し、画像取得部２０２は、その画像を撮像装置２２０から取得する。

（ステップＳ３０３）
パターン検出部２０３は、画像取得部２０２が取得した画像から、計測線と識別特徴とを検出する。まず、画像から計測線を検出する前に、画像上の計測線と識別特徴との画素値の差が影響して識別特徴を境に計測線が分割された状態で検出されないように、画像に平滑化フィルタをかけ、計測線と識別特徴との画素値の差を少なくする。

そして、画像に平滑化フィルタをかけた後に、計測線を検出する。具体的には、平滑化後の画像に対してソベルフィルタを適用して画像上の画素値の極値（以降、エッジと呼ぶ）を検出した後に、画素間で隣接するエッジをラベリングすることにより計測線を検出する。そして、識別特徴を検出する。識別特徴を検出する際には、検出した計測線上の画素値（平滑化前の画像の画素値）のうち、周囲の画素と異なる画素値を持つ画素を探索することによって識別特徴を検出する。具体的には、計測線上の画素値を参照し、極値になる画素を識別特徴として検出する。

（ステップＳ３０４）
パターン識別部２０４は、パターン検出部２０３で検出した識別特徴の位置に基づいて、その識別特徴１点毎に計測線番号を識別する。以下、計測線番号の識別方法について、図４を参照しながら説明する。図４（ａ）に示す画像４００は、計測対象物体４０１を撮像した画像を表し、図４（ｂ）に示すパターン４１０は、計測対象物体４０１に投影したパターンを表す。

まず、画像４００から検出した識別特徴４０２を１つ選択する。次に、選択した識別特徴の画像４００上での位置に基づいて、パターンの座標系におけるエピポーラ線４１１の位置及び傾きを計算する。エピポーラ線４１１の位置及び傾きは、選択した識別特徴の位置から視線方向に伸ばした直線を、パターンの座標系に投影することによって計算される。

ここで、パターンの座標系での選択した識別特徴の位置は、このエピポーラ線４１１上にあるため、エピポーラ線４１１上に識別特徴を持つ計測線をパターン４１０上から探索することにより、選択した識別特徴の計測線番号を識別することができる。具体的な計算は、図４（ｂ）に示すように、マルチスリットの各計測線とエピポーラ線４１１との交点の座標を計算した後、それぞれの交点近傍にある識別特徴との距離４１２を計算する。ここで、計算した距離が最も短かった計測線４１３の計測線番号を識別結果として選択する。以上の操作を画像上で検出した全ての識別特徴について行うことにより、識別特徴毎に計測線番号を識別する。

（ステップＳ３０５）
三次元計測部２０５は、パターン識別部２０４が計算した識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の三次元点の位置を算出する。この処理では、まず、パターン検出部２０３が検出した計測線から画素を１つ選択する。次に、選択した計測線上の画素の位置と、その同一の計測線上で近傍にある識別特徴から識別した計測線番号の計測線から、光切断法の原理を用いて計測線が投影された先の三次元点の位置を計測する。以上の操作を画像から検出した計測線上の全ての画素について行うことにより、計測対象物体２３０表面の三次元点群を算出することができる。

以上のように本実施形態の方法によれば、画像において観測する計測線上の識別特徴１点毎に計測線番号を識別できるため、微細部分でも計測線番号を識別することができる。また、複数の計測線の中で粗な間隔の計測線を設ける必要がないため、微細部分でも計測線を観測することができる。このように、本実施形態では、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

なお、本実施形態の投影装置２１０は、２次元のパターンを投影するものであればどのような装置でもよい。例えば、２次元画像を投影するプロジェクタであってもよく、光源とマスクパターンを組み合わせた装置であってもよい。また、投影するパターンは濃淡パターンでもよく、カラーパターンでもよい。この場合も、投影するパターンは、計測線とパターンの背景部分とにおいて画像上で異なる画素値または形状で観測され、さらに計測線と識別特徴とにおいても、画像上で異なる画素値または形状で観測されるように設定する。例えば、投影光の輝度を変えてもよいし、色を変えてもよい。識別特徴についてはその形状を変えてもよい。つまり、背景部分と計測線と識別特徴とが、画像情報に基づいて判別できるパターンであれば、どのようなパターンでもよい。また、マスクパターンをセットする投影装置の場合、パターンは物理的に投影装置にセットするため、計測時にパターン出力部からパターンを与える必要はない。そのため、パターン出力部は本実施形態における情報処理装置２００から取り除いた構成としても良い。

また、計測線上に配置する識別特徴は、それが不等間隔に配置されていればどのような配置でも良い。計測線上の識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置しても良いし、同じ不等間隔で識別特徴が配置されている計測線があってもよい。同じ不等間隔で識別特徴が配置されている計測線を持つ場合は、その計測線の識別方法は、例えば同じ特徴配置を持つ計測線の色や太さを変化させ識別特徴以外に両者を識別できる情報を与えていることで、誤識別を起こすことなく識別ができる。また、画像上で検出した識別特徴からエピポーラ線を引いて対応する計測線を探索する時、図４（ｂ）のようにエピポーラ線と計測線が垂直にならないように投影装置と撮像装置が配置されていれば、エピポーラ線の傾き分によってエピポーラ線と各計測線との交点の位置（計測線に水平方向の位置）にはズレが発生するので、パターン上に同じ不等間隔で識別特徴が配置される計測線があるとしても、誤識別されることはない。

また、計測線の線間隔は、等間隔でもよいし、不等間隔でもよい。計測線上に配置する識別特徴は、異なる計測線同士で識別特徴の位置の相関が低くなるように、計測線毎に異なる不等間隔で配置できれば、どのような配置でもよい。例えば、各識別特徴の間隔を、所定の範囲内で発生させた一様乱数を用いて決めてもよいし、Ｍ系列などを用いた疑似乱数を用いて決めてもよい。

計測線毎に異なる不等間隔とは、それぞれの計測線上に並べる識別特徴の配置が異なることを意味する。また、異なる計測線同士で識別特徴の位置の相関が低くする上で、各計測線上に配置する識別特徴は必ずしも全てを不等間隔にする必要はなく、一部等間隔で並ぶ識別特徴があっても良い。つまり、複数の計測線上の識別特徴のうち、少なくとも一部が不等間隔であればよい。まとめると、計測線上に配置する識別特徴は、複数の計測線上の識別特徴のうち、少なくとも一部が不等間隔であれば良い。

また、投影するパターンの計測線や識別特徴の輝度や配置の設定は、パターン出力部２０１で行うのではなく、別途その設定を行うパターン生成部を設けてもよい。さらに、画像取得部２０２で取得する画像は、２次元の画像であればどのような画像でもよい。例えば、濃淡画像でもよく、カラー画像でもよい。また、画像の取得方法については、撮像装置２２０から直接取得しても良いし、メモリ上に一旦格納した画像を後から取得するような構成であってもよい。また、三次元計測部２０５がパターンを投影した計測対象物体２３０の表面の三次元点の位置を算出する方法については、光切断法に基づく方法であれば、どのような方法でもよい。

パターン検出部２０３における計測線の検出方法に関しては、画像上から計測線を検出する方法であれば、どのような方法であってもよい。例えば、ソベルフィルタによって検出したエッジをラベリングすることによって計測線を検出してもよく、所定の閾値で２値化した画像を細線化することによって検出してもよい。また、計測線上の識別特徴については、計測線上で異なる画素値を持つ識別特徴を検出する方法であれば、どのような方法で検出してもよい。例えば、計測線上の画素値が極値になる位置を識別特徴として検出してもよいし、計測線上の画素値の平均値との差が所定値以上ある画素の位置を検出してもよい。また、計測線上の識別特徴の形状を変えた例として、識別特徴の幅を太くした場合、計測線上の線幅が極値になる位置を探索することにより、計測線上で異なる形状を持つ識別特徴を検出してもよい。

（第１の変形例）
本変形例では、本発明におけるパターンのバリエーションを説明する。第１の実施形態に述べたように投影するパターンは、計測線とパターンの背景部分とにおいて画像上で異なる画素値で観測され、さらに計測線と識別特徴とにおいて画像上で異なる画素値または形状で観測されるように設定する。

例えば、識別特徴を計測線上の画素値の違いで表す場合、識別特徴は背景と同じ画素値であっても良い。つまり、図７のパターン７００に示すように、識別特徴７０２と背景７０３とが同じ画素値であって、計測線７０１が識別特徴７０２によって複数の線分に分割されていても良い。この場合、画像上で観測される計測線は複数の線分で分割された状態になる。ところが、検出部における計測線の検出は、第１の実施形態に示すように、画像を平滑化して画像上で観測される計測線と識別特徴との画素値の差を少なくさせた後に行うため、分割された状態でも連続する１本の線としてラベリングされた状態で検出できる。

他のパターンのバリエーションとして、識別特徴のサイズを設定しても良い。図８のパターン８００は、識別特徴及び計測線のサイズを設定した例であり、計測線８０１とサイズが異なる識別特徴８０２を持つ。この場合、計測線８０１及び識別特徴８０２は同じ画素値であっても良いし、異なる画素値にしても良い。図８の背景８０３と計測線８０１とでは異なる画素値とする。識別特徴のサイズを太くした場合、画像上で検出した計測線上の線幅を調べて線幅が極値になる位置を探索することにより、計測線上で異なる形状を持つ識別特徴を検出できる。他にも、識別特徴の形状を円形の形状にしてもよいし、三角形の形状にしても良い。画像上で検出した計測線上からその位置を特定できる識別特徴の形状であればどのような形状でも良い。

以上、第１の変形例のように、本発明において投影するパターンは、計測線とパターンの背景部分が画像上で異なる画素値で観測され、さらに計測線と識別特徴とが画像上で異なる画素値または形状で観測されるように設定されればどのようなパターンでも良い。

なお、第１の実施形態及び第１の変形例では、検出部における計測線の検出は、画像取得部で取得した画像を平滑化させ、画像上で観測される計測線と識別特徴との画素値の差を少なくする。これにより、識別特徴を持つ計測線であっても連続する１本の線としてラベリングされた状態で検出する。第１の変形例に示すように識別特徴によって計測線が複数の線分で構成される場合、他の検出方法を用いてもよい。例えば、画像上で観測される複数の線分を別々に検出した後、検出した線分の端点と周囲の線分の端点とを関連付けて、１本の線としてラベリングした状態にして検出しても良い。この方法の場合、まず、画像取得部で取得した画像に対して、画像の画素値が極値になる位置を算出し、隣接する極値の位置をラベリングにより同一の線として繋げることで計測線の線分を検出する。ここで、検出した計測線は識別特徴の間の線分毎に分離されているため、画像上から検出した線分の端点から、所定閾値Ｔの範囲で近接する線分の探索を行い、近接する線分がある場合はその線分の端点との接続を行う。識別特徴の位置の検出は、接続した２つの端点の中心位置を識別特徴の位置として算出しても良いし、第１の実施形態で示すように、検出した計測線上の周囲の画素と異なる画素値を持つ画素を探索することによって識別特徴の位置を算出しても良い。

（第２の実施形態）
本実施形態では、画像上で検出した識別特徴の位置とその隣接関係とを用いて、画像上の識別特徴１点毎に計測線番号を識別する方法について説明する。本実施形態では、画像上の識別特徴の隣接関係と、各識別特徴から識別する計測線番号の順序とが整合するように制約して、各識別特徴の計測線番号を識別する。つまり、画像上で同一の計測線上にある識別特徴は同一の計測線番号に識別され、画像上で数本分異なる計測線上にある識別特徴はその分異なる計測線番号に識別される。

本実施形態では、第１の実施形態で説明した図３のステップＳ３０４の処理内容が第１の実施形態と異なり、それ以外の構成要素、処理手順は第１の実施形態と同じである。以下、本実施形態におけるステップＳ３０４の処理手順について説明する。

（ステップＳ３０４）
パターン識別部２０４は、パターン検出部２０３で検出した識別特徴の位置関係に基づいて、その識別特徴１点毎に計測線番号を識別する。まず、第１の実施形態と同様に、画像上の各識別特徴の位置に基づいて、パターンの座標系にエピポーラ線の位置及び傾きを計算して、エピポーラ線とマルチスリットの各計測線との各交点から近傍の識別特徴までの距離を計算する。

ここで、各識別特徴、各計測線に対して計算する距離をＤ_i（ｎ_i）とする。ｉは画像上で検出した識別特徴のＩＤを表し、ｎ_iはマルチスリットの計測線番号を表す。ここで、Ｄ_i（ｎ_i）は、識別特徴ｉに対して計測線番号ｎ_iが識別される際のコスト（以上、識別コストと呼ぶ）とする。つまり、識別特徴ｉのみに関しては、識別コストＤ_i（ｎ_i）を最少とする計測線番号ｎが尤もらしい識別結果であると推定される。

次に、画像上の識別特徴の隣接関係を表すリンクを構築する。図５は、画像５００上で隣り合う識別特徴をつなげ合わせた結果の一例を示す図であり、矢印５０１はそのリンクを表す。このリンクの構築は、画像上から検出した識別特徴の位置を基準に、線上と線に交差する方向とに向かって近傍にある識別特徴を探索することにより構築する。線上の方向へ探索する際には計測線の端点までの範囲で探索し、計測線上にある近傍の識別特徴とリンクを構築する。一方、線に交差する方向へ探索する際には、ユーザーにより設定される所定の距離Ｒの範囲の中で探索し、最近傍にある識別特徴とリンクを構築する。なお、範囲内で隣接する識別特徴がない場合は、リンクは構築しない。最後に、画像上の識別特徴の隣接関係と、各識別特徴から識別する計測線番号の順序とが整合するような制約を加えて、各識別特徴の計測線番号を識別する。具体的には、以下の式（１）の評価関数Ｅを最小化するように、各識別特徴の計測線番号を計算する。

ここで、式（１）において、Ｐは画像上から検出した識別特徴の集合を表し、Ｎは画像上から検出した識別特徴のうち、リンクを構築した２対の識別特徴の集合を表す。また、ｉ、ｊは画像上から検出した識別特徴のＩＤを表し、ｎ_j、ｎ_jはそれぞれ識別特徴ｉ、ｊに対して識別する計測線番号を表す。

式（１）は、各識別特徴の識別コストＤ_i（ｎ_i）に加え、隣接する識別特徴に対して識別する計測線番号の関係によって変化する関数Ｗを含む。関数Ｗは計測線番号ｎ_i、ｎ_jの順序が画像上の識別特徴ｉ、ｊの位置関係と整合する場合に０となり、それ以外の場合では、所定のコストｄになる関数である。コストｄはユーザーにより設定される固定値であり、コストｄの値が大きいと画像上の識別特徴の隣接関係の制約が強くなる。この式（１）を使うことで、各識別特徴に基づく各計測線番号に対する対応度合いを表す識別コストＤ_i（ｎ_i）と、各識別特徴の順序と設定する計測線番号との整合性を表す関数Ｗと、に基づいて、画像上から検出した識別特徴それぞれに対する計測線番号の組み合わせのうち、識別コストＤ及び関数Ｗを含む評価関数Ｅを最小化する組み合わせを選定することにより、各識別特徴の計測線番号を識別する。

評価関数Ｅを最小化する解（この場合、各識別特徴の識別結果）の計算方法としては、本実施形態では、ＢＰ（Belief Propagation）を用いた最適化アルゴリズムを用いる。ＢＰの処理内容については、例えば非特許文献４に示す方法を用いる。以上の方法により、画像上での識別特徴の位置関係を考慮して、各識別特徴の計測線番号を識別することができる。

以上のように本実施形態によれば、画像から検出した各識別特徴の計測線番号を識別する際に、識別特徴の隣接関係の制約を加えて計測線番号を識別することにより、誤識別を少なくすることができる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

なお、本実施形態のように識別特徴の隣接関係を用いる場合は、画像上の識別特徴の隣接関係と、各識別特徴から計算する計測線番号の順序とが整合するように、識別特徴の計測線番号を識別する方法であれば、どのような方法でもよい。例えば、各識別特徴の識別コストと識別特徴との隣接関係の制約から最適化アルゴリズムを用いて各識別特徴の計測線番号を識別する方法でもよい。また、各識別特徴の識別コストから決まる計測線番号を周囲隣接する識別特徴に投票し、それぞれの識別特徴で集まった識別結果の投票によって計測線番号を識別する方法でもよい。また、最適化計算は、ＢＰ（Belief Propagation）でもよいし、ＧＣ（Graph Cut）でもよい。

（第３の実施形態）
本実施形態では、物体の形状に合わせてパターンの識別特徴の分布を調整する方法について説明する。本実施形態では、識別特徴が観測しやすい広く滑らか部分に対しては粗な間隔で識別特徴を投影し、識別特徴を観測しにくい細かな部分や段差部分に対しては密な間隔で識別特徴を投影する。

本実施形態では、第１の実施形態で説明した図３のステップＳ３０１の処理内容が第１の実施形態と異なり、それ以外の構成要素、処理手順は第１の実施形態と同じである。以下、本実施形態におけるステップＳ３０１の処理手順について説明する。

（ステップＳ３０１）
パターン出力部２０１は、投影するパターンを投影装置２１０に出力し、投影装置２１０から計測対象物体２３０にパターンを投影する。ここで出力するパターンは、第１の実施形態とは異なり、投影先の物体の形状に合わせて設定する。具体的には、識別特徴が観測しやすい広く滑らか部分に対しては粗な間隔で識別特徴が投影され、識別特徴を観測しにくい細かな部分や段差部分に対しては密な間隔で識別特徴が投影されるように、パターン上の識別特徴の分布を決定する。これは、細かな部分に合わせて、一様に識別特徴を密に設定する方法に比べ、パターン上の識別特徴の総数を抑えることができる。これにより、画像上から検出した識別特徴を識別する際に、パターン上のエピポーラ線と近接する識別特徴が減り、誤った計測線が識別される確率を減らすことができる。そのためには、パターンの各部位の投影先がどの程度の微細度合いであるかを計算する必要がある。

本実施形態では、この計算方法として第１の実施形態で説明した構成でプレ計測を行うことによって取得する計測対象物体２３０表面の三次元点群の情報に基づいて、パターンの各部位の投影先の微細度合いを計算する。具体的にはまず、パターンを複数のマクロブロックに分割する。次に、各マクロブロックの投影先にある三次元点群の距離の分散σを計算する。分散σは物体表面の凹凸によって増加するため、各マクロブロックの投影先の微細度合いは、この分散σの大きさで決まると考えることができる。そして、分散σが大きいほどパターンの各マクロブロック識別特徴を密度に設定し、分散σが小さいほど識別特徴を粗に設定する。本実施形態では、パターンの各マクロブロックの識別特徴の間隔を（Ｌ＋ΔＬ）／Ａとして配置する。ここで、Ａ＝ａ・σとし、ａはユーザーにより設定される固定値とする。また、投影先に物体がないマクロブロックは、識別特徴を配置しないようにする。

以上のように本実施形態によれば、パターンの投影先にある物体形状に合わせてパターン上の識別特徴の分布を調整し、識別特徴の総数を抑えることで、誤識別を少なくすることができる。これは、パターン上の識別特徴の総数を抑えると、画像上から検出した識別特徴を識別する際に、パターン上のエピポーラ線と近接する識別特徴が減ることによる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

なお、パターンの各部位の識別特徴の分布の設定方法については、投影先の物体形状の微細度合いによって識別特徴の分布を配置する方法であれば、どのような方法でもよい。投影先の物体形状の微細度合いを決定する方法としては、例えば、計測対象物体２３０の３次元形状モデルとその位置姿勢の概略情報とから、パターンの各部位の投影先の面の広さや距離のばらつきによって決定してもよい。

この場合、計測対象物体２３０の位置姿勢は、計測対象物体２３０を撮像した画像からパターンマッチングによって求めてもよいし、ユーザーがＵＩによって与えてもよい。また、計測対象物体２３０に６自由度センサーを取り付け、６自由度センサーから位置姿勢の情報を取得してもよい。さらに、パターン上に計測対象物体の形状モデルを投影した画像をユーザーに提示して、ユーザーの入力によってパターンの部位毎の識別特徴の密度や位置を指定させてもよい。また、投影先の物体形状の微細度合いを保持する不図示のメモリを別途用意し、そこから読み出した微細度合いに基づいて識別特徴の分布を計算しても良い。

（第４の実施形態）
本実施形態では、単一種ではなく複数種類の識別特徴を有するパターンを用いた識別方法について説明する。本実施形態では、第１の実施形態で説明した図３のステップＳ３０１及びＳ３０４の処理内容が異なり、それ以外の構成要素、処理手順は第１の実施形態と同じである。以下、本実施形態におけるステップＳ３０１及びＳ３０４の処理手順について説明する。

（ステップＳ３０１）
パターン出力部２０１は、投影するパターンを投影装置２１０に出力し、投影装置２１０から計測対象物体２３０にパターンを投影する。ここで出力するパターンは、第１の実施形態とは異なり、図６に示すように、複数種類の識別特徴６０１、６０２を有するパターン６００を用いる。本実施形態では、識別特徴が２種類である場合を例にして説明する。

第１の実施形態と同様に、投影されるパターンは、計測線とパターンの背景部分とにおいて画像上で異なる画素値で観測され、さらに計測線と各種類の識別特徴とにおいても、画像上で異なる画素値で観測されるように設定する。本実施形態では、図６に示すパターン６００として、背景部分６０３に比べて計測線６０４が高輝度に投影され、さらに計測線６０４に比べて片方の識別特徴６０１は高輝度に、もう片方の識別特徴６０２は低輝度に投影される濃淡パターンを用いる。２種類の識別特徴６０１、６０２の並び順は、パターン６００上で種類の偏りなく分布するように設定するが、本実施形態では計測線６０４上で互い違いに配置する。計測線６０４の間隔や識別特徴６０１、６０２の間隔に関しては、第１の実施形態で取得するパターンと同様である。

（ステップＳ３０４）
パターン識別部２０４は、パターン検出部２０３で検出した識別特徴の位置とその種類とに基づいて、その識別特徴１点毎に計測線番号を識別する。まず、第１の実施形態と同様に、画像上の各識別特徴の位置に基づいて、パターンの座標系におけるエピポーラ線の位置及び傾きを計算し、エピポーラ線とマルチスリットの各計測線との交点座標から近傍の識別特徴までの距離を計算する。このとき、マルチスリットの各計測線とエピポーラ線との交点座標から近傍の識別特徴までの距離は、識別を行う識別特徴と同一種類の識別特徴のみ計算する。この計算で、パターン上の識別特徴をその種類によって絞り込むことができるため、誤識別を少なくすることができる。最後に、交点で計算した距離が最も小さかった計測線の番号を識別結果として選択する。

以上のように本実施形態によれば、画像上で検出した識別特徴の位置とその種類とを用いて識別される計測線の候補を絞ることができるため、さらに誤識別を少なくすることができる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測できる。

なお、前述したように、パターンに配置する識別特徴の種類は、３種類以上であってもよい。パターンに複数の識別特徴を配置する場合、計測線上に配置する識別特徴の種類の分布は、パターン上で種類の偏りなく分布するように配置されていればどのような配置方法でもよい。例えば、計測線上で互い違いに配置してもよいし、ランダムで順番を決めてもよい。

（第５の実施形態）
本実施形態では、画像上から識別特徴の位置を複数検出した後、その中に含まれる外れ値を除くことで、ロバストに三次元形状を計測する方法を説明する。ここで、外れ値とは、画像上から識別特徴の位置を検出した時、画像上のノイズ等の影響で識別特徴ではない位置を、誤って識別特徴であると判定した位置を意味する。計測線番号を識別する際に外れ値が混入すると、識別の間違いが発生する。本実施形態では、本発明におけるパターンの識別特徴の配置に所定の条件を与え、画像上で観測される計測線上から識別特徴の位置を複数検出した後、前記所定の条件に合わない位置を外れ値として除くことで、ロバストに三次元形状を計測する。

本実施形態では、第１の実施形態で説明した図３のステップＳ３０１とステップＳ３０３の処理内容が第１の実施形態と異なる。それ以外の構成要素、処理手順は第１の実施形態と同じである。以下、本実施形態におけるステップＳ３０１とステップＳ３０３の処理手順について説明する。

（ステップＳ３０１）
パターン出力部２０１は、投影するパターンを投影装置２１０に出力し、投影装置２１０から計測対象物体２３０にパターンを投影する。ここで出力するパターンは、第１の実施例で説明した計測線と識別特徴の画素値を異なる値で設定したパターンではあるが、計測線上に配置する識別特徴の間隔に所定の条件を与える。具体的には、同一線上の識別特徴の間隔の最小値をＸとしたとき、最大値は２Ｘより小さい値で設定する。本実施形態では識別特徴の間隔の最小値をＡ、最大値をＢ（Ｂ＜２Ａ）として、それぞれユーザーが指定する。投影するパターンに識別特徴を設定する方法としては、計測線上の識別特徴の間隔を［Ａ〜Ｂ］範囲で発生する一様乱数で設定する。

（ステップＳ３０３）
パターン検出部２０３は、画像取得部２０２が取得した画像から、計測線と識別特徴とを検出する。まず、第１の実施形態に示す検出方法と同様の方法で、画像上から計測線と計測線上の識別特徴の位置とを検出する。ただし、画像上にノイズが多い場合など検出が難しい条件では、識別特徴の位置を検出する際に、外れ値となる位置を検出する場合がある。以降、検出した識別特徴を候補特徴と呼び、この中から外れ値を除く方法を説明する。

まず、候補特徴それぞれに対して、画像上で同一計測線上にあり、最近傍の候補特徴（以降、候補特徴のペアと呼ぶ）との間隔を計算する。候補特徴のペアの間隔は、画像上の候補点を通るエピポーラ線方向と垂直な方向に計算する。候補特徴のペアに外れ値が含まれない場合、その間隔Ｌｃは［ｓＡ＜Ｌｃ＜ｓＢ］［pixel］の範囲で起こりえる。ここで、ｃは外れ値を含まない正しい候補特徴のペアの間隔を表す添え字である。また、ｓは投影装置２１０のパターン上の識別特徴の間隔と、撮像装置２２０の画像上で間隔との比率を示すスケールである。ｓの値は、例えば、投影装置２１０、撮像装置２２０の焦点距離をそれぞれｆｐ、ｆｃとしたとき、ｓ＝ｆｃ／ｆｐで算出しても良いし、ユーザーが指定する固定値でも良い。

一方、候補特徴のペアに外れ値が含まれる場合、外れ値の位置は正しい候補特徴の間に発生する。正しい候補特徴の間隔は最大でもｓＢ［pixel］であるため、その間で発生する外れ値を含む候補特徴のペアの間隔は最大でもｓＢ／２［pixel］となる。つまり、外れ値を含む候補特徴のペアの間隔Ｌｅは［０＜Ｌｅ＜ｓＢ／２］［pixel］の範囲で起こりえる。ここでｅは外れ値を含む候補特徴のペアの間隔を表す添え字である。

まとめると、正しい候補特徴のペアで起こりえる間隔の範囲Ｌｃは［ｓＡ＜Ｌｃ＜ｓＢ］［pixel］、外れ値を含む候補特徴のペアで起こりえる間隔の範囲は［０＜Ｌｅ＜ｓＢ/２］［pixel］となる。ここで、パターンの設計条件のＢ＜２Ａから、上記二つの範囲に重なりは発生しない。この特性を利用し、正しい候補特徴のペアの間隔ではないｓＡ［pixel］より小さい間隔の候補特徴のペアがある場合は、そのどちらかが外れ値であると判定できる。

次に、上記外れ値を含む候補特徴のペアのうち、検出強度の大きい候補特徴以外を外れ値として判定する。ここで、検出強度とは、候補特徴を検出した位置での識別特徴らしさを表す指標であり、本実施形態では、画像上から検出した計測線上の画素値を計測線に沿う方向に２次微分した値の絶対値とする。つまり、計測線上で画素値が特異な位置で大きく、線上で輝度差が平坦な位置では小さくなる値である。

上記により、外れ値として判定した候補特徴を除いた後、再度上記判定と外れ値の除去処理を、外れ値を含むペアがなくなるまで繰り返しても良い。これにより、外れ値の影響を軽減してロバストに三次元形状を計測できる。

以上のように本実施形態によれば、パターン上に配置した識別特徴の間隔の範囲に基づいて、画像上で検出した識別特徴に含まれる外れ値を取り除くことで、外れ値の影響を除いて、ロバストに計測線を識別することが可能になる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測できる。

なお、前述したように、パターン出力部２０１における識別特徴の間隔は、最小値をＡ、最大値をＢとしたとき、Ｂ＜２Ａとすることで、画像上で検出する識別特徴の候補特徴のうち、外れ値を含む候補特徴のペアを判定することができる。ただし、パターン上の識別特徴の配置は必ずしもＢ＜２Ａでなければならないことはない。最大値が最小値の２倍未満（Ｂ＜２Ａ）であれば、最も外れ値を含む候補特徴を分離できる。

また、識別特徴の間隔に基づく外れ値の判定方法と、検出強度に基づく外れ値の判定方法は、本実施形態では組み合わせて利用するが、外れ値の除去方法としては、どちらか一方のみを利用しても良い。例えば、識別特徴のペアの間隔に基づく外れ値の判定だけを行い、外れ値の可能性のある識別特徴のペアの全てを取り除く方法でも良い。また、検出強度のみに基づいて、所定の閾値以下の検出強度の識別特徴を外れ値として取り除く方法でも良い。

また、候補特徴を比較する検出強度としては、検出した候補特徴の識別特徴らしさを示す指標であればどのような値でも良い。第５の実施形態で述べたように、画像上から検出した計測線上の画素値を計測線に沿う方向に２次微分した値の絶対値でもよいし、画像上から検出した計測線上の画素値の平均値と候補特徴の位置の画素値との差でも良い。

また、比率ｓの計算方法は、投影装置２１０のパターン上の識別特徴の間隔の最小値Ａの、撮像装置２２０の画像上で長さとの比率を計算する方法であればどのような方法でも良い。たとえば、パターンの計測線上で近接する２つの識別特徴を、投影装置２１０から物体を計測する概略的な位置に投影した際の３次元位置を算出してもよい。そして、その２点の３次元位置を撮像装置２２０の画像に投影した時の間隔を算出し、パターン上での間隔と画像上での間隔の比を出すことで計算しても良い。

（実施形態の効果）
第１の実施形態では、画像において観測する計測線上の識別特徴１点毎に計測線番号を識別できるため、微細部分でも計測線番号を識別することができる。また、複数の計測線の中で粗な間隔の計測線を設ける必要がないため、微細部分でも計測線を観測することができる。このように、第１の実施形態では、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

第２の実施形態では、画像から検出した各識別特徴の計測線番号を識別する際に、識別特徴の隣接関係の制約を加えて計測線番号を識別することにより、誤識別を少なくすることができる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

第３の実施形態では、パターンの投影先にある物体形状に合わせてパターン上の識別特徴の分布を調整し、識別特徴の総数を抑えることで、誤識別を少なくすることができる。これは、パターン上の識別特徴の総数を抑えると、画像上から検出した識別特徴を識別する際に、パターン上のエピポーラ線と近接する識別特徴が減ることによる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測することができる。

第４の実施形態では、画像上で検出した識別特徴の位置とその種類とを用いて識別される計測線の候補を絞ることができるため、誤識別を少なくすることができる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測できる。

第５の実施形態では、パターン上に配置した識別特徴の間隔の範囲に基づいて、画像上で検出した識別特徴に含まれる外れ値を取り除くことで、外れ値の影響を除いて、ロバストに計測線を識別することが可能になる。この結果、微細形状を持つ物体に対して、ロバストに三次元形状を計測できる。

（定義）
本発明における投影手段は、２次元のパターンを投影するものであればどのような装置でもよい。例えば、２次元画像を投影するプロジェクタであってもよく、光源とマスクパターンを組み合わせた装置であってもよい。また、投影するパターンは濃淡パターンでもよく、カラーパターンでもよい。この場合も、投影するパターンは、計測線とパターンの背景部分とにおいて画像上で異なる画素値または形状で観測され、さらに計測線と識別特徴とにおいても、画像上で異なる画素値または形状で観測されるように設定する。例えば、投影光の輝度を変えてもよいし、色を変えてもよい。識別特徴についてはその形状を変えてもよい。つまり、背景部分と計測線と識別特徴とが、画像情報に基づいて判別できるパターンであれば、どのようなパターンでもよい。また、マスクパターンをセットする投影装置の場合、パターンは物理的に投影装置にセットするため、計測時にパターン出力部からパターンを与える必要はない。そのため、パターン出力部は本実施形態における構成から取り除いても良い。

また、計測線上に配置する識別特徴は、それが不等間隔に配置されていればどのような配置でも良い。計測線上の識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置しても良いし、同じ不等間隔で識別特徴が配置されている計測線を含んでもよい。例えば同じ特徴配置の計測線がある場合は、その計測線の識別方法は、例えば同じ特徴配置を持つ計測線の色や太さを変化させ識別特徴以外に両者を識別できる情報を与えていることで、誤識別を起こすことなく識別ができる。また、画像上で検出した識別特徴からエピポーラ線を引いて対応する計測線を探索する時、エピポーラ線と計測線が垂直にならないように投影装置と撮像装置が配置されていれば、エピポーラ線の傾き分によってエピポーラ線と各計測線との交点の位置（計測線に水平方向の位置）にはズレが発生するので、パターン上に同じ不等間隔で識別特徴が配置される計測線があるとしても、誤識別されることはない。各識別特徴の間隔は、所定の範囲内で発生させた一様乱数を使って決めても良いし、Ｍ系列などを用いた疑似乱数を使って決めても良い。パターンに配置する識別特徴の種類は、単一種類でも良いし、複数種類でも良い。パターンに複数の識別特徴を配置する場合、計測線上に配置する識別特徴の種類の分布は、パターン上で種類の偏りなく分布するように配置されていればどのような配置方法でも良い。例えば、計測線上で互い違いに配置しても良いし、ランダムで順番を決めても良い。

また、各計測線上に配置する識別特徴は、必ずしも全てを不等間隔にする必要はなく、一部等間隔で並ぶ識別特徴があっても良い。つまり、複数の計測線上の識別特徴のうち、少なくとも一部が不等間隔であればよい。まとめると、計測線上に配置する識別特徴は、複数の計測線上の識別特徴のうち、少なくとも一部が不等間隔であれば良い。

パターンに配置する識別特徴の分布は、投影先の物体の形状に基づいて調整しても良い。この場合、識別特徴が観測しやすい広く滑らか部分に対しては粗な間隔で識別特徴が投影され、識別特徴を観測しにくい細かな部分や段差部分に対しては密な間隔で識別特徴が投影されるように、パターンの投影先にある物体の微細度合いに合わせて識別特徴の分布を決定しても良い。例えば、プレ計測で取得した三次元点群の情報からパターンの各部位の投影先の距離のばらつきを求めることで決定しても良い。また、計測対象物体の三次元形状モデルとその位置姿勢の情報から、パターンの各部位の投影先の面の広さおよび/或いは距離のばらつきによって決定しても良い。この場合、計測対象物体の位置姿勢は、計測対象物体を撮像した画像からパターンマッチングによって求めても良いし、ユーザーがＵＩによって与えても良いし、計測対象物体に取り付けた６自由度センサーから取得しても良い。また、パターン上に計測対象物体の形状モデルを投影した画像をユーザーに提示して、ユーザー入力によってパターンの部位毎の識別特徴の位置を指定させても良い。また、投影先の物体形状の微細度合いを保持するメモリを別途用意し、そこから読み出した微細度合いに基づいて識別特徴の分布を計算しても良い。投影するパターンの計測線や識別特徴の輝度や配置の設定は、パターン出力手段で行うのではなく、別途その設定を行うパターン生成部を用意しても良い。

画像取得手段で取得する画像は、２次元の画像であればどのような画像でも良い。例えば、濃淡画像でも良いし、カラー画像でも良い。また、画像の取得方法は、撮像手段から直接取得しても良いし、一度メモリ上に格納した画像を後から取得しても良い。

パターン検出手段における計測線の検出方法は、画像上から線を検出する方法であれば、どのような方法でも良い。例えば、ソベルフィルタによって検出したエッジをラベリングすることで検出しても良いし、所定の閾値で２値化した画像を細線化することで検出しても良い。計測線上の識別特徴は、計測線上で異なる画素値を持つ識別特徴を検出する方法であれば、どのような方法でも良い。例えば、計測線上の画素値が極値になる位置を検出しても良いし、計測線上の画素値の平均値との差が所定値以上ある画素の位置を検出しても良い。また、計測線上の識別特徴の形状を変えた例として、識別特徴の幅を太くした場合、計測線上の線幅が極値になる位置を探索することで、計測線上で異なる形状を持つ識別特徴を検出しても良い。

パターン識別手段において画像上から検出した識別特徴の計測線番号の識別方法は、各識別特徴の位置に基づいて計算しても良いし、さらに、識別特徴の隣接関係を用いて識別しても良い。また、さらに識別特徴に複数の種類を与えて識別特徴の位置と種類に基づいて識別しても良い。

識別特徴の隣接関係を用いる識別方法は、画像上の識別特徴の隣接関係と、各識別特徴から計算する計測線番号の順序が整合するように、識別特徴の計測線番号を識別する方法であれば、どのような方法でも良い。例えば、各識別特徴の識別コストと識別特徴の隣接関係の制約から最適化アルゴリズムを用いて各識別特徴の計測線番号を識別する方法でも良いし、各識別特徴の識別コストから決まる計測線番号を周囲隣接する識別特徴に投票させ、それぞれの識別特徴で集まった識別結果の投票によって計測線番号を識別する方法でも良い。また、最適化計算は、ＢＰ（Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）でもよいし、ＧＣ（Ｇｒａｐｈ Ｃｕｔ）でも良い。

三次元計測部で、パターンを投影した計測対象物体の表面の三次元点の位置を算出する方法は、光切断法に基づく方法であれば、どのような方法でも良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ パターン出力部
２０２ 画像取得部
２０３ パターン検出部
２０４ パターン識別部
２０５ 三次元計測部

Claims (12)

1. 複数の線から構成され、前記複数の線上にある特徴の少なくとも一部が不等間隔で配置されたパターンを投影手段から物体へ投影する出力手段と、
   前記パターンが投影された物体を含む画像を取得する取得手段と、
   前記取得手段によって取得された画像から前記投影されたパターンの線及び特徴を検出する検出手段と、
   前記検出手段によって検出した前記特徴の位置に基づいて、前記検出手段により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別する識別手段と、
   前記識別手段の識別結果に基づいて、前記パターンが投影された物体の三次元形状を計測する計測手段と、
   を備え、
   前記識別手段は、
   前記検出手段によって検出した特徴の位置に基づいて算出する前記パターン上の前記複数の線に対する対応度合いと、前記検出手段によって検出した複数の特徴の画像上での順序とに基づいて、
   前記検出手段によって検出した複数の前記特徴それぞれが前記パターンの前記複数の線のどの線に属するかの解の組み合わせのうち、前記対応度合いが高く、かつ前記順序と前記解の組み合わせとの整合性が高い前記組み合わせを選定することで、
   前記検出手段により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別することを特徴とする三次元計測装置。
2. 前記複数の線上にある特徴は、線上の輝度、色、形状の少なくとも１つが異なる部位、或いは線上の切れ目、であることを特徴とする請求項１に記載の三次元計測装置。
3. 前記出力手段は、前記パターンの投影先にある前記物体の三次元形状に基づいて前記複数の線に配置される特徴の分布を設定することを特徴とする請求項１又は２に記載の三次元計測装置。
4. 前記出力手段は、前記物体の三次元点群の距離の分散に基づいて前記複数の線に配置される特徴の分布を設定することを特徴とする請求項３に記載の三次元計測装置。
5. 前記出力手段は、前記物体の面の広さに基づいて前記複数の線に配置される特徴の分布を設定することを特徴とする請求項３に記載の三次元計測装置。
6. 前記出力手段は、前記複数の線上に単一種の特徴が配置されたパターンを出力することを特徴とする請求項１〜５の何れか１項に記載の三次元計測装置。
7. 前記出力手段は、前記複数の線上に複数種の特徴が配置されたパターンを出力することを特徴とする請求項１〜５の何れか１項に記載の三次元計測装置。
8. 前記パターンにおいて、前記複数の線上の少なくとも一部の特徴の間隔について、間隔の最大値が最小値の２倍未満であることを特徴とする請求項１〜７の何れか１項に記載の三次元計測装置。
9. 複数の直線上にあり、少なくとも一部の長さが異なる複数の線分から構成されたパターンを投影手段から物体へ投影する出力手段と、
   前記パターンが投影された物体を含む画像を取得する取得手段と、
   前記取得手段によって取得された画像から前記パターンの前記線分と、同一直線上にある隣り合う２つの線分の切れ目を検出する検出手段と、
   前記検出手段により検出された切れ目それぞれが、前記複数の線のどの線に属するかを前記切れ目の位置に基づいて識別する識別手段と、
   前記識別手段の識別結果に基づいて、前記パターンが投影された物体の三次元形状を計測する計測手段と、
   を備え、
   前記識別手段は、
   前記検出手段によって検出した特徴の位置に基づいて算出する前記パターン上の前記複数の線に対する対応度合いと、前記検出手段によって検出した複数の特徴の画像上での順序とに基づいて、
   前記検出手段によって検出した複数の前記特徴それぞれが前記パターンの前記複数の線のどの線に属するかの解の組み合わせのうち、前記対応度合いが高く、かつ前記順序と前記解の組み合わせとの整合性が高い前記組み合わせを選定することで、
   前記検出手段により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別することを特徴とする三次元計測装置。
10. 前記取得手段は、前記物体を撮像する撮像手段から前記画像を取得することを特徴とする請求項１〜９の何れか１項に記載の三次元計測装置。
11. 複数の線から構成され、前記複数の線上にある特徴の少なくとも一部が不等間隔で配置されたパターンを投影手段から物体へ投影する出力工程と、
    前記パターンが投影された物体を含む画像を取得する取得工程と、
    前記取得工程において取得された画像から前記投影されたパターンの線及び特徴を検出する検出工程と、
    前記検出工程において検出した前記特徴の位置に基づいて、前記検出工程により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別する識別工程と、
    前記識別工程の識別結果に基づいて、前記パターンが投影された物体の三次元形状を計測する計測工程と、
    を備え、
    前記識別工程においては、
    前記検出工程において検出した特徴の位置に基づいて算出する前記パターン上の前記複数の線に対する対応度合いと、前記検出工程において検出した複数の特徴の画像上での順序とに基づいて、
    前記検出工程において検出した複数の前記特徴それぞれが前記パターンの前記複数の線のどの線に属するかの解の組み合わせのうち、前記対応度合いが高く、かつ前記順序と前記解の組み合わせとの整合性が高い前記組み合わせを選定することで、
    前記検出工程において検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別することを特徴とする三次元計測方法。
12. 複数の線から構成され、前記複数の線上にある特徴の少なくとも一部が不等間隔で配置されたパターンを投影手段から物体へ投影する出力工程と、
    前記パターンが投影された物体を含む画像を取得する取得工程と、
    前記取得工程において取得された画像から前記投影されたパターンの線及び特徴を検出する検出工程と、
    前記検出工程において検出した前記特徴の位置に基づいて、前記検出工程により検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別する識別工程と、
    前記識別工程の識別結果に基づいて、前記パターンが投影された物体の三次元形状を計測する計測工程と、
    をコンピュータに実行させ、
    前記識別工程においては、
    前記検出工程において検出した特徴の位置に基づいて算出する前記パターン上の前記複数の線に対する対応度合いと、前記検出工程において検出した複数の特徴の画像上での順序とに基づいて、
    前記検出工程において検出した複数の前記特徴それぞれが前記パターンの前記複数の線のどの線に属するかの解の組み合わせのうち、前記対応度合いが高く、かつ前記順序と前記解の組み合わせとの整合性が高い前記組み合わせを選定することで、
    前記検出工程において検出された前記特徴それぞれが、前記パターンの前記複数の線のどの線に属するかを識別することを特徴とするプログラム。

Images