JP6429772B2 - ３ｄ走査および位置決めシステム - Google Patents

Description

本発明は、一般に、物体の表面ジオメトリの３次元走査の分野に関し、より詳細には、構造光立体像に関する。

物体の表面ジオメトリの３次元走査およびデジタル化は、多くの業界およびサービスで広く利用されており、それらの用途は多数存在する。物体の形状は、センサと表面上の点の組との間の距離を測定する測距センサを使用して走査およびデジタル化される。センサは、与えられた視点からの物体の表面の断面をキャプチャする。走査断面を延長するまたは表面全体を走査するために、センサまたは物体は、いくつかの視点のうちの１つに移動し、センサと物体との間の全ての相対姿勢の間の空間的関係を取得する。これらの空間的関係を測定および算出するためのいくつかの手法がある。これらの手法の１つは、再帰反射標的などの標的を利用する。米国特許第７，９１２，６７３号のシステムは、構造光のパターンを投影した後に、少なくとも一対のカメラを使用して再帰反射標的を観察しつつ、物体の表面形状を同時に測定する。システムは、表面ジオメトリのモデルを形成し、一方で同時に単一モデル座標系における標的の３Ｄ位置のモデルを蓄積する。完全システムの大抵の機能性を保持しつつ、１台のカメラを用いた操作が可能なモデリングシステムを単純化することが有益であろう。

本発明の１つの広範な態様によれば、投影部とともに１台のカメラを使用して全領域における３Ｄ表面点をキャプチャしつつ、単一視点から表面上の基準標的の３Ｄ位置、任意的に向きをキャプチャすることが可能である。

本発明の別の広範な態様によれば、再帰反射標的の３Ｄ表面および位置を同時にキャプチャする、カメラ、投影部および光源を備えたシステムが提供される。

一実施形態では、このシステムを使用して、各フレームにおける３Ｄ点を統合することによって、標的モデルに加えて物体の表面の３Ｄモデルを取得する。

一実施形態では、このシステムは、リアルタイムで使用される。すなわち、取得中に運動可能なワンショットシステムである。

本発明の別の広範な態様によれば、物体付近およびそこの固定位置の１つに各々が提供された少なくとも１つの基準標的の組を有する表面に関する３次元情報を取得するためのシステムが提供される。このシステムは、基準標的の組のうちの少なくとも１つの標的および投影パターンの少なくとも一部分を２Ｄ画像上に明らかにするための、表面に投影パターンを提供するパターン投影部、および視点からの表面の２Ｄ画像を取得するためのカメラであって、パターン投影部と共に機能するカメラを有する検出装置と、カメラおよびパターン投影部の外在および内在パラメータを含む較正データのための記憶部と、２Ｄ画像から投影パターンの表面点および標的輪郭の２Ｄ画像座標を抽出するための画像処理プロセッサと、較正データを使用して表面点の２Ｄ画像座標から表面点の３Ｄ座標を算出するための３Ｄ表面点算出部と、表面点の３Ｄ座標および較正データを使用して、標的輪郭の２Ｄ画像座標から、基準標的に対する３Ｄ位置および実際の向きの少なくともいずれかを算出するための３Ｄ標的算出部と、を備える。

一実施形態では、基準標的は再帰反射標的であり、検出装置は表面を照らすための光源をさらに備える。この光源は、カメラと共に機能する。

一実施形態では、光源は、カメラを囲む環状光源である。
一実施形態では、環状光源は、少なくとも２つの発光ダイオード（ＬＥＤ）を有する。

一実施形態では、パターン投影部は、レーザーパターン投影部および広帯域パターン投影部のいずれかである。

一実施形態では、パターン投影部とカメラとは同期して投影パターンを同時に提供し、カメラが２Ｄ画像を取得する。

一実施形態では、システムは、表面の標的のモデルを保存するための標的モデル記憶部と、標的と標的のモデル内の同じ標的とを照合して、検出装置の座標系を標的モデルの座標系にマッピングする剛体変換を生成する標的照合部と、をさらに備える。

一実施形態では、システムは、基準標的に対する３Ｄ位置を、剛体変換を使用して基準標的に対する変換３Ｄ位置に変換するための標的変換部と、基準標的に対する変換３Ｄ位置を使用して、標的モデル記憶部内の標的のモデルを更新するための標的モデル生成部と、をさらに備える。

一実施形態では、システムは、表面点の３Ｄ座標を、剛体変換を使用して表面点の変換３Ｄ座標に変換するための表面点変換部と、表面点の変換３Ｄ座標を使用して、表面の表面モデルを生成するための表面再構成部と、をさらに備える。

一実施形態では、システムは、表面の表面モデルおよび標的のモデルの少なくともいずれかを表示するためのユーザーインターフェース表示部をさらに備える。

一実施形態では、検出装置は複数の別個の視点に移動するように構成され、カメラは、複数の視点の各視点における２Ｄ画像を取得する。３Ｄ表面点算出部および３Ｄ標的算出部は、少なくとも２つの２Ｄ画像からの２Ｄ画像座標を使用する。

一実施形態では、カメラは、視点における少なくとも２つの２Ｄ画像を取得する。３Ｄ表面点算出部および３Ｄ標的算出部は、少なくとも２つの２Ｄ画像からの２Ｄ画像座標を使用する。

一実施形態では、検出装置は複数の別個の視点に移動するように構成され、カメラは、複数の視点の各視点における少なくとも２つの２Ｄ画像を取得する。３Ｄ表面点算出部および３Ｄ標的算出部は、少なくとも２つの２Ｄ画像からの２Ｄ画像座標を使用する。

一実施形態では、カメラは第一のカメラであり、２Ｄ画像は第一の２Ｄ画像である。検出装置は、表面の第二の２Ｄ画像を取得するための第二のカメラをさらに備える。この第二のカメラは、第一のカメラと共に機能する。第一のカメラと第二のカメラとの空間的関係は既知であり、較正データは、第二のカメラの外在および内在パラメータを含む。

一実施形態では、検出装置は、第一のカメラ、第二のカメラおよびパターン投影部と通信する同期ユニットをさらに備える。同期ユニットは、第一の時間間隔中に第一の２Ｄ画像をキャプチャするように第一のカメラおよびパターン投影部を制御し、第二の時間間隔中に第二の２Ｄ画像をキャプチャするように第二のカメラおよびパターン投影部を制御する。第一の時間間隔は、第二の時間間隔とは異なる。

一実施形態では、同期ユニットは、パターン投影部が第一の時間間隔中に投影パターンを提供し、第二の時間間隔中には投影パターンを提供しないようにパターン投影部を制御する。

一実施形態では、第二のカメラはテクスチャカメラであり、第二の２Ｄ画像は表面の２Ｄテクスチャ画像である。システムは、表面点の２Ｄ画像座標における表面のテクスチャを抽出し、表面点に対するテクスチャ情報を取得するためのテクスチャ抽出部をさらに備える。

本発明の別の広範な態様によれば、表面に関する３次元情報を取得するためのシステムが提供される。システムは、基準標的の組のうちの少なくとも１つの標的および投影パターンの少なくとも一部分を２Ｄ画像上に明らかにするための、表面に投影パターンを提供するパターン投影部、および視点からの表面の２Ｄ画像を取得するためのカメラを有する検出装置と、較正データのための記憶部と、２Ｄ画像から投影パターンの表面点および標的輪郭の２Ｄ画像座標を抽出するための画像処理プロセッサと、表面点の２Ｄ画像座標から表面点の３Ｄ座標を算出するための３Ｄ表面点算出部と、基準標的に対する３Ｄ位置および／または実際の向きを算出するための３Ｄ標的算出部と、を備える。

本発明の別の広範な態様によれば、表面に貼付した標的に対する３Ｄ位置、表面に投影されたパターンを抽出するための方法が提供される。方法は、標的サイズを含む標的情報を取り出すことと、外在および内在パラメータを含む較正データを取り出すことと、標的および投影パターンの少なくとも一部分が２Ｄ画像上に明らかとなる、表面の２Ｄ画像を提供することと、２Ｄ画像から標的の標的輪郭の２Ｄ画像座標を抽出することと、標的輪郭の２Ｄ画像座標および較正データを使用して、標的に対する少なくとも１つのとり得る向きを算出することと、標的輪郭の２Ｄ画像座標、較正データおよび標的サイズを使用して、標的に対する概算３Ｄ位置を概算することと、２Ｄ画像から投影パターンの表面点の２Ｄ画像座標を抽出することと、標的の周りに位置する隣接した表面点を特定し、較正データおよび標的輪郭の２Ｄ画像座標を使用して、表面点の２Ｄ画像座標から隣接した表面点の３Ｄ座標を算出することと、標的輪郭の２Ｄ画像座標を使用して、表面断面モデルを隣接した表面点の３Ｄ座標にフィッティングすることと、フィッティングした表面断面モデル、標的輪郭の２Ｄ画像座標および少なくとも１つのとり得る向きを使用して、概算３Ｄ位置をさらに正確な３Ｄ位置にすることおよび標的の実際の向きを特定することの少なくともいずれかを行うことと、を含む。

一実施形態では、標的情報は標的厚さを含み、概算３Ｄ位置の正確化は、正確化のために標的厚さを使用することを含む。

添付の図面は、本発明の主要な態様のよりよい理解を提供するために含まれ、本明細書の一部に組み込まれ、本明細書を構成するが、本発明の原理を説明する役目をする記載と共に、本発明の例示的な実施形態を例証する。添付図面は、必ずしも縮尺通りに描かれるようには意図されていない。図面を以下に説明する。

環状光源を備えた２つのカメラを含むステレオペアを示す（先行技術）。 環状光源を備えた１つのカメラおよび投影部を含むステレオペアを示す。 基準標的を含む、物体の表面に投影されたグリッドパターンを図示する。 ３Ｄ空間における基準標的の逆投影法の２つの解に加えて、基準標的およびグリッドパターンの画像を図示する。 ２Ｄ表面点の箇所をさらに含む図４の画像である。 例示的なインタラクティブ３Ｄ表面モデリングシステムのブロック図である。 ３Ｄにおいて標的を抽出するための例示的な方法のフローチャートである。

添付の図面の全体を通して、同様の機構が同様の参照符号によって識別されることに留意されたい。

実施形態の以下の説明において、添付図面への言及は、それによって本発明を実施できる例証である。他の実施形態が、開示される本発明の範囲から逸脱せずに作成可能であることが理解されよう。

図１（先行技術）は、２つのカメラ１０２および２つの環状光源１０１を備えたステレオペア１００を図示する。再帰反射標的がシーンに貼付すると、先行技術のステレオペア１００の使用により、シーンの２つの画像を同時にキャプチャし、再帰反射標的の３Ｄ位置を抽出することができる。画像処理後、これらの基準標的の２Ｄ位置、任意的に向きを各画像において取得する。次に、通常、ステレオペア座標系における基準標的の３Ｄ座標を抽出するための三角測量を適用する前に、エピポーラ幾何拘束を利用して、双方の画像における２Ｄ抽出標的を照合させる。照合の促進、または最終座標の精度の改善のために、１つまたはいくつかのカメラをこの先行技術のステレオペアに追加できる。先行技術のステレオペアの双方のカメラの代わりに１台のカメラを使用すると、それらの３Ｄ位置を算出する前に同じ基準標的を再観察するために、カメラを少なくとも１つの追加の視点に移動させる必要が生じるであろう。少なくとも直線を含むパターンを投影し、パターンが表面に反射するところのシーンにおける３Ｄ表面点を抽出するのに同じカメラを利用するために、先行技術のステレオペアにパターン投影部を追加することもできる。パターンはレーザーパターンでもよい。この原理は、システムが、観察した物体の３Ｄ表面モデルとともに基準標的モデルを同時に形成する間のインタラクティブモデリングに関して米国特許第７，９１２，６７３号において使用されてきた。

先行技術の方法を用いて表面点を測定するために、カメラとともにフルフィールドパターン投影部も使用できる。３Ｄ表面点は、投影部が表面に光を投影するところの視野全体にわたって抽出できる。抽出した表面点の密度は、投影部の種類および利用する方法に応じて異なる。時間符号化に基づくいくつかの周知の方法は、三角測量を適用する前であって、像点をデコードする時までに画像の組を投影することを含む。投影部の役割は、投影部とカメラ画素との点の照合を支援することである。そのような方法の例として、グレイコードおよび位相法が挙げられる。数多くの可能なバリエーションがある。取り込み時間を短縮するために、多重スペクトル投影を単一または少数のフレームに利用することさえできる。単一フレームに対する取り込み時間を短縮する別の手法は、照合を支援するために空間コードを利用する。投影パターンは、唯一の位置を局所的にエンコードする。時空間コードの使用は、空間および時間コードの両方の種類のコードを組み合わせる別のバリエーションである。単一画像に対する取り込み画像の数を減少することにより３Ｄ表面点をキャプチャする期間にセンサまたは物体が運動できる。これらのシステムは、スナップショットシステムと呼ばれる。

本発明は、投影部とともに１台のカメラを使用して全領域における３Ｄ表面点をキャプチャしつつ、単一視点から基準標的の３Ｄ位置および向きをキャプチャすることが可能になる。

例示的なセンサ２００（「検出装置」とも呼ばれる）の代表例を図２に描写する。環状光源２０１とともに１つのカメラ２０２が、装置の一方の先端に取り付けられ、一方で、フルフィールド投影部２０３が他方の先端に取り付けられる。フルフィールド投影部２０３は、レーザーパターン投影部または白色光パターン投影部などの広帯域パターン投影部でもよい。赤外線パターン投影部または青色ＬＥＤパターン投影部などの他の種類の投影部も使用できる。

フルフィールド投影部２０３は、カメラ２０２と同期して、画像をキャプチャするのと同時にパターンを投影できる。あるいは、フルフィールド投影部は、カメラ２０２と同期しなくても、物体の表面に連続的にパターンを提供するように作動できる。いかなる場合でも、パターンの少なくとも一部分が、カメラがキャプチャした画像上で明らかとなるはずである。

図３は、基準標的３０６が貼付し、パターン３０５が投影された表面断面の代表例３００を示す。この例では、基準標的３０６は再帰反射標的である。パターンは、再帰反射性材料に加えて物体の表面においても視認できる。この例では、再帰反射性材料は、黒色などのソリッドカラーの環によって囲まれる。黒色の環は、センサの画像における標的の特定を支援する。環は有益であるが、削除することもできる。環状光源レベルは、画像をわずかに飽和させるように調節できる。これもセンサの画像における標的の特定を支援する。

容易に理解されるように、光源はカメラと同期し、その近辺に提供される。これにより確実に、カメラが画像をキャプチャするときに、基準標的３０６の再帰反射性材料が光源の光を反射することによって、画像において基準標的３０６が明らかになる。

基準標的３０６は、画像をキャプチャする期間に物体がその周囲環境に移動しない場合には、物体の表面および／または物体に近接する周囲環境の表面に位置できる。基準標的３０６は、写真測量標的、再帰反射標的、符号化された標的、円形標的、単純反射標的、描かれたマーク、および特有の形状特徴でもよい。基準標的３０６が反射性材料から作られる場合には、基準標的の適切な識別を可能にするために、物体の表面を照らす必要が生じ得る。

図４に、単一ビューカメラから基準標的の位置および向きを算出した結果４００を示す。カメラの像平面４１２および投影の中心４１１を示す。像平面４１２は、投影パターン４１６および基準標的４１３を含む観察した表面の画像を示す。標的が円形である場合、例えばこの例では、画像において投影した再帰反射標的の歪んでいない輪郭を抽出した後に、楕円輪郭が取得される。カメラを較正した以後は、当技術分野において周知の方法を使用して歪みを取り除くことができる。この例は、Ｊ．Ｈｅｉｋｋｉｌａ ｉｎ ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２ ｎｏ．１０，Ｏｃｔ．２０００，ｐｐ．１０６６−１０７７による「Ｇｅｏｍｅｔｒｉｃ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｕｓｉｎｇ ｃｉｒｃｕｌａｒ ｃｏｎｔｒｏｌ ｐｏｉｎｔｓ」に見られる。

画像における楕円輪郭の方程式から３Ｄ空間内のその向きの算出が可能になる。標的法線ベクトルについては、２つの解４１４，４１５をとり得る。光線４２０が、カメラの投影の中心４１１から発生し、解４１４，４１５の中心を通り抜ける。法線ベクトル向きに対するこれらの２つの解を算出する一つの方法を以下に記載する。そのより詳細な検討については、「Ｉｎｔｒｏｄｕｃｔｏｒｙ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ」，Ｃｈａｐ．１１，Ｅ．Ｔｒｕｃｃｏ，Ａ．Ｖｅｒｒｉ，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９８を参照できる。円がカメラの投影の中心を投影するため、それは３Ｄ空間における錐体を交差する。その方程式を以下に与える。

ここで、Ｐ＝［Ｘ，Ｙ，Ｚ］^ＴおよびＣは、画像楕円の実対称行列である。輪郭点を抽出した後、画像処理工程においてＣを取得する。これらの輪郭点は、数ミリメートル以内であってもよい。

Ｃから、３つの固有値λ_１，λ_２，λ_３および対応する固有ベクトルｅ_１，ｅ_２，ｅ_３が算出される。固有値から、向きθに対する２つの角度値を取得できる。

次に、回転行列を算出する。

最終的に、回転行列の第三の列が、基準標的法線と平行になる。このようにして、法線ベクトルの向きに対する曖昧さが得られる。さらに、投影の中心と標的との間の距離は、この段階では分からない。標的のサイズが既知であるため、楕円方程式からこの距離を概算できる。それにもかかわらず、この概算はベースラインに沿って位置する２つの個々のカメラに基づく測定よりは不正確である。

向きにおける曖昧さを除去し、標的までの距離のより正確な測定を取得するために、投影部とカメラとの間のベースライン距離を利用できる。しかしながら、投影部はセンサではないため、直接に三角測量は適用できない。解５００を図５に描写する。像平面５１２および投影の中心５１１を示す。像平面５１２は、投影パターン５１６および基準標的５１３を含む観察した表面の画像を示す。投影パターン５１６から、表面点５１７がカメラの像平面５１２において特定され、前述の時間または空間符号化手法のいずれかを使用して投影部に照合させることができる。さらに、装置のカメラと投射部との対を、それらの内在および外在パラメータについて較正できるため、表面点に三角測量を適用できる。カメラと投射部との対を較正するための当技術分野におけるいくつかの方法がある。次に、特定された標的の周りに位置し、通常、楕円のサイズの２倍よりも短い距離内にある点を抽出する。

較正したカメラと投射部との対に基づいて、これらの点の３Ｄ座標をセンサ座標系において算出する。特定された標的の周りにおいて抽出された点は、従って３Ｄの５１８に位置付けられる。次に、標的の補間位置における法線ベクトルを算出する前に、局所表面パッチ５１９を３Ｄにフィッティングすることができる。この補間位置は、カメラの投影の中心から発生し、画像楕円の中心を通り抜け、最後に、フィッティングされた表面断面を交差する光線５２０の交差点にまたはその付近に位置する。錐体の実際の軸を使用することによって精度が改善し、従って、補間位置が近似値となる。

３Ｄ点の局所組にフィッティングされたモデルは、平面でも、より精度のよい二次多項式でもよい。後者の場合では、以下のモデルに最小二乗法が適用される。

他の表面モデルも同様に使用できることが明らかである。フィッティングされたモデルのパラメータから、基準標的中心の座標が、フィッティングされた表面との光線５２０の交差点において算出される。そして、方程式２において画像楕円を用いて算出された２つの向きのうちの１つが、フィッティングされた面法線とのその最小の差異に基づいて選択される。選択された向き５２５および却下された向き５２４を図５に示す。

次に、標的中心の座標（ｘ，ｙ，ｚ）をさらに正確にできる。そのために、標的中心座標（ｘ，ｙ，ｚ）が、フィッティングされた局所表面に制限された場合に、局所検索が実行され、標的材料厚を補正した後、標的の向きを既に決定した向きに制限する。次に、３Ｄ空間内の標的円と、画像において対応する観察した楕円との間のホモグラフィを規定できる。円錐方程式１が与えられると、標的円の点を画像楕円Ｃにマッピングする３×３ホモグラフィ行列が存在する。

方程式５では、Ｃ^＊は、それ自体の座標系における標的円を表す３×３行列であり、これは（ｘ，ｙ，ｚ）を中心とし、カメラ座標系における算出された向きを有する。ホモグラフィＨを、第一の２つの列Ｒ_１およびＲ_２を取り、第三の列をＸ＝［ｘ ｙ ｚ］^Ｔに設定した後、方程式３の回転行列Ｒから設定できる。

最適化中、標的の位置Ｘは、予測された楕円中心と観察した楕円中心との間の距離を最小化するようにさらに正確にされる。ホモグラフィおよび標的円行列が与えられると、楕円中心は、次の通りに予測できる。

ここで、ｕ_ｃおよびｖ_ｃは、正規化された像平面における楕円中心の座標である。
予測された楕円中心値と画像楕円中心とを比較するために、ｓの値が、焦点距離Ｆ、較正工程において決定されたカメラの内在パラメータに設定される。次に、同じ座標系におけるそれらの座標およびそれらの向きを含む基準標的の組とともに、センサの座標系において測定された３Ｄ点の組を決定する。

図７は、３Ｄにおいて標的を抽出するための手順７００を要約したフローチャートである。手順は、与えられたフレームにおける全ての標的に応用できる。まず、標的輪郭を現在の画像において抽出し（７０１）、抽出された標的輪郭を使用して（７０２）、その３Ｄ位置の第一の概算に加えて、標的の２つのとり得る３Ｄ向きを算出する（７０３）。３Ｄ位置の算出では、標的サイズ７０４が標的サイズ記憶部から提供される（７０５）。３Ｄ位置および２つのとり得る向きを使用して（７０６）、標的３Ｄ位置をさらに正確にし、３Ｄにおける実際の向きを特定する（７０７）。その目的のため、物体表面における投影パターンから得られた特定された位置における表面点を画像において抽出する（７０８）。次に、これらの像点を使用して（７０９）、それらの対応する３Ｄ表面点７１１を算出する（７１０）。標的の抽出された輪郭を使用して（７０２）、表面断面をそれらの３Ｄ対応点にフィッティングする（７１２）前に、画像において標的の周りに位置する２Ｄ表面点を特定する。最後に、標的厚さ記憶部７１４内の標的厚さ７１５とともにフィッティングされた局所表面モデル７１３を使用して、標的位置をさらに正確にし、実際の向きを特定する（７０７）。

３Ｄ表面モデリングエンジンにおいてそのようなシステムを利用できる。図６に、例示的な３Ｄモデリングエンジンのブロック図６００を示す。センサ６０１が、与えられた視点からの１つまたはいくつかの画像をキャプチャする。投影パターンの時間符号化にはいくつかの画像が必要である。ユーザは、取得期間に物体またはセンサのいずれかを手に保持することができる。物体またはセンサは、取得期間に静止を維持される必要はない。空間および／またはスペクトル符号化を有するワンショットフルフィールドパターンは、ハンドヘルドモデリングを可能にする。ワンショットシステムでは、露出時間は、通常、取得期間に手動で動かすことが可能なように数ミリ秒よりも短い。次に、画像６０２を画像処理プロセッサ６０３に転送し、ここで、投影パターンをデコードして観察した表面点を抽出し、基準標的輪郭を抽出する。

画像処理プロセッサ６０３から、観察した表面点の２Ｄ画像座標６０４を３Ｄ表面点算出部６０５に転送する。３Ｄ表面点算出部６０５は、それらの２Ｄ画像座標、ならびにカメラおよび投影部の外在および内在パラメータ６２１から表面点の３Ｄ座標を算出する。パラメータ６２１は、３Ｄ表面点算出部６０５によってアクセス可能なメモリ６２２に保存できる。較正のノンパラメトリックモデル、例えば、ルックアップテーブルの形態のものも使用でき、メモリ６２２に保存できることが明らかである。センサ座標系において算出された３Ｄ点の組６０６を３Ｄ表面点変換部６０７に転送する。３Ｄ表面点変換部６０７は、センサの座標系をモデル座標系にマッピングする、剛体変換のない６次のパラメータ６１４も必要とする。

画像処理プロセッサ６０３は、観察した基準標的に対応する楕円輪郭６１０の２Ｄ画像座標の組も抽出する。これらの輪郭６１０は、現在の画像フレームにおいて観察された３Ｄ表面点の組６０６も受け取る３Ｄ位置決め特徴算出部６１１に転送される。３Ｄ位置６１２、任意的に基準標的の向きが、センサの座標系において算出され、位置決め特徴照合部６１３に転送される。位置決め特徴照合部６１３は、現在のセンサフレームにおいて観察された基準標的を、蓄積されたモデルフレームにおける同じ標的に照合させ、センサの座標系をモデル座標系にマッピングする剛体変換６１４を生成する。

次に、３Ｄ位置決め特徴変換部６１５および３Ｄ表面点変換部６０７が変換６１４を使用する。３Ｄ位置決め特徴変換部６１５および３Ｄ表面点変換部６０７は３Ｄ基準標的位置および任意的に向き、ならびにセンサの座標系からの３Ｄ表面点をそれぞれ、モデル座標系に変換する。次に、変換された３Ｄ基準標的位置６１６、および任意的に向きが、参照位置決め特徴生成部６１７によって使用され、観察した基準標的の蓄積されたモデルを更新する。更新されたモデル６１８は、次のフレームにおいて抽出された情報を処理するための位置決め特徴照合部６１３と通信する。更新されたモデル６１８は、ユーザーインターフェース表示部６１９にも通信し、ここで基準標的の蓄積されたモデルを視覚化できる。

センサの座標系をモデル座標系にマッピングする剛体変換６１４は、３Ｄ表面点変換部６０７にも転送される。ここで、センサの座標系からの３Ｄ表面点を表面モデルの座標系に変換する。次に、これらの変換された表面点６０８は、表面再構成部６０９に転送され、ここで、取得された点の組から表面モデルを生成する。最後に、再構成された表面６２０が、表示のため、ユーザーインターフェース表示部６１９に伝達される。

当業者は、追加のカメラを使用できることを理解する。これらのカメラを使用して、表面のテクスチャなどの他の特性をキャプチャできる。

追加のカメラは、カメラが２Ｄ画像をキャプチャした後、投影パターンが表面に明らかになっていないときに、第二の２Ｄ画像をキャプチャするように形成できる。第二の２Ｄ画像を２Ｄ画像のキャプチャの直前または直後にキャプチャする場合には、システムは、２回のキャプチャの間に大幅に移動しなくてもよい。検出装置の起こり得る移動の考慮を望む場合には、２つの画像のキャプチャ間の時間遅延における検出装置の理論上の移動のための補正を算出できる。

検出装置は、カメラ、追加のカメラおよびパターン投影部と通信する同期ユニットを含むことができる。同期ユニットは、第一の時間間隔中に第一の２Ｄ画像をキャプチャするように第一のカメラおよびパターン投影部を制御し、第二の時間間隔中に第二の２Ｄ画像をキャプチャするように第二のカメラおよびパターン投影部を制御する。２つの時間間隔は互いに異なる。同期ユニットは、パターン投影部が第一の時間間隔中に投影パターンを提供し、第二の時間間隔中には投影パターンを提供しないようにパターン投影部を制御できる。

追加のカメラがテクスチャカメラである場合には、第二の２Ｄ画像は表面の２Ｄテクスチャ画像であり、システムは、表面点の２Ｄ画像座標における表面のテクスチャを抽出し、表面点に対するテクスチャ情報を取得するためのテクスチャ抽出部をさらに備える。

上記の説明は、発明者らによって現在想到されるような例示的な実施形態に関連するが、広範な態様において本発明が、本明細書で説明される要素の均等物を含むことが理解されよう。

上記の実施形態は、単に例示的であるように意図されている。従って、本発明の範囲は、もっぱら添付の特許請求の範囲によって限定されるように意図されている。

Claims (19)

1. 基準標的を有する表面に関する３次元情報を取得するためのシステムであって、
   前記表面に投影パターンを提供するパターン投影部、および
   視点から前記表面の２Ｄ画像を取得するためのカメラであって、前記基準標的および前記投影パターンの少なくとも一部分を前記２Ｄ画像上に明らかにするための、前記パターン投影部と共に機能するカメラを有する検出装置と、
   前記カメラおよび前記パターン投影部の外在および内在パラメータを含む較正データのための記憶部と、
   前記２Ｄ画像から前記投影パターンの表面点および標的輪郭の２Ｄ画像座標を抽出するための画像処理プロセッサと、
   前記較正データを使用して前記表面点の前記２Ｄ画像座標から前記表面点の３Ｄ座標を算出するための３Ｄ表面点算出部と、
   前記表面点の前記３Ｄ座標、前記較正データおよび標的サイズを使用して、前記標的輪郭の前記２Ｄ画像座標から、前記基準標的に対する３Ｄ位置および実際の向きの少なくともいずれかを算出するための３Ｄ標的算出部と、を備え、
   前記３Ｄ標的算出部は、
   前記基準標的に対する概算３Ｄ位置を概算し、
   前記基準標的の周りに位置する隣接した表面点を特定し、
   前記隣接した表面点の３Ｄ座標を算出し、
   表面断面モデルを前記隣接した表面点の前記３Ｄ座標にフィッティングし、
   前記フィッティングした表面断面モデルを使用して、前記概算３Ｄ位置を前記３Ｄ位置にすることおよび前記基準標的の２つのとり得る向きを使用して前記基準標的の実際の向きを特定することの少なくともいずれかを行う、システム。
2. 前記基準標的が再帰反射標的であり、前記検出装置が、前記表面を照らすための、前記カメラと共に機能する光源をさらに備える、請求項１に記載のシステム。
3. 前記光源が前記カメラを囲む環状光源である、請求項２に記載のシステム。
4. 前記環状光源が少なくとも２つの発光ダイオード（ＬＥＤ）を有する、請求項３に記載のシステム。
5. 前記パターン投影部がレーザーパターン投影部および広帯域パターン投影部のいずれかである、請求項１から請求項４のいずれか１項に記載のシステム。
6. 前記パターン投影部と前記カメラとが同期して前記投影パターンを同時に提供し、前記カメラが前記２Ｄ画像を取得する、請求項１から請求項５のいずれか１項に記載のシステム。
7. 前記表面の標的のモデルを保存するための標的モデル記憶部と、
   前記標的と前記標的のモデル内の同じ標的とを照合して、前記検出装置の座標系を前記標的のモデルの座標系にマッピングする剛体変換を生成する標的照合部と、をさらに備える、請求項１から請求項６のいずれか１項に記載のシステム。
8. 前記基準標的に対する前記３Ｄ位置を、前記剛体変換を使用して前記基準標的に対する変換３Ｄ位置に変換するための標的変換部と、
   前記基準標的に対する前記変換３Ｄ位置を使用して、前記標的モデル記憶部内の前記標的のモデルを更新するための標的モデル生成部と、をさらに備える、請求項７に記載のシステム。
9. 前記表面点の前記３Ｄ座標を、前記剛体変換を使用して前記表面点の変換３Ｄ座標に変換するための表面点変換部と、
   前記表面点の前記変換３Ｄ座標を使用して、前記表面の表面モデルを生成するための表面再構成部と、をさらに備える、請求項７または請求項８に記載のシステム。
10. 前記表面の前記表面モデルおよび前記標的のモデルの少なくともいずれかを表示するためのユーザーインターフェース表示部をさらに備える、請求項９に記載のシステム。
11. 前記検出装置が複数の別個の視点に移動するように構成され、前記カメラが前記複数の視点の各視点における前記２Ｄ画像を取得し、前記３Ｄ表面点算出部および前記３Ｄ標的算出部が、少なくとも２つの前記２Ｄ画像からの２Ｄ画像座標を使用する、請求項１から請求項１０のいずれか１項に記載のシステム。
12. 前記カメラが前記視点における少なくとも２つの前記２Ｄ画像を取得し、前記３Ｄ表面点算出部および前記３Ｄ標的算出部が、少なくとも２つの前記２Ｄ画像からの２Ｄ画像座標を使用する、請求項１から請求項１１のいずれか１項に記載のシステム。
13. 前記検出装置が複数の別個の視点に移動するように構成され、前記カメラが前記複数の視点の各視点における少なくとも２つの前記２Ｄ画像を取得し、前記３Ｄ表面点算出部および前記３Ｄ標的算出部が、少なくとも２つの前記２Ｄ画像からの２Ｄ画像座標を使用する、請求項１から請求項１２のいずれか１項に記載のシステム。
14. 前記カメラが第一のカメラであり、前記２Ｄ画像が第一の２Ｄ画像であり、前記検出装置が、前記表面の第二の２Ｄ画像を取得するための第二のカメラをさらに備え、前記第二のカメラが前記第一のカメラと共に機能し、前記第一のカメラと前記第二のカメラとの空間的関係が既知であり、前記較正データが前記第二のカメラの外在および内在パラメータを含む、請求項１から請求項１３のいずれか１項に記載のシステム。
15. 前記検出装置が、前記第一のカメラ、前記第二のカメラおよび前記パターン投影部と通信する同期ユニットをさらに備え、前記同期ユニットが、第一の時間間隔中に前記第一の２Ｄ画像をキャプチャするように前記第一のカメラおよび前記パターン投影部を制御し、第二の時間間隔中に前記第二の２Ｄ画像をキャプチャするように前記第二のカメラおよび前記パターン投影部を制御し、前記第一の時間間隔が前記第二の時間間隔とは異なる、請求項１４に記載のシステム。
16. 前記同期ユニットが、前記パターン投影部が前記第一の時間間隔中に前記投影パターンを提供し、前記第二の時間間隔中には前記投影パターンを提供しないように前記パターン投影部を制御する、請求項１５に記載のシステム。
17. 前記第二のカメラがテクスチャカメラであり、前記第二の２Ｄ画像が前記表面の２Ｄテクスチャ画像であり、前記表面点の２Ｄ画像座標における前記表面のテクスチャを抽出し、前記表面点に対するテクスチャ情報を取得するためのテクスチャ抽出部をさらに備える、請求項１４から請求項１６のいずれか１項に記載のシステム。
18. 表面に貼付した標的に対する３Ｄ位置、前記表面に投影されたパターンを抽出するための方法であって、
    標的サイズを含む標的情報を取り出すことと、
    外在および内在パラメータを含む較正データを取り出すことと、
    前記標的および前記投影パターンの少なくとも一部分が２Ｄ画像上に明らかとなる、前記表面の前記２Ｄ画像を提供することと、
    前記２Ｄ画像から、前記標的の標的輪郭の２Ｄ画像座標を抽出することと、
    前記標的輪郭の２Ｄ画像座標および前記較正データを使用して、前記標的の少なくとも１つのとり得る向きを算出することと、
    前記標的輪郭の前記２Ｄ画像座標、前記較正データおよび前記標的サイズを使用して、前記標的に対する概算３Ｄ位置を概算することと、
    前記２Ｄ画像から前記投影パターンの表面点の２Ｄ画像座標を抽出することと、
    前記標的の周りに位置する隣接した表面点を特定し、前記較正データを使用して、前記表面点の前記２Ｄ画像座標から、前記隣接した表面点の３Ｄ座標を算出することと、
    前記標的輪郭の前記２Ｄ画像座標を使用して、表面断面モデルを前記隣接した表面点の前記３Ｄ座標にフィッティングすることと、
    前記フィッティングした表面断面モデルおよび前記少なくとも１つのとり得る向きを使用して、前記概算３Ｄ位置をさらに正確な３Ｄ位置にすることおよび前記標的の実際の向きを特定することの少なくともいずれかを行うことと、を含む、方法。
19. 前記標的情報が標的厚さを含み、
    前記概算３Ｄ位置の前記正確化が、前記正確化のために前記標的厚さを使用することを含む、請求項１８に記載の方法。

Images