JP4871352B2 - ３次元スキャンの自動参照システム及び装置 - Google Patents

Description

本発明は、包括的には物体表面の幾何学的形状の３次元スキャンの分野に関し、より詳細には、ハンドヘルド操作用ポータブル３次元スキャン装置に関する。

現在、多くの業界及びサービスで物体表面の幾何学的形状の３次元スキャン及びデジタル化が一般に使用されており、それらの用途は数多い。このような用途のいくつかの例が、工業生産システムでの形状の合致度の調査及び測定、工業デザイン用途及びスタイリング用途でのクレイモデルのデジタル化、幾何学的形状が複雑な既存部品のリバースエンジニアリング、マルチメディアアプリケーションでの物体のインタラクティブビジュアライゼーション、芸術品及び人造品の３次元ドキュメンテーション、装具をより良く適合させるため、又は生体測定のための人体スキャンである。

物体の形状は、センサと表面上のポイントセットとの間の距離を測定するレンジセンサを使用して、スキャンされ、デジタル化される。これらの測定結果から、ターゲット表面上のポイントの３次元座標がセンサ参照座標系（ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）で得られる。所与の視点からレンジセンサが距離測定結果を取得することができるのは、表面の可視部分のみである。このため、物体全体をデジタル化するには、センサを複数の視点に移動させて、表面全体を網羅するレンジ測定セットを取得しなければならない。グローバル共通座標系で提供される全体のレンジ測定セットから、物体の表面幾何学的形状のモデルを構築することができる。

レンジセンサに対して様々な原理が開発されてきた（Ｆ．Ｂｌａｉｓ，“Ａ Ｒｅｖｉｅｗ ｏｆ ２０ Ｙｅａｒｓ ｏｆ Ｒａｎｇｅ Ｓｅｎｓｏｒ Ｄｅｖｅｌｏｐｍｅｎｔ”，ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，ＳＰＩＥ Ｖｏｌ．５０１３，２００３，ｐｐ．６２−７６参照）。これらの中で、干渉分光法、飛行時間、及び三角測量に基づく原理は、精度、センサと物体との間のスタンドオフ距離及び所要の被写界深度についての要件に応じて、それぞれが程度の差はあるが適切である周知の原理である。

本発明者等は、近距離測定、典型的には数メートル未満での測定に一般的に適した三角測量に基づくレンジセンサに特に関心を持っている。この種の装置を使用する場合、物体上の同じ特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔ）について、ベースライン距離分隔てられている二つの異なる視点から二つの観測結果を収集しなければならない。ベースライン及び二つの光線方向から、観測（ｏｂｓｅｒｖｅｄ）ポイントの相対位置をリカバーすることができる。三角形の一辺の長さ及び二つの角度についての知識を利用するために、両方の光線の交点が解かれる。これは実際にはパッシブステレオビジョンの原理である。光検出器を、既知の方向に光線セット（ｓｅｔ ｏｆ ｒａｙｓ）を発するライトプロジェクタに置き換えることができる。この場合、プロジェクタの向き及び物体表面で反射される各検出光線を利用して三角形を解くことが可能である。両方の場合において、三角形の底辺に相対する各観測特徴ポイントの座標を算出することが可能である。特殊な光検出器を使用することができるが、典型的にはデジタルＣＣＤカメラ又はデジタルＣＭＯＳカメラが使用される。

ライトプロジェクタの使用により、物体表面上のどのポイントでの反射も容易に検出され、密な測定表面ポイントセットが提供される。典型的には、光源は、スポット、光平面、又は十字形等の他の多くの可能な投射パターンを投射するレーザ源である。コヒーレントな光を有するこの種のプロジェクタは、良好な被写界深度特性を提供するが、スペックルノイズを受ける。被写界深度のロスがあまり重要ではない場合、非コヒーレント光パターン（たとえば白色光）を投射してスペックルを回避することも可能である。

物体のスキャンとは、その表面上のポイントの収集を意味する。ポイントは、曲線形状（プロファイル）又はレンジイメージの形でさらに構造化することができる。物体の表面全体をスキャンするには、センサを移動させなければならない。プロジェクタを独立して移動させることが可能であるが（Ｊ．Ｙ．Ｂｏｕｇｕｅｔ ａｎｄ Ｐ．Ｐｅｒｏｎａ，“３Ｄ Ｐｈｏｔｏｇｒａｐｈｙ Ｕｓｉｎｇ Ｓｈａｄｏｗｓ ｉｎ Ｄｕａｌ−Ｓｐａｃｅ Ｇｅｏｍｅｔｒｙ”，Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．３５，Ｎｏ．２，Ｎｏｖｅｍｂｅｒ−Ｄｅｃｅｍｂｅｒ １９９９，ｐｐ．１２９−１４９参照）、センサは通常、光検出器及びプロジェクタを備える単体のアセンブリである。光検出器及びプロジェクタが剛体セットである場合もあり、又はライトプロジェクタがセンサ装置（ｓｅｎｓｏｒ ｄｅｖｉｃｅ）内のスキャン機構であることが一般的でもある。センサは、機械システムを使用して、又は汎用性をより高めるためにハンドヘルド式で物体の周囲を移動させることができる。ポータブルハンドヘルドシステムが、高速スキャン及び現場でスキャンしなければならない物体に対して特に有用である。

ハンドヘルドシステムを使用する場合、主な課題は、物体に対して固定されているグローバル座標系で装置の位置及び向き（６自由度）を常時測定することである。これは、レンジスキャナに結合される位置決め（ｐｏｓｉｔｉｏｎｉｎｇ）装置（米国特許第６，５０８，４０３号明細書参照）を使用して実現することができる。位置決め装置を使用することで、装置の複雑性及び費用が大幅に増大する。また、位置決め装置は場合によっては扱いにくく、又はノイズが多いために統合データの品質を制限してしまう。

外部位置決め装置の使用を避けるための代替策は、剛性物体から収集される３Ｄ測定結果を使用することによって、装置と物体との間の相対位置及び向きを算出することから成る。スキャン中に物体を手に持って移動させることさえ可能である（Ｓ．Ｒｕｓｉｎｋｉｅｗｉｃｚ，Ｏ．Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｍ．Ｌｅｖｏｙ，“Ｒｅａｌ−Ｔｉｍｅ ３Ｄ Ｍｏｄｅｌ Ａｃｑｕｉｓｉｔｉｏｎ”，ｉｎ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，ｖｏｌ．２１，ｎｏ．３，Ｊｕｌｙ ２００２，ｐｐ．４３８−４４６，Ｆ．Ｂｌａｉｓ，Ｍ．Ｐｉｃａｒｄ ａｎｄ Ｇ．Ｇｏｄｉｎ，“Ａｃｃｕｒａｔｅ ３Ｄ Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｆｒｅｅｌｙ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ ３Ｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ．Ｔｈｅｓｓａｌｏｎｉｋｉ，Ｇｒｅｅｃｅ．Ｓｅｐｔｅｍｂｅｒ ６−９，２００４．ＮＲＣ ４７１４１参照）。測定結果を利用しながら、位置の算出をシステムに直接統合するこの概念は興味深いが、これらのシステムは物体の幾何学的形状に完全に依存し、姿勢の正確な測定の維持を確保することが不可能である。たとえば、幾何学的形状変化が弱い物体又は球形、円柱形、又は平坦形等の局所的対称性のある物体では、位置決めの質が一定にならない。

シーンの各種視点から再観測が可能な固定点又は固定特徴を利用することで、写真測量法の原理を利用することができる。これらの位置決め特徴はシーン内の自然点であることができるが、多くの場合にその密度又は品質は十分でなく、ターゲット位置決め特徴がシーン内にセットされる。こうして、イメージセットを収集し、位置決め特徴の３Ｄセットを共通グローバル座標系でモデリングすることができる。３Ｄ表面スキャナを有するカメラを使用してこの原理をさらに組み合わせることができる。白色光プロジェクタがカメラと共に使用されて、再帰反射ターゲットを照らす写真測量法とレンジ感知の相補性が開発されている（ｈｔｔｐ：／／ｗｗｗ．ｇｏｍ−ｏｎｌｉｎｅ．ｄｅ／Ｅｎ／Ｐｒｏｄｕｃｔｓ／ｔｒｉｔｏｐ．ｈｔｍｌ，Ｍａｒｃｈ ８，２００６参照）。この種のシステムを使用する場合、デジタルカメラを使用して、再帰反射ターゲットセットの写真測量法モデルが事前に測定されて構築される。次に、３Ｄセンサ装置が固定位置セットに移動され、表面幾何学的形状が測定される。３Ｄセンサ装置が再帰反射ターゲットを検出することができるため、レンジイメージを、先に構築された位置決め特徴のモデルに登録（ｒｅｇｉｓｔｅｒ）することができる。

興味深い概念は、同じシステム内に、光パターンを投射するのみならず、位置決め特徴を観測しながら同時に自己位置決め機能を有するハンドヘルドスキャナを統合することである。Ｈｅｂｅｒｔ（Ｐ．Ｈｅｂｅｒｔ，“Ａ Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８ Ｍａｙ−１ Ｊｕｎｅ ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２参照）は、外部固定プロジェクタを使用して、スキャンする物体にレーザポイントを投射して、ハンドヘルドセンサの位置決めを助けることを提案した。それにも関わらず、このシステムは完全にハンドヘルド式であるが、これは位置決め特徴ポイントモデルが動的に構築されないために制限され、三つすべての位置決め特徴ポイントが見える単一の視点が存在しなければならない。
米国特許第６，５０８，４０３号明細書 Ｆ．Ｂｌａｉｓ，"Ａ Ｒｅｖｉｅｗ ｏｆ ２０ Ｙｅａｒｓ ｏｆ Ｒａｎｇｅ Ｓｅｎｓｏｒ Ｄｅｖｅｌｏｐｍｅｎｔ"，ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，ＳＰＩＥ Ｖｏｌ．５０１３，２００３，ｐｐ．６２−７６ Ｊ．Ｙ．Ｂｏｕｇｕｅｔ ａｎｄ Ｐ．Ｐｅｒｏｎａ，"３Ｄ Ｐｈｏｔｏｇｒａｐｈｙ Ｕｓｉｎｇ Ｓｈａｄｏｗｓ ｉｎ Ｄｕａｌ−Ｓｐａｃｅ Ｇｅｏｍｅｔｒｙ"，Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．３５，Ｎｏ．２，Ｎｏｖｅｍｂｅｒ−Ｄｅｃｅｍｂｅｒ １９９９，ｐｐ．１２９−１４９ Ｓ．Ｒｕｓｉｎｋｉｅｗｉｃｚ，Ｏ．Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｍ．Ｌｅｖｏｙ，"Ｒｅａｌ−Ｔｉｍｅ ３Ｄ Ｍｏｄｅｌ Ａｃｑｕｉｓｉｔｉｏｎ"，ｉｎ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，ｖｏｌ．２１，ｎｏ．３，Ｊｕｌｙ ２００２，ｐｐ．４３８−４４６，Ｆ．Ｂｌａｉｓ，Ｍ．Ｐｉｃａｒｄ ａｎｄ Ｇ．Ｇｏｄｉｎ，"Ａｃｃｕｒａｔｅ ３Ｄ Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｆｒｅｅｌｙ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ"，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ ３Ｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ．Ｔｈｅｓｓａｌｏｎｉｋｉ，Ｇｒｅｅｃｅ．Ｓｅｐｔｅｍｂｅｒ ６−９，２００４．ＮＲＣ ４７１４１ Ｐ．Ｈｅｂｅｒｔ，"Ａ Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ"，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８ Ｍａｙ−１ Ｊｕｎｅ ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２

したがって、単一のハンドヘルドセンサを使用してリアルタイムで、位置決め特徴の第二のモデルを蓄積しながら、同時に物体表面をスキャンしてモデリングすることに大きな関心が集まっている。さらに、追加の物理ターゲットを物体上の位置決め特徴として固定することにより、算出されるセンサ位置の質のために物体の表面幾何学的形状に依存することなく、物体を片方の手で持ちながらもう片方の手でスキャナを持つことが可能である。

したがって、本発明の目的は、３Ｄ表面幾何学的形状の測定と、位置決めのための位置決め特徴セットのモデルの測定とを同時に行うことができる３Ｄレーザスキャンシステムを提供することである。

本発明のさらなる目的は、物体の表面幾何学的形状をスキャンする、ハンドヘルド感知装置（ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）を組み込むコンパクトな装置を提供することである。

本発明のさらに別の目的は、物体を３Ｄスキャンする、改良された方法を提供することである。

したがって、本発明によれば、３次元スキャンシステムであって、
少なくとも一つのレーザパターンプロジェクタセット及び少なくとも二つの対物レンズと光検出器とのセットを含むハンドヘルド感知装置である、各光検出器からイメージを提供するハンドヘルド感知装置と、
物体表面上の前記投射レーザパターンの反射から少なくとも一つの２Ｄ表面ポイントセットを得て、及びターゲット位置決め特徴の観測結果から少なくとも二つの２Ｄ位置決め特徴セットを得るように構成されるイメージプロセッサと、
前記２Ｄ表面ポイントセットをセンサ座標系に関連する３Ｄ表面ポイントセットに変換する３Ｄ表面ポイント算出器と、
前記２Ｄ位置決め特徴セットをセンサ座標系に関連する算出（ｃａｌｃｕｌａｔｅｄ）３Ｄ位置決め特徴セットに変換する３Ｄ位置決め特徴算出器と、
３Ｄ位置決め特徴セット及び２Ｄ位置決め特徴セットを、すでに観測されている位置決め特徴の累積表現（ａｃｃｕｍｕｌａｔｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）とマッチングし、現在の感知装置と前記位置決め特徴の累積表現との空間関係を算出する位置決め特徴マッチャ（ｍａｔｃｈｅｒ）と、
３Ｄ位置決め特徴セットをグローバル座標系に関連する算出３Ｄ位置決め特徴セットに変換する３Ｄ位置決め特徴変換器と、
すでに観測されている３Ｄ位置決め特徴の表現を算出、更新、及び累積する３Ｄ参照（ｒｅｆｅｒｅｎｃｅ）位置決め特徴モデルビルダと、
前記３Ｄ表面ポイントセットを３Ｄ位置決め特徴表現に関連するグローバル座標系に変換する３Ｄ表面ポイント変換器、
とを備える３次元スキャンシステムが提供される。

また、本発明によれば、少なくとも一つのレーザパターンプロジェクタセット及び少なくとも二つの対物レンズと光検出器とのセットを含むハンドヘルド感知装置を組み込む装置が提供され、前記光検出器のサブセットはシーン内の再帰反射ターゲット参照ポイント（ｒｅｔｒｏ−ｒｅｆｌｅｃｔｉｖｅ ｔａｒｇｅｔ ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔｓ）を照らして検出しやすくする光源を含み、前記装置はコンピュータに接続されて、物体表面の投射パターンの反射からの少なくとも一つの２Ｄ表面ポイントセット及びターゲット位置決め特徴の観測結果からの少なくとも一つの２Ｄ位置決め特徴セットを提供する。

さらに、本発明によれば、ハンドヘルド装置を使用してグローバル座標系で３Ｄ表面ポイントを得る方法であって、
物体表面のレーザ投射パターンの反射からの少なくとも一つの２Ｄ表面ポイントセット及びターゲット位置決め特徴の観測結果からの少なくとも二つの２Ｄ位置決め特徴セットを得るステップと、
前記２Ｄ表面ポイントセットをセンサ座標系に関連する３Ｄ表面ポイントセットに変換するステップと、
前記２Ｄ位置決め特徴セットをセンサ座標系に関連する算出３Ｄ位置決め特徴セットに変換するステップと、
３Ｄ位置決め特徴セット及び２Ｄ位置決め特徴セットを、すでに観測されている位置決め特徴の累積表現とマッチングし、現在の感知装置と前記位置決め特徴の累積表現との空間関係を算出するステップと、
３Ｄ位置決め特徴セットをグローバル座標系に関連する算出３Ｄ位置決め特徴セットに変換するステップと、
すでに観測されている３Ｄ位置決め特徴の表現を算出、更新、及び累積するステップと、
前記３Ｄ表面ポイントセットを３Ｄ位置決め特徴表現に関連するグローバル座標系に変換するステップ、
とを含む方法が提供される。

さらに、本発明によれば、ハンドヘルド装置を使用して物体座標系で物体の３Ｄ表面ポイントを得る方法であって、
前記物体に投射パターンを提供すること、
前記物体に位置決め特徴セットを固定することによって、前記位置決め特徴が前記物体上で静止したままである一方で、前記物体ひいては前記物体座標系が空間内で移動できるようにすること、
前記物体の前記投射パターン及び前記位置決め特徴セットの少なくとも一部の一対の２Ｄイメージを取得することであって、前記一対の２Ｄイメージの取得位置は感知装置座標系で定義されること、
前記一対の２Ｄイメージから、前記投射パターンからの一対の２Ｄ表面ポイントセット及び前記位置決め特徴セットの前記少なくとも一部からの一対の２Ｄ位置決め特徴セットを抽出すること、
前記一対の２Ｄ表面ポイントセットを使用して、前記感知装置座標系で３Ｄ表面ポイントセットを算出すること、
前記一対の２Ｄ位置決め特徴セットを使用して、前記感知装置座標系で３Ｄ位置決め特徴セットを算出すること、
前記感知装置座標系での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照３Ｄ位置決め特徴セットとの間で対応する特徴をマッチングすることで、前記感知装置座標系と前記物体座標系との間の現在の空間関係を特徴付ける変換パラメータを計算することであって、前記参照３Ｄ位置決め特徴は以前の観測結果から累積されること、
前記変換パラメータを使用して、前記感知装置座標系での前記算出３Ｄ表面ポイントセットを前記物体座標系での変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ表面ポイントセットに変換すること、
前記変換パラメータを使用して、前記感知装置座標系での前記算出３Ｄ位置決め特徴セットを前記物体座標系での変換３Ｄ位置決め特徴セットに変換すること、
及び、前記変換３Ｄ位置決め特徴セットを累積することによって、前記参照３Ｄ位置決め特徴セットを提供して増補すること、
を含む方法が提供される。

また、本発明によれば、物体座標系で物体の３Ｄ表面ポイントを取得するシステムであって、
前記物体に投射パターンを提供するパターンプロジェクタ、前記物体上の前記投射パターン及び位置決め特徴セットの少なくとも一部の一対の２Ｄイメージを得るための一対のカメラ、及び、感知装置座標系を有する感知装置であって、前記位置決め特徴が前記物体上で静止したままである一方で、前記物体ひいては前記物体座標系が空間内で移動できるように前記位置決め特徴セットが前記物体に固定される、感知装置と、
前記一対の２Ｄイメージから、前記投射パターンからの２Ｄ表面ポイントセット及び前記位置決め特徴セットの前記少なくとも一部からの一対の２Ｄ位置決め特徴セットを抽出するイメージプロセッサと、
前記一対の２Ｄ表面ポイントセットを使用して、前記感知装置座標系で３Ｄ表面ポイントセットを算出する３Ｄ表面ポイント算出器と、
前記一対の２Ｄ位置決め特徴セットを使用して、前記感知装置座標系で３Ｄ位置決め特徴セットを算出する３Ｄ位置決め特徴算出器と、
前記感知装置での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照３Ｄ位置決め特徴セットとの間の対応する特徴をマッチングすることにより、前記感知装置座標系と前記物体座標系との間の現在の空間変換を特徴付ける変換パラメータを計算する位置決め特徴マッチャであって、前記参照３Ｄ位置決め特徴セットは以前の観測結果から得られる、位置決め特徴マッチャと、
前記変換パラメータを使用して、前記感知装置座標系での前記算出３Ｄ表面ポイントセットを前記物体座標系での変換３Ｄ表面ポイントセットに変換する３Ｄ表面ポイント変換器と、
前記変換パラメータを使用して、前記感知装置座標系での前記算出３Ｄ位置決め特徴セットを前記物体座標系での変換３Ｄ位置決め特徴セットに変換する３Ｄ位置決め特徴変換器と、
前記変換３Ｄ位置決め特徴セットを累積することによって、前記参照３Ｄ位置決め特徴を提供して増補する参照位置決め特徴ビルダ、
とを備えるシステムが提供される。

また、本発明によれば、物体をスキャンして物体の３Ｄ表面ポイントを物体座標系で提供する自動参照（ａｕｔｏ−ｒｅｆｅｒｅｎｃｅｄ）感知装置であって、
感知装置現在（ｃｕｒｒｅｎｔ）座標系と、
前記物体に投射パターンを提供するパターンプロジェクタと、
前記投射パターン及び位置決め特徴セットの少なくとも一部の一対の２Ｄイメージを得るための一対のカメラとを備え、
前記位置決め特徴は、前記位置決め特徴の少なくとも一部が所与の時間に前記一対の２Ｄイメージ内にあるように配置され、前記一対のカメラ間の空間関係は既知であり、前記一対の２Ｄイメージは前記物体の算出３Ｄ表面ポイント及び算出３Ｄ位置決め特徴を前記感知装置現在座標系で提供し、前記算出３Ｄ位置決め特徴は、前記感知装置現在座標系での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照３Ｄ位置決め特徴セット内との間の対応する特徴をマッチングすることにより、前記現在感知装置座標系と前記物体座標系との間の空間変換を特徴付け、前記物体座標系での変換３Ｄ表面ポイントが前記変換を用いて算出される、自動参照感知装置が提供される。

物体の表面幾何学的形状の３次元スキャン及びデジタル化のためのシステム、装置、及び方法が請求される。システムは自動参照ハンドヘルド装置を備える。システムは、装置が表面スキャンのために操作されている間に、グローバル座標系で３Ｄ測定結果を統合するために必要となる６自由度の変換を提供するのにいかなる位置決め装置をも必要としないことから、自動参照式である。システムは、物体の表面幾何学的形状をスキャンしながら、自身の位置及び向きを観測結果から常時算出する。そうするために、システムは三角測量原理を利用し、物体表面に投射されるレーザパターンの反射からの表面ポイント及びターゲット位置決め特徴の観測結果からの２Ｄ位置決め特徴の両方をキャプチャする装置を統合する。記載されるシステムの大きな利点は、表面幾何学的形状を記述する３Ｄ表面ポイントを累積しながら、同時に位置決め特徴の３Ｄ表現を構築してマッチングすることが可能な方法を実施する能力である。

こうして、本発明の性質について概説したが、これより、例示として本発明の好ましい一実施形態を示す添付図面を参照する。

図１は、本発明による３次元表面スキャンシステムを示すブロック図である。
図２は、本発明による３次元表面スキャン装置の構成を示す。
図３は、本発明による、取得中に測定すべき物体と共に、図２に示す装置の構成を示す。

図１を参照して、３Ｄ表面スキャンシステムの全体を１０で示す。

感知装置
システムは、本明細書においてより詳細に後述する感知装置１２を備える。感知装置１２は、観測シーンのイメージセット１３、すなわちフレームを集めてイメージプロセッサ１４に送信する。これらのイメージは、各自の投射中心（ｃｅｎｔｅｒ ｏｆ ｐｒｏｊｅｃｔｉｏｎ）をそれぞれ有する少なくとも二つの視点から収集される。イメージに含まれる関連情報は、物体表面上で反射されるレーザ投射パターン並びに他のフレームキャプチャに対する感知装置の相対位置を算出するために使用される位置決め特徴から生じるものである。所与のフレーム内のすべてのイメージは同時にキャプチャされ、位置決め測定結果及び表面測定結果の両方を含むため、位置決め測定結果と表面測定結果との同期は暗黙である。

位置決め特徴が物体上に、ひいては物体座標系に静止したままである一方で、物体が空間内で移動できるように、位置決め特徴は物体上に固定される。これにより、物体表面を感知装置でスキャンしながら物体を空間内で移動させることが可能になる。

イメージプロセッサ
イメージプロセッサ１４は、位置決め特徴及び表面ポイントを各イメージから抽出する。各イメージについて、２Ｄ表面ポイント１５のセット及び第二の観測２Ｄ位置決め特徴２１のセットが出力される。これらのポイント及び特徴は、それぞれに固有の特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）に基づいてイメージ内で識別される。位置決め特徴は、分離されるレーザポイントのトレースであるか、又は円形の再帰反射ターゲットである。これらの特徴に関連するピクセルは背景と対照（ｃｏｎｔｒａｓｔｉｎｇ）を成し、セントロイド又は楕円近似を用いてそれぞれの位置を測定する前に、単純なイメージ処理技法を用いて分離することができる（Ｅ．Ｔｒｕｃｃｏ ａｎｄ Ａ．Ｖｅｒｒｉ，“Ｉｎｔｒｏｄｕｃｔｏｒｙ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９８，ｐ．１０１−１０８参照）。円形のターゲットを使用することにより、表面法線の向き（ｓｕｒｆａｃｅ ｎｏｒｍａｌ ｏｒｉｅｎｔａｔｉｏｎ）情報を近似楕円の方程式から抽出することができ、これにより感知装置の位置決めが容易になる。レーザパターンプロジェクタはイメージ内にコントラスティング・カーブ・セクション（ｃｏｎｔｒａｓｔｉｎｇ ｃｕｒｖｅ ｓｅｃｔｉｏｎｓ）を形成し、それにより異なる２Ｄ形状を提示するため、表面ポイントセットは位置決め特徴から区別される。イメージカーブ・セクション（ｃｕｒｖｅ ｓｅｃｔｉｏｎｓ）は単一ブロブ（ｂｌｏｂｓ）として分離され、これらの各ブロブについて、カーブセグメント（ｃｕｒｖｅ ｓｅｇｍｅｎｔ）が解析されて、サブピクセル精度でカーブ上のポイントセットが抽出される。これは、カーブセクションにわたり微分演算子（ｄｉｆｆｅｒｅｎｔｉａｌ ｏｐｅｒａｔｏｒ）を畳み込み（ｃｏｎｖｏｌｖｉｎｇ）、そのレスポンスのゼロクロッシング（ｚｅｒｏ−ｃｒｏｓｓｉｎｇ）を補間（ｉｎｔｅｒｐｏｌａｔｉｎｇ）することにより実現される。

十字形レーザパターンの場合、以下に述べる装置の構造により益を得ることができる。二台のカメラ及び十字形パターンプロジェクタを有するこの構成では、カメラは、二つのレーザ平面のうちの一方が各カメラにおいて定位置に一本の直線を生成するように位置合わせされる。これは所与のカメラにとって非アクティブなレーザ平面である。これらの非アクティブレーザ平面は、両方のカメラで逆である。Ｈｅｂｅｒｔにより提案されるこの構成（Ｐ．Ｈｅｂｅｒｔ，“Ａ Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８ Ｍａｙ−１ Ｊｕｎｅ ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２参照）は、イメージ処理タスクを大幅に単純化する。これはまた、十字形のレーザ平面への２Ｄ表面ポイントの各セットの割り当ても単純化する。

表面ポイント１５のセットは、システムにおいて一つのパスを辿って表面幾何学的形状の全体スキャンを復元し、観測２Ｄ位置決め特徴２１のセットは、第二のパスを辿り、物体表面に対する感知装置の相対位置を復元するために使用される。しかし、これらの二種類のセットはさらに処理され、感知装置座標系での３Ｄ情報が得られる。

３Ｄ位置決め特徴算出器
感知装置はキャリブレートされているため、カメラの視点間でマッチした位置決め特徴は、３Ｄ位置決め特徴算出器２２を用いてそれぞれの３Ｄ位置を測定するのに使用される。観測２Ｄ位置決め特徴のセットがエピポーラ拘束を用いてマッチングされて、明確なマッチングが得られる。エピポーラ線が、カメラのキャリブレートされた射影行列から算出される基本行列（ｆｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ）を使用して算出される。次に、カメラの既知の射影行列から、三角測量が適用されて、単一の算出３Ｄ位置決め特徴２３セットが感知装置座標系で算出される。このポイントセットは、位置決め特徴マッチャに供給されて感知装置の現在の状態についての観測結果を提供し、そして３Ｄ位置決め特徴変換器に供給されて、物体座標系での参照３Ｄ位置決め特徴を最終的に更新する。

３Ｄ表面ポイント算出器
３Ｄ表面ポイント算出器１６は、抽出された２Ｄ表面ポイント１５のセットを入力として受け取る。これらのポイントには、レーザ投射パターンの部分、たとえば十字形パターンの場合では二つの平面のうちの一方を関連付けることができる。関連が分かっている場合、対応する投射光線とレーザ平面の方程式とを交差（ｉｎｔｅｒｓｅｃｔｉｎｇ）させることにより、各２Ｄポイントを感知装置座標系での３Ｄポイントに変換することができる。光線の方程式は、関連するカメラの射影行列から得られる。レーザ平面方程式は事前キャリブレーション手順を用いて（Ｐ．Ｈｅｂｅｒｔ，“Ａ Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８ Ｍａｙ−１ Ｊｕｎｅ ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２参照）、又はたとえば正確な平行移動段階を用いて感知装置をキャリブレートした後にテーブルルックアップ（ｌｏｏｋ−ｕｐ）を利用して得られる。両方の手法は適切である。前者では、手順は単純であり、高度な機器は必要ないが、カメラの内因性パラメータ及び外因性パラメータの非常に良好な測定が必要である。

各２Ｄポイントの特定のレーザパターン構造への関連付けを回避することも可能である。これは特に、より複雑又は一般的なパターンにとって興味深い。この場合、基本行列を使用して３Ｄ表面ポイントを算出し、エピポーラ拘束を利用してポイントをマッチングすることが依然として可能である。これを明確に行える場合、３Ｄ位置決め特徴算出器２２により適用された方法と同じ方法で、三角測量を算出することができる。

３Ｄ表面ポイント算出器１６はこうして、感知装置座標系で算出３Ｄ表面ポイント１７セットを出力する。これは未編成セットであってよいが、好ましくは、イメージ内で結ばれたセグメントに関連付けられている３Ｄポイントが、微分による３Ｄ曲線接線の測定に向けてグループ化されるように編成される。表面再構築器がこの情報を利用して、復元される表面モデル３１の質を向上させることができる。

位置決めサブシステム
主に位置決め特徴マッチャ２４及び参照位置決め特徴ビルダ２８において実施される位置決めサブシステムのタスクは、変換パラメータ２５を算出３Ｄ表面ポイント１７の各セットに提供することである。これらの変換パラメータ２５は、構造を保持しながら算出３Ｄ表面ポイント１７を単一の物体座標系に変換できるようにし、この変換は剛体変換である。これは、参照３Ｄ位置決め特徴２９のセットを物体座標系で構築して保持することにより実現される。位置決め特徴は、３Ｄポイントセット、表面法線又は他の任意の表面特性が関連付けられる３Ｄポイントセットであることができる。この好ましい実施形態では、すべての位置決め特徴が、三つの座標軸に沿ったポイントの位置を示す三つの成分を含む列ベクトル［ｘ，ｙ，ｚ］^Tとして表される３Ｄポイントであると仮定される。

スキャンセッション開始時、参照３Ｄ位置決め特徴２９のセットは空である。感知装置１２が最初の測定結果を提供し、システムが算出３Ｄ位置決め特徴２３のセットを算出すると、該特徴が、恒等変換を用いて参照３Ｄ位置決め特徴２９のセット内にコピーされる。こうして、このセットが後続するすべての参照３Ｄ位置決め特徴２９のセットの参照セットになり、この最初の感知装置の位置が、すべての３Ｄ表面ポイントが位置合わせされる物体座標系を定義する。

参照３Ｄ位置決め特徴２９の初期セットを作成した後、算出３Ｄ位置決め特徴２３の後続セットがまず参照セット２９に対してマッチングされる。マッチング演算は二つのタスクに分けられる。すなわち、ｉ）感知装置座標系での算出３Ｄ位置決め特徴２３セットと物体座標系での参照３Ｄ特徴セットとの間の対応する特徴を見つけ、ｉｉ）二つのセットを最も良く位置合わせする最適な剛体３Ｄ変換の変換パラメータ２５を計算する。パラメータが計算されると、これらのパラメータを使用して算出３Ｄ位置決め特徴２３及び算出３Ｄ表面ポイント１７の両方が、物体座標系に位置合わせするように変換される。

位置決め特徴マッチャ２４への入力は、先に説明したように、３Ｄ位置決め特徴算出器２２によっても使用される、観測２Ｄ位置決め特徴２１の二つのセット Ｐ₁及びＰ₂と共に、参照３Ｄ位置決め特徴２９のセット Ｒ、算出３Ｄ位置決め特徴２３のセット Ｏである。これらのセットのマッチングは、ｏ_i∈Ｏ_m及びｒ_i∈Ｒ_mであるすべてのポイント対（ｏ_i，ｒ_i）が同じ物理特徴を表すような、Ｎ個の特徴をそれぞれ含む二つのサブセットＯ_m⊆Ｏ及びＲ_m⊆Ｒを見つけるという問題である。こういったサブセットを見つけることは、

のようなポイントのセグメントの最大数を、
｜‖ｏ_i−ｏ_j‖−‖ｒ_i−ｒ_j‖｜≦ε
（全てのｉ，ｊ∈｛１，．．．，Ｎ｝，ｉ≠ｊ） （１）
によって見つけることにより実現され、式中、εは感知装置の精度に対応して設定される予め定められる閾値である。この制約は、二つのセット内の対応するポイント対間の距離の差がごく僅かであることを課す。

このマッチング演算は、セットＯからのポイントの各セグメントがセットＲ内のポイントの各セグメントとプログレッシブにマッチングされる組み合わせ最適化問題として解かれる。次に、マッチした各セグメントが、二つの各セット内に残っているポイントを使用してさらなるセグメントを形成することによって拡張される。二つのセグメントが制約（１）を満たす場合、第三のセグメントが形成され、制約が満たされる限り、同じことが行われる。制約（１）を満たさない場合、その対は破棄され、次の対が調べられる。解は、（１）を満たすセグメントの最大セットである。他のアルゴリズム（Ｍ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｂｏｌｌｅｓ，（１９８１）“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ”，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ Ａｓｓｏｃ． ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ，（Ｊｕｎｅ １９８１），ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５参照）を同じ目的で使用することもできる。

参照３Ｄ位置決め特徴２９のセット内の要素の数が比較的低い（通常１５未満）限りは、前記手法の計算複雑性はリアルタイム操作にとって許容できるものである。しかし、実際には、参照３Ｄ位置決め特徴２９の数は容易に数百に達し得る。計算複雑性は、特徴の数に伴って指数関数的に増大するため、対応する特徴の計算はリアルタイムアプリケーションにとっては遅くなりすぎてしまう。この問題は、任意の特定の視点から見える位置決め特徴の数が少なく、感知装置の有限視野により制限されることに留意することにより解決される。

これは、算出３Ｄ位置決め特徴２３を参照３Ｄ位置決め特徴２９とマッチングすることができると、次に、参照セットからのマッチした特徴が、サイズが算出３Ｄ位置決め特徴２３のセットのサイズによって決まる小近傍に配置されることを意味する。これはまた、この近傍内のポイントの数も同様に少ないはずである（通常１５未満）ことも意味する。この性質をマッチングの加速に利用するために、上記方法は以下のように変更される。マッチング前に、近傍特徴セット［Ｎ_i］が各参照特徴について作られる。ポイントの初めのセグメントがマッチングした後、それは、最初にマッチした特徴の近傍セット［Ｎ_i］内のポイントのみを使用して追加セグメントを追加することにより拡張される。そうすることにより、マッチングに使用されるポイント数は参照３Ｄ位置決め特徴２９のセットのサイズに関わらず少なく抑えられ、それにより、計算複雑性の指数関数的な増大を回避する。

別法として、感知装置の位置と向きの空間的相関を利用して、マッチング速度を向上させることができる。感知装置の変位が位置決め特徴セットのサイズに対して小さいと仮定することにより、各観測位置決め特徴に最も近い参照特徴を見つけることによりマッチングを実現することができる。同じ原理を２Ｄに、すなわち最も近い２Ｄ位置決め特徴を見つけることにより用いることもできる。

マッチングが完了すると、以下のコスト関数を最小化するような、最小二乗の意味で最適な変換パラメータ［Ｍ Ｔ］を計算することにより、二つのセットを位置合わせする必要がある。

（全てのｉ∈｛１，．．．，Ｎ｝） （２）

変換パラメータは、３×３回転行列Ｍ及び３×１平行移動ベクトルＴから成る。このような変換は、Ｍ．Ｗ．Ｗａｌｋｅｒ，Ｌ．Ｓｈａｏ ａｎｄ Ｒ．Ａ．Ｖｏｌｚ，“Ｅｓｔｉｍａｔｉｎｇ ３−Ｄ ｌｏｃａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ ｕｓｉｎｇ ｄｕａｌ ｎｕｍｂｅｒ ｑｕａｔｅｒｎｉｏｎｓ，”ＣＶＧＩＰ：Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，ｖｏｌ．５４，ｎｏ．３，Ｎｏｖｅｍｂｅｒ １９９１，ｐｐ．３５８−３６７に述べられているデュアルクオータニオン（ｄｕａｌ ｑｕａｔｅｒｎｉｏｎｓ）を用いて見つけることができる。この変換を計算するために、少なくとも三つの共通の位置決め特徴を見つける必要がある。見つけられない場合、位置決め特徴及び表面ポイントの両方がカレントフレームで破棄される。

剛体変換を計算する代替の方法は、観測２Ｄ位置決め特徴２１と参照３Ｄ位置決め特徴２９の投影との間の距離を最小化することである。透視投影変換Πを使用して、最小二乗の意味で最適な剛体変換［Ｍ Ｔ］は、

（全てのｉ，ｊ∈｛１，．．．，Ｎ｝） （３）
を最小化する変換であり、式中、ｐ_i∈Ｐ₁又はｐ_i∈Ｐ₂は、３Ｄ観測特徴ｏ_i∈Ｏ_mに対応する観測２Ｄ特徴である。剛体変換［Ｍ Ｔ］は、レーベンバーグ−マルカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ ｍｅｔｈｏｄ）等の最適化アルゴリズムを用いて上記コスト関数を最小化することにより見つけることができる。

３Ｄ位置決め特徴変換器
剛体変換が計算された後、３Ｄ位置決め特徴変換器２６は、算出３Ｄ位置決め特徴セットを感知装置座標系２３から物体座標系２７に変換する。変換３Ｄ位置決め特徴を使用して、参照３Ｄ位置決め特徴２９のセットを二つの方法で更新する。第一に、観測特徴のサブセットのみが参照３Ｄ位置決め特徴２９のセットとマッチした場合、マッチしなかった観測特徴は参照セットに追加される新たな観測特徴を表す。再観測されてマッチした特徴は（すでに参照セット内にあるため）破棄されるか、又は改良、すなわち、既存の特徴のフィルタリングに用いられる。たとえば、同じ特徴のすべての観測結果を一緒にまとめて、平均特徴位置を計算することができる。そうすることにより、測定ノイズの分散が低減され、ひいては位置決めシステムの精度が向上する。

３Ｄ表面ポイント変換器
表面ポイントの処理ステップは、位置決め特徴マッチャ２４が変換パラメータ２５を提供してしまえば単純である。３Ｄ表面ポイント算出器１６により提供された感知装置座標系での算出３Ｄ表面ポイント１７のセットが次に、位置決め特徴マッチャ２４により提供された同じ変換パラメータ２５を使用して３Ｄ表面ポイント変換器１８により変換され、変換パラメータは、位置決めサブシステムと物体座標系での表面ポイントの統合との間の情報のメインリンクである。したがって、この結果得られる物体座標系での変換３Ｄ表面ポイント１９のセットは必然的に、参照３Ｄ位置決め特徴２９のセットと同じ座標系で位置合わせされる。３Ｄ表面ポイント１９の最終セットは視覚化、又は好ましくは表面再構築器２０に供給されることができ、該表面再構築器２０は、連続して非冗長的であって場合によってはフィルタリングされた表面表現３１を測定し、該表面表現３１は、ユーザーインターフェースディスプレイ３０に、任意選択的に、重ね合わせた参照３Ｄ位置決め特徴２９のセットと共に表示される。

システムについて説明したが、感知装置をより近くで見た図についてこれより詳しく述べる。図２は、システムのこの好ましい実施形態で使用される感知装置４０の正面図を示す。この装置は、通常はプログレッシブスキャンデジタルカメラである二つの対物レンズ及び光検出器４６を備える。二つの対物レンズ及び光検出器４６は、距離Ｄ１ ５２、すなわちベースラインで隔てられた投射中心を有し、光検出器のパッシブステレオ（ｐａｓｓｉｖｅ ｓｔｅｒｅｏ）対を構成する。レーザパターンプロジェクタ４２が、好ましくは、ステレオ対のベースラインから距離Ｄ３ ５６の所に位置決めされ、コンパクトな三角形構造を構成し、これが結局二つの追加のアクティブセンサになり、アクティブセンサは、一つ目は左側のカメラ及びレーザパターンプロジェクタにより構成され、二つ目は右側のカメラ及びレーザパターンプロジェクタにより構成される。これらの二つの追加アクティブステレオ対のベースラインＤ２ ５４を図に示す。

図２では、感知装置は、レーザパターンプロジェクタの他に、位置決めのための光源をさらに備える。光源は光検出器４６の周囲に分散される二組のＬＥＤ５０である。これらのＬＥＤは、位置決め特徴として使用される再帰反射ターゲットを照らす。ＬＥＤは、好ましくは、再帰反射ターゲットからより強い信号を取り込むために、カメラの光軸に可能な限り近づけて位置決めされる。干渉フィルタ４８が対物レンズの前に取り付けられる。これらのフィルタは、ＬＥＤの波長とマッチするレーザ波長を除くすべての波長を減衰させる。この好ましい三角形構造は、Ｄ３ ５６が、三角形が二つの４５度角及び十字形４４の二つのレーザ平面間に９０度角を有する二等辺三角形であるようなものである場合に特に興味深い。この特定の構成では、十字形パターンは、各平面が各カメラの投射中心及び光検出器の中心の両方と位置合わせされるような向きを有する。これは中心エピポーラ線に相当し、ここでの主な利点は、一方のレーザ平面（非アクティブ平面）が常に、観測シーンとは無関係に、イメージ内の同じ位置で直線としてイメージングされることである。次に、関連する３Ｄ情報が、二つの各イメージでの変形した第二の光平面から抽出される。したがって、感知装置全体は、二つのレーザプロフィルメータ（ｐｒｏｆｉｌｏｍｅｔｅｒ）、一つのパッシブステレオ対、及び再帰反射ターゲットを同時に取り込むための二つのモジュールで構成される。この好ましい構成はコンパクトである。

ハンドヘルド装置の場合、ベースラインＤ１は通常、感知装置と物体との間のスタンドオフ距離が３００〜４００ｍｍでミリメートル未満の精度になるように、およそ２００ｍｍである。Ｄ１をスケーリングすることにより、距離Ｄ２は自動的にそれに従う。この構成は、イメージ内での２Ｄ位置決め特徴と投射レーザパターンとの区別の簡易化に特に有用であるが、区別性及び精度を高めるためにステレオ対及び結局は一つ又は複数の追加のカメラを一体化することにより、異なるレーザパターンが投射されるイメージを処理することが可能になる。格子及び円形パターンが該当する例である。別の可能性として、簡単な画像処理という利点を失いながら、Ｄ３を増減させて精度を増減させることがある。線形構成（すなわち、Ｄ３＝０）は上述した構成のすべての利点を提供するわけではないが、それでも選択肢の一つである。

図３は、測定すべき物体６２を観測中の感知装置の３Ｄ図を示す。対物レンズ４６を有する二台のカメラ及び十字形レーザパターンプロジェクタ４２を含む上述したコンパクトな三角形構造を見ることができる。感知装置は、位置決め特徴６０のセットを含む投射パターン５８のイメージを取り込む。

ブロック図では、別個のデータ信号接続を介して互いに通信する分離したコンポーネントのグループとして示されるが、好ましい実施形態が、ハードウェア及びソフトウェアのコンポーネントの組み合わせとして提供され、いくつかのコンポーネントがハードウェア又はソフトウェアのシステムの所与の機能又は操作により実施され、図示したデータパスの多くがコンピュータアプリケーション又はオペレーティングシステム内のデータ通信により実施されることを当業者は理解されよう。したがって、図示した構造は、好ましい本実施形態を効率的に教示するために提供されたものである。

本明細書では再帰反射ターゲットとして説明した位置決め特徴が、別法として、スキャンされる物体の表面若しくはその他の任意の場所に配置されるＬＥＤ等の光源、又は感知装置により検出されるターゲットを提供する他の任意の手段により提供され得ることを当業者は理解されたい。さらに、位置決め特徴それ自体がカメラにより検出される光を提供する場合には、感知装置に提供される光源を省くことも可能である。

レーザ光源を含むものとして上述したパターンプロジェクタが、ＬＥＤ光源又は他の適当な光源を使用してもよいことを理解されたい。

多くの変更が当業者に明らかになることが理解されよう。したがって、前記説明及び添付図面は、限定の意味で解釈されるべきではなく、本発明の例示として解釈されるべきである。本発明の原理に概して従う本発明のあらゆる変形、使用法、又は適合の包含が意図され、本発明に関連する技術分野内で既知の又は慣習的な実施方法内にあり、本明細書において上述した本質的な特徴に当てはまり、添付の特許請求の範囲に従うような本開示からの逸脱を含むことがさらに理解されよう。

本発明による３次元表面スキャンシステムを示すブロック図である。 本発明による３次元表面スキャン装置の構成を示す図である。 本発明による、取得中に測定すべき物体と共に、図２に示す装置の構成を示す図である。

符号の説明

１０ ３Ｄ表面スキャンシステム
１２ 感知装置
１４ イメージプロセッサ
１６ ３Ｄ表面ポイント算出器
１８ ３Ｄ表面ポイント変換器
２０ 表面再構築器
２２ ３Ｄ位置決め特徴算出器
２４ 位置決め特徴マッチャ
２８ 参照位置決め特徴ビルダ
３０ ユーザーインターフェースディスプレイ
４０ 感知装置
４２ レーザパターンプロジェクタ
４６ 光検出器
４８ 干渉フィルタ
５０ ＬＥＤ
５８ 投射パターン

Claims (30)

1. 物体座標系で物体の３次元表面ポイント（ｓｕｒｆａｃｅ ｐｏｉｎｔｓ）を得るシステムであって、
   前記物体上のターゲット位置決め特徴（ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ｆｅａｔｕｒｅｓ）セットであって、前記ターゲット位置決め特徴はそれぞれ前記物体上の固定位置に提供され、前記物体座標系は前記ターゲット位置決め特徴を使用して定義される、ターゲット位置決め特徴セットと、
   一つの感知装置（ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）であって、投射パターンを前記物体の表面上に提供するパターンプロジェクタと、前記物体の２Ｄイメージをそれぞれ取得する少なくとも一対のカメラとを有し、前記投射パターン及び前記ターゲット位置決め特徴セットの少なくとも一部が前記イメージ上で明らかであり、前記２Ｄイメージはそれぞれ感知装置座標系で参照される視点から取得される、感知装置と、
   前記２Ｄイメージから、前記表面上の前記投射パターンの反射から少なくとも一つの２Ｄ表面ポイントセットを抽出し、及び前記表面上の前記ターゲット位置決め特徴の反射から少なくとも二つの２Ｄ位置決め特徴セットを抽出するイメージプロセッサと、
   前記２Ｄ表面ポイントセットを使用して、前記感知装置座標系での３Ｄ表面ポイントセットを算出する３Ｄ表面ポイント算出器と、
   前記２Ｄ位置決め特徴セットを使用して、前記感知装置座標系での算出（ｃａｌｃｕｌａｔｅｄ）３Ｄ位置決め特徴セットを算出する３Ｄ位置決め特徴算出器と、
   前記感知装置座標系での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照（ｒｅｆｅｒｅｎｃｅ）３Ｄ位置決め特徴セットとの間の対応する特徴をマッチングすることにより、前記感知装置座標系と前記物体座標系との間の現在の空間関係を特徴付ける変換パラメータを計算する位置決め特徴マッチャ（ｍａｔｃｈｅｒ）と、
   前記変換パラメータを使用して、前記算出３Ｄ位置決め特徴セットのうちの、マッチした算出３Ｄ位置決め特徴セットを、前記物体座標系での変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットに変換する、３Ｄ位置決め特徴変換器と、
   前記変換パラメータを使用して、前記３Ｄ表面ポイントセットを前記物体座標系での変換３Ｄ表面ポイントセットに変換する、３Ｄ表面ポイント変換器と、
   前記変換３Ｄ位置決め特徴セットを累積して、前記参照３Ｄ位置決め特徴セットを改良する３Ｄ参照位置決め特徴モデルビルダ、
   を備えており、
   ３Ｄ位置決め特徴変換器は、前記変換パラメータを用いて、前記算出３Ｄ位置決め特徴セットのうちの、新しく観測された位置決め特徴に対応する、マッチしなかった算出３Ｄ位置決め特徴セットを、前記物体座標系での、マッチしなかった変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットに変換し、そして、
   ３Ｄ参照位置決め特徴モデルビルダは、前記参照３Ｄ位置決め特徴セットを増補するために、前述のマッチしなかった変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットを、前記参照３Ｄ位置決め特徴セットに追加することを特徴とする、
   物体座標系で物体の３次元表面ポイントを得るシステム。
2. 前記感知装置から前記イメージプロセッサに前記一対の２Ｄイメージを送信すること、及び前記変換３Ｄ表面ポイントを送信することのうちの少なくとも一方を行う無線送信器をさらに備える、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
3. 前記変換３Ｄ表面ポイントセットを累積して、前記物体の３Ｄ表面モデルを提供する表面再構築器をさらに備える、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
4. 前記物体の前記３Ｄ表面モデルを可視化するディスプレイをさらに備える、請求項３に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
5. 前記参照３Ｄ位置決め特徴を可視化するディスプレイをさらに備える、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
6. 前記投射パターンは二つの光平面を有する十字形パターンを備える、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
7. 前記十字形パターンは、前記各光平面が前記一対のカメラのうちの一方のカメラと前記パターンプロジェクタにより画定されるエピポーラ平面と位置合わせされるような向きを有する、請求項６に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
8. 前記パターンプロジェクタと前記一対のカメラは、直角二等辺三角形及び対称な構成を画定し、前記二つの光平面は直角を画定する、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
9. ターゲット位置決め特徴は、外部固定プロジェクタセットを使用して前記表面に投射される、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
10. 前記位置決め特徴は前記物体の前記表面に固定して取り付けられる、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
11. 前記位置決め特徴は再帰反射ターゲットであり、
    前記感知装置は、前記位置決め特徴セットの少なくとも一部分を照らす少なくとも一つの光源をさらに有する、請求項１０に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
12. 前記一対のカメラの各カメラには、前記カメラの投射中心（ｃｅｎｔｅｒ ｏｆ ｐｒｏｊｅｃｔｉｏｎ）付近に位置決めされる前記光源の少なくとも一つが関連付けられる、請求項１１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
13. 前記イメージプロセッサ、前記３Ｄ表面ポイント算出器、前記３Ｄ位置決め特徴算出器、前記位置決め特徴マッチャ、前記３Ｄ位置決め特徴変換器、前記参照３Ｄ位置決め特徴モデルビルダ、及び前記３Ｄ表面ポイント変換器のうちの少なくとも一つを実装する電子チップをさらに備える、請求項１に記載の物体座標系で物体の３次元表面ポイントを得るシステム。
14. 物体をスキャンして物体座標系での３次元表面ポイント（ｓｕｒｆａｃｅ ｐｏｉｎｔｓ）を提供する自動参照（ａｕｔｏ−ｒｅｆｅｒｅｎｃｅｄ）感知装置（ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）であって、
    再帰反射ターゲット位置決め特徴（ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ｆｅａｔｕｒｅｓ）セットの少なくとも一部を照らしてイメージ取得できるようにする光をする発光ダイオード（ＬＥＤ）光源であって、前記再帰反射ターゲット位置決め特徴はそれぞれ前記物体上の固定位置に提供される、発光ダイオード（ＬＥＤ）光源と、
    前記ＬＥＤ光源に加えて、前記セットの前記一部における前記再帰反射ターゲット位置決め特徴のうち少なくとも２つの間の密なポイントを照らしてイメージ取得できるようにするために、前記物体の表面に投射レーザーパターンを提供するレーザーパターンプロジェクタと、
    前記物体の２Ｄイメージをそれぞれ同時に取得する少なくとも一対のカメラ、
    を備え、
    前記投射レーザーパターン及び前記再帰反射ターゲット位置決め特徴セットの前記一部との両方が前記同時イメージ上で明らかであり、前記一対のカメラの間の空間的関係が既知であり、
    前記ＬＥＤ光源は前記少なくとも一対のカメラにごく接近して提供され、
    前記再帰反射ターゲット位置決め特徴セットの前記一部は、前記カメラに向けて、前記発光ダイオード（ＬＥＤ）光源によって発せられた前記光の少なくとも一部を反射し、
    前記一対のカメラによって取得された前記同時イメージは、前記イメージ上で明らかである前記再帰反射ターゲット位置決め特徴セットの前記一部から利用できるようになる位置決めの測定結果と、前記イメージ上で明らかである前記投射レーザーパターンによって可能にされた前記ポイントから利用できるようになる密な表面測定結果の両方を含んでいる、自動参照感知装置。
15. 前記物体の前記２Ｄイメージを送信する送信器をさらに備える、請求項１４に記載の自動参照感知装置。
16. 前記送信器は無線送信器である、請求項１５に記載の自動参照感知装置。
17. 前記２Ｄイメージから、前記表面上の前記投射パターンの反射から少なくとも一つの２Ｄ表面ポイントセットを抽出し、及び前記表面上の前記ターゲット位置決め特徴の反射から少なくとも二つの２Ｄ位置決め特徴セットを抽出するイメージプロセッサと、
    前記２Ｄ表面ポイントセットを使用して、前記感知装置座標系での３Ｄ表面ポイントセットを算出する３Ｄ表面ポイント算出器と、
    前記２Ｄ位置決め特徴セットを使用して、前記感知装置座標系での算出３Ｄ位置決め特徴セットを算出する３Ｄ位置決め特徴算出器と、
    前記感知装置座標系での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照３Ｄ位置決め特徴セットとの間の対応する特徴をマッチングすることにより、前記感知装置座標系と前記物体座標系との間の現在の空間関係を特徴付ける変換パラメータを計算する位置決め特徴マッチャと、
    前記変換パラメータを使用して、前記算出３Ｄ位置決め特徴セットを前記物体座標系での変換３Ｄ位置決め特徴セットに変換する、３Ｄ位置決め特徴変換器と、
    前記変換パラメータを使用して、前記３Ｄ表面ポイントセットを前記物体座標系での変換３Ｄ表面ポイントセットに変換する、３Ｄ表面ポイント変換器と、
    前記変換３Ｄ位置決め特徴セットを累積して、前記参照３Ｄ位置決め特徴セットを改良する３Ｄ参照位置決め特徴モデルビルダ、
    をさらに備える、請求項１４に記載の自動参照感知装置。
18. 前記イメージプロセッサ、前記３Ｄ表面ポイント算出器、前記３Ｄ位置決め特徴算出器、前記位置決め特徴マッチャ、前記３Ｄ位置決め特徴変換器、前記参照３Ｄ位置決め特徴モデルビルダ、及び前記３Ｄ表面ポイント変換器のうちの少なくとも一つを実装する電子チップをさらに備える、請求項１７に記載の自動参照感知装置。
19. 前記物体の前記変換３Ｄ表面ポイントを送信する送信器をさらに備える、請求項１８に記載の自動参照感知装置。
20. 物体座標系で物体の３次元表面ポイント（ｓｕｒｆａｃｅ ｐｏｉｎｔｓ）を得る方法であって、
    パターンプロジェクタを用いて投射パターンを前記物体の表面に提供すること、
    前記物体上にターゲット位置決め特徴（ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ｆｅａｔｕｒｅｓ）セットを提供することであって、前記ターゲット位置決め特徴はそれぞれ前記物体上の固定位置に提供され、前記物体座標系は前記ターゲット位置決め特徴を使用して定義されること、及び、
    既知の空間的関係を有する少なくとも一対のカメラによって前記物体の少なくとも一対の２Ｄイメージを取得することであって、前記投射パターン及び前記ターゲット位置決め特徴セットの少なくとも一部が前記イメージ上で明らかであり、前記２Ｄイメージはそれぞれ、一つの感知装置による感知装置座標系で参照される視点から得られる、前記物体の少なくとも一対の２Ｄイメージを取得することを含んでおり、
    前記少なくとも一対のカメラと関連して電子チップを用いて、以下の過程、すなわち、
    前記２Ｄイメージから、前記表面上の前記投射パターンの反射から少なくとも一つの２Ｄ表面ポイントセットを抽出し、及び前記表面上の前記ターゲット位置決め特徴の反射から少なくとも二つの２Ｄ位置決め特徴セットを抽出する過程、
    前記２Ｄ表面ポイントセットを使用して、前記感知装置座標系で３Ｄ表面ポイントセットを算出する過程、
    前記２Ｄ位置決め特徴セットを使用して、前記感知装置座標系で算出（ｃａｌｃｕｌａｔｅｄ）３Ｄ位置決め特徴セットを算出する過程、
    前記感知装置座標系での前記算出３Ｄ位置決め特徴セットと前記物体座標系での参照３Ｄ位置決め特徴セットとの間の対応する特徴をマッチングすることにより、前記感知装置座標系と前記物体座標系との間の現在の空間関係を特徴付ける変換パラメータを計算する過程、
    前記変換パラメータを使用して、前記算出３Ｄ位置決め特徴セットのうちの、マッチした算出３Ｄ位置決め特徴セットを、前記物体座標系での変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットに変換する過程、
    前記変換３Ｄ位置決め特徴セットを累積することによって、前記参照３Ｄ位置決め特徴セットを改良する過程、及び、
    前記変換パラメータを使用して、前記３Ｄ表面ポイントセットを前記物体座標系での変換３Ｄ表面ポイントセットに変換する過程を実行し、
    該方法がさらに、
    前記変換パラメータを用いて、前記算出３Ｄ位置決め特徴セットのうちの、新しく観測された位置決め特徴に対応する、マッチしなかった算出３Ｄ位置決め特徴セットを、前記物体座標系での、マッチしなかった変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットに変換すること、及び、
    前記参照３Ｄ位置決め特徴セットを増補するために、前述のマッチしなかった変換（ｔｒａｎｓｆｏｒｍｅｄ）３Ｄ位置決め特徴セットを、前記参照３Ｄ位置決め特徴セットに追加すること、
    とを含む、物体座標系で物体の３次元表面ポイントを得る方法。
21. 前記電子チップが、前記変換３Ｄ表面ポイントセットを累積することによって、前記物体の３Ｄ表面モデルを提供する過程をさらに実行する、請求項２０に記載の物体座標系で物体の３次元表面ポイントを得る方法。
22. 前記位置決め特徴は前記物体の前記表面に固定して取り付けられる、請求項２０に記載の物体座標系で物体の３次元表面ポイントを得る方法。
23. 前記位置決め特徴は再帰反射ターゲットであり、前記方法は、前記位置決め特徴セットの少なくとも一部分を光源によって照らすことをさらに含む、請求項２２に記載の物体座標系で物体の３次元表面ポイントを得る方法。
24. 前記位置決め特徴は円形ターゲットであり、前記算出３Ｄ位置決め特徴は表面法線向き（ｓｕｒｆａｃｅ ｎｏｒｍａｌ ｏｒｉｅｎｔａｔｉｏｎ）をさらに含む、請求項２２に記載の物体座標系で物体の３次元表面ポイントを得る方法。
25. 前記計算することが、前記算出３Ｄ位置決め特徴セットと前記参照３Ｄ位置決め特徴セットとを最もよく位置合わせする最適な剛体３Ｄ変換を見つけることを含んでいる、請求項２０に記載の物体座標系で物体の３次元表面ポイントを得る方法。
26. 前記レーザーパターンプロジェクタは、前記物体の表面上に十字形パターンを提供することを特徴とする、請求項１４に記載の自動参照感知装置。
27. 前記発光ダイオード（ＬＥＤ）光源は前記一対のカメラにおける一つのカメラの周囲に分散されるＬＥＤのセットであることを特徴とする、請求項１４に記載の自動参照感知装置。
28. 前記レーザーパターンプロジェクタの波長が、前記発光ダイオード（ＬＥＤ）光源の波長とマッチされることを特徴とする、請求項１４に記載の自動参照感知装置。
29. 前記発光ダイオード（ＬＥＤ）光源が、前記一対のカメラの各カメラ毎に一の、二つの発光ダイオード（ＬＥＤ）光源のセットであることを特徴とする、請求項１４に記載の自動参照感知装置。
30. 前記二つの発光ダイオード（ＬＥＤ）光源は、複数のＬＥＤの２セットであり、前記２セットにおける各セットが、前記一対のカメラにおける一つのカメラの周囲に分散されることを特徴とする、請求項２９に記載の自動参照感知装置。

Images