JP6978330B2 - オブジェクト形状および設計からのずれの監視 - Google Patents

Description

本開示は、欠陥検出に関する。

施工中のオブジェクトは、完成時のオブジェクトの寸法を決定するために手動で測定されうる。完成時のオブジェクトと設計時のオブジェクトとの間のずれを特定するために、完成時のオブジェクトの寸法と設計時のオブジェクトの寸法とを比較することができる。あるいは、システムが完成状態モデルを設計状態モデルと比較して、モデル間のずれを特定することもある。これらのシステムは、通常、完成状態モデルと設計状態モデルとの間の手動記録を必要とし、リアルタイムでは動作せず、オブジェクトレベルの差異を解析する。

いくつかの実施態様において、システムは、第１のセンサデータを生成する第１のセンサを含む。本システムは、第２のセンサデータを生成する第２のセンサを含む。本システムは、オブジェクトの３次元（３Ｄ）モデルを格納するメモリを含む。本システムは、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成するプロセッサを含む。第２の３Ｄ点群は第１のセンサデータに基づくものであり、第１の３Ｄ点群はオブジェクトの３Ｄモデルに基づくものである。プロセッサは、第１の３Ｄ点群と、第２のセンサデータに基づくものである第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成するように構成される。プロセッサは、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成するように構成される。プロセッサは、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較するように構成される。プロセッサは、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成するように構成される。本システムは、出力データに基づいて差異のグラフィック表示を表示するディスプレイを含む。

いくつかの実施態様において、方法は、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成するステップを含む。第２の３Ｄ点群は、第１のセンサからの第１のセンサデータに基づくものである。第１の３Ｄ点群は、オブジェクトの３Ｄモデルに基づくものである。本方法は、第１の３Ｄ点群と第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成するステップを含む。第３の３Ｄ点群は、第２のセンサからの第２のセンサデータに基づくものである。本方法は、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成するステップを含む。本方法は、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較するステップを含む。本方法は、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成するステップを含む。

特定の実施態様において、プロセッサ読み取り可能な媒体は、プロセッサによって実行されると、プロセッサに、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成させるプロセッサ実行可能命令を格納する。第２の３Ｄ点群は、第１のセンサからの第１のセンサデータに基づくものであり、第１の３Ｄ点群は、オブジェクトの３Ｄモデルに基づくものである。命令は、プロセッサによって実行されると、プロセッサに、第１の３Ｄ点群と第３の３Ｄ点群に基づいて第２の記録された３Ｄ点群を生成させる。第３の３Ｄ点群は、第２のセンサからの第２のセンサデータに基づくものである。命令は、プロセッサによって実行されると、プロセッサに、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成させる。命令は、プロセッサによって実行されると、プロセッサに、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較させる。命令は、プロセッサによって実行されると、プロセッサに、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成させる。

本明細書に記載される特徴、機能、および利点は、様々な実施形態において独立して達成することが可能であり、またはさらに別の実施形態において組み合わせられてもよく、そのさらなる詳細について以下の説明および図面を参照して開示する。

複数のセンサからのセンサデータに基づいて、オブジェクトのメッシュモデルと結合された３次元（３Ｄ）点群との間の差異を示す出力データを生成するシステムを示すブロック図である。 図１のシステム１００の動作時の例示的な段階を示す図である。 複数のセンサからのセンサデータに基づいて、オブジェクトのメッシュモデルと結合された３Ｄ点群との間の差異を示す出力データを生成する方法のフローチャートである。 複数のセンサからのセンサデータに基づいて、オブジェクトのメッシュモデルと結合された３Ｄ点群との間の差異を示す出力データの生成をサポートするコンピューティング環境の特定の例のブロック図である。

本開示の特定の実施形態について、以下で図面を参照して説明する。説明において、共通の特徴は図面を通して共通の参照番号で指定されている。

各図および以下の説明は、特定の例示的実施形態を示すものである。当業者は、本明細書には明示的に記述も図示もされてもいないが、本明細書に記載される原理を具現化し、添付の特許請求の範囲内に含まれる様々な構成を考案できることが理解されるであろう。さらに、本明細書に記載される例はいずれも、本開示の原理の理解を助けるためのものであり、限定しないものであると解釈されるべきである。よって、本開示は、以下で説明する特定の実施形態または例だけに限定されず、特許請求の範囲およびその均等物によって限定されるものである。

本明細書に記載される例は、オブジェクトの（複数のセンサからのデータに基づいて生成された）完成状態モデルと、オブジェクトの設計状態モデル（例えばコンピュータ支援設計（computer aided design、ＣＡＤ）モデル）との間の差異を決定するシステムを含む。システムは、複数のセンサからの（オブジェクトを含む）場面の点群を、設計状態モデルから生成された点群に記録し、セグメント化し、またはその両方を行う。各センサからの記録された点群は、結合された点群モデルを生成するように融合される。システムは、結合された点群モデルを、設計状態モデルから生成されたオブジェクトのメッシュモデルと比較する比較器を含む。比較器は、結合された点群モデルとメッシュモデルとの間の差異を決定する。いくつかの例では、システムは、複数のセンサからのストリーミング・センサ・データに基づいて、一連の結合された３次元（３Ｄ）点群モデルを生成し、オブジェクトに設計からのずれがないかリアルタイムで監視することを可能にするために、結合された３Ｄ点群モデルの各々をメッシュモデルと比較する。

図１に、オブジェクト１０４の３Ｄモデル１０２（例えば、設計状態モデル）と結合された３Ｄ点群１０６（例えば、完成状態モデル）との間の差異を決定するシステム１００のブロック図を示す。システム１００は、プロセッサ１２６とメモリ１１２とを含む。メモリ１１２は、３Ｄモデル１０２など、１または複数の３Ｄモデルを格納するように構成される。いくつかの例では、３Ｄモデル１０２は、（設計時の）オブジェクト１０４のＣＡＤモデルに対応する。

システム１００は、第１のセンサ１０８や第２のセンサ１１０など、複数のセンサ１０７を含む。いくつかの実施態様において、複数のセンサ１０７は、３つ以上のセンサを含む。例えば、図１では、システム１００はＮ個のセンサ（第Ｎのセンサ１１５を含む）を含み、Ｎは２より大きい整数である。複数のセンサ１０７の各々は、システム１００の動作時に、複数のセンサ１０７のその他のセンサとは異なる視野を有する。複数のセンサ１０７の各々は、動作時に、各センサの視野に対応する場面のデータ（例えば、画像データ）を取り込むように構成される。複数のセンサ１０７は、動作時に、複数のセンサ１０７の各々の視野がオブジェクト１０４を含む（例えば、複数のセンサ１０７により取り込まれた場面がオブジェクト１０４を含む）ように構成される。この説明では主に、オブジェクト１０４が監視されている例に焦点を当てているが、他の例では、システム１００は、複数のオブジェクトを監視するように構成される。例えば、システム１００は、製造プロセスにおける複数のオブジェクトの接合時に（例えば、正しいアラインメントのために）複数のオブジェクトを監視するように構成されてもよい。システム１００が複数のオブジェクトを監視するように構成される例では、複数のセンサ１０７によって取り込まれた場面は複数のオブジェクトを含みうる。加えて、複数のセンサ１０７のうちの１または複数の場面は、オブジェクト１０４以外の構成要素も含みうる。オブジェクト１０４以外の追加的な構成要素に対応する点は、後述するセグメント化および記録の間に除去されうる。

複数のセンサ１０７は３Ｄセンサを含む。いくつかの例では、複数のセンサ１０７は、ステレオカメラ、飛行時間型カメラ、走査光検出・測距（ＬＩＤＡＲ）システム、構造化光カメラ、またはそれらの組み合わせを含む。いくつかの例では、複数のセンサ１０７は、異なるタイプのセンサを含む。例えば、第１のセンサ１０８はステレオカメラを含んでいてもよく、第２のセンサ１１０は飛行時間型カメラを含んでいてもよい。

第１のセンサ１０８は、第１のセンサデータ１１４を生成するように構成される。第１のセンサデータ１１４は、複数のデータフレームに対応し、または複数のデータフレームを含みうる。システム１００は、第１のセンサデータ１１４に基づいて１または複数の点群を生成するように構成される。例えば、システム１００は、第１のセンサデータ１１４に基づいて第２の３Ｄ点群１１１を生成するように構成される。システム１００は、第１のセンサデータ１１４に基づいて複数の点群を生成しうる。例えば、第１のセンサデータ１１４は複数のデータフレームを含んでいてもよく、システム１００は、第１のセンサデータ１１４の複数のデータフレームの各々に基づいて点群を生成してもよい。

第１のセンサ１０８は、深度画像データ（例えば、画素の２次元グリッド）の形で第１のセンサデータ１１４を生成するように構成されうる。例えば、第１のセンサデータ１１４の複数のデータフレームの各フレームが、深度画像に対応していてもよい。深度画像データによって定義された深度画像の各画素は、第１のセンサ１０８から第１のセンサ１０８によって取り込まれた場面内の最も近い点までの範囲を指定する。第１のセンサ１０８またはプロセッサ１２６は、第２の３Ｄ点群１１１を含む１または複数の点群を生成するために（例えば、第１のセンサ１０８の固有のパラメータに基づいて）深度画像データを処理するように構成される。よって、第２の３Ｄ点群１１１は、（例えば、第１のセンサデータ１１４に基づくものである）第１のセンサ１０８からのデータに基づくものである。

第２のセンサ１１０は、第２のセンサデータ１１６を生成するように構成される。第２のセンサデータ１１６は、複数のデータフレームに対応し、または複数のデータフレームを含みうる。システム１００は、第２のセンサデータ１１６に基づいて１または複数の点群を生成するように構成される。例えば、システム１００は、第２のセンサデータ１１６に基づいて第３の３Ｄ点群１１３を生成するように構成される。システム１００は、第２のセンサデータ１１６に基づいて複数の点群を生成しうる。例えば、第２のセンサデータ１１６は複数のデータフレームを含んでいてもよく、システム１００は、第２のセンサデータ１１６の複数のデータフレームの各々に基づいて点群を生成してもよい。

第２のセンサ１１０は、深度画像データ（例えば、画素の２次元グリッド）の形で第２のセンサデータ１１６を生成するように構成されうる。例えば、第１のセンサデータの複数のデータフレームの各フレームが、深度画像に対応していてもよい。深度画像データによって定義された深度画像の各画素は、第２のセンサ１１０から第２のセンサ１１０によって取り込まれた場面内の最も近い点までの範囲を指定する。第２のセンサ１１０またはプロセッサ１２６は、第３の３Ｄ点群１１３を含む１または複数の点群を生成するために（例えば、第２のセンサ１１０の固有のパラメータに基づいて）深度画像データを処理するように構成される。よって、第３の３Ｄ点群１１３は、（例えば、第２のセンサデータ１１６に基づくものである）第２のセンサ１１０からのデータに基づくものである。

本明細書の説明では主に、複数のセンサ１０７が２つのセンサ（例えば、第１のセンサ１０８および第２のセンサ１１０）を含む例に焦点を当てているが、他の例では、複数のセンサ１０７はＮ個のセンサを含み、Ｎは２より大きい。そのような例では、結合された３Ｄ点群１０６は、３つ以上のセンサのセンサデータからの点群に基づいて生成される。例えば、図１では、第Ｎのセンサ１１５はプロセッサ１２６にセンサデータ１１７を提供するように構成される。この例では、センサデータ１１７は、１または複数の追加の記録された点群１４５を生成するのに使用され、追加の記録された点群１４５は、結合された３Ｄ点群１０６を生成するために第１の記録された点群１４２および第２の記録された点群１４４と結合される。

よって、システム１００は、複数のセンサ１０７からのデータから点群のストリームを生成するように構成されうる。各点群は、オブジェクト１０４に対応する点を含む。例えば、第２の３Ｄ点群１１１は、オブジェクト１０４に対応する第１の点１２２を含み、第１のセンサ１０８によって取り込まれた場面の他の部分に対応する追加の点を含みうる。別の例として、第３の３Ｄ点群１１３は、オブジェクト１０４に対応する第２の点１２４を含み、第２のセンサ１１０によって取り込まれた場面の他の部分に対応する追加の点を含みうる。システム１００によって生成された各点群は、各点群が基づいているセンサデータの取り込み時刻と関連付けられている。例えば、第１のセンサデータ１１４は、第１の時刻に取り込まれた第１のフレームを含み、第２のセンサデータ１１６は、第１の時刻に取り込まれた第２のフレームを含みうる。この例では、第１のフレームに基づいて生成された第２の３Ｄ点群１１１は、第２のフレームに基づいて生成された第３の３Ｄ点群１１３と同じ時刻に対応しうる。後述するように、同じ時刻と関連付けられた記録された点群は、結合された３Ｄ点群１０６を形成するために結合される。

プロセッサ１２６は、３Ｄモデル１０２に基づいてオブジェクト１０４のメッシュモデル１３２を生成するメッシュジェネレータ１２８を含む。いくつかの例では、メモリ１１２は、複数の３Ｄモデルまたはオブジェクト１０４を含む複数のオブジェクトを格納し、システム１００は、オブジェクト１０４を認識するオブジェクト認識動作を行い、システム１００がオブジェクト１０４を認識したことに基づいて３Ｄモデル１０２を選択するように構成される。

メッシュモデル１３２は、設計時のオブジェクト１０４の形状を定義する多角形（例えば、三角形）などの複数の頂点、エッジ、および面を含む。メッシュモデル１３２のメッシュ面のサイズは、システム１００の出力の解像度を決定する。解像度（よって、メッシュ面のサイズ）は、遭遇すると予期される変形または欠陥のスケール、結合された３Ｄ点群１０６の予期される密度、またはそれらの組み合わせに基づいて選択されうる。

プロセッサ１２６は、設計時のオブジェクト１０４の表面を表す第１の３Ｄ点群１３６を生成する点群生成器１３４をさらに含む。プロセッサ１２６は、３Ｄモデル１０２の表面をサンプリングすることによって第１の３Ｄ点群１３６を生成するように構成されうる。いくつかの例では、プロセッサ１２６は、３Ｄモデル１０２をランダムにサンプリングしうる。より高密度のサンプリング（例えば、第１の３Ｄ点群１３６の点数）は、より低密度のサンプリングよりも正確な記録を提供しうる。

プロセッサ１２６は、複数のセンサ１０７からのデータに基づいて（例えば、第１のセンサデータ１１４と、第２のセンサデータ１１６と、第Ｎのセンサデータ１１７とに基づいて）生成された１または複数の３Ｄ点群に対応する記録された点群１４０を生成するセグメント化・記録エンジン１３８をさらに含む。例えば、セグメント化・記録エンジン１３８は、第１の３Ｄ点群１３６と第２の３Ｄ点群１１１とに基づいて第１の記録された３Ｄ点群１４２を生成し、第１の３Ｄ点群１３６と第３の３Ｄ点群１１３とに基づいて第２の記録された３Ｄ点群１４４を生成するように構成される。システム１００が３つ以上のセンサを含む場合、セグメント化・記録エンジン１３８は、第Ｎのセンサデータ１１７に基づいて第Ｎの記録された３Ｄ点群１４５を生成するように構成される。各記録された点群１４２、１４４、１４５は、３Ｄモデル１０２の座標系に（例えば、第１の３Ｄ点群１３６の座標系に）記録される。

いくつかの例では、セグメント化・記録エンジン１３８は、複数のセンサ１０７からの１または複数の点群を第１の３Ｄ点群１３６に個別に記録することによって、記録された点群１４０を生成するように構成される。例えば、セグメント化・記録エンジン１３８は、第２の３Ｄ点群１１１をセグメント化して、オブジェクト１０４に対応する第１の点１２２を識別し、第２の３Ｄ点群１１１の残りの点を除去することによって、第１の記録された３Ｄ点群１４２を生成するように構成されうる。第２の３Ｄ点群１１１をセグメント化することにより、セグメント化された第１の点群が生成される。いくつかの例では、第２の３Ｄ点群１１１は、第１のセンサ１０８の座標系におけるオブジェクト１０４の最後の既知の位置および姿勢に基づいてセグメント化される。例えば、プロセッサ１２６は、オブジェクト１０４の最後の既知の位置および姿勢に基づいて、オブジェクト１０４からの第２の３Ｄ点群１１１の点の距離を決定するように構成されうる。第１のセンサ１０８の座標系におけるオブジェクト１０４の最後の既知の位置および姿勢に基づいて指示される、オブジェクト１０４から距離閾値を超えて離れている第２の３Ｄ点群１１１の点は、除去され、または廃棄されうる。残りの点（例えば、セグメント化された第２の点群）は次いで、第１の記録された３Ｄ点群１４２を生成するために第１の３Ｄ点群１３６に記録される。いくつかの例では、プロセッサ１２６は、セグメント化された第１の点群を第１の３Ｄ点群１３６に記録するために反復最近接点（iterative closest point、ＩＣＰ）法を実行するように構成される。よって、プロセッサ１２６は、第１の３Ｄ点群１３６と第２の３Ｄ点群１１１とに基づいて第１の記録された３Ｄ点群１４２を生成するように構成される。

別の例として、いくつかの実施態様において、セグメント化・記録エンジン１３８は、第３の３Ｄ点群１１３をセグメント化して、オブジェクト１０４に対応する第２の点１２４を識別し、第３の３Ｄ点群１１３の残りの部分を除去することによって、第２の記録された３Ｄ点群１４４を生成するように構成される。第３の３Ｄ点群１１３をセグメント化することにより、セグメント化された第３の３Ｄ点群が生成される。いくつかの例では、第３の３Ｄ点群１１３は、第２のセンサ１１０の座標系におけるオブジェクト１０４の最後の既知の位置および姿勢に基づいてセグメント化される。例えば、プロセッサ１２６は、オブジェクト１０４の最後の既知の位置および姿勢に基づいて、オブジェクト１０４からの第３の３Ｄ点群１１３の点の距離を決定するように構成されうる。第２のセンサ１１０の座標系におけるオブジェクト１０４の最後の既知の位置および姿勢に基づいて指示される、オブジェクト１０４から距離閾値を超えて離れている第３の３Ｄ点群１１３の点は、除去され、または廃棄されうる。残りの点（例えば、セグメント化された第３の点群）は次いで、第２の記録された３Ｄ点群１４４を生成するために第１の３Ｄ点群１３６に記録される。いくつかの例では、プロセッサ１２６は、セグメント化された第３の点群を第１の３Ｄ点群１３６に記録するために反復最近接点（ＩＣＰ）法を実行するように構成される。よって、プロセッサ１２６は、第１の３Ｄ点群１３６と第３の３Ｄ点群１１３とに基づいて第２の記録された３Ｄ点群１４４を生成するように構成される。

システム１００が３つ以上のセンサを含む場合、他の記録された点群（例えば、第Ｎの記録された点群）を生成するために同様の操作が行われうる。したがって、セグメント化・記録エンジン１３８は、複数のセンサ１０７からの点群の記録された点群１４０を生成するように構成される。記録された点群１４０は、３Ｄモデル１０２の座標系に記録される。

いくつかの例では、セグメント化・記録エンジン１３８は、ＫＤツリーおよびサブツリーキャッシングを使用して、複数のセンサ１０７からの１または複数の点群に基づいて記録された３Ｄ点群１４０を生成するように構成される。ＫＤツリーの根ノードは、第１の３Ｄ点群１３６のすべての点に対応し、またはそれらを含む。ＫＤツリーの葉ノードは、第１の３Ｄ点群１３６の単一の点または複数の点を含む。ＫＤツリーの各ノードは、各ノードに対応する第１の３Ｄ点群１３６の３Ｄ点を、最高の分散を有する次元に垂直な平面で３Ｄ点を分割することによって２つの半分に分割する。いくつかの例では、セグメント化・記録エンジン１３８は、第１のセンサデータ１１４からの点群の配列データ構造と第２のセンサデータ１１６からの点群の配列構造とを使用してサブツリーキャッシングを行う。例えば、セグメント化・記録エンジン１３８は、第２の３Ｄ点群１１１に第１の配列データ構造を、第３の３Ｄ点群１１３に第２の配列データ構造を使用しうる。第１のセンサデータ１１４に基づく点群の配列データ構造は第１のセンサデータ１１４と同じ寸法を有し、第２のセンサデータ１１６に基づく点群の配列データ構造は第２のセンサデータ１１６と同じ寸法を有する。各配列データ構造の各配列要素は、ＫＤツリー内のノードのメモリ内の位置を指し示すポインタを含む。各入力画素への第１の３Ｄ点群１３６の最後の既知の最近傍点を含むサブツリーを指し示すポインタは、配列データ構造に格納（キャッシュ）される。このキャッシュされたポインタは、次の最近傍探索の開始点として使用される。

例えば、いくつかの例では、プロセッサ１２６は、第１のＫＤツリーおよび第１の配列データ構造を使用して、第１の記録された３Ｄ点群１４２を生成するように構成される。セグメント化・記録エンジン１３８は、第１のセンサデータ１１４からの点群に対して行われた最近のセグメント化および記録操作からの変換行列を使用して、第２の３Ｄ点群１１１を第１のセンサ１０８の座標系から３Ｄモデル１０２の座標系に変換するように構成される。例えば、変換行列は、第２の３Ｄ点群１１１に対して行われたセグメント化および記録操作の先の反復時に決定された変換行列であってもよい。代替として、または加えて、変換行列は、第１のセンサデータ１１４の先のフレーム（例えば、先の３Ｄ点群）に基づくものである点群について決定された変換行列であってもよい。第２の３Ｄ点群１１１内の点ごとに、第１の３Ｄ点群１３６内の最近点の探索は、第２の３Ｄ点群１１１内の点に対応する第１の配列データ構造の要素においてキャッシュされたポインタによって識別される第１のＫＤツリーのノードから開始する。例えば、第２の３Ｄ点群１１１内の点に対応する第１のセンサデータ１１４内の画素の座標は、第２の３Ｄ点群１１１内の点と関連付けられた（第１の配列データ構造内の）キャッシュされたポインタの座標に対応する。探索は、L２ノルムユークリッド距離に基づいて第２の３Ｄ点群１１１の点に最も近い第１の３Ｄ点群１３６の点を含む第１のＫＤツリーの葉ノードに至る。第２の３Ｄ点群１１１の点に最も近い第１の３Ｄ点群１３６内の点の間の距離がリセット閾値よりも小さい場合、第１の３Ｄ点群１３６内の最近点の座標は対応のリストに付加される。距離がリセット閾値よりも大きい場合、新しい探索が第１のＫＤツリーの根から開始され、第２の３Ｄ点群１１１の点に最も近い第１の３Ｄ点群１３６の点を含む第１のＫＤツリーの葉ノードに至る。最近点の座標が対応のリストに付加される。プロセッサ１２６は、第２の３Ｄ点群１１１の点に最も近い第１の３Ｄ点群１３６の点と関連付けられた第１のＫＤツリーの葉ノードの上の特定の高さの第１のＫＤツリーのノードを指し示す（第１の配列データ構造の対応する要素内の）ポインタを設定することによってキャッシュを更新するように構成される。探索は、第２の３Ｄ点群１１１のすべての点について行われ、第２の３Ｄ点群１１１と第１の３Ｄ点群１３６との間の対応のリストが得られる。

閾値ユークリッド距離を超えて離れた点間の点対応は破棄される。閾値ユークリッド距離を超える点間の点対応を破棄することは、点群をセグメント化することに対応する。セグメント化段階が行われた後に残る点対応は、変換行列を推定するために使用される。いくつかの例では、変換行列は特異値分解を使用して推定される。最近傍探索、セグメント化、および変換行列推定の各段階は、第１のセンサ１０８から新しい入力フレームが利用可能になるまで、または所定回数の反復が行われるまで反復される。最後の反復で残る第２の３Ｄ点群１１１の点は、第１の記録された３Ｄ点群１４２に対応する。

別の例として、いくつかの実施態様において、プロセッサ１２６は、第２のＫＤツリーおよび第２の配列データ構造を用いて、第２の記録された３Ｄ点群１４４を生成するように構成される。セグメント化・記録エンジン１３８は、第２のセンサデータ１１６からの点群に対して行われた最近のセグメント化および記録操作からの変換行列を使用して、第３の３Ｄ点群１１３を第１のセンサ１０８の座標系から３Ｄモデル１０２の座標系に変換するように構成される。例えば、変換行列は、第３の３Ｄ点群１１３に対して行われたセグメント化および記録操作の先の反復時に決定された変換行列であってもよい。代替として、または加えて、変換行列は、第２のセンサデータ１１６の先のフレーム（例えば、先の３Ｄ点群）に基づくものである点群について決定された変換行列であってもよい。第３の３Ｄ点群１１３内の点ごとに、第１の３Ｄ点群１３６内の最近点の探索は、第３の３Ｄ点群１１３内の点に対応する第２の配列データ構造の要素においてキャッシュされたポインタによって識別される第２のＫＤツリーのノードから開始する。例えば、第３の３Ｄ点群１１３内の点に対応する第２のセンサデータ１１６内の画素の座標は、第３の３Ｄ点群１１３内の点と関連付けられた（第１の配列データ構造内の）キャッシュされたポインタの座標に対応する。探索は、Ｌ２ノルムユークリッド距離に基づいて第３の３Ｄ点群１１３の点に最も近い第１の３Ｄ点群１３６の点を含む第２のＫＤツリーの葉ノードに至る。第３の３Ｄ点群１１３の点に最も近い第１の３Ｄ点群１３６内の点の間の距離がリセット閾値よりも小さい場合、第１の３Ｄ点群１３６内の最近点の座標は対応のリストに付加される。距離がリセット閾値よりも大きい場合、新しい探索が第２のＫＤツリーの根から開始され、第３の３Ｄ点群１１３の点に最も近い第１の３Ｄ点群１３６の点を含む第２のＫＤツリーの葉ノードに至る。最近点の座標が対応のリストに付加される。プロセッサ１２６は、第３の３Ｄ点群１１３の点に最も近い第１の３Ｄ点群１３６の点と関連付けられた第２のＫＤツリーの葉ノードの上の特定の高さの第２のＫＤツリーのノードを指し示す（第２の配列データ構造の対応する要素内の）ポインタを設定することによってキャッシュを更新するように構成される。探索は、第３の３Ｄ点群１１３のすべての点について行われ、第３の３Ｄ点群１１３と第１の３Ｄ点群１３６との間の対応のリストが得られる。

閾値ユークリッド距離を超えて離れた点間の点対応は破棄される。閾値ユークリッド距離を超える点間の点対応を破棄することは、点群をセグメント化することに対応する。セグメント化段階が行われた後に残る点対応は、変換行列を推定するために使用される。いくつかの例では、変換行列は特異値分解を使用して推定される。最近傍探索、セグメント化、および変換行列推定の各段階は、第２のセンサ１１０から新しい入力フレームが利用可能になるまで、または所定回数の反復が行われるまで反復される。最後の反復で残る第３の３Ｄ点群１１３の点は、第２の記録された３Ｄ点群１４４に対応する。

上述したＫＤツリーおよびサブツリーキャッシングの技法を使用して第１の記録された３Ｄ点群１４２を生成することにより、ＫＤツリーおよびサブツリーキャッシングを用いないシステムが同じ時間量で記録できるよりも複数のセンサ１０７からの多くの点群を記録することが可能になり、システム１００によるリアルタイムの記録の実現が可能になる。

プロセッサ１２６（例えば、セグメント化・記録エンジン１３８）は、結合された３Ｄ点群を形成するために、同じ時刻と関連付けられた記録された点群１４０を融合または結合するように構成される。例えば、上述したように、第２の３Ｄ点群１１１と第３の３Ｄ点群１１３とが同じ時刻と関連付けられている場合がある。この例では、したがって、第１の記録された３Ｄ点群１４２と第２の記録された３Ｄ点群１４４とは同じ時刻と関連付けられている。この例では、プロセッサ１２６は、結合された３Ｄ点群１０６を生成するために、第１の記録された３Ｄ点群１４２と第２の記録された３Ｄ点群１４４とを融合または結合するように構成される。プロセッサ１２６は、複数のセンサ１０７からの入力データに基づいて生成された点群と関連付けられた時刻に対応する記録された点群を融合または結合し、結合された３Ｄ点群のストリームまたはシーケンスを得ることによって、複数の結合された３Ｄ点群（のストリームやシーケンスなど）を生成しうる。

プロセッサ１２６は、比較器１４６を含む。比較器１４６は、結合された３Ｄ点群の各々をメッシュモデル１３２と比較するように構成される。例えば、比較器１４６は、結合された３Ｄ点群１０６をメッシュモデル１３２と比較するように構成される。いくつかの例では、比較器１４６は、結合された３Ｄ点群モデルの各々をメッシュモデルと比較して、結合された３Ｄ点群の点ごとに、各点に最も近いメッシュモデル１３２のメッシュ面を特定するように構成される。例えば、比較器１４６は、結合された３Ｄ点群１０６をメッシュモデル１３２と比較して、結合された３Ｄ点群１０６の点ごとに、メッシュモデル１３２の点に最も近いメッシュ面を特定するように構成される。点に最も近いメッシュ面は、点の「対応メッシュ面」と呼ばれる。比較器１４６は、結合された３Ｄ点群１０６の点ごとに、各点と対応メッシュ面の最も近い部分との間の距離を決定するようにさらに構成される。いくつかの例では、結合された３Ｄ点群１０６のすべての点がメッシュモデル１３２の他のメッシュ面により近いために、メッシュ面が結合された３Ｄ点群１０６の対応点を含まない場合もある。プロセッサ１２６は、結合された３Ｄ点群１０６の複数の対応点と関連付けられたメッシュモデルのメッシュ面ごとに、複数の対応点と各メッシュ面との間の平均距離を決定するように構成される。

プロセッサ１２６は、比較に基づいて、完成状態モデルによって表される（例えば、結合された３Ｄ点群の各々によって表される）オブジェクト１０４と、設計状態モデル（例えば３Ｄモデル１０２）によって表されるオブジェクト１０４との間の差異を示す出力データ１４８を生成するように構成される。例えば、プロセッサ１２６は、比較に基づいて、結合された３Ｄ点群１０６によって表されるオブジェクト１０４とオブジェクト１０４の３Ｄモデル１０２によって表される（例えば、メッシュモデル１３２によって表される）オブジェクト１０４との間の差異１５２を示す出力データ１４８を生成するように構成される。

いくつかの例では、差異１５２は、メッシュモデル１３２のメッシュ面ごとに決定された差異を含む。これらの例では、プロセッサ１２６は、メッシュモデル１３２のメッシュ面ごとの差異を決定するように構成される。結合された３Ｄ点群１０６の単一の対応点と関連付けられた特定のメッシュ面について決定される差異は、単一の点とメッシュ面の最も近い部分との間の距離に基づくものである。結合された３Ｄ点群１０６の複数の対応点と関連付けられた特定のメッシュ面について決定される差異は、複数の対応点とメッシュ面との間の平均距離（例えば、メッシュ面について決定された平均距離）に基づくものである。

システム１００は、出力データ１４８に基づいて差異１５２のグラフィック表示１５６を表示するディスプレイ１５４を含む。例えば、ディスプレイ１５４はモニタや他の表示装置を含んでいてよく、グラフィック表示１５６は、メッシュ面について決定された（差異１５２の）差異に基づいてメッシュモデル１３２のメッシュ面ごとの色を示すヒートマップまたはカラーマップを含んでいてよい。例えば、プロセッサ１２６は、第１のメッシュ面のそれぞれの部分と、第１のメッシュ面に対応する結合された３Ｄ点群１０６の点との間の平均距離に基づいて第１のメッシュ面の０．５マイクロメーターの値に対応する第１の差異を決定し、第２のメッシュ面のそれぞれの部分と、第２のメッシュ面に対応する結合された３Ｄ点群１０６の点との間の平均距離に基づいて第２のメッシュ面の０．７マイクロメーターの値に対応する第２の差異を決定することができる。ディスプレイ１５４は、第１のメッシュ面に第２のメッシュ面の色と異なる色を表示することができ、第２のメッシュ面に使用される色は、第１のメッシュ面に使用される色よりも大きい３Ｄモデル１０２との相違を示しうる。

よって、システム１００は、３Ｄモデル１０２（例えば、設計状態モデルに基づくメッシュモデル１３２）とセンサデータからのモデル（例えば、結合された３Ｄ点群１０６に対応する完成状態モデル）との間の相違を示す出力を生成する。出力は、メッシュモデルのメッシュ面ごとに、メッシュ面と結合された３Ｄ点群１０６との間の相違を示し、システムがオブジェクトレベルで相違を示すより細かい解像度で相違の指示を提供する。加えて、セグメント化・記録エンジン１３８は、出力が、上述したように複数のセンサ１０７からのデータストリームに基づいてリアルタイムで生成されることを可能にする。

リアルタイムでの差異を示す出力を生成できることにより、リアルタイムの計測が可能になる。例えば、システム１００は、製造プロセスにおいて、結合された構成要素のモデルと、それらの構成要素が相互に移動されて近接する際の構成要素の結合された３Ｄ点群との間のずれを検出したことに基づいて、相互に接合されるべき２つの構成要素がずれていると判定することができる。システム１００は、設計状態モデルと完成状態モデルとの間の差異１５２またはずれが閾値を満たすことを示す出力データ１４８に基づいて、警告を生成するように構成することができ、これにより、２つの構成要素が相互に誤って接合または付着される前に接合または結合プロセスを中断させることが可能になる。

別の例として、システム１００は、製造プロセスにおいて工場現場で使用されうる。この例では、複数のセンサ１０７は、オブジェクト１０４がオブジェクト１０４の製造中に工場現場を移動する際のオブジェクト１０４を含む１または複数のオブジェクトを含む工場現場の一部の場面の画像データを提供するように構成されうる。システム１００は、工場現場の新しい部分または構成要素を、オブジェクト認識に基づいてオブジェクト１０４に対応するものとして検出しうる。システム１００は、オブジェクト１０４が工場を移動する際にオブジェクト１０４の完成状態モデル（例えば、結合された３Ｄ点群）を生成することによって、オブジェクト１０４に欠陥がないかを自動的に監視しうる。システム１００は、完成状態モデルを設計状態モデル（例えば、３Ｄモデル１０２）と比較し、比較の結果（例えば、グラフィック表示１５６）を表示装置（例えば、ディスプレイ１５４）に表示しうる。システム１００は、製造プロセスの自動化された部分に、完成時のオブジェクト１０４の外観が誤っていることを示す表示結果に基づいて製造を調整するよう指示する能力を含みうる。

例えば、システム１００は、ずれが閾値を超えていることを示す出力データ１４８に基づいて製造仕様を調整すべきであることを検出するように構成されうる。例えば、工場現場で行われる製造プロセスは、特定の構成要素（例えば、オブジェクト１０４）内に穴、開口部または空洞を形成することを含む場合があり、システム１００は、その特定の構成要素の製造時にその特定の構成要素の生産を監視するように取り付けられ、構成されうる。システム１００は、穴、開口部または空洞に対応するメッシュ面と関連付けられたずれを示す出力データ１４８に基づいて、穴、開口部または空洞と関連付けられたずれ（例えば、誤ったサイズや位置）を検出するように構成されうる。システム１００は、ずれが閾値を満たしていると判断し、警告を生成することができ、正しいサイズまたは正しい位置で穴、開口部または空洞を生成するように製造プロセスを調整することが可能になる。あるいは、システム１００は、工場のロボットに誤差を補正するように自動的に指示してもよい（例えば、ロボットに、穴、開口部または空洞が存在すべき場所を指示し、それによってロボットに、穴、開口部または空洞を形成する位置を補正させることができる）。

図２に、図１のシステム１００の動作時の例示的な段階を示す図を示す。第１段階では、センサデータ（例えば、第１のセンサデータ１１４および第２のセンサデータ１１６）が、複数のセンサ１０７のそれぞれのセンサによって収集される。例えば、第１のセンサデータ１１４および第２のセンサデータ１１６が、それぞれ図１の第１のセンサ１０８および第２のセンサ１１０によって収集されうる。例示を容易にするために、図２には、２組のセンサデータ１１４、１１６および関連する動作のみが示されている。しかし、システム１００が３つ以上のセンサを含む場合には、後述する動作と同様の動作が、他のセンサの各々からのセンサデータについても実行されうる。

第２の３Ｄ点群１１１および第３の３Ｄ点群１１３は、上述したようにそれぞれ第１のセンサデータ１１４および第２のセンサデータ１１６に基づいて生成される。図２には、第２の３Ｄ点群１１１の点のグラフィック表現２０１と、第１のセンサ１０８によって取り込まれた場面に含まれるオブジェクト１０４の例の輪郭（破線）とが示されている。オブジェクト１０４の輪郭線（破線）は状況説明のために描かれており、第２の３Ｄ点群１１１には存在しない。図２にはまた、第３の３Ｄ点群１１３の点のグラフィック表現２０３と、第２のセンサ１１０によって取り込まれた場面に含まれるオブジェクト１０４の例の輪郭（破線）とが示されている。オブジェクト１０４の輪郭線（破線）は状況説明のために描かれており、第３の３Ｄ点群１１３には存在しない。

第２の３Ｄ点群１１１は、オブジェクト１０４に対応する図１の第１の点１２２（例えば、破線の輪郭内の点）と、第１のセンサ１０８によって取り込まれた場面の他の部分に対応する点２０２、２０４、２０６とを含む。第３の３Ｄ点群１１３は、オブジェクト１０４に対応する図１の第２の点１２４（例えば、破線の輪郭内の点）と、第２のセンサ１１０によって取り込まれた場面の他の部分に対応する点２０８、２１２、２１４とを含む。第２の３Ｄ点群１１１は、第１のセンサ１０８の座標系２３２で定義されている。第３の３Ｄ点群１１３は、第２のセンサ１１０の座標系２３４で定義されている。

第２段階では、第２の３Ｄ点群１１１および第３の３Ｄ点群１１３が個別にセグメント化され、第１の記録された３Ｄ点群１４２および第２の記録された３Ｄ点群１４４を生成するために第１の３Ｄ点群１３６に記録される。第２の３Ｄ点群１１１および第３の３Ｄ点群１１３は、図１を参照して上述したように、個別にセグメント化され、記録されうる。図２には、第１の記録された３Ｄ点群１４２の一例のグラフィック描写２０５が示されており、第２の記録された３Ｄ点群１４４の一例のグラフィック描写２０７が示されている。第１の記録された３Ｄ点群１４２は、オブジェクト１０４に対応する第１の点１２２を含み、第１のセンサ１０８によって取り込まれた場面の他の部分に対応する点２０２、２０４、２０６を含まない。第１の記録された３Ｄ点群１４２は、３Ｄモデル１０２の座標系２３６に記録される。第２の記録された３Ｄ点群１４４は、オブジェクト１０４に対応する第２の点１２４を含み、第２のセンサ１１０によって取り込まれた場面の他の部分に対応する点２０８、２１２、２１４を含まない。第２の記録された３Ｄ点群１４４は、図１の３Ｄモデル１０２の座標系２３６に記録される。

第３段階では、第１の記録された３Ｄ点群１４２と第２の記録された３Ｄ点群１４４とを融合することによって図１の結合された３Ｄ点群１０６が生成される。図２には、図１の結合された３Ｄ点群１０６の例のグラフィック描写２０９が示されている。

第４段階では、図１の結合された３Ｄ点群１０６が図１のメッシュモデル１３２と比較される。図２には、図１のメッシュモデル１３２のグラフィック描写が示されている。メッシュモデル１３２は、複数のメッシュ面２２１、２２２、２２３、２２４、２２５、２２６、２２７、２２８、２２９、２３０などの複数の面を含む。図１の結合された３Ｄ点群１０６は、図１を参照して上述したように、メッシュモデル１３２と比較される。例えば、図１のプロセッサ１２６は、結合された３Ｄ点群１０６の点ごとに、複数のメッシュ面２２１、２２２、２２３、２２４、２２５、２２６、２２７、２２８、２２９、２３０の、メッシュモデル１３２に最も近いメッシュ面を特定しうる。例えば、プロセッサ１２６は、点２６２、２６４、２６６、２６８に最も近いメッシュ面はメッシュ面２３０であると判断しうる。

プロセッサ１２６は、結合された３Ｄ点群１０６の各点と、各点の対応メッシュ面の最も近い部分との間の距離を決定しうる。例えば、プロセッサ１２６は、メッシュ面２３０の部分２７２が点２６２に最も近く、メッシュ面２３０の部分２７４が点２６４に最も近く、メッシュ面２３０の部分２７６が点２６６に最も近く、メッシュ面２３０の部分２７８が点２６８に最も近いと判断しうる。プロセッサ１２６は、点２６２と部分２７２との間の距離２８２、点２６４と部分２７４との間の距離２８４、点２６６と部分２７６との間の距離２８６、および点２６８と部分２７８との間の距離２８８を決定しうる。

結合された３Ｄ点群１０６の複数の対応点を含むメッシュ面ごとに、プロセッサ１２６は、対応点とメッシュ面との間の平均距離を決定する。例えば、メッシュ面２３０について、プロセッサ１２６は、距離２８２、２８４、２８６、２８８の平均値を決定しうる。

第５段階では、プロセッサ１２６は、結合された３Ｄ点群１０６と３Ｄモデル１０２（例えば、メッシュモデル１３２）との間の差異を示す出力データを提供する。この差異は、メッシュモデル１３２のメッシュ面ごとに決定された差異を含む。出力データは、差異１５２のグラフィック表示１５６を表示するディスプレイ１５４に提供される。グラフィック表示１５６は、色に基づいて３Ｄモデル１０２からのずれ量を示すヒートマップまたはカラーマップの形態であってもよい。例えば、図２には、グラフィック表示１５６の一例が示されている。グラフィック表示１５６の各メッシュ面は、カラーマップの色に対応しうる対応するシェーディングを有する。各シェーディングは、その差異に基づくメッシュ面と結合された３Ｄ点群１０６との間のずれ量を示すことができる。

図３に、複数のセンサからのセンサデータに基づいて、オブジェクトのメッシュモデルと結合された３Ｄ点群との間の差異を示す出力データを生成する方法３００のフローチャートを示す。いくつかの例では、方法３００は、図１のシステム１００によって行われる。方法３００は、３０２で、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて、第１の記録された３Ｄ点群を生成するステップを含む。例えば、第１の記録された３Ｄ点群は、図１を参照して上述した第１の記録された３Ｄ点群１４２に対応し、第１の３Ｄ点群は第１の３Ｄ点群１３６に対応し、第２の３Ｄ点群は第２の３Ｄ点群１１１に対応しうる。第２の３Ｄ点群は、第１のセンサからの第１のセンサデータに基づくものであり、第１の３Ｄ点群は、オブジェクトの３Ｄモデルに基づくものである。例えば、第２の３Ｄ点群は第１のセンサデータ１１４に基づいて生成され、第１の３Ｄ点群は、図１を参照して上述したオブジェクト１０４の３Ｄモデル１０２に基づいて生成されうる。

方法３００は、３０４で、第１の３Ｄ点群と第３の３Ｄ点群とに基づいて、第２の記録された３Ｄ点群を生成するステップを含む。例えば、第２の記録された３Ｄ点群は、図１を参照して上述した第２の記録された３Ｄ点群１４４に対応し、第３の３Ｄ点群は第３の３Ｄ点群１１３に対応しうる。第３の３Ｄ点群は、第２のセンサからの第２のセンサデータに基づくものである。例えば、第３の３Ｄ点群は、図１を参照して上述したように第２のセンサデータ１１６に基づいて生成されうる。

方法３００は、３０６で、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて、結合された３Ｄ点群を生成するステップを含む。例えば、結合された３Ｄ点群は、図１を参照して上述した結合された３Ｄ点群１０６に対応し、結合された３Ｄ点群は、図１を参照して上述したようにプロセッサ１２６によって生成されうる。システム１００が３つ以上のセンサを含む実施態様では、記録された点群が他のセンサからのセンサデータに基づいて同様に生成される。そのような実施態様では、結合された３Ｄ点群は、他のセンサと関連付けられた記録された点群にも基づくものである。

方法３００は、３０８で、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較するステップを含む。例えば、メッシュモデルは、図１または図２のメッシュモデル１３２に対応しうる。結合された３Ｄ点群は、図１および図２を参照して上述したように、メッシュモデルと比較されうる。いくつかの実施態様では、結合された３Ｄ点群をオブジェクトのメッシュモデルと比較するステップは、結合された３Ｄ点群の点ごとに、メッシュモデルの対応メッシュ面を決定するステップを含む。例えば、図１のプロセッサ１２６は、図１を参照して上述したように、結合された３Ｄ点群の点ごとにメッシュモデルの対応メッシュ面を決定しうる。いくつかの実施態様では、結合された３Ｄ点群をメッシュモデルと比較するステップは、点と点の対応メッシュ面との間の距離を決定するステップをさらに含む。いくつかの実施態様では、結合された３Ｄ点群をメッシュモデルと比較するステップは、結合された３Ｄ点群の複数の対応点と関連付けられたメッシュモデルのメッシュ面ごとに、複数の対応点とメッシュ面との間の平均距離を決定するステップを含む。

方法３００は、３１０で、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成するステップをさらに含む。いくつかの実施態様において、差異は、メッシュモデルのメッシュ面ごとに決定された差異を含み、結合された３Ｄ点群の複数の対応点と関連付けられた特定のメッシュ面の差異は、メッシュ面について決定された平均距離に基づくものである。

いくつかの実施態様において、方法３００は、差異を表示するステップをさらに含む。例えば、差異はカラーマップを使用して表示されてもよく、メッシュモデルの各メッシュ面はメッシュ面について決定された差異に基づく色を割り当てられる。よって、ディスプレイは、完成時のオブジェクトと設計時のオブジェクトとの間の差異を図式的に示す。

図４は、本開示によるコンピュータ実装方法およびプロセッサ実行可能プログラム命令（またはコード）の実施形態をサポートするように構成されたデバイス４１０（例えば、汎用コンピューティングデバイス）を含むコンピューティング環境４００のブロック図である。例えば、コンピューティングデバイス４１０またはその部分は、システム１００の機能またはプロセッサ１２６などのシステム１００の一部分の機能を果たすプロセッサ実行可能命令を実行しうる。システム１００（またはプロセッサ１２６、セグメント化・記録エンジン１３８、比較器１４６など、システム１００の一部分）を制御するプロセッサ実行可能命令は、図１、図２、または図３を参照して上述したように、図１の結合された３Ｄ点群１０６を生成し、結合された３Ｄ点群１０６をメッシュモデル１３２と比較し、差異１５２を示す出力データ１４８を生成するプロセッサ実行可能命令を含みうる。コンピューティングデバイス４１０またはその一部分は、図３の方法３００など、本明細書に記載の方法のいずれかによるプロセッサ実行可能命令をさらに実行しうる。

プロセッサ１２６は、システムメモリ４３０、１もしくは複数の記憶装置４４０、またはそれらの組み合わせなどの非一時的なプロセッサ読み取り可能な媒体と通信しうる。プロセッサ１２６は、１もしくは複数の入出力インターフェース４５０、１もしくは複数の通信インターフェース４６０、またはそれらの組み合わせともさらに通信しうる。システムメモリ４３０は、揮発性メモリデバイス（例えば、ランダム・アクセス・メモリ（ＲＡＭ）デバイス）、不揮発性メモリデバイス（例えば、読み出し専用メモリ（ＲＯＭ）デバイス、プログラム可能な読み出し専用メモリ、およびフラッシュメモリ）、またはその両方含みうる。システムメモリ４３０は、コンピューティングデバイス４１０を起動するための基本入出力システムと、コンピューティングデバイス４１０がユーザー、他のプログラム、および他のデバイスと対話することを可能にする完全なオペレーティングシステムを含むオペレーティングシステム４３２も含みうる。システムメモリ４３０は、プロセッサ１２６によって実行可能な１または複数のアプリケーション（例えば、プロセッサ実行可能命令）４３４を含み、または格納しうる。例えば、１または複数のアプリケーション４３４は、図１〜図３を参照して上述した１または複数の機能またはステップを実行するためにプロセッサ１２６によって実行可能なプロセッサ実行可能命令を含みうる。

例えば、システムメモリ４３０は、プロセッサ１２６によって実行されると、図１〜図３を参照して上述したように、プロセッサ１２６に、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成させるプロセッサ実行可能命令を格納しうる。プロセッサ実行可能命令は、プロセッサ１２６によって実行されると、図１〜図３を参照して上述したように、プロセッサ１２６に、第１の３Ｄ点群と第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成させる。プロセッサ実行可能命令は、プロセッサ１２６によって実行されると、図１〜図３を参照して上述したように、プロセッサ１２６に、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成させる。プロセッサ実行可能命令は、プロセッサ１２６によって実行されると、図１〜図３を参照して上述したように、プロセッサ１２６に、結合された３Ｄ点群をオブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較させる。プロセッサ実行可能命令は、プロセッサ１２６によって実行されると、図１〜図３を参照して上述したように、プロセッサ１２６に、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトと、３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成させる。

プロセッサ１２６はまた、１または複数の記憶装置４４０と通信しうる。例えば、１または複数の記憶装置４４０は、磁気ディスク、光ディスク、フラッシュメモリデバイスなどの不揮発性記憶装置を含みうる。記憶装置４４０は、リムーバブル・メモリ・デバイスと非リムーバブル・メモリデバイスの両方を含みうる。記憶装置４４０は、オペレーティングシステム、オペレーティングシステムの画像、アプリケーション、およびプログラムデータを格納するように構成されうる。記憶装置４４０はまた、３Ｄモデル１０２も格納しうる。特定の実施形態では、システムメモリ４３０、記憶装置４４０、またはその両方が、有形のコンピュータ読み取り可能な媒体を含む。

プロセッサ１２６は、コンピューティングデバイス４１０がユーザー対話を容易にする１または複数の入出力デバイス４７０と通信することを可能にする１または複数の入出力インターフェース４５０と通信しうる。入出力インターフェース４５０は、シリアルインターフェース（例えば、ＵＳＢ（universal serial bus、ユニバーサル・シリアル・バス）インターフェースやＩＥＥＥ（Institute of Electrical and Electronics Engineers、米国電気電子技術者協会）１３９４インターフェース）、パラレルインターフェース、ディスプレイアダプター、オーディオアダプター、および他のインターフェースを含みうる。入出力デバイス４７０は、キーボード、ポインティングデバイス、ディスプレイ、スピーカー、マイクロホン、タッチスクリーン、および他のデバイスを含みうる。プロセッサ１２６は、入出力インターフェース４５０を介して受け取られたユーザー入力に基づいて対話イベントを検出しうる。加えて、プロセッサ１２６は、入出力インターフェース４５０を介して表示装置（例えば、出力装置１８０）に表示を送信しうる。

プロセッサ１２６は、１または複数の通信インターフェース４６０を介して、複数のセンサ１０７、１もしくは複数のデバイス４８０、またはそれらの組み合わせと通信しうる。１または複数の通信インターフェース４６０は、有線イーサネット（登録商標）インターフェース、ＩＥＥＥ８０２無線インターフェース、他の無線通信インターフェース、または他のネットワークインターフェースを含みうる。１または複数のデバイス４８０は、ホストコンピュータ、サーバ、ワークステーション、および他のコンピューティングデバイスを含みうる。

本明細書に記載した例の説明は、様々な実施形態の構造の一般的な理解を提供するためのものである。これらの説明は、本明細書に記載した構造または方法を利用した装置およびシステムのすべての要素および特徴の完全な説明として使用されることを意図したものではない。本開示を考察すれば当業者には多くの他の実施形態が明らかになるであろう。本開示から他の実施形態を利用し、考案することもでき、よって、本開示の範囲を逸脱することなく構造的、論理的な置き換えおよび変更を行うことができる。例えば、方法ステップは、図示された順序と異なる順序で実行されてもよく、１または複数の方法ステップが省略されてもよい。したがって、本開示および各図は、限定ではなく例示とみなされるべきである。

添付の各図に示されているフローチャート、モジュール、または構成要素は、ソフトウェア命令およびハードウェア論理に基づいて動作するハードウェア、ハードウェアに動作を行うよう指図するソフトウェア、またはその両方を表しうる。特に、図１〜図４を参照して上述したセグメント化・記録エンジン１３８、比較器１４６、またはそれらの組み合わせは、図１〜図４を参照して上述したプロセッサ１２６を、図１〜図４を参照して上述したセグメント化・記録エンジン１３８、比較器１４６、またはそれらの組み合わせを有しないプロセッサと比較して専用のプロセッサに変換する。

さらに、本開示は、以下の各項目による実施形態を含む。

項目１．第１のセンサデータを生成する第１のセンサと、第２のセンサデータを生成する第２のセンサと、オブジェクトの３次元（３Ｄ）モデルを格納するメモリと、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成し、第２の３Ｄ点群が第１のセンサデータに基づくものであり、第１の３Ｄ点群がオブジェクトの３Ｄモデルに基づくものであり、第１の３Ｄ点群と、第２のセンサデータに基づくものである第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成し、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成し、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較し、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成する、プロセッサと、出力データに基づいて差異のグラフィック表示を表示するように構成されたディスプレイと、を含む、システム。

項目２．第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とは３Ｄモデルの座標系に記録される、項目１に記載のシステム。

項目３．プロセッサは、第１の記録された３Ｄ点群および第２の記録された３Ｄ点群を生成するために反復最近接点アルゴリズムを実行するように構成される、項目１に記載のシステム。

項目４．結合された３Ｄ点群をオブジェクトのメッシュモデルと比較するために、プロセッサは、結合された３Ｄ点群の点ごとに、メッシュモデルの対応メッシュ面を決定し、各点と各点の対応メッシュ面との間の距離を決定する、ように構成される、項目１に記載のシステム。

項目５．結合された３Ｄ点群をメッシュモデルと比較するために、プロセッサは、結合された３Ｄ点群の複数の対応点と関連付けられたメッシュモデルのメッシュ面ごとに、複数の対応点とメッシュ面との間の平均距離を決定するようにさらに構成される、項目４に記載のシステム。

項目６．差異は、メッシュモデルのメッシュ面ごとに決定された差異を含み、結合された３Ｄ点群の複数の対応点と関連付けられた特定のメッシュ面の差異は、メッシュ面について決定された平均距離に基づくものである、項目５に記載のシステム。

項目７．３Ｄモデルはコンピュータ支援設計（ＣＡＤ）モデルを含み、プロセッサは、ＣＡＤモデルに基づいてメッシュモデルを生成し、ＣＡＤモデルに基づいて第１の３Ｄ点群を生成する、ようにさらに構成される、項目１に記載のシステム。

項目８．第１の３次元（３Ｄ）点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成するステップであって、第２の３Ｄ点群は第１のセンサからの第１のセンサデータに基づくものであり、第１の３Ｄ点群はオブジェクトの３Ｄモデルに基づくものである、ステップと、第１の３Ｄ点群と第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成するステップであって、第３の３Ｄ点群は第２のセンサからの第２のセンサデータに基づくものである、ステップと、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成するステップと、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較するステップと、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成するステップと、を含む、方法。

項目９．第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とは３Ｄモデルの座標系に記録される、項目８に記載の方法。

項目１０．第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とを生成するステップは、反復最近接点アルゴリズムを実行するステップを含む、項目９に記載の方法。

項目１１．結合された３Ｄ点群をオブジェクトのメッシュモデルと比較するステップは、結合された３Ｄ点群の点ごとに、メッシュモデルの対応メッシュ面を決定するステップと、各点と各点の対応メッシュ面との間の距離を決定するステップと、を含む項目１０に記載の方法。

項目１２．結合された３Ｄ点群をメッシュモデルと比較するステップは、結合された３Ｄ点群の複数の対応点と関連付けられたメッシュモデルのメッシュ面ごとに、複数の対応点とメッシュ面との間の平均距離を決定するステップを含む、項目１１に記載の方法。

項目１３．差異は、メッシュモデルのメッシュ面ごとに決定された差異を含み、結合された３Ｄ点群の複数の対応点と関連付けられた特定のメッシュ面の差異は、メッシュ面について決定された平均距離に基づくものである、項目１２に記載の方法。

項目１４．３Ｄモデルはコンピュータ支援設計（ＣＡＤ）モデルを含み、ＣＡＤモデルに基づいてメッシュモデルを生成するステップと、ＣＡＤモデルに基づいて第１の３Ｄ点群を生成するステップと、をさらに含む、項目１３に記載の方法。

項目１５．プロセッサによって実行されると、プロセッサに、第１の３Ｄ点群と第２の３Ｄ点群とに基づいて第１の記録された３Ｄ点群を生成させ、第２の３Ｄ点群が第１のセンサからの第１のセンサデータに基づくものであり、第１の３Ｄ点群がオブジェクトの３次元（３Ｄ）モデルに基づくものであり、第１の３Ｄ点群と第３の３Ｄ点群とに基づいて第２の記録された３Ｄ点群を生成させ、第３の３Ｄ点群が第２のセンサからの第２のセンサデータに基づくものであり、第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とに基づいて結合された３Ｄ点群を生成させ、結合された３Ｄ点群を、オブジェクトの３Ｄモデルに基づくものであるオブジェクトのメッシュモデルと比較させ、比較に基づいて、結合された３Ｄ点群によって表されるオブジェクトとオブジェクトの３Ｄモデルによって表されるオブジェクトとの間の差異を示す出力データを生成させるプロセッサ実行可能命令を格納した非一時的なプロセッサ読み取り可能な媒体。

項目１６．第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とは３Ｄモデルの座標系に記録される、項目１５に記載の非一時的なプロセッサ読み取り可能な媒体。

項目１７．第１の記録された３Ｄ点群と第２の記録された３Ｄ点群とを生成することは、反復最近接点アルゴリズムを実行することを含む、項目１６に記載の非一時的なプロセッサ読み取り可能な媒体。

項目１８．結合された３Ｄ点群をオブジェクトのメッシュモデルと比較することは、結合された３Ｄ点群の点ごとに、メッシュモデルの対応メッシュ面を決定することと、各点と各点の対応メッシュ面との間の距離を決定することと、を含む、項目１７に記載の非一時的なプロセッサ読み取り可能な媒体。

項目１９．結合された３Ｄ点群をメッシュモデルと比較することは、結合された３Ｄ点群の複数の対応点と関連付けられたメッシュモデルのメッシュ面ごとに、複数の対応点とメッシュ面との間の平均距離を決定することを含む、項目１８に記載の非一時的なプロセッサ読み取り可能な媒体。

項目２０．差異は、メッシュモデルのメッシュ面ごとに決定された差異を含み、結合された３Ｄ点群の複数の対応点と関連付けられた特定のメッシュ面の差異は、メッシュ面について決定された平均距離に基づくものである、項目１９に記載の非一時的なプロセッサ読み取り可能な媒体。

さらに、本明細書では特定の例について図示し、説明したが、図示した特定の実施形態の代わりに同じ結果または類似した結果を達成するように設計された任意の後続の構成が用いられうることを理解されたい。本開示では、様々な実施形態のすべての後続の適合形態または変形形態を包含することが意図されている。説明を考察すれば当業者には、上記の実施形態の組み合わせ、および本明細書に具体的に記載されていない他の実施形態が明らかになるであろう。

本開示の要約書は、特許請求の範囲または意味を解釈または限定するために使用されないという了解のもとで提出されたものである。加えて、以上の詳細な説明では、本開示を簡素化する目的で、様々な特徴がまとめてグループ化され、または単一の実施形態として記載されている場合もある。添付の特許請求の範囲が表すように、特許請求される主題は、開示の例のいずれかのすべてには満たない特徴を対象とする場合もある。

上述した例は、本開示を例示するが、本開示を限定するものではない。また、本開示の原理に従った多くの改変形態および変形形態が可能であることも理解されたい。したがって、本開示の範囲は、添付の特許請求の範囲およびそれらの均等物によって定義される。

１００ システム
１０２ ３Ｄモデル
１０４ オブジェクト
１０６ 結合された３Ｄ点群
１０７ センサ
１０８ 第１のセンサ
１１０ 第２のセンサ
１１１ 第２の３Ｄ点群
１１２ メモリ
１１３ 第３の３Ｄ点群
１１４ 第１のセンサデータ
１１５ 第Ｎのセンサ
１１６ 第２のセンサデータ
１１７ 第Ｎのセンサデータ
１２２ 第１の点
１２４ 第２の点
１２６ プロセッサ
１２８ メッシュジェネレータ
１３２ メッシュモデル
１３４ 点群生成器
１３６ 第１の３Ｄ点群
１３８ セグメント化・記録エンジン
１４０ 記録された３Ｄ点群
１４２ 第１の記録された３Ｄ点群
１４４ 第２の記録された３Ｄ点群
１４５ 第Ｎの記録された３Ｄ点群
１４６ 比較器
１４８ 出力データ
１５２ 差異
１５４ ディスプレイ
１５６ グラフィック表示
１８０ 出力装置
２０１ グラフィック表現
２０２ 点
２０３ グラフィック表現
２０４ 点
２０５ グラフィック描写
２０６ 点
２０７ グラフィック描写
２０８ 点
２０９ グラフィック描写
２１２ 点
２１４ 点
２２１ メッシュ面
２２２ メッシュ面
２２３ メッシュ面
２２４ メッシュ面
２２５ メッシュ面
２２６ メッシュ面
２２７ メッシュ面
２２８ メッシュ面
２２９ メッシュ面
２３０ メッシュ面
２３２ 座標系
２３４ 座標系
２３６ 座標系
２６２ 点
２６４ 点
２６６ 点
２６８ 点
２７２ 部分
２７４ 部分
２７６ 部分
２７８ 部分
２８２ 距離
２８４ 距離
２８６ 距離
２８８ 距離
４００ コンピューティング環境
４１０ コンピューティングデバイス
４３０ システムメモリ
４３２ オペレーティングシステム
４３４ アプリケーション
４４０ 記憶装置
４５０ 入出力インターフェース
４６０ 通信インターフェース
４８０ デバイス

Claims (11)

1. 第１のセンサデータ（１１４）を生成する第１のセンサ（１０８）と、
   第２のセンサデータ（１１６）を生成する第２のセンサ（１１０）と、
   オブジェクト（１０４）の３次元（３Ｄ）モデル（１０２）を格納するメモリ（１１２）と、
   プロセッサ（１２６）と、
   出力データ（１４８）に基づいて差異（１５２）のグラフィック表示（１５６）を表示するように構成されたディスプレイ（１５４）と
   を含んでなるシステム（１００）であって、
   前記プロセッサ（１２６）が、
   第１の３Ｄ点群（１３６）と第２の３Ｄ点群（１１１）とに基づいて第１の記録された３Ｄ点群（１４２）を生成し、前記第２の３Ｄ点群（１１１）が前記第１のセンサデータ（１１４）に基づき、前記第１の３Ｄ点群（１３６）が前記オブジェクト（１０４）の３Ｄモデルに基づくもので、
   前記第１の３Ｄ点群（１３６）と、前記第２のセンサデータ（１１６）に基づくものである第３の３Ｄ点群（１１３）とに基づいて第２の記録された３Ｄ点群（１４４）を生成し、
   前記第１の記録された３Ｄ点群（１４２）と前記第２の記録された３Ｄ点群（１４４）とに基づいて結合された３Ｄ点群（１０６）を生成し、
   前記結合された３Ｄ点群（１０６）を、前記オブジェクト（１０４）の前記３Ｄモデル（１０２）に基づくものである前記オブジェクト（１０４）のメッシュモデル（１３２）と比較し、
   当該比較に基づいて、前記結合された３Ｄ点群（１０６）によって表される前記オブジェクト（１０４）と前記オブジェクト（１０４）の前記３Ｄモデル（１０２）によって表される前記オブジェクト（１０４）との間の前記差異（１５２）を示す前記出力データ（１４８）を生成する、
   ことを特徴とするシステム（１００）。
2. 前記第１の記録された３Ｄ点群（１４２）および前記第２の記録された３Ｄ点群（１４４）が、前記３Ｄモデル（１０２）の座標系に記録されることを特徴とする、請求項１に記載のシステム（１００）。
3. 前記プロセッサ（１２６）は、前記第１の記録された３Ｄ点群（１４２）および前記第２の記録された３Ｄ点群（１４４）を生成するために反復最近接点アルゴリズムを実行するように構成されることを特徴とする、請求項１に記載のシステム（１００）。
4. 前記結合された３Ｄ点群（１０６）を前記オブジェクト（１０４）の前記メッシュモデル（１３２）と比較するために、前記プロセッサ（１２６）は、前記結合された３Ｄ点群（１０６）の点ごとに、
   前記メッシュモデル（１３２）の対応メッシュ面を決定し、
   点と前記点の対応メッシュ面との間の距離を決定する、
   ように構成され、
   前記プロセッサ（１２６）は、前記結合された３Ｄ点群（１０６）の複数の対応点と関連付けられた前記メッシュモデル（１３２）のメッシュ面ごとに、前記複数の対応点と前記メッシュ面との間の平均距離を決定するように構成されることを特徴とする、請求項１に記載のシステム（１００）。
5. 前記差異（１５２）が、前記メッシュモデル（１３２）のメッシュ面ごとに決定された差異を含み、前記結合された３Ｄ点群（１０６）の複数の対応点と関連付けられた特定のメッシュ面の差異が、前記メッシュ面について決定された前記平均距離に基づくものであることを特徴とする、請求項４に記載のシステム（１００）。
6. 第１の３次元（３Ｄ）点群（１３６）と第２の３Ｄ点群（１１１）とに基づいて第１の記録された３Ｄ点群（１４２）を生成するステップであって、前記第２の３Ｄ点群（１１１）は第１のセンサ（１０８）からの第１のセンサデータ（１１４）に基づくもので、前記第１の３Ｄ点群（１３６）はオブジェクト（１０４）の３Ｄモデル（１０２）に基づくものである、第１の記録された３Ｄ点群（１４２）を生成するステップと、
   前記第１の３Ｄ点群（１３６）と第３の３Ｄ点群（１１３）とに基づいて第２の記録された３Ｄ点群（１４４）を生成するステップであって、前記第３の３Ｄ点群（１１３）は第２のセンサ（１１０）からの第２のセンサデータ（１１６）に基づくものである、第２の記録された３Ｄ点群（１４４）を生成するステップと、
   前記第１の記録された３Ｄ点群（１４２）と前記第２の記録された３Ｄ点群（１４４）とに基づいて結合された３Ｄ点群（１０６）を生成するステップと、
   前記結合された３Ｄ点群（１０６）を、前記オブジェクト（１０４）の前記３Ｄモデル（１０２）に基づくものである前記オブジェクト（１０４）のメッシュモデル（１３２）と比較するステップと、
   前記比較に基づいて、前記結合された３Ｄ点群（１０６）によって表される前記オブジェクト（１０４）と、前記オブジェクト（１０４）の前記３Ｄモデル（１０２）によって表される前記オブジェクト（１０４）と、の間の差異（１５２）を示す出力データ（１４８）を生成するステップと、
   を含んでなることを特徴とする方法。
7. 前記第１の記録された３Ｄ点群（１４２）と前記第２の記録された３Ｄ点群（１４４）とが、前記３Ｄモデル（１０２）の座標系に記録されることを特徴とする、請求項６に記載の方法。
8. 前記第１の記録された３Ｄ点群（１４２）と前記第２の記録された３Ｄ点群（１４４）とを生成するステップが、反復最近接点アルゴリズムを実行するステップを含むことを特徴とする、請求項７に記載の方法。
9. 前記結合された３Ｄ点群（１０６）を前記オブジェクト（１０４）の前記メッシュモデル（１３２）と比較するステップが、前記結合された３Ｄ点群（１０６）の点ごとに、
   前記メッシュモデル（１３２）の対応メッシュ面を決定するステップと、
   点と前記点の対応メッシュ面との間の距離を決定するステップと、
   を含むことを特徴とする、請求項８に記載の方法。
10. 前記結合された３Ｄ点群（１０６）を前記メッシュモデル（１３２）と比較するステップが、前記結合された３Ｄ点群（１０６）の複数の対応点と関連付けられた前記メッシュモデル（１３２）のメッシュ面ごとに、前記複数の対応点と前記メッシュ面との間の平均距離を決定するステップ、を含み、
    前記差異（１５２）が、前記メッシュモデル（１３２）のメッシュ面ごとに決定された差異を含み、前記結合された３Ｄ点群（１０６）の複数の対応点と関連付けられた特定のメッシュ面の前記差異が、前記メッシュ面について決定された前記平均距離に基づくものであることを特徴とする、請求項９に記載の方法。
11. 前記３Ｄモデル（１０２）がコンピュータ支援設計（ＣＡＤ）モデルを含む請求項１０に記載の方法であって、
    ＣＡＤモデルに基づいて前記メッシュモデル（１３２）を生成するステップと、
    前記ＣＡＤモデルに基づいて前記第１の３Ｄ点群（１３６）を生成するステップと、
    をさらに含んでなることを特徴とする、請求項１０に記載の方法。

Images