JP7256005B2 - 実オブジェクトのスキンを表すファセットの集合の決定 - Google Patents

Description

本発明は、コンピュータプログラム及びシステムの分野に関し、より具体的には、３次元（３Ｄ）再構成の、方法、システム及びプログラムに関する。

多くのシステム及びプログラムが、オブジェクトの、設計、エンジニアリング及び製造のために、マーケットに提供される。ＣＡＤは、コンピュータ援用設計（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）の頭文字であり、例えば、オブジェクトを設計するためのソフトウェアソリューションに関する。ＣＡＥは、コンピュータ援用エンジニアリング（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の頭文字であり、例えば、将来の製品の物理的な振る舞いをシミュレートするためのソフトウェアソリューションに関する。ＣＡＭは、コンピュータ援用製造（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）の頭文字であり、例えば、製造プロセス及びオペレーションの定義のためのソフトウェアソリューションに関する。そのようなコンピュータ援用設計システムでは、グラフィカルユーザインタフェースは、技術の効率に関する重要な役割を果たす。これらの技術は、製品ライフサイクル管理（ＰＬＭ）システム内に埋め込まれていてもよい。ＰＬＭは、拡張エンタープライズの概念全体にわたって、会社が、製品データを共有し、共通の工程を適用し、構想からそれらの寿命の終わりまで製品の開発のための企業知識を活用することを支援する経営戦略を指す。ダッソー・システムズ（Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ）（ＣＡＴＩＡ、ＥＮＯＶＩＡ及びＤＥＬＭＩＡの商標のもと）によって提供されるＰＬＭソリューションは、エンジニアリングハブ（製品エンジニアリング知識を組織する）、製造ハブ（製造エンジニアリング知識を管理する）、及び、企業ハブ（エンジニアリングハブ及び製造ハブの両方への企業統合及び接続を可能にする）を提供する。それらすべてで、システムは、ダイナミックな、知識に基づいた製品創造と、最適化された製品定義、製造準備、生産及びサービスを推進する意志決定支援とを可能にする、リソース、プロセス、製品をリンクするオープンオブジェクトモデルをもたらす。

この情況及び他の状況において、コンピュータビジョン及びコンピュータグラフィクスの分野は、ますます有用な技術を提供する。もちろん、コンピュータビジョンは、３Ｄ再構成のためのソリューションを特に提供し、その３Ｄ再構成は、３Ｄモデルテクスチャリング及び／又は３Ｄ没入型体験（例えば仮想現実又は拡張現実）に使用できる。

３Ｄ再構成への２つのアプローチが広く知られている。

第１のアプローチは、「レシーバ」センサを使用する。これは、特に、ＲＧＢ画像分析からの３Ｄ再構成に関する。ここで、３Ｄ再構成は、画像平面のそれぞれに含まれるＲＧＢ色情報の多視点分析によって得られる。以下の論文がこのアプローチに関する。
・“Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ： Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ ２００４”、
・“Ｒ． Ｓｚｅｌｉｓｋｉ： Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｅｄｉｔｉｏｎ Ｓｐｒｉｎｇｅｒ ２０１０”、及び、
・“Ｆａｕｇｅｒａｓ： Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ ｖｉｅｗｐｏｉｎｔ， ＭＩＴ Ｐｒｅｓｓ １９９４”。

第２のアプローチは、「エミッタ・レシーバ」センサを使用する。これは、特にＲＧＢ深度画像分析からの３Ｄ再構成に関係がある。この種のセンサは、標準のＲＧＢデータに追加の深度データを与え、再構成プロセスにおいて主に使用されるのは深度情報である。以下の論文がこのアプローチに関する。
・“Ｙａｎ Ｃｕｉ ｅｔ ａｌ．： ３Ｄ Ｓｈａｐｅ Ｓｃａｎｎｉｎｇ ｗｉｔｈ ａ Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ Ｃａｍｅｒａ， ＣＶＰＲ ２０１０”、
・“ＲＳ． Ｉｚａｄｉ ｅｔ ａｌ．： ＫｉｎｅｃｔＦｕｓｉｏｎ： Ｒｅａｌ－Ｔｉｍｅ Ｄｅｎｓｅ Ｓｕｒｆａｃｅ Ｍａｐｐｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ， Ｓｙｍｐｏｓｉｕｍ ＩＳＭＡＲ ２０１１”、及び、
・“Ｒ． Ｎｅｗｃｏｍｂｅ ｅｔ ａｌ．： Ｌｉｖｅ Ｄｅｎｓｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｍｏｖｉｎｇ Ｃａｍｅｒａ， ＩＥＥＥ ＩＣＣＶ２０１１”。

さらに、何人かの学術関係者及び産業関係者が現在、ＲＧＢ画像分析（Ａｃｕｔｅ３Ｄ、Ａｕｔｏｄｅｓｋ、 ＶｉｓｕａｌＳＦＭなど）による、又は、ＲＧＢ深度分析（Ｋｉｎｅｃｔ（登録商標）のためのマイクロソフトのＳＤＫ、又は ＲｅｃｏｎｓｔｒｕｃｔＭｅなど）による、３Ｄ再構成のためのソフトウェアソリューションを提供している。

既知の３Ｄ再構成技術は、実オブジェクトの測定によって出力された３Ｄポイントクラウド（３Ｄ ｐｏｉｎｔ ｃｌｏｕｄ）を含む。次に、３Ｄポイントクラウドは、次に任意の用途に使用できる３Ｄモデル化オブジェクトフォーマットに変換されてもよい。３Ｄモデル化オブジェクトは、例えば、実オブジェクトのスキンを表す閉曲面を含む。

いくつかの既知のソリューションは、次に閉曲面に結合されるパラメトリック曲面（ｐａｒａｍｅｔｒｉｃ ｓｕｒｆａｃｅ）で３Ｄポイントクラウドをフィッティングするステップを含む。しかしながら、パラメトリック曲面（通常、平面、円柱、球などのような基本的形状）がひとたび検知されると、再構成されたソリッドのハル（ｈｕｌｌ）を表す閉曲面を形成するためにそれらのパラメトリック曲面が結合される方法を引き出すことは重要でないわけではない。なお、パラメトリック曲面は非有界（例えば無限平面）であってもよい。多くの研究者がこの問題に取り組んできた。
“Ｊｅｎｋｅ， Ｐ．， Ｋｒｕｃｋｅｂｅｒｇ， Ｂ． ＆ Ｓｔｒａｓｅｒ， Ｗ．， ２００８． Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｆｉｔｔｅｄ Ｓｈａｐｅ Ｐｒｉｍｉｔｉｖｅｓ， Ｖｉｓｉｏｎ， Ｍｏｄｅｌｉｎｇ， ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ （ＶＭＶ）， ｐｐ． ３１－４０”という論文において、著者は、パラメトリック曲面の検知された集合の境界を推定している。次に、彼らは、隣接するパラメトリック曲面の境界が一致するように、推定された境界の最適化を行っている。それらの操作は、複雑であり且つ自明ではない。さらに、入力ポイントクラウドは、この場合、しばしば、不完全であり且つ穴を含み、パラメトリック形状の推定された境界は他の曲面の境界と一致しないかもしれず、閉じていない最終曲面（それは明らかに実際のソリッドを表すことができない）をもたらすことになる。

この問題を解決するために、“Ｓｃｈｎａｂｅｌ， Ｒ．， Ｄｅｇｅｎｅｒ， Ｐ． ＆ Ｋｌｅｉｎ， Ｒ．， ２００９． Ｃｏｍｐｌｅｔｉｏｎ ａｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ｐｒｉｍｉｔｉｖｅ ｓｈａｐｅｓ． Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ， ２８（２）， ｐｐ． ５０３－５１２”という論文において、著者は、表面の完成及びソリッドの欠落部分に対処する異なるソリューションを提案している。この目的のために、ポイントクラウドを囲む空間は、３Ｄボクセルグリッドに分割される。このグリッドはグラフによって表され、それぞれのノードは、有向エッジによってその２６の隣接ボクセルに接続されたボクセルを表す。主な考え方は、ラベル“ｉｎ”（内）又は“ｏｕｔ”（外）をそれぞれのノードに割り当てることである。このようにして、ソリッドのハルは、“ｉｎ”及び“ｏｕｔ”とラベル付けされたボクセルを分離する。これは、“Ｂｏｙｋｏｖ， Ｙ． ＆ Ｋｏｌｍｏｇｏｒｏｖ， Ｖ．， ２００４． Ａｎ ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｍｉｎ－ｃｕｔ／ｍａｘ－ｆｌｏｗ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｅｎｅｒｇｙ ｍｉｎｉｍｉｚａｔｉｏｎ ｉｎ ｖｉｓｉｏｎ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２６（９）， ｐｐ． １１２４－１１３７”という論文に記載されたものと同様に、グラフ・カット・アプローチ（ｇｒａｐｈ－ｃｕｔ ａｐｐｒｏａｃｈ）によってグラフに関して規定された三項エネルギーを最小化することによって達成される。最小化は、ラベルが付加されるボクセルの集合によって制約を受ける。それらの制約は、検知されたパラメトリック曲面の拡張を推定し、ボクセルが曲面のどのサイドに位置するかに応じて、パラメトリック曲面を囲むボクセルのラベルを“ｉｎ”又は“ｏｕｔ”に設定することによって、設定される。理想的には、最終のソリッド境界がそれらのパラメトリック曲面の結合によって構成されるように、“ｉｎ”及び“ｏｕｔ”としてラベル付けされた隣接する２つのボクセルが単一のパラメトリック曲面によって分離されることが期待される。しかしながら、“ｉｎ”及び“ｏｕｔ”としてラベル付けされた隣接する２つのボクセルが、任意の又は１つより多いパラメトリック曲面によって分離されることが起こりうる。それらの場合には、第２の最適化段階が必要とされる。

同様のアプローチが、入力メッシュからの建物再構成のための“Ｖｅｒｄｉｅ， Ｙ．， Ｌａｆａｒｇｅ， Ｆ． ＆ Ａｌｌｉｅｚ， Ｐ．， ２０１５． ＬＯＤ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｕｒｂａｎ Ｓｃｅｎｅｓ． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ， ３４（３）， ｐｐ． １－１４”という論文の著者によって記載されている。彼らは、検知されたパラメトリック曲面を空間の境界とみなすことによって、追加の最適化ステップを回避し、グラフの次元を低減している。この空間分割から生じる３Ｄセルは、グラフのノードを形成する。所与のパラメトリック曲面によって分離されたセルを表すノードは、エッジによってリンクされる。最適化を制約する「内」と「外」のノードの、先に推定された集合に依存する代わりに、彼らは、ノードが「内」又は「外」とラベル付けされる可能性を表す最小化エネルギーの重み付けを導入している。この目的のために、彼らは、３Ｄの規則的なグリッドを構築している。グリッドのそれぞれの要素について（彼らは「アンカー（ａｎｃｈｏｒ）」と呼んでいる）、彼らは、オリジナルのメッシュによって、建物の内側であるか外側であるかを推定している。次に、彼らは、対応するセル上の“ｉｎ”／“ｏｕｔ”のアンカーの比に応じて、それぞれのグラフノードに対して“ｉｎ”／“ｏｕｔ”尺度（ｍｅａｓｕｒｅ）を引き出している。彼らの最終ソリッドは、最適化後に“ｉｎ”としてラベル付けされたセルによって構成される。

上記引用の既存の提案は完全に満足できるものではない。それは特に、以下のためである。

－“Ｊｅｎｋｅ， ｅｔ ａｌ．， ２００８”の論文のアプローチは、ソリッド再構成のために設計されていない。その結果、パラメトリック曲面の推定された境界が正確に最適化されていない場合、最終結果が穴を含むかもしれない。さらに、ノイズを有するポイントクラウド又は欠落した情報を伴うポイントクラウドは、境界の推定を失敗させるかもしれない。
－“Ｓｃｈｎａｂｅｌ， ｅｔ ａｌ．， ２００９”の論文のソリューションは、“ｉｎ”及び“ｏｕｔ”とラベル付けされた隣接するボクセル間のパラメトリック曲面がないか１つ又はそれより多くあるかに応じて、追加の最適化ステップを必要とする。それは、回避されるかもしれない複雑な計算を導入する。さらに、得られた結果は、グリッドへの空間の分割に極度に依存する。異なるグリッドサイズは、異なるソリューションをもたらす。最適化されたグラフは異なり、さらに、追加の最適化ステップは変わるかもしれない。

－“Ｖｅｒｄｉｅ， ｅｔ ａｌ．， ２０１５”の論文の結果も３Ｄグリッド分解能に依存するかもしれない。なぜなら、グラフノードにおいて規定されたエネルギーがそれに依存するためである。さらに、アンカーがソリッドの内側又は外側にあるかどうかを推定するために初期表面（入力メッシュ）を必要とするため、ポイントクラウドは、アプローチを実行するために必要なすべての情報を含んでいるとは限らない。

この情況において、３Ｄ再構成のための改善されたソリューションが依然として求められている。

したがって、３Ｄ再構成のためのコンピュータ実行方法が提供される。本方法は、実オブジェクトを表す３Ｄポイントクラウドを供給するステップを含む。本方法はさらに、パラメトリック曲面で前記３Ｄポイントクラウドをフィッティングするステップを含む。本方法はさらに、前記パラメトリック曲面間の交差を遵守する有向ファセット（ｏｒｉｅｎｔｅｄ ｆａｃｅｔ）への前記パラメトリック曲面の区分けを規定することを含む。本方法はさらに、前記区分けの前記有向ファセットの中で、実オブジェクトのスキンを表すファセットの集合を決定するステップを含む。前記決定するステップは、エネルギーを最小化することを含む。前記エネルギーは、データ項及び制約項（ｃｏｎｓｔｒａｉｎｔ ｔｅｒｍ）を含む。前記データ項は、切り捨てられるファセットと前記３Ｄポイントクラウドとの間のフィットのレベルが増加するにつれて、ファセットを切り捨てることに漸増的にペナルティを課す。前記制約項は、維持されたファセットによる非スキン形状（ｎｏｎ－ｓｋｉｎ ｇｅｏｍｅｔｒｙ）の形成にペナルティを課す。

本方法は、下記の１つ以上を含んでもよい。
－４つの隣接するファセットのグループのそれぞれに対して、０及び２とは異なる数の維持されたファセットによって、又は、一致しない配向を有する２に等しい数の維持されたファセットによって、非スキン形状が形成される。
－前記エネルギーは、前記ファセットのそれぞれの各々の１つに割り当て可能で且つ前記各々のファセットを維持するための信頼レベルを表すラベルの連続体を調査する。
－前記決定するステップは、前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを選択することをさらに含む。
－前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを決定するステップは、それぞれの割り当てられたラベルを所定の閾値と比較することを含む。
－前記エネルギーを最小化することは、連続最適化を含む。
－前記エネルギーは自由変数を有する。
－前記データ項は、前記自由変数のそれぞれに対して単調である。
－前記制約項は、他の自由変数が固定されている場合に要素の自由変数のそれぞれに対してそれぞれ単調である合算された要素を有する。
－前記制約項は、

のタイプである。ここで、Ａは４つの隣接するファセットのグループの集合であり、ａは４つの隣接するファセットｉのグループであり、ｃｏｓｔ（・）は費用関数であり、

はファセットｉに割り当てられたラベルであり、ファセット１及び２は各々の同じパラメトリック曲面に属し、ファセット３及び４は各々の同じパラメトリック曲面に属する。
－ファセットと前記３Ｄポイントクラウドとの間のフィットのレベルは、ファセット密度に対応する；
－前記ファセット密度は、前記ファセットの面積で割られた、ファセットに関係づけられたポイントの数に等しい。
－前記パラメトリック曲面で前記３ＤポイントクラウドをフィッティングするステップはＲＡＮＳＡＣアルゴリズムを含む。
－実オブジェクトを表す前記３Ｄポイントクラウドを供給するステップは、前記実オブジェクトの実例及び１つ以上のセンシングデバイスを供給するステップ、前記１つ以上のセンシングデバイスによって前記実例について１回以上の測定を行うこと、及び、前記１回以上の測定に基づいて前記３Ｄポイントクラウドを出力すること、を含む。及び／又は、
－前記１つ以上のセンシングデバイスは、ライダー（ｌｉｄａｒ）、深度センサ、及び／又は、ストラクチャー・フロム・モーション分析（ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ ａｎａｌｙｓｉｓ）用に構成されたカメラを含む。
本方法を行うための命令を含むコンピュータプログラムがさらに提供される。
前記コンピュータプログラムが記録されているコンピュータ読み取り可能な記憶媒体がさらに提供される。
前記コンピュータプログラムが記録されているメモリにつながれたプロセッサを含むシステムがさらに提供される。

本方法の一例のフローチャートを示す。 システムのグラフィカルユーザインタフェースの一例を示す。 システムの一例を示す。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。 本方法を示す図。

図１のフローチャートを参照して、３Ｄ再構成のためのコンピュータ実行方法が提案される。本方法は、実オブジェクトを表す３Ｄポイントクラウドを供給するステップＳ１０を含む。本方法はさらに、パラメトリック曲面で３ＤポイントクラウドをフィッティングするステップＳ２０を含む。本方法はさらに、パラメトリック曲面間の交差を遵守する有向ファセットへのパラメトリック曲面の区分けを規定することＳ３０を含む。本方法はさらに、区分けの有向ファセットの中で、実オブジェクトのスキンを表すファセットの集合を決定するステップＳ４０を含む。決定するステップは、エネルギーを最小化することを含む。エネルギーは、データ項及び制約項を含む。データ項は、切り捨てられるファセットと３Ｄポイントクラウドとの間のフィットのレベルが増加するにつれて、ファセットを切り捨てることに漸増的にペナルティを課す。制約項は、４つの隣接するファセットのグループのそれぞれに対して、維持されたファセットによる非スキン形状の形成にペナルティを課す。
そのような方法は、３Ｄ再構成の分野を改善し、ここで、「３Ｄ再構成」という表現は、実オブジェクトを表す３Ｄポイントクラウドに基づいて実オブジェクトを表す３Ｄモデル化オブジェクトの任意のコンピュータ処理された構築を意味し、ここでの３Ｄモデル化オブジェクトは、Ｓ４０において決定されたファセットの集合を含むかその集合からなる。

特に、本方法は、実オブジェクトのスキンを表す３Ｄモデル化オブジェクトを形成するパラメトリック曲面のファセットの集合を、Ｓ４０において決定する。本方法は、Ｓ１０において供給された３Ｄポイントクラウドに基づいてそのような３Ｄモデル化オブジェクトを決定する。本方法は、特に、Ｓ２０においてパラメトリック曲面で３Ｄポイントクラウドをフィッティングするステップ、及び、維持すべきファセットの候補をＳ３０において規定するためにパラメトリック曲面間の交差を用いること、を提案する。そのような交差は容易に規定可能である。次に、本方法は、候補の中で維持されるファセットをＳ４０において決定する。これは、比較的不充分な情報を形成する３Ｄポイントクラウドを２Ｄ多様体のより利用可能な３Ｄ表現（換言すればソリッドのスキンの幾何学的なオブジェクト表現）に変えることを可能にする。

さらに、本方法は、特に正確な結果に達することを可能にする特定のエネルギーの最小化によってファセットの維持される集合をＳ４０において決定することを提案する。特に、データ項は、３Ｄポイントクラウドによくフィットし、そのためによい候補であるファセットを切り捨てるリスクを低減することを可能にする。さらに、制約項は、結合されたファセットを維持することが位相誤差を形成するリスクを減少させる。２つの異なる項（すなわちデータ項及び制約項）によってそのような効果を分離することは、比較的速く強固な最小化を可能にする。さらに、制約項は、例において、引数として４つの隣接するファセットだけのグループを含んでいてもよく、したがって、制約項は、位相誤差をコントロールする比較的速い方法を提供する。例において、エネルギーは、データ項及び制約項からなる（すなわち他の項なしの）ものでもよい。そのような例において、最小化は特に速い。

実オブジェクトは、１つのソリッドユニットからなるものでもよく、例えば（例えば、産業）製品又は（例えば機械的）部品によって、あるいは、１つ以上のそのような製品の組立体によって、及び／又は、そのような１つ以上の部品であってすべてが物理的に接続されたものによって形成されてもよい。あるいは、実オブジェクトは、１つのユニットが他のものから物理的に分離されているようないくつかのソリッドユニットからなるものでもよい。後者の場合でさえ、本方法の道筋は、物理的な接続に関して最小化の前に限定的な仮定をしないため、正確な３Ｄ再構成を可能にする。

本方法は、コンピュータで実行される。これは、少なくとも１つのコンピュータ又は任意の同様のシステムによって、本方法のステップ（あるいは本質的にすべてのステップ）が実行されることを意味する。したがって、本方法のステップは、コンピュータによって、恐らく完全に自動的に、あるいは半自動的に行われる。例において、本方法のステップのうちの少なくともいくつかのトリガーは、ユーザとコンピュータとの対話によって行われてもよい。ユーザとコンピュータとの対話の要求されるレベルは、予測された自動性のレベルによって決まるものであってもよく、ユーザの希望を実行する必要性とバランスをとってもよい。例において、このレベルは、ユーザで規定されてもよいし、及び／又は、予め規定されてもよい。

例えば、供給するステップＳ１０は、１つ以上のセンシングデバイスをユーザが操作することによって、又はその後に、行われてもよい。フィッティングするステップＳ２０、規定することＳ３０、及び／又は、決定するステップＳ４０は、完全に自動的に又は半自動的に行われてもよい。

方法のコンピュータ実行の典型例は、この目的に適したシステムで本方法を行うことである。システムは、特に、メモリにつながれたプロセッサを含んでもよい。メモリには、プロセッサに本方法を実行させるコンピュータプログラムが記録されていてもよい。メモリはまた、データベースを記憶してもよい。メモリは、そのような記憶に適した任意のハードウェアであり、いくつかの物理的に異なる部品（例えばプログラム用のもの、及び恐らくデータベース用のもの）を恐らく含む。

例において、システムは、プロセッサにつながれたグラフィカルユーザインタフェース（ＧＵＩ）を含んでもよい。ＧＵＩは、ユーザによってコマンドを入力するために構成されてもよいし、及び／又は、Ｓ１０において供給された３Ｄポイントクラウド、Ｓ２０においてフィッティングされたパラメトリック曲面、及び／又は、それらがＳ３０において区分けされた後、及び／又は、Ｓ４０において決定されたファセットの集合、をユーザに表示するために構成されてもよい。

あるいは又はさらに、システムは、実オブジェクトの実例について１回以上の測定を行うために、及び、実オブジェクトを表す３Ｄポイントクラウドを出力するために構成された１つ以上のセンシングデバイスを含んでもよい。センシングデバイスは、それぞれがセンシング測定によって各々の物理的な信号を得るように構成された１つ以上のセンサを統合する装置である。したがって、センシングデバイスは、その環境において測定（１つ以上のそのような物理的な信号を得ることを含む）を行うために使用されてもよい。センシングデバイスは、特に、物理的オブジェクトの外側表面の少なくとも一部を含むゾーンで測定を行うために物理的オブジェクトにおいて作動されてもよい。作動は、物理的オブジェクトの外側表面を完全にカバーするように繰り返されてもよい。そのような場合、物理的オブジェクトを「スキャンする」という語句が用いられてもよい。

したがって、Ｓ１０において供給された３Ｄポイントクラウドは、実オブジェクトの実例及び１つ以上のセンシングデバイスを供給するステップ、を含む工程から生じてもよい。実オブジェクトは、工場及び／又は研究所の部屋のような任意の場所で供給されてもよい。次に、工程は、１つ以上のセンシングデバイスで、実例について１回以上の測定を行うことを含んでもよい。例えば、１つ以上のセンサが、例えばユーザによって、実例において、及び／又は、実例に対して異なる視点で（例えば、実例のまわりで回転して）、作動されてもよい。換言すれば、実例は、スキャンされてもよい。それ自体知られているように、１つ以上のセンシングデバイスは、実オブジェクトの実例の外部形状を表す３Ｄポイントクラウド、又は、そのような３Ｄポイントクラウドを出力するようにシステムが処理できる任意の他のデータ、を出力するように構成されてもよい。

１つ以上のセンシングデバイスは、例えば、１つ以上のライダー（ｌｉｄａｒ）、１つ以上の深度センサ、及び／又は、ストラクチャー・フロム・モーション分析用に構成された１つ以上の（例えばＲＧＢ）カメラ、を含むかそれらからなるものであってもよい。

本方法は、通常、モデル化オブジェクトを処理する。モデル化オブジェクトは、例えばデータベースに記憶されたデータによって定義された任意のオブジェクトである。拡張によって、「モデル化オブジェクト」という表現は、データそれ自体を示す。システムの種類にしたがって、モデル化オブジェクトは、異なる種類のデータによって定義されてもよい。もちろん、システムは、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、及び／又は、ＰＬＭシステムの任意の組み合わせであってもよい。それらの異なるシステムでは、モデル化オブジェクトは、対応するデータによって定義される。したがって、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータという語句が用いられてもよい。しかしながら、これらのシステムの任意の組み合わせに対応するデータによってモデル化オブジェクトが定義されてもよいので、これらのシステムは、他方に対して排他的なものではない。したがって、システムは、ＣＡＤ及びＰＬＭのシステムの両方であってもよく、これは以下に提供されるそのようなシステムの定義から明らかとなるだろう。

ＣＡＤシステムは、ＣＡＴＩＡのような、モデル化オブジェクトの図的表現に基づいてモデル化オブジェクトを少なくとも設計するために適した任意のシステムをさらに意味する。この場合、モデル化オブジェクトを規定するデータは、モデル化オブジェクトの表現を可能にするデータを含む。ＣＡＤシステムは、例えば、エッジ又は線を使用して、ある種の場合には面又は表面と共に、ＣＡＤモデル化オブジェクトの表現を提供してもよい。線、エッジ、又は表面は、様々な方法（例えば非一様有理Ｂスプライン（ＮＵＲＢＳ））で表されてもよい。特別には、ＣＡＤファイルは、形状がそれから生成されてもよい仕様を含んでおり、それは次に、表現が生成されることを可能にする。モデル化オブジェクトの仕様は、単一のＣＡＤファイルか多数のそれに格納されてもよい。ＣＡＤシステムにおいてモデル化オブジェクトを表すファイルの典型的なサイズは、１つの部品当たり１メガバイトの範囲にある。また、モデル化オブジェクトは、典型的には何千もの部品の組立体であってもよい。

ＣＡＤの環境において、モデル化オブジェクトは、典型的には３Ｄモデル化オブジェクトであってもよく、例えば、一部品又は部品の組立体、又は恐らく製品の組立体、といった製品を表す。「３Ｄモデル化オブジェクト」は、その３Ｄ表現を可能にするデータによってモデル化される任意のオブジェクトを意味する。３Ｄ表現は、すべての角度から部品を見ることを可能にする。例えば、３Ｄモデル化オブジェクトは、３Ｄ表現されるときに、処理され且つその軸のうちのいずれかの周り、又は、表現が表示されるスクリーン中の任意の軸の周りで回転されてもよい。これは特に、２Ｄアイコン（３Ｄモデル化されていない）を除外する。３Ｄ表現の表示は、設計を容易にする（すなわち、統計的に設計者が彼らのタスクを遂行する速度を増加させる）。製品の設計は製造工程の一部であるので、これは、産業における製造工程を加速する。

実オブジェクトは、例えばＣＡＤソフトウェアソリューション又はＣＡＤシステムによるその仮想設計の完了に続いて実際の世界において製造される製品であってもよく、その製品は、（例えば、機械的）部品又は部品の組立体（又は部品の組立体と同等のもの。本方法の観点から部品の組立体が部品自体とみなされてもよいし、あるいは、本方法は組立体のそれぞれの部品に独立に適用されてもよい）、又はより一般的には任意の剛体の組立体（例えば移動体の機構）などである。ＣＡＤソフトウェアソリューションは、航空宇宙、建築、建造、消費財、ハイテク装置、産業用機器、輸送、船舶、及び／又は、海洋石油／ガス生産又は輸送を含む（ただしこれらに限定されない）、様々で無制限の産業分野における製品の設計を可能にする。このように、本方法によって得られる３Ｄモデル化オブジェクトは、任意の機械部品であってもよい産業製品を表してもよく、例えば、地上の輸送手段（例えば、自動車及び軽トラック機器、レーシングカー、オートバイ、トラック及びモーター機器、トラック及びバス、列車を含む）の部品、空中の輸送手段（例えば、機体機器、航空宇宙機器、推進機器、防衛製品、航空機器、宇宙機器を含む）の部品、海上の輸送手段（例えば、海軍機器、商用船、海洋機器、ヨット及び作業船、船舶用機器を含む）の部品、一般的な機械部品（例えば、産業用製造機械類、重い移動体の機械類又は機器、インストールされた機器、産業用機器製品、作られた金属製品、タイヤ製造製品を含む）、電気機械的又は電子部品（例えば、家電、セキュリティ及び／又はコントロール及び／又は計測の製品、計算及び通信の機器、半導体、医療の装置及び機器を含む）、消費財（例えば、家具、家庭及び園芸の製品、レジャー用品、流行製品、耐久消費財小売り業者の製品、繊維雑貨小売り業者の製品を含む）、包装（例えば、食物及び飲料及びタバコ、美容及びパーソナルケア、家庭用製品の包装を含む）を表してもよい。

ＰＬＭシステムは、物理的な製造製品（あるいは製造される製品）を表すモデル化オブジェクトの管理に適した任意のシステムをさらに意味する。そのため、ＰＬＭシステムにおいて、モデル化オブジェクトは、物理的なオブジェクトの製造に適しているデータによって定義される。これらは典型的には、寸法値及び／又は公差値であってもよい。オブジェクトの正確な製造のために、そのような値を有する方がもちろんよい。

ＣＡＭソリューションは、製品の製造データの管理に適している、ハードウェアのソフトウェア、任意のソリューションをさらに意味する。製造データは、通常、製造される製品、製造工程、及び要求されるリソースに関するデータを含む。ＣＡＭソリューションは、製品の製造工程全体を計画し最適化するために使用される。例えば、それは、ＣＡＭユーザに、実現可能性、製造工程の期間、又は、製造工程の特定のステップで使用されてもよい特定のロボットのようなリソースの数についての情報を提供することができ、その結果、管理又は要求される投資に関する決定を可能にする。ＣＡＭは、ＣＡＤ工程及び潜在的なＣＡＥ工程の後に続く工程である。そのようなＣＡＭソリューションは、商標ＤＥＬＭＩＡ（Ｒ）のもとでダッソー・システムズによって提供されている。

ＣＡＥソリューションは、モデル化オブジェクトの物理的な振る舞いの分析に適した、ハードウェアのソフトウェア、任意のソリューションをさらに意味する。周知且つ広く使用されているＣＡＥ技術は、物理的な振る舞いを式によって計算しシミュレートできる、要素へのモデル化オブジェクトの分割を典型的に含む、有限要素法（ＦＥＭ）である。そのようなＣＡＥソリューションは、商標ＳＩＭＵＬＩＡ（Ｒ）のもとで、ダッソー・システムズによって提供されている。別の成長しているＣＡＥ技術は、ＣＡＤ形状データなしで、物理学の異なる分野からの複数の構成要素からなる複合システムの分析及びモデリングを含む。ＣＡＥソリューションは、シミュレーションを可能にし、したがって、製造される製品の、最適化、改良及び評価を可能にする。そのようなＣＡＥソリューションは、商標ＤＹＭＯＬＡ（Ｒ）のもとで、ダッソー・システムズによって提供されている。

ＰＤＭは、製品データ管理（Ｐｒｏｄｕｃｔ Ｄａｔａ Ｍａｎａｇｅｍｅｎｔ）を表す。ＰＤＭソリューションは、特定の製品に関するすべてのタイプのデータの管理に適した、ハードウェアのソフトウェア、任意のソリューションを意味する。ＰＤＭソリューションは、製品のライフサイクルに関与するすべての関係者（主としてエンジニアであるがプロジェクトマネージャ、財務関係者、販売員、及びバイヤーを含む）によって使用されてもよい。ＰＤＭソリューションは、通常、製品指向のデータベースに基づく。それは、関係者が彼らの製品についての一貫したデータを共有することを可能にし、したがって、相違するデータを関係者が使用することを防止する。そのようなＰＤＭソリューションは、商標ＥＮＯＶＩＡ（Ｒ）のもとで、ダッソー・システムズによって提供されている。

図２は、システムのＧＵＩの一例を示し、そのシステムはＣＡＤシステムである。Ｓ４０において決定されたファセットの集合は、そのようなＧＵＩで表示されてもよい。

ＧＵＩ２１００は、底部及びサイドのツールバー２１４０，２１５０だけでなく標準的なメニューバー２１１０，２１２０を有する、典型的なＣＡＤのようなインタフェースであってもよい。そのようなメニューバー及びツールバーは、ユーザが選択可能なアイコンの集合を含み、それぞれのアイコンは、当該技術において知られているように、１つ以上のオペレーション又は機能に関係している。これらのアイコンのうちのいくつかは、ＧＵＩ２１００に表示された３Ｄモデル化オブジェクト２０００を編集及び／又は作業することに適したソフトウェアツールに関係している。ソフトウェアツールは、ワークベンチに分けられてもよい。それぞれのワークベンチは、ソフトウェアツールのサブセットを含む。特別には、ワークベンチの１つは、モデル化された製品２０００の幾何学的特徴を編集するのに適している編集ワークベンチである。オペレーションにおいて、設計者は、例えば、オブジェクト２０００の一部を予め選択し、次に、適切なアイコンの選択によって、幾何学的制約を編集するか、オペレーション（例えば、次元、色などを変更する）を始める。例えば、典型的なＣＡＤオペレーションは、スクリーンに表示された３Ｄモデル化オブジェクトの穴あけ又は折り曲げのモデリングである。ＧＵＩは、例えば、表示された製品２０００に関する表示データ２５００を表示してもよい。図の例において、データ２５００（「特徴ツリー」として表示されている）及びそれらの３Ｄ表現２０００は、ブレーキキャリパ及びディスクを含むブレーキ組立体に関する。ＧＵＩは、例えば、オブジェクトの３Ｄ配向を容易化するため、編集された製品のオペレーションのシミュレーションを開始するため、又は、表示された製品２０００の様々な属性を与えるための、様々なタイプのグラフィックツール２１３０，２０７０，２０８０をさらに示してもよい。ユーザがグラフィックツールと対話することを可能にするように、カーソル２０６０は触覚デバイスによってコントロールされてもよい。

図３は、システムの一例を示し、当該システムは、クライアントコンピュータシステム（例えばユーザのワークステーション）である。

本例のクライアントコンピュータは、内部通信バス（ＢＵＳ）１０００に接続された中央処理装置（ＣＰＵ）１０１０、同じくＢＵＳに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０を含む。クライアントコンピュータは、ＢＵＳに接続されたビデオランダムアクセスメモリ１１００に関係するグラフィック処理装置（ＧＰＵ）１１１０をさらに備える。ビデオＲＡＭ１１００は、この技術において、フレームバッファとしても知られている。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０のような大容量メモリ装置へのアクセスを管理する。コンピュータプログラムの命令及びデータを明確に包含するのに適した大容量メモリ装置は、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置のような半導体メモリ装置を例えば含むすべての形式の不揮発性メモリ、内部ハードディスク及びリムーバブルディスクのような磁気ディスク、光磁気ディスク、及び、ＣＤ－ＲＯＭディスク１０４０を含む。前記のいずれかは、特別に設計されたＡＳＩＣｓ（特定用途向け集積回路）によって補足されるか、それに組み込まれてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。
また、クライアントコンピュータは、カーソル制御装置、キーボードなどのような触覚デバイス１０９０を含んでもよい。ディスプレイ１０８０上の任意の所望の位置にユーザが選択的にカーソルを置くことを可能にするために、クライアントコンピュータにおいてカーソル制御装置が使用される。さらに、カーソル制御装置は、ユーザが、様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための複数の信号生成装置を含む。典型的には、カーソル制御装置は、マウスであってもよく、マウスのボタンは信号を生成するために使用される。あるいは又はさらに、クライアントコンピュータシステムは、感知可能なパッド及び／又は感知可能なスクリーンを含んでもよい。

コンピュータプログラムは、コンピュータによって実行可能な命令を含んでもよく、命令は、上記のシステムに本方法を行わせるための手段を含む。プログラムは、任意のデータ記憶媒体（システムのメモリを含む）に記録可能であってもよい。プログラムは、例えば、デジタル電子回路において、又は、コンピュータハードウェア、ファームウェア、ソフトウェアにおいて、もしくはそれらの組み合わせにおいて、実行されてもよい。プログラムは、装置（例えばプログラム可能なプロセッサによる実行のための機械可読の記憶装置に明確に組み込まれた製品）として実行されてもよい。方法ステップは、入力データを処理し出力を生成することによって本方法の機能を行う命令のプログラムを実行するプログラム可能なプロセッサによって行われてもよい。このように、プロセッサは、プログラム可能であってもよく、且つ、データ記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置、からデータ及び命令を受け取るように、及びそれへデータ及び命令を送るように、つながれていてもよい。望むのであれば、アプリケーションプログラムは、ハイレベルの手続き型又はオブジェクト指向のプログラミング言語で、又は、アセンブリ言語もしくは機械語で実行されてもよい。いずれの場合も、言語は、コンパイラ型言語又はインタープリタ型言語であってもよい。プログラムは、完全なインストールプログラム又はアップデートプログラムであってもよい。システムへのプログラムの適用は、いずれの場合も、本方法を行うための命令をもたらす。

本方法は、本方法を行った後、本方法によって出力された３Ｄモデル化オブジェクトに基づいて実オブジェクトの１つ以上の実例を生産することを含んでもよい製造工程に含まれてもよい。本方法がモデル化オブジェクトの設計を改善するので、本方法はまた、製品の製造を改善し、したがって製造工程の生産性を増加させる。

あるいは又はさらに、本方法は、３Ｄシーン設計工程に含まれてもよく、その３Ｄシーン設計工程は、３Ｄシーンを初期化すること、及び、本方法を行った後に本方法によって出力された３Ｄモデル化オブジェクトを３Ｄシーン内に挿入すること、を含む。３Ｄシーンは、仮想現実シーン、拡張現実シーン、又はビデオゲームシーンであってもよい。したがって、本方法は、そのようなシーンに、実オブジェクトの正確で現実的な表現を容易に挿入することを可能にする。

Ｓ１０において供給される３Ｄポイントクラウドは、実オブジェクトの実例の外部形状を表す３Ｄポイントの集合を含む任意のデータ構造である。３Ｄポイントクラウドは、例えば、未加工（すなわち構造化されていない点の集合として）、又は、メッシュの頂点として、任意の方法で出力されてもよい。Ｓ１０において供給された３Ｄポイントクラウドは、有向であってもよく、それは、それぞれのポイントが、実オブジェクトによって形成されたソリッドに対して外側（同様に内側）を指す方向（例えば、実オブジェクトの表面に対して任意に垂直）を示すベクトルに関係づけられていることを意味する。１つ以上のセンサによって出力される３Ｄポイントクラウドは、既に有向であってもよいし、あるいは、任意の既知のアルゴリズムによって後に有向とされてもよい。

ここで、フィッティングするステップＳ２０について述べる。

Ｓ２０によって出力されたパラメトリック曲面は、無限であってもよいし有限であってもよい。

フィッティングするステップＳ２０は、それ自体知られている、任意の所定の３Ｄポイントクラウドフィッティングアルゴリズムによって行われてもよい。所定の３Ｄポイントクラウドフィッティングアルゴリズムは、最適化プログラムを実行することを含んでもよい。最適化プログラムは、ポイントクラウドと得られるパラメトリック曲面との間の所定の距離の値にペナルティを課してもよい。最適化プログラムはさらに、他の量（例えば、得られるパラメトリック曲面の数、及び／又は、得られるパラメトリック曲面の不規則性のレベルを含む）にペナルティを課してもよい。

パラメトリック曲面はそれぞれ、ＮＵＲＢＳ又はベジエ曲面のような、１つ以上のパラメータ（例えば２つのパラメータ）の１つ以上の連続関数として規定されてもよい。

ここで、規定することＳ３０について述べる。

Ｓ３０において規定されたファセットは、有限であってもよいし無限であってもよい。
ファセットは、パラメトリック曲面の結合部である（例えば、結合部が厳密な部分ではない場合、全体のパラメトリックな部分かもしれない）。有向ファセットは、ベクトルに関係するファセットである。本方法の場合、ベクトルは、実オブジェクトによって形成されたソリッドに対して外側（同様に内側）を指す方向を示す。

先に述べたように、既知の３Ｄポイントクラウドフィッティングアルゴリズムは、実オブジェクトのスキンを完全に表す閉曲面を形成するパラメトリック曲面を出力しない。むしろ、既知の３Ｄポイントクラウドフィッティングアルゴリズムは、互いに交差する一組のパラメトリック曲面を含むパラメトリック曲面の、組織化されていない集合を出力する。一般的な場合には、互いに交差する２つのパラメトリック曲面が、それらの間の１つ以上の連続曲線交差を規定する。それぞれの各々の連続曲線交差は、２つのパラメトリック曲面のそれぞれに対して、各々のファセットの境界の少なくとも一部を規定する。その結果、ファセットは、１つ以上のそのような連続曲線交差によって形成され境界が定められる。

Ｓ３０において本方法によって規定される区分けは、ファセットの集合であり、集合のそれぞれの所与のファセットは、Ｓ２０によって出力された各々の所与のパラメトリック曲面の一部であり、且つ、（所与のファセットが各々の所与のパラメトリック曲面の全体ではない場合）それぞれが各々の所与のパラメトリック曲面と各々の他のパラメトリック曲面との間にある１つ以上の交差、又は、そのような集合の任意の下位区分によって（例えばそれのみによって）、境界が定められる。例において、区分けは、そのような基準を遵守するファセットの最大の集合であってもよい。他の例において、区分けは、そのような基準を遵守するファセットの前記最大の集合の下位区分又は区分けであってもよい。

規定することＳ３０は、任意の方法（例えば、交差を計算することを含む）で行われてもよい。

ここで、決定するステップＳ４０について述べる。

決定するステップＳ４０は、Ｓ３０によって出力されたファセットの集合の中で、実オブジェクトのスキンを表すとみなされる部分集合を選択する。実オブジェクトのスキンは、その外側表面であり、ＣＡＤの分野において、「ハル」又は「エンベロープ（ｅｎｖｅｌｏｐｅ）」という語句で呼ばれることもある。

決定するステップＳ４０は、候補ファセットに関係づけられる所定の自由変数に値が依存する所定のエネルギーを最小化することを含む最適化アルゴリズムを実行することによってそのような選択を行う。候補ファセットは、Ｓ３０によって出力されたもののすべて、又は、任意の前工程によって供給されたその事前選択であってもよい。例において、それぞれの候補ファセットは、１つの各々の自由変数を生じさせる。それぞれの自由変数は、維持されるか切り捨てられるその各々のファセットを示す所定の領域において異なってもよい。このように、エネルギー最小化の結果は、自由変数の最適値を供給する。次に、最適値は、どのファセットを維持してどのファセットを切り捨てるかを最終的に決定するために任意の方法で使用されてもよい。所定の領域は、２つの値、すなわちファセットを維持することに対応する１つの値及びファセットを切り捨てることに対応する他の値、からなるものであってもよい。あるいは、所定の領域は、境界値（ファセットを維持することに対応する１つの境界値とファセットを切り捨てることに対応する他の境界値）の間の離散集合又は連続体であってもよい。

エネルギーは、以下で述べられるデータ項及び制約項を含むいくつかの項を含む限り、任意の方法で式に表されてもよい。

データ項は、初期データ（すなわち３Ｄポイントクラウド）に関してフィットしないかもしれない方法でファセットを切り捨てることにペナルティを課す任意の項である。例において、データ項は、候補ファセットの集合にわたるペナルティ（それぞれのペナルティは１つ及びただ１つのファセットに対応する）の合計に相当してもよい（例えば、それとして規定されてもよい）。それぞれのペナルティは、同じ所定のペナルティ関数の値である。ペナルティ関数は、ファセットと３Ｄポイントクラウドとの間のフィットのレベルのレベルを表すパラメータの増加関数である。換言すれば、所与のファセットが、Ｓ１０で供給された３Ｄポイントクラウドにフィットするほど、所与のファセットを切り捨てることに対してエネルギーによってペナルティが課される。フィットのレベルは、任意の方法（後に例を提供する）で決定できる。他の例において、データ項は、ファセットのグループに対して規定されたペナルティを含んでもよい。

制約項は、ファセットのグループに対して、維持されたファセットによる非スキン形状の形成にペナルティを課す任意の項である。換言すれば、制約項は、維持されたファセットにスキン形状を形成させる。例において、制約項は、候補ファセットの集合の中で、４つの隣接するものの（例えばすべての）グループ（すなわち、４つの隣接するもののグループは４つのファセットの集合であり、ファセットのすべてのペアは他方に隣接する）の集合にわたるペナルティ（それぞれのペナルティは１つ及びただ１つのグループに対応する）の合計に相当してもよい（例えば、それとして規定されてもよい）。他の例において、制約項は他の引数を含んでもよい。

本方法は、それぞれが２つの各々のパラメトリック曲面間にある交差に関する区分けをＳ３０において規定する。それぞれの交差は、４つの隣接するファセットの各々のグループを生じさせてもよい。そのような各々のグループのファセットは、それらの境界が同じ曲線交差によって（それぞれ少なくとも部分的に）定められるので、隣接するものである。ここで留意すべきなのは、４つ未満又は４つより多いファセットが隣接するものとなる例外的なケースは実際上は起こらないが、決定するステップＳ４０において任意の方法で扱うことができることである（例えば最小化から切り捨てられることによって、又は、１つ以上の他の制約項に割り当てられることによって）。

制約項は、Ｓ４０によって最終的に出力されたファセットの集合が、ソリッド表現に関して一致しないような種類のグループを含む状況に、ペナルティを課す。そのような不一致は、例えば、１つのボリュームセクタが、境界を定める１つのファセットによって実オブジェクトの内側として、及び、境界を定める他のファセットによって実オブジェクトの外側として示される場合に、生じてもよい。例において、そのような種類の４つの隣接するファセットの所与のグループに関して、０及び２とは異なる（換言すれば１、３又は４に等しい）数のファセットが最終的に維持されるたびに、又は、２に等しい数のファセットが維持されるが２つの維持されたファセットが一致しない配向を有するたびに、非スキン形状が形成されるとみなされてもよい。

ここで、本方法の特に効率的な一例について記載する。

本例は、実オブジェクトを特に正確に特に速い方法で表すファセットの集合に達することを相乗的に可能にするＳ１０～Ｓ４０の特定の独立した実行を含む。

本例の方法は、ポイントクラウドを入力とし、パラメトリック曲面の集合を計算する。ひとたび曲面が計算されると、それは、曲面をいわゆる「ファセット」に分割する。ファセットは、典型的には、ファセットをホストするパラメトリック曲面と他のパラメトリック曲面との間の交差によって境界が定められた所与のパラメトリック曲面の一部であってもよい。本例の方法は、入力ポイントクラウドによって表されたオブジェクトの閉じたハルを構成するファセットの集合を見出すことを目指す。

このゴールを達成するために、グラフが構築され最適化される。グラフのそれぞれのノードはファセットを表し、グラフ弧（ｇｒａｐｈ ａｒｃ）は隣接するファセットをリンクする。“ｋｅｅｐ”（維持）と“ｄｉｓｃａｒｄ”（切り捨て）との間のラベルはそれぞれのノードに関係づけられ、ノードラベルに依存する誤差関数はグラフにわたって規定される。この関数は、関係づけられたノードが“ｋｅｅｐ”としてラベル付けされるファセットの集合が、入力ポイントクラウドによって表されたオブジェクトの閉じたハルに対応する場合に、最小化されるように規定される。

このアプローチにおけるエネルギー最小化は、その最小が閉曲面に対応するように規定され、ソリッドオブジェクトの再構成を可能にする。これは、“Ｊｅｎｋｅ， ｅｔ ａｌ．， ２００８”の論文でフォローされたアプローチの場合とは異なる。さらに、“Ｊｅｎｋｅ， ｅｔ ａｌ．， ２００８”の論文及び“Ｓｃｈｎａｂｅｌ， ｅｔ ａｌ．， ２００９”の論文でフォローされたアプローチにおいてノイズを有するか欠落したデータの場合に機能障害の原因となるかもしれないいかなる表面の拡張又は境界も推定する必要がない。

本例の方法は、“Ｓｃｈｎａｂｅｌ， ｅｔ ａｌ．， ２００９”の論文及び“Ｖｅｒｄｉｅ， ｅｔ ａｌ．， ２０１５”の論文でフォローされたアプローチとは異なり、空間のいかなる任意の区分けも必要としない。“Ｓｃｈｎａｂｅｌ， ｅｔ ａｌ．， ２００９”及び“Ｖｅｒｄｉｅ， ｅｔ ａｌ．， ２０１５”の論文を思い起こすと、空間の異なる区分けは、任意の異なる結果をもたらすかもしれない。

さらに、本例の方法は、ポイントクラウドを入力とし、メッシュの表面のような入力表面を必要としない。これに反して、“Ｖｅｒｄｉｅ， ｅｔ ａｌ．， ２０１５”の論文における手順は、そのようなメッシュ（そのようなメッシュは必ずしも利用可能だとは限らない）を入力として必要とする。換言すれば、Ｓ２０の前にメッシュが存在しない場合、又は、そのようなメッシュが存在してもそのようなメッシュを使用しない場合であっても、本例の方法が実行されてもよい。

本例の方法は、ソリッドオブジェクトの物理的なハルを表し、パラメトリック曲面の結合によって構成された規則的な閉曲面を再構成することを目指す。

本例の方法を実行する全体的な道筋は以下の通りである。
１．ポイントクラウドを入力とする（Ｓ１０）。
２．パラメトリック曲面の集合を計算する（Ｓ２０）。
３．区分けを形成する「ファセット」の集合を計算する（Ｓ３０）。
４．ファセットのグラフについて考える（Ｓ４０）。
５．グラフについてエネルギー関数を規定する（Ｓ４０）。
６．エネルギー関数を最小化する（Ｓ４０）。
７．ソリッドのハル（Ｓ４０）を回復する。
ここで、道筋のステップのそれぞれについての例の詳細について述べる。

［１．ポイントクラウドを入力とする（Ｓ１０）］
入力ポイントクラウドは、ソリッドオブジェクトを表す３Ｄポイントの集合であってもよい。ポイントクラウドは、取得人工物（ａｃｑｕｉｓｉｔｉｏｎ ａｒｔｉｆａｃｔ）のために、不規則であるかもしれないし、ノイズを有するかもしれないし、不完全かもしれない。それぞれのポイントは、法線ベクトル（すなわち、外側を指すソリッド表面の接線方向を推定する単項３Ｄベクトル）に関係づけられてもよい。図４は、ノイズを有し、不規則で不完全なポイントクラウドの２次元の略図を示すことによってこれを表す。
そのようなポイントクラウドは、３Ｄスキャナ、写真測量再構成などから生じてもよい。メッシュが供給される場合、ポイントクラウドは、頂点の集合について考えることによって、又は、メッシュを表す表面のポイントをサンプリングすることによって、抽出されてもよい。

［２．パラメトリック曲面の集合を計算する（Ｓ２０）］
パラメトリック曲面の集合は、入力クラウドから計算されてもよい。ポイントクラウドからパラメトリック曲面の集合を抽出するいくつかの方法が存在する。パラメトリック曲面で３Ｄポイントクラウドのそのようなフィッティングを行う１つの方法は、例えば“Ｓｃｈｎａｂｅｌ， Ｒ．， Ｗａｈｌ， Ｒ． ＆ Ｋｌｅｉｎ， Ｒ．， ２００７． Ｅｆｆｉｃｉｅｎｔ ＲＡＮＳＡＣ ｆｏｒ ｐｏｉｎｔ－ｃｌｏｕｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ， ２６（２）， ｐｐ． ２１４－２２６．”の論文に記載されているような、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）アルゴリズムを実行することを含んでもよい。それぞれのパラメトリック曲面は、それが由来するポイントの部分集合に関係づけられてもよい。パラメトリック曲面の２つのサイドは、“ｉｎ”及び“ｏｕｔ”とラベル付けされてもよい。サイドのラベル付けは、パラメトリック曲面に関係づけられたポイントの法線ベクトルから推定されてもよい。パラメトリック曲面がもしかすると無限（例えば平面）かもしれないことを思い起こす。

［３．区分けを形成する「ファセット」の集合を計算する（Ｓ３０）］
パラメトリック曲面間の交差が計算されてもよい。ファセットは、ファセットをホストするパラメトリック曲面と他のパラメトリック曲面との間の交差によって境界が定められたパラメトリック曲面の一部である。これは、平面について考える図５（ファセットの表現を示す）によって図示される。

ファセットの２つのサイドは、ファセットが生じるパラメトリック曲面の対応するサイドのラベル付けに応じて、“ｉｎ”及び“ｏｕｔ”とラベル付けされてもよい。

対応するパラメトリック曲面に先に関係づけられたポイントの部分集合は、それぞれのファセットに関係づけられてもよい。この部分集合は空かもしれない。このタスクは、いくつかの方法で達成されてもよい。テストされた実行では、ポイントは、それらが関係するパラメトリック曲面に垂直に投影され、ポイントの投影がファセットに置かれた場合にはポイントはファセットに関係づけられた。

［４．ファセットのグラフについて考える（Ｓ４０）］
ノード（Ｎ）の集合及び弧（Ａ）の集合を含むグラフについて考えてもよい。グラフのそれぞれのノードはファセットを表し、グラフ弧は隣接するファセットをリンクする。なお、それぞれのエッジは、４つのファセット、すなわち、エッジを共有する所与のパラメトリック曲面の２つのファセットだけでなく同じエッジを共有する交差を生成するパラメトリック曲面の２つのファセット、をリンクする。これは、図６によって図示される。

図６は、左側において、互いに交差する２つのパラメトリック曲面を示す。それらの曲面は他の曲面（表示されず）と交差すると仮定される。ファセット１，２，３及び４はそれらの交差によって境界が定められる。ファセット１，２，３及び４は、エッジ、すなわち図６に示された曲面間の交差、を共有する。

図６は、右側において、ファセット１，２，３及び４がエッジを共有するためグラフにおいてそれらを表すノードはすべて弧によってリンクされること、を示す。最終的に、ノードは、他の隣接するファセット（図において点で描かれた弧）を表す他のノードにリンクされる。

“ｋｅｅｐ”又は“ｄｉｓｃａｒｄ”のラベル（ｌ_n）は、フィッティング尺度（

）と同様にそれぞれのノード（ｎ）に関係づけられてもよい。フィッティング尺度は、入力ポイントクラウドにファセットがどの程度よくフィットするかを推定する。

テストされた実行では、フィッティング尺度は、対応するファセットに先に関係づけられたポイントの数をファセットの面積で割ることによって計算されたファセット密度（すなわち、ファセットに対応する３Ｄポイントクラウドのポイントの密度。例えば、各々のファセットに対応する所与のポイント（各々のファセットが前記所与のポイントに最も近いものである場合））に対応した。フィッティング尺度は、０と１との間で正規化されてもよい。例えば、最高密度を設定しこの値でそれぞれのフィッティング尺度を割ることによって、得られた結果が１より高い場合、それは１に設定される。他のフィッティング尺度が実行されてもよい。

［５．グラフについてエネルギー関数を規定する（Ｓ４０）］
エネルギー関数は、グラフについて規定されてもよい。関数の変数は、ノードのラベルであってもよい。このエネルギー関数は、ラベルｌｎ＝“ｋｅｅｐ”を備えるノードが、入力ポイントクラウドによって表されたソリッドの形状にできるだけ類似している閉曲面を形成する場合に、最小化されてもよい。このタスクを達成するために、本方法は、２項エネルギー関数
Ｅ＝Ｅ_data＋Ｅ_constraint
について考える。

ここで、Ｅｄａｔａはデータ項を表し、得られた曲面が入力データに最もよくフィットする場合に最小化されてもよい。Ｅｃｏｎｓｔｒａｉｎｔは制約項を表し、得られた曲面が閉じていない場合、エネルギーに重いペナルティを課す。この第２の項の役割は、最終解が閉じたハルに至るべきであるという事実を強化することである。

両方の項の規定の可能な基礎を以下に示す。

［データ項］
テストされた実行では、以下の基礎データ項が考えられた（しかしながら、他の項が考えられてもよい）。

ここで、

は、指示関数

である。

それは、“ｄｉｓｃａｒｄ”とラベル付けされたノードのフィッティング尺度のグラフノード（Ｎ）の集合中のすべてのノード（ｎ）にわたる二乗加算である。この項は、高いフィッティング尺度を備えるファセットが切り捨てられる場合に大きくなり、したがって、それは、最小化される時に、高いフィッティング尺度を備えたファセットが“ｋｅｅｐ”とラベル付けされることを促進する。

［制約項］
テストされた実行では、以下の基礎制約項が使用された（しかしながら、他の項が考えられもよい）。

それは、重み付け係数λを掛けられたアーク制約（ｃ_a）のグラフ弧（Ａ）の集合のすべての弧（ａ）にわたる二乗加算である。すべての弧（ａ）について、エッジによってリンクされたノードに関係づけられ且つ“ｋｅｅｐ”とラベル付けされたファセットが、閉じたハルを形成する条件を破る場合にはゼロではなく、それ以外ならゼロとなるように、アーク制約（ｃ_a）が規定された。特別には、以下の場合には制約はゼロでない。すなわち、
ａ）“ｋｅｅｐ”とラベル付けされエッジによってリンクされたノードの数が０（すなわち、４つのファセットのうちの任意のファセットが近接曲面の一部を形成する）又は２とは異なる場合、又は、
ｂ）“ｋｅｅｐ”とラベル付けされエッジによってリンクされたノードの数が２であるが、対応するパラメトリック曲面の“ｉｎ”及び“ｏｕｔ”のラベル付けが一致していない場合（“ｋｅｅｐ”のファセットの“ｉｎ”及び“ｏｕｔ”のサイドは同じであるべきである）。

すべての可能な場合を明確にするために、１～４までインデックスを付けられた弧ｅによってリンクされたノードについて考えてもよい。ノード１及び２は、同じパラメトリック曲面にあるファセットに相当し、ノード３及び４は、前のものと交差するパラメトリック曲面にあるファセットに相当する。これは、図７によって図示される。

図７は、４つの隣接するファセットを模式的に表す（断面図）。ファセット１及び２はパラメトリック曲面（平面によって図示されている）に属し、ファセット３及び４は、前のものと交差する別のパラメトリック曲面（同様に、平面によって図示されている）に属する。ファセットの“ｉｎ”及び“ｏｕｔ”のサイドも示されている。

異なる可能な配置は図８の表中に明確に図示され、図において、点線は“ｄｉｓｃａｒｄ”とラベル付けされたファセットを表し、実線は“ｋｅｅｐ”とラベル付けされたファセットを表す。

ただ１つの制約が破られる場合（０でない値を有して）に全体誤差（Ｅ）が最小化されないように、重み付け係数λは充分に大きくてもよい。したがって、この項を最小化することは、得られる表面が閉じていることを強化する。あるいは、（λ・）²以外の他の費用関数が実行されてもよい。

［６．エネルギー関数を最小化する（Ｓ４０）］
［問題緩和（Ｐｒｏｂｌｅｍ ｒｅｌａｘａｔｉｏｎ）］
エネルギー関数（Ｅ）は、離散値（ｌ_n∈｛“ｋｅｅｐ”，“ｄｉｓｃａｒｄ”｝）をとるノードのラベルに依存する。したがって、そのエネルギーを最小化することは、最小値に相当する“ｄｉｓｃａｒｄ”又は“ｋｅｅｐ”のラベルを備えるノードの組み合わせを見つけることにあるかもしれない。そのような組み合わせの問題は、単に、ラベル付けのすべての可能な組み合わせをテストし、最小エネルギーに対応するものを維持することによって解かれてもよい。ファセットの数が増大する場合、テストされる組み合わせの数が極端に増えるので、その問題を解くことは困難又は不可能になるかもしれない。

代わりに、その問題は緩和されてもよい。それは、同様であるが解くことがより容易な問題によってそれに接近することにあってもよい。この目的のために、本例の方法は、“ｄｉｓｃａｒｄ”のラベルを数値１に関係づけ、“ｋｅｅｐ”のラベルを数値０に関係づけ、緩和されたラベル（

）を０～１の間の実数値をとるものと規定してもよい（

）。本例の方法はさらに、実数値の緩和されたラベル

に依存する連続エネルギー関数（緩和されたエネルギー関数と呼ばれるＥ^r）を規定してもよい。

換言すれば、ラベルの離散集合（例えば｛“ｋｅｅｐ”，“ｄｉｓｃａｒｄ”｝）ではなく、エネルギーは、ファセットのそれぞれの各々の１つに割り当て可能であり且つ各々のファセットを維持するための信頼レベルを表すラベルの連続体を調査してもよい。換言すれば、エネルギーの自由変数は、値の離散集合ではなく値の連続体において変動してもよい。エネルギーはさらに、自由変数のそれぞれ１つに対して連続的であってもよい。例において、データ項及び制約項はそれぞれ、自由変数のそれぞれの１つに対して連続的であってもよい。これは、比較的正確であり、例えば、比較的速く収束する最適化アルゴリズムのＳ４０における使用を可能にする。

例において、データ項は、自由変数のそれぞれの１つに対して単調であってもよく、及び／又は、制約項の合算された要素（すなわち制約項を規定する合計の項である合算された要素）はそれぞれ、他の自由変数が固定されている場合に、合算された要素の自由変数のそれぞれに対して単調であってもよい。これは、特に正確な結果に達することを可能にする。特別には、これは、緩和され且つ連続的な結果から離散的な２分決定（維持又は切り捨て）への道を改善するだけでなく、さらに、比較的規則的なエネルギーを確実にし、したがって、その比較的容易で正確な最適化（局所的な最小値で行き詰まるリスクが比較的低い）を確実にする。

［緩和されたデータ項］
テストされた実行では、以下の緩和されたデータ項が使用された。

これは、

（“ｄｉｓｃａｒｄ”）、及び、

（“ｋｅｅｐ”）である場合に提案された離散的データ項Ｅ_dataに同様に振る舞い、それらの値の間で線形的に振る舞う。
あるいは、他のデータ項が実行されてもよい。

［緩和された制約項］
テストされた実行では、以下の緩和された制約項が使用された。

再び、（λ・）²以外のコスト関数が代わりに実行されてもよい。

図７を参照して先に紹介されたノードインデックス化（ｎｏｄｅ ｉｎｄｅｘａｔｉｏｎ）を使用して、緩和された制約

の陽関数表示の式が以下のように規定されてもよい。

制約の第１の項は、共に“ｋｅｅｐ”とラベル付けされるノード１及び３の不一致にペナルティを課し、この不一致は、制約ｂ）の直接の結果であり、図８の表の第３、第４及び第５の行に図示されている。

及び

が共にほぼ０である場合、項は、正の値を有する。しかしながら、少なくとも１つのノードが、１の正規化ラベルを有し、“ｄｉｓｃａｒｄ”とラベル付けされた場合、項は０の値を有する。

第２の項は、最初のものと同等であるが、ノード２と４との間の不一致を反映している。

図８の表においていかなる制約をも破らないすべての可能な組み合わせを分析する場合、ノードのどれも“ｋｅｅｐ”とラベル付けされないか、ノード１及び３中の１つのノード及びノード２及び４中の１つのノードが“ｋｅｅｐ”とラベル付けされるかのいずれかが観察されるかもしれない。これは、正規化された制約の第３の項によって強化される。第１のケース（緩和されたすべてのラベルが１に設定される）では、

であり、第２のケースでは、

である。そうでなければ、２つの第１の項の少なくとも１つはゼロではない値を有するか、

であり第３の項がゼロではない値を有するか、のいずれかである。

［緩和されたエネルギー最小化］
緩和されたエネルギーは、緩和されたノードラベルの連続関数である。したがって、それを最小化する任意の連続最適化法を使用することが可能である。
テストされた実行では、エネルギーは、二乗誤差の合計として表現できるものと規定された。その結果、“Ｍａｒｑｕａｒｄｔ， Ｄ．， １９６３． Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｌｅａｓｔ－Ｓｑｕａｒｅｓ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｎｏｎｌｉｎｅａｒ Ｐａｒａｍｅｔｅｒｓ． ＳＩＡＭ Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ， １１（２）， ｐ． ４３１－４４１”の論文（テストされた）に記載されたレーベンバーグ・マルカートアルゴリズム（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ ａｌｇｏｒｉｔｈｍ）のような標準的な方法が、最小二乗問題を解くために使用されてもよい。

［７．ソリッドのハル（Ｓ４０）を回復する］
緩和されたエネルギーの最小化の後、離散的なノードのラベルが緩和されたものから回復されてもよい。それを行う簡単な方法は、０と１との間の閾値を決定するステップであってもよい。この閾値を越える緩和されたラベルは“ｄｉｓｃａｒｄ”に設定されてもよいし、それより低い緩和されたラベルは“ｋｅｅｐ”に設定されてもよい。閾値は、０．５のような、０．１又は０．２より高い、及び／又は、０．９又は０．８より低い、任意の値であってもよい。エネルギーの最小化は、［０，１］範囲の極値に向けてラベルを効率的に送り、０．５近傍のラベルはないか又はわずかとなる。換言すれば、アルゴリズムは、維持されるファセットと切り捨てられるファセットとを効率的に区別する。

本例において、最終のソリッドのハルは、“ｋｅｅｐ”とラベル付けされたノードに関係づけられたファセットからなるものであってもよい。

上述したように、上記の例の詳細にしたがって本方法の実行がテストされた。図９～１２を参照して結果を示す。

図９は、Ｓ１０において供給され、スキャンされた建物を表す３Ｄポイントクラウドを示す。３Ｄポイントクラウドは、ドローンによってキャプチャされた写真に基づく写真測量（ＳｆＭ＋ＭＶＳ）によって得られた。“Ｓｃｈｏｎｂｅｒｇｅｒ， Ｊ． Ｌ．， ＆ Ｆｒａｈｍ， Ｊ． Ｍ． （２０１６）． Ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ ｒｅｖｉｓｉｔｅｄ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ｐｐ． ４１０４－４１１３）”．の論文に記載されているように、ＳＦＭすなわちストラクチャー・フロム・モーションが行われた。“Ｓｃｈｏｎｂｅｒｇｅｒ， Ｊ． Ｌ．， Ｚｈｅｎｇ， Ｅ．， Ｆｒａｈｍ， Ｊ． Ｍ．， ＆ Ｐｏｌｌｅｆｅｙｓ， Ｍ． （２０１６， Ｏｃｔｏｂｅｒ）． Ｐｉｘｅｌｗｉｓｅ ｖｉｅｗ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｕｎｓｔｒｕｃｔｕｒｅｄ ｍｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ． Ｉｎ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ｐｐ． ５０１－５１８）． Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ．”の論文に記載されているように、ＭＶＳすなわち多視点ステレオ（Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ）が行われた。

図１０は、ドローン（換言すれば、センシングデバイス又はスキャニングツール）を示し、それは、ＤＪＩのＭａｖｉｃ Ｐｒｏドローン（登録商標）であった。

図１１は、Ｓ２０においてＲＡＮＳＡＣアルゴリズムによって出力されたパラメトリック曲面を表す画像であって且つ３Ｄポイントクラウドにフィットする画像を示す。

図１２は、Ｓ３０及びＳ４０の結果として得られたファセットの集合であって且つ建物のスキンを表すファセットの集合を示す。

見られるように、ファセットの集合は建物を正確に表した。ファセットの集合に対するポイントクラウドの平均距離は、０．５６４ｍだった。本方法は、（単なる）ポイントクラウドからソリッドの表現を得ることを可能にした。さらに、アルゴリズムは１分未満で収束した。

Claims (14)

1. ３Ｄ再構成のためのコンピュータ実行方法であって
   実オブジェクトを表す３Ｄポイントクラウドを供給するステップ、
   パラメトリック曲面で前記３Ｄポイントクラウドをフィッティングするステップ、
   前記パラメトリック曲面間の交差を遵守する有向ファセットへの前記パラメトリック曲面の区分けを規定するステップ、
   エネルギーを最小化することを含む決定するステップであって、前記区分けの前記有向ファセットの中で前記実オブジェクトのスキンを表すファセットの集合を決定するステップ
   を含み、
   前記エネルギーは、
   切り捨てられるファセットと前記３Ｄポイントクラウドとの間のフィットのレベルが増加するにつれて、ファセットを切り捨てることに漸増的にペナルティを課すデータ項と、
   維持されるファセットによる非スキン形状の形成にペナルティを課す制約項と
   を含み、
   前記非スキン形状が、４つの隣接するファセットのグループのそれぞれに対して、少なくとも以下の２つの状況において形成され、
   （第１の状況）維持されるファセットの数が０と２以外の数である
   （第２の状況）維持されるファセットの数が２であり、かつ当該２つのファセットが一致しない配向を有する
   前記制約項が、前記少なくとも２つの状況に対してペナルティを課す
   方法。
2. 前記エネルギーは、前記ファセットのそれぞれの各々の１つに割り当て可能で且つ前記各々のファセットを維持するための信頼レベルを表すラベルの連続体を調査する
   請求項１に記載の方法。
3. 前記決定するステップは、前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを選択することをさらに含む
   請求項２に記載の方法。
4. 前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを決定するステップは、それぞれの割り当てられたラベルを所定の閾値と比較することを含む
   請求項３に記載の方法。
5. 前記エネルギーの最小化は連続最適化を含む
   請求項３又は４に記載の方法。
6. 前記エネルギーは自由変数を有し、
   前記データ項は、前記自由変数のそれぞれに対して単調であり、及び／又は、前記制約項は合算された要素を有し、当該合算された要素は、他の自由変数が固定されている場合に当該要素の自由変数のそれぞれに対してそれぞれ単調である
   請求項２～５のいずれか１項に記載の方法。
7. 前記制約項は、
   

   

   

   のタイプであり、ここで、
   ・Ａは４つの隣接するファセットのグループの集合であり、
   ・ａは４つの隣接するファセットｉのグループであり、
   ・ｃｏｓｔ（・）は費用関数であり、
   ・
   

   

   はファセットｉに割り当てられたラベルであり、ファセット１及び２は同一のパラメトリック曲面に属し、ファセット３及び４はファセット１及び２とは別の、同一のパラメトリック曲面に属する
   請求項１～６のいずれか１項に記載の方法。
8. ファセットと前記３Ｄポイントクラウドとの間のフィットのレベルは、ファセット密度に対応し、前記ファセット密度は任意に、前記ファセットの面積で割られた、ファセットに関係づけられたポイントの数に等しい
   請求項１～７のいずれか１項に記載の方法。
9. 前記パラメトリック曲面で前記３ＤポイントクラウドをフィッティングするステップはＲＡＮＳＡＣアルゴリズムを含む
   請求項１～８のいずれか１項に記載の方法。
10. 前記実オブジェクトを表す３Ｄポイントクラウドを供給するステップは、
    前記実オブジェクトの実例及び１つ以上のセンシングデバイスを供給するステップ、
    前記１つ以上のセンシングデバイスによって前記実例について１回以上の測定を行うステップ、及び、
    前記１回以上の測定に基づいて前記３Ｄポイントクラウドを出力するステップ
    を含む、請求項１～９のいずれか１項に記載の方法。
11. 前記１つ以上のセンシングデバイスは、ライダー、深度センサ、及び／又は、ストラクチャー・フロム・モーション分析用に構成されたカメラを含む
    請求項１０に記載の方法。
12. 請求項１～１１のいずれか１項に記載の前記方法を行うための命令を含むコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムが記録されている、コンピュータ読み取り可能な記憶媒体。
14. 請求項１に記載のコンピュータプログラムが記録されているメモリに接続されたプロセッサを含むシステム。

Images