JP2025071766A - ３ｄ陰関数表現のための有向格子エンコーダ - Google Patents

Abstract

【課題】ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成するための人工知能システムを提供する。
【解決手段】ニューラルネットワークは、オブジェクトの形状の３Ｄ点群を示すデータを、オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、デコーダとを含み、システムは、プロセッサと、命令が格納されたメモリとを備え、命令は、プロセッサに（ｉ）３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、入力データは、３Ｄ点群の点の３Ｄ位置と、点の３Ｄ位置に近接する位置における３Ｄオブジェクトの表面に対する法線を定義する点の向きとを示し、命令は、さらに、プロセッサに、（ｉｉ）エンコーダおよびデコーダをトレーニングさせて、３Ｄオブジェクトの陰関数表現を生成させる。
【選択図】図１

Description

本開示は、概して、３次元シーンの陰関数表現を生成するための方法およびシステムを対象とする。

３次元（３Ｄ）表面を表現するのには、多くの異なる方法がある。陰関数曲面表現では、座標ｘ、ｙ、およびｚを有する点は、Ｆ（ｘ，ｙ，ｚ）＝０である場合に、あるオブジェクトに属し、関数Ｆ(.)はそのオブジェクトを定義する。このタイプの３Ｄ表現は、簡潔で連続性を保証するので有利である。大抵の学習ベースの３Ｄ陰関数表現は、３Ｄ点をエンコードすることから始まり、次いで、それらの特徴を選択された表現にデコードし、F (.)を定義する。

２種類のエンコーダ、すなわち、（１）ここでは位置エンコーダとして示される、各点の３Ｄ座標のみを、より高次元のベクトル空間にマッピングすること、および（２）格子ベースと呼ばれる、それらの近傍についての情報を収集する３Ｄ点、が通常並列に使用される。多層パーセプトロン（ＭＬＰ）は、通常、デコーダのための好適な選択と見なされる。以前の、幾何学的エンコーダを使用する技法は、オブジェクトの基底の幾何学的特性の一部を考慮せず、その空間的局所化のみを利用し、したがって、不満足な３Ｄ表現を形成する。

したがって、陰関数曲面表現を生成するときにオブジェクトの基底の幾何学的特徴のすべてを考慮する方法およびシステムに対する、継続的な、まだ対処されていないニーズが存在する。様々な実施形態および実現形態は、ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成するための方法およびシステムを対象とし、当該ネットワークは、当該３Ｄオブジェクトの形状の３Ｄ点群を示すデータを、当該オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、当該格子ベースの特徴を、当該３Ｄシーンにおける任意の点から当該オブジェクトまでの距離にデコードするよう構成されるデコーダとを含む。

ある態様によれば、人工知能（ＡＩ）システムが提供される。本ＡＩシステムは、ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成し、当該ニューラルネットワークは、当該オブジェクトの形状の３Ｄ点群を示すデータを、当該オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、当該格子ベースの特徴を、当該３Ｄシーンにおける任意の点から当該オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、当該ＡＩシステムは、少なくとも１つのプロセッサと、命令を格納したメモリとを備え、当該命令は、当該ＡＩシステムの当該少なくとも１つのプロセッサに、（ｉ）３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、当該入力データは、当該３Ｄ点群の点の３Ｄ位置と、当該点の当該３Ｄ位置に近接する位置における当該３Ｄオブジェクトの表面に対する法線を定義する当該点の向きとを示し、当該命令は、さらに、当該ＡＩシステムの当該少なくとも１つのプロセッサに、（ｉｉ）当該３Ｄオブジェクトの陰関数表現を生成するために、当該点の当該位置および当該点の当該向きの両方を使用して当該エンコーダおよび当該デコーダをトレーニングさせ、（ｉｉｉ）当該エンコーダおよび当該デコーダを含む当該３Ｄオブジェクトの当該陰関数表現を、有線または無線通信チャネルを介して送信させる。

この入力データは、３Ｄオブジェクトを含む３Ｄシーンの有向点群を示し、いくつかの方法で取得することができる。ある実施形態によれば、それは、点群を出力するＲＧＢ－Ｄセンサから取得される。３Ｄ点の向きは、いくつかの方法で取得することができ、例えば、近傍の点を平面によって局所的に近似することによって、またはニューラルネットワークを使用して、取得することができる。同じ種類の３Ｄ点群は、他の可能性の中でもとりわけ、ピクセル当たりの深度を予測するニューラルネットワークを有するステレオカメラまたは単眼カメラなどの他のタイプのセンサから得ることができる。

入力データを取得する別の方法は、拡張現実／仮想現実に関連する。この実施形態によれば、オブジェクトを定義する三角メッシュがあり、３Ｄ点群は三角メッシュの角部から直接得ることができる。それぞれの３Ｄ点の向きは、それぞれの３Ｄ点近傍三角形の法線の平均によって与えられる。

一実施形態によれば、当該エンコーダは、当該３Ｄ点群の当該点の位置および当該点の当該向きのうちの１つまたは組合せを、当該オブジェクトの複数の分解能を捕捉する当該格子ベースの特徴に変換するようトレーニングされ、当該デコーダは、当該デコーダによって生成される当該３Ｄシーン内の点から当該オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を低減するよう、当該格子ベースの特徴の補間上でトレーニングされる。

ある実施形態によれば、当該エンコーダは、当該３Ｄ点群の当該点の位置を当該格子ベースの特徴に変換するようトレーニングされ、当該デコーダは、ネスト化された形状のセット内での当該補間上においてトレーニングされ、当該ネスト化された形状のセットは、当該格子ベースの特徴を囲み、対応するネスト化された形状の付近の当該点の当該向きに基づいて方向付けされる。

ある実施形態によれば、当該エンコーダは、当該点の当該位置を、当該オブジェクトの複数の分解能を捕捉する当該格子ベースの特徴としてエンコードするようトレーニングされ、当該デコーダは、ネスト化された形状のセット内で補間によって表される方向付けされた特徴に基づいてトレーニングされ、当該ネスト化された形状のセットは、当該格子ベースの特徴を囲み、対応するネスト化された形状の付近の当該点の当該向きに基づいて方向付けされる。

ある実施形態によれば、当該エンコーダおよび当該デコーダをトレーニングするために、当該プロセッサは、当該エンコーダを使用して、当該入力データを、当該３Ｄオブジェクトの形状の複数の分解能を捕捉する特徴の八分木表現にエンコードするよう構成され、当該八分木表現の各特徴を、軸周りに回転対称性を有する方向付けされた形状で囲むよう構成され、特徴を囲む方向付けされた形状の次元は、当該八分木表現上の囲まれた当該特徴のレベルによって支配され、当該方向付けされた形状の軸の向きは、囲まれた当該特徴の座標の近傍の点のサブセットの表面に対する法線によって支配され、当該プロセッサはさらに、ボリュメトリック補間を用いて各方向付けされた形状内の特徴を補間して、当該八分木表現の当該特徴を更新するよう構成され、当該デコーダを使用して、当該特徴の更新された当該八分木表現をデコードして、当該距離関数を生成するよう構成され、当該ニューラルネットワークのパラメータを更新して、当該デコーダによって生成される当該３Ｄシーン内の点から当該オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を最小にするよう構成される。

一実施形態によれば、回転対称性を有する当該方向付けされた形状は、円筒および球体のうちの１つ以上を含む。

一実施形態によれば、回転対称性を有する当該方向付けされた形状の各々は円筒であり、当該円筒は、１つまたは複数の格子ベースの特徴を囲み、当該円筒の各々の軸が、当該円筒の次元および囲まれた当該特徴の位置によって支配される表面の領域に対する法線に整列するように方向付けされた円筒である。

一実施形態によれば、回転対称性を有する当該方向付けされた形状の各々は、１つまたは複数の格子ベースの特徴を囲む円筒であり、当該プロセッサは、当該円筒の次元および囲まれた当該特徴の位置によって支配される表面の領域に対する法線に当該円筒の軸を整列させるように当該円筒を方向付けるよう構成される。

一実施形態によれば、当該補間はボリュメトリック補間であり、当該プロセッサは、当該円筒形表現の末端に対する点の近接性を測定する円筒補間係数を求めるよう構成される。一実施形態によれば、当該円筒補間係数は、（ｉ）当該円筒の頂面に対する当該点の距離と、当該円筒と当該円筒の対称軸に対する当該点の距離との体積における差とから計算される第１の係数と、（ｉｉ）当該円筒の底面に対する当該点の距離と、当該円筒と当該円筒の当該対称軸に対する当該点の距離との体積における差とから計算される第２の係数と、（ｉｉｉ）当該円筒の残りから計算される第３の係数とを含む。

一実施形態によれば、当該ニューラルネットワークの当該エンコーダのトレーニング中に、当該プロセッサは、入力点群の複数のサンプリングされた点ついて、当該円筒補間係数を求めるよう構成される。

一実施形態によれば、当該プロセッサは、当該３Ｄオブジェクトの当該陰関数表現を使用して、表示装置上に当該３Ｄオブジェクトの画像をレンダリングするよう構成される。

別の局面によれば、当該ＡＩシステムに、当該有線または無線通信チャネルを介して、動作するよう接続される画像処理システムであって、当該画像処理システムは、当該３Ｄオブジェクトの当該陰関数表現を使用して、表示装置上に当該３Ｄオブジェクトの画像をレンダリングするよう構成される。

一実施形態によれば、当該３Ｄオブジェクトの当該画像は、変動する視野角に対してレンダリングされる。

ある実施形態によれば、当該３Ｄオブジェクトの当該画像は、仮想現実またはゲームアプリケーション内で、変動する視野角に対してレンダリングされる。

別の局面によれば、当該ＡＩシステムに、当該有線または無線通信チャネルを介して、動作するよう接続されるロボットシステムであって、当該ロボットシステムは、当該３Ｄオブジェクトの当該陰関数表現を使用してタスクを実行するよう構成される。

別の局面によれば、当該ＡＩシステムに、当該有線または無線通信チャネルを介して、動作するよう接続される表示装置であって、当該プロセッサは、当該３Ｄオブジェクトの当該陰関数表現を使用して、当該３Ｄオブジェクトの画像をレンダリングするよう構成され、当該表示装置は、当該３Ｄオブジェクトのレンダリングされた当該画像を表示するよう構成される。

別の局面によれば、３次元（３Ｄ）オブジェクトの画像を、当該３Ｄオブジェクトの陰関数表現を使用してディスプレイ上にレンダリングするよう構成される画像処理システムであって、トレーニングされたニューラルネットワークを備え、当該トレーニングされたニューラルネットワークは、当該３Ｄオブジェクトの形状の３Ｄ点群を示すデータを、当該オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、当該格子ベースの特徴を、当該３Ｄオブジェクトを含む３Ｄシーン内の任意の点から当該オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、当該画像処理システムはさらに、少なくとも１つのプロセッサと、命令を格納したメモリとを備え、当該命令は、当該少なくとも１つのプロセッサに、３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、当該入力データは、当該３Ｄ点群の点の３Ｄ位置と、当該点の当該３Ｄ位置に近接する位置における当該３Ｄオブジェクトの表面に対する法線を定義する当該点の向きとを示し、当該命令は、さらに、当該少なくとも１つのプロセッサに、当該エンコーダで、当該点の当該位置および当該点の当該向きの両方を使用して、当該３Ｄオブジェクトの陰関数表現を生成させ、当該エンコーダで、当該３Ｄオブジェクトの当該陰関数表現を使用して、当該３Ｄオブジェクトの画像をレンダリングさせ、レンダリングされた当該画像をディスプレイに表示させる。

様々な実施形態のこれらおよび他の曲面は、以下に記載される実施形態から明らかになり、それらを参照して解明されるであろう。

図面において、同様の参照符号は、異なる図を通して、概して、同じ部分を指す。様々な実施形態を実現する特徴および態様を示す図は、特許請求の範囲内に入る他の可能な実施形態に限定するものとして解釈されるべきではない。また、図面は、必ずしも縮尺通りではなく、代わりに、概して、種々の実施形態の原理を図示することに重点が置かれる。

一実施形態による３Ｄオブジェクト表現生成方法およびシステムの概略図である。

一実施形態による、３Ｄオブジェクト表現生成システムをトレーニングするための方法のフローチャート図である。

一実施形態による、３次元シーンの陰関数表現を生成し、その表現をデコードするための方法のフローチャート図である。

一実施形態による、３Ｄオブジェクト表現を生成するときに向きを判断するためのプロセスの概略図である。

一実施形態による、３Ｄオブジェクト表現を生成するときに向きを判断するためのプロセスの概略図である。

一実施形態による、３Ｄオブジェクト表現を生成するときに向きを判断するためのプロセスの概略図である。

一実施形態による、構造格子をオブジェクトの法線方向とともに使用して八分木表現を拡張する多分解能有向格子の概略図である。

一実施形態による、点の向きを含む３Ｄオブジェクトの有向点群を生成する概略図である。

一実施形態による、３次元シーンの陰関数表現を生成するための方法のフローチャート図である。

一実施形態による、円筒補間のための提案された方式を示す図である。

一実施形態による、アブレーション研究の結果の表を示す図である。

一実施形態による、アブレーション研究の結果の概略図である。

一実施形態による、構造格子対有向格子を比較する表を示す図である。

一実施形態による大規模シーンレンダリングの概略図である。

一実施形態による、他のタイプの表現に対する本方法の実験結果を詳述する表を示す図である。

本開示は、３次元（３Ｄ）シーンの陰関数表現を生成するよう構成されるシステムおよび方法の様々な実施形態を説明する。より一般的には、本出願人は、陰関数曲面表現を生成するときにオブジェクトの基底の幾何学的特徴のすべてを考慮する方法およびシステムを提供することが有益であろうことを認識し、理解した。したがって、ある陰関数表現生成システムは、ニューラルネットワークをトレーニングすることによって、３Ｄオブジェクトを含む３Ｄシーンの陰関数表現を生成する。ニューラルネットワークは、３Ｄオブジェクトの形状の３Ｄ点群を示すデータを、３Ｄオブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダを含む。ニューラルネットワークはまた、格子ベースの特徴を、３Ｄシーン内の任意の点からオブジェクトまでの距離にデコードするよう構成されるデコーダを含む。

３Ｄ陰関数表現パイプラインでは、単一の３Ｄ点が、幾何学的エンコーダ、位置エンコーダ、またはそれら両方を通過する。次いで、特徴は、オブジェクトの表面をモデル化するデコーダに注入される。当該プロセスをすべての点群点について繰り返すことにより、モデル化された３Ｄ表面に関して、疎な出力表現が得られる。

図１を参照すると、一実施形態では、３Ｄオブジェクト表現生成方法およびシステムの概略図が示されている。図に関連して記載される方法は、例としてのみ提供され、本開示の範囲を限定しないと理解されるべきである。陰関数表現生成システム２００は、本明細書において記載されるかまたは別様に想定されるシステムのうちのいずれかであることができる。本陰関数表現生成システムは、単一のシステムまたは複数の異なるシステムであり得る。

３Ｄオブジェクト表現生成システム２００は、３Ｄオブジェクトを含む３Ｄシーンの陰関数表現を生成するための人工知能（ＡＩ）システムである。システム２００は、（１）オブジェクト１１０の形状の３Ｄ点群１２０を示すデータを、オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダ２３３と、（２）格子ベースの特徴を３Ｄシーン内の任意の点からオブジェクトまでの距離にデコードするよう構成されるデコーダ２３４とを含むニューラルネットワーク２３２をトレーニングする。

システム２００は、３Ｄオブジェクト１１０を含む３Ｄシーンの有向点群１２０を示す入力データを受信し、入力データは、３Ｄ点群の点の３Ｄ位置と、点の３Ｄ位置に近接する位置における３Ｄオブジェクトの表面に対する法線を定義する点の向き１３０とを示す。システム２００は、３Ｄオブジェクトの陰関数表現を生成するために、点の位置および点の向きの両方を使用してエンコーダ２３３およびデコーダ２３４をトレーニングする。本システムは、次いで、通信インターフェース２５０などを介して、３Ｄオブジェクトの陰関数表現１４０（任意選択肢としてエンコーダおよびデコーダを含む）を、有線または無線通信チャネルを介して、送信することができる。

ある実施形態によれば、陰関数表現生成システム２００が提供される。図１に描写されるような陰関数表現生成システム２００の実施形態を参照すると、例えば、本システムは、１つまたは複数のシステムバス２６０を介して相互接続される、プロセッサ２２０、メモリ２３０、ユーザインターフェース２４０、および通信インターフェース２５０のうちの１つまたは複数を備える。図１は、いくつかの点において抽象概念を構成し、システム２００の構成要素の実際の編成は、図示されるものとは異なる、より複雑であり得ることが理解されるであろう。加えて、陰関数表現生成システム２００は、本明細書で記載されるかまたは別様に想定されるシステムのうちのいずれかであることができる。陰関数表現生成システム２００の他の要素および構成要素は、本明細書の他の箇所で開示および／または想定される。

一実施形態によれば、システム２００は、メモリ２３０に記憶される命令を実行するか、または他の方法でデータを処理して、例えば、本方法の１つまたは複数のステップを実行することができるプロセッサ２２０を備える。プロセッサ２２０は、１つまたは複数のモジュールから形成され得る。プロセッサ２２０は、マイクロプロセッサ、マイクロコントローラ、複数のマイクロコントローラ、回路系、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、単一のプロセッサ、または複数のプロセッサを含むがそれらに限定されはしない任意の好適な形態をとることができる。

メモリ２３０は、不揮発性メモリおよび／またはＲＡＭを含む、任意の好適な形態をとることができる。メモリ２３０は、例えば、Ｌ１、Ｌ２もしくはＬ３キャッシュまたはシステムメモリなどの様々なメモリを含み得る。したがって、メモリ２３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、または他の同様のメモリデバイスを含み得る。メモリは、とりわけ、オペレーティングシステムを記憶することができる。ＲＡＭは、データの一時的な記憶のためにプロセッサによって使用される。一実施形態によれば、オペレーティングシステムは、プロセッサによって実行されると、システム２００の１つまたは複数の構成要素の動作を制御するコードを含むことができる。プロセッサが本明細書で記載される機能のうちの１つまたは複数をハードウェアで実現する実施形態では、他の実施形態においてそのような機能に対応するものとして記載されるソフトウェアは省略され得ることは明らかであろう。メモリ２３０は、非一時的な機械可読媒体と見なされ得る。本明細書で使用するとき、非一時的という文言は、一時的な信号を除外するが、揮発性メモリおよび不揮発性メモリの両方を含むすべての形態のストレージを含むと理解される。一実施形態によれば、システム２００のメモリ２３０は、１つもしくは複数のアルゴリズム、モジュール、および／または命令を記憶して、本明細書で記載または別様に想定される方法の１つもしくは複数の機能またはステップを実行することができる。

ユーザインターフェース２４０は、ユーザとの通信を可能にするための１つまたは複数のデバイスを含んでもよい。ユーザインターフェースは、情報が伝達および／または受信されることを可能にする任意のデバイスまたはシステムであり得、ユーザコマンドを受信するためのディスプレイ、マウス、および／またはキーボードを含み得る。いくつかの実施形態では、ユーザインターフェース２４０は、通信インターフェース２５０を介して遠隔端末に提示され得る、コマンドラインインターフェースまたはグラフィカルユーザインターフェースを含んでもよい。ユーザインターフェースは、本システムの１つまたは複数の他の構成要素とともに位置してもよく、または本システムから遠隔に位置し、有線および／もしくは無線通信ネットワークを介して通信してもよい。

通信インターフェース２５０は、他のハードウェアデバイスとの通信を可能にするための１つまたは複数のデバイスを含み得る。たとえば、通信インターフェース２５０は、イーサネット（登録商標）プロトコルに従って通信するよう構成されるネットワークインターフェースカード（ＮＩＣ）を含み得る。加えて、通信インターフェース２５０は、ＴＣＰ／ＩＰプロトコルに従う通信のためにＴＣＰ／ＩＰスタックを実現し得る。通信インターフェース２５０のための様々な代替もしくは追加のハードウェアまたは構成が明らかであろう。

システム２００は、記載した各構成要素のうちの１つを含むものとして示されているが、様々な実施形態では、様々な構成要素が重複され得る。たとえば、プロセッサ２２０は、複数のプロセッサが協働して本明細書で記載する機能を達成するように、本明細書で記載する方法を独立して実行するよう構成されるか、または本明細書で記載する方法のステップもしくはサブルーチンを実行するよう構成される、複数のマイクロプロセッサを含み得る。さらに、システム２００の１つまたは複数の構成要素がクラウドコンピューティングシステムに実現される場合、様々なハードウェア構成要素は、別々の物理システムに属し得る。たとえば、プロセッサ２２０は、第１のサーバ内の第１のプロセッサと、第２のサーバ内の第２のプロセッサとを含み得る。多くの他の変形および構成が可能である。

図２Ａを参照すると、一実施形態では、３Ｄオブジェクト１１０を含む３Ｄシーンの陰関数表現を生成するように３Ｄオブジェクト表現生成システム２００をトレーニングするための方法２５０のフローチャートである。トレーニング２６０中、本明細書で記載するように、本システムは、エンコーダ２３３およびデコーダ２３４を含むニューラルネットワークをトレーニングして、八分木表現を使用して、オブジェクトの形状の３Ｄ点群を示すデータを、オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードし、格子ベースの特徴を、３Ｄシーン内の任意の点からオブジェクトまでの距離にデコードし、それにより、オブジェクトの表面をモデル化する。

図２Ｂは、一実施形態による、３次元シーンの陰関数表現を生成し、その表現をデコードするための方法のフローチャートである。本システムのニューラルネットワーク２３２は、オブジェクト２７０の形状の３Ｄ点群を示すデータを、オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするようトレーニングされるエンコーダ２３３を含む。ニューラルネットワークはまた、格子ベースの特徴を３Ｄシーン内の任意の点からオブジェクトまでの距離にデコードするようトレーニングされるデコーダ２３４を含み、それによって、３Ｄオブジェクトの陰関数表現１４０を介してオブジェクトの表面をモデル化する。３Ｄオブジェクトのこの陰関数表現は、直ちに使用することができ、通信することができ、および／または将来の使用のために記憶することができる。実行２８０中、トレーニングされたニューラルネットワークは、トレーニングされたデコーダ２３４を使用して、３Ｄオブジェクトのエンコードされた陰関数表現１４０をデコードするよう、使用される。

図３Ａ～図３Ｃを参照すると、一実施形態では、一実施形態による、３Ｄオブジェクト表現を生成するときに向きを判断するためのプロセスの概略図が示されている。トレーニングデータを生成し、トレーニングされたエンコーダを使用して３Ｄオブジェクトをエンコードするために、本システムは、３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを生成する。その入力データは、３Ｄ点群の点の３Ｄ位置と、点の３Ｄ位置に近接する位置における３Ｄオブジェクトの表面に対する法線を定義する点の向きとを示す。

例えば、図３Ａを参照すると、幾何学的エンコーダは、異なる詳細レベルが明示的にモデル化されるときに、より良好に機能する。３Ｄデータ点は、３１０において格子セルに示されるように、異なる空間分解能で配置される。各分解能に対して、異なるサイズを有する異なるセルが存在する。これらの異なる格子分解能は、それぞれのセル内にあるすべてのデータ点を集約するために使用される。数字３３０および３４０は、２つの異なる分解能を示す。

ある実施形態によれば、本システムは、５つの異なる格子分解能を利用し、多分解能格子エンコーダを作成する。しかしながら、異なる格子分解能の数は、５より多くても少なくてもよい。例えば、異なる格子分解能の数は、オブジェクト／表面の粗さに依存してもよく、したがって、それに応じて調整することができる。一実施形態によれば、単一のデコーダを、異なる多分解能格子エンコーダに使用することができる。

図３Ｂおよび図３Ｃを参照すると、ツリー３８０は、単一の回転事例の玩具例について向きがどのように計算されるかを示す。実際には、３つの回転があり、ツリー分岐係数を６に増加させる。ツリーの深度の中に、より深く進むにつれて、向きは、３８０（図３Ｂ）および３４０（図３Ｃ）において異なるグレースケールとして図示される、正しい表面方向に、より近づくであろう。ツリーにおける深度の各レベルは、単一の分解能格子についての向きを設定する。

図３Ａ～図３Ｃを参照すると、例えば、セル３４０および３３０は、３８０において計算される向き（すなわち、ツリーにおけるそれぞれのグレースケール／深度）に従って回転され、回転されたセル３６０および３７０（図３Ｃ）をそれぞれ得る。この手順は、異なる分解能を含んで、各すべてのセルについて繰り返される。

実施形態によれば、トレーニングのための入力３Ｄデータを生成するために、点の３Ｄ位置は、最初にオブジェクト表面により近くサンプリングし、次いで環境の周囲に、より分散して追加することによって、シーン全体にわたって射倖的に取得される。

図４Ａを参照すると、構造格子をオブジェクトの法線方向とともに使用して八分木表現を拡張する多分解能有向格子を生成するためのプロセスの概略図が示されている。セル４１０は、方向ツリーおよびそれぞれの深度レベル（ＬＯＤ）レベルに回転され、有向格子４２０を形成する。

図４Ｂを参照すると、オブジェクト４３０をエンコードする概略図が示されている。トレーニング中、例えば、（点群４２０内の）回転されたセル内のサンプリングされた点の特徴は、近傍のセル特徴が３ＤＣＮＮ疎カーネルで集約される、４２２で示される円筒補間方式に従って補間される。これらの特徴は、符号付き距離関数（ＳＤＦ）および占有率といったオブジェクト表現のための現在の現状技術のデコーダにおいて使用され得る。図４Ｂに関して円筒補間方式が記載されるが、軸周りに回転対称性を有する任意の形状が好適であることに留意することが重要である。例えば、それは、軸周りに回転対称性を有する球体または他の体積形状であり得る。

図５を参照すると、一実施形態では、トレーニングされたニューラルネットワークのエンコーダを使用してオブジェクトをエンコードするための方法５００が示されている。エンコーダは、入力５１０として受信された点群内の点の向きをエンコードする有向格子幾何学的エンコーダ５２０と、入力５１０として受信された点群データをエンコードする点エンコーダ５３０とを含む。各３Ｄ点は、幾何学的エンコーダ５２０、位置エンコーダ５３０、またはそれら両方を通過する。ある実施形態によれば、入力５１０は、ある点、およびオブジェクトに最もよく適合する事前初期化されたツリーである。出力５４０は、３Ｄ表現を形成する深度レベル（ＬＯＤ）ツリー特徴のセットである。

点エンコーダ５３０は、位置エンコーダおよびアンカーの法線の両方を含む。有向格子幾何学的エンコーダ５２０は、５５０で有向格子構築から始まり、これは事前計算されたステップである。これは、有向格子の複数の分解能を含む。例えば、図５は、３つの分解能５５２を示すが、より少数の分解能およびより多数の分解能も可能である。各分解能について、（ツリーから抽出される）有向格子の特徴５５４が生成される。これらの特徴は、近傍情報を横断して局所的に集約される（すなわち、局所的特徴集約５６０）。集約された特徴５６２は、本明細書で記載されるかまたは別様に想定される円筒補間方式５７０において使用されて、最終的なＬＯＤ特徴５８０を生成する。ＬＯＤツリー特徴５８０および点エンコーダ５３０からのエンコードされた点は、３Ｄ表現５４０をもたらす。図５の方法は円筒補間方式５７０を利用するが、軸周りに回転対称性を有する任意の形状が好適であることに留意されたい。例えば、それは、軸周りに回転対称性を有する球体または他の体積形状であり得る。

ある実施形態によれば、有向格子が構築される。３Ｄ表現をモデル化するために八分木表現が使用される。具体的には、本システムは、格子ベースの３Ｄエンコーダをモデル化するために八分木表現を使用する。しかしながら、ある格子を後続の深度レベルにおいて８つのより小さい格子に分割するための標準的な８つのアクションに加えて、本システムは、セルの向きをモデル化するための回転アクションを含み、より高いレベルでは、より小さい（より密な）格子およびより微細な整列が、オブジェクトをより良好に表す。後続のＬＯＤごとに５６の分岐因子（格子位置について８×向きについて７）をもたらすであろう、各アクションの個々のモデル化の代わりに、そして、格子サイズおよび向きは独立しているので、それらは２つのツリー、すなわち、（ｉ）ツリー１：格子のサイズをモデル化するための構造化された八分木と、（ｉｉ）ツリー２：セルの向きをモデル化するための方向ツリーとに分割される。

ツリー１における構造化された八分木について、その表現は、［－１，１］内に境界付けられる位置ＬＯＤ（向きなし）からなる。典型的な八分木モデル化は、既存の研究から辿られる。

方向ツリー２について、オブジェクトの表面点群から取られる正規化された点ｘについて、法線が、ｎとして示されて、この照会に関連付けられる。目標は、表面に沿ってセルを整列させることである。ＬＯＤ内の整合性を維持するために、レベルごとに有限の可能な向きのセットを表す法線アンカーのセットを構築した。次いで、ｚ軸が、照会法線ｎに最も近いアンカーであるアンカーに一致するように、セルを回転させた。この検索ツリーをモデル化するために、ｉ）ノード状態、ｉｉ）アクション、ｉｉｉ）状態遷移、およびｉｖ）初期状態を定義する必要がある。

各セルについて状態δを計算するために、回転アンカーは、コサイン類似度を使用して、ある回転自由度まで、セルのｚ軸を表面法線と整列させることができる。

格子と照会点との関連付けに関して、ツリー１内の各セルは、ツリー２を検索することから計算される固定された向きを有する。トレーニングおよび評価中、照会点は、ツリー１（構造化されたツリー）内の特定のＬＯＤ上のセルに関連付けられる。次いで、対応する回転アンカーを用いてセルを回転させる。なお、点は、すべての八分木セルの外側にあってもよく；この場合、照会は破棄される。

トリリニア補間は、図３Ａに示すように、構造（方向付けなし）格子についての特徴を得る典型的な方法であったが、有向格子に対しては、構造格子と同じ手法を使用することは適用できない。したがって、本システムは、図４Ｂに示されるように方向付けされた円筒（これは、図３Ｃにおける有向格子の３Ｄ表現である）を使用し、それは、本明細書で議論されるように、セルの整列を活用し、格子の向き（法線方向周りの不変性回転）を規定する際に不変性の欠如を軽減することができる。この回転不変性は、格子内の点に明示的な滑らかさの制約を加える。

したがって、図６を参照すると、ある実施形態による、円筒補間のための提案された方式がある。図６の方法は円筒補間方式を利用するが、軸周りの回転対称性を有する任意の形状が好適であることに留意されたい。例えば、それは、軸周りの回転対称性を有する球体または他の体積形状であり得る。

入力セル格子は、（ＬＯＤごとに）有向格子から得られる対応するアンカー法線ｎ６１０を有する。円筒６２０は、半径Ｒおよび高さＨを伴って、格子法線アンカー６１０と整列される。補間方式は、ボリュメトリック補間タイプのものである。これは、円筒の高さ境界までの照会点ｘの距離ｈ_１およびｈ_２、ならびにｒとして示されるｘと円筒対称軸との間の距離に依存する。

６３０において、第１の係数ｃ_０は、点の頂面までの距離ｈ_１と、Ｒおよび点の対称軸までの距離ｒを考慮した体積の差とから計算される。６４０において、係数ｃ_２は、底面までの距離ｈ_２と、Ｒおよび点の対称軸までの距離ｒを考慮した体積の差とから計算される。最後に、６５０において、ｃ_１は円筒の残りである。各係数は、ｋ＝｛０，１，２｝について、付随する学習可能な特徴ｅ_ｋを有する。補間された特徴ｆは、ｅ_ｋの、ｃ_ｋ重みとの加重平均である。６６０において、円筒補間特徴が、ｃ_０、ｃ_１、およびｃ_２から生成される。

照会点が与えられると、目的は、円筒内の点の相対位置を考慮して、特徴係数について相対空間体積を計算することである。円筒補間係数は、図６に示すように、円筒セル表現の末端に対する点の近接度を測定する。円筒の頂部および境界線により近い点では、より小さい境界体積（図６の６３０における体積）を生成することになる。したがって、それの反対面からの距離は大きくなり、したがって、より大きい体積係数（図６の６４０における体積）となる。この例における最も高い係数は、中心軸に従って反対になる（図６の６５０における体積）。

最後に、図６の幾何学的エンコーダからの補間された特徴は、係数および３ＤＣＮＮから計算された局所的特徴の線形補間である：

実現形態において、本方法は、新たな格子ベースのエンコーダに焦点を当てているため、本システムは、現状技術のデコーダアーキテクチャおよび出力表現を使用して、本方法を評価する。損失関数およびトレーニング手順についても以下で説明する。

デコーダアーキテクチャでは、多層パーセプトロンが利用される。デコーダは、各レベルでトレーニングされ、すべてのＬＯＤにわたって共有される。入力される補間された特徴の他に、現状技術の位置エンコーダΦ_ｐ（・）が点上においてＬ_ｐ個の周波数とともに追加され、Φ_ｎ（・）がアンカーの法線上においてＬ_ｎ個の周波数とともに追加される。点および法線は各位置エンコーダに付され、サイズは、Ｐ＝３×２×Ｌ_ｐ＋３およびＮ＝３×２×Ｌ_ｎ＋３である。この方法は、ＳＤＦおよび占有率について出力表現として示される。

トレーニング段階の間、照会Ｎ_ｑが入力点群からサンプリングされ、それらがＬＯＤの各々についてどのボクセルにあるかが判断され、その特徴が選択されたボクセルに従って補間される。予測されるサンプルの二乗誤差の和またはクロスエントロピーは、それぞれＳＤＦおよび占有率についてアクティブなＬＯＤから計算される。加えて、二重逆伝播を用いて法線を求める。次いで、計算された法線とアンカー法線との間でＬ２ノルムを正則化項として計算する。２つの項を加算（加重和）して最終損失を求める。

評価中、均一に分布した入力サンプルを、分解能Ｑ＝５１２^３の単位立方体から得る。結果は、最後のＬＯＤについて示され、より細かいＬＯＤに対応する。入力照会は、既存の八分木セルとマッチしない場合、破棄される。最後に、マーチングキューブを用いた出力からのメッシュが得られる。

実施例

以下は、本明細書で記載されるかまたは別様に想定される方法およびシステムを使用する、例示的実現形態および分析を説明する。これらは例としてのみ提供され、本発明の範囲を限定しないことが理解されるであろう。

ある実施形態によれば、３Ｄ再構築品質が、各オブジェクトについて、Chamfer Distance（ＣＤ）、Normal Consistency（ＮＣ）、およびIntersection over Union（ＩｏＵ）を使用して評価された。ＣＤは、照会点およびそのグラウンドトゥルースマッチの逆数最小距離として計算された。ＣＤは５回計算され、その平均が示された。ＮＣは、照会法線（ＣＤ計算中に得られる照会点に対応する）とその対応するグラウンドトゥルース法線との間のコサイン類似度から計算される、対応する法線である。ＮＣは、両方の法線間のコサイン類似度の残差として報告される。ＩｏＵは、２つの格子セット間の重複を定量化する。メッシュは、ＩｏＵについて、分解能Ｑ＝１２８^３の立方体を使用してレンダリングされた。

本方法を、３つのデータセット、すなわちＡＢＣ、Thingi10k、およびShapeNet上で評価した。合計３２個のメッシュを、各々、Thingi10kおよびＡＢＣからサンプリングし、１５０個のメッシュをShapeNetからサンプリングした。ShapeNetメッシュは水密にされ、作業はPyTorchで実施した。

デコーダアーキテクチャは、ＲｅＬＵを有する次元１２８の１つの隠れ層を有する。各ボクセル特徴は、Ｆ＝３２次元特徴ベクトルとして表される。照会点および法線についての位置エンコードは、Ｌ_ｐ＝Ｌ_ｎ＝６つの周波数で表わされる。スパース３Ｄ畳み込みは、局所的特徴集約について、カーネルサイズＫｋ、Ｖｌ、ｋ＝５で、考慮される。円筒半径Ｒは、経験的に以下のように設定された：

Adamオプティマイザを使用して、モデルを、０．００１の学習率およびα_ｎ＝０．１で、１００エポックまでトレーニングした。５×１０^６点の初期サンプルサイズが、５１２のバッチサイズで、考慮される。再サンプリングは、各すべてのエポック後に行われる。点は、表面およびその近傍付近から等比率でサンプリングされる。各ボクセルが表面サンプリングの前に少なくとも３２個のサンプルを有することも保証される。ＬＯＤｓ￡’＝｛３，．．．，７｝をすべてのデータセットについて考慮した。

ベースラインについて、この手法を、供給された設定でトレーニングされた現状技術の手法のBACON、SIREN、およびフーリエ特徴関数（ＦＦ）と比較した。構造格子直接手法もまた、有向格子に対する公平な比較のために、本方法に対して評価され、それはパイプラインにおいて、より小さい変更を必要とした。表面再構築設定は、上述のように、すべての方法について同じであった。

実験のために、アブレーションを下記のように利用した。構造格子対有向格子も比較され、本方法を、異なるエンコーダ戦略を使用する方法に対して評価した。これらは以下で論ずる。

アブレーション

各構成要素の関連性を分析するために、異なるパイプラインブロックに対して変更を徐々に加えた。ＡＢＣおよびThingi10kデータセットからの１０個のメッシュを、トレーニングおよび試験のためにランダムにサンプリングする。図８は、エンコーダになされた変更に基づいて、図７にリストされた異なるケースを示す。トリリニア補間を伴う有向格子の使用は、多くの穴をもたらすことが注目された。セルはアンカー法線ごとに回転させるので、回転不変円筒表現を補間に使用した。依然として、より粗いが、これは、より適応した表現（ＣＤの有意な改善）をもたらす。

したがって、図７を参照して、アブレーション研究の結果が示されている。この表は、最終エンコーダに至る異なる段階を示す。トリリニア補間を用いた有向格子から開始して、提案される円筒補間、そして最後に、３ＤＣＮＮを用いた局所的特徴集約である。ＣＤに１０－^５を乗算し、ＮＣに１０－^４を乗算する。

図８を参照すると、レンダリングにおけるアブレーションの影響が示されており、図７の数値結果を反映している。パネル（ａ）は、トリリニア補間を用いた有向エンコーダを表し、（ｂ）は、円筒補間を加え、（ｃ）および（ｄ）は、特徴集約のために、３×３×３および５×５×５の３ＤＣＮＮカーネルをそれぞれ使用し、（ｅ）は、（ｄ）に法線正則化を加える。（ｆ）はグラウンドトゥルースを示す。

３ＤＣＮＮの追加（図８（ｃ）および（ｄ））によるメッシュ平滑性の有意な改善（ＮＣに反映される）が見られ、局所的特徴集約ステップに効果的に寄与する。実験は、５×５×５のカーネルが、より良好な性能を達成し、その後の実験に好ましいことを示す。提案される法線正則化は、平滑性を強化するが、精度を犠牲にする。

構造格子対有向格子

図９を参照して、構造格子対有向格子の比較が、ＳＤＦおよび占有率デコーダについての結果とともに示されている。ＣＤに１０－^５を乗算し、ＮＣに１０－^４を乗算する。表は、本明細書に開示される方法の性能をＳＤＦおよび占有率デコーダ上で構造格子と比較する。ＳＤＦおよび占有率デコーダは、上述のようにトレーニングされる。法線正則化は、両方の場合について同じままである。本明細書に開示される方法は、すべてのフロント上でＳＤＦデコーダでの構造格子よりも性能が優れており、構造化された表面上で、より滑らかな結果をもたらす。占有率フレームワークの性能不足にもかかわらず、メッシュ上に観察される穴およびくぼみは、より少ない（後者はＩｏＵに有意な影響を有する）。これらの結果は、異なるデコーダ出力表現への本方法の適応性を示す。

大規模シーン表現への本方法の可能な拡張を開くために、本方法のレンダリングが、図１０に示されるように、Matterport3Dからのシーン上に示される。このシーンは、４×４クロップ（地面を含む）に分割され、あるモデルが、各クロップについて占有率デコーダを用いてトレーニングされる。推論中、メッシュクロップは、図１０に示されるように、マーチングキューブを使用してレンダリングされ、最終的に融合されてシーンを生成する。薄い表面のため、構造格子は、より粗くぼんやりした３Ｄ表現をもたらす。本明細書に開示される方法は、薄い表面にうまく適応し、シーンを、より少ない粗さおよびより鮮明な品質で、レンダリングする。

有向格子の結果として、提案されるエンコーダは、より少ないトレーニングステップで、より効果的に、平面をレンダリングすることが観察される。特に、より構造的な規則的なオブジェクトでは、構造格子は苛性様効果（表面ノイズ）を生じる。有向格子の表面再構築において、最初のエポックからすぐに、ノイズ低減が観察される。

ベースライン

図１１の表は、他のタイプの表現、すなわち、SIRENおよびBACONのような格子ベースのネットワークならびにBACONのようなマルチスケール表現に対する本方法（特徴ベースの幾何学的マルチスケール表現）の実験結果を詳述する。それはまた、非水密オブジェクトを考慮するべく、本方法を、符号なし出力表現を使用するＮＤＦと比較する。ＮＤＦは、メッシュを得るためにball pivotingアルゴリズムを使用するが、多くのハンドチューニングを必要とする。それは計算的に高価であり、非常に不連続なメッシュ表現および不良な結果をもたらした。代わりに、このステップは、上記と同じ設定を使用して、点群をボクセル化し、マーチングキューブを使用して表面を得ることによって、置き換えられる。

したがって、格子ベースの方法は、すべてのフロントにおいて有意な改善を伴ってベースラインよりも性能が優れていることが示される。ＡＢＣのような、平面オブジェクトから構成される単純なデータセットでは、エンコーダは、有向格子の整列により、より滑らかな平面を再構築する。ホリスティックな詳細をレンダリングするものの、大部分のベースラインは、しばしば、過度に平滑化された表面を有する。本方法については、メッシュ内のより少ない穴および無視できるほどのスプラッティング（サンプリング領域の周囲の多数の小さいメッシュトレース）の結果として、より高いＩｏＵも観察される。全体として、有向格子は、すべてのデータセットにわたって、より高い忠実度で、ロバストな３Ｄ表現を生成する。

メッシュをレンダリングするために必要なパラメータの数も提供される。多分解能格子表現の利点は、デコーダのサイズを、１つの隠れ層を有するＭＬＰだけに低減できることである。この結果、この手法は、他の方法よりも速くメッシュを得る。

Thingi10kおよびShapeNetデータセットからの例を分析した。BACONおよびＦＦは、オブジェクトを妥当な精度でモデル化することができるが、多くのスプラッタを記録し、望ましくないノイズのある表面およびアーチファクトを生じさせる。SIRENおよびBACONは、過度に平滑化された表面を生成し、メッシュ上で複雑な詳細を失う。ＮＤＦは、多くの穴を生じさせるが、スプラッタなしにコンパクトなメッシュをどうにかして得る。BACON、SIREN、およびＦＦは、ShapeNetデータセット上で崩壊する。ShapeNetの水密版および非水密版の両方を試みたが、失敗したベースラインについて同様の結果が得られた。

小さな穴は、有向格子および構造格子の両方に影響を及ぼす非水密平面から生じ得る。しかしながら、有向格子は、構造格子の対応物よりも適切に穴を充填する。より一般的な多分解能格子表現の問題は、薄い表面をモデル化する困難さである。この制限にもかかわらず、本方法は、構造格子から実質的に改善する。

したがって、実施例および実験は、３Ｄ表現のための３Ｄ格子ベースのエンコーダのためのこの新規な手法が、現状技術の結果を、デコーダ表現変化に対してよりロバストかつ正確でありながら、もたらすことを実証する。エンコーダは、格子をオブジェクト表面法線と整列させ、整列によって引き起こされた問題を軽減する新たに開発された円筒補間技法および局所的集約方式からセル特徴を集約することによって、オブジェクトにおける本来の構造的規則性を考慮する。

加えて、実施例および実験は、本明細書に開示されるかまたは別様に想定されるシステムおよび方法が、改善されたコンピュータシステムをもたらすことを実証する。３Ｄオブジェクト表現生成システムは、先行技術のシステムよりも速く、より良好な３Ｄオブジェクト表現を生成することができる。したがって、トレーニングされたニューラルネットワークを含む本明細書に記載の３Ｄオブジェクト表現生成システムは、先行技術の３Ｄオブジェクト表現生成システムに対する改良である。

ある実施形態によると、本明細書で開示されるかまたは別様に想定されるシステムおよび方法は、ニューラルネットワークのトレーニング中、およびトレーニングされたニューラルネットワークを使用する実行中に、何千または何百万ものデータ点を処理するよう構成される。例えば、トレーニングデータのコーパスから、機能的かつ熟練した、トレーニングされたニューラルネットワークを生成することは、入力データおよび生成された特徴からの何百万個ものデータ点の処理を要求する。これは、新規のトレーニングされたニューラルネットワークを生成するために、何百万個または何十億個もの計算を必要とし得る。その結果、各トレーニングされたニューラルネットワークは、入力データおよびアルゴリズムのパラメータに基づいて新規かつ相異なり、したがって、本システムの機能を改善する。機能的で熟練した、トレーニングされたニューラルネットワークを生成することは、人間の脳が生涯において達成不可能な量の計算および分析を有するプロセスを含む。

本明細書で定義および使用されるすべての定義は、辞書の定義、参照により組み込まれる文書における定義、および／または定義された用語の通常の意味を支配すると理解されるべきである。

本明細書および特許請求の範囲において使用される不定冠詞「a」および「an」は、明確に反対の指示がない限り、「少なくとも１つ」を意味すると理解されるべきである。

本明細書および特許請求の範囲で使用される「および／または」という文言は、そのように結合された要素、すなわち、ある場合では接続的に存在し、他の場合では離接的に存在する要素、の「いずれかまたは両方」を意味すると理解されるべきである。「および／または」で列挙された複数の要素は、同じ態様で解釈されるべきであり、すなわち、そのように結合された要素の「１つまたは複数」である。「および／または」節によって具体的に識別される要素以外の他の要素が、具体的に識別されるそれらの要素に関連するかまたは関連しないかにかかわらず、選択肢として存在してもよい。

本明細書および特許請求の範囲で使用されるように、「または」は、上記で定義された「および／または」と同じ意味を有すると理解されるべきである。例えば、リスト中の項目を分離する場合、「または」または「および／または」は、包括的である、すなわち、いくつかの要素または要素のリストのうちの少なくとも１つであるが、１つより多く、および選択肢として、追加のリストされていない項目も含む包含であるとして解釈されるべきである。「～のうちの１つのみ」もしくは「～のうちの厳密に１つ」、または特許請求の範囲で使用される場合、「～からなる」などの、反対に明確に示される文言のみが、いくつかの要素または要素のリストのうちの厳密に１つの要素の包含を指すことになる。一般に、本明細書で使用する「または」という文言は、「いずれか」、「～の１つ」、「～の１つのみ」、または「～の厳密に１つ」といった、排他性の文言が先行するときに排他的な代替物（すなわち、「一方または他方であるが、両方ではない」）を示すものとしてのみ解釈されるべきである。

本明細書および特許請求の範囲において使用される場合、「少なくとも１つ」という文言は、１つまたは複数の要素のリストに関して、要素のリスト中の要素のうちの任意の１つまたは複数から選択される少なくとも１つの要素を意味すると理解されるべきであるが、必ずしも、要素のリスト内に具体的に列挙された各すべての要素の少なくとも１つを含むとは限らず、要素のリスト内の要素の任意の組合せを除外しない。この定義はまた、「少なくとも１つ」という文言が指す、要素のリスト内で具体的に識別される要素以外の要素が、具体的に識別される要素に関係するかまたは関係しないかにかかわらず、選択肢として存在し得ることを可能にする。

反対のことが明確に示されない限り、複数のステップまたは行為を含む、ここで特許請求される任意の方法において、本方法のステップまたは行為の順序は、本方法のステップまたは行為が記載される順序に必ずしも限定されないことも理解されたい。

特許請求の範囲ならびに上記明細書において、「備える」、「含む」、「持つ」、「有する」、「含有する」、「関与する」、「保持する」、「～から構成される」といったすべての移行句は、オープンエンドである、すなわち、含むが限定されないことを意味すると理解されるべきである。移行句「～からなる」および「本質的に～からなる」のみが、それぞれ、閉じた移行句または半ば閉じた移行句であるものとする。

いくつかの発明の実施形態が本明細書に記載および示されたが、当業者は、本明細書に記載される機能を実行する、ならびに／もしくは結果および／もしくは利点の１つ以上を得るための種々の他の手段ならびに／または構造を容易に想定し、そのような変形例および／または修正例の各々は、本明細書に記載される発明の実施形態の範囲内であると見なされる。より一般的には、当業者は、本明細書に記載されるすべてのパラメータ、寸法、材料、および構成は例示的であることを意味し、実際のパラメータ、寸法、材料、および／または構成は、本発明の教示が使用される特定の用途に依存することになることを容易に理解するであろう。当業者は、本明細書に記載される特定の発明の実施形態に対する多くの均等物を認識するか、または日常的な実験のみを用いて確認することができるであろう。したがって、前述の実施形態は、例としてのみ提示されており、特許請求の範囲およびその均等物の範囲内で、発明の実施形態は、具体的に記載および特許請求されるものとは別の態様で実施され得ることを理解されたい。本開示の発明の実施形態は、本明細書に記載される各個々の特徴、システム、物品、材料、キット、および／または方法を対象とする。加えて、２つ以上のそのような特徴、システム、物品、材料、キット、および／または方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、および／または方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。

Claims (20)

1. ニューラルネットワークをトレーニングすることによって３次元（３Ｄ）オブジェクトを含む３Ｄシーンの陰関数表現を生成するための人工知能（ＡＩ）システムであって、前記ニューラルネットワークは、前記オブジェクトの形状の３Ｄ点群を示すデータを、前記オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、前記格子ベースの特徴を、前記３Ｄシーンにおける任意の点から前記オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、前記ＡＩシステムは、
   少なくとも１つのプロセッサと、命令を格納したメモリとを備え、前記命令は、前記ＡＩシステムの前記少なくとも１つのプロセッサに、
   ３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、前記入力データは、前記３Ｄ点群の点の３Ｄ位置と、前記点の前記３Ｄ位置に近接する位置における前記３Ｄオブジェクトの表面に対する法線を定義する前記点の向きとを示し、前記命令は、さらに、前記ＡＩシステムの前記少なくとも１つのプロセッサに、
   前記３Ｄオブジェクトの陰関数表現を生成するために、前記点の前記位置および前記点の前記向きの両方を使用して前記エンコーダおよび前記デコーダをトレーニングさせ、
   前記エンコーダおよび前記デコーダを含む前記３Ｄオブジェクトの前記陰関数表現を、有線または無線通信チャネルを介して送信させる、ＡＩシステム。
2. 前記エンコーダは、前記３Ｄ点群の前記点の位置および前記点の前記向きのうちの１つまたは組合せを、前記オブジェクトの複数の分解能を捕捉する前記格子ベースの特徴に変換するようトレーニングされ、前記デコーダは、前記デコーダによって生成される前記３Ｄシーン内の点から前記オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を低減するよう、前記格子ベースの特徴の補間上でトレーニングされる、請求項１に記載のＡＩシステム。
3. 前記エンコーダは、前記３Ｄ点群の前記点の位置を前記格子ベースの特徴に変換するようトレーニングされ、前記デコーダは、ネスト化された形状のセット内での前記補間上においてトレーニングされ、前記ネスト化された形状のセットは、前記格子ベースの特徴を囲み、対応するネスト化された形状の付近の前記点の前記向きに基づいて方向付けされる、請求項２に記載のＡＩシステム。
4. 前記エンコーダは、前記点の前記位置を、前記オブジェクトの複数の分解能を捕捉する前記格子ベースの特徴としてエンコードするようトレーニングされ、前記デコーダは、ネスト化された形状のセット内で補間によって表される方向付けされた特徴に基づいてトレーニングされ、前記ネスト化された形状のセットは、前記格子ベースの特徴を囲み、対応するネスト化された形状の付近の前記点の前記向きに基づいて方向付けされる、請求項１に記載のＡＩシステム。
5. 前記エンコーダおよび前記デコーダをトレーニングするために、前記プロセッサは、
   前記エンコーダを使用して、前記入力データを、前記３Ｄオブジェクトの形状の複数の分解能を捕捉する特徴の八分木表現にエンコードするよう構成され、
   前記八分木表現の各特徴を、軸周りに回転対称性を有する方向付けされた形状で囲むよう構成され、特徴を囲む方向付けされた形状の次元は、前記八分木表現上の囲まれた前記特徴のレベルによって支配され、前記方向付けされた形状の軸の向きは、囲まれた前記特徴の座標の近傍の点のサブセットの表面に対する法線によって支配され、前記プロセッサはさらに、
   ボリュメトリック補間を用いて各方向付けされた形状内の特徴を補間して、前記八分木表現の前記特徴を更新するよう構成され、
   前記デコーダを使用して、前記特徴の更新された前記八分木表現をデコードして、前記距離関数を生成するよう構成され、
   前記ニューラルネットワークのパラメータを更新して、前記デコーダによって生成される前記３Ｄシーン内の点から前記オブジェクトまでの距離とグラウンドトゥルース距離との間の誤差の損失関数を最小にするよう構成される、請求項１に記載のＡＩシステム。
6. 回転対称性を有する前記方向付けされた形状は、円筒および球体のうちの１つ以上を含む、請求項５に記載のＡＩシステム。
7. 回転対称性を有する前記方向付けされた形状の各々は円筒であり、前記円筒は、１つまたは複数の格子ベースの特徴を囲み、前記円筒の各々の軸が、前記円筒の次元および囲まれた前記特徴の位置によって支配される表面の領域に対する法線に整列するように方向付けされた円筒である、請求項５に記載のＡＩシステム。
8. 回転対称性を有する前記方向付けされた形状の各々は、１つまたは複数の格子ベースの特徴を囲む円筒であり、前記プロセッサは、前記円筒の次元および囲まれた前記特徴の位置によって支配される表面の領域に対する法線に前記円筒の軸を整列させるように前記円筒を方向付けるよう構成される、請求項７に記載のＡＩシステム。
9. 前記補間はボリュメトリック補間であり、前記プロセッサは、前記円筒形表現の末端に対する点の近接性を測定する円筒補間係数を求めるよう構成される、請求項７に記載のＡＩシステム。
10. 前記円筒補間係数は、（ｉ）前記円筒の頂面に対する前記点の距離と、前記円筒と前記円筒の対称軸に対する前記点の距離との体積における差とから計算される第１の係数と、（ｉｉ）前記円筒の底面に対する前記点の距離と、前記円筒と前記円筒の前記対称軸に対する前記点の距離との体積における差とから計算される第２の係数と、（ｉｉｉ）前記円筒の残りから計算される第３の係数とを含む、請求項９に記載のＡＩシステム。
11. 前記ニューラルネットワークの前記エンコーダのトレーニング中に、前記プロセッサは、入力点群の複数のサンプリングされた点ついて、前記円筒補間係数を求めるよう構成される、請求項１０に記載のシステム。
12. 前記プロセッサは、前記３Ｄオブジェクトの前記陰関数表現を使用して、表示装置上に前記３Ｄオブジェクトの画像をレンダリングするよう構成される、請求項１に記載のＡＩシステム。
13. 請求項１に記載の前記ＡＩシステムに、前記有線または無線通信チャネルを介して、動作するよう接続される画像処理システムであって、前記画像処理システムは、前記３Ｄオブジェクトの前記陰関数表現を使用して、表示装置上に前記３Ｄオブジェクトの画像をレンダリングするよう構成される、画像処理システム。
14. 前記３Ｄオブジェクトの前記画像は、変動する視野角に対してレンダリングされる、請求項１３に記載の画像処理システム。
15. 前記３Ｄオブジェクトの前記画像は、仮想現実またはゲームアプリケーション内で、変動する視野角に対してレンダリングされる、請求項１４に記載の画像処理システム。
16. 請求項１に記載の前記ＡＩシステムに、前記有線または無線通信チャネルを介して、動作するよう接続されるロボットシステムであって、前記ロボットシステムは、前記３Ｄオブジェクトの前記陰関数表現を使用してタスクを実行するよう構成される、ロボットシステム。
17. 請求項１に記載の前記ＡＩシステムに、前記有線または無線通信チャネルを介して、動作するよう接続される表示装置であって、前記プロセッサは、前記３Ｄオブジェクトの前記陰関数表現を使用して、前記３Ｄオブジェクトの画像をレンダリングするよう構成され、前記表示装置は、前記３Ｄオブジェクトのレンダリングされた前記画像を表示するよう構成される、表示装置。
18. ３次元（３Ｄ）オブジェクトの画像を、前記３Ｄオブジェクトの陰関数表現を使用してディスプレイ上にレンダリングするよう構成される画像処理システムであって、
    トレーニングされたニューラルネットワークを備え、前記トレーニングされたニューラルネットワークは、前記３Ｄオブジェクトの形状の３Ｄ点群を示すデータを、前記オブジェクトの複数の分解能を捕捉する格子ベースの特徴にエンコードするよう構成されるエンコーダと、前記格子ベースの特徴を、前記３Ｄオブジェクトを含む３Ｄシーン内の任意の点から前記オブジェクトまでの距離にデコードするよう構成されるデコーダとを含み、前記画像処理システムはさらに、
    少なくとも１つのプロセッサと、命令を格納したメモリとを備え、前記命令は、前記少なくとも１つのプロセッサに、
    ３Ｄオブジェクトを含む３Ｄシーンの有向点群を示す入力データを受信させ、前記入力データは、前記３Ｄ点群の点の３Ｄ位置と、前記点の前記３Ｄ位置に近接する位置における前記３Ｄオブジェクトの表面に対する法線を定義する前記点の向きとを示し、前記命令は、さらに、前記少なくとも１つのプロセッサに、
    前記エンコーダで、前記点の前記位置および前記点の前記向きの両方を使用して、前記３Ｄオブジェクトの陰関数表現を生成させ、
    前記エンコーダで、前記３Ｄオブジェクトの前記陰関数表現を使用して、前記３Ｄオブジェクトの画像をレンダリングさせ、
    レンダリングされた前記画像をディスプレイに表示させる、画像処理システム。
19. 前記エンコーダは、前記３Ｄ点群の前記点の位置を前記格子ベースの特徴に変換するようトレーニングされ、前記デコーダは、ネスト化された形状のセット内での前記補間上においてトレーニングされ、前記ネスト化された形状のセットは、前記格子ベースの特徴を囲み、対応するネスト化された形状の付近の前記点の前記向きに基づいて方向付けされる、請求項１８に記載の画像処理システム。
20. 前記３Ｄオブジェクトの前記画像は、変動する視野角に対してレンダリングされる、請求項１８に記載の画像処理システム。