JP7276697B2 - ポイントクラウドジオメトリパディング - Google Patents

Description

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０１９年３月１９日出願の米国仮特許出願第６２／８２０，７２３号「ポイントクラウドジオメトリパディング（ＰＯＩＮＴ ＣＬＯＵＤ ＧＥＯＭＥＴＲＹ ＰＡＤＤＩＮＧ）」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、３次元グラフィックに関する。より具体的には、本発明は、３次元グラフィックの符号化に関する。

ポイントクラウドは、３Ｄスキャナ、ＬＩＤＡＲセンサによって取り込まれる又は仮想現実／拡張現実（ＶＲ／ＡＲ）などの一般的な用途に使用される３Ｄデータの伝送のための候補フォーマットとして考えられてきた。ポイントクラウドは、３Ｄ空間内のポイントの組である。空間位置（Ｘ，Ｙ，Ｚ）の他に、各ポイントは、通常、色（Ｒ，Ｇ，Ｂ）又は更には反射率及び経時的なタイムスタンプ（例えばＬＩＤＡＲ画像内）などの関連する属性を有する。対象３Ｄオブジェクトの高忠実度表現を得るために、装置は、数千又は更には数百万程度のポイントのポイントクラウドを取り込む。更に、ＶＲ／ＡＲ用途に使用される動的３Ｄシーンのために、全ての単一のフレームは、多くの場合、固有の高密度のポイントクラウドを有し、その結果、毎秒数百万個のポイントクラウドを伝送することになる。このような大量のデータの実現可能な伝送のために、多くの場合、圧縮が適用される。

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、（ｏｃｔｒｅｅ及び同様の符号化方法に基づく）３Ｄネイティブ符号化技術、又は３Ｄから２Ｄへの投影後に従来のビデオ符号化を行うことを考えている。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄ画像から２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダで２Ｄ画像を符号化することに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄ符号化よりも効率的であることが判明しており、許容品質で競合ビットレートを実現することができる。

ポイントクラウドを符号化する時、ＴＭＣ２は、２Ｄキャンバス画像内のパッチ位置及びバウンディングボックスサイズなどのパッチ投影に関連する補助情報を符号化する。補助情報の時間的符号化のために、現在のポイントクラウドからのパッチと直ちに復号されたポイントクラウドからのパッチとの間のパッチマッチングを使用して予測を行う。この手順は直接の近隣に限定され、シーケンス内の全てのフレームに対してデルタ符号化を実行することを含む。

ビデオエンコーダを使用するポイントクラウド圧縮の最新技術は、ポイントクラウドを３Ｄパッチとして表現し、ジオメトリ及び属性の２Ｄキャンバス内への投影によって形成される２Ｄ画像を符号化する。更に、２Ｄ画像は、画像パディングプロセスで埋められる多くの空き空間を有する。空き空間は、オキュパンシーマップによって識別される。現在、画像パディングプロセスは、２Ｄ拡大（ｄｉｌａｔｉｏｎ）を実行して、ブロックの境界を空き位置内に円滑に拡張する。このプロセスは、２Ｄ情報のみを考慮している。オキュパンシーマップも符号化されるので、オキュパンシーマップの変化に起因して、空き位置のいくつかが、再構成されたポイントクラウドに組み込まれる。したがって、パディングアルゴリズムで予め埋められた位置が、再構成されたポイントクラウドに組み込まれる場合があり、パディングアルゴリズムは画像の２Ｄ構造しか考慮しないので、いくつかの幾何歪みを引き起こす可能性がある。

本明細書では、ポイントクラウドジオメトリパディングの方法を説明する。この方法は、圧縮されたオキュパンシーマップ内の再構成ポイントを探索して、圧縮されていないオキュパンシーマップを使用する代わりにジオメトリパディングを実行する。

一態様では、装置の非一時的メモリにプログラムされた方法は、ポイントクラウドからジオメトリ画像を生成するステップと、前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、を含む。前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む。前記方法は、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するステップを含む。前記方法は、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するステップを含む。前記３Ｄ空間内の前記探索を実行するステップは、３つの近隣ポイントの平均から開始するステップを含む。前記３Ｄ空間内の前記探索を実行するステップは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定するステップを含む。前記３Ｄ空間内の前記探索を実行するステップは、指定された範囲内のポイントのみを探索するステップを含む。前記方法は、更に、圧縮されたジオメトリ画像を生成するステップを含む。前記方法は、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するステップを含む。

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、ポイントクラウドからジオメトリ画像を生成するステップと、前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む。前記アプリケーションは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成される。前記アプリケーションは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成される。前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含む。前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含む。前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含む。前記アプリケーションは、更に、圧縮されたジオメトリ画像を生成するように構成される。前記アプリケーションは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成される。

別の態様では、システムは、３次元コンテンツを取得するための１又は２以上のカメラと、エンコーダであって、ポイントクラウドからジオメトリ画像を生成し、前記ジオメトリ画像を２Ｄキャンバス上に配置し、オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めること、によって、前記３次元コンテンツを符号化するためのエンコーダと、を含む。前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む。前記エンコーダは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成される。前記エンコーダは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成される。前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含む。前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含む。前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含む。前記エンコーダは、更に、圧縮されたジオメトリ画像を生成するように構成される。前記エンコーダは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成される。

いくつかの実施形態によるポイントクラウド符号化を実行するための概略図である。 いくつかの実施形態による追加された３Ｄポイントを含む例示的な画像を示す図である。 いくつかの実施形態による３Ｄジオメトリパディングのために再構成されたポイントを生成する図である。 いくつかの実施形態によるポイントクラウドジオメトリパディングを実装する方法のフローチャートである。 いくつかの実施形態によるポイントクラウドジオメトリパディングを実装するように構成される例示的なコンピュータ装置のブロック図である。

本明細書では、３Ｄポイントクラウドデータを２Ｄ表面内にマッピングすることから生成されるジオメトリ画像をパディングする新規の方法を説明する。３Ｄ表面パッチを使用してポイントクラウドを表現し、３Ｄパッチ表面データの２Ｄキャンバス画像内へのフレキシブルマッピングを実行し、３Ｄ情報を考慮することによってジオメトリ画像の空き位置を埋める（ジオメトリ画像パディング）。

ジオメトリを表現するパッチを２Ｄキャンバス画像内に配置して、その後、効率的な圧縮のために空き位置を埋める（画像パディング）。しかしながら、符号化プロセスに起因して、空き位置のいくつかが、再構成されたポイントクラウドに組み込まれる。それらの位置を識別することができ、３Ｄ情報に基づいてパディングの原理を使用して、それらの位置を埋めることができる。

本明細書では、３Ｄ情報を利用して２Ｄ画像パディングを実行することを説明する。従来の画像パディング（又は画像修復）アルゴリズムは、画像の２Ｄ構造を利用した。３Ｄ空間を使用して、画像パディングを実行する。

図１に、いくつかの実施形態によるポイントクラウド符号化を実行するための概略図を示す。ポイントクラウド符号化のための構成要素は、それらの特定のタスクを実行するように構成される標準の又は変更された構成要素とすることができる。簡潔にするために、本明細書では、概して、ポイントクラウド符号化構成要素の詳細を説明しない。本明細書では、画像／ジオメトリパディングを更に説明する。圧縮されていないオキュパンシーマップからのデータを使用する代わりに、圧縮されたオキュパンシーマップからのデータを利用して、画像パディングを行う。元のオキュパンシーマップの代わりに、ジオメトリ画像をパディングする時にオキュパンシーマップ符号化に起因して追加される位置に対して３Ｄ再構成された値を使用する。次に、パディングされたジオメトリ画像がビデオ圧縮に進み、最後に、圧縮されたビットストリームを生成する。

図２に、いくつかの実施形態による追加された３Ｄポイントを含む例示的な画像を示す。本明細書で説明する実装を利用して、ジオメトリ画像をより正確なポイントでパディングする。

図３に、いくつかの実施形態による３Ｄジオメトリパディングのために再構成されたポイントを生成する図を示す。３Ｄジオメトリパディングは、元のポイントクラウドにできるだけ近い再構成されたポイントを生成する位置のための値を選択することを含む。可能な深度値の範囲内で探索を実行する。図３に示すように、目標はＸを決定することである。従来は、ｄ１、ｄ２、及びｄ３を平均することによってＸを決定した。しかしながら、図３は、ｄ_optimalを求めることによってＸを決定する最適な方法を示す。探索手順は、平均値から開始して、その後、１を加算するか又は１を減算して、次に、２を加算するか又は２を減算するなどして、ポイントが元のポイントクラウドに近いかどうかを判定する。ポイントは、平均値と同じであるか又はそれと異なるということで終わりになる。更に、値は、ｄ１、ｄ２、及びｄ３の平均値をわずかに上回る又は下回ることしかできない。

Ｉ（ｉ）は指示関数であり、近隣位置が利用できない場合は０であり、近隣位置が利用できる場合は１である。本明細書で説明するように、例えば中央値などの異なる開始値を使用することができる。これは、探索範囲の開始ポイントにすぎない。最も適切な値を選択するための基準を３Ｄ空間内で決定し、再構成された値を計算し、この値と元のポイントクラウドとの間の距離が、２Ｄ値の選択を決定する。

本明細書で説明するジオメトリパディングでは、具体的にはパッチ間で、再構成されたポイントクラウドと元のポイントクラウドとの間の距離を小さくする。

図４に、いくつかの実施形態によるポイントクラウドジオメトリパディングを実装する方法のフローチャートを示す。ステップ４００において、ジオメトリ画像を生成する。ジオメトリ画像は、入力／元のクラウドフレームから任意の方法で生成される。ジオメトリを表現するパッチを２Ｄキャンバス画像内に配置する。しかしながら、オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で埋めるべきである（画像パディング）空き空間／位置が存在する。パディング方法は、再構成された時に元のポイントクラウドにできるだけ近い値を求めて３Ｄ内を探索することを含む。オキュパンシーマップの不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算する。オキュパンシーマップは、いくつかの実施形態では、より低い解像度で符号化することができ、公称解像度にアップサンプリングされた時に、再構成されたポイントクラウドに余分のポイントを追加する。オキュパンシーマップのための他の不可逆的圧縮方法を考えることもできる。ステップ４０２において、圧縮されたオキュパンシーマップを生成する。圧縮されたオキュパンシーマップは、ビデオ圧縮を使用して生成される。圧縮されたオキュパンシーマップを使用して、埋められるべき空き空間を識別する。例えば、圧縮されたオキュパンシーマップを分析して、ジオメトリの境界の隙間を決定する。ステップ４０４において、パディングのために再構成されたポイントを生成するための値を選択するために、探索を実行する。いくつかの実施形態では、２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を行う。例えば、新たに追加されたポイントの位置と、元のポイントクラウドに属するその近隣値とを考慮する。利用可能なポイントの代表値を開始ポイントとして使用することができ、次に、再構成された値が元のポイントクラウドに十分に近くなるまで、この開始ポイントから値を加算／減算する。いくつかの実施形態では、現在の位置に直接隣接する利用可能なポイントの平均又は同様の演算（例えば中央値）を代表値として使用することができる。例えば、３つのポイント（現在の位置の上方に１つ、左側に１つ、及び左上に１つ）が元のポイントクラウド内に存在する場合、それらのポイントを全て使用して、３Ｄ内の探索のための初期値を推定することができる。それらのポイントのサブセットのみが利用可能である場合、限られた数の近隣ポイントを用いて同じ演算を行うことができる。更に、２Ｄ値との類似度、及びパディングされたジオメトリ画像のための良好な圧縮能力を更に維持するために、探索範囲を限定することができる。ステップ４０６において、決定された（再構成された）ポイントで、ポイントクラウドジオメトリをパディングする（例えば、埋める）。具体的には、圧縮に基づいて空いている領域を埋める。いくつかの実施形態では、より少ない又は追加のステップを実装する。例えば、いくつかの実施形態では、この方法は、圧縮されたジオメトリ画像を生成するステップ及び／又はポイントクラウドに対して圧縮されたビットストリームを生成するステップを含む。いくつかの実施形態では、ステップの順序が変更される。

図５に、いくつかの実施形態によるポイントクラウドジオメトリパディングを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置５００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を、取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置５００は、ポイントクラウドジオメトリパディングの態様のいずれかを実装することができる。一般に、コンピュータ装置５００を実装するのに適したハードウェア構造は、ネットワークインタフェース５０２、メモリ５０４、プロセッサ５０６、Ｉ／Ｏデバイス５０８、バス５１０、及び記憶装置５１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ５０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置５１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置５００は、１又は２以上のネットワークインタフェース５０２を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス５０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース及び他のデバイスのうちの１又は２以上を含むことができる。ポイントクラウドジオメトリパディングを実装するのに使用されるポイントクラウドジオメトリパディングアプリケーション５３０は、記憶装置５１２及びメモリ５０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置５００は、図５に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ポイントクラウドジオメトリパディングハードウェア５２０が含まれる。図５のコンピュータ装置５００は、ポイントクラウドジオメトリパディングのためのアプリケーション５３０及びハードウェア５２０を含むが、ポイントクラウドジオメトリパディングは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、ポイントクラウドジオメトリパディングアプリケーション５３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、ポイントクラウドジオメトリパディングハードウェア５２０は、ポイントクラウドジオメトリパディングを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

いくつかの実施形態では、ポイントクラウドジオメトリパディングアプリケーション５３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

ポイントクラウドジオメトリパディング方法を利用するために、装置が３Ｄコンテンツを取得又は受信して、３Ｄコンテンツの適切で効率的な表示を可能にするように最適化された方法でコンテンツを処理及び／又は送信する。ポイントクラウドジオメトリパディングは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

動作時、ポイントクラウドジオメトリパディングは、符号化に関してより効率的である。

ポイントクラウドジオメトリパディングのいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
ポイントクラウドからジオメトリ画像を生成するステップと、
前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、
オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、
を含む方法。

２．前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む、第１項に記載の方法。

３．更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するステップを含む、第１項に記載の方法。

４．更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するステップを含む、第１項に記載の方法。

５．前記３Ｄ空間内の前記探索を実行するステップは、３つの近隣ポイントの平均から開始するステップを含む、第１項に記載の方法。

６．前記３Ｄ空間内の前記探索を実行するステップは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定するステップを含む、第１項に記載の方法。

７．前記３Ｄ空間内の前記探索を実行するステップは、指定された範囲内のポイントのみを探索するステップを含む、第１項に記載の方法。

８．更に、圧縮されたジオメトリ画像を生成するステップを含む、第１項に記載の方法。

９．更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するステップを含む、第１項に記載の方法。

１０．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
ポイントクラウドからジオメトリ画像を生成するステップと、
前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、
オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

１１．前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む、第１０項に記載の装置。

１２．前記アプリケーションは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成される、第１０項に記載の装置。

１３．前記アプリケーションは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成される、第１０項に記載の装置。

１４．前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含む、第１０項に記載の装置。

１５．前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含む、第１０項に記載の装置。

１６．前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含む、第１０項に記載の装置。

１７．前記アプリケーションは、更に、圧縮されたジオメトリ画像を生成するように構成される、第１０項に記載の装置。

１８．前記アプリケーションは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成される、第１０項に記載の装置。

１９．システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
エンコーダであって、
ポイントクラウドからジオメトリ画像を生成し、
前記ジオメトリ画像を２Ｄキャンバス上に配置し、
オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めること、
によって、前記３次元コンテンツを符号化するためのエンコーダと、
を含むシステム。

２０．前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含む、第１９項に記載のシステム。

２１．前記エンコーダは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成される、第１９項に記載のシステム。

２２．前記エンコーダは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成される、第１９項に記載のシステム。

２３．前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含む、第１９項に記載のシステム。

２４．前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含む、第１９項に記載のシステム。

２５．前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含む、第１９項に記載のシステム。

２６．前記エンコーダは、更に、圧縮されたジオメトリ画像を生成するように構成される、第１９項に記載のシステム。

２７．前記エンコーダは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成される、第１９項に記載のシステム。

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

４００ ジオメトリ画像を生成
４０２ 圧縮されたオキュパンシーマップを生成
４０４ パディングのために再構成されたポイントを生成するための値を選択するために探索を実行
４０６ 決定された（再構成された）ポイントでポイントクラウドジオメトリをパディング
５００ コンピュータ装置
５０２ ネットワークインタフェース
５０４ メモリ
５０６ プロセッサ
５０８ Ｉ／Ｏデバイス
５１０ バス
５１２ 記憶装置
５２０ ポイントクラウドジオメトリパディングハードウェア
５３０ ポイントクラウドジオメトリパディングアプリケーション

Claims (27)

1. 装置の非一時的メモリにプログラムされた方法であって、
   ポイントクラウドからジオメトリ画像を生成するステップと、
   前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、
   オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、
   を含むことを特徴とする方法。
2. 前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含むことを特徴とする、請求項１に記載の方法。
3. 更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するステップを含むことを特徴とする、請求項１に記載の方法。
4. 更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するステップを含むことを特徴とする、請求項１に記載の方法。
5. 前記３Ｄ空間内の前記探索を実行するステップは、３つの近隣ポイントの平均から開始するステップを含むことを特徴とする、請求項２に記載の方法。
6. 前記３Ｄ空間内の前記探索を実行するステップは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定するステップを含むことを特徴とする、請求項２に記載の方法。
7. 前記３Ｄ空間内の前記探索を実行するステップは、指定された範囲内のポイントのみを探索するステップを含むことを特徴とする、請求項２に記載の方法。
8. 更に、圧縮されたジオメトリ画像を生成するステップを含むことを特徴とする、請求項１に記載の方法。
9. 更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するステップを含むことを特徴とする、請求項１に記載の方法。
10. 装置であって、
    アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
    ポイントクラウドからジオメトリ画像を生成するステップと、
    前記ジオメトリ画像を２Ｄキャンバス上に配置するステップと、
    オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めるステップと、
    を実行するためのものである、非一時的メモリと、
    前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
    を含むことを特徴とする装置。
11. 前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含むことを特徴とする、請求項１０に記載の装置。
12. 前記アプリケーションは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成されることを特徴とする、請求項１０に記載の装置。
13. 前記アプリケーションは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成されることを特徴とする、請求項１０に記載の装置。
14. 前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含むことを特徴とする、請求項１１に記載の装置。
15. 前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含むことを特徴とする、請求項１１に記載の装置。
16. 前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含むことを特徴とする、請求項１１に記載の装置。
17. 前記アプリケーションは、更に、圧縮されたジオメトリ画像を生成するように構成されることを特徴とする、請求項１０に記載の装置。
18. 前記アプリケーションは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成されることを特徴とする、請求項１０に記載の装置。
19. システムであって、
    ３次元コンテンツを取得するための１又は２以上のカメラと、
    エンコーダであって、
    ポイントクラウドからジオメトリ画像を生成し、
    前記ジオメトリ画像を２Ｄキャンバス上に配置し、
    オキュパンシーマップの不可逆的圧縮に起因して、新たに追加されたポイントの３Ｄ位置を考慮するパディング方法で、前記２Ｄキャンバス上の空き空間を埋めること、
    によって、前記３次元コンテンツを符号化するためのエンコーダと、
    を含むことを特徴とするシステム。
20. 前記パディング方法は、再構成された時に前記ポイントクラウドにできるだけ近い値を求めて３Ｄ空間内を探索することを含むことを特徴とする、請求項１９に記載のシステム。
21. 前記エンコーダは、更に、前記オキュパンシーマップの前記不可逆的圧縮に起因して、再構成されたポイントクラウドに新たな値を加算するように構成されることを特徴とする、請求項１９に記載のシステム。
22. 前記エンコーダは、更に、前記２Ｄキャンバス内の局所ポイントの代表値を中心とする限られた範囲の値を探索することによって、３Ｄ空間内の探索を実行するように構成されることを特徴とする、請求項１９に記載のシステム。
23. 前記３Ｄ空間内の前記探索を実行することは、３つの近隣ポイントの平均から開始することを含むことを特徴とする、請求項２０に記載のシステム。
24. 前記３Ｄ空間内の前記探索を実行することは、値を順次加算又は減算して、値を反復比較して、置換ポイントを決定することを含むことを特徴とする、請求項２０に記載のシステム。
25. 前記３Ｄ空間内の前記探索を実行することは、指定された範囲内のポイントのみを探索することを含むことを特徴とする、請求項２０に記載のシステム。
26. 前記エンコーダは、更に、圧縮されたジオメトリ画像を生成するように構成されることを特徴とする、請求項１９に記載のシステム。
27. 前記エンコーダは、更に、前記ポイントクラウドに対して圧縮されたビットストリームを生成するように構成されることを特徴とする、請求項１９に記載のシステム。

Images