JP2023533416A - ビデオベースの点群コーディングのための条件付き再着色 - Google Patents

Abstract

ビデオ点群コーディングを使用してビデオストリームを符号化する方法および装置は、ソース点群を取得するステップと、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成するステップと、ロッシーコーディングを使用し、再着色を使用せずに、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成するステップであって、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである、ステップと、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得するステップと、取得された点の色に基づいてテクスチャピクセルの色を選択するステップと、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成するステップとを含む。

Description

［関連出願の相互参照］
本出願は、２０２１年６月４日に出願された米国仮出願第６３／１９７，１９６号および２０２１年１０月６日に出願された米国出願第１７／４９５，３０１号の優先権を主張するものであり、これらの出願の開示は、その全体が参照により本明細書に組み込まれる。

［技術分野］
本開示は、一連の高度ビデオコーディング技術、より具体的には、条件付き再着色色転写を含むビデオベースの点群圧縮を対象とする。

世界の高度な３次元（３Ｄ）表現は、より没入型の対話および通信を可能にしている。それらはまた、機械が我々の世界を理解し、解釈し、ナビゲートすることを可能にする。点群は、世界の３Ｄ表現として広く使用されてきた。例えば、物体検出および位置特定のために自律走行車において、地図作成のための地理情報システム（ＧＩＳ）において、ならびに文化遺産の文化財およびコレクションなどを視覚化およびアーカイブするために文化遺産において、使用され得る。点群データに関連付けられたいくつかのユースケースが特定されており、点群表現および圧縮に対するいくつかの対応する要件が開発された。

点群は、それぞれが３Ｄ位置情報と、色、反射率などの追加の属性とを含む、高次元点、例えば３次元（３Ｄ）の集合を含む。それらは、複数のカメラおよび深度センサ、または様々なセットアップにおいてライダーを使用してキャプチャすることができ、元のシーンをリアルに表現するために数千から数十億の点で構成され得る。

より高速な送信またはストレージの低減のために、点群を表すのに必要なデータ量を低減するための圧縮技術が必要とされる。ＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、静的クラウドまたは動的クラウドのための圧縮技法を標準化するためにアドホックグループ（ＭＰＥＧ－ＰＣＣ）を設立した。

諸実施形態では、ビデオ点群コーディングを使用してビデオストリームを符号化する方法は、少なくとも１つのプロセッサによって実行され、ソース点群を取得するステップと、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成するステップと、ロッシーコーディングを使用し、再着色を使用せずに、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成するステップであって、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである、ステップと、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得するステップと、取得された点の色に基づいてテクスチャピクセルの色を選択するステップと、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成するステップとを含む。

諸実施形態では、ビデオ点群コーディングを使用してビデオストリームを符号化するための装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードによる命令通りに動作するように構成された少なくとも１つのプロセッサとを含み、プログラムコードは、少なくとも１つのプロセッサに、ソース点群を取得させるように構成された第１の取得コードと、少なくとも１つのプロセッサに、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成させるように構成された第１の生成コードと、少なくとも１つのプロセッサに、ロッシーコーディングを使用し、再着色を使用せずに、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成させるように構成された第２の生成コードであって、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである、第２の生成コードと、少なくとも１つのプロセッサに、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得させるように構成された第２の取得コードと、少なくとも１つのプロセッサに、取得された点の色に基づいてテクスチャピクセルの色を選択させるように構成された選択コードと、少なくとも１つのプロセッサに、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成させるように構成された第３の生成コードとを含む。

諸実施形態では、ビデオ点群コーディングを使用してビデオストリームを符号化するコンピュータ命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ソース点群を取得することと、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成することと、ロッシーコーディングを使用し、再着色を使用せずに、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成することであって、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである、生成させることと、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得することと、取得された点の色に基づいてテクスチャピクセルの色を選択することと、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成することとを行わせる、非一時的コンピュータ可読媒体。

開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態によるストリーミングシステムの簡略ブロック図の概略図である。 一実施形態によるビデオエンコーダの簡略ブロック図の概略図である。 一実施形態によるビデオデコーダの簡略ブロック図の概略図である。 一実施形態による、ソース点群と再構成された点群との間の順方向探索の一例を示す。 一実施形態による、ソース点群と再構成された点群との間の逆方向探索の一例を示す。 一実施形態による、再着色ありのエンコーダパイプラインの一例を示す。 一実施形態による、再着色なしのエンコーダパイプラインの一例を示す。 一実施形態による、部分的に占有されたブロックの一例を示す。 一実施形態によって実行されるプロセスを示すフロー図である。 一実施形態によって実行されるプロセスを示すフロー図である。 一実施形態によるデバイスを示す図である。 実施形態を実装するのに適したコンピュータシステムの図である。

ビデオベースの点群圧縮（Ｖ－ＰＣＣ）の背後にある考慮事項は、既存のビデオコーデックを活用して、動的点群のジオメトリ、占有、およびテクスチャを３つの別個のビデオシーケンスとして圧縮することである。３つのビデオシーケンスを解釈するために必要とされる余分なメタデータは、別々に圧縮され得る。全体のビットストリームのほんの一部がメタデータであり、これは、ソフトウェア実装を使用して効率的に符号化／復号され得る。情報の大部分は、ビデオコーデックによって処理され得る。

本開示の実施形態は、反復平滑化フレームワークにおける過剰平滑化を回避するためのアニーリング反復ジオメトリ平滑化に関する。本開示の実施形態は、純粋な中央値を使用した場合の計算の複雑さを低減することを目的として、平均統計値と中央値統計値との組合せを使用して基準点を導出することに関する。

図１～図４を参照して、本開示の符号化構造および復号構造を実装するための本開示の実施形態が説明される。本開示の符号化構造および復号構造は、上記で説明したＶ－ＰＣＣの態様を実装し得る。

図１は、本開示の一実施形態による通信システム１００の簡略ブロック図を示す。システム１００は、ネットワーク１５０を介して相互接続された少なくとも２つの端末１１０、１２０を含み得る。データの単方向送信の場合、第１の端末１１０は、ネットワーク１５０を介して他の端末１２０に送信するために、ローカルロケーションにおいてビデオデータをコード化し得る。第２の端末１２０は、ネットワーク１５０から他の端末のコード化ビデオデータを受信し、コード化データを復号し、復元されたビデオデータを表示し得る。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であり得る。

図１は、例えば、テレビ会議中に起こり得るコード化ビデオの双方向送信をサポートするために設けられた端末１３０、１４０の第２のペアを示す。データの双方向送信の場合、各端末１３０、１４０は、ネットワーク１５０を介して他の端末に送信するために、ローカルロケーションにおいてキャプチャされたビデオデータをコード化し得る。各端末１３０、１４０はまた、他の端末によって送信されたコード化ビデオデータを受信し得、コード化データを復号し得、復元されたビデオデータをローカルディスプレイデバイスに表示し得る。

図１において、端末１１０～１４０は、例えば、サーバ、パーソナルコンピュータ、およびスマートフォン、ならびに／または任意の他のタイプの端末であり得る。例えば、端末（１１０～１４０）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器であり得る。ネットワーク１５０は、例えば、ワイヤラインおよび／またはワイヤレスの通信ネットワークを含む、端末１１０～１４０の間でコード化ビデオデータを搬送する任意の数のネットワークを表す。通信ネットワーク１５０は、回線交換チャネルおよび／またはパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークとしては、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットが挙げられる。本議論の目的のために、ネットワーク１５０のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

図２は、開示された主題のためのアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびデコーダの配置を示す。開示される主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションで使用され得る。

図２に示すように、ストリーミングシステム２００は、ビデオソース２０１とエンコーダ２０３とを含むキャプチャサブシステム２１３を含み得る。ストリーミングシステム２００は、少なくとも１つのストリーミングサーバ２０５および／または少なくとも１つのストリーミングクライアント２０６をさらに含み得る。

ビデオソース２０１は、例えば、３Ｄビデオに対応する３Ｄ点群を含むストリーム２０２を作成することができる。ビデオソース２０１は、例えば、３Ｄセンサ（例えば、深度センサ）または３Ｄ撮像技術（例えば、デジタルカメラ（複数可））と、３Ｄセンサまたは３Ｄ撮像技術から受信したデータを使用して３Ｄ点群を生成するように構成されたコンピューティングデバイスとを含み得る。符号化されたビデオビットストリームと比較して高いデータ量を有し得るサンプルストリーム２０２は、ビデオソース２０１に結合されたエンコーダ２０３によって処理され得る。エンコーダ２０３は、以下でより詳細に説明するように、開示される主題の態様を可能にするかまたは実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含むことができる。エンコーダ２０３はまた、符号化されたビデオビットストリーム２０４を生成し得る。圧縮されていないストリーム２０２と比較してより低いデータ量を有し得る符号化されたビデオビットストリーム２０４は、将来の使用のためにストリーミングサーバ２０５に記憶され得る。１つまたは複数のストリーミングクライアント２０６は、ストリーミングサーバ２０５にアクセスして、符号化されたビデオビットストリーム２０４のコピーであり得るビデオビットストリーム２０９を取り出すことができる。

ストリーミングクライアント２０６は、ビデオデコーダ２１０およびディスプレイ２１２を含むことができる。ビデオデコーダ２１０は、例えば、入ってきた、符号化されたビデオビットストリーム２０４の受信コピーであるビデオビットストリーム２０９を復号し、ディスプレイ２１２または別のレンダリングデバイス（図示せず）上でレンダリングされ得る発信ビデオサンプルストリーム２１１を作成することができる。いくつかのストリーミングシステムでは、ビデオビットストリーム２０４、２０９は、特定のビデオコーディング／圧縮規格にしたがって符号化され得る。そのような規格の例としは、ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）、およびＭＰＥＧ／Ｖ－ＰＣＣが挙げられるが、これらに限定されない。

図３～図４を参照して、本開示の実施形態によって実行され得るＶ－ＰＣＣのいくつかの態様が以下で説明される。

図３は、本開示の一実施形態によるビデオエンコーダ２０３の例示的な機能ブロック図を示す。

図３に示されているように、ビデオエンコーダ２０３は、点群フレーム（複数可）３５０を受信し、点群フレーム３５０に基づいて、ジオメトリ画像３５２、テクスチャ画像３５６、および占有マップ３３４を生成し得る。ビデオエンコーダ２０３は、ジオメトリ画像３５２を圧縮されたジオメトリ画像３６２に、テクスチャ画像３５６を圧縮されたテクスチャ画像３６４に、占有マップ３３４を圧縮された占有マップ３７２に圧縮し得る。ビデオエンコーダ２０３のマルチプレクサ３２８は、圧縮されたジオメトリ画像３６２、圧縮されたテクスチャ画像３６４、および圧縮された占有マップ３７２を含む圧縮ビットストリーム３７４を形成し得る。

より具体的には、諸実施形態では、ビデオエンコーダ２０３は、点群フレーム３５０をパッチにセグメント化するパッチ生成モジュール３０２を含み得る。パッチは、Ｖ－ＰＣＣの有用なエンティティである。パッチ生成プロセスは、再構成誤差を最小限に抑えつつ、点群フレーム３５０を、滑らかな境界を有する最小数のパッチに分解することを含む。本開示のエンコーダは、そのような分解を生成するために様々な方法を実装し得る。

ビデオエンコーダ２０３は、パッキングプロセスを実行するパッチパッキングモジュール３０４を含み得る。パッキングプロセスは、未使用空間を最小限に抑えるとともに、グリッドのすべてのＭ×Ｍ（例えば、１６×１６）ブロックが固有のパッチに関連付けられることを保証しつつ、抽出されたパッチを２Ｄグリッド上にマッピングすることを含む。効率的なパッチパッキングは、未使用空間を最小限に抑えるか、または時間的一貫性を保証することによって、圧縮効率に直接影響を与える。パッチパッキングモジュール３０４は、占有マップ３３４を生成し得る。

ビデオエンコーダ２０３は、ジオメトリ画像生成モジュール３０６およびテクスチャ画像生成モジュール３０８を含み得る。複数の点が同じサンプルに投影される場合により良く対処するために、各パッチは、レイヤと呼ばれる２つの画像に投影され得る。例えば、ジオメトリ画像生成モジュール３０６およびテクスチャ画像生成モジュール３０８は、パッチパッキングモジュール３０４のパッキングプロセス中に計算された３Ｄから２Ｄへのマッピングを活用して、点群のジオメトリおよびテクスチャを画像（レイヤとしても知られる）として記憶し得る。生成された画像／レイヤは、ビデオフレーム（複数可）として記憶され、パラメータとして提供される構成にしたがってビデオコーデック（例えば、ＨＭビデオコーデック）を使用して圧縮され得る。

諸実施形態では、入力点群フレーム３５０および占有マップ３３４に基づいて、ジオメトリ画像生成モジュール３０６がジオメトリ画像３５２を生成し、テクスチャ画像生成モジュール３０８がテクスチャ画像３５６を生成する。一実施形態では、ジオメトリ画像３５２は、ＹＵＶ４２０－８ビットフォーマットのＷ×Ｈの単色フレームによって表され得る。一実施形態では、占有マップ３３４の画像は、グリッドの各セルについて、それが空き空間に属するか点群に属するかを示すバイナリマップから構成される。テクスチャ画像３５６を生成するために、テクスチャ画像生成モジュール３０８は、再構成された／平滑化されたジオメトリ３５８を活用して、再サンプリングされる点に関連付けられるべき色を計算し得る。

ビデオエンコーダ２０３はまた、パディングされたジオメトリ画像３５４およびパディングされたテクスチャ画像３６０を形成するためにそれぞれジオメトリ画像３５２およびテクスチャ画像３５６をパディングするための画像パディングモジュール３１４および画像パディングモジュール３１６を含み得る。画像パディング（背景充填としても知られる）は、単に、画像の未使用空間を冗長情報で充填する。良好な背景充填とは、ビットレートの増加が最小限であり、パッチ境界の周りに著しいコーディング歪みを発生させないものである。画像パディングモジュール３１４および画像パディングモジュール３１６は、占有マップ３３４を使用して、それぞれ、パディングされたジオメトリ画像３５４およびパディングされたテクスチャ画像３６０を形成し得る。一実施形態では、ビデオエンコーダ２０３は、パディングされたテクスチャ画像３６０を形成するためのグループ拡張モジュール３２０を含み得る。

ビデオエンコーダ２０３は、パディングされたジオメトリ画像３５４およびパディングされたテクスチャ画像３６０を、それぞれ圧縮されたジオメトリ画像３６２および圧縮されたテクスチャ画像３６４に圧縮するためのビデオ圧縮モジュール３２２およびビデオ圧縮モジュール３２４を含み得る。

ビデオエンコーダ２０３は、占有マップ３３４のロスレス符号化３６６のためのエントロピー圧縮モジュール３１８と、占有マップ３３４のロッシー符号化３６８のためのビデオ圧縮モジュール３２６とを含み得る。

諸実施形態では、ビデオエンコーダ２０３は、ビデオ圧縮モジュール３２２によって提供される再構成されたジオメトリ画像３６５とパッチ情報３３２とを使用することによって、平滑化されたジオメトリ３５８を生成するための平滑化モジュール３１０を含み得る。平滑化モジュール３１０の平滑化手順は、圧縮アーチファクトに起因してパッチ境界において生じ得る潜在的な不連続性を軽減することを目的とし得る。平滑化されたジオメトリ３５８は、テクスチャ画像３５６を生成するためにテクスチャ画像生成モジュール３０８によって使用され得る。

ビデオエンコーダ２０３はまた、マルチプレクサ３２８によって圧縮ビットストリーム３７４中で提供される圧縮された補助パッチ情報３７０を形成するための補助パッチ情報圧縮モジュール３１２を含み得る。

図４は、本開示の一実施形態によるビデオデコーダ２１０の例示的な機能ブロック図を示す。

図４に示されているように、ビデオデコーダ２１０は、圧縮されたテクスチャ画像３６２、圧縮されたジオメトリ画像３６４、圧縮された占有マップ３７２、および圧縮された補助パッチ情報３７０を取得するために、ビデオエンコーダ２０３からコード化ビットストリーム３７４を受信し得る。ビデオデコーダ２１０は、圧縮されたテクスチャ画像３６２、圧縮されたジオメトリ画像３６４、圧縮された占有マップ３７２、および圧縮された補助パッチ情報３７０を復号して、それぞれ、解凍されたテクスチャ画像４６０、解凍されたジオメトリ画像４６２、解凍された占有マップ４６４、および解凍された補助パッチ情報４６６を取得し得る。続いて、ビデオデコーダ２１０は、解凍されたテクスチャ画像４６０、解凍されたジオメトリ画像４６２、解凍された占有マップ４６４、および解凍された補助パッチ情報４６６に基づいて、再構成された点群４７４を生成し得る。

諸実施形態では、ビデオデコーダ２１０は、受信された圧縮ビットストリーム３７４の圧縮されたテクスチャ画像３６２、圧縮されたジオメトリ画像３６４、圧縮された占有マップ３７２、および圧縮された補助パッチ情報３７０を分離するデマルチプレクサ４０２を含み得る。

ビデオデコーダ２１０は、それぞれ、圧縮されたテクスチャ画像３６２、圧縮されたジオメトリ画像３６４、圧縮された占有マップ３７２、および圧縮された補助パッチ情報３７０を復号する、ビデオ解凍モジュール４０４、ビデオ解凍モジュール４０６、占有マップ解凍モジュール４０８、および補助パッチ情報解凍モジュール４１０を含み得る。

ビデオデコーダ２１０は、解凍されたジオメトリ画像４６２、解凍された占有マップ４６４、および解凍された補助パッチ情報４６６に基づいて、再構成された（３次元）ジオメトリ４６８を取得するジオメトリ再構成モジュール４１２を含み得る。

ビデオデコーダ２１０は、平滑化されたジオメトリ４７０を取得するために、再構成されたジオメトリ４６８を平滑化する平滑化モジュール４１４を含み得る。平滑化手順は、圧縮アーチファクトに起因してパッチ境界において生じ得る潜在的な不連続性を軽減することを目的とし得る。

ビデオデコーダ２１０は、解凍されたテクスチャ画像４６０および平滑化されたジオメトリ４７０に基づいて、再構成されたテクスチャ４７２を取得するためのテクスチャ再構成モジュール４１６を含み得る。

ビデオデコーダ２１０は、再構成された点群４７４を取得するために、再構成されたテクスチャ４７２の色を平滑化する色平滑化モジュール４１８を含み得る。３Ｄ空間における隣接しないパッチは、２Ｄビデオにおいて互いに隣接してパックされることが多い。これは、隣接しないパッチからのピクセル値がブロックベースのビデオコーデックによって混合され得ることを暗示する。色平滑化モジュール４１８の色平滑化は、パッチ境界に現れる可視アーチファクトを軽減することを目的とし得る。

ビデオベースの点群圧縮（Ｖ－ＰＣＣ）における再着色
Ｖ－ＰＣＣに対応し得るＭＰＥＧ ＰＣＣテストモデルカテゴリ２（ＴＭＣ２）モデルでは、ジオメトリがロッシーコード化され、複製された位置がマージされるとき、色転写と呼ばれることがある再着色プロセスがエンコーダ側で適用され得る。再着色アルゴリズムの一例を、図５および図６を参照して以下に示す。

ソース点群５０２、属性、および再構成された点群５０４に含まれるターゲット点ｐ_ｒが与えられると、色転写手順、すなわち、再着色プロセスは、属性歪みを最小限に抑える再構成された点群の属性値を決定し得る。この手法は、以下のように実施され得る：

各ターゲット点ｐ_ｒについて、
１ － ソース点群５０２においてｐ_ｒまでの最近傍点をＮ_１（１＜Ｎ_１）個見つけ、Ψ_１で表される点の集合を作成する。これは、図５に示されるような順方向探索に対応し得る。
２ － ｐ_ｒが、再構成された点群５０４内のＮ_２個の最近傍点の集合に属するようなソース点群５０２内の点の集合を見つける。この点の集合をΨ_２で表す。これは、図６に示されるような順方向探索に対応し得る。
３ － Ψ_１およびΨ_２内の点の距離加重平均を、次式によって計算する：

ここで、Δ（ａ，ｂ）は点ａと点ｂとの間のユークリッド距離を表し、ｃ（ｑ）は点ｑの色を表す。

５ － いくつかの実施形態では、重心点からの逆方向探索は、重心色に対するそれらの絶対差がしきい値ｔｈ_ｃよりも大きい場合、点を除外するために使用され得る。

ＴＭＣ２の現在の設計では、最近傍探索にＫ次元（ＫＤ）ツリーデータ構造が利用され、再構成された点群中のすべての点に再着色動作が適用されるので、再着色プロセスはかなり複雑であり得る。

諸実施形態では、元の点群からテクスチャマップを直接生成することによって、再着色プロセス全体をバイパスすることができる。諸実施形態では、再着色プロセスは、条件付きで適用されてもよい。例えば、再着色プロセスは、ロッシージオメトリ圧縮に起因するジオメトリ歪みがより大きい領域に適用されてもよい。

本明細書に開示される実施形態は、別々に使用されてもよいし、任意の順序で組み合わされてもよい。さらに、実施形態の各々、例えばエンコーダおよびデコーダは、処理回路（例えば、１つまたは複数のプロセッサまたは１つまたは複数の集積回路）によって実装されてもよい。一例では、１つまたは複数のプロセッサが、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

バイパス再着色
図７Ａに示されているように、Ｖ－ＰＣＣでは、ジオメトリがロッシーコード化されるときに再着色が適用され得、再構成された点群中の色は、再構成されたジオメトリに基づいて再計算されるか、または例えば補間される。次いで、再着色された点群に基づいてテクスチャマップが生成される。

例えば、図７Ａから分かるように、再着色が使用されるプロセス７００Ａでは、占有マップ７１１およびジオメトリマップ７１２は、入力点群７１０から生成され得る。次いで、ロッシーコーディングを使用して、再構成された占有マップ７１３および再構成されたジオメトリマップ７１４が生成され得、再構成された占有マップ７１３および再構成されたジオメトリマップ７１４に基づいて、ジオメトリ再構成された点群７１５が生成され得る。このジオメトリ再構成された点群７１５は、入力点群７１０を使用して再着色されて、再着色された点群７１６が生成され得、この再着色された点群７１６を占有マップ７１１とともに使用して、テクスチャマップ７１７を生成し得る。ロッシーコーディングを使用して再構成されたテクスチャマップ７１８が生成され得、再構成されたテクスチャマップ７１８およびジオメトリ再構成された点群７１５を使用して再構成された点群７１９が生成され得る。

諸実施形態では、テクスチャマップは、ジオメトリマップを生成するときに、入力点群から直接生成され得、次いで、生成された占有マップ、ジオメトリマップ、およびテクスチャマップがコード化および再構成され得る。この例が図７Ｂに示されており、ここでは、再着色プロセスを完全に除去することができており、全体的なワークフローが大幅に簡略化されている。

例えば、図７Ｂから分かるように、再着色が使用されないプロセス７００Ｂでは、占有マップ７２１、ジオメトリマップ７２２、およびテクスチャマップ７２３は、入力点群７１０から直接生成され得、ロッシーコーディングを使用して、再構成された占有マップ７２１、再構成されたジオメトリマップ７２２、および再構成されたテクスチャマップ７２３が生成され得る。次いで、再構成された占有マップ７２１、再構成されたジオメトリマップ７２２、および再構成されたテクスチャマップ７２３を使用して再構成された点群７２７が生成され得る。

諸実施形態では、ジオメトリマップを使用してテクスチャマップが生成され得る。テクスチャマップは、ジオメトリマップと同じ解像度を有し得、それらは同じアトラス情報を共有する。Ｔ_ｘ，ｙがテクスチャマップ内の占有ピクセルであり、Ｇ_ｘ，ｙがジオメトリマップ内の対応するピクセルであり、それらが３Ｄ空間内の同じ点Ｐに対応すると仮定する。次いで、Ｐの元の色値をＴ_ｘ，ｙの値として割り当てることができる。

占有マップがロッシーコード化される場合、バイパス再着色によって生成されたテクスチャマップは、再構成された占有マップに基づいてさらに処理され得る。したがって、再構成されたフルサイズ占有マップでは占有されているが、元のフルサイズ占有マップでは占有されていない「半占有」ピクセルは、いくつかの値で充填され得る。

占有マップの歪みは、２つの主要因、すなわち、占有マップダウンサンプリングおよび占有マップのロッシー圧縮によって引き起こされ得る。占有マップがＢ×Ｂブロックの精度でロスレスコード化され、Ｂ＞１が整数であると仮定する。この場合では、占有マップブロックが少なくとも１つの点によって占有されるとき、再構成された占有マップ内のブロックのすべての点が占有されることとなる。

Ｂ＝４である例を検討する。図８に示すように、４×４ブロックは部分的に占有されており、ここでは、「Ｘ」とマークされたピクセルが占有されており、テクスチャマップ内の対応するピクセルが有効である。残りのピクセルは、元の占有マップでは占有されていないが、再構成された占有マップでは占有されているので、「半占有」と定義される。したがって、再構成されたブロックでは、「半占有」ピクセルは占有されていると見なされるであろう。諸実施形態では、「半占有」ピクセルは、再構成品質を改善するために適切な値で充填され得る。充填された値は、画像内の占有ピクセルによって決定することができる。

諸実施形態では、「半占有」ピクセルの充填プロセスは、Ｂ×Ｂ非重複ブロックベースで実行される。各Ｂ×Ｂブロックについて、「半占有」ピクセルは、同じブロック内の占有ピクセルの平均値で充填される。

諸実施形態では、「半占有」ピクセルの充填プロセスは、Ｂ×Ｂ非重複ブロックベースで実行される。各Ｂ×Ｂブロックについて、「半占有」ピクセルは、同じブロック内で占有される最近傍ピクセルの数の平均値で充填される。平均化は、充填されたピクセルまでの距離によって重み付けすることができる。

諸実施形態では、「半占有」ピクセルの充填プロセスは、画像全体にわたって実行される。各「半占有」ピクセルについて、画像内で占有されている最近傍ピクセルの数の平均値で充填することができる。平均化は、充填されたピクセルまでの距離によって重み付けすることができる。

条件付き再着色
条件付き再着色は、通常の再着色方式とバイパス再着色方式（bypass
recolor scheme）との間のトレードオフを伴い得る。諸実施形態では、テクスチャマップ内のピクセルの一部は、バイパス再着色方式によって元の点群から直接導出することができ、ピクセルの残りは、通常の再着色アルゴリズムによって再構成された点群から導出することができる。ピクセルに適用される方法に関する決定は、３Ｄにおける対応する点のジオメトリ歪みに依存し得る。例えば、ジオメトリ歪みが大きい場合には、通常の再着色が適用され、そうでない場合には、バイパス再着色が適用される。ジオメトリ歪みは、ジオメトリマップの歪みおよび占有マップの歪みから構成されることに留意されたい。

諸実施形態では、ジオメトリ、例えば、ジオメトリマップおよび占有マップがロスレスコード化される場合、バイパス再着色がテクスチャマップのすべてのピクセルに適用され得、通常の再着色方式は省略され得る。

諸実施形態では、「半占有」ピクセルは、通常の再着色方式によって処理され得る。

諸実施形態では、少なくとも「半占有」ピクセルを含んでいるＢ×Ｂブロックのすべてのピクセルが、通常の再着色方式によって処理され得る。

諸実施形態では、元のジオメトリマップと、圧縮後の対応する再構成されたジオメトリマップとが比較され得る。所与の２Ｄ位置について、ジオメトリマップ内の対応するピクセル値が圧縮によって大きく異なる場合、テクスチャマップ内の対応するピクセルは、通常の再着色方式によって処理され得、そうでない場合、バイパス再着色方式によって処理され得る。しきい値は、ジオメトリ変化が大きいか否かを決定するために定義され得る。しきい値は、すべてのシーケンスに対して固定され得るか、またはシーケンスごとに変更され得るか、またはシーケンスごとに適応的に更新され得る。しきい値は、ハイレベルシンタックス情報またはメタデータとしてビットストリーム中で送られ得る。

本明細書に開示される実施形態における条件の任意の組合せが適用され得ることに留意されたい。

したがって、諸実施形態では、テクスチャマップは、再構成された点群からの再着色なしに入力点群から直接生成され得、これはバイパス再着色方式と呼ばれることがある。占有マップがロッシーコード化される場合、バイパス再着色によって生成されたテクスチャマップは、再構成された占有マップに基づいてさらに処理され得る。目標は、再構成されたフルサイズ占有マップでは占有されているが、元のフルサイズ占有マップでは占有されていない「半占有」ピクセルをいくつかの値で充填することであり得る。充填される値は、画像内の占有ピクセルによって決定され得る。「半占有」ピクセルの充填プロセスは、Ｂ×Ｂ非重複ブロックベースで実行することができる。「半占有」ピクセルの充填プロセスは、画像全体にわたって実行することができる。

諸実施形態では、テクスチャマップ内のピクセルの一部は、バイパス再着色方式によって元の点群から直接導出することができ、ピクセルの残りは、通常の再着色アルゴリズムによって再構成された点群から導出され、これは、条件付き再着色方式と呼ばれることがある。ピクセルに適用される方法に関する決定は、３Ｄにおける対応する点のジオメトリ歪みに依存することができる。ジオメトリ歪みが大きい場合には、、通常の再着色が適用され得、そうでない場合には、、バイパス再着色が適用され得る。なお、ジオメトリ歪みには、ジオメトリマップの歪みおよび占有マップの歪みが含まれ得る。

図９Ａは、ビデオ点群コーディングを使用してビデオストリームを符号化する方法９００Ａのフローチャートである。いくつかの実装形態では、図９Ａの１つまたは複数のプロセスブロックは、エンコーダ２０３によって実行され得る。いくつかの実装形態では、図９Ａの１つまたは複数のプロセスブロックは、デコーダ２１０など、エンコーダ２０３とは別個のまたはそれを含む別のデバイスまたはデバイスのグループによって実行され得る。

図９Ａに示されるように、動作９１１において、方法９００Ａは、ソース点群を取得することを含み得る。

動作９１２において、方法９００Ａは、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成することを含み得る。

動作９１３において、方法９００Ａは、ロッシーコーディングを使用して、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成することを含み得、ここにおいて、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである。諸実施形態では、再構成されたジオメトリマップおよび再構成されたテクスチャマップは、再着色を使用せずに生成され得る。

動作９１４において、方法９００Ａは、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得することを含み得る。

動作９１５において、方法９００Ａは、取得された点の色に基づいてテクスチャピクセルの色を選択することを含み得る。

動作９１６において、方法９００Ａは、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成することを含み得る。

図９Ｂは、ビデオ点群コーディングを使用してビデオストリームを符号化する方法９００Ｂのフローチャートである。いくつかの実装形態では、図９Ｂの１つまたは複数のプロセスブロックは、エンコーダ２０３によって実行され得る。いくつかの実装形態では、図９Ｂの１つまたは複数のプロセスブロックは、デコーダ２１０など、エンコーダ２０３とは別個のまたはそれを含む別のデバイスまたはデバイスのグループによって実行され得る。

図９Ｂに示されるように、動作９２１において、方法９００Ｂは、ソース点群に基づいて占有マップを生成することを含み得る。

動作９２２において、方法９００Ｂは、ロッシーコーディングを使用して、再構成された占有マップを生成することを含み得、ここにおいて、再構成された占有マップの解像度は、再構成されたジオメトリマップの解像度および再構成されたテクスチャマップの解像度と同じである。諸実施形態では、再構成された占有マップは、再着色を使用せずに生成され得る。

諸実施形態では、テクスチャピクセルの色は、占有マップに基づいて選択され得る。

諸実施形態では、テクスチャピクセルは、占有マップでは占有されておらず、再構成された占有マップでは占有されている半占有ピクセルに対応し得、テクスチャピクセルの色は、同一ブロック内の複数の占有ピクセルの平均値に基づいて選択され得る。

諸実施形態では、テクスチャピクセルは、占有マップでは占有されておらず、再構成された占有マップでは占有されている半占有ピクセルに対応し得、テクスチャピクセルの色は、複数の最近傍占有ピクセルの距離加重平均値に基づいて選択され得る。

諸実施形態では、テクスチャピクセルは、占有マップで占有され、再構成された占有マップで占有される占有ピクセルに対応し得、占有マップでは占有されておらず、再構成された占有マップでは占有されている半占有ピクセルの色値は、再着色を使用して決定され得る。

諸実施形態では、半占有ピクセルを含むブロックに含まれる複数のピクセルの複数の色値は、再着色を利用して決定され得る。

諸実施形態では、点は、ジオメトリマップと再構成されたジオメトリマップとの間の比較に基づいて取得され得る。

図９Ａ～図９Ｂは、方法９００Ａおよび９００Ｂの例示的なブロックを示すが、いくつかの実装形態では、方法９００Ａおよび９００Ｂは、図９Ａ～図９Ｂに示されたブロックと比べて、追加のブロック、より少ないブロック、異なるブロック、または異なるように配置されたブロックを含み得る。追加的に、または代替的に、方法９００Ａのブロックのうちの２つ以上が並列に実行され得る。諸実施形態では、図９Ａ～図９Ｂの任意のブロックは、必要に応じて、図９Ａ～図９Ｂの任意の他の１つまたは複数のブロックと任意の順序または量で組み合わせられ得る。

図１０は、実施形態による、ビデオ点群コーディングを使用してビデオストリームを符号化するための装置１０００の図である。図１０に示すように、装置８００は、第１の取得コード１０１０と、第１の生成コード１０２０と、第２の生成コード１０３０と、第２の取得コード１０４０と、選択コード１０５０と、第３の生成コード１０６０とを含む。

第１の取得コード１０１０は、少なくとも１つのプロセッサに、ソース点群を取得させるように構成され得る。

第１の生成コード１０２０は、少なくとも１つのプロセッサに、ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成させるように構成され得る。

第２の生成コード１０３０は、少なくとも１つのプロセッサに、ロッシーコーディングを使用して、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成させるように構成され得、ここにおいて、再構成されたジオメトリマップの解像度は、再構成されたテクスチャマップの解像度と同じである。

第２の取得コード１０４０は、少なくとも１つのプロセッサに、ジオメトリマップのジオメトリピクセルおよびテクスチャマップのテクスチャピクセルに対応するソース点群の点を取得させるように構成され得る。

選択コード１０５０は、少なくとも１つのプロセッサに、取得された点の色に基づいてテクスチャピクセルの色を選択させるように構成され得る。

第３の生成コード１０６０は、少なくとも１つのプロセッサに、選択された色、ジオメトリマップ、およびテクスチャマップに基づいて、符号化されたビデオストリームを生成させるように構成され得る。

上記で説明した技法は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実装され、１つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図１１は、本開示の特定の実施形態を実装するのに適したコンピュータシステム１１００を示す。

コンピュータソフトウェアは、コンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって、直接、または解釈、マイクロコード実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または同様の機構に従い得る任意の適切な機械コードまたはコンピュータ言語を使用してコード化することができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素で実行することができる。

コンピュータシステム１１００について図１１に示される構成要素は例であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定も示唆することを意図していない。また、構成要素の構成は、コンピュータシステム１１００の非限定的な実施形態に示される構成要素のいずれか１つまたは組合せに関して何らかの依存性または要件を有するものとして解釈されるべきではない。

コンピュータシステム１１００は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブ移動など）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通して、１人以上の人間のユーザによる入力に応答し得る。また、ヒューマンインターフェースデバイスは、オーディオ（スピーチ、音楽、周囲音など）、画像（走査画像、静止画像カメラから得られる写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定のメディアをキャプチャするために使用することもできる。

入力ヒューマンインターフェースデバイスには、キーボード１１０１、マウス１１０２、トラックパッド１１０３、タッチスクリーン１１１０、データグローブ、ジョイスティック１１０５、マイクロフォン１１０６、スキャナ１１０７、カメラ１１０８のうちの１つまたは複数（それぞれ１つのみ図示）が含まれ得る。

コンピュータシステム１１００はまた、特定のヒューマンインターフェース出力デバイスを含み得る。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を通して、１人以上の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン１１１０、データグローブ、またはジョイスティック１１０５による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）を含み得る。例えば、そのようなデバイスは、オーディオ出力デバイス（スピーカ１１０９、ヘッドフォン（図示せず）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン１１１０などであり、タッチスクリーン入力能力が付いている場合も付いていない場合もあり、触覚フィードバック能力が付いている場合も付いていない場合もあり、そのうちのいくつかは、ステレオグラフィック出力（仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず））などの手段を通して２次元視覚出力または３次元以上の出力を出力することが可能であり得る）、ならびにプリンタ（図示せず）であり得る。

コンピュータシステム１１００はまた、人間がアクセス可能な記憶デバイスと、ＣＤ／ＤＶＤまたは同様の媒体１１２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ１１２０を含む光媒体、サムドライブ１１２２、リムーバブルハードドライブまたはソリッドステートドライブ１１２３、テープおよびフロッピー（登録商標）ディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどの関連媒体とを含むことができる。

本開示の主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、または他の一時的信号を包含しないことも当業者は理解すべきである。

コンピュータシステム１１００はまた、１つまたは複数の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上波放送ＴＶを含むＴＶワイヤラインまたはワイヤレスワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両用および産業用ネットワークなどを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス１１４９（例えば、コンピュータシステム１１００のＵＳＢポートなど）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のものは、一般に、以下で説明するように、システムバスへの取り付けによってコンピュータシステム１１００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム１１００は、他のエンティティと通信することができる。そのような通信は、単方向、受信専用（例えば、放送ＴＶ）、単方向送信専用（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの双方向であり得る。そのような通信は、クラウドコンピューティング環境１１５５への通信を含むことができる。いくつかのプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースの各々において使用され得る。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェース１１５４は、コンピュータシステム１１００のコア１１４０に取り付けることができる。

コア１１４０は、１つまたは複数の中央処理装置（ＣＰＵ）１１４１、グラフィックス処理装置（ＧＰＵ）１１４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）１１４３の形態の専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ１１４４などを含むことができる。これらのデバイスは、読取専用メモリ（ＲＯＭ）１１４５、ランダムアクセスメモリ１１４６、内部非ユーザアクセスハードドライブ、ＳＳＤなどの内部大容量記憶装置１１４７とともに、システムバス１１４８を通して接続され得る。いくつかのコンピュータシステムでは、システムバス１１４８は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、直接、または周辺バス１１４９を通して、コアのシステムバス１１４８に取り付けることができる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。グラフィックスアダプタ１１５０は、コア１１４０に含まれ得る。

ＣＰＵ１１４１、ＧＰＵ１１４２、ＦＰＧＡ１１４３、およびアクセラレータ１１４４は、組み合わせて前述のコンピュータコードを構成することができる特定の命令を実行することができる。このコンピュータコードは、ＲＯＭ１１４５またはＲＡＭ１１４６に記憶することができる。ＲＡＭ１１４６には遷移データも記憶することができ、永久データは例えば内部大容量記憶装置１１４７に記憶することができる。メモリデバイスのいずれかへの高速ストレージおよび取出しは、１つまたは複数のＣＰＵ１１４１、ＧＰＵ１１４２、大容量記憶装置１１４７、ＲＯＭ１１４５、ＲＡＭ１１４６などに密接に関連付けることができるキャッシュメモリの使用により可能になり得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、またはコンピュータソフトウェア分野の当業者に周知かつ利用可能な種類のものであってもよい。

限定ではなく例として、アーキテクチャ、具体的にはコア１１４０を有するコンピュータシステム１１００はるプロセッサ（複数可）（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が、１つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したようなユーザアクセス可能な大容量記憶装置、ならびにコア内部大容量記憶装置１１４７またはＲＯＭ１１４５などの非一時的な性質のコア１１４０の特定の記憶装置に関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア１１４０によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア１１４０および具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ１１４６に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスにしたがってそのようなデータ構造を修正することを含む、本明細書で説明される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に説明される特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアとともに動作することができる、回路（例えば、アクセラレータ１１４４）内にハードワイヤードまたは他の方法で具現化された論理の結果として、機能性を提供することができる。ソフトウェアへの言及は、適切な場合、論理を包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、適切な場合、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組合せを包含する。

本開示は、いくつかの非限定的な実施形態を説明してきたが、本開示の範囲内に入る変更、置換、および様々な代替の同等物がある。したがって、当業者であれば、本明細書で明示的に図示または説明されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されたい。

Claims (9)

1. ビデオ点群コーディングを使用してビデオストリームを符号化する方法であって、前記方法は、少なくとも１つのプロセッサによって実行され、
   ソース点群を取得するステップと、
   前記ソース点群に基づいてジオメトリマップおよびテクスチャマップを生成するステップと、
   ロッシーコーディングを使用し、再着色を使用せずに、再構成されたジオメトリマップおよび再構成されたテクスチャマップを生成するステップであって、前記再構成されたジオメトリマップの解像度は、前記再構成されたテクスチャマップの解像度と同じである、ステップと、
   前記ジオメトリマップのジオメトリピクセルおよび前記テクスチャマップのテクスチャピクセルに対応する前記ソース点群の点を取得するステップと、
   前記取得された点の色に基づいて前記テクスチャピクセルの色を選択するステップと、
   前記選択された色、前記ジオメトリマップ、および前記テクスチャマップに基づいて、符号化されたビデオストリームを生成するステップと
   を含む方法。
2. 前記ソース点群に基づいて占有マップを生成するステップと、
   前記ロッシーコーディングを使用し、前記再着色を使用せずに、再構成された占有マップを生成するステップであって、前記再構成された占有マップの解像度は、前記再構成されたジオメトリマップの解像度および前記再構成されたテクスチャマップの解像度と同じである、ステップと
   をさらに含み、
   前記テクスチャピクセルの前記色は、前記占有マップに基づいて選択される、
   請求項１に記載の方法。
3. 前記テクスチャピクセルは、前記占有マップでは占有されておらず、前記再構成された占有マップでは占有されている半占有ピクセルに対応し、
   前記テクスチャピクセルの前記色は、同一ブロック内の複数の占有ピクセルの平均値に基づいて選択される、
   請求項２に記載の方法。
4. 前記テクスチャピクセルは、前記占有マップでは占有されておらず、前記再構成された占有マップでは占有されている半占有ピクセルに対応し、
   前記テクスチャピクセルの前記色は、複数の最近傍占有ピクセルの距離加重平均値に基づいて選択される、
   請求項２に記載の方法。
5. 前記テクスチャピクセルは、前記占有マップで占有され、前記再構成された占有マップで占有される占有ピクセルに対応し、
   前記占有マップでは占有されておらず、前記再構成された占有マップでは占有されている半占有ピクセルの色値は、前記再着色を使用して決定される、
   請求項２に記載の方法。
6. 前記半占有ピクセルを含むブロックに含まれる複数のピクセルの複数の色値は、前記再着色を利用して決定される、請求項５に記載の方法。
7. 前記点は、前記ジオメトリマップと前記再構成されたジオメトリマップとの間の比較に基づいて取得される、請求項１に記載の方法。
8. ビデオ点群コーディングを使用してビデオストリームを符号化するための装置であって、
   プログラムコードを記憶するように構成された少なくとも１つのメモリと、
   前記プログラムコードを読み取り、前記プログラムコードによる命令通りに動作するように構成された少なくとも１つのプロセッサと
   を備え、前記プログラムコードは、前記少なくとも１つのプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させる、装置。
9. コンピュータに、請求項１から７のいずれか一項に記載の方法を実行させるコンピュータプログラム。

Images