JP2023531579A - ボリュメトリックメディア処理方法および装置 - Google Patents

Abstract

ボリュメトリックメディアデータを処理する方法、システム、および装置が、説明される。ボリュメトリックメディアの一例示的方法は、メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定することと、１つ以上の事前選択要素を使用して、ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすることと、ボリュメトリックメディアを１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとから、再構築することとである。

Description

本特許文書は、ボリュメトリックメディア（ｖｏｌｕｍｅｔｒｉｃ ｍｅｄｉａ）処理および伝送技術を対象とする。

ビデオエンコーディングは、圧縮されたビットストリーム表現にエンコードするために圧縮ツールを使用し、圧縮されたビットストリーム表現は、２次元ビデオフレームを記憶するために、またはネットワークを経由してトランスポートするためにより効率的である。エンコードするために２次元ビデオフレームを使用する従来的ビデオコーディング技法は、時として、３次元視覚的場面の視覚的情報の表現に関して非効率的である。

本特許文書は、とりわけ、視覚的ボリュメトリックメディアに関連する視覚的情報を搬送する、デジタルビデオをエンコードおよびデコードするための技法を説明する。

一例示的側面において、視覚的ボリュメトリックデータ処理の方法が、開示される。方法は、メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定することと、１つ以上の事前選択要素を使用して、ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすることと、ボリュメトリックメディアを１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとから、再構築することとを含む。

別の例示的側面において、視覚的ボリュメトリックデータを備えているビットストリームを生成する方法が、開示される。方法は、３次元場面から、３次元場面を表す１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとを備えているボリュメトリックメディアを生成することと、メディアプレゼンテーション記述（ＭＰＤ）ファイルに、ボリュメトリックメディアの事前選択を示す１つ以上の事前選択要素を含むこととを含むこととを含む。ここで、１つ以上の事前選択要素は、３次元場面に関連付けられた１つ以上のアトラスデータコンポーネントと、ビデオエンコードされたコンポーネントとへのアクセスを提供する。

別の例示的側面において、上記の説明される方法のうちの１つ以上を実装するための装置が、開示される。装置は、説明されるエンコーディングまたはデコーディング方法を実装するように構成されたプロセッサを含み得る。

さらに別の例示的側面において、コンピュータプログラム記憶媒体が、開示される。コンピュータプログラム記憶媒体は、その上に記憶されたコードを含む。コードは、プロセッサによって実行されると、説明される方法をプロセッサに実装させる。

これらおよび他の側面が、本書に説明される。

図１Ａは、ボリュメトリックメディア処理の例示的方法のフローチャートである。

図１Ｂは、ボリュメトリックメディア処理の例示的方法のフローチャートである。

図２Ａ－２Ｃは、ビットストリームを解析するための例示的プロセスに関するフローチャートの例を示す。 図２Ａ－２Ｃは、ビットストリームを解析するための例示的プロセスに関するフローチャートの例を示す。 図２Ａ－２Ｃは、ビットストリームを解析するための例示的プロセスに関するフローチャートの例を示す。

図３－６は、ボリュメトリックメディア伝送のための種々の例示的ＤＡＳＨ構成を示す。 図３－６は、ボリュメトリックメディア伝送のための種々の例示的ＤＡＳＨ構成を示す。 図３－６は、ボリュメトリックメディア伝送のための種々の例示的ＤＡＳＨ構成を示す。 図３－６は、ボリュメトリックメディア伝送のための種々の例示的ＤＡＳＨ構成を示す。

図７は、ボリュメトリックメディアを事前選択するための事前選択要素の使用に関するフローチャートの例を示す。

図８は、エンコーダ装置の例のブロック図である。

図９は、デコーダ装置の例のブロック図である。

図１０は、ビデオシステムの例を示す。

図１１は、本書で開示される技法を実装するために使用されるハードウェアプラットフォームのブロック図である。

節の見出しは、読み取り可能な性を改良するためのみに本書で使用され、各節内の開示される実施形態および技法の範囲をその節のみに限定しない。ある特徴は、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、およびＭＰＥＧ－ＤＡＳＨ等の動画専門家集団（ＭＰＥＧ）規格の例を使用して説明される。しかしながら、開示される技法の適用性は、これらの規格のみに限定されない。

本書では、種々の構文要素が、点群データ処理のための異なる節において開示される。しかしながら、同じ名称を用いた構文要素は、別様に記載されない限り、異なる節において使用されるものと同じフォーマットおよび構文を有するであろうことを理解されたい。さらに、異なる見出し下で説明される異なる構文要素および構造は、種々の実施形態で一緒に組み合わせられ得る。加えて、特定の構造が、例として説明されるが、構文構造の種々のエントリの順序は、本書に別様に記載されない限り、変更され得ることを理解されたい。

従来的に、画像およびビデオ等のデジタル視覚的メディアの捕捉、処理、記憶、およびプレゼンテーションは、視覚的場面の２次元フレームベースの捕捉を使用する。近年では、３Ｄ捕捉およびレンダリング技術における進歩は、仮想／拡張／複合現実（ＶＲ／ＡＲ／ＭＲ）コンテンツにおける革新の新たな波を引き起こしており、拡張現実（ＸＲ）サービスおよびアプリケーションとしても知られる。

例えば、点群は、そのようなアプリケーションのためのメイン表現の１つとして生じている。点群フレームは、個々の３次元（３Ｄ）点の組から成る。各点は、３Ｄ位置（例えば、空間属性）を有することに加え、いくつかの他の属性（色、反射度、面法線等）にも関連付けられ得る。点群は、点群フレームの一続きから成る。点の数、それらの位置、およびそれらの属性は、フレーム毎に変動し得る。視覚的ボリュメトリックデータの別の例は、その中で実または仮想３Ｄ場面が、複数の実または仮想カメラによって捕捉される、マルチビュービデオコンテンツである。そのような表現は、大量のデータを要求し、それは、記憶および伝送の観点からコストがかかり得る。

種々の産業規格は、３Ｄ視覚的場面の捕捉、搬送、およびプレゼンテーションに関連する問題点に対処し始めており、動画専門家集団（ＭＰＥＧ）が、ＭＰＥＧ－Ｉ規格化プロジェクト下で没入型メディアのコード化された表現を開発している。成果の１つとして、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）規格は、２Ｄ平面上に３Ｄ情報を投影することによって、３Ｄ視覚的情報をエンコードするように、従来的２次元（２Ｄ）フレームベースのビデオエンコーディングツールを活用し、それは、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）およびＭＰＥＧ没入型ビデオ（ＭＩＶ）等の開発下で、他のＭＰＥＧ－Ｉボリュメトリックコーデックによって再使用されることが予期される。

ビデオベースの点群圧縮（Ｖ－ＰＣＣ）は、点群視覚的情報のボリュメトリックエンコーディングを表し、ＡＶＣ、ＨＥＶＣ等のＭＰＥＧビデオコーデックを利用することによって、点群データの効率的捕捉、圧縮、再構築、およびレンダリングを可能にする。コード化された点群シーケンス（ＣＰＣＳ）を含むＶ－ＰＣＣビットストリームが、シーケンスパラメータ組（ＳＰＳ）データ、アトラス情報ビットストリーム、２Ｄビデオエンコード占有率マップビットストリーム、２Ｄビデオエンコード幾何学形状ビットストリーム、およびゼロ以上の２Ｄビデオエンコード属性ビットストリームを搬送するＶＰＣＣユニットで構成される。各Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダを有し、それは、Ｖ－ＰＣＣユニットのタイプと、Ｖ－ＰＣＣユニットペイロードとを説明する。占有率、幾何学形状、および属性Ｖ－ＰＣＣユニットのペイロードは、ビデオデータユニット（例えば、高効率ビデオコーディングネットワーク抽象化層、または高効率ビデオコーディングネットワーク抽象化層ＨＥＶＣ ＮＡＬユニット）に対応し、ビデオデータユニットは、対応するビデオデコーダによってデコードされることができるであろう。

ＭＰＥＧは、その中で実または仮想３－Ｄ場面が、複数の実または仮想カメラによって捕捉される、マルチビュービデオコンテンツの圧縮をサポートするために、国際規格（ＩＳＯ／ＩＥＣ２３０９０－１２）、すなわち、ＭＰＥＧ没入型ビデオ（ＭＩＶ）を開発している。ＭＩＶコンテンツは、６自由度（６ＤｏＦ）を伴う視認位置および向きの限定された範囲内での３次元（３Ｄ）場面の再生のためのサポートを提供する。

入力データフォーマットおよびレンダリングにおける差異にもかかわらず、２３０９０－５ビデオベースの点群圧縮（Ｖ－ＰＣＣ）と２３０９０－１２ＭＰＥＧ没入型ビデオ（ＭＩＶ）とは、エンコードされたドメインにおいて情報表すために同じコアツールを共有する（すなわち、３Ｄ空間データの２Ｄパッチマップへの分割、２Ｄアトラスフレームとしてエンコードされる）。したがって、Ｖ－ＰＣＣおよびＭＩＶコンテンツの両方を搬送するために、ベースビットストリーム構文として共通Ｖ３Ｃ基本的ビットストリームを使用することが有益であろう。

コード化されたＶ３Ｃシーケンス（ＣＶＳ）を含むＶ３Ｃビットストリームが、Ｖ３Ｃユニットから構成され得、Ｖ３Ｃユニットは、Ｖ３Ｃパラメータ組（ＶＰＳ）データ、コード化されたアトラスビットストリーム、２Ｄビデオエンコード占有率マップビットストリーム、２Ｄビデオエンコード幾何学形状ビットストリーム、およびゼロ以上の２Ｄビデオエンコード属性ビットストリームを搬送する。

一般に、開示される技法に基づく実施形態は、ボリュメトリックメディア処理のために使用され得る。いくつかの実施形態において、ビデオコード化されたコンポーネントの記憶のための既存のツールを再利用する技術的解決策が、視覚的ボリュメトリックメディア（Ｖ－ＰＣＣデータおよびＭＩＶコンテンツ等）の表現を可能にするために、従来的２Ｄビデオフォーマットと適合性があるファイルに提供される。

いくつかの実施形態において、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）データは、ＩＳＯ／ＩＥＣ１４４９６－１２ＩＳＯ（規格化のための国際機関）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に基づいて、ファイル内に記憶される。

ＭＰ４ファイル等のＩＳＯＢＭＦＦに準拠する、Ｖ３Ｃデータ記憶は、ボックスと呼ばれる階層データ構造で構成され、それらの各々は、タイプおよび長さを有する。別のボックスを含むボックスが、コンテナボックスと呼ばれるであろう。ＩＳＯＢＭＦＦに基づくＶ３Ｃデータの記憶は、ファイルタイプおよび適合性情報を含む、ある「ｆｔｙｐ」タイプのボックスを有するであろう。ある単一の「ＭＯＯＶ」タイプのボックス（動画ボックス）が存在し得、それは、そのサブボックスがファイルのための全てのメタデータ情報を含むコンテナボックスである。ＩＳＯＢＭＦＦファイルのメディアデータは、「ｍｄａｔ」タイプのメディアボックス（メディアデータボックス）に含まれ、それも、コンテナボックスであり、他のファイルを参照し得る。

いくつかの実施形態において、Ｖ３Ｃデータは、単純なＩＳＯＢＭＦＦカプセル化の場合、単一トラックとしてカプセル化されることができるであろう。Ｖ３Ｃビットストリームサンプルは、１つ以上のＶ３Ｃユニットを含み、それらは、同じプレゼンテーション時間（すなわち、１つのＶ３Ｃアクセスユニット）に属する。Ｖ３ＣユニットヘッダおよびＶ３Ｃペイロードデータ構造は、さらなる処理なしで、ビットストリームに保持されることができる。

いくつかの実施形態において、異なるＶ３Ｃサブストリーム（例えば、１つ以上のコード化されたアトラスサブストリーム、幾何学形状、占有率マップ、および属性の２Ｄビデオのエンコーディングサブストリーム）は、ＩＳＯＢＭＦＦコンテナファイル内で個々のトラックとしてカプセル化されるであろう。
Ｖ３Ｃデータのマルチトラックカプセル化は、Ｖ３Ｃビットストリームがマルチトラック宣言によって表されることを要求する（すなわち、Ｖ－ＰＣＣ基本的ストリームにおけるＶ３Ｃユニットは、それらのタイプに基づいて、ＩＳＯＢＭＦＦコンテナファイル内の個々のトラックにマッピングされる）。マルチトラックカプセル化Ｖ３ＣデータＩＳＯＢＭＦＦコンテナにおける２つのタイプのトラックが存在する：Ｖ３Ｃトラック、およびＶ３Ｃコンポーネントトラック。

Ｖ３Ｃトラックは、Ｖ３Ｃビットストリームのアトラスデータを搬送する、ボリュメトリック視覚的トラックを表し、それは、パッチ情報と、シーケンスパラメータ組とを含む。ビデオコード化されたＶ３Ｃコンポーネントトラックは、Ｖ３Ｃビットストリームの占有率マップ、幾何学形状、または属性コンポーネントビデオビットストリームのいずれかのための２Ｄビデオエンコードデータを搬送するビデオトラックを表す。このレイアウトに基づいて、Ｖ３Ｃ ＩＳＯＢＭＦＦコンテナは、以下を含み得る：

－Ｖ３Ｃトラック：Ｖ３Ｃトラックは、Ｖ３Ｃパラメータ組と、アトラスサブビットストリームパラメータ組と、アトラスサブビットストリームＮＡＬユニットを搬送するサンプルとを含む。Ｖ３Ｃトラックは、ビデオ圧縮Ｖ３Ｃユニットのペイロードを搬送するビデオエンコードされたＶ３Ｃトラックへのトラック参照も含む。

－制限されるビデオスキームトラック：サンプルが、占有率マップデータのためのビデオコード化された基本的ストリームのアクセスユニットを含む。

－１つ以上の制限されるビデオスキームトラック：サンプルが、幾何学形状データのためのビデオコード化された基本的ストリームのアクセスユニットを含む。

－ゼロ以上の制限されるビデオスキームトラック：サンプルが、属性データのためのビデオコード化された基本的ストリームのアクセスユニットを含む。

従来的メディアコンテンツと異なり、Ｖ３Ｃデータとして規定されるボリュメトリックメディアは、アトラス、占有率マップ、幾何学形状、または属性を含むいくつかのＶ３Ｃコンポーネントで構成される。異なるＶ３Ｃコンポーネントは、Ｖ３Ｃデータを再構築およびレンダリングするために、集合的に読み出され、デコードされる必要がある。

他方で、Ｖ３Ｃデータとしてコード化されたボリュメトリックメディアは、ユーザに６自由度（６－ＤｏＦ）没入型メディア体験を提供することができる。任意の所与の時間では、ボリュメトリックメディアの一部のみが、ユーザのビュー位置、向き等に応じて、可視であろう。多くのアプリケーションに関して、ボリュメトリックメディアデータ全体が、送達、デコーディング、およびレンダリングされる必要はない。

一般に、開示される技法に基づく実施形態は、ボリュメトリックメディア処理のために使用され得る。いくつかの実施形態において、ボリュメトリックメディアに属するＶ３Ｃコンポーネントの構成およびストリーミングのための技術的解決策は、ＨＴＴＰを経由した動的適応ストリーミング（ＤＡＳＨ）およびＨＴＴＰライブストリーミング（ＨＬＳ）等の適応ビットレートストリーミング技術に基づいて、ボリュメトリックメディア伝送をサポートするために提供される。

図１Ａは、ボリュメトリックメディア処理のための例示的方法１００のフローチャートを描写する。方法１００は、デコーダ装置によって実装され得、デコーダ装置は、ボリュメトリックメディアビットストリームをデコードし、それからボリュメトリック場面を再構築する。方法１００は、１０２において、メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定することを含む。方法１００は、１０４において、１つ以上の事前選択要素を使用して、ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすることを含む。方法１００は、１０６において、１つ以上のアトラスデータコンポーネントのデコーディングの結果と、関連付けられたビデオエンコードされたコンポーネントのデコーディングの結果とを使用して、ボリュメトリックメディアを再構築することを含む。本書は、方法１００の追加の詳細と、ボリュメトリックメディアビットストリームのフォーマットとを提供する。

図１Ｂは、ボリュメトリックメディアをエンコードするための例示的方法１５０に関するフローチャートを描写する。方法は、本書に説明されるエンコーダ装置によって実装され得る。方法１５０は、３Ｄ場面を本書に説明されるビットストリームフォーマットに準拠するビットストリーム表現に変換するために使用され得る。方法１５０は、３次元場面から、３次元場面を表す１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとを備えているボリュメトリックメディアを生成すること（１５２）を含む。アトラスデータコンポーネントおよびビデオエンコードされたコンポーネントの配置の種々の実施形態は、本書に開示される。方法１５０は、メディアプレゼンテーション記述（ＭＰＤ）ファイル内にボリュメトリックメディアの事前選択を示す１つ以上の事前選択要素を含むこと（１５４）をさらに含み、１つ以上の事前選択要素は、３次元場面に関連付けられた１つ以上のアトラスデータコンポーネントと、ビデオエンコードされたコンポーネントとへのアクセスを提供し得る。本願に開示される種々の実施形態は、ＭＰＤファイルおよびボリュメトリックメディアビットストリームのフォーマットに関する。事前選択は、一緒にバンドリングされ、デコーダにおいて一緒に消費されることが予期される、メディアコンポーネントの論理的集団を表し得る。

ボリュメトリックメディアの一部（例えば、３Ｄ場面内の１つ以上のアトラス）を部分的にアクセスおよびデコードするために、いくつかの実施形態において、技術的解決策が、Ｖ３Ｃビットストリームのマルチトラックカプセル化をサポートするために提供され、Ｖ３Ｃビットストリームの各アトラスは、別個のトラックにおいてカプセル化される。

（Ｖ３Ｃトラックサンプルエントリ）
サンプルエントリタイプ：「ｖ３ｃ１」、「ｖ３ｃｇ」、「ｖ３ｃｂ」、「ｖ３ａ１」、または「ｖ３ａｇ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｖ３ｃ１」または「ｖ３ｃｇ」または「ｖ３ｃｂ」サンプルエントリが、必須である
数量： １つ以上のサンプルエントリが、存在し得る

Ｖ３Ｃトラックは、「ｖ３ｃ１」、「ｖ３ｃｇ」、「ｖ３ｃｂ」、「ｖ３ａ１」、または「ｖ３ａｇ」のサンプルエントリタイプを用いて、ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを拡張するＶ３ＣＳａｍｐｌｅＥｎｔｒｙを使用するものとする。

Ｖ３Ｃビットストリームが単一アトラスを含むとき、サンプルエントリ「ｖ３ｃ１」または「ｖ３ｃｇ」を伴うＶ３Ｃトラックが、使用されるものとする。Ｖ３Ｃビットストリームが複数のアトラスを含むとき、各アトラスビットストリームは、別個のＶ３Ｃトラック内にカプセル化されるものとする。それらのトラックのうちの１つは、サンプルエントリタイプ「ｖ３ｃｂ」を使用するものとする一方、他のトラックは、サンプルエントリタイプ「ｖ３ａ１」、または「ｖ３ａｇ」を使用するものとする。

Ｖ３Ｃトラックサンプルエントリが、Ｖ３ＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘと、Ｖ３ＣＵｎｉｔＨｅａｄｅｒＢｏｘとを含むものとする。

（構文）
ｃｌａｓｓ Ｖ３ＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ Ｂｏｘ（’ｖ３ｃＣ’） ｛
Ｖ３ＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（） ＶＰＣＣＣｏｎｆｉｇ；
｝
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ Ｖ３ＣＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖ３ｃ１’） ｛
Ｖ３ＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
Ｖ３ＣＵｎｉｔＨｅａｄｅｒＢｏｘ ｕｎｉｔ＿ｈｅａｄｅｒ；
｝

（意味論）

Ｖ３ＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、Ｖ３Ｃデコーダの構成および初期化のためのＶ３Ｃビットストリームのデコーディング特有情報を提供する。Ｖ３ＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、Ｖ３ＣビットストリームのＶ３Ｃパラメータ組を含むものとし、Ｖ３Ｃデータの全てのＶ３Ｃトラックに関して共通の非ＡＣＬＮＡＬユニットのみを含むであろう。

Ｖ３ＣＵｎｉｔＨｅａｄｅｒＢｏｘは、Ｖ３ＣトラックのＶ３ＣデータのためのＶ３Ｃユニットヘッダを含む。

ボリュメトリックメディアの一部、例えば、３Ｄ場面内の１つ以上のタイルに部分的にアクセスし、それをデコードするために、別の実施形態において、技術的解決策が、Ｖ３Ｃビットストリームのマルチトラックカプセル化をサポートするために提供され、あるアトラスに属する１つ以上のタイルが、別個のアトラスタイルトラックとしてカプセル化される。

（Ｖ３Ｃアトラスタイルトラックサンプルエントリ）
サンプルエントリタイプ： 「ｖ３ｔ１」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： はい
数量： １つ以上のサンプルエントリが、存在し得る

アトラスタイルトラックが、「ｖ３ｔ１」のサンプルエントリタイプを用いてＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを拡張するＡｔｌａｓＴｉｌｅＳａｍｐｌｅＥｎｔｒｙを使用するものとする。

アトラスタイルトラックが、同じアトラスに属するＡＣＬ ＮＡＬユニットのみを含むものとする。アトラスタイルトラックは、少なくとも１つのタイルのＡＣＬ ＮＡＬユニットを含むものとする。

（構文）
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＡｔｌａｓＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖ３ｔ１’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ ＝ １；
ｕｎｓｉｇｎｅｄ ｉｎｔ（２） ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ｒｅｓｅｒｖｅｄ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｎｕｍ＿ｔｉｌｅｓ；
ｆｏｒ（ｉ＝０； ｉ ＜ ｎｕｍ＿ｔｉｌｅｓ； ｉ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｔｉｌｅ＿ｉｄ；
｝
｝

（意味論）

ｎｕｍ＿ｔｉｌｅｓ：このトラックに含まれるタイルの数

ｔｉｌｅ＿ｉｄが、このトラックに存在するタイルのタイルアドレスを規定する。

ボリュメトリックメディアのプレゼンテーションのためのボリュメトリックメディアコンポーネントファイルに正しくアクセスするために、一実施形態において、ＤＡＳＨクライアント等のユーザの端末のストリーミングメディアクライアント（ソフトウェアおよび／またはハードウェア）が、マニフェスト（例えば、ボリュメトリックメディアのプレゼンテーションのためのメディアプレゼンテーション記述（ＭＰＤ）ファイル）を受信する。

図１Ａに示されるように、１０２において、方法１００は、ボリュメトリックメディアの事前選択のための１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を含むＭＰＤファイルによって促進される。

１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素の各々は、ボリュメトリックメディアを識別するＶ３Ｃ記述子を含み得る。Ｖ３Ｃ記述子は、ボリュメトリックメディアのアトラスデータコンポーネントの識別をさらに備え得る。Ｖ３Ｃ記述子は、ボリュメトリックメディアのアトラスデータコンポーネントに属する全てのタイルのためのタイルアドレスをさらに備え得る。

「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖ３ｃ：２０２０：ｖｐｃ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を伴うＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙが、Ｖ３Ｃ記述子と称される。最大で１つのＶ３Ｃ記述子が、Ｖ３ＣメディアのメインＡｄａｐｔａｔｉｏｎＳｅｔのための適合組レベルにおいて存在する。

Ｖ３Ｃコンテンツの本質として、アトラスデータＶ３Ｃコンポーネントは、Ｖ３Ｃデータアクセスのエントリ点としての機能を果たす。Ｖ３Ｃ記述子は、任意のフレキシブルなＶ３Ｃデータアクセス（単一アトラスアクセス、マルチアトラスアクセス、およびタイルアクセスを含む）をサポートするために、ＡｄａｐｔａｔｉｏｎＳｅｔによって表されるアトラスデータＶ３Ｃコンポーネントを説明することが可能であるものとする。

まず第１に、複数のバージョンの同じボリュメトリックメディアをサポートするために、Ｖ３Ｃ記述子が、＠ｖＩｄ属性を含むものとする。
同じボリュメトリックメディアの同じアトラスサブストリームの複数のバージョンの各々が別個のＡｄａｐｔａｔｉｏｎＳｅｔを有する場合に関して、Ｖ３Ｃ記述子が、＠ａｔｌａｓ＿ｉｄ属性を含むものとする。同じアトラスの同じタイルの複数のバージョンの各々が別個のＡｄａｐｔａｔｉｏｎＳｅｔを有する場合に関して、Ｖ３Ｃ記述子は、＠ｔｉｌｅ＿ａｄｄｒｅｓｓｅｓ属性を含むものとする。

そのようなＶ３Ｃ記述子を伴うＡｄａｐｔａｔｉｏｎＳｅｔは、任意のサンプルエントリタイプを伴うアトラスデータＶ３Ｃコンポーネントに適応する（すなわち、任意のアトラスサブストリームが、Ｖ３ＣトラックまたはＶ３Ｃアトラスタイルトラックによって搬送される）。

１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素の各々は、ボリュメトリックメディアのためのアトラスデータコンポーネントおよび関連付けられたビデオエンコードされたコンポーネントを事前選択する、属性を含み得る。

例えば、ＭＰＤにおけるボリュメトリックメディアのＰｒｅＳｅｌｅｃｔｉｏｎは、＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性に関するｉｄリストを伴う事前選択要素を使用し、ｉｄリストは、ボリュメトリックメディアのためのメインＡｄａｐｔａｔｉｏｎＳｅｔのｉｄに続いて、ビデオエンコードされたコンポーネントに対応するＡｄａｐｔａｔｉｏｎＳｅｔのｉｄを含む。

Ｖ３Ｃデータのマルチトラックカプセル化の場合、０ｘ３Ｆに等しいｖｕｈ＿ａｔｌａｓ＿ｉｄを伴うアトラス情報に関する特別ＡｄａｐｔａｔｉｏｎＳｅｔが、ＤＡＳＨマニフェスト（ＭＰＤ）においてＶ３ＣコンテンツのメインＡｄａｐｔａｔｉｏｎＳｅｔとしての役割を果たし得る。２つ以上のコード化されたアトラスサブストリームが、Ｖ３Ｃビットストリームに存在し、各アトラスサブストリームが、別個のアトラストラックとしてカプセル化される場合、各アトラストラックは、別個のＡｄａｐｔａｔｉｏｎＳｅｔを使用して、シグナリングされ得る。

Ｖ３Ｃデータのマルチトラックカプセル化の場合、１つのアトラスに属する１つ以上のタイルが、別個のアトラスタイルトラックとしてカプセル化される場合、各アトラスタイルトラックは、別個のＡｄａｐｔａｔｉｏｎＳｅｔを使用して、ＤＡＳＨマニフェスト（ＭＰＤ）ファイルにおいてシグナリングされ得る。

Ｖ３Ｃビットストリームが複数のアトラスを含むとき、各アトラスビットストリームは、別個のＶ３Ｃトラックにカプセル化され得る。特別アトラスＶ３Ｃトラック（すなわち、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）が、全ての他のＶ３Ｃトラックに関するＶ３Ｃパラメータ組を記憶しているので、この空間アトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、マルチアトラスを伴うＶ３Ｃコンテンツの任意のアクセスのために、常時、読み出されるべきである。他方で、この特別アトラスＶ３Ｃトラックが任意のＡＣＬ ＮＡＬユニットを含まず、任意の特定のビデオエンコードされたＶ３Ｃトラックに対応しないので、この空間アトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、任意のＰｒｅＳｅｌｅｃｔｉｏｎ要素によって選択されるべきではない。

アトラスサブビットストリームが複数のタイルを含むとき、同じアトラスに属する１つ以上のタイルは、別個のアトラスタイルトラックにカプセル化され得る。アトラスＶ３Ｃトラックが、全てのアトラスタイルトラックに関する同じａｔｌａｓ＿ｉｄに関連付けられたアトラスサブビットストリームパラメータ組を記憶しているので、このアトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、マルチタイルを伴うアトラスの任意のアクセスのために、常時、読み出されるべきである。「ｖ３ｔ１」トラックが、存在するとき、アトラスＶ３Ｃトラックは、任意のＡＣＬ ＮＡＬユニットを含まず、任意の特定のビデオエンコードされたＶ３Ｃトラックに対応せず、この場合、アトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、任意のＰｒｅＳｅｌｅｃｔｉｏｎ要素によって選択されるべきではない。

複数のアトラスを伴うＶ３Ｃコンテンツの事前選択の場合、アトラスデータＶ３Ｃコンポーネントを表すメインＡｄａｐｔａｔｉｏｎＳｅｔは、任意のＰｒｅＳｅｌｅｃｔｉｏｎ要素によって選択されるべきではない。

Ｖ３Ｃコンテンツの１つ以上のタイルの事前選択の場合、１つ以上のタイルが属しているアトラスのアトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、任意のＰｒｅＳｅｌｅｃｔｉｏｎ要素によって選択されるべきではない。

Ｖ３Ｃコンポーネントビデオトラックは、制限されたビデオとしてファイルにおいて表され得、それは、例えば、少なくとも、２Ｄビデオエンコード占有率マップトラック、２Ｄビデオエンコード幾何学形状トラック、およびゼロ以上の２Ｄビデオエンコード属性トラックを含む。

Ｖ３Ｃデータのマルチトラックカプセル化の場合、各Ｖ３Ｃコンポーネントは、別個のＡｄａｐｔａｔｉｏｎＳｅｔとして、ＤＡＳＨマニフェスト（ＭＰＤ）ファイルにおいて表されるであろう。幾何学形状または属性コンポーネントが、複数のマップを有する場合、各マップは、別個のＡｄａｐｔａｔｉｏｎＳｅｔを使用して、シグナリングされ得る。

ＡｄａｐｔａｔｉｏｎＳｅｔにおいてＶ３Ｃコンポーネントのタイプを識別するために、Ｖ３Ｃコンポーネント記述子が、使用され得る。Ｖ３Ｃコンポーネントが、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖ３ｃ：２０２０：ｃｏｍｐｏｎｅｎｔ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を伴うＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子である。

適合組レベルでは、あるＶ３Ｃコンポーネント記述子が、適合組のＲｅｐｒｅｓｅｎｔａｔｉｏｎに存在する各Ｖ３Ｃコンポーネントのためにシグナリングされ得る。

Ｖ３Ｃコンポーネント記述子の＠ｖａｌｕｅ属性は、存在しないこともある。Ｖ３ＣＣｏｍｐｏｎｅｎｔ記述子は、表に規定されるように、要素および属性のうちの１つ以上を含み得る。

図１Ａに示されるように、１０４では、ＤＡＳＨクライアントは、１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ボリュメトリックメディアの事前選択に対応するボリュメトリックメディアコンポーネントにアクセスし得る。

図２Ａ－２Ｃは、ボリュメトリックメディアにアクセスするための例示的方法２００を描写する。

Ｖ３Ｃコンテンツのアトラスベースの部分的アクセスの場合、１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用してＶ３Ｃ事前選択によってシグナリングされるアトラスデータＶ３Ｃコンポーネントと、関連付けられたビデオエンコードされたＶ３Ｃコンポーネントとの他に、エントリアトラスまたはメインアトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔが、同時に読み出されるべきである。

エントリアトラスは、全ての他のＶ３Ｃトラックに関するＶ３Ｃパラメータ組を記憶するビットストリームのフォーマット（すなわち、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）に従って定義される特別アトラスＶ３Ｃトラックを表し得る。エントリアトラスは、事前に指定されるｉｄ、例えば、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄを有し得る。この空間アトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔは、最初に、マルチアトラス表現を伴うＶ３Ｃコンテンツの任意のアクセスのために読み出され得る。

Ｖ３Ｃコンテンツのタイルベースの部分的アクセスの場合、１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用してＶ３Ｃ事前選択によってシグナリングされるアトラスデータＶ３Ｃコンポーネントと、関連付けられたビデオエンコードされたＶ３Ｃコンポーネントとの他に、１つ以上のタイルが属しているアトラスのアトラスデータＶ３Ｃコンポーネントを表すＡｄａｐｔａｔｉｏｎＳｅｔが、同時に読み出されるべきである。

図２Ａに示されるように、２０２において、１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素（構文構造）は、上で説明されるように位置を特定され得、ボリュメトリックデータの事前選択を示す。２０４において、ビットストリームのフォーマットがボリュメトリックデータへのマルチアトラスアクセスを含むか、単一アトラスアクセスを含むかをチェックするように、決定が、実施され得る。

図２Ｂに示されるように、ビットストリームがマルチアトラスアクセスのために構成されている場合、２０６において、ボリュメトリックデータの部分的または完全アクセスが、利用可能であるかどうかに関する決定が、行われる。完全アクセスが、可能である場合、２０８において、続くＶ３Ｃコンポーネントのためのボリュメトリックメディアファイルが、全てのアトラス、全てのこれらのアトラスに属する全てのタイル（存在する場合）、全ての関連付けられたビデオエンコードされたＶ３Ｃコンポーネントを含むボリュメトリックメディア全体のデコーディングおよび再構築のためにアクセスされる必要がある。

代替として、２０６において、部分的アクセスが、決定される場合、次いで、２１０において、アクセスが、アトラスベースであるか、タイルベースであるかに関する決定が、行われる。アクセスが、タイルベースである場合、２１２において、続くＶ３Ｃコンポーネントのためのボリュメトリックメディアファイルは、特定のタイプのアトラス（例えば、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）、事前選択されたタイルが属しているアトラス、事前選択されたタイルおよび全ての関連付けられたビデオエンコードされたＶ３Ｃコンポーネントを含むボリュメトリックメディアの１つ以上のタイルのデコーディングおよび再構築のためにアクセスされる必要がある。

代替として、２１４において、続くＶ３Ｃコンポーネントのためのボリュメトリックメディアファイルは、特定のタイプのアトラス（例えば、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）、事前選択された１つ以上のアトラス、１つ以上のアトラスに属する全てのタイル、存在する場合、全ての関連付けられたビデオエンコードされたＶ３Ｃコンポーネントを含むボリュメトリックメディアの１つ以上のアトラスのデコーディングおよび再構築のためにアクセスされる必要がある。

図２Ｃに示されるように、単一アトラスアクセスが２０４において決定される場合、ボリュメトリックデータが、場面生成のために完全にアクセスされるべきか、部分的にアクセスされるべきかに関する決定が、２２０において行われる。ボリュメトリックデータが完全にアクセスされるべきである場合、次いで、２２２において、アトラス、全てのタイル（該当する場合）、全ての関連付けられたビデオエンコードされたＶ３Ｃコンポーネントのためのボリュメトリックメディアファイルが、再構築および場面生成のためにアクセスされる。代替として、２２４において、部分的アクセスが、事前選択されたタイルが属しているアトラス、事前選択されたタイル、および再構築および場面生成のための対応するビデオデータに行われる。

図１Ａに示されるように、１０６において、ボリュメトリックメディアは、１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとを使用して、再構築され得る。例えば、１つ以上のアトラスデータコンポーネントのデコーディングの結果が、関連付けられたビデオエンコードされたコンポーネントのデコーディングの結果とともに、使用され得る。

例えば、再構築プロセスは、以下のうちの１つ以上を使用し得る。いくつかの実施形態において、３Ｄ場面は、その中で２Ｄ場面がいくつかの２Ｄビデオ画像またはビューとしてエンコードされ得るコーディング技術を使用して、エンコードされ得る。３Ｄ場面は、時として、パッチと呼ばれるビューの集合として表され得る。集合は、１つ以上のパッチを含むアトラスとして編成され得、コンテンツの対応するテクスチャおよび／または深度情報を有し得る。視覚的情報を表す種々のコンポーネントは、エンコーダ側およびデコーダ側の両方で既知の事前に定義されたフォーマットを使用して、フォーマット化され得る。例えば、Ｖ３Ｃサブビットストリームコンポーネントが、視覚的コンポーネントを表すために使用され得る。視覚的コンポーネントは、前述のアトラス、アトラスに対応する２Ｄアレイを表す占有率マップを含み、各サンプル位置に関して、視覚的情報を含む対応するパッチの識別が、示される。ビットストリームフォーマットは、幾何学形状、または特定のタイプの属性（デコードされたとき、ボリュメトリックメディアの再構築を可能にするボリュメトリックメディアの表現に関連付けられている）を含むことをさらに規定し得る。

３Ｄ場面の再構築中、デコーダが、以下の動作を実施し得る：

－ビットストリームを解析し、アトラスパラメータおよびカメラパラメータリストを取り出す。

－アトラスパラメータリストとデコードされた深度アトラスとに従って発生させられたパッチＩＤを用いて、占有率マップの位置を特定し、デコードする。

視認者（視点）の位置および向きが規定されているかどうかをチェックする。

テクスチャおよび深度アトラスをデコードし、ビデオをデコードし、テクスチャおよび深度アトラスを適用する。

ビットストリームにおけるパラメータと視認位置および向きとに従って一緒に混合することによって、デコードされた情報から３Ｄ場面を合成する。

本書は、ＭＰＤファイルまたはボリュメトリックメディアファイルのフォーマットの種々の実施形態を提供し、それらは、３Ｄコンテンツをエンコードするための３Ｄコンテンツエンコーダによって、または、エンコードされたビットストリームから３Ｄコンテンツをデコーディングおよび再構築するための３Ｄコンテンツデコーダによって、使用されることができる。

視覚的ボリュメトリックメディアの効率的プロセスを可能にするために、一実施形態において、技術的解決策が、３Ｄ空間内のボリュメトリックメディアの１つのアトラスに属するＶ３Ｃコンポーネントの送達をサポートするために提供される。

図３は、ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内のボリュメトリックメディアの１つのアトラスに属するＶ３Ｃコンポーネントをグループ化するための例示的ＤＡＳＨ構成を図示する。

本実施形態において、Ｖ３Ｃシーケンスは、単一のアトラスデータＶ３Ｃコンポーネントと、占有率、幾何学形状、および属性の関連付けられたビデオコード化されたコンポーネントとから成る。

アトラスサブビットストリームを含むＶ３Ｃトラックは、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔは、ボリュメトリックメディアの識別子に設定される＠ｖＩｄ属性を伴うＶ３Ｃ記述子を有する。ボリュメトリックメディア内に１つのみのアトラスが存在するので、＠ａｔｌａｓ＿ｉｄは、Ｖ３Ｃ記述子に存在しない。

ビデオコード化された占有率、幾何学形状、および属性コンポーネントの各々は、別個のコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。占有率、幾何学形状、および属性コンポーネントの各コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、対応する値に設定される＠ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ属性を伴うＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子を含む。

メインＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送されるアトラスデータコンポーネントと、それぞれのコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される関連付けられたビデオエンコードされたコンポーネントとは、ＭＰＤにおいてＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ボリュメトリックメディアの事前選択のために一緒にグループ化される。図３に示されるように、ＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ ２ ３ ４」として、ｉｄリストを含む。ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、ボリュメトリックメディアを識別するように、＠ｖＩｄ属性を含むＶ３Ｃ記述子を含む。

視覚的ボリュメトリックメディアの効率的プロセスを可能にするために、別の実施形態において、技術的解決策が、ボリュメトリックメディアの１つのアトラスに属する別個のタイルのためのＶ３Ｃコンポーネントの部分的アクセスおよび送達をサポートするために、提供される。

図４は、ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内のボリュメトリックメディアの１つのアトラスに属する別個のタイルに関するＶ３Ｃコンポーネントをグループ化するための例示的ＤＡＳＨ構成を図示する。

本実施形態において、Ｖ３Ｃシーケンスは、単一のアトラスに関するアトラスデータＶ３Ｃコンポーネントと、アトラスに属するタイルに関する１つ以上のアトラスデータＶ３Ｃコンポーネントと、占有率、幾何学形状、および属性の関連付けられたビデオコード化されたコンポーネントとから成る。

アトラスサブビットストリームを含むＶ３Ｃトラックは、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。タイルサブビットストリームを含むアトラスタイルトラックの各々は、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔと、タイルＡｄａｐｔａｔｉｏｎＳｅｔの各々とは、ボリュメトリックメディアの識別子に設定される＠ｖＩｄ属性を伴うＶ３Ｃ記述子を有する。タイルＡｄａｐｔａｔｉｏｎＳｅｔの各々は、全てのタイルのためのタイルアドレスの値に設定される＠ｔｉｌｅ＿ａｄｄｒｅｓｓｅｓ属性を伴うＶ３Ｃ記述子を有する。ボリュメトリックメディア内に１つのみのアトラスが存在するので、＠ａｔｌａｓ＿ｉｄは、Ｖ３Ｃ記述子に存在しない。

タイルＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送されるアトラスデータコンポーネントと、それぞれのコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される関連付けられたビデオエンコードされたコンポーネントとは、ＭＰＤにおいて１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ボリュメトリックメディアの１つ以上のタイルの事前選択のために一緒にグループ化される。

図４に示されるように、例えば、１つのそのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「２ ５ ６ ７」として、ｉｄリストを含む。ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、ボリュメトリックメディアを識別するように、＠ｖＩｄ属性を含むＶ３Ｃ記述子を含む。

視覚的ボリュメトリックメディアの効率的プロセスを可能にするために、別の実施形態において、技術的解決策が、ボリュメトリックメディアの２つ以上のアトラスに属するＶ３Ｃコンポーネントの部分的アクセスおよび送達をサポートするために提供される。

図５は、ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内のボリュメトリックメディアの２つ以上のアトラスに属するＶ３Ｃコンポーネントをグループ化するための例示的ＤＡＳＨ構成を図示する。

本実施形態において、Ｖ３Ｃシーケンスは、複数のアトラスのための２つ以上のアトラスデータＶ３Ｃコンポーネントと、占有率、幾何学形状、および属性の関連付けられたビデオコード化されたコンポーネントとから成る。

特別アトラス（例えば、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）のためのアトラスサブビットストリームを含むＶ３Ｃトラックは、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。他のアトラスのためのアトラスサブビットストリームを含む他のＶ３Ｃトラックは、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔと、他のＡｄａｐｔａｔｉｏｎＳｅｔの各々とは、ボリュメトリックメディアの識別子に設定される＠ｖＩｄ属性を伴うＶ３Ｃ記述子を有する。ボリュメトリックメディア内に２つ以上のアトラスが存在するので、＠ａｔｌａｓ＿ｉｄは、それぞれのアトラスデータコンポーネントの識別子をシグナリングするために、Ｖ３Ｃ記述子に存在する。

それぞれのアトラスＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送されるアトラスデータコンポーネントと、それぞれのコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される関連付けられたビデオエンコードされたコンポーネントとは、ＭＰＤにおいて１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ボリュメトリックメディアのＰｒｅＳｅｌｅｃｔｉｏｎの１つ以上のアトラスのために一緒にグループ化される。

図５に示されるように、例えば、１つのそのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「２ ５ ６ ７」として、ｉｄリストを含む。ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、ボリュメトリックメディアを識別するように、＠ｖＩｄ属性を含むＶ３Ｃ記述子を含む。

視覚的ボリュメトリックメディアの効率的プロセスを可能にするために、別の実施形態において、技術的解決策が、ボリュメトリックメディアの２つ以上のアトラスの別個のタイルに属するＶ３Ｃコンポーネントの部分的アクセスおよび送達をサポートするために提供される。

図６は、ＭＰＥＧ－ＤＡＳＨ ＭＰＤファイル内のボリュメトリックメディアの２つ以上のアトラスの別個のタイルに属するＶ３Ｃコンポーネントをグループ化するための例示的ＤＡＳＨ構成を図示する。

本実施形態において、Ｖ３Ｃシーケンスは、複数のアトラスのための２つ以上のアトラスデータＶ３Ｃコンポーネントと、１つ以上のアトラスに属するタイルのための１つ以上のアトラスデータＶ３Ｃコンポーネントと、占有率、幾何学形状、および属性の関連付けられたビデオコード化されたコンポーネントとから成る。

特別アトラス（すなわち、０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）のためのアトラスサブビットストリームを含むＶ３Ｃトラックは、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。他のアトラスのためのアトラスサブビットストリームを含む他のＶ３Ｃトラックは、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。タイルサブビットストリームを含むアトラスタイルトラックは、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔと、アトラスＡｄａｐｔａｔｉｏｎＳｅｔの各々と、タイルＡｄａｐｔａｔｉｏｎＳｅｔの各々とは、ボリュメトリックメディアの識別子に設定される＠ｖＩｄ属性を伴うＶ３Ｃ記述子を有する。ボリュメトリックメディア内に２つ以上のアトラスが存在するので、＠ａｔｌａｓ＿ｉｄは、それぞれのアトラスデータコンポーネントの識別子をシグナリングするために、Ｖ３Ｃ記述子に存在する。タイルＡｄａｐｔａｔｉｏｎＳｅｔの各々は、全てのタイルのためのタイルアドレスの値に設定される＠ｔｉｌｅ＿ａｄｄｒｅｓｓｅｓ属性を伴うＶ３Ｃ記述子を有する。

それぞれのアトラスＡｄａｐｔａｔｉｏｎＳｅｔおよびタイルＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送されるアトラスデータコンポーネントと、それぞれのコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される関連付けられたビデオエンコードされたコンポーネントとは、ＭＰＤにおいて１つ以上のＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ボリュメトリックメディアの１つ以上のアトラスから、１つ以上のタイルの事前選択のために一緒にグループ化される。図６に示されるように、例えば、１つのそのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「６ ８ ９ １０」として、ｉｄリストを含む。ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、ボリュメトリックメディアを識別するように、＠ｖＩｄ属性を含むＶ３Ｃ記述子を含む。

ＤＡＳＨにおけるボリュメトリックメディアの部分的アクセスおよび送達をサポートするために、ＰｒｅＳｅｌｅｃｔｉｏｎ要素およびＶ３Ｃコンテンツ関連記述子を使用する事前選択機構の使用量の使用は、以下のように説明される。

図７は、ボリュメトリックメディアの事前選択のための例示的プロセスフローを描写する。

図７に示されるように、複数のバージョンの同じボリュメトリックメディアが、利用可能であるとき、Ｖ３ＣまたはＶ３Ｃタイル記述子の＠ｖＩｄ値が、ボリュメトリックメディアを識別するために使用される。ＤＡＳＨクライアントは、Ｖ３Ｃ記述子または読み出されるべきボリュメトリックメディアと同じ＠ｖＩｄ値を伴うＶ３Ｃタイル記述子を含む全てのＰｒｅＳｅｌｅｃｔｉｏｎ要素をチェックするためにＭＰＤファイルを解析するべきである。

そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素が存在しない場合、ボリュメトリックメディアは、現在のＭＰＤファイルにおいて利用可能ではない。そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素が存在する場合、ボリュメトリックメディアは、現在のＭＰＤファイルにおいて利用可能である。

そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｔａｇ値が、１つの特定の値、例えば、タグ＝「０」に等しい場合、ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、マルチアトラスを用いたボリュメトリックメディアの事前選択を示すために、Ｖ３Ｃ記述子を含むべきである。ＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、特別アトラス（０ｘ３Ｆに等しいａｔｌａｓ＿ｉｄ）のためのメインＡｄａｐｔａｔｉｏｎＳｅｔのｉｄに続いて、ボリュメトリックメディアの他のアトラスの各々に対応するＡｄａｐｔａｔｉｏｎＳｅｔｓのｉｄを含む。

そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｔａｇ値が、別の特定の値、例えば、タグ＝「１」に等しいとき、ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、複数のタイルを伴うアトラスの事前選択を示すために、Ｖ３Ｃ記述子を含むべきである。ＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ＰｒｅＳｅｌｅｃｔｉｏｎコンポーネント属性は、単一アトラスを伴うボリュメトリックメディアの事前選択の場合、複数のタイルが属しているアトラスのためのＡｄａｐｔａｔｉｏｎＳｅｔのｉｄが、ボリュメトリックメディアのためのメインＡｄａｐｔａｔｉｏｎＳｅｔのｉｄに続いて、各アトラスタイルトラックに対応するＡｄａｐｔａｔｉｏｎＳｅｔのｉｄであることを含む。

そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｔａｇ値が、別の特定の値、例えば、タグ＝「２」に等しい場合、かつＰｒｅＳｅｌｅｃｔｉｏｎ要素が、Ｖ３Ｃ記述子を含む場合、それは、アトラスおよびその関連付けられたビデオエンコードされたＶ３Ｃコンポーネントの事前選択を示す。ＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、アトラスのためのＡｄａｐｔａｔｉｏｎＳｅｔのｉｄを含み、それは、単一のアトラスを伴うボリュメトリックメディアの事前選択の場合、ボリュメトリックメディアのためのメインＡｄａｐｔａｔｉｏｎＳｅｔのｉｄ、および、それに続くビデオエンコードされたＶ３Ｃコンポーネントに対応するＡｄａｐｔａｔｉｏｎＳｅｔのｉｄである。

そのようなＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｔａｇ値が、別の特定の値、例えば、タグ＝「２」に等しい場合、かつＰｒｅＳｅｌｅｃｔｉｏｎ要素が、Ｖ３Ｃタイル記述子を含む場合、アトラスタイルトラックおよびその関連付けられたビデオエンコードされたＶ３Ｃコンポーネントの事前選択を示す。ＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、アトラスタイルトラックのためのＡｄａｐｔａｔｉｏｎＳｅｔのｉｄと、それに続くビデオエンコードされたＶ３Ｃコンポーネントに対応するＡｄａｐｔａｔｉｏｎＳｅｔｓのｉｄを含む。

（エンコーダ、デコーダ、およびシステム実装の例）

図８は、少なくとも例示的例ビデオエンコーダまたはピクチャエンコーダまたはボリュメトリックメディアエンコーダを含む第１の例示的デバイスを図示する略図である。

入手ユニット１００１は、ビデオおよびピクチャを捕捉する。入手ユニット１００１は、自然場面のビデオまたはピクチャを撮影するために、１つ以上のカメラを装備し得る。随意に、入手ユニット１００１は、深度ビデオまたは深度ピクチャを得るためのカメラを用いて実装され得る。随意に、入手ユニット１００１は、赤外線カメラのコンポーネントを含み得る。随意に、入手ユニット１００１は、遠隔感知カメラで構成され得る。入手ユニット１００１は、放射線を使用してオブジェクトを走査することによってビデオまたはピクチャを生成する装置またはデバイスでもあり得る。

随意に、入手ユニット１００１は、例えば、自動ホワイトバランス、自動焦点化、自動露光、バックライト補償、鮮明化、雑音除去、スティッチング、アップサンプリング／ダウンサンプリング、フレームレート変換、仮想ビュー合成等、前処理をビデオまたはピクチャに対して実施し得る。

入手ユニット１００１は、ビデオまたはピクチャを別のデバイスまたは処理ユニットからも受信し得る。例えば、入手ユニット１００１は、トランスコーダ内のコンポーネントユニットであることができる。トランスコーダは、１つ以上のデコードされた（または部分的にデコードされた）ピクチャを入手ユニット１００１にフィードする。別の例は、入手ユニット１００１は、そのデバイスへのデータリンクを介して、ビデオまたはピクチャを別のデバイスから得ることである。

入手ユニット１００１がビデオおよびピクチャに加え、他のメディア情報、例えば、オーディオ信号を捕捉するために使用され得ることに留意されたい。入手ユニット１００１は、人工情報、例えば、キャラクタ、テキスト、コンピュータ生成ビデオまたはピクチャ等も受信し得る。

エンコーダ１００２は、例示的エンコーダの実装である。エンコーダ１００２の入力は、入手ユニット１００１によって出力されたビデオまたはピクチャである。エンコーダ１００２は、ビデオまたはピクチャをエンコードし、生成されたビデオまたはピクチャビットストリームを出力する。

記憶装置／送信ユニット１００３は、ビデオまたはピクチャビットストリームをエンコーダ１００２から受信し、システム層処理をビットストリームに対して実施する。例えば、記憶装置／送信ユニット１００３は、トランスポート規格およびメディアファイルフォーマット、例えば、例えば、ＭＰＥＧ－２ＴＳ、ＩＳＯＢＭＦＦ、ＤＡＳＨ、ＭＭＴ等に従って、ビットストリームをカプセル化する。記憶装置／送信ユニット１００３は、第１の例示的デバイスのメモリまたはディスク内へのカプセル化後に取得されるトランスポートストリームまたはメディアファイルを記憶する、または有線または無線ネットワークを介して、トランスポートストリームまたはメディアファイルを送信する。

エンコーダ１００２からのビデオまたはピクチャビットストリームに加え、記憶装置／送信ユニット１００３の入力がオーディオ、テキスト、画像、グラフィック等も含み得ることに留意されたい。記憶装置／送信ユニット１００３は、そのような異なるタイプのメディアビットストリームをカプセル化することによって、トランスポートまたはメディアファイルを生成する。

本実施形態に説明される第１の例示的デバイスは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、メディアサーバ、ポータブルモバイル端末、デジタルカメラ、ブロードキャストデバイス、ＣＤＮ（コンテンツ配信ネットワーク）デバイス、監視カメラ、ビデオ会議デバイス等内でビデオ（またはピクチャ）ビットストリームを生成または処理することが可能なデバイスであることができる。

図９は、少なくとも例示的ビデオデコーダまたはピクチャデコーダまたはボリュメトリックメディアデコーダを含む第２の例示的デバイスを図示する略図である。

受信ユニット１１０１は、ビットストリームを有線または無線ネットワークから取得することによって、電子デバイス内のメモリまたはディスクを読み取ることによって、またはデータリンクを介して、他のデバイスからのデータをフェッチすることによって、ビデオまたはピクチャビットストリームを受信する。

受信ユニット１１０１の入力は、ビデオまたはピクチャビットストリームを含む、トランスポートストリームまたはメディアファイルも含み得る。受信ユニット１１０１は、トランスポートまたはメディアファイルフォーマットの仕様に従って、ビデオまたはピクチャビットストリームをトランスポートストリームまたはメディアファイルから抽出する。

受信ユニット１１０１は、ビデオまたはピクチャビットストリームを出力し、デコーダ１１０２に渡す。ビデオまたはピクチャビットストリームに加え、受信ユニット１１０１の出力がオーディオビットストリーム、キャラクタ、テキスト、画像、グラフィック等も含み得ることに留意されたい。受信ユニット１１０１は、出力を第２の例示的デバイス内の対応する処理ユニットに渡す。例えば、受信ユニット１１０１は、出力オーディオビットストリームをこのデバイス内のオーディオデコーダに渡す。

デコーダ１１０２は、例示的デコーダの実装である。エンコーダ１１０２の入力は、受信ユニット１１０１によって出力されたビデオまたはピクチャビットストリームである。デコーダ１１０２は、ビデオまたはピクチャビットストリームをデコードし、デコードされたビデオまたはピクチャを出力する。

レンダリングユニット１１０３は、デコードされたビデオまたはピクチャをデコーダ１１０２から受信する。レンダリングユニット１１０３は、デコードされたビデオまたはピクチャを視認者に提示する。レンダリングユニット１１０３は、第２の例示的デバイスのコンポーネント、例えば、画面であり得る。レンダリングユニット１１０３は、第２の例示的デバイス、例えば、プロジェクタ、モニタ、ＴＶセット等へのデータリンクを伴う第２の例示的デバイスと別個のデバイスでもあり得る。随意に、レンダリングユニット１１０３は、例えば、自動ホワイトバランス、自動焦点化、自動露光、バックライト補償、鮮明化、雑音除去、スティッチング、アップサンプリング／ダウンサンプリング、フレームレート変換、仮想ビュー合成等、それを視認者に提示する前に、後処理をデコードされたビデオまたはピクチャに対して実施する。

デコードされたビデオまたはピクチャに加え、レンダリングユニット１１０３の入力は、第２の例示的デバイスの１つ以上のユニットからの他のメディアデータ、例えば、オーディオ、キャラクタ、テキスト、画像、グラフィック等であることができることに留意されたい。レンダリングユニット１１０３の入力は、人工データ、例えば、遠隔教育アプリケーションにおいて注意を引くためにスライド上にローカル教師によって描かれるラインおよびマークも含み得る。レンダリングユニット１１０３は、異なるタイプのメディアをともに構成し、次いで、構成物を視認者に提示する。

本実施形態に説明される第２の例示的デバイスは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、セットトップボックス、ＴＶセット、ＨＭＤ、モニタ、メディアサーバ、ポータブルモバイル端末、デジタルカメラ、ブロードキャストデバイス、ＣＤＮ（コンテンツ配信ネットワーク）デバイス、監視ビデオ会議デバイス等内でビデオ（またはピクチャ）ビットストリームをデコーディングまたは処理することが可能なデバイスであることができる。

図１０は、図８における第１の例示的デバイスと、図９における第２の例示的デバイスとを含む、電子システムを図示する略図である。

サービスデバイス１２０１は、図８における第１の例示的デバイスである。

記憶媒体／トランスポートネットワーク１２０２は、デバイスまたは電子システムの内部メモリリソース、データリンクを介してアクセス可能な外部メモリリソース、有線および／または無線ネットワークから成るデータ伝送ネットワークを含み得る。記憶媒体／トランスポートネットワーク１２０２は、サービスデバイス１２０１内の記憶／送信ユニット１２０３のための記憶リソースまたはデータ伝送ネットワークを提供する。

宛先デバイス１２０３は、図９における第２の例示的デバイスである。宛先デバイス１２０３内の受信ユニット１２０１は、ビデオまたはピクチャビットストリーム、ビデオまたはピクチャビットストリームを含むトランスポートストリーム、またはビデオまたはピクチャビットストリームを含むメディアファイルを記憶媒体／トランスポートネットワーク１２０２から受信する。

本実施形態に説明される電子システムは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、ＩＰＴＶシステム、ＯＴＴシステム、インターネット上のマルチメディアシステム、デジタルＴＶブロードキャストシステム、ビデオ監視システム、ポータブルモバイル端末、デジタルカメラ、ビデオ会議システム等内でビデオ（またはピクチャ）ビットストリームを生成、記憶、またはトランスポート、およびデコードすることが可能なデバイスまたはシステムであることができる。

図１１は、本書に説明されるエンコーダ側またはデコーダ側技法を実装するために使用され得る例示的装置１４００を示す。装置１４００は、エンコーダ側またはデコーダ側技法または両方を実施するように構成され得るプロセッサ１４０２を含む。装置１４００は、プロセッサ実行可能命令を記憶するためのメモリ、ビデオビットストリームおよび／またはディスプレイデータを記憶するためのメモリ（図示せず）も含み得る。装置１４００は、変換回路、算術コーディング／デコーディング回路、ルックアップ表ベースのデータコーディング技法等、ビデオ処理回路網（図示せず）を含み得る。ビデオ処理回路網は、部分的に、プロセッサ内に、および／または部分的に、グラフィックプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の他の専用回路網内に含まれ得る。

ビデオをエンコードおよびデコードする技術に関して本書に説明される技術的問題は、好ましくは、以下の解決策のうちの１つ以上を組み込むことによって、いくつかの実施形態によって解決され得る。

１．ボリュメトリックメディア処理の方法（例えば、図１Ａに示される方法１００）であって、方法は、メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定すること（１０２）と、１つ以上の事前選択要素を使用して、ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすること（１０４）と、ボリュメトリックメディアを１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとから再構築すること（１０６）とを含む。

２．１つ以上の事前選択要素の各々は、ボリュメトリックメディアを識別する記述子と、ボリュメトリックメディアのアトラスデータコンポーネントおよび関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、解決策１に記載の方法。

３．ボリュメトリックメディアを識別する記述子は、ボリュメトリックメディアのアトラスデータコンポーネントの識別を含む、解決策２に記載の方法。

４．ボリュメトリックメディアを識別する記述子は、ボリュメトリックメディアのアトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、解決策２に記載の方法。

５．ボリュメトリックメディアの１つ以上のアトラスのアクセスを示すボリュメトリックメディアの事前選択に起因して、方法は、１つ以上のアトラスの１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、解決策１に記載の方法。

６．ボリュメトリックメディアの１つ以上のタイルのアクセスを示すボリュメトリックメディアの事前選択に起因して、方法は、１つ以上のタイルが属する１つ以上のアトラスの１つ以上のアトラスデータコンポーネントと、１つ以上のタイルの１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、解決策１に記載の方法。

７．ボリュメトリックメディアの事前選択が複数のアトラスを伴うボリュメトリックメディアのアクセスを示す場合、ボリュメトリックメディアのメインアトラスのアトラスデータコンポーネントにアクセスする、解決策１、５、または６に記載の方法。

８．アトラスデータコンポーネントは、ボリュメトリックメディアのアトラスデータを搬送し、ビデオエンコードされたコンポーネントは、占有率マップ、幾何学形状、またはボリュメトリックメディアの属性コンポーネントビデオビットストリームのいずれかのための２Ｄビデオエンコードデータを搬送する、解決策１－７のいずれかに記載の方法。

９．ボリュメトリックメディアエンコーディングの方法（例えば、図１Ｂを備えている方法１５０）であって、方法は、３次元場面から、３次元場面を表す１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとを備えているボリュメトリックメディアを生成すること（１５２）と、メディアプレゼンテーション記述（ＭＰＤ）ファイルに、ボリュメトリックメディアの事前選択を示す１つ以上の事前選択要素を含むこと（１５４）とを含み、１つ以上の事前選択要素は、３次元場面に関連付けられた１つ以上のアトラスデータコンポーネントと、ビデオエンコードされたコンポーネントとへのアクセスを提供する、方法。

１０．１つ以上の事前選択要素の各々は、ボリュメトリックメディアを識別する記述子と、ボリュメトリックメディアのアトラスデータコンポーネントおよび関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、解決策９に記載の方法。

１１．ボリュメトリックメディアを識別する記述子は、ボリュメトリックメディアのアトラスデータコンポーネントの識別を含む、解決策８に記載の方法。

１２．ボリュメトリックメディアを識別する記述子は、ボリュメトリックメディアのアトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、解決策８に記載の方法。

１３．ボリュメトリックメディアの１つ以上のアトラスのアクセスを示すボリュメトリックメディアの事前選択に起因して、方法は、１つ以上のアトラスの１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することをさらに含む、解決策９に記載の方法。

１４．ボリュメトリックメディアの１つ以上のタイルのアクセスを示すボリュメトリックメディアの事前選択に起因して、方法は、１つ以上のタイルが属する１つ以上のアトラスの１つ以上のアトラスデータコンポーネントと、１つ以上のタイルの１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することを含む、解決策９に記載の方法。

１５．ボリュメトリックメディアの事前選択が複数のアトラスを伴うボリュメトリックメディアのアクセスを示す場合、ボリュメトリックメディアのメインアトラスのアトラスデータコンポーネントを構成する、解決策９、１３または１４に記載の方法。

１６．解決策１－１５のうちの１つ以上のものにおいて説明される方法を実装するように構成されたプロセッサを備えているボリュメトリックメディアを処理するための装置。

１７．コードを記憶しているコンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品であって、コードは、プロセッサによって実行されると、解決策１－１５のうちの１つ以上のものにおいて説明される方法をプロセッサに実装させる。

本書に説明される、開示されるおよび他の実施形態、モジュール、および機能動作が、デジタル電子回路で、または本書に開示される構造およびそれらの構造均等物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらのうちの１つ以上のものの組み合わせで、実装されることができる。開示されるおよび他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ読み取り可能な媒体上でエンコードされるコンピュータプログラム命令の１つ以上のモジュールとして、実装されることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝搬信号を生じさせる組成物、または１つ以上のそれらの組み合わせであり得る。用語「データ処理装置」は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上のそれらの組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に発生させられる信号、例えば、好適な受信機装置に伝送するために情報をエンコードするように発生させられる、機械で発生させられる電気、光学、または電磁信号である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）が、コンパイラ型またはインタープリタ型言語を含む任意の形態のプログラミング言語で書かれることができ、独立型プログラムとして、またはコンピューティング環境内の使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイル（例えば、マークアップ言語文書内に記憶された１つ以上のスクリプト）の一部内に、当該プログラム専用の単一のファイル内に、または複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの地点に位置し、または複数の地点を横断して分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開されることができる。

本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を発生させることによって機能を実施するように、１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサによって、実施されることができる。プロセスおよび論理フローはまた、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって、実施されることもでき、装置も、それとして実装されることができる。

コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊用途マイクロプロセッサの両方、および任意の種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。概して、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサ、および命令およびデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ読み取り可能な媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊用途論理回路によって補完される、またはそれに組み込まれることができる。

本特許文書は、多くの詳細を含むが、これらは、任意の発明または請求され得るものの範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態との関連で本特許文書に説明されるある特徴も、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態との関連で説明される種々の特徴も、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。

同様に、動作は、特定の順序で図面に描写され得るが、それは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。さらに、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。

いくつかの実装および例のみが、説明され、他の実装、向上、および変形例も、本特許文書に説明および図示されるものに基づいて成されることができる。

これらおよび他の側面が、本書に説明される。
本発明は、例えば、以下を提供する。
（項目１）
ボリュメトリックメディア処理の方法であって、前記方法は、
メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定することと、
前記１つ以上の事前選択要素を使用して、前記ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすることと、
前記１つ以上のアトラスデータコンポーネントと、前記関連付けられたビデオエンコードされたコンポーネントとから、前記ボリュメトリックメディアを再構築することと
を含む、方法。
（項目２）
前記１つ以上の事前選択要素の各々は、前記ボリュメトリックメディアを識別する記述子と、前記ボリュメトリックメディアのアトラスデータコンポーネントおよび前記関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、項目１に記載の方法。
（項目３）
前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントの識別を含む、項目２に記載の方法。
（項目４）
前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、項目２に記載の方法。
（項目５）
前記ボリュメトリックメディアの１つ以上のアトラスのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、項目１に記載の方法。
（項目６）
前記ボリュメトリックメディアの１つ以上のタイルのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
前記１つ以上のタイルが属している前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、前記１つ以上のタイルの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、項目１に記載の方法。
（項目７）
前記ボリュメトリックメディアの前記事前選択が複数のアトラスを伴う前記ボリュメトリックメディアのアクセスを示す場合、
前記ボリュメトリックメディアのエントリアトラスの前記アトラスデータコンポーネントにアクセスする、項目１、５、または６に記載の方法。
（項目８）
前記アトラスデータコンポーネントは、前記ボリュメトリックメディアの前記アトラスデータを搬送し、前記ビデオエンコードされたコンポーネントは、前記ボリュメトリックメディアの占有率マップ、幾何学形状、または属性コンポーネントビデオビットストリームのいずれかのための２Ｄビデオエンコードデータを搬送する、項目１－７のいずれかに記載の方法。
（項目９）
ボリュメトリックメディアエンコーディングの方法であって、前記方法は、
３次元場面から、前記３次元場面を表す１つ以上のアトラスデータコンポーネントと、
関連付けられたビデオエンコードされたコンポーネントとを備えているボリュメトリックメディアを生成することと、
メディアプレゼンテーション記述（ＭＰＤ）ファイルに、前記ボリュメトリックメディアの事前選択を示す１つ以上の事前選択要素を含むことと
を含み、
前記１つ以上の事前選択要素は、前記３次元場面に関連付けられた１つ以上のアトラスデータコンポーネントと、前記ビデオエンコードされたコンポーネントとへのアクセスを提供する、方法。
（項目１０）
前記１つ以上の事前選択要素の各々は、前記ボリュメトリックメディアを識別する記述子と、前記ボリュメトリックメディアのアトラスデータコンポーネントおよび関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、項目９に記載の方法。
（項目１１）
前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントの識別を含む、項目８に記載の方法。
（項目１２）
前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、項目８に記載の方法。
（項目１３）
前記ボリュメトリックメディアの１つ以上のアトラスのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することをさらに含む、項目９に記載の方法。
（項目１４）
前記ボリュメトリックメディアの１つ以上のタイルのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
前記１つ以上のタイルが属している前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、前記１つ以上のタイルの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することを含む、項目９に記載の方法。
（項目１５）
前記ボリュメトリックメディアの前記事前選択が複数のアトラスを伴う前記ボリュメトリックメディアのアクセスを示す場合、
前記ボリュメトリックメディアのエントリアトラスの前記アトラスデータコンポーネントを構成する、項目９、１３、または１４に記載の方法。
（項目１６）
項目１－１５のうちの１つ以上において説明される方法を実装するように構成されたプロセッサを備えているボリュメトリックメディアを処理するための装置。
（項目１７）
コード記憶しているコンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品であって、前記コードは、プロセッサによって実行されると、項目１－１５のうちの１つ以上において説明される方法を前記プロセッサに実装させる、コンピュータプログラム製品。

Claims (17)

1. ボリュメトリックメディア処理の方法であって、前記方法は、
   メディアプレゼンテーション記述（ＭＰＤ）ファイルから、ボリュメトリックメディアの事前選択に対応する１つ以上の事前選択要素を決定することと、
   前記１つ以上の事前選択要素を使用して、前記ボリュメトリックメディアの１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとにアクセスすることと、
   前記１つ以上のアトラスデータコンポーネントと、前記関連付けられたビデオエンコードされたコンポーネントとから、前記ボリュメトリックメディアを再構築することと
   を含む、方法。
2. 前記１つ以上の事前選択要素の各々は、前記ボリュメトリックメディアを識別する記述子と、前記ボリュメトリックメディアのアトラスデータコンポーネントおよび前記関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、請求項１に記載の方法。
3. 前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントの識別を含む、請求項２に記載の方法。
4. 前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、請求項２に記載の方法。
5. 前記ボリュメトリックメディアの１つ以上のアトラスのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
   前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、請求項１に記載の方法。
6. 前記ボリュメトリックメディアの１つ以上のタイルのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
   前記１つ以上のタイルが属している前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、前記１つ以上のタイルの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとにアクセスすることをさらに含む、請求項１に記載の方法。
7. 前記ボリュメトリックメディアの前記事前選択が複数のアトラスを伴う前記ボリュメトリックメディアのアクセスを示す場合、
   前記ボリュメトリックメディアのエントリアトラスの前記アトラスデータコンポーネントにアクセスする、請求項１、５、または６に記載の方法。
8. 前記アトラスデータコンポーネントは、前記ボリュメトリックメディアの前記アトラスデータを搬送し、前記ビデオエンコードされたコンポーネントは、前記ボリュメトリックメディアの占有率マップ、幾何学形状、または属性コンポーネントビデオビットストリームのいずれかのための２Ｄビデオエンコードデータを搬送する、請求項１－７のいずれかに記載の方法。
9. ボリュメトリックメディアエンコーディングの方法であって、前記方法は、
   ３次元場面から、前記３次元場面を表す１つ以上のアトラスデータコンポーネントと、関連付けられたビデオエンコードされたコンポーネントとを備えているボリュメトリックメディアを生成することと、
   メディアプレゼンテーション記述（ＭＰＤ）ファイルに、前記ボリュメトリックメディアの事前選択を示す１つ以上の事前選択要素を含むことと
   を含み、
   前記１つ以上の事前選択要素は、前記３次元場面に関連付けられた１つ以上のアトラスデータコンポーネントと、前記ビデオエンコードされたコンポーネントとへのアクセスを提供する、方法。
10. 前記１つ以上の事前選択要素の各々は、前記ボリュメトリックメディアを識別する記述子と、前記ボリュメトリックメディアのアトラスデータコンポーネントおよび関連付けられたビデオエンコードされたコンポーネントを事前選択する属性とを含む、請求項９に記載の方法。
11. 前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントの識別を含む、請求項８に記載の方法。
12. 前記ボリュメトリックメディアを識別する前記記述子は、前記ボリュメトリックメディアの前記アトラスデータコンポーネントに属しているタイルのための１つ以上のタイルアドレスを含む、請求項８に記載の方法。
13. 前記ボリュメトリックメディアの１つ以上のアトラスのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
    前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することをさらに含む、請求項９に記載の方法。
14. 前記ボリュメトリックメディアの１つ以上のタイルのアクセスを示す前記ボリュメトリックメディアの前記事前選択に起因して、前記方法は、
    前記１つ以上のタイルが属している前記１つ以上のアトラスの前記１つ以上のアトラスデータコンポーネントと、前記１つ以上のタイルの前記１つ以上のアトラスデータコンポーネントと、全ての関連付けられたビデオエンコードされたコンポーネントとへのアクセスを構成することを含む、請求項９に記載の方法。
15. 前記ボリュメトリックメディアの前記事前選択が複数のアトラスを伴う前記ボリュメトリックメディアのアクセスを示す場合、
    前記ボリュメトリックメディアのエントリアトラスの前記アトラスデータコンポーネントを構成する、請求項９、１３、または１４に記載の方法。
16. 請求項１－１５のうちの１つ以上において説明される方法を実装するように構成されたプロセッサを備えているボリュメトリックメディアを処理するための装置。
17. コード記憶しているコンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品であって、前記コードは、プロセッサによって実行されると、請求項１－１５のうちの１つ以上において説明される方法を前記プロセッサに実装させる、コンピュータプログラム製品。