JP2023551010A - 没入型メディアのマルチアトラスカプセル化 - Google Patents

没入型メディアのマルチアトラスカプセル化 Download PDF

Info

Publication number
JP2023551010A
JP2023551010A JP2023532514A JP2023532514A JP2023551010A JP 2023551010 A JP2023551010 A JP 2023551010A JP 2023532514 A JP2023532514 A JP 2023532514A JP 2023532514 A JP2023532514 A JP 2023532514A JP 2023551010 A JP2023551010 A JP 2023551010A
Authority
JP
Japan
Prior art keywords
atlas
data
media
track
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023532514A
Other languages
English (en)
Inventor
チウティン リー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2023551010A publication Critical patent/JP2023551010A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

メディアファイル内のボリュメトリックビデオデータの柔軟なカプセル化を提供する、方法、装置、およびシステムが、開示される。一例示的側面では、ビデオ処理のための方法は、３次元（３Ｄ）ボリュメトリックビデオデータを受信することと、３次元ボリュメトリックビデオデータをメディアファイルにエンコードすることとを含む。３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、それぞれ、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備える。アトラスデータおよび１つまたはそれを上回る２Ｄコンポーネントは、メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される。

Description

本特許文書は、概して、ビデオ処理を対象とする。
ユーザは、コンテンツが実在するかのように見えるような方法で、それを体験することを好む。技術の進歩に伴って、没入型メディアは、かつてないほどより現実的である、コンテンツをもたらす。没入型メディアは、３６０度画像およびビデオ、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、およびウェアラブルおよびモノのインターネット（ＩｏＴ）等の新興技術プラットフォームによって駆動される、非従来的フォーマットを含む。
本特許文書は、とりわけ、メディアファイル内のボリュメトリックビデオデータの柔軟なカプセル化を提供するために実装され得る、技法を説明する。
一例示的側面では、ビデオ処理のための方法は、３次元（３Ｄ）ボリュメトリックビデオデータを受信することと、３次元ボリュメトリックビデオデータをメディアファイルにエンコードすることと含む。３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、それぞれ、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備える。アトラスデータおよび１つまたはそれを上回る２Ｄコンポーネントは、メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される。
別の例示的側面では、ビデオ処理のための方法は、３次元（３Ｄ）ボリュメトリックビデオデータを表す、メディアファイルをデコードすることと、１つまたはそれを上回るメディアトラックのうちの少なくとも１つのメディアトラックに基づいて、３Ｄボリュメトリックビデオデータを再構成することとを含む。３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、それぞれ、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備える。アトラスデータおよび１つまたはそれを上回る２Ｄコンポーネントは、メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される。
別の例示的側面では、通信装置が、開示される。本装置は、上記に説明される方法を実装するように構成される、プロセッサを含む。
さらに別の例示的側面では、コンピュータプログラム記憶媒体が、開示される。コンピュータプログラム記憶媒体は、その上に記憶されたコードを含む。コードは、プロセッサによって実行されると、プロセッサに説明される方法を実装させる。
さらに別の例示的側面では、コンピュータプログラム記憶媒体が、開示される。コンピュータプログラム記憶媒体は、本明細書に説明される方法に従って発生される、メディアファイルを記憶する。
これらおよび他の側面が、本書に説明される。
図１は、メディアファイルの例示的構造を図示する。
図２は、メディアファイルの別の例示的構造を図示する。
図３は、本技術による、ボリュメトリックビデオデータに関する例示的エンコーディングおよびデコーディングプロセスを図示する。
図４は、本技術による、エンコーダ側またはデコーダ側モジュールを実装するために使用され得る、例示的装置を示す。
図５は、本技術による、ビデオエンコーディングのための方法のフローチャート表現である。
図６は、本技術による、ビデオエンコーティングのための別の方法のフローチャート表現である。
図７は、本技術による、メディアファイルの例示的カプセル化構造を図示する。
図８は、本技術による、メディアファイルの例示的カプセル化構造を図示する。
図９は、本技術による、メディアファイルの例示的カプセル化構造を図示する。
詳細な説明
節の見出しは、本書では、可読性を改良するために使用されるにすぎず、各節内の開示される実施形態および技法の範囲をその節のみに限定しない。開示される技法は、限定ではないが、標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ベースのメディアファイルフォーマット規格を含む、種々の結像および／またはビデオ規格に適用可能である。
没入型メディアは、ユーザに没入型かつ完全に異なるメディア体験を与えるためのオーディオおよびビデオ等のマルチメディア技術の使用を指す。没入型メディアコンテンツを鑑賞するとき、ユーザは、（例えば、仮想現実ヘッドセットを装着することによって）リアルタイムでメディアに参加することができる。没入型メディアは、映画、ゲーム、ニュース、および／または医療治療等の多くの分野への拡張に成功している。没入型メディアコンテンツは、従来のメディアコンテンツと異なる、すなわち、視覚的コンテンツは、大画像面積および広視野を被覆し、ユーザに、コンテンツを調整する際に、その独自の選好に基づいて、より多くの柔軟性を提供する、典型的３６０度パノラマ視覚データである。
現在のところ、没入型メディアシステムは、ボリュメトリックビデオを使用して、３次元（３Ｄ）場面およびオブジェクトを表す。３Ｄビデオデータは、ボクセルによって表され、したがって、場面内の任意のオブジェクトが、６自由度の移動を通して視認されることができる。ボリュメトリックビデオは、複数のカメラから同時に収集されるデータを使用して、またはデータの３次元（３Ｄ）表現（例えば、点群データ）を使用して構成されることができる。３Ｄビデオデータは、次いで、（２Ｄコンポーネントとも称される）２Ｄパッチとして、２次元（２Ｄ）空間の上に投影される。例えば、ボリュメトリックビデオデータは、マッピング後の矩形画像（例えば、正投影画像）として表されることができる。代替として、ボリュメトリックビデオデータは、マッピングおよびパッチパッキング後の矩形画像として表されることができる。いくつかの実施形態では、３Ｄボリュメトリックビデオデータは、メディアファイル内に記憶されることができる。２Ｄデータの特性は、幾何学形状、属性、および／または占有マップデータ等の２Ｄコンポーネントとして、メディアファイル内にカプセル化される。２Ｄコンポーネントに加えて、アトラスデータと称される、３Ｄ空間と２Ｄ空間との間の投影関係もまた、メディアファイル内にカプセル化される。
以下の議論は、ＩＳＯ基本メディアファイルフォーマットに焦点を当てる。しかしながら、関連する考慮事項および技法は、高効率ビデオコーディング（ＨＥＶＣ）フォーマット、多用途ビデオコーディング（ＶＶＣ）フォーマット等を含む、他のメディアファイルフォーマットにも適用可能である。
制限付きスキーム情報ボックス、トラック参照ボックス、およびトラックグループボックス等のＩＳＯ基本メディアファイルフォーマットは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）パート１２ ＩＳＯベースメディアファイルフォーマットに基づいて公式化される、ＭＰＥＧ－４と称される。ボリュームビデオの投影、パッケージ化ステップ、および基本フォーマットは、ＭＰＥＧによって公式化される、ＭＰＥＧ－Ｉ Ｐａｒｔ１０を参照して動作されることができる。ＩＳＯ基本ファイルフォーマットでは、全てのデータが、ボックス内にパッキングされる。すなわち、ＭＰ４ファイルによって表される、ＩＳＯ基本ファイルフォーマットは、いくつかのボックスを含み、それぞれ、あるタイプと、長さとを有する。いくつかのボックスは、１つまたはそれを上回る他のボックスを含有し得るため、コンテナボックスと称される。ＭＰ４メディアファイルは、「ｆｔｙｐ」タイプボックスを含み、これは、ファイルフォーマットのマークとしての役割を果たし、ファイルについてのある情報を含む。「ｆｔｙｐ」タイプボックスの後には、１つのみのムービーボックス（「ＭＯＯＶ」タイプボックス）が続く。ムービーボックスは、メディアのメタデータ情報を備える、付加的なボックスを含む、コンテナボックスである。メディアファイルは、０個またはそれを上回るメディアデータボックス（「ＭＡＤＴ」タイプボックス）を含むことができる。例えば、全てのメディアデータが、他のファイルを参照するとき、メディアファイルは、０個のメディアデータボックスを含む。メディアデータボックスはまた、メディアデータを備える、付加的なボックスを含む、コンテナボックスでもある。メディアデータの構造は、メタデータ記述によって決定される。メディアのメタデータ記述をさらにサポートするために、メタデータボックス（「メタ」タイプボックス）は、随意に、いくつかの一般的または付加的な非時間指定メタデータを記述するために使用されることができる。
上記に議論されるように、２Ｄ平面に投影される、ボリュメトリックビデオの２Ｄ表現は、幾何学的コンポーネントデータ、属性コンポーネントデータ、および／または占有コンポーネントデータを含む、２Ｄコンポーネントデータによって表される。アトラスデータは、３Ｄ空間と２Ｄ平面との間の投影関係を表す。マルチトラックカプセル化ビデオデータコンテナ内には、少なくとも２タイプのトラック、すなわち、アトラスパラメータ情報またはアトラスビットストリーム等のアトラス情報を搬送する、ボリュメトリック視覚的トラック（Ｖ３Ｃトラックとも称される）と、占有、幾何学形状、または属性コンポーネントビデオビットストリームのうちのいずれかに関する、２Ｄビデオエンコードデータを搬送する、ビデオトラック（Ｖ３Ｃコンポーネントトラックとも称される）とが存在することができる。図１は、メディアファイルの例示的構造を図示する。ＩＳＯ／ＩＥＣコーディング規格によると、例えば、コンテナファイルは、ボリュメトリックデータの単一トラックカプセル化を含むことができる（例えば、トラック－１）。すなわち、対応するビットストリームは、メディアファイル内の単一トラック宣言によって表される。いくつかの実施形態では、複数のボリュメトリック視覚的トラックも、同様に、ファイル内に存在することができる。図２は、メディアファイルの別の例示的構造を図示する。図２に示される実施例では、データは、コンポーネントタイプに基づいて、コンテナファイル内の個々のトラックにマップされる。
図１に示されるようなＶ３Ｃデータの単一トラックカプセル化は、Ｖ３Ｃエンコードビットストリームの単純なカプセル化において使用されることができる。しかしながら、単一トラックカプセル化は、複雑な３Ｄ場面に関して、非常に少ない柔軟性を提供する。あらゆるものが、単一トラック内にカプセル化されるため、全てのデータが、デコーディング目的のために伝送される必要があり、帯域幅および処理能力の潜在的な浪費につながる。
マルチトラックカプセル化は、複雑な場面に関して、より多くの柔軟性を提供し、異なるタイプのコンポーネントデータが、異なるトラックに分離されることを可能にする。図２に示されるように、各ビデオトラックは、単一タイプのコンポーネントビデオビットストリームを搬送する。しかしながら、ビデオデータをデコーディングすることは、多くの場合、ビデオデータの複数のコンポーネント（例えば、幾何学形状およびテクスチャ）を要求する。さらに、いくつかのビデオビットストリームを並行してデコーディングすることは、同期およびメモリ利用問題につながり得る。例えば、複数のビデオビットストリームの同期は、デコーダが、フレームをスキップするとき、困難である。実装の複雑性は、マルチストリーム同期に関して有意に増加し、デコーディング時間において、不必要な先行遅延につながり得る。さらに、３Ｄから２Ｄへの投影は、複数のアトラスを結果としてもたらすことができる。例えば、ボリュメトリックビデオが、複数のカメラからのデータを使用して構成されるとき、１つのアトラスが、１つまたはそれを上回る選択されたカメラからのデータに関して構築されることができる。いくつかの実施形態では、複数のカメラから捕捉された画像は、部分的に、重複する、または繰り返すことができる。抜粋することは、捕捉された画像が、アトラスにエンコードされる前に、重複された部分に対して実施されることができる。図２に示される、マルチトラックカプセル化構造は、アトラスのサブセットのみが、必要とされるとき、データ伝送および／またはデコーディングの柔軟性を提供することができない。
本特許文書は、デコーディングの複雑性を低減し、帯域幅消費を増加させるために、より柔軟なカプセル化スキームを提供するために、種々の実施形態において実装され得る、技法を開示する。いくつかの実施形態では、開示される技法は、メディアボックス内の複数のアトラスのカプセル化を可能にするように実装され、それによって、ビデオ処理が、アトラスベースで実施されることを可能にすることができる。コンポーネントトラックは、対応するアトラスおよび／またはコンポーネントタイプに基づいて編成され、それによって、デコード側の同期の必要性を低減させる、または最小限にすることができる。
図３は、本技術による、ボリュメトリックビデオデータに関する例示的エンコーディングおよびデコーディングプロセスを図示する。図３に示されるように、没入型メディアシステム３００は、没入型メディア生産プラットフォーム３１０（エンコーダ側）と、プレーヤ端末３２０（デコーダ側）とを含む。没入型メディア生産プラットフォーム３１０は、少なくともコンテンツ生産モジュール３１１と、記憶モジュール３１２と、伝送モジュール３１３とを含む。コンテンツ生産モジュール３１１は、捕捉されたボリュメトリックビデオのエンコーディングおよびカプセル化処理のために使用される。記憶モジュール３１２は、カプセル化されたメディアファイルを記憶するために使用される。伝送モジュール３１３は、クライアント端末から要求メッセージを受信するため、および／または記憶モジュール３１２内に記憶されるデータ（メディアファイル等）を伝送するために使用される。ビデオデータの受信および／または伝送は、通信プロバイダによって提供される無線ネットワーク、ローカル無線エリアネットワーク、または有線方法を通して実施されることができる。
プレーヤ端末３２０は、少なくとも、伝送モジュール３２１と、メディア処理モジュール３２２と、メディア提示モジュール３２３とを含む。伝送モジュール３２１は、データ（例えば、メディアファイル）を受信するため、および／またはメッセージ（例えば、メディアファイル要求）を伝送モジュール３１３に伝送するために使用される。メディア処理モジュール３２２は、受信されたメディアファイルをデコードおよびカプセル化解除し、視認位置、視認方向等のユーザの現在の視認状態に従って、ボリュメトリックビデオを再構築するために使用される。メディア処理モジュール３２２はまた、レンダリング処理も実施する。メディア提示モジュール３２３は、再構築されたボリュメトリックビデオをユーザのビューポート内に提示するために使用される。
図４は、本特許技術による、エンコーダ側またはデコーダ側モジュールを実装するために使用され得る、例示的装置４００を示す。装置４００は、エンコーダ側またはデコーダ側技法または両方を実施するように構成され得る、プロセッサ４０２を含む。装置４００はまた、プロセッサ実行可能命令を記憶するため、およびビデオビットストリームおよび／または表示データを記憶するためのメモリ（４０４）を含んでもよい。装置４００は、変換回路、算術コーディング／デコーディング回路等のビデオ処理回路網（図示せず）を含んでもよい。ビデオ処理回路網は、部分的に、プロセッサの中に、および／または、部分的に、グラフィックプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の他の専用回路網の中に含まれてもよい。
図５は、本技術による、ビデオエンコーディングのための方法５００のフローチャート表現である。方法５００は、動作５１０において、３次元（３Ｄ）ボリュメトリックビデオデータを受信することを含む。方法５００はまた、動作５２０において、３次元ボリュメトリックビデオデータをメディアファイルにエンコードすることを含む。３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、それぞれ、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備える。アトラスデータおよび１つまたはそれを上回る２Ｄコンポーネントは、メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される。
図６は、本技術による、ビデオデコーディングのための方法６００のフローチャート表現である。方法６００は、動作６１０において、３次元（３Ｄ）ボリュメトリックビデオデータを表す、メディアファイルをデコードすることを含む。３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、それぞれ、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備える。アトラスデータおよび１つまたはそれを上回る２Ｄコンポーネントは、メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される。方法６００はまた、動作６２０において、１つまたはそれを上回るメディアトラックのうちの少なくとも１つのメディアトラックに基づいて、３Ｄボリュメトリックビデオデータを再構築することを含む。
エンコーディングおよびデコーディングの両方の場合において、各アトラスの１つまたはそれを上回る２Ｄコンポーネントは、少なくとも幾何学形状コンポーネント、占有コンポーネント、または属性コンポーネントを備える。いくつかの実施形態では、アトラスデータは、３Ｄ空間から２Ｄ平面に、３Ｄボリュメトリックビデオデータを投影する投影関係を備える。いくつかの実施形態では、メディアファイル内の少なくとも１つのメディアトラックは、３Ｄボリュメトリックビデオデータの一部または全てを表す、情報を含む。例えば、メディアファイル内に記憶される、全てのトラックのトラックのサブセットが、伝送コストを低減させるために、デコードのために伝送される。
いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプ（例えば、Ｖ３Ｃ）を伴う、ボリュメトリック視覚的トラックを含む。ボリュメトリック視覚的トラックは、１つまたはそれを上回るアトラスの全てに共通のパラメータ情報を備える。いくつかの実施形態では、ボリュメトリック視覚的トラックは、ゼロサンプルを含む。いくつかの実施形態では、ボリュメトリック視覚的トラックは、１つまたはそれを上回るサンプルを含み、各サンプルは、１つまたはそれを上回るアトラスに関するアトラスデータを搬送する。
いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプ（例えば、下記の実施形態３に説明されるような「ｖ３ｃａ」）を伴う、１つまたはそれを上回るアトラストラックを含む。アトラストラックは、１つまたはそれを上回るアトラスのアトラスデータを備える。
いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、第１のサンプルエントリタイプ（例えば、下記の実施形態１に説明されるような「ｖ３ｃｃ」）を伴う、１つまたはそれを上回る第１のコンポーネントトラックを含む。第１のコンポーネントトラックは、１つまたはそれを上回るアトラスに対応する、１つまたはそれを上回るコンポーネントのデータを備える。いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、第２のサンプルエントリタイプ（例えば、下記の実施形態２に説明されるような「ｖ３ａｃ」）を伴う、１つまたはそれを上回る第２のコンポーネントトラックを含む。第２のコンポーネントトラックは、アトラスデータと、１つまたはそれを上回るアトラスに対応する、１つまたはそれを上回るコンポーネントのデータとを備える。いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、第３のサンプルエントリタイプ（例えば、下記の実施形態３に説明されるような「ｖ３ｃｍ」）を伴う、１つまたはそれを上回る第３のコンポーネントトラックを含む。第３のコンポーネントトラックは、１つまたはそれを上回るアトラスからの特定のタイプのコンポーネントデータを搬送する。
いくつかの実施形態では、１つまたはそれを上回るメディアトラックは、複数のグループに編成される。いくつかの実施形態では、各グループは、１つまたはそれを上回るアトラスのうちの１つに対応する。いくつかの実施形態では、各グループは、３Ｄ場面内のビューの場所等の３Ｄボリュメトリックビデオデータと関連付けられる、グルーピング基準に起因して、ともに配列される、複数のアトラスに対応する。
いくつかの実施形態では、上記に説明されるエンコーディング方法のうちの１つに従ってエンコードされるメディアファイルは、コンピュータ可読媒体上に記憶されてもよい。
開示される技法のいくつかの実施例はさらに、以下の例示的実施形態に説明される。
実施形態１
いくつかの実施形態では、全てのアトラスのアトラスデータが、同一トラック（例えば、Ｖ３Ｃトラック）内に記憶される。図７は、本技術による、メディアファイルの例示的カプセル化構造７００を図示する。図７に示されるように、ボリュメトリックビデオのメディアファイル（例えば、ＩＳＯファイル）は、ＭＯＯＶボックス内に、タイプ「ｖ３ａｍ」を伴う、サンプルエントリによって識別される、Ｖ３Ｃボリュメトリック視覚的トラックを含む。Ｖ３Ｃボリュメトリック視覚的トラックは、全てのアトラスに共通である、ボリュメトリックビデオおよび／またはアトラス情報のパラメータ情報を含む。
ＶＣ３ボリュメトリック視覚的トラックは、１つまたはそれを上回る対応するサンプルを含むことができる。少なくとも１つのサンプルが存在するとき、対応するＭＤＡＴボックスは、ボリュメトリックビデオのパラメータ情報、アトラスパラメータ情報、および／または全てのアトラスのデータを記憶する。
Ｖ３Ｃコンポーネントトラックは、メディアファイル内で、限定付きビデオとして表され、ビデオサンプルエントリに対応する、ＳｃｈｅｍｅＴｙｐｅＢｏｘのｓｃｈｅｍｅ＿ｔｙｐｅフィールド内の「ｖｖｖｃ」によって識別されることができる。いくつかの実施形態では、アトラスに対応する、異なるタイプのコンポーネントデータが、１つのＶ３Ｃコンポーネントトラック内に記憶される。図７に示されるように、Ａｔｌａｓ＿１（７０１）は、コンポーネント１、コンポーネント２等を含む、異なるタイプの複数のコンポーネントを有する。Ａｔｌａｓ＿１に対応する、全てのコンポーネントは、同一Ｖ３Ｃコンポーネントトラック内に記憶される。すなわち、Ａｔｌａｓ＿１に関する幾何学形状、属性、占有データ等の特性が、ともに編成され、Ａｔｌａｓ＿１を処理するための同期の複雑性を低減させる。
いくつかの実施形態では、アトラスは、コンポーネントタイプに基づいて編成される、複数のトラックに対応することができる。図７に示されるように、Ａｔｌａｓ＿２（７０２）は、２つのトラックに対応する。各トラックは、特定のコンポーネントタイプに対応する。例えば、Ｔｒａｃｋ＿２は、コンポーネントタイプ１に対応する一方、Ｔｒａｃｋ＿３は、コンポーネントタイプ２に対応する。
Ｖ３Ｃボリュメトリック視覚的トラックサンプルエントリに関する構文実施例が、下記の表に示される。
上記表における変数は、以下の定義を有する。
ｍｕｌｔｉ＿ａｔｌａｓ＿ｆｌａｇは、メディアトラックが、複数のアトラスを含むかどうかを示す。
ｎｕｍ＿ａｔｌａｓは、メディアトラック内に含まれる、アトラスの数を示す。
ａｔｌａｓ＿ｉｄは、アトラスの識別子を示す。
ｕｎｉｔ＿ｈｅａｄｅｒは、ＩＳＯ／ＩＥＣフォーマットにおいて定義されるように、ｖ３ｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）である。
ｍｉｘ＿ｃｏｍｐｏｎｅｎｔ＿ｆｌａｇは、コンポーネントデータが、同一メディアトラック内に記憶されるかどうかを示す。０という値は、コンポーネントが、別個のメディアトラック内に記憶されることを示す。１という値は、コンポーネントが、同一メディアトラック内に記憶されることを示す。
ｃｏｍｐｏｎｅｎｔ＿ｇｒｏｕｐ＿ｉｄは、同一アトラスに属する、全てのコンポーネントデータを記憶する、メディアトラックグループの識別子（ＩＤ）を示す。
ａｔｌａｓ＿ｒｅｆｅｒｅｎｃｅ＿ｔｒａｃｋ＿ｉｄは、アトラスに対応する全てのコンポーネントデータが、記憶される、メディアトラックの参照ＩＤを示す。
Ｖ３Ｃメディアトラックは、トラック参照、またはＩＳＯ／ＩＥＣフォーマットにおいて定義されている他の方法を使用して、対応するコンポーネントメディアトラックを参照／リンクし得る。
Ｖ３Ｃコンポーネントトラックは、タイプ「ｖ３ｃｃ」のサンプルエントリによって識別される、異なるタイプのコンポーネントデータを含む。Ｖ３Ｃコンポーネントトラックは、１つのアトラスまたは複数のアトラスからのコンポーネントデータを含むことができる。Ｖ３Ｃコンポーネントトラックサンプルエントリに関する構文実施例が、下記の表に示される。
上記表における変数は、以下の定義を有する。
ｍｉｘ＿ｃｏｍｐｏｎｅｎｔ＿ｆｌａｇは、コンポーネントデータが、同一メディアトラック内に記憶されるかどうかを示す。０という値は、コンポーネントが、別個のメディアトラック内に記憶されることを示す。１という値は、コンポーネントが、同一メディアトラック内に記憶されることを示す。
ｎｕｍ＿ａｔｌａは、メディアトラック内に含まれる、アトラスの数を示す。
ａｔｌａｓ＿ｉｄは、アトラスの識別子を示す。
ａｔｌａｓ＿ｔｉｌｅ＿ｆｌａｇは、コンポーネントトラックが、アトラスタイルを含むかどうかを示す。０という値は、コンポーネントトラックが、アトラスタイルを含まないことを示す。１という値は、コンポーネントトラックが、１つまたはそれを上回るアトラスタイルを含むことを示す。
ｎｕｍ＿ｔｉｌｅは、アトラスタイルの数を示す。
ｔｉｌｅ＿ｉｄは、アトラスタイルの識別子を示す。
ｎｕｍ＿ｃｏｍｐｏｎｅｎｔは、メディアトラック内のコンポーネントの数を示す。
ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントデータのタイプを示す。
ｕｎｉｔ＿ｈｅａｄｅｒは、ＩＳＯ／ＩＥＣフォーマットにおいて定義されるように、ｖ３ｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）である。
実施形態２
いくつかの実施形態では、アトラスデータおよび各アトラスのコンポーネントデータが、同一トラック内に記憶される。図８は、本技術による、メディアファイルの例示的カプセル化構造８００を図示する。ボリュメトリックビデオのメディアファイルは、全てのアトラスに共通である、アトラス情報を記憶する、Ｖ３Ｃトラックを含む。本実施例では、Ｖ３Ｃトラックは、ゼロサンプルを含む。したがって、ＭＡＤＴボックスは、Ｖ３Ｃトラックに関するいかなるサンプルデータも含まない。
全てのアトラスに共通ではないアトラスデータは、特定のアトラスに関する、対応するコンポーネントデータとともに記憶されることができる。図８に示されるように、Ａｔｌａｓ＿１（８０１）に関して、Ａｔｌａｓ＿１データおよび異なるタイプの全てのコンポーネントデータ（コンポーネント１、コンポーネント２）が、同一トラック内に記憶される。同様に、Ａｔｌａｓ＿２（８０１）に関して、Ａｔｌａｓ＿２データおよび異なるタイプの全てのコンポーネントデータ（コンポーネント１、コンポーネント２）が、同一トラック内に記憶される。すなわち、特定のアトラスに関する全ての関連する全てのデータが、トラック内にともにパッキングされ、それによって、同期遅延を最小限にし、伝送の柔軟性を増加させる。
ここでは、Ｖ３Ｃアトラスおよびコンポーネントトラックは、タイプ「ｖ３ａｃ」のサンプルエントリによって識別されることができる。Ｖ３Ｃアトラスおよびコンポーネントトラックサンプルエントリに関する構文実施例が、下記の表に示される。
上記表における変数は、以下の定義を有する。
ａｔｌａｓ＿ｉｄは、アトラスの識別子を示す。
ｍｕｌｔｉ＿ａｔｌａｓ＿ｆｌａｇは、メディアトラックが、複数のアトラスを含むことを示す。
ｎｕｍ＿ａｔｌａｓは、メディアトラック内に含まれる、アトラスの数を示す。
ｕｎｉｔ＿ｈｅａｄｅｒは、ＩＳＯ／ＩＥＣフォーマットにおいて定義されるように、ｖ３ｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）である。
実施形態３
いくつかの実施形態では、１つまたはそれを上回るアトラスからの同一タイプのコンポーネントデータが、同一メディアトラック内に記憶される。全てのアトラスのコンポーネントデータは、グルーピング基準に基づいて、例えば、コンポーネントタイプに基づいて、グループに編成されることができる。図９は、本技術による、メディアファイルの例示的カプセル化構造９００を図示する。実施形態２と同様に、メディアファイルは、全てのアトラスに共通である、アトラス情報を記憶する、Ｖ３Ｃトラックを含み、Ｖ３Ｃトラックは、ゼロサンプルを含む。したがって、ＭＡＤＴボックスは、Ｖ３Ｃトラックに関するいかなるサンプルデータも含まない。
本実施形態では、メディアファイルは、アトラスパラメータ情報および／または全てのアトラスのデータを記憶するために、（例えば、エントリタイプ「ｖ３ｃａ」によって識別される）別個のアトラストラック９０１を含む。複数のアトラスが、グルーピング基準に基づいて、１つのグループに編成される。例えば、複数のアトラスが、３Ｄボリュメトリックビデオデータに対応する、３Ｄ領域内の複数のカメラレイアウトに対応することができる。例えば、図９に示されるように、複数のアトラスのコンポーネントタイプＩのコンポーネントデータ（１つのグループに属する、Ａｔｌａｓ＿１、Ａｔｌａｓ＿２、およびＡｔｌａｓ＿３）が、Ｖ３Ｃコンポーネントトラック９０２内に記憶される。同様に、複数のアトラスのコンポーネントタイプＩＩのコンポーネントデータ（Ａｔｌａｓ＿１、Ａｔｌａｓ＿２、およびＡｔｌａｓ＿３）が、Ｖ３Ｃコンポーネントトラック９０３内に記憶される。すなわち、各Ｖ３Ｃコンポーネントトラックが、１つまたはそれを上回るアトラスからのコンポーネントデータを含むことができる。そのような編成は、デコード側が、１つの特定のコンポーネントタイプのみを調査する必要があるとき、より効率的な処理を可能にする。
コンポーネントタイプに加えて、コンポーネントトラックおよびＶ３Ｃアトラストラックは、他のグルーピング基準に従って、グループに編成されることができる。例えば、コンポーネントトラックは、複数のアトラスの１つのグループの全てのタイプのコンポーネントデータを記憶し、次いで、コンポーネントトラックおよびＶ３Ｃアトラストラックは、１つのグループにグルーピングされることができる。種々のグルーピング基準は、３Ｄ場面の特性に従って、３Ｄボリュメトリックビデオデータの効率的な部分的処理を可能にするために使用されることができる。
Ｖ３Ｃアトラストラックサンプルエントリに関する構文実施例が、下記の表に示される。
上記表における変数は、以下の定義を有する。
ｍｕｌｔｉ＿ａｔｌａｓ＿ｆｌａｇは、メディアトラックが、複数のアトラスを含むことを示す。
ｎｕｍ＿ａｔｌａｓは、メディアトラック内に含まれる、アトラスの数を示す。
ａｔｌａｓ＿ｉｄは、アトラスの識別子を示す。
ａｔｌａｓ＿ｇｒｏｕｐ＿ｆｌａｇは、Ｖ３Ｃアトラストラック内のアトラスの全てが、１つのグループにグルーピングされることを示す。
ａｔｌａｓ＿ｇｒｏｕｐ＿ｉｄは、Ｖ３Ｃアトラストラック内のアトラスの全てが属する、グループのＩＤを示す。
ｕｎｉｔ＿ｈｅａｄｅｒは、ＩＳＯ／ＩＥＣフォーマットにおいて定義されるように、ｖ３ｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）である。
Ｖ３Ｃコンポーネントメディアトラックは、タイプ「ｖ３ｃｍ」のサンプルエントリによって識別されることができる。Ｖ３Ｃコンポーネントトラックサンプルエントリに関する構文実施例が、下記の表に示される。
上記表における変数は、以下の定義を有する。
ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントのタイプを示す。
ｎｕｍ＿ａｔｌａｓは、メディアトラック内に含まれる、アトラスの数を示す。
ａｔｌａｓ＿ｉｄは、アトラスの識別子を示す。
ｕｎｉｔ＿ｈｅａｄｅｒは、ＩＳＯ／ＩＥＣフォーマットにおいて定義されるように、ｖ３ｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）である。
本書が、３Ｄボリュメトリックビデオデータの柔軟性なカプセル化を提供するために、種々の実施形態内に具現化され得る、技法を開示することを理解されたい。開示される技法は、複数のアトラスが、単一メディアファイルの中にカプセル化されることを可能にする。アトラスデータおよび各アトラスのコンポーネントデータは、伝送コストを低減させ、同期の複雑性を最小限にするために、異なる方法で編成されることができる。本書に説明される、開示されるメディアコンテンツ処理システムおよび他の実施形態、モジュール、および機能動作が、デジタル電子回路網で、または本書に開示される構造およびそれらの構造均等物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらのうちの１つまたはそれを上回るもの組み合わせで、実装されることができる。開示されるおよび他の実施形態は、１つまたはそれを上回るコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ可読媒体上でエンコードされるコンピュータプログラム命令の１つまたはそれを上回るモジュールとして、実装されることができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝搬信号を生じさせる組成物、または１つまたはそれを上回るそれらの組み合わせであり得る。用語「データ処理装置」は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つまたはそれを上回るもの組み合わせを成すコードを含むことができる。伝搬信号は、人工的に発生される信号、例えば、好適な受信機装置への伝送のために情報をエンコードするように発生される、機械で発生される電気、光学、または電磁信号である。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）が、コンパイラ型またはインタープリタ型言語を含む、任意の形態のプログラミング言語で書かれることができ、独立型プログラムとして、またはコンピューティング環境内での使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む、任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイル（例えば、マークアップ言語文書内に記憶された１つまたはそれを上回るスクリプト）の一部内に、当該プログラム専用の単一のファイル内に、または複数の協調ファイル（例えば、１つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの地点に位置する、または複数の地点を横断して分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開されることができる。
本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を発生させることによって機能を実施するように、１つまたはそれを上回るコンピュータプログラムを実行する、１つまたはそれを上回るプログラマブルプロセッサによって、実施されることができる。プロセスおよび論理フローはまた、特殊用途論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施されることもでき、装置もまた、それとして実装されることができる。
コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊用途マイクロプロセッサの両方、および任意の種類のデジタルコンピュータのいずれか１つまたはそれを上回るプロセッサを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリまたは両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサ、および命令およびデータを記憶するための１つまたはそれを上回るメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つまたはそれを上回る大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊用途論理回路網によって補完される、またはそれに組み込まれることができる。
本特許文書は、多くの詳細を含むが、これらは、任意の発明または請求され得るものの範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態との関連で本特許文書に説明されるある特徴もまた、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態との関連で説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。また、特徴が、ある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴が、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。
同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。また、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
いくつかの実装および実施例のみが、説明され、他の実装、向上、および変形例も、本特許文書に説明および図示されるものに基づいて成されることができる。
これらおよび他の側面が、本書に説明される。
本発明は、例えば、以下を提供する。
（項目１）
ビデオ処理のための方法であって、
３次元（３Ｄ）ボリュメトリックビデオデータを受信することと、
上記３次元ボリュメトリックビデオデータをメディアファイルにエンコードすることと
を含み、
上記３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、各アトラスは、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備え、上記アトラスデータおよび上記１つまたはそれを上回る２Ｄコンポーネントは、上記メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される、方法。
（項目２）
ビデオ処理のための方法であって、
３次元（３Ｄ）ボリュメトリックビデオデータを表すメディアファイルをデコードすることであって、上記３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、各アトラスは、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備え、上記アトラスデータおよび上記１つまたはそれを上回る２Ｄコンポーネントは、上記メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される、ことと、
上記１つまたはそれを上回るメディアトラックのうちの少なくとも１つのメディアトラックに基づいて、上記３Ｄボリュメトリックビデオデータを再構成することと
を含む、方法。
（項目３）
各アトラスのための上記１つまたはそれを上回る２Ｄコンポーネントは、少なくとも幾何学形状コンポーネント、占有コンポーネント、または属性コンポーネントを備える、項目１または２に記載の方法。
（項目４）
上記アトラスデータは、３Ｄ空間から２Ｄ平面に、上記３Ｄボリュメトリックビデオデータを投影する投影関係を備える、項目１－３のいずれかに記載の方法。
（項目５）
上記メディアファイル内の上記少なくとも１つのメディアトラックは、上記３Ｄボリュメトリックビデオデータの一部または全てを表す情報を含む、項目１－４のいずれかに記載の方法。
（項目６）
上記１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプを伴うボリュメトリック視覚的トラックを含み、上記ボリュメトリック視覚的トラックは、上記１つまたはそれを上回るアトラスの全てに共通のパラメータ情報を備える、項目１－５のいずれかに記載の方法。
（項目７）
上記ボリュメトリック視覚的トラックは、ゼロサンプルを含む、項目６に記載の方法。
（項目８）
上記ボリュメトリック視覚的トラックは、１つまたはそれを上回るサンプルを含み、各サンプルは、１つまたはそれを上回るアトラスに関するアトラスデータを搬送する、項目６に記載の方法。
（項目９）
上記１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプを伴うアトラストラックを含み、上記アトラストラックは、１つまたはそれを上回るアトラスのアトラスデータを備える、項目１－８のいずれかに記載の方法。
（項目１０）
上記１つまたはそれを上回るメディアトラックは、第１のサンプルエントリタイプを伴う第１のコンポーネントトラックを含み、上記第１のコンポーネントトラックは、上記１つまたはそれを上回るアトラスに対応する上記１つまたはそれを上回るコンポーネントのデータを備える、項目１－９のいずれかに記載の方法。
（項目１１）
上記１つまたはそれを上回るメディアトラックは、第２のサンプルエントリタイプを伴う第２のコンポーネントトラックを含み、上記第２のコンポーネントトラックは、上記アトラスデータと、上記１つまたはそれを上回るアトラスに対応する上記１つまたはそれを上回るコンポーネントのデータとを備える、項目１－１０のいずれかに記載の方法。
（項目１２）
上記１つまたはそれを上回るメディアトラックは、第３のサンプルエントリタイプを伴う第３のコンポーネントトラックを含み、上記第３のコンポーネントトラックは、上記１つまたはそれを上回るアトラスからの特定のタイプのコンポーネントデータを搬送する、項目１－１１のいずれかに記載の方法。
（項目１３）
上記１つまたはそれを上回るメディアトラックは、複数のグループに編成される、項目１－１２のいずれかに記載の方法。
（項目１４）
各グループは、上記１つまたはそれを上回るアトラスのうちの１つに対応する、項目１３に記載の方法。
（項目１５）
各グループは、上記３Ｄボリュメトリックビデオデータと関連付けられるグルーピング基準に起因してともに配列される複数のアトラスに対応する、項目１３に記載の方法。
（項目１６）
ビデオ処理装置であって、上記ビデオ処理装置は、項目１－１５のうちのいずれか１つまたはそれを上回るものにおいて記載される方法を実装するように構成されるプロセッサを備える、ビデオ処理装置。
（項目１７）
コンピュータプログラム製品であって、上記コンピュータプログラム製品は、その上に記憶されるコードを有しており、上記コードは、プロセッサによって実行されると、上記プロセッサに、項目１－１５のうちのいずれか１つまたはそれを上回るものにおいて記載される方法を実装させる、コンピュータプログラム製品。

Claims (17)

  1. ビデオ処理のための方法であって、
    ３次元（３Ｄ）ボリュメトリックビデオデータを受信することと、
    前記３次元ボリュメトリックビデオデータをメディアファイルにエンコードすることと
    を含み、
    前記３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、各アトラスは、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備え、前記アトラスデータおよび前記１つまたはそれを上回る２Ｄコンポーネントは、前記メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される、方法。
  2. ビデオ処理のための方法であって、
    ３次元（３Ｄ）ボリュメトリックビデオデータを表すメディアファイルをデコードすることであって、前記３Ｄボリュメトリックビデオデータは、１つまたはそれを上回るアトラスに対応し、各アトラスは、アトラスデータと、１つまたはそれを上回る２次元（２Ｄ）コンポーネントとを備え、前記アトラスデータおよび前記１つまたはそれを上回る２Ｄコンポーネントは、前記メディアファイル内の１つまたはそれを上回るメディアトラック内に記憶される、ことと、
    前記１つまたはそれを上回るメディアトラックのうちの少なくとも１つのメディアトラックに基づいて、前記３Ｄボリュメトリックビデオデータを再構成することと
    を含む、方法。
  3. 各アトラスのための前記１つまたはそれを上回る２Ｄコンポーネントは、少なくとも幾何学形状コンポーネント、占有コンポーネント、または属性コンポーネントを備える、請求項１または２に記載の方法。
  4. 前記アトラスデータは、３Ｄ空間から２Ｄ平面に、前記３Ｄボリュメトリックビデオデータを投影する投影関係を備える、請求項１－３のいずれかに記載の方法。
  5. 前記メディアファイル内の前記少なくとも１つのメディアトラックは、前記３Ｄボリュメトリックビデオデータの一部または全てを表す情報を含む、請求項１－４のいずれかに記載の方法。
  6. 前記１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプを伴うボリュメトリック視覚的トラックを含み、前記ボリュメトリック視覚的トラックは、前記１つまたはそれを上回るアトラスの全てに共通のパラメータ情報を備える、請求項１－５のいずれかに記載の方法。
  7. 前記ボリュメトリック視覚的トラックは、ゼロサンプルを含む、請求項６に記載の方法。
  8. 前記ボリュメトリック視覚的トラックは、１つまたはそれを上回るサンプルを含み、各サンプルは、１つまたはそれを上回るアトラスに関するアトラスデータを搬送する、請求項６に記載の方法。
  9. 前記１つまたはそれを上回るメディアトラックは、具体的なサンプルエントリタイプを伴うアトラストラックを含み、前記アトラストラックは、１つまたはそれを上回るアトラスのアトラスデータを備える、請求項１－８のいずれかに記載の方法。
  10. 前記１つまたはそれを上回るメディアトラックは、第１のサンプルエントリタイプを伴う第１のコンポーネントトラックを含み、前記第１のコンポーネントトラックは、前記１つまたはそれを上回るアトラスに対応する前記１つまたはそれを上回るコンポーネントのデータを備える、請求項１－９のいずれかに記載の方法。
  11. 前記１つまたはそれを上回るメディアトラックは、第２のサンプルエントリタイプを伴う第２のコンポーネントトラックを含み、前記第２のコンポーネントトラックは、前記アトラスデータと、前記１つまたはそれを上回るアトラスに対応する前記１つまたはそれを上回るコンポーネントのデータとを備える、請求項１－１０のいずれかに記載の方法。
  12. 前記１つまたはそれを上回るメディアトラックは、第３のサンプルエントリタイプを伴う第３のコンポーネントトラックを含み、前記第３のコンポーネントトラックは、前記１つまたはそれを上回るアトラスからの特定のタイプのコンポーネントデータを搬送する、請求項１－１１のいずれかに記載の方法。
  13. 前記１つまたはそれを上回るメディアトラックは、複数のグループに編成される、請求項１－１２のいずれかに記載の方法。
  14. 各グループは、前記１つまたはそれを上回るアトラスのうちの１つに対応する、請求項１３に記載の方法。
  15. 各グループは、前記３Ｄボリュメトリックビデオデータと関連付けられるグルーピング基準に起因してともに配列される複数のアトラスに対応する、請求項１３に記載の方法。
  16. ビデオ処理装置であって、前記ビデオ処理装置は、請求項１－１５のうちのいずれか１つまたはそれを上回るものにおいて記載される方法を実装するように構成されるプロセッサを備える、ビデオ処理装置。
  17. コンピュータプログラム製品であって、前記コンピュータプログラム製品は、その上に記憶されるコードを有しており、前記コードは、プロセッサによって実行されると、前記プロセッサに、請求項１－１５のうちのいずれか１つまたはそれを上回るものにおいて記載される方法を実装させる、コンピュータプログラム製品。
JP2023532514A 2020-11-30 2020-11-30 没入型メディアのマルチアトラスカプセル化 Pending JP2023551010A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/132660 WO2022110108A1 (en) 2020-11-30 2020-11-30 Multi-atlas encapsulation of immersive media

Publications (1)

Publication Number Publication Date
JP2023551010A true JP2023551010A (ja) 2023-12-06

Family

ID=81753880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023532514A Pending JP2023551010A (ja) 2020-11-30 2020-11-30 没入型メディアのマルチアトラスカプセル化

Country Status (6)

Country Link
US (1) US20220345714A1 (ja)
EP (1) EP4252421A4 (ja)
JP (1) JP2023551010A (ja)
KR (1) KR20230113781A (ja)
CN (1) CN115004699A (ja)
WO (1) WO2022110108A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
FI20165115A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
US10939086B2 (en) * 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
EP3843385A4 (en) * 2018-10-08 2021-09-22 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR GENERATING A MEDIA FILE WITH THREE-DIMENSIONAL VIDEO CONTENT AND METHOD AND DEVICE FOR REPLAYING THREE-DIMENSIONAL VIDEO CONTENT
CN114930863B (zh) * 2020-01-09 2023-08-08 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法

Also Published As

Publication number Publication date
EP4252421A1 (en) 2023-10-04
US20220345714A1 (en) 2022-10-27
EP4252421A4 (en) 2023-10-11
WO2022110108A1 (en) 2022-06-02
KR20230113781A (ko) 2023-08-01
CN115004699A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111869201B (zh) 处理和发送三维内容的方法
TW202041020A (zh) 用信號通知點雲多媒體資料軌道的空間關係的方法和裝置
JP2022133439A (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
CN114697668B (zh) 点云媒体的编解码方法及相关产品
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN115053531A (zh) 在isobmff中存储来自一个v-pcc基本流的多个图集
US20220360819A1 (en) Volumetric media process methods and apparatus
EP4283996A1 (en) Volumetric media processing method and apparatus, and storage medium and electronic apparatus
JP7447293B2 (ja) 異種クライアントエンドポイントへのストリーミングのための２ｄビデオの適応のためのニューラルネットワークモデルの参照
JP7402976B2 (ja) 点群データのためのファイルフォーマット
CN115396647B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
US20220360828A1 (en) Volumetric media process methods and apparatus
JP2023551010A (ja) 没入型メディアのマルチアトラスカプセル化
JP2023518676A (ja) 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
WO2022151370A1 (en) Multi-track based immersive media playout
CN114374675B (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
WO2023024841A1 (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2023169001A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230622