JP2024503059A - マルチトラックベースの没入型メディアプレイアウト - Google Patents
マルチトラックベースの没入型メディアプレイアウト Download PDFInfo
- Publication number
- JP2024503059A JP2024503059A JP2023542697A JP2023542697A JP2024503059A JP 2024503059 A JP2024503059 A JP 2024503059A JP 2023542697 A JP2023542697 A JP 2023542697A JP 2023542697 A JP2023542697 A JP 2023542697A JP 2024503059 A JP2024503059 A JP 2024503059A
- Authority
- JP
- Japan
- Prior art keywords
- playout
- group
- component
- components
- atlas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 130
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
種々のシナリオにおけるプレイアウト群を動的に示す方法、装置、およびシステムが、開示される。一例示的側面において、方法は、プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを3次元空間の中に再構築することとを含む。
Description
本特許文書は、概して、没入型技術に関する。
人間とコンピュータとの相互作用および人工知能技術の近年の発展に伴って、没入型技術は、働き方および生き方に革命をもたらしている。没入型技術は、マーケティングおよび広告、健康管理、教育、およびゲームを含むいくつか分野において適用される。新しい没入型技術の急速な発展は、ビデオおよび画像データを効果的に処理することを要求する。
本特許文書は、とりわけ、種々のシナリオにおいて、プレイアウト群を動的に示すための技法を説明する。
一側面において、メディアコンテンツを処理する方法が、開示される。方法は、プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを3次元空間の中に再構築することとを含む。
別の側面において、メディアコンテンツを処理する方法が、開示される。方法は、サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することと、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述においてプレイアウト群情報を伝送することとを含む。
別の例示的側面において、上記に説明される方法を実装するように構成されたプロセッサを備えている、無線通信装置が、開示される。
別の例示的側面において、上記に説明される方法を実装するためのコードを記憶しているコンピュータ記憶媒体が、開示される。
これらの側面および他の側面が、本書に説明される。
節の見出しは、理解の容易性のためにのみ、本書において使用され、実施形態の範囲をそれらが説明される節に限定しない。
開示される技術は、伝送効率およびレンダリング処理を改良し得るマルチトラックカプセル化ボリュメトリックビデオに基づいてプレイアウト表現および処理方法を提供するために、いくつかの実施形態において実装されることができる。開示される技術のいくつかの実施形態は、異なるネットワーク条件のもとで、ボリュメトリックビデオコンテンツを効果的に伝送し、適切な品質を伴って、ボリュメトリックビデオを再構築するために使用されることができる。
没入型メディアは、ユーザがオーディオおよびビデオ技術を通して現実的な仮想空間内で、高度な没入感を体験することを可能にする。現在のところ、没入型メディアシステムは、3次元場面/オブジェクトを表現するために、ボリュメトリックビデオを使用する。すなわち、場面内の任意のオブジェクトは、6自由度の移動を通して視認されることができる。
没入型メディアシステムでは、ボリュメトリックビデオ処理プロセスに関して、システムプラットフォームは、ボリュメトリックビデオを作り出し、3次元ボリュメトリックビデオを2次元平面の上に投影することと、アトラスデータ(3次元空間と2次元空間との間の投影関係)および2次元コンポーネント(幾何学形状、属性、および占有マップデータ)によって、ボリュメトリックビデオを表現することと、アトラスデータおよびコンポーネントデータを圧縮することと、メディアファイルの中にカプセル化することとを含む。ボリュメトリックビデオは、プラットフォーム側に記憶され、視認要件に基づいて、ユーザ側に転送される。
2次元平面上のボリュメトリックビデオの表現による現在の技術のもとで、ボリュメトリックビデオメディアファイルは、複数のトラックを含むことができ、各トラックは、別個に、ボリュメトリックビデオパラメータ、アトラスパラメータ、アトラスデータ、および/またはV3Cコンポーネントを含む。V3C(視覚的ボリュメトリックビデオベースのコーディング)コンポーネントデータは、ビデオエンコーディング方法を使用して圧縮され、AVC(高度ビデオコーディング)、HEVC(高効率ビデオコーディング)エンコーディング方法、異なるビット率、分解能等の異なるバージョンにおいて、生成され得る。
占有、幾何学形状、および属性コンポーネントの異なるバージョンは、互いの間に関係または依存関係を有し得る。幾何学形状コンポーネントデータは、アトラスデータと占有コンポーネントとに基づいて生成される。さらに、属性コンポーネントデータも、占有コンポーネントデータ、幾何学形状コンポーネントデータ、および他の情報に基づいて生成される。依存関係が保たれないとき、可視レンダリングアーチファクトが、生じ得る。例えば、幾何学形状と属性との間で、厳密に合致しない境界が、「フライングピクセル」を引き起こし得る。さらにより多くの可視誤差が、正確な占有トラックが合致している幾何学形状トラックと対ではないとき、生じ得る。異なる品質の占有マップと幾何学形状との組み合わせは、最終的に、パッチ境界の周囲に歪んだエッジを容易に生成し得る。この場合、代替群からのV3Cコンポーネントのある組み合わせのみが、一緒にプレイアウトされることができる。
V3Cコンポーネントの異なるバージョンとタイプとの間の依存関係に従って、代替群または改変群を形成する多くのプレイアウトの組み合わせが、存在し、それらは、異なるバージョンを伴う同じタイプのV3Cコンポーネントを含む。本明細書は、トラック群またはエンティティ群によって代替プレイアウト群を示すための機構を定義する。各プレイアウト群の組み合わせは、プレイアウトプロセスにおいて一定であり、可能な限り多くの全てのプレイアウトの組み合わせをリストアップすることが必要とされ、それによって、最適なプレイアウトスキームが、ユーザ端末によって選択され得る。複数のアトラスまたはアトラスタイルが存在する場合、そのような群の数は、多いであろう。
6自由度をサポートする、ボリュメトリックビデオに関して、ディレクタは、ボリュメトリックビデオの製作中、ユーザが最適な視覚的コンテンツを鑑賞するように誘導するために、ユーザの視認状態を制御および変更することを検討し得る。ボリュメトリックビデオコンテンツは、部分的な伝送であることができ、例えば、視野(FOV)に対応するコンポーネントデータの高品質バージョン、およびFOV外のコンポーネントデータの低品質バージョンが、伝送される、またはビューポート内のコンテンツが、伝送される。ボリュメトリックビデオ内の場面/オブジェクトが動的に変更されるので、プレイアウト群は、それに応じて変化すべきである。プレイアウト群を動的に示すための機構が、より多くのシナリオに適合さするために必要とされる。
開示される技術のいくつかの実施形態では、実装様式が、ISO(国際標準化機構、国際標準化機構)基本メディアファイル形式に基づいてファイルにボリュメトリックビデオデータを記憶するためのものであることに留意されたい。とりわけ、ISO基本メディアファイル形式(制限付きスキーム情報ボックス、トラック参照ボックス、およびトラック群ボックス等)は、動作させるために、MPEG-4(ISO/IEC JTC1/SC29動画専門家集団(略して、MPEG)パート12 ISOベースメディアファイル形式(ISO/IEC14496-12)によって策定された)を参照し得る。ボリュームビデオの投影、パッケージ化ステップ、および基本フォーマットは、MPEG-Iパート10(ISO/IEC23090-10)(ISO/IEC JTC1/SC29動画専門家集団(MPEG)によって策定された)を参照して動作させられることができる。カプセル化されたボリュームビデオの伝送およびその基本フォーマットは、MPEG-DASH(ISO/IEC JTC1/SC29/動画専門家集団(MPEG)によって策定された)を参照し得る。
図1は、プレイアウト群に基づくボリュメトリックビデオデータ処理の例を示すフローチャートである。
開示される技術のいくつかの実施形態は、マルチトラックベースのボリュメトリックビデオのためのプレイアウト方法を提供するために使用されることができる。図1に示されるように、プレイアウト群に基づくボリュメトリックビデオ処理は、以下の動作を含み得る。
- S201は、プレイアウト群の情報に従って、3次元空間の中に再構築されたボリュメトリックビデオに対応するプレイアウト群を決定する。
- S202は、プレイアウト群に対応するメディアトラックにおける2次元ボリュメトリックビデオコンテンツを獲得する。
- S203は、ボリュメトリックビデオを3次元空間の中に再構築する。
- S201は、プレイアウト群の情報に従って、3次元空間の中に再構築されたボリュメトリックビデオに対応するプレイアウト群を決定する。
- S202は、プレイアウト群に対応するメディアトラックにおける2次元ボリュメトリックビデオコンテンツを獲得する。
- S203は、ボリュメトリックビデオを3次元空間の中に再構築する。
図2は、開示される技術のいくつかの実施形態に基づく代替V3Cコンポーネントのメディアトラック構造の例を示す図である。
メディアトラックは、3次元空間から2次元平面に投影されるボリュメトリックビデオデータを記憶し、アトラスデータと、その対応する幾何学形状コンポーネント、属性コンポーネント、および/または占有コンポーネントとを含み、各コンポーネントは、代替バージョンを有し得る。異なるバージョンを伴うV3Cコンポーネントは、図2に示されるように、異なるトラックに記憶され、メディアトラック構造は、メディアファイルに記憶される。
V3Cコンポーネントトラックのための代替スキームが存在する場合、代替コンポーネントが位置するV3Cコンポーネントトラックは、代替群、すなわち、プレイアウト群を形成することができる。伝送、デコーディング、および/または再構築中に選択され得る複数のプレイアウト群が、存在する。
ある実装では、同じアトラスまたはアトラスタイルに対応する異なるバージョンを伴う同じタイプのV3Cコンポーネントが位置するメディアトラックは、ISO/IEC14496-12において定義される機構を通して示される代替トラックである。代替トラックのTrackHeaderBox内に、alternate_groupフィールドが、存在する。同じalternate_group値を伴うV3Cコンポーネントトラックが代替バージョンのV3Cコンポーネントを含む場合、それらは、代替トラック群である。
別の実装では、代替トラック群は、ISO/IEC14496-12によって定義される’altr’のタイプを伴うEntityToGroupBoxによって記述されることもできる。代替V3Cコンポーネントが位置するメディアトラックは、エンティティ群を形成する。複数のそのような群が、存在し得、各エンティティ群は、group_idを有する。
図3は、開示される技術のいくつかの実施形態に基づくV3Cコンポーネントトラックのプレイアウト群の例示的構造を示す図である。
いくつかの実装では、プレイアウト群は、複数の代替トラック群からのV3Cコンポーネントを含み、プレイ群における各V3Cコンポーネントのコンテンツは、異なる、すなわち、同じアトラスまたはアトラスタイルに対応する同じタイプのV3Cコンポーネントの2つの異なるバージョンが、同じプレイアウト群内に存在することができない。プレイアウト群構造の例が、図3に示される。
再構築およびレンダリングによって生成される3次元ボリュメトリックビデオの品質を保証するために、アトラスまたはアトラスタイルに対応するV3Cコンポーネントの異なるタイプおよびバージョンは、恣意的に、あるプレイアウト群に対して選択されない。ユーザの視認状態およびディレクタの配置が、考慮されるべきである。
プレイアウト群は、部分的な3次元空間領域内のボリュメトリックビデオに対応するアトラスまたはアトラスタイルの一部に対応する代替V3Cコンポーネントの一部を含む。すなわち、いくつかのアトラスまたはアトラスタイルに対応するV3Cコンポーネントは、この瞬間において、プレイアウト群に含まれないこともある。
プレイアウト群の構造は、プレイアウト群の識別子と、V3Cコンポーネントの数と、V3Cコンポーネントのタイプ(幾何学形状コンポーネント、属性コンポーネント、または占有コンポーネント等)と、対応するV3Cコンポーネントトラックの識別子とを含むPlayoutGroupStructによって記述される。
ここで、「group_id」は、プレイアウト群の識別子を示し、「num_playout_member」は、プレイアウト群におけるV3Cコンポーネントの数を示し、「atlas_id」は、V3Cコンポーネントに対応するアトラスのIDを示し、「atlas_tile_flag」は、コンポーネントトラックが、アトラスタイルを含むかどうかを示し、その値が、0である場合、コンポーネントトラックが、アトラスタイルを含まないことを示し、その値が、1である場合、コンポーネントトラックが、1つ以上のアトラスタイルを含むことを示し、「tile_id」は、アトラスタイルのIDを示し、「component_track_id」は、V3Cコンポーネントトラックの識別子を示し、「V3C_component_type」は、V3Cコンポーネントトラックに記憶される、V3Cコンポーネントのタイプを示す。
(解決策1)
いくつかの実施形態では、ユーザのビューポートに対応するプレイアウト群は、場面変化、ディレクタの意図等の種々の因子に起因して、異なる頻度の変化を有し得る。伝送されることが必要とされるV3Cコンポーネントは、3次元空間領域全体の全てまたは3次元空間領域の一部に対応し得、したがって、プレイアウト群は、実際の視認場面に従って、動的に変更されることができる。
この解決策は、メディアファイルにおいて、プレイアウト群が頻繁かつ動的に変化することを記述する方法を提供する。
プレイアウト群の構成情報は、’dpog’というボックスタイプによって識別されるDynamicPlayoutGroupConfigBoxによって記述される。
ボックスタイプ: ’dpog’
コンテナ: サンプル記述ボックス(’stsd’)
必須: いいえ
数量: 0または1
コンテナ: サンプル記述ボックス(’stsd’)
必須: いいえ
数量: 0または1
ここで、「num_playout_group」は、プレイアウト群の数を示し、「viewport_match_flag」は、プレイアウト群が、ビューポートに対応するかどうかを示し、「viewport_id」は、プレイアウト群が対応するビューポートのIDを示し、「effect_level」は、プレイアウト群におけるV3Cコンポーネントの品質レベルを示す。加えて、playout_group_descriptionは、プレイアウト群のテキスト記述を提供する、ヌル終端されたUTF-8文字列である。
ボリュメトリックビデオメディアファイルは、’plgs’というタイプのサンプルエントリによって識別される時間指定メタデータメディアトラックを含む。サンプルエントリは、タイプ’dpog’のデータボックスを含み、それは、動的プレイアウト群の構成情報を記述する。
V3Cプレイアウト群の時間指定メタデータメディアトラックのサンプルエントリに関する、構文の例は、以下の通りである:
V3Cプレイアウト群の動的時間指定メタデータトラックの構文サンプル形式は、以下の通りである:
ここで、「viewport_pos_update」は、プレイアウト群が対応するビューポートが、変更されているかどうかを示し、「num_addition_playout」は、新しく追加されたプレイアウト群の数を示し、「viewport_index」は、ビューポートのインデックスを示す。
さらに、時間指定メタデータトラックは、特定のサンプルに関連付けられた時間指定メタデータを確立するためのISO基本メディアファイル形式(ISOBMFF)の機構である。タイミングメタデータは、メディアデータと殆ど結合されず、通常、「記述的」である。
(解決策2)
いくつかの実施形態では、ボリュメトリックビデオのコンテンツは、動的であるが、そのような変更は、あまり頻繁ではない。1つ以上のプレイアウト群が、あるサンプリング期間中に使用され、次の期間において変更され得る。この解決策は、1つ以上のプレイアウト群が、時折、変更されることを記述する方法を提供する。
アトラスデータおよび/またはV3Cパラメータ組が位置するメディアトラックにおけるサンプルは、サンプル群方法を通して群化される。アトラストラックによって参照される、V3Cコンポーネントトラックに対応するプレイアウト群情報は、メディアトラックのサンプル群ボックスにおいて記述される。
プレイアウト群に基づいたサンプル群の情報は、PlayoutSampleGroupDescriptionEntryを通して記述され、それは、ISO/IEC14496-12およびISO/IEC23090-10において定義されるSampleGroupDescriptionBoxに含まれる。
(解決策3)
図4は、開示される技術のいくつかの実施形態に基づくメディアプレゼンテーション記述(MPD)におけるV3Cコンポーネントのプレイアウト群情報の例を示す図である。
いくつかの実施形態では、あるプレイアウト群におけるV3Cコンポーネントは、プレイアウト群情報に従って、ユーザ側に伝送され、端末は、プレイアウト群におけるV3Cコンポーネントを処理することのみを必要とする。サーバに記憶される、伝送されたメディアファイルの情報は、DASH(HTTPを介する動的適合型ストリーミング)マニフェスト(MPD)において記述され、ユーザ側は、情報を参照することによって、対応するV3Cコンポーネントデータをサーバから取得することができる。
各V3Cコンポーネントは、MPDにおいて別個の適合組として表現される。アトラス情報の適合組は、主適合組として使用される。幾何学形状または属性コンポーネントが、アトラスタイルに対応する複数のマップを有する場合、別個のAdaptationSet要素またはpresentationSet要素が、各V3Cコンポーネントに信号伝達するために使用される。
いくつかの実装では、playout_group_idsまたは/およびalternative_group_idが、MPDにおけるプレイアウト群情報を表すために、AdaptationSetまたはpresentationSetレベルに追加されることができる。
ここで、「playout_group_ids」は、プレゼンテーション組におけるV3Cコンポーネントまたは適合組における代替V3Cコンポーネントが属する全てのプレイアウト群の識別子を示す。V3Cコンポーネントは、同時に、1つ以上のプレイアウト群に属することができ、「alternative_group_id」は、適合組におけるV3Cコンポーネントが属する代替群の識別子を示す。
実装では、V3CComponent記述子は、AdaptationSetに存在する各V3Cコンポーネントに関して、ISO/IEC23090-10において定義され、playout_group_idsまたは/およびalternative_group_idは、V3CComponent記述子に追加されることができる。
別の実装では、PlayoutGroup記述子は、MPDにおけるプレイアウト群情報を記述するためのSupplementalProperty要素として定義される。PlayoutGroup記述子は、表現組における対応するV3Cコンポーネントが、1つ以上のプレイアウト群に属することを示す。
MPDの表現組レベルに、1つ以上のPlayoutGroup記述子が、存在する。PlayoutGroup記述子は、MPDレベルまたはAdaptationSetレベルに存在し得る。PlayoutGroup記述子が、MPDまたはAdaptationSetレベルに現れる場合、より高いレベルの記述子が、使用されるべきである。
いくつかの実装では、MPDまたはAdaptationSetレベル内に現れるPlayoutGroup記述子は、以下の表に定義される要素および属性を含む。
いくつかの他の実装では、RepresentationSetレベル内に現れる、PlayoutGroup記述子は、以下の表に定義される、要素および属性を含む。
図5は、開示される技術のいくつかの実施形態に基づくボリュメトリックビデオデータ表現および処理デバイスの例示的ブロック図である。
開示される技術のいくつかの実施形態では、没入型メディアシステムは、没入型メディアシステムプラットフォーム10と、プレーヤ端末20とを含む。
いくつかの実装では、没入型メディアシステムプラットフォーム10は、コンテンツ製作モジュール101と、記憶モジュール102と、伝送モジュール103とを含む。コンテンツ製作モジュール101は、捕捉されたボリュメトリックビデオのエンコーディングおよびカプセル化処理のために使用され得る。記憶モジュール102は、カプセル化されたメディアファイルを記憶し、それをMPDによって記述するために使用される。加えて、伝送モジュール103は、クライアント端末からの要求メッセージを受信するために、または、102に記憶されるデータ(メディアファイル、MPD等)を送信するために使用される。上で述べられる受信または送信は、通信プロバイダによって提供される無線ネットワーク、ローカル無線エリアネットワーク、または有線方法を通して実現されることができる。ディスプレイ20は、少なくとも伝送モジュール201と、メディア処理モジュール202と、メディアプレゼンテーションモジュール203とを含む。伝送モジュール201は、伝送モジュール103によって送信されるデータ(メディアファイル等)を受信するために、またはメディアファイルの要求、ユーザの状態の報告等のメッセージを103に送信するために使用される。メディア処理モジュール202は、受信されたメディアファイルをデコーディングし、カプセル化解除し、ユーザの現在の視認状態(視認位置、視認方向等)に従って、ボリュメトリックビデオを再構築し、レンダリング処理を実施するために使用される。加えて、メディアプレゼンテーションモジュール203は、再構築されたボリュメトリックビデオをユーザのビューポート内に提示するために使用される。
図6は、開示される技術のいくつかの例示的実施形態に基づくメディアコンテンツを処理する方法600の例を示す。610において、方法は、プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することを含み、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、そのタイプの別コンポーネントと異なるバージョンを有する。620において、方法は、プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することを含む。630において、方法は、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを3次元空間の中に再構築することを含む。
図7は、開示される技術のいくつかの例示的実施形態に基づくメディアコンテンツを処理する方法の別の例700を示す。710において、方法は、サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することを含み、あるタイプの各コンポーネントは、そのタイプの別のコンポーネントと異なるバージョンを有する。720において、方法は、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することを含む。730において、方法は、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述におけるプレイアウト群情報を伝送することを含む。
本書が、種々の実施形態において具現化され、種々のシナリオにおいてマルチキャストセッションを確立および管理し得る技法を開示することを理解されたい。本書において説明される、開示される実施形態および他の実施形態、モジュール、および機能動作は、本書において開示される構造、およびそれらの構造的均等物を含むデジタル電子回路網内、またはコンピュータソフトウェア、ファームウェア、またはハードウェア内、またはそれらのうちの1つ以上のものの組み合わせにおいて実装されることができる。開示される実施形態および他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ読み取り可能な媒体上にエンコードされるコンピュータプログラム命令の1つ以上のモジュールとして、実装されることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝搬信号を生じさせる組成物、またはそれらのうちの1つ以上のものの組み合わせであり得る。用語「データ処理装置」は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含むデータを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つ以上のものの組み合わせを成すコードを含むことができる。伝搬信号は、人工的に発生される信号、例えば、好適な受信機装置への伝送のための情報をエンコードするように発生される、機械発生型電気、光学、または電磁信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である)は、コンパイラ型またはインタプリタ型言語を含むプログラミング言語の任意の形態で書かれることができ、それは、独立型プログラムとして、またはコンピュータ環境内での使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてのものを含む任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムが、他のプログラムまたはデータ(例えば、マークアップ言語文書に記憶された1つ以上のスクリプト)を保持するファイルの一部内に、当該プログラム専用の単一のファイル内に、または複数の協調的ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル)に記憶されることができる。コンピュータプログラムが、1つのコンピュータ上で、または1つの敷地に位置する、または複数の敷地にわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開されることができる。
本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を生成することによって機能を実施するように、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実施されることができる。プロセスおよび論理フローはまた、特殊目的論理回路網、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実施されることもでき、装置もまた、それらとして実装されることもできる。
コンピュータプログラムの実行のために好適なプロセッサは、例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサとを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリ、または両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサおよび命令およびデータを記憶するための1つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ読み取り可能な媒体は、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびCD-ROMおよびDVD-ROMディスクを含むあらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完される、またはその中に組み込まれることができる。
いくつかの実施形態は、好ましくは、付記形式においてリストアップされる以下の解決策のうちの1つ以上のものを実装し得る。以下の付記は、上記の例において、および本書の全体を通してサポートされ、さらに説明される。
付記1.メディアコンテンツを処理する方法であって、方法は、プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを3次元空間の中に再構築することとを含む、方法。
付記2.コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、付記1に記載の方法。
付記3.V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、付記2に記載の方法。
付記4.各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および/または幾何学形状コンポーネントに対応する、付記3に記載の方法。
付記5.占有コンポーネントの異なるバージョン、幾何学形状コンポーネントの異なるバージョン、および属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、付記3に記載の方法。
付記6.プレイアウト群は、複数の代替トラック群からのV3Cコンポーネントを含む、付記1に記載の方法。
付記7.異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも1つを含む、付記1に記載の方法。
付記8.プレイアウト群におけるコンポーネントは、1つ以上のアトラスまたはアトラスタイルに対応する、付記1に記載の方法。
付記9.プレイアウト群は、サンプルエントリおよび/またはサンプルエントリに属する1つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成される、付記1に記載の方法。
付記10.時間指定メタデータトラックは、各サンプル時間におけるプレイアウト群を構成するために使用される、付記9に記載の方法。
付記11.サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、付記9に記載の方法。
付記12.プレイアウト群における変化を示すためのフラグを生成することをさらに含む、付記11に記載の方法。
付記13.1つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、付記11に記載の方法。
付記14.プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、付記1に記載の方法。
付記15.サンプル群は、サンプリング期間中に使用され、サンプリング期間に基づいて、更新されるように構成される、付記14に記載の方法。
付記16.プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、付記1-15のいずれかに記載の方法。
付記17.メディアコンテンツを処理する方法であって、方法は、サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することと、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述においてプレイアウト群情報を伝送することとを含む、方法。
付記18.コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、付記17に記載の方法。
付記19.V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、付記18に記載の方法。
付記20.V3Cコンポーネントの各々は、メディアプレゼンテーション記述において別個の適合組として表現される、付記19に記載の方法。
付記21.プレイアウト群情報を示すために、プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも1つをメディアプレゼンテーション記述に追加することをさらに含む、付記17に記載の方法。
付記22.プレイアウト群識別子は、プレゼンテーション組におけるV3Cコンポーネントまたは適合組におけるV3Cコンポーネントに関連付けられた1つ以上のプレイアウト群に対応する、付記21に記載の方法。
付記23.代替群識別子は、適合組におけるV3Cコンポーネントに関連付けられた1つ以上の代替群に対応する、付記21に記載の方法。
付記24.メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、付記17に記載の方法。
付記25.プレイアウト群記述子は、1つ以上のプレイアウト群に関連付けられた表現組または適合組におけるV3Cコンポーネントに対応する、付記24に記載の方法。
付記26.プレイアウト群記述子は、プレイアウト群の1つ以上の識別子(ID)、プレイアウト群の1つ以上の品質レベル、または適合組におけるV3Cコンポーネントの1つ以上の識別子(ID)のうちの少なくとも1つを含む、付記24-25のいずれかに記載の方法。
付記27.無線通信のための装置であって、装置は、メモリとプロセッサとを備え、プロセッサは、メモリからコードを読み取り、付記1-26のいずれかに規定される方法を実装する、装置。
付記28.コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、コードは、プロセッサによって実行されると、付記1-26のいずれかに規定される方法をプロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
本特許文書は、多くの詳細を含むが、これらは、任意の発明または請求され得る内容の範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈において本特許文書に説明されるある特徴は、単一の実施形態において組み合わせて実装されることもできる。逆に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態では、別個に、または任意の好適な副次的組み合わせにおいて実装されることもできる。さらに、特徴が、ある組み合わせにおいて作動するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴が、ある場合に、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。
同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。さらに、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
いくつかの実装および例のみが、説明され、他の実装、強化、および変形例も、本特許文書に説明および例証される内容に基づいて行われることができる。
これらの側面および他の側面が、本書に説明される。
本発明はさらに、例えば、以下を提供する。
(項目1)
メディアコンテンツを処理する方法であって、前記方法は、
プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを3次元空間の中に再構築することと
を含む、方法。
(項目2)
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、項目1に記載の方法。
(項目3)
前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、項目2に記載の方法。
(項目4)
各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および/または幾何学形状コンポーネントに対応する、項目3に記載の方法。
(項目5)
前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、項目3に記載の方法。
(項目6)
前記プレイアウト群は、複数の代替トラック群からのV3Cコンポーネントを含む、項目1に記載の方法。
(項目7)
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも1つを含む、項目1に記載の方法。
(項目8)
前記プレイアウト群における前記コンポーネントは、1つ以上のアトラスまたはアトラスタイルに対応する、項目1に記載の方法。
(項目9)
前記プレイアウト群は、サンプルエントリおよび/または前記サンプルエントリに属する1つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、項目1に記載の方法。
(項目10)
前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、項目9に記載の方法。
(項目11)
前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、項目9に記載の方法。
(項目12)
前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、項目11に記載の方法。
(項目13)
1つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、項目11に記載の方法。
(項目14)
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、項目1に記載の方法。
(項目15)
前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、項目14に記載の方法。
(項目16)
前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、項目1-15のいずれかに記載の方法。
(項目17)
メディアコンテンツを処理する方法であって、前記方法は、
サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
(項目18)
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、項目17に記載の方法。
(項目19)
前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、項目18に記載の方法。
(項目20)
前記V3Cコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、項目19に記載の方法。
(項目21)
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも1つを前記メディアプレゼンテーション記述に追加することをさらに含む、項目17に記載の方法。
(項目22)
前記プレイアウト群識別子は、プレゼンテーション組におけるV3Cコンポーネントまたは適合組におけるV3Cコンポーネントに関連付けられた1つ以上のプレイアウト群に対応する、項目21に記載の方法。
(項目23)
前記代替群識別子は、適合組におけるV3Cコンポーネントに関連付けられた1つ以上の代替群に対応する、項目21に記載の方法。
(項目24)
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、項目17に記載の方法。
(項目25)
前記プレイアウト群記述子は、1つ以上のプレイアウト群に関連付けられた表現組におけるV3Cコンポーネントに対応する、項目24に記載の方法。
(項目26)
前記プレイアウト群記述子は、プレイアウト群の1つ以上の識別子、プレイアウト群の1つ以上の品質レベル、または適合組におけるV3Cコンポーネントの1つ以上の識別子のうちの少なくとも1つを含む、項目24-25のいずれかに記載の方法。
(項目27)
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、項目1-26のいずれかに規定されている方法を実装する、装置。
(項目28)
コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、項目1-26のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
本発明はさらに、例えば、以下を提供する。
(項目1)
メディアコンテンツを処理する方法であって、前記方法は、
プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを3次元空間の中に再構築することと
を含む、方法。
(項目2)
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、項目1に記載の方法。
(項目3)
前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、項目2に記載の方法。
(項目4)
各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および/または幾何学形状コンポーネントに対応する、項目3に記載の方法。
(項目5)
前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、項目3に記載の方法。
(項目6)
前記プレイアウト群は、複数の代替トラック群からのV3Cコンポーネントを含む、項目1に記載の方法。
(項目7)
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも1つを含む、項目1に記載の方法。
(項目8)
前記プレイアウト群における前記コンポーネントは、1つ以上のアトラスまたはアトラスタイルに対応する、項目1に記載の方法。
(項目9)
前記プレイアウト群は、サンプルエントリおよび/または前記サンプルエントリに属する1つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、項目1に記載の方法。
(項目10)
前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、項目9に記載の方法。
(項目11)
前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、項目9に記載の方法。
(項目12)
前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、項目11に記載の方法。
(項目13)
1つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、項目11に記載の方法。
(項目14)
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、項目1に記載の方法。
(項目15)
前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、項目14に記載の方法。
(項目16)
前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、項目1-15のいずれかに記載の方法。
(項目17)
メディアコンテンツを処理する方法であって、前記方法は、
サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
(項目18)
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、項目17に記載の方法。
(項目19)
前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、項目18に記載の方法。
(項目20)
前記V3Cコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、項目19に記載の方法。
(項目21)
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも1つを前記メディアプレゼンテーション記述に追加することをさらに含む、項目17に記載の方法。
(項目22)
前記プレイアウト群識別子は、プレゼンテーション組におけるV3Cコンポーネントまたは適合組におけるV3Cコンポーネントに関連付けられた1つ以上のプレイアウト群に対応する、項目21に記載の方法。
(項目23)
前記代替群識別子は、適合組におけるV3Cコンポーネントに関連付けられた1つ以上の代替群に対応する、項目21に記載の方法。
(項目24)
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、項目17に記載の方法。
(項目25)
前記プレイアウト群記述子は、1つ以上のプレイアウト群に関連付けられた表現組におけるV3Cコンポーネントに対応する、項目24に記載の方法。
(項目26)
前記プレイアウト群記述子は、プレイアウト群の1つ以上の識別子、プレイアウト群の1つ以上の品質レベル、または適合組におけるV3Cコンポーネントの1つ以上の識別子のうちの少なくとも1つを含む、項目24-25のいずれかに記載の方法。
(項目27)
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、項目1-26のいずれかに規定されている方法を実装する、装置。
(項目28)
コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、項目1-26のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
Claims (28)
- メディアコンテンツを処理する方法であって、前記方法は、
プレイアウト群情報に基づいて、3次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、2次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを3次元空間の中に再構築することと
を含む、方法。 - 前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、請求項1に記載の方法。
- 前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、請求項2に記載の方法。
- 各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および/または幾何学形状コンポーネントに対応する、請求項3に記載の方法。
- 前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、請求項3に記載の方法。
- 前記プレイアウト群は、複数の代替トラック群からのV3Cコンポーネントを含む、請求項1に記載の方法。
- 前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記プレイアウト群における前記コンポーネントは、1つ以上のアトラスまたはアトラスタイルに対応する、請求項1に記載の方法。
- 前記プレイアウト群は、サンプルエントリおよび/または前記サンプルエントリに属する1つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、請求項1に記載の方法。
- 前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、請求項9に記載の方法。
- 前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、請求項9に記載の方法。
- 前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、請求項11に記載の方法。
- 1つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、請求項11に記載の方法。
- 前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、請求項1に記載の方法。
- 前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、請求項14に記載の方法。
- 前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、請求項1-15のいずれかに記載の方法。
- メディアコンテンツを処理する方法であって、前記方法は、
サーバによって、1つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、1つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。 - 前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング(V3C)コンポーネントを含む、請求項17に記載の方法。
- 前記V3Cコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも1つを含む、請求項18に記載の方法。
- 前記V3Cコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、請求項19に記載の方法。
- 前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも1つを前記メディアプレゼンテーション記述に追加することをさらに含む、請求項17に記載の方法。
- 前記プレイアウト群識別子は、プレゼンテーション組におけるV3Cコンポーネントまたは適合組におけるV3Cコンポーネントに関連付けられた1つ以上のプレイアウト群に対応する、請求項21に記載の方法。
- 前記代替群識別子は、適合組におけるV3Cコンポーネントに関連付けられた1つ以上の代替群に対応する、請求項21に記載の方法。
- 前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、請求項17に記載の方法。
- 前記プレイアウト群記述子は、1つ以上のプレイアウト群に関連付けられた表現組におけるV3Cコンポーネントに対応する、請求項24に記載の方法。
- 前記プレイアウト群記述子は、プレイアウト群の1つ以上の識別子、プレイアウト群の1つ以上の品質レベル、または適合組におけるV3Cコンポーネントの1つ以上の識別子のうちの少なくとも1つを含む、請求項24-25のいずれかに記載の方法。
- 無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、請求項1-26のいずれかに規定されている方法を実装する、装置。
- コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、請求項1-26のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/072214 WO2022151370A1 (en) | 2021-01-15 | 2021-01-15 | Multi-track based immersive media playout |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024503059A true JP2024503059A (ja) | 2024-01-24 |
Family
ID=82446393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023542697A Pending JP2024503059A (ja) | 2021-01-15 | 2021-01-15 | マルチトラックベースの没入型メディアプレイアウト |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220368876A1 (ja) |
EP (1) | EP4278605A4 (ja) |
JP (1) | JP2024503059A (ja) |
KR (1) | KR20230121856A (ja) |
CN (1) | CN115088258A (ja) |
WO (1) | WO2022151370A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3474562A1 (en) * | 2017-10-20 | 2019-04-24 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
US10984541B2 (en) * | 2018-04-12 | 2021-04-20 | Samsung Electronics Co., Ltd. | 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud |
US11816795B2 (en) * | 2018-12-20 | 2023-11-14 | Sony Group Corporation | Photo-video based spatial-temporal volumetric capture system for dynamic 4D human face and body digitization |
US11245926B2 (en) * | 2019-03-19 | 2022-02-08 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for track derivation for immersive media data tracks |
CA3145538A1 (en) * | 2019-07-02 | 2021-01-07 | Vid Scale, Inc. | Dynamic adaptation of volumetric content component sub-bitstreams in streaming services |
WO2021256909A1 (ko) * | 2020-06-19 | 2021-12-23 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
-
2021
- 2021-01-15 KR KR1020237024250A patent/KR20230121856A/ko not_active Application Discontinuation
- 2021-01-15 JP JP2023542697A patent/JP2024503059A/ja active Pending
- 2021-01-15 WO PCT/CN2021/072214 patent/WO2022151370A1/en active Application Filing
- 2021-01-15 EP EP21918574.1A patent/EP4278605A4/en active Pending
- 2021-01-15 CN CN202180012220.4A patent/CN115088258A/zh active Pending
-
2022
- 2022-07-29 US US17/816,093 patent/US20220368876A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115088258A (zh) | 2022-09-20 |
US20220368876A1 (en) | 2022-11-17 |
EP4278605A1 (en) | 2023-11-22 |
KR20230121856A (ko) | 2023-08-21 |
WO2022151370A1 (en) | 2022-07-21 |
EP4278605A4 (en) | 2024-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645428B2 (en) | Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies | |
US20190335251A1 (en) | Method, device, and computer program for encapsulating partitioned timed media data | |
CN114697668B (zh) | 点云媒体的编解码方法及相关产品 | |
CN113852829A (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
CN115396645A (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
US20220215616A1 (en) | File format for point cloud data | |
WO2021258325A1 (en) | Three-dimensional content processing methods and apparatus | |
WO2023226504A1 (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
CN115396647B (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
US20240046562A1 (en) | Information processing device and method | |
JP2024503059A (ja) | マルチトラックベースの没入型メディアプレイアウト | |
KR20220160646A (ko) | 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스 | |
WO2023169003A1 (zh) | 点云媒体的解码方法、点云媒体的编码方法及装置 | |
WO2022220291A1 (ja) | 情報処理装置および方法 | |
US20220345714A1 (en) | Multi-atlas encapsulation of immersive media | |
WO2022220255A1 (ja) | 情報処理装置および方法 | |
US20230360277A1 (en) | Data processing method and apparatus for immersive media, device and storage medium | |
WO2024114519A1 (zh) | 点云封装与解封装方法、装置、介质及电子设备 | |
WO2022220278A1 (ja) | 情報処理装置および方法 | |
WO2023204289A1 (ja) | 情報処理装置および方法 | |
CN116347118A (zh) | 一种沉浸媒体的数据处理方法及相关设备 | |
CN116939290A (zh) | 媒体数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230728 |