JP2023531943A - ジオメトリベースのポイントクラウドの適応ストリーミング - Google Patents

ジオメトリベースのポイントクラウドの適応ストリーミング Download PDF

Info

Publication number
JP2023531943A
JP2023531943A JP2022579107A JP2022579107A JP2023531943A JP 2023531943 A JP2023531943 A JP 2023531943A JP 2022579107 A JP2022579107 A JP 2022579107A JP 2022579107 A JP2022579107 A JP 2022579107A JP 2023531943 A JP2023531943 A JP 2023531943A
Authority
JP
Japan
Prior art keywords
descriptor
pcc
preselection
component
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022579107A
Other languages
English (en)
Inventor
グドゥマス、シュリニヴァス
ハムザ、アフマド
Original Assignee
インターデイジタル パテント ホールディングス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデイジタル パテント ホールディングス インコーポレイテッド filed Critical インターデイジタル パテント ホールディングス インコーポレイテッド
Publication of JP2023531943A publication Critical patent/JP2023531943A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4353Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

ジオメトリベースのポイントクラウドに関連するコンテンツを受信するためのシステム、方法、及び手段が開示される。クライアントデバイスは、コンテンツサーバからメディアプレゼンテーション記述(MPD)ファイルを受信し得る。プリセレクション要素のセットが、MPDファイルから識別され得る。プリセレクション要素のセットの少なくとも1つのプリセレクション要素に関連付けられた1つ以上の適応セットが、識別され得る。適応セットは、プリセレクション要素のうちの1つに関連付けられた属性によって示され得る。ビューポートに関連付けられたジオメトリベースのポイントクラウド圧縮(GPCC)タイル識別子が、判定され得る。GPCCタイル識別子は、MPDファイル内の受信された第1の記述子に基づいて判定され得る。GPCCタイル識別子に関連付けられた1つ以上の適応セットが、第2の記述子を使用して選択され得る。選択された1つ以上の適応セットに関連付けられたポイントクラウドコンポーネントが、要求され得る。ポイントクラウドコンポーネントが受信され得る。【選択図】図11

Description

(関連出願の相互参照)
本出願は、2020年6月22日に出願された米国仮特許出願第63/042,481号及び2020年9月29日に出願された米国仮特許出願第63/084,758号の利益を主張し、その開示はその全体が参照により本願に組み入れられる。
ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、例えば、かかる信号に必要とされる記憶容量及び/又は送信帯域幅を低減するために使用され得る。ビデオコーディングシステムとしては、例えば、ウェーブレットベースのシステム、オブジェクトベースのシステム、及び/又はブロックベースのハイブリッドビデオコーディングシステムなどのブロックベースのシステムが挙げられ得る。ビデオコーディングシステムは、ポイントクラウドのコーディング及び記憶態様をサポートし得る。しかしながら、これらのシステムには、ネットワーク上でポイントクラウドデータをストリーミングすることをサポートする十分な機構が欠落している場合がある。
ジオメトリベースのポイントクラウドなどのビジュアルメディアコンテンツの適応ストリーミングのためのシステム、方法、及び手段が開示される。ポイントクラウドコンポーネントに関連付けられた要素、属性、及びメタデータが、例えば、ストリーミングクライアントが、メディアプレゼンテーション記述子(media presentation descriptor、MPD)内のポイントクラウドストリーム及びこれらのポイントクラウドストリームのコンポーネントサブストリームを識別することを可能にし、ストリーミングクライアントが、例えば、クライアントサポートに基づいて、ポイントクラウド及び/又はポイントクラウドのコンポーネントのバージョンを選択することを可能にするために、シグナリングされ得る。実施例では、ストリーミングクライアントは、ガイダンス(例えば、MPDファイルでシグナリングされる指示)を利用して、ポイントクラウドコンテンツの種々の表現に関する決定を行い得る。例えば、指示は、種々のポイントクラウドコンポーネントにわたる表現のどのセットが特定の品質レベルを構成するかを示し得る。ポイントクラウドコンテンツのコンポーネントは、複数のタイル又はタイル部分に分割され得る。クライアントは、例えば、帯域幅の可用性に基づいて、(例えば、全てのポイントクラウドデータをストリーミングする代わりに)ジオメトリコンポーネントの特定のタイル部分(例えば、選択されたタイル部分)をストリーミングし得る。ポイントクラウドコンポーネントのタイルビットストリームは、種々の適応セットにおいて利用可能であり得、例えば、適応セット(例えば、各適応セット)は、ポイントクラウドコンポーネントのタイルを表し得る。
ジオメトリベースのポイントクラウド圧縮(geometry-based point cloud compression、G-PCC)コンポーネントが、動的ストリーミングオーバーHTTP(dynamic streaming over HTTP、DASH)でシグナリングされ得る。例えば、G-PCCコンポーネントは、DASHマニフェストファイル又はMPDファイルを使用してシグナリングされ得る。実施例では、G-PCCコンポーネント(例えば、各G-PCCコンポーネント)は、DASH MPDファイル内で適応セット(例えば、別個の適応セット)として表され得る。適応セット(例えば、メイン適応セット)は、G-PCCコンテンツのためのメインアクセスポイントとして機能し得る。実施例では、適応セット(例えば、1つの適応セット)は、解像度ごとにコンポーネントごとにシグナリングされ得る。
G-PCCコンポーネント記述子は、例えば、ストリーミングクライアントが適応セット及び/又は表現中のポイントクラウドコンポーネントのタイプを識別することを可能にするために、シグナリングされ得る。G-PCC記述子は、ストリーミングクライアントが、MPDファイル内に存在する異なるポイントクラウドストリームどうしを区別することを可能にし得る。ストリーミングクライアントは、それぞれのポイントクラウドストリームについてコンポーネントストリームを識別し得る。
G-PCCプリセレクションは、例えば、ボリュメトリックメディアのメイン適応セットのIDと、G-PCCコンポーネントに対応する適応セットのIDと、を含む識別子(ID)リストとともに、(例えば、MPDで)シグナリングされ得る。プリセレクションは、例えば、Period要素内のプリセレクション要素を使用してシグナリングされてもよく、かつ/又は適応セットレベルでプリセレクション記述子を使用してシグナリングされてもよい。
G-PCCメディアの複数のバージョンがシグナリングされ得る。同じポイントクラウドメディアの複数のバージョンが、例えば、別個のプリセレクションを使用してシグナリングされ得る。同じジオメトリベースのポイントクラウドメディアの代替バージョンを表すPreSelectionは、例えば、同じ属性値を有するG-PCC記述子を含み得る。
1つ以上のG-PCCタイルがシグナリングされ得る。タイルバウンディングボックス情報は、例えば、ジオメトリベースのポイントクラウド中に複数のタイルが存在する場合、シグナリングされ得る。クライアントは、例えば、タイル化されたG-PCCコンポーネントデータをストリーミングするために、(例えば、MPD中の)タイルインベントリバウンディングボックス情報からタイルIDを選択し得る。
クライアントは、例えば、G-PCCコンポーネント記述子をチェックすることによって、適応セット中のポイントクラウドコンポーネントのタイルIDを識別し得る。G-PCCタイルID記述子が、例えば、ストリーミングクライアントがG-PCCタイルストリームどうしを区別することを可能にするために、シグナリングされ得る。
空間領域の特性、及び/又はこれらの領域とG-PCCタイルとの間のマッピングが、例えば、ジオメトリベースのボリュメトリックメディアコンテンツ内の3D空間領域が静的である場合、シグナリングされ得る。空間領域の特性、及び/又はこれらの領域とG-PCCコンポーネントの対応する適応セットとの間のマッピングが、例えば、3D空間領域が静的であり、かつ/又はタイルインベントリ情報が利用可能でない場合、(例えば、G-PCC 3D領域記述子を使用して)シグナリングされ得る。空間領域とG-PCCコンポーネントの対応する適応セットとの間のマッピングが、(例えば、G-PCC領域ID記述子又はG-PCCコンポーネント記述子によって)シグナリングされ得る。
(例えば、プレゼンテーションタイムライン上の3D領域の位置及び/又は寸法を示す)タイムドメタデータトラックが、適応セットにおいて(例えば、動的空間領域のために)、例えば、表現とともに、シグナリングされ、メインG-PCC適応セットに関連付けられ得る。
ストリーミングクライアントビヘイビアは、シグナリングに基づき得る。DASHクライアントは、例えば、MPDにおいて提供される情報によってガイドされ得る。
ジオメトリベースのポイントクラウドに関連するコンテンツを受信するためのシステム、方法、及び手段が開示される。実施例では、メディアプレゼンテーション記述(MPD)ファイルが、例えば、コンテンツサーバから受信され得る。プリセレクション要素のセットが、MPDファイルから識別され得る。プリセレクション要素のセットの少なくとも1つのプリセレクション要素に関連付けられた1つ以上の適応セットが、識別され得る。例えば、1つ以上の適応セットは、プリセレクション要素のうちの1つに関連付けられた属性によって示され得る。
ビューポートに関連付けられたジオメトリベースのポイントクラウド圧縮(GPCC)タイル識別子が、判定され得る。例えば、GPCCタイル識別子は、MPDファイル内の受信された第1の記述子に基づいて判定され得る。実施例では、第1の記述子は、3次元(3D)領域記述子であり得る。3D領域記述子は、3D領域に関連付けられた、領域ロケーション、1つ以上の領域寸法、及び/又はタイルのセットを含み得る。
GPCCタイル識別子に関連付けられた1つ以上の適応セットが、第2の記述子を使用して選択され得る。実施例では、第2の記述子は、コンポーネント記述子であり得る。コンポーネント記述子は、コンポーネントタイプ、属性タイプ、インデックス、及び/又はビットストリームに関連付けられたタイルのセットを含み得る。選択された1つ以上の適応セットに関連付けられたポイントクラウドコンポーネントが、要求され得る。実施例では、ポイントクラウドコンポーネントが、受信され得る。
本明細書の随所に開示される各特徴が記載され、別個に/個別に、並びに本明細書に開示される任意の他の特徴との組み合わせで、及び/又は本明細書に黙示的若しくは明示的に参照され得るか、若しくは本明細書に開示される主題の範囲内に別様に入り得る他の箇所に開示される任意の特徴との任意の組み合わせで実装され得る。
1つ以上の開示された実施形態が実装され得る、例示的な通信システムを例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、例示的な無線送/受信ユニット(wireless transmit/receive unit、WTRU)を例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、例示的な無線アクセスネットワーク(radio access network、RAN)及び例示的なコアネットワーク(core network、CN)を例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、更なる例示的なRAN及び更なる例示的なCNを例解するシステム図である。 例示的なビデオエンコーダを示す図である。 ビデオデコーダの実施例を示す図である。 様々な態様及び実施例が実装され得るシステムの実施例を示す図である。 ジオメトリベースのポイントクラウド圧縮(G-PCC)のためのビットストリーム構造の実施例を示す。 G-PCCジオメトリ及び属性ビットストリームが単一のトラックに記憶される場合のサンプル構造の実施例を示す。 マルチトラックG-PCCコンテナの実施例を示す。 例示的なメディアプレゼンテーション記述(MPD)階層データモデルを示す。 プリセレクションを使用してMPD中のG-PCCコンポーネントをグループ化する実施例を示す。 プリセレクションを使用してMPD中のG-PCCコンポーネントの複数のバージョンをグループ化する実施例を示す。 複数のタイルトラックを有するG-PCCコンテンツの実施例を示す。
ここで、例解的な実施形態の詳細な説明を、様々な図を参照して説明する。本説明は、可能な実装形態の詳細な例を提供するが、詳細は、例示的であることを意図しており、決して本出願の範囲を限定するものではないことに留意されたい。
図1Aは、1つ以上の開示された実施形態が実装され得る、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージ伝達、ブロードキャストなどのコンテンツを、複数の無線ユーザに提供する、多重アクセスシステムであり得る。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、上記のようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、符号分割多重アクセス(code division multiple access、CDMA)、時分割多重アクセス(time division multiple access、TDMA)、周波数分割多重アクセス(frequency division multiple access、FDMA)、直交FDMA(orthogonal FDMA、OFDMA)、シングルキャリアFDMA(single-carrier FDMA、SC-FDMA)、ゼロテールユニークワードDFT-Spread OFDM(zero-tail unique-word DFT-Spread OFDM、ZT UW DTS-s OFDM)、ユニークワードOFDM(unique word OFDM、UW-OFDM)、リソースブロックフィルタ処理OFDM、フィルタバンクマルチキャリア(filter bank multicarrier、FBMC)などの、1つ以上のチャネルアクセス方法を採用し得る。
図1Aに示されるように、通信システム100は、無線送/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(public switched telephone network、PSTN)108と、インターネット110と、他のネットワーク112とを含み得るが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作し、かつ/又は通信するように構成された、任意のタイプのデバイスであり得る。例として、それらのいずれも「局」及び/又は「STA」と称され得るWTRU102a、102b、102c、102dは、無線信号を送信及び/又は受信するように構成され得、ユーザ機器(user equipment、UE)、移動局、固定又は移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末(personal digital assistant、PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はMi-Fiデバイス、モノのインターネット(Internet of Things、IoT)デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ(head-mounted display、HMD)、車両、ドローン、医療デバイス及びアプリケーション(例えば、遠隔手術)、工業用デバイス及びアプリケーション(例えば、工業用及び/又は自動処理チェーンコンテキストで動作するロボット及び/又は他の無線デバイス)、家電デバイス、商業用及び/又は工業用無線ネットワークで動作するデバイスなどを含み得る。WTRU102a、102b、102c、及び102dのいずれも、互換的にUEと称され得る。
通信システム100はまた、基地局114a及び/又は基地局114bを含み得る。基地局114a、114bの各々は、CN106/115、インターネット110、及び/又は他のネットワーク112など、1つ以上の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地局トランシーバ(base transceiver station、BTS)、ノードB、eNodeB、ホームノードB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(access point、AP)、無線ルータなどであり得る。基地局114a、114bは各々単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局及び/又はネットワーク要素を含み得ることが理解されるであろう。
基地局114aは、基地局コントローラ(base station controller、BSC)、無線ネットワークコントローラ(radio network controller、RNC)、リレーノードなど、他の基地局及び/又はネットワーク要素(図示せず)も含み得る、RAN104/113の一部であり得る。基地局114a及び/又は基地局114bは、セル(図示せず)と称され得る、1つ以上のキャリア周波数で無線信号を送信及び/又は受信するように構成され得る。これらの周波数は、認可スペクトル、未認可スペクトル、又は認可及び未認可スペクトルの組み合わせであり得る。セルは、相対的に固定され得るか又は経時的に変化し得る特定の地理的エリアに、無線サービスのカバレッジを提供し得る。セルは、更にセルセクタに分割され得る。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを、すなわち、セルのセクタごとに1つのトランシーバを含み得る。一実施形態では、基地局114aは、多重入力多重出力(multiple-input multiple output、MIMO)技術を用い得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び/又は受信し得る。
基地局114a、114bは、エアインターフェース116を介して、WTRU102a、102b、102c、102dのうちの1つ以上と通信し得るが、このエアインターフェース116は、任意の好適な無線通信リンク(例えば、無線周波数(radio frequency、RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(infrared、IR)、紫外線(ultraviolet、UV)、可視光など)であり得る。エアインターフェース116は、任意の好適な無線アクセス技術(radio access technology、RAT)を使用して確立され得る。
より具体的には、上記のように、通信システム100は、多重アクセスシステムであり得、例えば、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの、1つ以上のチャネルアクセススキームを用い得る。例えば、RAN104/113内の基地局114a、及びWTRU102a、102b、102cは、ユニバーサル移動体通信システム(Universal Mobile Telecommunications System、UMTS)地上無線アクセス(UMTS Terrestrial Radio Access、UTRA)などの無線技術を実装し得、これは広帯域CDMA(wideband CDMA、WCDMA)を使用してエアインターフェース115/116/117を確立し得る。WCDMAは、高速パケットアクセス(High-Speed Packet Access、HSPA)及び/又は進化型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンク(Downlink、DL)パケットアクセス(High-Speed Downlink Packet Access、HSDPA)及び/又は高速アップリンクパケットアクセス(High-Speed UL Packet Access、HSUPA)を含み得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、進化型UMTS地上無線アクセス(Evolved UMTS Terrestrial Radio Access、E-UTRA)などの無線技術を実装し得るが、これは、ロングタームエボリューション(LTE)及び/又はLTE-Advanced(LTE-A)及び/又はLTE-Advanced Pro(LTE-A Pro)を使用してエアインターフェース116を確立し得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、NR無線アクセスなどの無線技術を実装することができ、この技術は、New Radio(NR)を使用してエアインターフェース116を確立することができる。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、複数の無線アクセス技術を実装し得る。例えば、基地局114a及びWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(dual connectivity、DC)原理を使用して、LTE無線アクセス及びNR無線アクセスを一緒に実装し得る。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの基地局(例えば、eNB及びgNB)に/から送信される複数のタイプの無線アクセス技術及び/又は送信によって特徴付けられ得る。
他の実施形態では、基地局114a及びWTRU102a、102b、102cは、IEEE802.11(すなわち、無線フィデリティ(Wireless Fidelity、WiFi)、IEEE802.16(すなわち、ワイマックス(Worldwide Interoperability for Microwave Access、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定規格2000(IS-2000)、暫定規格95(IS-95)、暫定規格856(IS-856)、汎欧州デジタル移動電話方式(Global System for Mobile communications、GSM)、GSM進化型高速データレート(Enhanced Data rates for GSM Evolution、EDGE)、GSM EDGE(GERAN)などの無線技術を実装し得る。
図1Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeNode B又はアクセスポイントであり得、事業所、家庭、車両、キャンパス、工業施設、(例えば、ドローンによる使用のための)空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なRATを利用し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(wireless local area network、WLAN)を確立し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(wireless personal area network、WPAN)を確立し得る。更に別の一実施形態では、基地局114b及びWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセル又はフェムトセルを確立し得る。図1Aに示すように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がない場合がある。
RAN104/113は、CN106/115と通信し得、これは、音声、データ、アプリケーション、及び/又はボイスオーバインターネットプロトコル(voice over internet protocol、VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つ以上に提供するように構成された、任意のタイプのネットワークであり得る。データは、例えば、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件などの、様々なサービス品質(quality of service、QoS)要件を有し得る。CN106/115は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド呼、インターネット接続性、ビデオ配信などを提供し、かつ/又はユーザ認証などの高レベルセキュリティ機能を実行し得る。図1Aには示されていないが、RAN104/113及び/又はCN106/115は、RAN104/113と同じRAT又は異なるRATを採用する他のRANと、直接又は間接的に通信し得ることが理解されよう。例えば、NR無線技術を利用し得るRAN104/113に接続されていることに加えて、CN106/115はまた、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、又はWiFi無線技術を採用して別のRAN(図示せず)と通信し得る。
CN106/115はまた、PSTN108、インターネット110、及び/又は他のネットワーク112にアクセスするために、WTRU102a、102b、102c、102dのためのゲートウェイとしての機能を果たし得る。PSTN108は、基本電話サービス(plain old telephone service、POTS)を提供する公衆交換電話網を含み得る。インターネット110は、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得るが、これらのネットワーク及びデバイスは、送信制御プロトコル(transmission control protocol、TCP)、ユーザデータグラムプロトコル(user datagram protocol、UDP)、及び/又はTCP/IPインターネットプロトコルスイートのインターネットプロトコル(internet protocol、IP)などの、共通通信プロトコルを使用する。ネットワーク112は、他のサービスプロバイダによって所有及び/又は運営される、有線及び/又は無線通信ネットワークを含み得る。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを採用し得る、1つ以上のRANに接続された別のCNを含み得る。
通信システム100におけるWTRU102a、102b、102c、102dのいくつか又は全ては、マルチモード能力を含み得る(例えば、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る)。例えば、図1Aに示されるWTRU102cは、セルラベースの無線技術を用い得る基地局114a、及びIEEE802無線技術を用い得る基地局114bと通信するように構成され得る。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示すように、WTRU102は、とりわけ、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(global positioning system、GPS)チップセット136、及び/又は他の周辺機器138を含み得る。WTRU102は、一実施形態との一貫性を有したまま、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、複数のマイクロプロセッサ、DSPコアと関連付けられた1つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)回路、任意の他のタイプの集積回路(integrated circuit、IC)、状態機械などであり得る。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、及び/又はWTRU102が無線環境で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ118は、送信/受信要素122に結合され得るトランシーバ120に結合され得る。図1Bは、プロセッサ118及びトランシーバ120を別個のコンポーネントとして示すが、プロセッサ118及びトランシーバ120は、電子パッケージ又はチップにおいて一緒に統合され得るということが理解されよう。
送信/受信要素122は、エアインターフェース116を介して基地局(例えば、基地局114a)に信号を送信するか又は基地局(例えば、基地局114a)から信号を受信するように構成され得る。例えば、一実施形態では、送信/受信要素122は、RF信号を送信及び/又は受信するように構成されたアンテナであり得る。一実施形態では、送信/受信要素122は、例えば、IR、UV又は可視光信号を送信及び/又は受信するように構成されたエミッタ/検出器であり得る。更に別の実施形態では、送信/受信要素122は、RF信号及び光信号の両方を送信及び/又は受信するように構成され得る。送信/受信要素122は、無線信号の任意の組み合わせを送信及び/又は受信するように構成され得るということが理解されよう。
送信/受信要素122は、単一の要素として図1Bに示されているが、WTRU102は、任意の数の送信/受信要素122を含み得る。より具体的には、WTRU102は、MIMO技術を用い得る。したがって、一実施形態では、WTRU102は、エアインターフェース116を介して無線信号を送受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含み得る。
トランシーバ120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信される信号を復調するように構成され得る。上記のように、WTRU102は、マルチモード能力を有し得る。したがって、トランシーバ120は、例えばNR及びIEEE802.11などの複数のRATを介してWTRU102が通信することを可能にするための複数のトランシーバを含み得る。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(liquid crystal display、LCD)表示ユニット若しくは有機発光ダイオード(organic light-emitting diode、OLED)表示ユニット)に結合され得、これらからユーザが入力したデータを受信し得る。プロセッサ118はまた、ユーザデータをスピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128に出力し得る。更に、プロセッサ118は、非リムーバブルメモリ130及び/又はリムーバブルメモリ132などの任意のタイプの好適なメモリから情報にアクセスし、当該メモリにデータを記憶し得る。非リムーバブルメモリ130は、ランダムアクセスメモリ(random-access memory、RAM)、読み取り専用メモリ(read-only memory、ROM)、ハードディスク又は任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ132は、加入者識別モジュール(subscriber identity module、SIM)カード、メモリスティック、セキュアデジタル(secure digital、SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118は、サーバ又はホームコンピュータ(図示せず)上など、WTRU102上に物理的に配置されていないメモリの情報にアクセスし、かつ当該メモリにデータを記憶し得る。
プロセッサ118は、電源134から電力を受信し得るが、WTRU102における他の構成要素に電力を分配し、かつ/又は制御するように構成され得る。電源134は、WTRU102に電力を供給するための任意の好適なデバイスであり得る。例えば、電源134は、1つ以上の乾電池(例えば、ニッケルカドミウム(nickel-cadmium、NiCd)、ニッケル亜鉛(nickel-zinc、NiZn)、ニッケル金属水素化物(nickel metal hydride、NiMH)、リチウムイオン(lithium-ion、Li-ion)など)、太陽セル、燃料セルなどを含み得る。
プロセッサ118はまた、GPSチップセット136に結合され得、これは、WTRU102の現在の場所に関する場所情報(例えば、経度及び緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて又はその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116を介して場所情報を受信し、かつ/又は2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その場所を判定し得る。WTRU102は、一実施形態との一貫性を有したまま、任意の好適な位置判定方法によって位置情報を取得し得るということが理解されよう。
プロセッサ118は、他の周辺機器138に更に結合され得、他の周辺機器138には、追加の特徴、機能、及び/又は有線若しくは無線接続を提供する1つ以上のソフトウェア及び/又はハードウェアモジュールが含まれ得る。例えば、周辺機器138には、加速度計、電子コンパス、衛星トランシーバ、(写真及び/又はビデオのための)デジタルカメラ、ユニバーサルシリアルバス(universal serial bus、USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(frequency modulated、FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び/又は拡張現実(Virtual Reality/Augmented Reality、VR/AR)デバイス、アクティビティトラッカなどが含まれ得る。周辺機器138は、1つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び/又は湿度センサのうちの1つ以上であり得る。
WTRU102は、(例えば、UL(例えば、送信用)及びダウンリンク(例えば、受信用)の両方のための特定のサブフレームと関連付けられた)信号のいくつか又は全ての送信及び受信が並列及び/又は同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア(例えば、チョーク)又はプロセッサを介した信号処理(例えば、別個のプロセッサ(図示せず)又はプロセッサ118を介して)を介して自己干渉を低減し、かつ又は実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、WRTU102は、(例えば、UL(例えば、送信用)又はダウンリンク(例えば、受信用)のいずれかのための特定のサブフレームと関連付けられた)信号のうちのいくつか又は全てのうちのどれかの送信及び受信のための半二重無線機を含み得る。
図1Cは、一実施形態によるRAN104及びCN106を図示するシステム図である。上記のように、RAN104は、E-UTRA無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN104はまた、CN106と通信し得る。
RAN104は、eノードB160a、160b、160cを含み得るが、RAN104は、一実施形態との一貫性を有しながら、任意の数のeノードBを含み得るということが理解されよう。eノードB160a、160b、160cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実装し得る。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。
eノードB160a、160b、160cの各々は、特定のセル(図示せず)に関連付けられ得、UL及び/又はDLにおいて、無線リソース管理決定、ハンドオーバ決定、ユーザのスケジューリングなどを処理するように構成され得る。図1Cに示すように、eノードB160a、160b、160cは、X2インターフェースを介して互いに通信し得る。
図1Cに示されるCN106は、モビリティ管理エンティティ(mobility management entity、MME)162、サービングゲートウェイ(serving gateway、SGW)164、及びパケットデータネットワーク(packet data network、PDN)ゲートウェイ(又はPGW)166を含み得る。前述の要素の各々は、CN106の一部として図示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は運用され得ることが理解されるであろう。
MME162は、S1インターフェースを介して、RAN104におけるeノードB162a、162b、162cの各々に接続され得、かつ制御ノードとして機能し得る。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ中に特定のサービス中のゲートウェイを選択すること、などの役割を果たし得る。MME162は、RAN104と、GSM及び/又はWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SGW164は、S1インターフェースを介してRAN104におけるeNode-B160a、160b、160cの各々に接続され得る。SGW164は、概して、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングし、転送し得る。SGW164は、eNode-B間ハンドオーバ中にユーザプレーンをアンカする機能、DLデータがWTRU102a、102b、102cに利用可能であるときにページングをトリガする機能、WTRU102a、102b、102cのコンテキストを管理及び記憶する機能などの、他の機能を実行し得る。
SGW164は、PGW166に接続され得、PGW166は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。
CN106は、他のネットワークとの通信を容易にし得る。例えば、CN106は、WTRU102a、102b、102cと従来の地上回線通信デバイスとの間の通信を容易にするために、PSTN108などの回路交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含み得るか、又はそれと通信し得る。更に、CN106は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は運用される他の有線及び/又は無線ネットワークを含み得る。
WTRUは、無線端末として図1A~図1Dに記載されているが、特定の代表的な実施形態では、そのような端末は、通信ネットワークとの(例えば、一時的又は永久的に)有線通信インターフェースを使用し得ることが企図される。
代表的な実施形態では、他のネットワーク112は、WLANであり得る。
インフラストラクチャ基本サービスセット(Basic Service Set、BSS)モードのWLANは、BSSのアクセスポイント(AP)及びAPと関連付けられた1つ以上のステーション(station、STA)を有し得る。APは、配信システム(Distribution System、DS)若しくはBSSに入る、かつ/又はBSSから出るトラフィックを搬送する別のタイプの有線/無線ネットワークへのアクセス又はインターフェースを有し得る。BSS外から生じる、STAへのトラフィックは、APを通って到達し得、STAに配信され得る。STAからBSS外の宛先への生じるトラフィックは、APに送信されて、それぞれの宛先に送信され得る。BSS内のSTAどうしの間のトラフィックは、例えば、APを介して送信され得、ソースSTAは、APにトラフィックを送信し得、APは、トラフィックを宛先STAに配信し得。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックとしてみなされ、かつ/又は称され得る。ピアツーピアトラフィックは、ソースSTAと宛先STAとの間で(例えば、それらの間で直接的に)、直接リンクセットアップ(direct link setup、DLS)で送信され得る。特定の代表的な実施形態では、DLSは、802.11e DLS又は802.11zトンネル化DLS(tunneled DLS、TDLS)を使用し得る。独立BSS(Independent BSS、IBSS)モードを使用するWLANは、APを有しない場合があり、IBSS内又はそれを使用するSTA(例えば、STAの全部)は、互いに直接通信し得る。通信のIBSSモードは、本明細書では、「アドホック」通信モードと称され得る。
802.11acインフラストラクチャ動作モード又は同様の動作モードを使用するときに、APは、プライマリチャネルなどの固定チャネル上にビーコンを送信し得る。一次チャネルは、固定幅(例えば、20MHz幅の帯域幅)又はシグナリングを介して動的に設定される幅であり得る。プライマリチャネルは、BSSの動作チャネルであり得、APとの接続を確立するためにSTAによって使用され得る。特定の代表的な実施形態では、例えば、802.11システムにおいて、衝突回避を備えたキャリア感知多重アクセス(Carrier Sense Multiple Access/Collision Avoidance、CSMA/CA)が実装され得る。CSMA/CAの場合、APを含むSTA(例えば、全てのSTA)は、プライマリチャネルを感知し得る。プライマリチャネルが特定のSTAによってビジーであると感知され/検出され、かつ/又は判定される場合、特定のSTAはバックオフされ得る。1つのSTA(例えば、1つのステーションのみ)は、所与のBSSにおいて、任意の所与の時間に送信し得る。
高スループット(High Throughput、HT)STAは、通信のための40MHz幅のチャネルを使用し得るが、この40MHz幅のチャネルは、例えば、プライマリ20MHzチャネルと、隣接又は非隣接の20MHzチャネルとの組み合わせを介して形成され得る。
非常に高いスループット(Very High Throughput、VHT)のSTAは、20MHz、40MHz、80MHz、及び/又は160MHz幅のチャネルをサポートし得る。上記の40MHz及び/又は80MHz幅のチャネルは、連続する20MHzチャネルどうしを組み合わせることによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって、又は80+80構成と称され得る2つの連続していない80MHzチャネルを組み合わせることによって、形成され得る。80+80構成の場合、チャネル符号化後、データは、データを2つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換(Inverse Fast Fourier Transform、IFFT)処理及び時間ドメイン処理は、各ストリームで別々に行われ得る。ストリームは、2つの80MHzチャネルにマッピングされ得、データは、送信STAによって送信され得る。受信STAの受信機では、80+80構成に対する上記で説明される動作を逆にされ得、組み合わされたデータを媒体アクセス制御(Medium Access Control、MAC)に送信し得る。
サブ1GHzの動作モードは、802.11af及び802.11ahによってサポートされる。チャネル動作帯域幅及びキャリアは、802.11n及び802.11acで使用されるものと比較して、802.11af及び802.11ahでは低減される。802.11afは、TVホワイトスペース(TV White Space、TVWS)スペクトルにおいて、5MHz、10MHz及び20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、及び16MHz帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレッジエリア内のMTCデバイスなど、メータタイプの制御/マシンタイプ通信をサポートし得る。MTCデバイスは、例えば、特定の、かつ/又は限定された帯域幅のためのサポート(例えば、そのためのみのサポート)を含む、特定の能力を有し得る。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を超えるバッテリ寿命を有するバッテリを含み得る。
複数のチャネル、並びに802.11n、802.11ac、802.11af、及び802.11ahなどのチャネル帯域幅をサポートし得るWLANシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、BSSにおける全てのSTAによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。プライマリチャネルの帯域幅は、最小帯域幅動作モードをサポートするBSSで動作する全てのSTAの中から、STAによって設定され、かつ/又は制限され得る。802.11ahの例では、プライマリチャネルは、AP及びBSSにおける他のSTAが2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それのみをサポートする)STA(例えば、MTCタイプデバイス)に対して1MHz幅であり得る。キャリア感知及び/又はネットワーク配分ベクトル(Network Allocation Vector、NAV)設定は、プライマリチャネルの状態に依存し得る。例えば、APに送信する(1MHz動作モードのみをサポートする)STAに起因して一次チャネルがビジーである場合、周波数帯域の大部分がアイドルのままであり、利用可能であり得るとしても、利用可能な周波数帯域全体がビジーであるとみなされ得る。
米国では、802.11ahにより使用され得る利用可能な周波数帯域は、902MHz~928MHzである。韓国では、利用可能な周波数帯域は917.5MHz~923.5MHzである。日本では、利用可能な周波数帯域は916.5MHz~927.5MHzである。802.11ahに利用可能な総帯域幅は、国のコードに応じて6MHz~26MHzである。
図1Dは、一実施形態によるRAN113及びCN115を例解するシステム図である。上記のように、RAN113は、NR無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN113はまた、CN115と通信し得る。
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、一実施形態との一貫性を維持しながら、任意の数のgNBを含み得ることが理解されよう。gNB180a、180b、180cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装し得る。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信及び/又は受信し得る。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。一実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装し得る。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信し得る。これらのコンポーネントキャリアのサブセットは、未認可スペクトル上にあり得、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。一実施形態では、gNB180a、180b、180cは、多地点協調(Coordinated Multi-Point、CoMP)技術を実装し得る。例えば、WTRU102aは、gNB180a及びgNB180b(及び/又はgNB180c)からの協調送信を受信し得る。
WTRU102a、102b、102cは、拡張可能なヌメロロジと関連付けられた送信を使用して、gNB180a、180b、180cと通信し得る。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル、及び/又は異なる部分に対して変化し得る。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、かつ/又は様々な長さの絶対時間が持続する)様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔(transmission time interval、TTI)を使用して、gNB180a、180b、180cと通信し得る。
gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えば、eノードB160a、160b、160cなど)にアクセスすることなく、gNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、モビリティアンカポイントとしてgNB180a、180b、180cのうちの1つ以上を利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは、未認可バンドにおける信号を使用して、gNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cと通信し、これらに接続する一方で、eノードB160a、160b、160cなどの別のRANとも通信し、これらに接続し得る。例えば、WTRU102a、102b、102cは、1つ以上のgNB180a、180b、180c及び1つ以上のeノードB160a、160b、160cと実質的に同時に通信するためのDC原理を実装し得る。非スタンドアロン構成では、eノードB160a、160b、160cは、WTRU102a、102b、102cのモビリティアンカとして機能し得るが、gNB180a、180b、180cは、WTRU102a、102b、102cをサービスするための追加のカバレッジ及び/又はスループットを提供し得る。
gNB180a、180b、180cの各々は、特定のセル(図示せず)と関連付けられ得、無線リソース管理決定、ハンドオーバ決定、UL及び/又はDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーン機能(User Plane Function、UPF)184a、184bへのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(Access and Mobility Management Function、AMF)182a、182bへの制御プレーン情報のルーティングなどを処理するように構成され得る。図1Dに示すように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信し得る。
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(Session Management Function、SMF)183a、183b、及び場合によってはデータネットワーク(Data Network、DN)185a、185bを含み得る。前述の要素の各々は、CN115の一部として示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
AMF182a、182bは、N2インターフェースを介してRAN113におけるgNB180a、180b、180cのうちの1つ以上に接続され得、制御ノードとして機能し得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザの認証、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bの選択、登録エリアの管理、NASシグナリングの終了、モビリティ管理などの役割を果たすことができる。ネットワークスライスは、WTRU102a、102b、102cを利用しているサービスのタイプに基づいて、WTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、異なるネットワークスライスは、高信頼低遅延(ultra-reliable low latency、URLLC)アクセスに依存するサービス、高速大容量(enhanced massive mobile broadband、eMBB)アクセスに依存するサービス、マシンタイプ通信(machine type communication、MTC)アクセスのためのサービス、及び/又は同様のものなどの異なる使用事例のために確立され得る。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、及び/又はWiFiなどの非3GPPアクセス技術などの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インターフェースを介して、CN115内のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択及び制御し、UPF184a、184bを通るトラフィックのルーティングを構成し得る。SMF183a、183bは、UE IPアドレスを管理して割り当てること、PDUセッションを管理すること、ポリシー執行及びQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実施し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つ以上に接続され得、これにより、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。UPF184、184bは、パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実施し得る。
CN115は、他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含み得るか、又はそれと通信し得る。更に、CN115は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は動作される他の有線及び/又は無線ネットワークを含み得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、及びUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通じてローカルデータネットワーク(DN)185a、185bに接続され得る。
図1A~図1D、及び図1A~図1Dの対応する説明から見て、WTRU102a~d、基地局114a~b、eNode-B160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、及び/又は本明細書に記載される任意の他のデバイスのうちの1つ以上に関する、本明細書に記載される機能のうちの1つ以上又は全ては、1つ以上のエミュレーションデバイス(図示せず)によって実施され得る。エミュレーションデバイスは、本明細書に説明される機能の1つ以上又は全てをエミュレートするように構成された1つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ/又はネットワーク及び/若しくはWTRU機能をシミュレートし得る。
エミュレーションデバイスは、ラボ環境及び/又はオペレータネットワーク環境における他のデバイスの1つ以上の試験を実装するように設計され得る。例えば、1つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び/又は無線通信ネットワークの一部として完全に若しくは部分的に実装され、かつ/又は展開されている間、1つ以上若しくは全ての機能を実行し得る。1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として一時的に実装/展開されている間、1つ以上若しくは全ての機能を実行し得る。エミュレーションデバイスは、試験を目的として別のデバイスに直接結合され得、かつ/又は地上波無線通信を使用して試験を実行し得る。
1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として実装/展開されていない間、全てを含む1つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、1つ以上のコンポーネントの試験を実装するために、試験実験室での試験シナリオ、並びに/又は展開されていない(例えば、試験用の)有線及び/若しくは無線通信ネットワークにおいて利用され得る。1つ以上のエミュレーションデバイスは、試験機器であり得る。RF回路(例えば、1つ以上のアンテナを含み得る)を介した直接RF結合及び/又は無線通信は、データを送信及び/又は受信するように、エミュレーションデバイスによって使用され得る。
本出願は、ツール、特徴、実施例又は実施形態、モデル、アプローチなどを含む、様々な態様を記載している。これらの態様のうちの多くは、具体的に説明され、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様の全てが組み合わされ、交換されて、更なる態様を提供し得る。その上、態様は、同様に、先の出願に記載の態様と組み合わせられ、交換され得る。
本出願において記載及び企図される態様は、多くの異なる形態で実装され得る。本明細書に記載の図5~図8は、いくつかの実施形態を提供し得るが、他の実施形態も企図される。図5~図8の考察は、実装形態の範囲を限定するものではない。態様のうちの少なくとも1つは、概して、ビデオ符号化及び復号化に関し、少なくとも1つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び他の態様は、方法、装置、記載の方法のうちのいずれかに従ってビデオデータを符号化又は復号化するための命令を記憶したコンピュータ可読記憶媒体、及び/又は記載の方法のうちのいずれかに従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
本出願では、「再構成された(reconstructed)」及び「復号化された(decoded)」という用語は、交換可能に使用され得、「ピクセル(pixel)」及び「サンプル(sample)」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。加えて、「第1の(first)」、「第2の(second)」などの用語は、様々な実施形態において、例えば、「第1の復号化(first decoding)」及び「第2の復号化(second decoding)」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第1の復号化は、第2の復号化の前に実行される必要はなく、例えば、第2の復号化の前、第2の復号化の間、又は第2の復号化と重複する時間中に発生し得る。
本出願に記載される様々な方法及び他の態様は、それぞれ図2及び図3に示されるようなビデオエンコーダ200及びビデオデコーダ300のモジュール、例えば、符号化前処理201、イントラ予測260、エントロピコーディング245及び/又はエントロピデコーディングモジュール330、イントラ予測360、復号化後処理385を修正し(例えば、修正するために使用され)得る。更に、本明細書で開示される主題は、VVC又はHEVCに限定されない態様を提示し、例えば、規格又は勧告に記載されているかどうかにかかわらず、既存であるか又は将来開発されるかどうかにかかわらず、ビデオコード化の任意のタイプ、形式、又はバージョン、並びに任意のかかる規格及び勧告(例えば、VVC及びHEVCを含む)の拡張に適用され得る。別段の指示がない限り、又は技術的に除外されない限り、本出願に記載の態様は、個々に又は組み合わせて使用され得る。
最小値範囲及び最大値範囲(例えば、0~1、0~N、又は0~255)、指示又は判定のためのビット値、デフォルト値、(例えば、適応IDのための)ID番号などのような、様々な数値が本出願に記載される実施例で使用される。これら及び他の特有の値は、実施例を記載する目的のものであり、記載される態様は、これらの固有の値に限定されない。
図2は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ200の変形例が企図されるが、エンコーダ200は、全ての予想される変形例を説明することなく、明確にする目的で以下に記載される。
符号化される前に、ビデオシーケンスは、符号化前処理(201)、例えば、カラー変換を入力カラーピクチャに適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する(例えば、色成分のうちの1つのヒストグラム等化を使用して)ことを経得る。メタデータは、その前処理と関連付けられ、ビットストリームに添付され得る。
エンコーダ200では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され(202)、例えば、符号化ユニット(coding unit、CU)の単位で処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測(260)を実行する。インターモードでは、動き推定(275)及び動き補償(270)が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し(205)、例えば、予測モードフラグによってイントラ/インターの決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算することによって(210)計算される。
その予測残差は、次いで、変換され(225)、量子化される(230)。量子化された変換係数、並びに動きベクトル及び他の構文要素は、ビットストリームを出力するためにエントロピコード化される(245)。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コード化される。
エンコーダは、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号化するために逆量子化され(240)、逆変換される(250)。復号化された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構成される。ループ内フィルタ(265)は、例えば、符号化アーチファクトを低減するための非ブロック化/SAO(Sample Adaptive Offset)(サンプル適応オフセット)フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
図3は、ビデオデコーダの実施例を示す図である。例示的なデコーダ300では、ビットストリームは、以下に記載のように、デコーダ要素によって復号化される。ビデオデコーダ300は、図2に記載するように、一般に、符号化パスとは逆の復号化パスを実行する。エンコーダ200はまた、概して、ビデオデータを符号化する一部分としてビデオ復号を実行し得る。例えば、エンコーダ200は、本明細書に提示されるビデオ復号化ステップのうちの1つ以上を実行し得る。エンコーダは、復号化された画像を再構成し、例えば、参照ピクチャ、エントロピコーディングコンテキスト、及び他のデコーダ関連状態変数のうちの1つ以上に関してデコーダとの同期を維持する。
特に、デコーダの入力は、ビデオビットストリームを含み、ビデオエンコーダ200によって生成され得る。ビットストリームは、まず、変換係数、動きベクトル、及び他のコード化情報を取得するために、エントロピ復号化される(330)。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号化されたピクチャ分割情報に従ってピクチャを分割し得る(335)。変換係数は、予測残差を復号化するために、逆量子化され(340)、逆変換される(350)。復号化された予測残差と予測されたブロックとを組み合わせて(355)、画像ブロックが再構成される。予測されたブロックは、イントラ予測(360)から又は動き補償予測(すなわち、インター予測)(375)から取得され得る(370)。ループ内フィルタ(365)は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(380)に記憶される。
復号化されたピクチャは、復号化後処理(385)、例えば、逆カラー変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)、又は符号化前処理(201)において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
図4は、本明細書に記載の様々な態様及び実施形態が実装され得るシステムの実施例を示す図である。システム400は、以下に記載の様々なコンポーネントを含むデバイスとして具体化され得、本明細書に記載の態様のうちの1つ以上を実行するように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム400の要素は、単独で、又は組み合わせて、単一の集積回路(IC)、複数のIC、及び/又は別個のコンポーネントに具現化され得る。例えば、少なくとも1つの実施例では、システム400の処理及びエンコーダ/デコーダ要素は、複数のIC及び/又は別個のコンポーネントにわたって分散される。様々な実施形態では、システム400は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム400は、本明細書に記載される態様のうちの1つ以上を実装するように構成されている。
システム400は、例えば、本明細書に記載される様々な態様を実装するために、内部にロードされた命令を実行するように構成された少なくとも1つのプロセッサ410を含む。プロセッサ410は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム400は、少なくとも1つのメモリ420(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム400は、記憶デバイス440を含み、これは、不揮発性メモリ及び/又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス440は、非限定的な例として、内部記憶デバイス、添付された記憶デバイス(取り外し可能及び取り外し不可能な記憶デバイスを含む)、及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム400は、例えば、符号化ビデオ又は復号化ビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール430を含み、エンコーダ/デコーダモジュール430は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ/デコーダモジュール430は、符号化機能及び/又は復号化機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号化モジュールのうちの一方又は両方を含むことができる。加えて、エンコーダ/デコーダモジュール430は、システム400の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ410内に組み込まれ得る。
本明細書に記載の様々な態様を実行するためにプロセッサ410又はエンコーダ/デコーダ430にロードされるプログラムコードは、記憶デバイス440に記憶され、その後、プロセッサ410による実行のためにメモリ420上にロードされ得る。様々な実施形態によれば、プロセッサ410、メモリ420、記憶デバイス440、及びエンコーダ/デコーダモジュール430のうちの1つ以上は、本明細書に記憶のプロセスの実行中に様々なアイテムのうちの1つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号化ビデオ、又は復号化ビデオの一部分、ビットストリーム、マトリクス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
いくつかの実施形態では、プロセッサ410及び/又はエンコーダ/デコーダモジュール430の内部のメモリは、命令を記憶し、かつ符号化中又は復号化中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ410又はエンコーダ/デコーダモジュール430のいずれかであり得る)の外部のメモリが、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ420及び/又は記憶デバイス440、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを記憶する。少なくとも1つの実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2(MPEGはMoving Picture Experts Groupを指し、MPEG-2はISO/IEC13818とも称され、13818-1はH.222としても知られており、13818-2はH.262としても知られている)、HEVC(HEVC、High Efficiency Video Codingは高効率映像符号化を指し、H.265及びMPEG-H Part2としても知られている)、又はVVC(Versatile Video Codingは、JVET、Joint Video Experts Teamによって開発中の新しい規格)などのビデオ符号化及び復号化動作のための作業メモリとして使用される。
システム400の要素への入力は、ブロック445に示すように、様々な入力デバイスを通して提供され得る。かかる入力デバイスとしては、これらに限定されないが、(i)例えば、放送局によって地上波で送信されるRF信号を受信する無線周波数(radio frequency、RF)部分、(ii)コンポーネント(COMP)入力端子(又は一組のCOMP入力端子)、(iii)ユニバーサルシリアルバス(USB)入力端子、及び/又は(iv)高解像度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力端子が挙げられる。他の実施例には、図4には示されていないが、コンポジットビデオが含まれる。
様々な実施形態では、ブロック445の入力デバイスは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される)と、(ii)選択された信号をダウンコンバートすることと、(iii)(例えば)ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限することと、(iv)ダウンコンバートされ帯域制限された信号を復調することと、(v)誤り訂正を実行することと、(vi)所望のデータパケットストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数(例えば、中間周波数又は近ベースバンド周波数)に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、RF部分及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
加えて、USB端子及び/又はHDMI端子は、システム400をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理IC内又はプロセッサ410内に実装され得ることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、個別のインターフェースIC内又はプロセッサ410内に実装され得る。復調され、エラー訂正され、多重分離されたストリームは、例えば、プロセッサ410、及び出力デバイス上に提示するために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ/デコーダ430を含む、様々な処理要素に提供される。
システム400の様々な要素は、一体化されたハウジング内に提供され得る。統合型ハウジング内には、様々な要素が、好適な接続構成425、例えば、インターIC(Inter-IC、I2C)バス、配線、及びプリント回路基板を含む、当技術分野で既知であるような内部バスを使用して、その要素間で相互接続され、かつデータを送信し得る。
システム400は、通信チャネル460を介して他のデバイスとの通信を可能にする通信インターフェース450を含む。通信インターフェース450は、通信チャネル460介してデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース450は、モデム又はネットワークカードを含むことができるが、これに限定されず、通信チャネル460は、例えば、有線及び/又は無線媒体内に実装され得る。
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEE、the Institute of Electrical and Electronics Engineersは、米国電気電子技術者協会を指す)などの無線ネットワークを使用して、システム400にストリーミングされるか、又は別様に提供される。これらの実施例のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル460及び通信インターフェース450を介して受信される。これらの実施形態の通信チャネル460は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック445のHDMI接続を介してデータを配信するセットトップボックスを使用して、システム400にストリーミングデータを提供する。更に他の実施形態では、入力ブロック445のRF接続を使用して、システム400にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システム400は、ディスプレイ475、スピーカ485、及び他の周辺デバイス495を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ475は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ475は、テレビ、タブレット、ラップトップ、携帯電話(モバイルフォン)、又は他のデバイスのためのものであり得る。ディスプレイ475はまた、他のコンポーネントと統合され得るか(例えば、スマートフォンのように)、又は別個に(例えば、ラップトップのための外部モニタ)され得る。他の周辺デバイス495としては、実施形態の様々な実施例において、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語について、DVR、digital versatile disc)、ディスクプレーヤ、ステレオシステム、及び/又は照明システム、のうちの1つ以上が挙げられる。様々な実施形態は、システム400の出力に基づいて機能を提供する1つ以上の周辺デバイス495を使用する。例えば、ディスクプレーヤは、システム400の出力を再生する機能を実行する。
様々な実施形態では、制御信号が、システム400と、ディスプレイ475、スピーカ485、又は他の周辺デバイス495との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース470、480、及び490を通じた専用接続を介してシステム400に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース450を介し、通信チャネル460を使用して、システム400に接続され得る。ディスプレイ475及びスピーカ485は、例えば、テレビなどの電子デバイス内のシステム400の他のコンポーネントと単一のユニットに統合され得る。様々な実施形態において、ディスプレイインターフェース470は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
ディスプレイ475及びスピーカ485は、代替的に、例えば、入力445のRF部分が個別のセットトップボックスの一部分である場合、他のコンポーネントのうちの1つ以上から分離され得る。ディスプレイ475及びスピーカ485が外部コンポーネントである様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む、専用の出力接続を介して提供され得る。
実施形態は、プロセッサ410によって、又はハードウェアによって、又はハードウェア及びソフトウェアの組み合わせによって実装されたコンピュータソフトウェアによって実行され得る。非限定的な実施例として、実施形態は、1つ以上の集積回路によって実装され得る。メモリ420は、技術環境に適切な任意のタイプであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ410は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含することができる。
様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号化」は、例えば、ディスプレイに好適な最終出力を生成するために、受信された符号化シーケンスで実行されるプロセスの全て又は一部を包含し得る。様々な実施形態では、そのようなプロセスは、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、デコーダによって典型的に実行されるプロセスのうちの1つ以上を含み得る。様々な実施形態では、そのようなプロセスはまた、又は代替的に、本出願に記載される様々な実装形態のデコーダによって実行されるプロセスを含み、例えば、ポイントクラウドコンポーネントに関連付けられた要素、属性、及びメタデータを示す信号(例えば、本明細書に記載されるような)を受信、復号化、及び解釈すること、メディアプレゼンテーション記述子(MPD)内のポイントクラウドストリーム及びそれらのコンポーネントサブストリームを識別すること、ポイントクラウド及び/又はポイントクラウドのコンポーネントのバージョンを識別すること、MPDを復号化して、メイン適応セット及び他の適応セットを識別して、ジオメトリベースのポイントクラウド圧縮(G-PCC)コンテンツにおけるG-PCCコンポーネントを識別すること、MPDを復号化して、適応セット又は表現中のポイントクラウドコンポーネントのタイプを識別すること、MPDを復号化して、1つ以上のプリセレクションを識別すること、MPDを復号化して、G-PCCメディアの1つ以上のバージョンを識別すること、MPDを復号化して、1つ以上のG-PCCタイルグループを識別すること、MPDを復号化して、適応セット中のG-PCCコンポーネントの1つ以上のタイルIDを識別すること、MPDを復号化して、空間領域の1つ以上の特性、及びこれらの領域とG-PCCタイルとの間のマッピング、空間領域の特性、及びこれらの領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、並びに/又は空間領域とG-PCCコンポーネントの対応する適応セットとの間のマッピングを識別すること、MPDを復号化して、動的空間領域のタイムドメタデータトラックを識別すること、などがある。
更なる実施形態として、一実施例では、復号化は、エントロピ復号化を指す場合があり、別の実施形態では、復号化は、差分復号化を指す場合があり、別の実施形態では、復号化は、エントロピ復号化と差分復号化との組み合わせを指す場合がある。復号化プロセスという句が、具体的に演算のサブセットを指すことを意図しているか、又は概してより広範な復号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者には十分に理解されると考えられる。
様々な実装形態は、符号化を伴い得る。復号化に関する上記の考察と同様に、本出願で使用され符号化は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。様々な実施形態では、そのようなプロセスはまた、又は代替的に、本出願に記載される様々な実装形態のエンコーダによって実行されるプロセスを含み、例えば、ポイントクラウドコンポーネントに関連付けられた要素、属性、及びメタデータを示す(例えば、本明細書で説明されるような)信号を生成、符号化、及び送信すること、MPDを符号化して、ポイントクラウドストリーム及びこれらのポイントクラウドストリームのコンポーネントサブストリームを示すこと、MPDを符号化して、G-PCCコンテンツにおけるジオメトリベースのポイントクラウド圧縮(G-PCC)コンポーネントの識別をサポートするために、メイン適応セット及び他の適応セットを示すこと、MPDを符号化して、適応セット又は表現中のポイントクラウドコンポーネントのタイプの識別をサポートすること、MPDを符号化して、1つ以上のプリセレクションを識別すること、MPDを符号化して、G-PCCメディアの1つ以上のバージョンの識別をサポートすること、MPDを符号化して、1つ以上のG-PCCタイルグループの識別をサポートすること、MPDを符号化して、適応セット中のG-PCCコンポーネントの1つ以上のタイルIDの識別をサポートすること、MPDを符号化して、空間領域の1つ以上の特性、及びこれらの領域とG-PCCタイルとの間のマッピング、空間領域の特性、及びこれらの領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、並びに/又は空間領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、の識別をサポートすること、MPDを復号化して、動的空間領域のタイムドメタデータトラックを識別すること、などがある。
更なる実施例として、一実施形態では、符号化は、エントロピ符号化を指す場合があり、別の実施形態では、符号化は、差分符号化を指す場合があり、別の実施形態では、符号化は、差動符号化とエントロピ符号化との組み合わせを指す場合がある。符号化プロセスという句が、具体的に演算のサブセットを指すことを意図しているか、又は概してより広範な符号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者には十分に理解されると考えられる。
表1~表23に示され、かつ本明細書で提示される考察又は図に別様に示され得る構文要素などの、本明細書で使用される構文要素は、記述的用語であることに留意されたい。したがって、これらは他の構文要素名の使用を排除するものではない。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
符号化処理時、通常では、しばしば計算の複雑性の制約が与えられて、レートと歪みの間のバランス又はトレードオフが考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なるアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びに符号化及び復号化後の再構成された信号の関連する歪みの完全な評価を伴う。符号化の複雑さを軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用し得る。これら2つのアプローチの混合が、例えば、可能性のある符号化オプションのいくつかの近似歪み、及び他の符号化オプションの完全な歪みを使用することによって、使用され得る。他のアプローチでは、可能な符号化オプションのサブセットを評価し得る。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしもコード化コスト及び関連する歪みの両方の完全な評価ではない。
本明細書に記載の実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、プロセッサで実装され得るが、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが含まれる。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/携帯情報端末(PDA)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態(one embodiment)」、「実施形態(an embodiment)」、「実装例(an example)」、「一実装形態(one implementation)」又は「実装形態(an implementation)」、及びそれらの他の変形形態への言及は、実施形態に関連して記載する特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書全体を通しての様々な場所に現れる「一実施形態では(in one embodiment)」、「実施例では(in an example)」、「一実装形態では(in one implementation)」又は「実装形態では(in an implementation)」という句、並びに任意の他の変形例の出現は、必ずしも全てが同じ実施形態又は実施例を指すとは限らない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上を含むことができる。取得することは、受信すること、取り出すこと、構築すること、生成すること、及び/又は判定することを含み得る。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、次の「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A, B, and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A, B, and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、いくつかの実施形態では、エンコーダは、(例えば、表1~表23を含む、本明細書で開示される)記述子、要素及び属性、メタデータ、スキーマなどの中でもとりわけ、MPD、適応セット、表現、プリセレクション、G-PCCコンポーネント、G-PCCComponent記述子、G-PCC記述子又は必須プロパティ記述子、補足プロパティ記述子、G-PCCタイルインベントリ記述子、G-PCC静的空間領域記述子、GPCCTileId記述子GPCC3DRegionID記述子を、(例えば、デコーダに)シグナリングする。このようにして、一実施形態では、同じパラメータがエンコーダ側及びデコーダ側の両方で使用され得る。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用し得るように、特定のパラメータをデコーダに送信(明示的にシグナリング)し得る。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、送信することなくシグナリングを使用して(暗黙的なシグナリング)、単にデコーダが特定のパラメータを知り、選択することを可能にし得る。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成され得ることが理解されるべきである。例えば、1つ以上の構文要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。前述は、「シグナリングする」という単語の動詞形に関するものであるが、「信号」という語はまた、本明細書において名詞として使用され得る。
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
3Dポイントクラウドは、没入型メディアを表し(例えば、表すために使用され)得る。ポイントクラウドは、3次元(3D)空間内で表されるポイントのセットを含み得る。実施例では、ポイント(例えば、各ポイント)は、ポイントのロケーション及び/又は1つ以上の属性(例えば、ポイント色、透明度、取得時間、レーザの反射率、材料特性など)を示す1つ以上の座標に関連付けられ得る。ポイントクラウドは、例えば、1つ以上のカメラ、深度センサ、及び/又は光検出及び測距(light detection and ranging、LiDAR)レーザスキャナを使用して、捕捉又は展開され得る。ポイントクラウドは、複数の点を含み得る。例では、ポイント(例えば、各ポイント)は、3D空間においてマッピングする座標のセット(例えば、x、y、z座標)によって表され得る。ポイントは、オブジェクトのサンプリングに基づいて生成され得る。実施例では、ポイントクラウド内のポイントの数は、数百万又は数十億程度であり得る。ポイントクラウドは、1つ以上のオブジェクト及び/又はシーンを再構成するために使用され得る。ポイントクラウドは、例えば、ポイントクラウドデータを記憶及び/又は送信する(例えば、効率的に記憶及び/又は送信する)ために、表現及び/又は圧縮され得る。ポイントクラウド圧縮は、ポイントクラウドのジオメトリック座標及び/又は属性の非可逆コーディング及び/又は可逆コーディング(例えば、符号化又は復号化)をサポートし得る。ポイントクラウドは、様々なアプリケーション(例えば、テレプレゼンス、仮想現実(VR)、及び/又は大規模動的3Dマップ)をサポートするために展開され得る。実施例では、メッシュ及びポイントクラウド圧縮のためのライブラリは、例えば、3Dコンテンツを送信する効率及び速度を改善するために、頂点位置、法線、色、テクスチャ座標、及び他の汎用頂点属性の圧縮をサポートし得る。そのようなライブラリの実施例は、GOOGLE(商標)によって開発されたDRACO(商標)である。
図5は、ジオメトリベースのポイントクラウド圧縮(G-PCC)のためのビットストリーム構造の実施例を示す。G-PCCビットストリームは、例えば、図5に示されるように、例えば、タイプ-長さ-値(type-length-value、TLV)カプセル化構造と称され得る、G-PCCユニットのセットを含み得る。G-PCC及びGPCCは、本明細書では交換可能に使用され得る。図5に示されるように、G-PCCユニットは、G-PCC tlv_type及びG-PCC tlvユニットペイロードに関する情報を含み得る。図5は、様々なtlvユニットペイロードタイプを示す。表1は、G-PCC TLV構文の実施例を示す。実施例では、G-PCC TLVユニット(例えば、各G-PCC TLVユニット)は、TLVタイプ、G-PCC TLVユニットペイロード長、及び/又はG-PCC TLVユニットペイロードを含み得る。TLVタイプ(例えば、表1に示されるtlv_type)は、G-PCCユニットタイプを示し得る。表2は、TLVタイプ(例えば、表1に示されるtlv_type)及び関連付けられたデータユニット記述の実施例を示す。例えば、ユニットタイプ2のG-PCC TLVユニットは、ジオメトリデータユニットであり得、ユニットタイプ4のG-PCC TLVユニットは、属性データユニットであり得る。ポイントクラウドは、例えば、ジオメトリデータユニット及び属性データユニットに基づいて再構成され得る。ジオメトリ及び/又は属性G-PCCユニットペイロードは、例えば、G-PCCデコーダによって復号化され得るメディアデータユニット(例えば、TLVユニット)に対応し得る。ジオメトリ及び属性パラメータセットG-PCCユニットは、対応するTLVユニットを復号化するためのG-PCCデコーダを指定し得る。G-PCCビットストリーム高レベル構文(high-level syntax、HLS)は、ジオメトリ及び属性データのためのスライス及び/又はタイルグループをサポートし得る。フレームは、複数のタイル及びスライスに分割され得る。スライスは、符号化又は復号化され得る(例えば、独立して符号化又は復号化され得る)ポイントのセットであり得る。実施例では、スライスは、ジオメトリデータユニットと0個以上の属性データユニットとを含み得る。属性データユニットは、例えば、同じスライス内の、対応するジオメトリデータユニットに依存し得る。スライス内で、ジオメトリデータユニットは、任意の関連付けられた属性ユニットの前に現れ得る。スライスのデータユニットは、連続し得る。フレーム内のスライスの順序付けは、指定されなくてもよい。スライスのグループは、共通のタイル識別子によって識別され得る。タイル(例えば、各タイル)のバウンディングボックスを記述するタイルインベントリが実装され得る。タイルは、バウンディングボックス内の別のタイルと重複し得る。各スライスは、スライスがどのタイルに属するかを識別するインデックスを含み得る。表1は、G-PCC TLVカプセル化ユニットペイロード構文の実施例を示し、表2は、G-PCC TLVタイプ及びデータユニット記述の実施例を示し、表3は、G-PCC TLVカプセル化ユニットペイロード構文の実施例を示す。
要素、属性、構文、及びセマンティクスの実施例が、本明細書に示され、記載される。要素は、属性と区別される。属性は、属性に先行する「@」によって識別され得る。要素使用値範囲の実施例は、以下のフォーマットで提供され得:<minimum>...<maximum>、ここで、Nの値は、値が非有界であることを示し得る。本明細書で説明される要素、属性、構文、及びセマンティクスは、様々な実装形態において、例示的な使用の有無にかかわらず、単独で、又は様々な組み合わせで実装されてもされなくてもよい非限定的な実施例である。
G-PCCコンテナファイルフォーマットが実装され得る。図6は、G-PCCジオメトリ及び属性ビットストリームが単一トラックに記憶され得る場合のサンプル構造の実施例を示す。ビデオコーディングデバイスは、例えば、G-PCCビットストリームが単一トラックで搬送される場合、G-PCC符号化ビットストリームが単一トラック宣言によって表されることを必要とし得る。G-PCCデータの単一トラックカプセル化は、例えば、処理(例えば、更なる処理)なしに、G-PCCビットストリームを単一トラックに記憶することなどによって、単純なカプセル化、例えば、ISOベースメディアファイルフォーマット(ISO base media file format、ISOBMFF)カプセル化を利用し得る。単一トラック中のサンプル(例えば、各サンプル)(例えば、トラック中の各サンプル)は、1つ以上のG-PCCコンポーネントを含み得る。各サンプルは、1つ以上のTLVカプセル化構造を含み得る。
図7は、マルチトラック(例えば、ISOBMFF)G-PCCコンテナ構造の実施例を示す。コード化G-PCCジオメトリビットストリーム及びコード化G-PCC属性ビットストリームが別個のトラックに記憶されて、トラック中の各サンプルは、G-PCCコンポーネントデータを搬送する少なくとも1つのTLVカプセル化構造を含み得る。
マルチトラックG-PCC ISOBMFFコンテナは、Geometryパラメータセット、Sequenceパラメータセット、及び/又は、ジオメトリデータTLVユニットを搬送するジオメトリビットストリームサンプル、を含むG-PCCトラックを含み得る。G-PCCトラックは、G-PCC属性コンポーネントのペイロードを搬送する他のトラックへのトラック参照を含み得る。マルチトラックG-PCC ISOBMFFコンテナは、それぞれの属性のAttributeパラメータセットと、属性データTLVユニットを搬送する属性ビットストリームサンプルと、を各々が含む0個以上のG-PCCトラックを含み得る。
G-PCCビットストリームが複数のトラックで搬送される場合、G-PCCコンポーネントトラック間をリンクするためにトラック参照ツールが使用され得る。例えば、TrackReferenceTypeBoxesが、G-PCCトラックのTrackBox内のTrackReferenceBoxに追加され得る。TrackReferenceTypeBoxは、例えば、G-PCCトラックが参照するトラックを指定するtrack_IDの配列を含み得る。G-PCCジオメトリトラックをG-PCC属性トラックにリンクするために、G-PCCジオメトリトラックのTrackReferenceTypeBoxのreference_typeが、関連付けられた属性トラックを識別するために実装され得る。トラック参照タイプの4CCは、「gpca」であり得る。実施例では、参照されるトラックは、G-PCC属性データのコード化ビットストリームを含み得る。
G-PCCビットストリームのジオメトリストリームが複数のタイルを含む場合、各タイル又はタイルのグループは、ジオメトリタイルトラックなどの別個のトラックにカプセル化され得る。実施例では、ジオメトリタイルトラックは、タイルへの直接アクセスを可能にし得る、1つ以上のジオメトリタイルのTLVユニットを搬送し得る。G-PCCビットストリームの属性ストリームは、複数のタイルを含み、複数の属性タイルトラックで搬送され得る。
G-PCCタイルデータは、コンテナ内の別個のジオメトリ及び属性タイルトラックで搬送され得る。G-PCCコード化ストリームのISOBMFFコンテナ内の部分アクセスがサポートされ得る。ポイントクラウドシーン内の空間領域に対応するタイルは、Dynamic3DSpatialRegionSampleEntryを有するトラックなどのタイムドメタデータトラックのサンプルで、又はGPCCSpatialRegionInfoBoxボックスでシグナリングされ得る。これにより、プレーヤ及び/又はストリーミングクライアントは、ポイントクラウドシーン内の特定の空間領域又はタイルをレンダリングするために必要とされる情報を搬送するタイルトラックのセットを取り出すことが可能になり得る。
G-PCCベーストラックは、TLVカプセル化構造を搬送し得る。TLVカプセル化構造は、シーケンスパラメータセット(sequence parameter set、SPS)、ジオメトリパラメータセット(GPS)、属性パラメータセット(attribute parameter set、APS)、及びタイルインベントリ情報を含み得る(例えば、それらのみを含み得る)。G-PCCベーストラックをジオメトリタイルトラックにリンクするために、新しいトラック参照タイプを有するトラック参照が、4文字コード(four-character code、4CC)「gccg」を使用して定義され得る。新しいタイプのトラック参照を使用して、G-PCCベーストラックをジオメトリタイルトラック(例えば、ジオメトリタイルトラックの各々)とリンクさせ得る。
ジオメトリタイルトラック(例えば、各ジオメトリタイルトラック)は、トラック参照ツールを使用して、それぞれのタイル又はタイルグループの属性情報を搬送する他の属性G-PCCタイルトラックとリンクされ得る。これらのトラック参照タイプの4CCは、「gpca」であり得る。
代替トラックは、代替トラック機構(例えば、TrackHeaderBoxのalternate_groupフィールド)によって示され得る。実施例では、同じalternate_group値を含むG-PCCコンポーネントタイルトラックは、同じG-PCCコンポーネントの異なる符号化バージョンであり得る。ボリュメトリックビジュアルシーンが、代替として符号化され得る。そのような場合、例えば、互いの代替であるG-PCCトラックは、これらのG-PCCトラックのTrackHeaderBox内に同じalternate_group値を含み得る。
G-PCCコンポーネントタイルトラックは、代替を含み得る。そのような場合、代替グループに属するG-PCCコンポーネントタイルトラック(例えば、全てのG-PCCコンポーネントタイルトラック)は、G-PCCベーストラック及び/又はそれぞれのG-PCCジオメトリタイルトラックによって参照され得る。実施例では、互いの代替であるG-PCCコンポーネントタイルトラックは、代替グループ化機構を使用し得る。
MPEG動的適応ストリーミングオーバーHTTP(MPEG-DASH)は、例えば、エンドユーザにビデオ体験(例えば、より良好なビデオ体験)を提供するために、ネットワーク配信条件の変化に動的に適応し得る配信フォーマットである。
動的HTTPストリーミングは、サーバにおいて利用可能であり得る1つ以上のビットレートでマルチメディアコンテンツを配信し得る。マルチメディアコンテンツは、複数のメディアコンポーネント(例えば、オーディオ、ビデオ、及び/又はテキストメディアコンポーネント)を含み得る。異なるメディアコンポーネントは、異なる特性を含み得る。メディアコンポーネントの1つ以上の特性は、例えば、メディアプレゼンテーション記述(MPD)によって記述され得る。
図8は、例示的なMPD階層データモデルを示す。図8に示されるように、MPDは、期間(例えば、時間間隔)のシーケンスを記述し得る。例えば、メディアコンテンツコンポーネントの符号化されたバージョンのセットは、期間中に変化しない場合がある。期間(例えば、各期間)は、期間に関連付けられた開始時間及び持続時間を有し得る。期間(例えば、各期間)は、1つ以上の適応セット(例えば、図8に示されるAdaptation Set 1などのAdaptationSet)を含み得る。Adaptation Set、適応セット、AdaptationSet、及びadaptationsetは、本明細書では互換的に使用され得る。実施例では、DASHストリーミングクライアントは、例えば、図1A~図1Dに関して本明細書で説明されるように、WTRUであり得る。別の実施例では、DASHストリーミングクライアントは、ヘッドマウントデバイス、ヘッドマウントプロジェクタ、及び/又はヘッドアップディスプレイを含み得る。別の実施例では、DASHストリーミングクライアントは、3Dテレビを含み得る。別の実施例では、DASHストリーミングクライアントは、1つ以上のカメラ(例えば、高度カメラ)を含み得る。
適応セット(例えば、Adaptation Set、適応セット、AdaptationSet、又はadaptationset)は、例えば、言語、メディアタイプ、ピクチャアスペクト比、ロール、アクセシビリティ、視点、レーティングプロパティなどのうちの1つ以上などの、1つ以上のプロパティ(例えば、同一のプロパティ)を共有する、1つ以上のメディアコンテンツコンポーネントの符号化バージョンのセットを表し得る。実施例では、AdaptationSetは、マルチメディアコンテンツ(例えば、G-PCCコンテンツ)のジオメトリコンポーネント及び/又は属性コンポーネントの種々のビットレートを含み得る。AdaptationSetは、マルチメディアコンテンツ(例えば、同じマルチメディアコンテンツ)のオーディオコンポーネント(例えば、低品質ステレオ及び/又は高品質サラウンドサウンド)の種々のビットレートを含み得る。実施例では、AdaptationSet(例えば、各Adaption Set)は、複数のRepresentationを含み得る。
Representationは、1つ以上のメディアコンポーネントの配信可能な符号化バージョンを記述し得る。Representation及び表現は、本明細書において互換的に使用され得る。Representationは、例えば、ビットレート、解像度、チャネル数、及び/又は他の特性によって、他のRepresentationと相違し得る。Representation(例えば、各Representation)は、1つ以上のセグメントを含み得る。Representation要素の属性(例えば、@id、@bandwidth、@qualityRanking、及び/又は@dependencyId)は、Representationの1つ以上のプロパティを指定し得る(例えば、指定するために使用され得る)。
Segmentは、HTTP要求を用いて取り出され得る。セグメント(例えば、各セグメント)は、URL(例えば、サーバ上のアドレス指定可能なロケーション)を含み得る。実施例では、セグメントは、例えば、HTTP GET又はバイト範囲を有するHTTP GETを使用してダウンロードされ得る。
DASHクライアントは、MPD XML文書をパースし得る。例えば、DASHクライアントは、例えば、AdaptationSetの要素(例えば、AdaptationSetの要素の各々において提供される情報)に基づいて、(例えば、DASHクライアントの環境に好適な)AdaptationSetのコレクションを選択し得る。クライアントは、(例えば、各AdaptationSet内の)AdaptationSetのRepresentationを選択し得る。クライアントは、例えば、@bandwidth属性の値、クライアントコーディング能力、及び/又はクライアントレンダリング能力に基づいて、Representationを選択し得る。クライアントは、選択されたRepresentationの初期化セグメントをダウンロードし得る。クライアントは、コンテンツにアクセスし得る(例えば、セグメント全体又はセグメントのバイト範囲を要求することによって)。クライアントは、例えば、プレゼンテーションが開始された場合、又はプレゼンテーション中に、メディアコンテンツを消費し続け得る。クライアントは、プレゼンテーション中にメディアセグメント及び/又はメディアセグメントの一部を要求し(例えば、継続的に要求し)得る。クライアントは、メディアプレゼンテーションタイムラインに従ってコンテンツを再生し得る。クライアントは、例えば、クライアントの環境からの更新された情報に基づいて、第1のRepresentationから第2のRepresentationに切り替え得る。クライアントは、例えば、1つ以上のPeriodにわたって、コンテンツを連続的に再生し得る。メディアプレゼンテーション(例えば、セグメントにおいてクライアントによって消費されている)が終了されてもよく、期間が開始されてもよく、かつ/又はMPDが、例えば、Representationにおける告知されたメディアの終わりに向かって、再フェッチされてもよい。
MPEG-DASH記述子は、メディアコンテンツに関するアプリケーション固有の情報を提供し得る。記述子要素構造は、同様であり得る。記述子要素は、例えば、スキームを識別するためのURIを提供し得る@schemeIdUri属性、属性@value、及び/又は属性@idを含み得る。要素セマンティクスは、採用されるスキームに固有であり得る。スキームを識別するURIは、例えば、URN又はURLであり得る。MPDは、要素をどのように使用するかについての情報を提供し得る。DASHフォーマットを採用するアプリケーションは、例えば、スキーム情報を用いて記述要素をインスタンス化し得る。要素(例えば、記述子要素)を使用するDASHアプリケーションは、(例えば、URIの形態の)スキーム識別子を定義し(例えば、最初に定義し)得、(例えば、スキーム識別子が使用されるときのために)要素の値空間を定義し得る。実施例では、拡張要素及び/又は属性は、例えば、構造化データの別個の名前空間において定義され得る。記述子は、MPD内のいくつかのレベルで現れ得る。例えば、MPDレベルでの要素の存在は、要素がMPD要素の子であることを示し得る。例えば、適応セットレベルでの要素の存在は、この要素がAdaptationSet要素の子要素であることを示し得る。例えば、Representationレベルでの要素の存在は、この要素がRepresentation要素の子要素であることを示し得る。
(例えば、MPEG-DASHにおける)バンドルは、デコーダインスタンス(例えば、単一のデコーダインスタンス)によって共同で消費され得るメディアコンポーネントのセットであり得る。バンドル(例えば、各バンドル)は、デコーダ固有の情報を含み得、かつ/又はデコーダをブートストラップし得るメディアコンポーネント(例えば、メインメディアコンポーネント)を含み得る。PreSelectionは、例えば、共同で消費され得る(例えば、共同で消費されることが予期される)バンドル内のメディアコンポーネントのサブセットを参照、識別、及び/又は定義し得る。
メインメディアコンポーネントを含むAdaptationSetは、Main Adaptation Setと称されることがある。Main Adaptation Set、メインAdaptation Set、及びメイン適応セット(例えば、適応セット(例えば、adaptationset)の大文字化又は合成に基づく任意の変形)は、本明細書で互換的に使用され得る。メインメディアコンポーネントは、バンドルに関連付けられ得るPreSelectionに含まれ得る。バンドル(例えば、各バンドル)は、1つ以上の部分AdaptationSetを含み得る。部分AdaptationSetは、Main AdaptationSetと組み合わせて処理され得る。
表4は、PreSelection要素セマンティクスの実施例を示す。PreSelectionは、例えば、表4に示されるように、例えば、PreSelection要素を通して定義され得る。実施例では、PreSelectionの選択は、PreSelection要素に含まれ得る属性及び/又は要素に基づき得る。
仮想現実(VR)及び没入型3Dグラフィックスなどのマルチメディアアプリケーションは、1つ以上の仮想世界との対話及び/又は通信の更新された形態を可能にし得る3Dポイントクラウドを用いて実装されるか、又は3Dポイントクラウドによって表され得る。静的及び動的ポイントクラウドは、大量の情報を生成し得る。効率的な符号化アルゴリズムを使用して、ポイントクラウド情報を圧縮し、例えば、ポイントクラウド情報による記憶及び/又は送信リソース利用を低減し得る。例えば、圧縮された動的なポイントクラウド情報のビットストリームは、非圧縮情報のビットストリームよりも少ない送信リソースを利用し得る。
ポイントクラウドアプリケーションは、コーディング、記憶、及び/又はネットワークリソース(例えば、ネットワークを介したポイントクラウドデータのストリーミング)を利用し得る。実施例では、ポイントクラウドアプリケーションは、例えば、コンテンツがどのように生成され得るかに応じて、ポイントクラウドコンテンツのライブストリーミング又はオンデマンドストリーミングを実行し得る。ポイントクラウドアプリケーションは、ポイントクラウドを表す大量の情報を作成、処理、及び/又は送信若しくは受信し得る。ポイントクラウドアプリケーションは、例えば、変動するネットワーク容量及び/又は他の動作条件に関して、例えば、ネットワークの過負荷を回避するために、及び/又は最適化された視聴体験を提供するために、適応ストリーミング技術をサポートし得る。
MPEG-DASHは、ポイントクラウドの適応的配信を提供し得る(例えば、提供するために使用され得る)。MPEG-DASHは、例えば、ポイントクラウドストリームを含むポイントクラウドメディアをサポートするためのシグナリングを用いて実装され得る。シグナリング要素は、ストリーミングクライアントが、MPDファイル内のポイントクラウドストリーム及びこれらのポイントクラウドストリームのコンポーネントサブストリームを識別することを示し得るか、又は可能にし得る。シグナリング要素は、例えば、ストリーミングクライアントがサポートするように構成され得るか又は構成可能であり得るポイントクラウド又はポイントクラウドコンポーネントのバージョン(例えば、最良のバージョン)をストリーミングクライアントが選択することを可能にするために、ストリーミングクライアントがポイントクラウドコンポーネントに関連付けられ得るメタデータの1つ以上のタイプを示し得るか又は識別することを可能にし得る。
ポイントクラウドコンテンツのコンポーネントは、異なる表現において利用可能であり得る。実施例では、複数の表現(例えば、複数の表現の各々)は、異なる品質レベルを表し得る。ストリーミングクライアントは、異なる表現に関するガイダンス(例えば、MPDファイルでシグナリングされる指示)を利用し得る。例えば、指示は、(例えば、穏当な品質劣化を実行するために)異なるコンポーネントにわたる表現のどのセットが特定の品質レベルを構成するかを示し得る。ポイントクラウドコンテンツのコンポーネントは、複数のタイルに分割され得る。クライアントは、例えば、帯域幅の可用性に基づいて、(例えば、全てのポイントクラウドデータをストリーミングする代わりに)ジオメトリコンポーネントの特定のタイル部分(例えば、選択されたタイル部分)をストリーミングし得る。G-PCCコンポーネントタイルビットストリームは、異なるAdaptation Setにおいて利用可能であり得、例えば、Adaptation Set(例えば、各Adaptation Set)は、G-PCCコンポーネントタイルを表し得る。
G-PCCメディアコンテンツは、ジオメトリ及び/又は属性などの、いくつかのコンポーネントを含み得る。コンポーネント(例えば、複数のコンポーネント中の各コンポーネント)は、例えば、G-PCCビットストリームのサブストリームとして別個に符号化され得る。ジオメトリ及び属性などのコンポーネントは、例えば、G-PCCエンコーダを使用して符号化され得る。サブストリームは、例えば、ポイントクラウドをレンダリングするために、(例えば、メタデータとともに)まとめて復号化され得る。
要素及び/又は属性は、例えば、XML要素及び/又はXML属性として定義され得る。XML要素は、例えば、別個の名前空間(例えば、「urn:mpeg:mpegI:gpcc:2020」)内で定義され得る。名前空間指定子「gpcc:」は、本明細書では、例えば、別個の名前空間を指すために使用され得る。
G-PCC Componentは、DASH MPDでシグナリングされ得る。実施例では、G-PCCコンポーネント(例えば、各G-PCCコンポーネント)は、DASHマニフェストファイル(例えば、MPDファイル)内で、例えば、Component Adaptation Setと称されることがある、別個の AdaptationSetとして表され得る。ジオメトリ情報を含むAdaptation Setは、例えば、G-PCCコンテンツのためのアクセスポイント(例えば、メインアクセスポイント)として機能し得る、Main Adaptation Setであり得る。実施例では、適応セット(例えば、1つの適応セット)は、解像度ごとにコンポーネントごとにシグナリングされ得る。実施例では、Main Adaptation Setは、「gpc1」に設定された@codecs属性を含み得る。
EssentialProperty記述子を、「urn:mpeg:mpegI:gpcc:2020:コンポーネント」に等しい@schemeIdUri属性セットとともに使用して、例えば、Component Adaptation Set中のG-PCCコンポーネントのタイプを識別し得る。EssentialProperty記述子は、例えば、GPCCComponent記述子と称されることがある。
実施例では(例えば、適応セットレベルで)、GPCCComponent記述子(例えば、1つのGPCCComponent記述子)が、適応セットのRepresentation中に存在するポイントクラウドコンポーネント(例えば、各ポイントクラウドコンポーネント)についてシグナリングされ得る。
表5は、GPCCComponent記述子の要素及び属性の実施例を示す。実施例では、GPCCComponent記述子の@value属性は、存在しない場合がある。GPCCComponent記述子は、表5に定義された属性を含み得る。
表6は、表5に対応するGPCCComponent記述子のXMLスキーマの実施例を示す。
Main Adaptation Setは、例えば、適応セットレベルでの初期化セグメント(例えば、単一の初期化セグメント)、又は表現レベルでの複数の初期化セグメント(例えば、各Representationに対して1つの初期化セグメント)を含み得る。初期化セグメントは、G-PCCパラメータセットは、G-PCCデコーダを初期化し得る(例えば、初期化するために使用され得る)G-PCCパラメータセットを含み得る。1つ以上のRepresentation(例えば、全てのRepresentation)のG-PCCパラメータセットは、例えば、初期化セグメント(例えば、単一の初期化セグメント)がある場合、初期化セグメントに含まれ得る。
実施例では、Representation(例えば、各Representation)の初期化セグメントは、例えば、2つ以上のRepresentationがMain Adaptation Setでシグナリングされる場合、RepresentationのためのG-PCCパラメータセットとRepresentationのためのジオメトリデータとを含み得る。他のComponent Adaptation Set(例えば、ポイントクラウドの他のComponent Adaptation Set)のRepresentationは、例えば、@dependencyId属性を使用して、Main Adaptation Setから対応するRepresentation識別子をリストし得る。Main Adaptation Set中のRepresentationは、G-PCCコンポーネントAdaptationSet中の対応するRepresentationにマッピングされ得る。Main Adaptation SetのRepresentationのメディアセグメントは、例えば、G-PCCトラックの1つ以上のトラックフラグメントを含み得る。コンポーネントAdaptationSetのRepresentationのメディアセグメントは、例えば、対応するコンポーネントトラックの1つ以上のトラックフラグメントを(例えば、ファイルフォーマットレベルで)含み得る。
実施例では、Role記述子要素は、G-PCCコンポーネントについて定義され得る値とともに使用され得る。例えば、1つ以上のジオメトリコンポーネントは、gpcc-geometryの対応する値を含むことができ、及び/又は1つ以上の属性コンポーネントは、gpcc-attributeの対応する値を含むことができる。EssentialProperty記述子要素(例えば、表5に示される例について説明されるEssentialProperty記述子要素と同様の)は、適応セットレベルでシグナリングされ得る。実施例では、EssentialProperty記述子要素は、component_type属性を除いて(例えば、適応セットレベルで)シグナリングされ得る。EssentialProperty記述子要素は、例えば、ジオメトリコンポーネント及び/又は属性コンポーネントを識別するためにシグナリングされ得る。
実施例では、例えば、G-PCCコンポーネントの複数のバージョンが異なるコーデックを使用して符号化される場合、使用されるメディアコーデックに従って、G-PCCコンポーネントの複数のバージョンのうちのバージョン(例えば、各バージョン)が、@codecs属性セットの値とともに別個のAdaptationSetでシグナリングされ得る。G-PCCコンポーネントの複数のバージョンのAdaptationSetにわたるRepresentation間の切り替え(例えば、シームレスな切り替え)がサポートされ得る。複数の適応セットの各々は、例えば、urnに設定された@schemeIdURI:mpeg:dash:adaptation-set-switching:2016、及び/又は例えば、G-PCCコンポーネントの複数のバージョンのAdaptationSetにわたるRepresentation間のシームレスな切り替えがサポートされることを示すために、他の利用可能なバージョンに対応するAdaptationSet IDのコンマで区切られたリストを含む@値、を有するSupplementalProperty記述子を含み得る。実施例では、適応セットにわたる切り替えをサポートするための1つ以上のルールが適用され得る。
G-PCCタイルトラックがシグナリングされ得る。複数のタイルトラックがG-PCCコンテナ内に存在するとき、Main Adaptation Setは、G-PCCベーストラックからのパラメータセット及びタイルインベントリ情報を含み得る(例えば、それらのみを含み得る)。ジオメトリデータ及び/又は属性データは、Main Adaptation Set及びMain Adaptation SetのRepresentationに存在しない場合がある。実施例では、Main Adaptation Setの@codecs属性は、例えば、Adaptation SetがG-PCCコンテンツのSPS、GPS、APS、及びTile Inventory情報を含む(例えば、それらのみを含む)ベーストラックデータを含むことを示す、「gpcb」に設定され得る。
コンポーネントタイルトラック(例えば、各コンポーネントタイルトラック)は、別個のAdaptation Setでシグナリングされ得る。別個のAdaptation Setは、Tile Component Adaptation Setと称されることがある。同じタイル(例えば、又は同じタイルのセット)のコンポーネントの複数のバージョンが存在し、かつ別個のタイルトラックで搬送される場合、各バージョンは、Tile Component Adaptation SetのRepresentationでシグナリングされ得る。G-PCCメディアコンテンツのコンポーネントタイルトラックを表すTile Component Adaptation Setの@codecs属性は、「gpt1」に設定され得る。
Tile Component Adaptation Set levelで、GPCCComponent記述子がシグナリングされ得る。実施例では、GPCCComponent記述子は、例えば、タイルビットストリーム中に存在するタイルのリストを示す属性(例えば、追加の属性)@tile_idsを含み得る。GPCCComponent記述子は、例えば、包含するAdaptation Setによって表されるコンポーネントがG-PCC属性コンポーネントである場合、XML属性@attr_indexを含み(例えば、条件付きで含み)得る。@attr_index属性は、例えば、同じ属性タイプ(例えば、2つ以上の色属性)を有する複数のG-PCC属性コンポーネントがG-PCCコンテンツ中に存在する場合、SPS中のG-PCC属性コンポーネントの順序をシグナリングすることができ、かつ/又はG-PCC属性コンポーネントを区別することを可能にすることができる。Tile Component Adaptation Setレベルで存在するGPCCComponent記述子は、表7において定義される要素及び/又は属性を含み得る。
表8は、表7に対応するGPCCComponent記述子のXMLスキーマの実施例を示す。
実施例では、複数のタイルトラックがコンテナ内に存在する場合、ジオメトリTile Component Adaptation Set中の各Representationは、例えば、@dependencyId属性を使用して、Main Adaptation Set中の対応するRepresentationを参照し得る。属性Tile Component Adaptation Set中の各Representationは、例えば、@dependencyId属性を使用して、ジオメトリTile Component Adaptation Set中の対応するRepresentationを参照し得る。
同じalternate_group値を含むG-PCCコンポーネントタイルトラックは、例えば、Tile Component Adaptation SetのRepresentationとして、MPDでシグナリングされ得る。
G-PCC記述子がシグナリングされ得る。ストリーミングクライアントは、例えば、対応する要素内のGPCCComponent記述子をチェックすることによって、AdaptationSet及び/又はRepresentation中のポイントクラウドコンポーネントのタイプを識別し得る(例えば、識別することが可能であり得るか、又は識別するように構成され得る)。ストリーミングクライアントは、MPDファイル内に存在する異なるジオメトリポイントクラウドストリームどうしを区別し得る。
G-PCC記述子は、例えば、urn:mpeg:mpegI:gpcc:2020:gpc”に等しい@schemeIdUri属性を有するSupplementalProperty要素を含み得る。表9は、G-PCC記述子の属性の実施例を示す。実施例では、1つ以上(例えば、多くとも1つ)のG-PCC記述子が、G-PCCメディアのメイン適応セット(Main Adaptation Set)の適応セットレベルで存在し得る。
属性のデータ型は、例えば、XMLスキーマで定義されるものであり得る。表10は、G-PCC記述子のXMLスキーマの実施例を示す。スキーマは、例えば、名前空間urn:mpeg:mpegI:gpcc:2020、を有するXMLスキーマで表され得る。
GPCCTileId記述子がシグナリングされ得る。ストリーミングクライアントは、例えば、GPCCComponent記述子をチェックすることによって、G-PCC Tile Component AdaptationSet中に存在する1つ以上のタイルidを識別し得る。実施例では、G-PCCタイルのコンポーネントのうちの1つ以上(例えば、コンポーネントの全て)が、単一のトラックに記憶され得る。例えば、GPCCComponent記述子は、そのトラックに関連付けられたAdapatationSetでシグナリングされない場合がある。実施例では、ストリーミングクライアントは、MPDファイル内に存在し得る異なるG-PCCタイルトラックどうしを区別し得る。例えば、ストリーミングクライアントは、それぞれのタイルストリームを識別することによって、異なるG-PCCタイルトラックどうしを区別し得る。
実施例では、「urn:mpeg:mpegI:gpcc:2020:tileID」」に等しい@schemeIdUri属性を有するSupplementalProperty要素は、GPCCTileId記述子であり得る(例えば、そのように称され得る)。GPCCTileId記述子は、異なるG-PCCタイルストリームどうしを区別するために使用され得る。実施例では、1つの(例えば、多くとも1つの)GPCCTileId記述子が、G-PCCタイルメディアの適応セットレベルでシグナリングされ、及び/又は存在し得る。1つの(例えば、多くとも1つの)GPCCTileId記述子は、例えば、GPCCComponent記述子が適応セットレベルで利用可能でない場合(例えば、タイル又はタイルのグループの全てのG-PCCコンポーネントデータが1つのトラック中にある場合)、適応セットレベルでシグナリングされ得るか、又は存在し得る。
実施例では、GPCCTileId記述子の@value属性は、存在しない場合がある。GPCCTileId記述子は、表11に示される1つ以上の属性を含み得る。
属性のデータ型は、XMLスキーマで提供されるものであり得る。実施例では、GPCCTileId記述子のXMLスキーマは、以下の例示的なスキーマに示されるものであり得る。このスキーマは、名前空間urn:mpeg:mpegI:gpcc:2020、を含むXMLスキーマで表され得、以下の表12に示されるように指定され得る。
G-PCC Preselectionがシグナリングされ得る。G-PCCプリセレクションは、例えば、(例えば、DASHで定義される)PreSelection要素を使用して、例えば、ボリュメトリックメディアのMain Adaptation SetのIDと、G-PCCコンポーネントに対応するAdaptationSetのIDと、を含む@preselectionComponents属性の識別子(ID)リストとともに、MPDでシグナリングされ得る。実施例では、PreSelectionの@codecs属性は、例えば、PreSelectionメディアがジオメトリベースのポイントクラウドであることを示し得る、「gpc1」に設定され得る。PreSelectionは、例えば、Period要素内のPreSelection要素を使用して、かつ/又は適応セットレベルでプリセレクション記述子を使用して、シグナリングされ得る。
図9は、プリセレクションを使用してMPD中のG-PCCコンポーネントをグループ化する実施例を示す。図9は、MPEG-DASH MPDファイル内のボリュメトリックメディア(例えば、単一のボリュメトリックメディア)に属し得るG-PCCコンポーネントをグループ化するための例示的なDASH構成を示す。
G-PCCメディアの複数のバージョンがシグナリングされ得る。実施例では、同じポイントクラウドメディアの複数のバージョンが、例えば、別個のPreSelectionを使用してシグナリングされ得る。同じジオメトリベースのポイントクラウドメディアの代替バージョンを表すPreSelectionは、例えば、同じ@gpcId値を有するG-PCC記述子を含み得る。1つ以上(例えば、多くとも1つ)のG-PCC記述子が、例えば、プリセレクションレベルで存在し得る。プリセレクションは、選択可能な代替であり得る。@preselectionComponents属性のidリストは、例えば、@codecs属性が「gpc1」に設定されている場合、Main Adaptation SetのIDと、それに続く残りのコンポーネントAdaptation Set IDと、を含み得る。
図10は、プリセレクションを使用してMPD中のG-PCCコンポーネントの複数のバージョンをグループ化する実施例を示す。図10は、MPEG-DASH MPDファイル内の単一のポイントクラウドに属し得るG-PCCコンポーネントの複数のバージョンをグループ化するためのDASH構成の実施例を示す。グルーピング/関連付けは、例えば、プリセレクション記述子を使用してシグナリングされ得る。表13は、プリセレクションを使用してMPD中のG-PCCコンポーネントの複数のバージョンをシグナリングする実施例を示す。
実施例では、ポイントクラウドのG-PCCコンポーネントAdaptationSet、又はAdaptationSetのRepresentationは、例えば、@dependencyId属性を使用して、メインAdaptationSet及び/又はRepresentationの識別子をリストし得る。例えば、ポイントクラウドを再構成するために、Main Adaptation Set中のセグメントがポイントクラウドコンポーネントのAdaptationSetからのセグメントとともに復号化される場合、依存関係(例えば、固有の依存関係)があり得る。
実施例では、G-PCC Tile Preselectionが実装され得る。G-PCCコンテンツが複数のタイルトラックを使用して搬送される場合、Main Adaptation Setは、G-PCCベーストラックデータをシグナリングし得る。Tile Component Adaptation Setは、G-PCCジオメトリ及び/又は属性タイルトラックデータをシグナリングし得る。
G-PCC Tile Preselectionは、本明細書で説明されるPreSelection要素を使用してMPDでシグナリングされ得る。実施例では、Preselectionの@codecs属性は、例えば、Preselectionメディアがジオメトリベースのポイントクラウドタイルのセットであることを示す、「gpt1」に設定され得る。Preselectionは、本明細書で説明されるように、Period要素内のPreSelection要素を使用してシグナリングされ得る。Preselectionは、Tile Component Adaptation Set levelでのPreselection 記述子を使用してシグナリングされ得る。
PreSelection要素は、@preselectionComponents属性のIDリストを含み得る。G-PCC Tile Preselectionの@preselectionComponents属性IDリストは、Tile Component Adaptation Setと、その後に続く対応する属性Tile Component Adaptation Set IDと、を含み得る。選択されたジオメトリTile Component Adaptation SetのRepresentationに対応するMain Adaptation SetのRepresentationは、例えば、Adaptation SetのRepresentationでシグナリングされる@dependencyId属性を使用して識別され得る。
G-PCC Tile Preselection(例えば、各G-PCC Tile Preselection)は、1つ以上のGPCCTileId記述子を含み得る。これにより、各Preselectionで参照されるタイルの識別が可能になり得る。GPCCTileId記述子が存在しない場合、G-PCC Tile Preselectionに属するタイルは、@preselectionComponents属性のIDリストからジオメトリTile Component Adaptation Setを見つけ、かつジオメトリTile Component Adaptation Set中に存在するGPCCComponent記述子からのタイルIDのリストをチェックすることによって、識別され得る。
図11は、複数のタイルトラックを有するG-PCCコンテンツの実施例を示す。図11は、例示的なDASH構成であり得る。G-PCCコンテンツは、ジオメトリコンポーネント及び1つ以上の属性コンポーネント(例えば、3つの属性コンポーネント)を含み得る。この実施例では、G-PCCビットストリームは、2つのタイルセットにグループ化されている6つのタイルを含む。第1のタイルセットは、タイル1、2、及び3を含み、第2のタイルセットは、タイル4、5、及び6を含む。各タイルセットのコンポーネントは、(例えば、異なる品質で符号化された)2つの異なるバージョンで利用可能であり得る。タイルセットのコンポーネントバージョン(例えば、各コンポーネントバージョン)は、ISOBMFFコンテナファイル内の別個のG-PCCタイルトラックで搬送され得る。MPDファイルは、2つのタイルセットの各コンポーネントのTile Component Adaptation Setを含み得る。Tile Component Adaptation Set(例えば、各Tile Component Adaptation Set)は、2つの表現(例えば、コンポーネントの各バージョンに1つ)を含み得る。G-PCCビットストリーム中に存在する2つのタイルセットをシグナリングするために、2つのPreselectionがMPD中で使用され得る。
表14は、複数のタイルトラックをPreselection記述子とともに有するG-PCCコンテンツをシグナリングするDASH MPDファイルの実施例を示す。
実施例では、メディアデータは、例えば、複数のポイントクラウドメディアが利用可能である場合、別個のPreSelectionを使用してシグナリングされ得る。ジオメトリベースのポイントクラウドメディアデータを表すPreSelectionは、一意の@gpcId値を有するG-PCC記述子を含み得る。1つ以上(例えば、多くとも1つ)のG-PCC記述子が、例えば、プリセレクションレベルで存在し得る。メイン適応セットのID、@preselectionComponents属性の適応セットIDのリスト中のID(例えば、第1のID)、及び/又は(例えば、その後に続く)ポイントクラウドコンポーネントに対応するAdaptationSetのIDが存在し得る。ポイントクラウドは、例えば、G-PCC記述子内で定義され得るように、例えば、@gpcId属性の一意の値を使用して識別され得る。
G-PCCタイルグループがシグナリングされ得る。実施例では、タイルバウンディングボックス情報は、例えば、ジオメトリベースのポイントクラウド中の複数のタイルが存在する場合、(例えば、GPCCTileInventory記述子を使用して)シグナリングされ得る。GPCCTileInventory記述子は、例えば、@schemeIdUri属性(例えば、「urn:mpeg:mpegI:gpcc:2020:gptl」に設定される)を有するSupplementalProperty要素であり得る。GPCCTileInventory記述子は、例えば、G-PCCメディアがタイル化されている場合、G-PCCメディアのMain Adaptation Setの適応セットレベルで存在し得る。表15は、GPCCTileInventory記述子の要素及び属性の実施例を示す。
表16は、GPCCTileInventory記述子のXMLスキーマの実施例を示す。GPCCTileInventory記述子の様々な要素及び属性のデータ型は、例えば、表16に示される例示的なスキーマなどのXMLスキーマに従って定義され得る。
クライアントは、例えば、クライアントがサーバからタイル化されたG-PCCコンポーネントデータをストリーミングしようとしている場合、MPD中に存在するタイルインベントリバウンディングボックス情報からタイルIDを選択(例えば、最初に選択)し得る。実施例では、選択されたtile_idを有するG-PCCコンポーネントが、クライアントにストリーミングされ得る。
動的G-PCC Tile Inventory情報がシグナリングされ得る。パラメータセットデータ及び/又はタイルインベントリ情報が動的に変化している場合、そのような変化についての情報が、G-PCCベーストラックのサンプルで搬送され得る。実施例では、ジオメトリベースのポイントクラウド中に複数のタイルが存在し、かつタイルのバウンディングボックス情報が動的に変化している場合、タイルバウンディングボックス情報は(例えば、パラメータセットデータとともに)、Main Adaptation SetのRepresentationのMedia Segmentで搬送され得る。
空間領域は、静的であり得る。空間領域の特性、及び/又は領域とG-PCCタイルとの間のマッピングは、例えば、3D空間領域が静的である場合、(例えば、GPCC3DRegions記述子を使用して)シグナリングされ得る。3D空間領域は、例えば、領域(例えば、各領域)の位置及び寸法が提示時間にわたって変化しない場合、静的であり得る。GPCC3DRegions記述子は、例えば、「urn:mpeg:mpegI:gpcc:2020:gpsr」に等しい@schemeIdUri属性を有するSupplementalProperty要素であり得る。GPCC3DRegions記述子(例えば、単一のGPCC3DRegions記述子)は、例えば、メインG-PCCトラック中の適応セットレベル及び/若しくは表現レベルで、又はジオメトリベースのボリュメトリックメディアコンテンツのプリセレクションレベルで存在し得る。
GPCC3DRegions記述子の@value属性は、存在しない場合がある。GPCC3DRegions記述子は、(例えば、表17において指定される)要素及び/又は属性を含み得る。表17は、GPCC3DRegions記述子に関連付けられた要素及び属性の実施例を示す。
GPCC3DRegions記述子の様々な要素及び属性のデータ型は、表18に示されるXMLスキーマなどのスキーマによって定義され得る。表18は、GPCC3DRegions記述子のXMLスキーマの実施例を示す。
実施例では、空間領域の特性及び/又は空間領域とG-PCCコンポーネントの対応するAdaptationSetとの間のマッピングは、例えば、3D空間領域が静的であり、かつタイルインベントリ情報が利用可能でない場合、(例えば、GPCC3DRegions記述子を使用して)シグナリングされ得る。GPCC3DRegions記述子は、例えば、「urn:mpeg:mpegI:gpcc:2020:gpsr」に等しい@schemeIdUri属性を有するSupplementalProperty要素であり得る。GPCC3DRegions記述子(例えば、単一のGPCC3DRegions記述子)は、例えば、メインG-PCCトラック中の適応セットレベル及び/若しくは表現レベルで、又はジオメトリベースのボリュメトリックメディアコンテンツのプリセレクションレベルで存在し得る。
GPCC3DRegions記述子の@value属性は、存在しない場合がある。GPCC3DRegions記述子は、(例えば、表19において指定される)要素及び属性を含み得る。表19は、GPCC3DRegions記述子の要素及び属性の実施例を示す。
GPCC3DRegions記述子の様々な要素及び属性のデータ型は、例えば、XMLスキーマなどのスキーマに従って定義され得る。表20は、GPCC3DRegions記述子のXMLスキーマの実施例を示す。
実施例では、空間領域とG-PCCコンポーネントの対応するAdaptationSetとの間のマッピングは、例えば、3D空間領域が静的である場合、GPCC3DRegionId記述子を使用してシグナリングされ得る。記述子は、「urn:mpeg:mpegI:gpcc:2020:gp3rid」に等しい@schemeIdUri属性を有するSupplementalProperty要素であり得る。単一のGPCC3DRegionId記述子が、G-PCCコンポーネント(例えば、各G-PCCコンポーネント)の適応セットレベルで存在し得る。GPCC3DRegionIdは、例えば、gpsr.spatialRegion@asIds属性がGPCC3DRegions記述子内に存在する場合、存在しない場合がある。
GPCC3DRegionId記述子の@value属性は、存在しない場合がある。GPCC3DRegionId記述子は、表21に示される1つ以上の属性を含み得る。
属性のデータ型は、XMLスキーマで提供されるものであり得る。GPCC3DRegionID記述子のXMLスキーマを以下に示す。このスキーマは、名前空間urn:mpeg:mpegI:gpcc:2020を含み、かつ表22に指定されているXMLスキーマで表され得る。
実施例では、空間領域とG-PCCコンポーネントの対応するAdaptationSetとの間のマッピングは、例えば、3D空間領域が静的である場合、GPCCComponents記述子を使用してシグナリングされ得る。GPCCComponent記述子は、表23に定義される要素及び属性を含み得る。GPCC3DRegionID記述子は、例えば、@region_Id属性がGPCCComponents記述子内に存在する場合、存在しない場合がある。
GPCCComponent記述子のXMLスキーマの実施例は、以下の表24に示される通りである。
実施例では、1つ以上の空間領域は、動的であり得る。動的であり得る3D分割の場合、プレゼンテーションタイムライン上の3D領域(例えば、各3D領域)の位置及び/又は寸法をシグナリングするためのタイムドメタデータトラックは、単一の表現を有する別個のAdaptationSetで搬送され得る。タイムドメタデータトラックは、メインG-PCC適応セットに関連付けられ(例えば、リンクされ)得る。使用される属性は、@associationId属性と、対応するAdaptationSet又はRepresentationの4CC「gpdr」を含む@associationType値と、を含み得る。
ストリーミングクライアントビヘイビアは、シグナリング、例えば、1つ以上の記述子のシグナリングに基づき得る。DASHクライアントは、例えば、MPDにおいて提供される情報によってガイドされ得る。以下は、例えば、本明細書で開示されるシグナリング実施例を使用して、ジオメトリベースのポイントクラウド圧縮コンテンツをストリーミングするためのクライアントビヘイビアの実施例である。例示的なクライアントビヘイビアは、例えば、メインポイントクラウドAdaptationSetへのコンポーネントAdaptationSetの関連付けがG-PCC記述子を使用してシグナリングされると仮定し得る。
ストリーミングクライアントは、例えば、コンテンツサーバに設定された宛先を有するHTTP要求を発行し(例えば、最初に発行し)得る。ストリーミングクライアントは、コンテンツサーバからMPDファイルをダウンロードし得る。クライアントは、例えば、MPDファイル内のXML要素の対応するメモリ内表現を生成するために、MPDファイルをパースし得る。
ストリーミングクライアントは、例えば、Period内の利用可能なG-PCCメディアコンテンツを識別するために、期間レベルで(例えば、@codecs属性を「gpc1」又は「gpt1」に設定して)PreSelection要素をチェックし得る。
PreSelection要素によって表されるポイントクラウドコンテンツに属するAdaptationSet(例えば、全てのAdaptationSet)は、例えば、PreSelectionの@preselectionComponents属性内のIDリストをチェックすることによって識別され得る。Main Adaptation Setは、リスト中の第1のIDの@id値に等しい@id値を含み得る。
ストリーミングクライアントは、例えば、AdaptationSetのG-PCC記述子をチェックすることによって、一意のポイントクラウドの数を識別することができ、かつ/又はG-PCC記述子内に同じ@gpcId値を有するAdaptationSetを同じコンテンツのバージョンとしてグループ化することができる。
ストリーミングクライアントは、(例えば、@preselectionComponent属性のIDリスト中で参照される残りのAdaptationSetのGPCCComponent記述子をチェックすることによって)ポイントクラウドのコンポーネントを識別することができ、コンポーネント(例えば、各コンポーネント)をその対応するAdaptationSetにマッピングすることができる。実施例では、2つ以上のポイントクラウドコンポーネントが、AdaptationSet中に存在し得る。
所望のコンテンツに対応するG-PCC記述子内に存在する@gpcId値を有するAdaptationSetのグループは、例えば、ユーザがストリーミングに関心があり得るポイントクラウドコンテンツに基づいて、@preselectionComponent属性のIDリストから選択され得る。ストリーミングクライアントは、例えば、同じ@gpcId値を有する複数のPreSelection記述子が存在する場合、サポートされたバージョン(例えば、サポートされた解像度)を有するAdaptationSetグループを選択し得る。例えば、同じ@gpcId値を有する複数のPreSelection記述子が存在しない場合、唯一のAdaptationSetグループが選択され得る。
クライアントは、例えば、G-PCCデコーダを初期化するためのパラメータセットを含むMain Adaptation Setのための初期化セグメントをダウンロードすることによって、ポイントクラウドのストリーミングを開始し得る。コーディングされたコンポーネントストリームの初期化セグメントは、メモリにダウンロード及び/又はキャッシュされ得る。
ストリーミングクライアントは、Main Adaptation Set及び/又はコンポーネントAdaptation Setから(例えば、HTTPを介して並行して)時間整合されたメディアセグメントのダウンロードを開始し得る。実施例では、ダウンロードされたセグメントは、インメモリセグメントバッファに記憶され得る。時間整合されたメディアセグメントは、これらのメディアセグメントのそれぞれのバッファから除去され、かつ/又はこれらのメディアセグメントのそれぞれの初期化セグメントと連結され得る。
メディアコンテナ(例えば、ISOベースメディアファイルフォーマット(ISOBMFF))は、例えば、エレメンタリストリーム情報を抽出し、かつG-PCCビットストリームを構造化するためにパースされ得、ビットストリームは、G-PCCデコーダに渡され得る。
複数のタイルを有するG-PCCメディアをストリーミングするためのクライアントビヘイビアは、例えば、本明細書で説明されるように、MPDシグナリングを使用して実装され得る。クライアント(例えば、ストリーミングクライアント)は、HTTP要求を発行し、かつ/又はコンテンツサーバからMPDファイルをダウンロードし得る。クライアントは、MPDファイル内のXML要素の対応するインメモリ表現を生成するために、MPDファイルをパースし得る。
クライアントは、例えば、Period内の利用可能なG-PCCタイル化メディアコンテンツを識別するために、期間レベルで、@codecs属性が「gpcb」に設定されたAdaptationSet要素をチェックすることができ、@codecs属性が「gpt1」に設定されたPreSelection要素をチェックすることができる。
G-PCCタイル化メディアコンテンツが存在する場合、クライアントは、例えば、クライアントの現在のビューポートに基づいて、ポイントクラウドビットストリーム中の関心のタイルを識別し得る。クライアントは、GPCC3DRegions記述子をパースすることができ、及び/又はビューポート内にあるそれぞれのタイルを見つけ得る。3D分割が動的である場合、提示タイムライン上の3D領域(例えば、各3D空間領域)の位置及び/又は寸法を搬送し得る、タイムドメタデータAdaptation SetのMedia Segmentがダウンロードされ得る。ビューポート内にある3D領域が識別され得る。領域に属するそれぞれのタイルが識別され得る。
関心のタイルが見つかった場合、クライアントは、例えば、PreSelection要素(例えば、各PreSelection要素)内に存在するGPCCTileId記述子をパースすることによって、タイルを有するPreSelection要素を選択し得る。GPCCTileId記述子内の@tile_Ids属性は、利用可能なタイルをリストし得る。関心のタイルを有するプリセレクション要素が選択され得る。プリセレクション(例えば、他のPreselection)は、無視され得る。
GPCCTileId記述子が利用可能でない場合、PreSelection要素内に存在するタイルは、例えば、@preselectionComponents属性のidリストからジオメトリTile Component Adaptation Setを見つけ、かつジオメトリTile Component Adaptation Set中に存在するGPCCComponent記述子からタイルIDのリストを見つけることによって識別され得る。関心のタイルがPreSelection要素内に存在する場合、Preselectionは、クライアントによって選択され得る。
選択されたPreselectionから、Media Segmentをダウンロードするために使用されるべきTile Component Adaptation Setのグループが、@preselectionComponent属性のIDリストから識別され得る。実施例では、@preselectionComponentsリストは、ジオメトリTile Component Adaptation Set IDを含み得る。@preselectionComponentsリストは、残りのコンポーネントTile Component Adaptation Set IDを含み得る。Main Adaptation SetのIDは、@preselectionComponentsリストに存在しない場合がある。例えば、Main Adaptation SetのIDは、ジオメトリTile Component Adaptation SetのRepresentationに存在する@dependencyId属性を使用して識別され得る。
クライアントは、例えば、Main Adaptation SetからInitialization Segmentをダウンロードすることによって、ポイントクラウドのストリーミングを開始し得る。Initialization Segmentは、G-PCCデコーダを初期化するためのパラメータセットを含み得る。
コーディングされたコンポーネントストリーム(例えば、存在する場合)のためのInitialization Segmentは、メモリにダウンロード及び/又はキャッシュされ得る。
ストリーミングクライアントは、ジオメトリTile Component Adaptation Set及び/又は関連付けられた属性Tile Component Adaptation Setから時間整合されたMedia Segmentをダウンロードし得る。ダウンロードは、HTTPを介して並行され得、ダウンロードされたセグメントは、インメモリセグメントバッファに記憶され得る。
時間整合されたMedia Segmentは、これらのMedia Segmentのそれぞれのバッファから除去され、かつ/又はこれらのMedia SegmentのそれぞれのInitialization Segmentと連結され得る。
メディアコンテナ(例えば、ISOBMFF)は、例えば、エレメンタリストリーム情報を抽出するためにパースされ得る。メディアコンテナを構造化することができ、結果として生じるビットストリームをG-PCCデコーダに渡すことができる。
多くの実施形態が、本明細書に記載されている。実施形態の特徴は、様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで提供され得る。更に、実施形態は、本明細書に記載の特徴、デバイス、又は態様のうちの1つ以上を、例えば、以下のいずれかなどの様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで含み得る。
以下を行うように構成された例示的なデコーダ300などのデコーダであって、ポイントクラウドコンポーネントに関連付けられた要素、属性、及びメタデータを示す信号(例えば、本明細書で説明されるような)を受信、復号化、及び解釈すること、メディアプレゼンテーション記述子(MPD)内のポイントクラウドストリーム及びこれらのポイントクラウドストリームのコンポーネントサブストリームを識別すること、ポイントクラウド及び/又はこのポイントクラウドのコンポーネントのバージョンを識別すること、MPDを復号化して、メイン適応セット及び他の適応セットを識別して、ジオメトリベースのポイントクラウド圧縮(G-PCC)コンテンツにおけるG-PCCコンポーネントを識別すること、MPDを復号化して、適応セット又は表現中のポイントクラウドコンポーネントのタイプを識別すること、MPDを復号化して、1つ以上のプリセレクションを識別すること、MPDを復号して、G-PCCメディアの1つ以上のバージョンを識別すること、MPDを復号化して、1つ以上のG-PCCタイルグループを識別すること、MPDを復号化して、適応セット中のG-PCCコンポーネントの1つ以上のタイルIDを識別すること、MPDを復号化して、空間領域の1つ以上の特性、及びこれらの領域とG-PCCタイルとの間のマッピング、空間領域の特性、及びこれらの領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、並びに/又は空間領域とG-PCCコンポーネントの対応する適応セットとの間のマッピングを識別すること、MPDを復号化して、動的空間領域のタイムドメタデータトラックを識別すること、などがある。
デコーダにおいて本明細書で説明される方法を可能にするために使用されるエントロピ復号化、逆量子化、逆変換、及び差分復号化、のうちの1つ以上を含む復号化ツール及び技術。
以下を行うように構成された例示的なデコーダ200などのデコーダであって、ポイントクラウドコンポーネントに関連付けられた要素、属性、及びメタデータを示す信号(例えば、本明細書で説明されるような)を生成、復号化、及び送信すること、MPDを符号化して、ポイントクラウドストリーム及びこれらのポイントクラウドストリームのコンポーネントサブストリームを示すこと、MPDを符号化して、G-PCCコンテンツにおけるジオメトリベースのポイントクラウド圧縮(G-PCC)コンポーネントの識別をサポートするための、メイン適応セット及び他の適応セットを示すこと、MPDを符号化して、適応セット又は表現中のポイントクラウドコンポーネントのタイプの識別をサポートすること、MPDを符号化して、1つ以上のプリセレクションを識別すること、MPDを符号化して、G-PCCメディアの1つ以上のバージョンの識別をサポートすること、MPDを符号化して、1つ以上のG-PCCタイルグループの識別をサポートすること、MPDを符号化して、適応セット中のG-PCCコンポーネントの1つ以上のタイルIDの識別をサポートすること、MPDを符号化して、空間領域の1つ以上の特性、及びこれらの領域とG-PCCタイルとの間のマッピング、空間領域の特性、及びこれらの領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、並びに/又は空間領域とG-PCCコンポーネントの対応する適応セットとの間のマッピング、の識別をサポートすること、MPDを復号化して、動的空間領域のタイムドメタデータトラックを識別すること、などがある。
エンコーダにおいて本明細書で説明される実施例を可能にするために使用されるエントロピコーディング、逆量子化、逆変換、及び差分コーディング、のうちの1つ以上を含む復号化ツール及び技術。
例えば、デコーダが本明細書で説明される実施例のいずれかを実行することに関連付けられた指示を識別することを可能にするためにシグナリングに挿入された構文要素。
例えば、エンコーダが本明細書で説明される実施例のいずれかを実行することに関連付けられた指示を生成又は符号化することを可能にするためにシグナリングに挿入された構文要素。
ビットストリーム又は信号は、本明細書で説明される実施例のいずれかを実行することに関連付けられた、説明される構文要素又はこれらの構文要素の変形例のうちの1つ以上を含み得る。
説明される構文要素のうちの1つ以上を含むビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は復号化するための方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号、又はそれらの変形例。
本明細書で説明される実施例のいずれかによる、作成及び/又は送信及び/又は受信及び/又は復号化するための方法、プロセス、装置、命令を記憶いている媒体、データを記憶している媒体、又は信号。
本明細書で説明される実施例のいずれかによる、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームなどのジオメトリベースのポイントクラウドの適応ストリーミングを実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
本明細書で説明される実施例のいずれかに従って、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームなどのジオメトリベースのポイントクラウドの適応ストリーミングを実行し、かつ結果として生じる画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
符号化された画像を含む信号を受信するためのチャネルを(例えば、チューナを使用して)選択し、かつ本明細書で説明される実施例のいずれかに従って、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームなどのジオメトリベースのポイントクラウドの適応ストリーミングを実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
符号化された画像を含む信号を無線で(例えば、アンテナを使用して)受信し、かつ本明細書で説明される実施例のいずれかに従って、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームなどのジオメトリベースのポイントクラウドの適応ストリーミングを実行する、TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
特徴及び要素は、特定の組み合わせにおいて上で説明されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。更に、本明細書に説明される方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアに実装され得る。コンピュータ可読媒体の例には、電子信号(有線又は無線接続を介して送信される)及びコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びCD-ROMディスク及びデジタル多用途ディスク(digital versatile disk、DVD)などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC又は任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装し得る。

Claims (17)

  1. デバイスであって、
    プロセッサであって、
    コンテンツサーバから、メディアプレゼンテーション記述(MPD)ファイルを受信することと、
    前記MPDファイルから、プリセレクション要素のセットを識別することと、
    前記プリセレクション要素のセットの少なくとも1つのプリセレクション要素に関連付けられた1つ以上の適応セットを識別することであって、前記1つ以上の適応セットが、前記プリセレクション要素のうちの1つに関連付けられた属性によって示される、識別することと、
    ビューポートに関連付けられたジオメトリベースのポイントクラウド圧縮(GPCC)タイル識別子を判定することであって、前記GPCCタイル識別子が、前記MPDファイル内の受信された第1の記述子に基づいて判定される、判定することと、
    第2の記述子を使用して、前記GPCCタイル識別子に関連付けられた1つ以上の適応セットを選択することと、
    選択された前記1つ以上の適応セットに関連付けられたポイントクラウドコンポーネントを要求することと、
    前記ポイントクラウドコンポーネントを受信することと、を行うように構成されたプロセッサを備える、デバイス。
  2. 前記プロセッサが、前記プリセレクション要素のセットから、前記GPCCタイル識別子に関連付けられた1つ以上のプリセレクション要素を選択するように更に構成されている、請求項1に記載のデバイス。
  3. 前記プロセッサが、選択された前記1つ以上のプリセレクション要素に関連付けられた1つ以上の適応セットを選択するように更に構成されている、請求項2に記載のデバイス。
  4. 前記第1の記述子が、3次元(3D)領域記述子であり、前記第2の記述子が、コンポーネント記述子である、請求項1に記載のデバイス。
  5. 前記コンポーネント記述子が、コンポーネントタイプ、属性タイプ、インデックス、又はビットストリームに関連付けられたタイルのセット、のうちの少なくとも1つを含む、請求項4に記載のデバイス。
  6. 前記3D領域記述子が、3D領域に関連付けられた、領域ロケーション、1つ以上の領域寸法、又はタイルのセット、のうちの少なくとも1つを含む、請求項4に記載のデバイス。
  7. 前記1つ以上の適応セットの各々が、1つ以上の表現を含む、請求項1に記載のデバイス。
  8. 前記1つ以上の表現が、ビットレート、解像度、チャネル数、又は品質レベル、のうちの少なくとも1つを含む、請求項7に記載のデバイス。
  9. 方法であって、
    コンテンツサーバから、メディアプレゼンテーション記述(MPD)ファイルを受信することと、
    前記MPDファイルから、プリセレクション要素のセットを識別することと、
    前記プリセレクション要素のセットの少なくとも1つのプリセレクション要素に関連付けられた1つ以上の適応セットを識別することであって、前記1つ以上の適応セットが、前記プリセレクション要素のうちの1つに関連付けられた属性によって示される、識別することと、
    ビューポートに関連付けられたジオメトリベースのポイントクラウド圧縮(GPCC)タイル識別子を判定することであって、前記GPCCタイル識別子が、前記MPDファイル内の受信された第1の記述子に基づいて判定される、判定することと、
    第2の記述子を使用して、前記GPCCタイル識別子に関連付けられた1つ以上の適応セットを選択することと、
    選択された前記1つ以上の適応セットに関連付けられたポイントクラウドコンポーネントを要求することと、
    前記ポイントクラウドコンポーネントを受信することと、を含む、方法。
  10. 前記プリセレクション要素のセットから、前記GPCCタイル識別子に関連付けられた1つ以上のプリセレクション要素を選択することを更に含む、請求項9に記載の方法。
  11. 選択された前記1つ以上のプリセレクション要素に関連付けられた1つ以上の適応セットを選択することを更に含む、請求項10に記載の方法。
  12. 前記第1の記述子が、3次元(3D)領域記述子であり、前記第2の記述子が、コンポーネント記述子である、請求項9に記載の方法。
  13. 前記コンポーネント記述子が、コンポーネントタイプ、属性タイプ、インデックス、又はビットストリームに関連付けられたタイルのセット、のうちの少なくとも1つを含む、請求項12に記載の方法。
  14. 前記3D領域記述子が、3D領域に関連付けられた領域ロケーション、1つ以上の領域寸法、又はタイルのセット、のうちの少なくとも1つを含む、請求項12に記載の方法。
  15. 前記1つ以上の適応セットの各々が、1つ以上の表現を含む、請求項9に記載の方法。
  16. 前記1つ以上の表現が、ビットレート、解像度、チャネル数、又は品質レベル、のうちの少なくとも1つを含む、請求項15に記載の方法。
  17. 前記プリセレクション要素のセットから、複数のポイントクラウドストリームを表す1つ以上のプリセレクション要素を選択することを含む、請求項9に記載の方法。
JP2022579107A 2020-06-22 2021-06-22 ジオメトリベースのポイントクラウドの適応ストリーミング Pending JP2023531943A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063042481P 2020-06-22 2020-06-22
US63/042,481 2020-06-22
US202063084758P 2020-09-29 2020-09-29
US63/084,758 2020-09-29
PCT/US2021/038334 WO2021262623A1 (en) 2020-06-22 2021-06-22 Adaptive streaming of geometry-based point clouds

Publications (1)

Publication Number Publication Date
JP2023531943A true JP2023531943A (ja) 2023-07-26

Family

ID=76943120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022579107A Pending JP2023531943A (ja) 2020-06-22 2021-06-22 ジオメトリベースのポイントクラウドの適応ストリーミング

Country Status (9)

Country Link
US (1) US20230276053A1 (ja)
EP (1) EP4169260A1 (ja)
JP (1) JP2023531943A (ja)
KR (1) KR20230028792A (ja)
CN (1) CN116134826A (ja)
AU (1) AU2021296280A1 (ja)
MX (1) MX2023000131A (ja)
TW (1) TW202207714A (ja)
WO (1) WO2021262623A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4095561A1 (en) * 2021-05-27 2022-11-30 Leica Geosystems AG Reality capture device

Also Published As

Publication number Publication date
US20230276053A1 (en) 2023-08-31
EP4169260A1 (en) 2023-04-26
MX2023000131A (es) 2023-04-05
AU2021296280A1 (en) 2023-02-02
KR20230028792A (ko) 2023-03-02
WO2021262623A1 (en) 2021-12-30
CN116134826A (zh) 2023-05-16
TW202207714A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
JP7460611B2 (ja) ポイントクラウド圧縮ビットストリームフォーマットに対する方法および装置
US11917177B2 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
JP2022548107A (ja) 多用途ビデオ符号化のためのシステム及び方法
US20230188751A1 (en) Partial access support in isobmff containers for video-based point cloud streams
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
WO2023059730A1 (en) Adaptive streaming of geometry-based point clouds
US20220329923A1 (en) Video-based point cloud streams
WO2024006279A1 (en) Signaling parameter sets for geometry-based point cloud streams
CN116830588A (zh) 用于基于视觉体积视频(v3c)媒体和基于几何的点云(g-pcc)媒体的流式传输的mmt信令
CN118055299A (zh) 用于v3c媒体和g-pcc媒体的流式传输的mmt信令
WO2023057487A2 (en) Transform unit partitioning for cloud gaming video coding
WO2024081395A1 (en) Viewport and/or region-of-interest dependent delivery of v3c data using rtp
WO2023194191A1 (en) Converting stepwise scaling function to piecewise linear for film grain syntesis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230303

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230307