JP2023523393A - ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート - Google Patents

ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート Download PDF

Info

Publication number
JP2023523393A
JP2023523393A JP2022562611A JP2022562611A JP2023523393A JP 2023523393 A JP2023523393 A JP 2023523393A JP 2022562611 A JP2022562611 A JP 2022562611A JP 2022562611 A JP2022562611 A JP 2022562611A JP 2023523393 A JP2023523393 A JP 2023523393A
Authority
JP
Japan
Prior art keywords
pcc
track
spatial region
tileset
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022562611A
Other languages
English (en)
Other versions
JPWO2021211665A5 (ja
Inventor
ハムザ、アフマド
Original Assignee
インターデイジタル パテント ホールディングス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデイジタル パテント ホールディングス インコーポレイテッド filed Critical インターデイジタル パテント ホールディングス インコーポレイテッド
Publication of JP2023523393A publication Critical patent/JP2023523393A/ja
Publication of JPWO2021211665A5 publication Critical patent/JPWO2021211665A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオベース点群ストリームのISOBMFFコンテナにおける部分的なアクセスサポートのためのシステム、デバイス、及び方法が本明細書に記載されている。ビデオ符号化デバイスは、3D空間を第1の空間領域及び第2の空間領域に分割し得る。ビデオ符号化デバイスは、第1の空間領域を第1のV-PCCタイルセットにマッピングし、第2の空間領域を第2のV-PCCタイルセットにマッピングし得る。ビデオ符号化デバイスは、第1のV-PCCタイルセットにマッピングされた第1の空間領域と関連付けられた第1のマッピング情報を搬送する第1のトラックを判定し得る。ビデオ符号化デバイスは、第2のV-PCCファイルセットにマッピングされた第2の空間領域と関連付けられた第2のマッピング情報を搬送する第2のトラックを判定し得る。ビデオ符号化デバイスは、第1のトラック及び第2のトラックをタイミングメタデータV-PCCビットストリーム中で送付し得る。【選択図】図11

Description

(関連出願の相互参照)
本出願は、2020年4月14日に出願された米国仮特許出願第63/009,931号、2020年6月23日に出願された米国仮特許出願第63/042,892号、2020年8月7日に出願された米国仮特許出願第63/062,983号、及び2020年10月5日に出願された米国仮特許出願第63/087,425号の利益を主張し、当該特許出願の開示は、それらの全体が参照により本明細書に組み込まれる。
点群は、各点の位置及び属性を示す座標を使用して3D空間で表される一組の点を含み得る。点群に基づいてオブジェクト及びシーンを再構成することは、数百万点を処理することを必要とし得る。効率的に圧縮することは、点群データを記憶及び伝送するために不可欠であり得る。
ビデオベースの点群圧縮(Video-based point cloud compression、V-PCC)ビットストリームは、V-PCCユニットのシーケンスを含み得る。各V-PCCユニットは、V-PCCヘッダ及びV-PCCペイロードを含み得る。V-PCCヘッダはV-PCCユニットタイプを記述し得、V-PCCペイロードはV-PCCユニットタイプと関連付けられたデータを提供し得る。V-PCCユニットのシーケンスは、V-PCCビットストリーム中でビデオデコーダにシグナリングされ得る。現在のV-PCCシグナリングは、V-PCCシーケンスのある特定のタイプのアクセス(例えば、部分的なアクセス)に十分ではない場合がある。
ビデオベースの点群ストリームのための国際標準化機構ベースメディアファイルフォーマット(International Organization for Standardization Base Media File Format、ISOBMFF)コンテナにおける部分的なアクセスサポートのためのシステム、デバイス、及び方法が本明細書に記載されている。ファイルフォーマット構造は、(例えば、ISOBMFFコンテナ中にカプセル化された)コード化点群シーケンスの異なる部分への柔軟な部分的なアクセスを可能にし得る。
ビデオ符号化デバイスは、3D空間を第1の空間領域及び第2の空間領域に分割し得る。ビデオ符号化デバイスは、第1の空間領域を、第1のビデオベース点群圧縮(V-PCC)タイルセット及び第2の空間領域を第2のV-PCCタイルセットにマッピングし得る。第1のV-PCCタイルセット及び第2のV-PCCタイルセットの各々は、アトラスフレームと関連付けられ得る。第1のV-PCCタイルセット及び第2のV-PCCタイルセットの各々は、独立して復号化可能であり得る。第1の空間領域を第1のV-PCCタイルセットに、及び第2の空間領域を第2のV-PCCタイルセットに各々マッピングすることは、タイル識別及び/又はトラック識別に基づき得る。第1のV-PCCタイルセットは、第1のパッチセットと関連付けられ得、第2のV-PCCタイルセットは、第2のパッチセットと関連付けられ得る。ビデオ符号化デバイスは、第1のV-PCCタイルセットにマッピングされた第1の空間領域と関連付けられた第1のマッピング情報を搬送する第1のトラックを判定し得る。ビデオ符号化デバイスは、第2のV-PCCタイルにマッピングされた第2の空間領域と関連付けられた第2のマッピング情報を搬送する第2のトラックを判定し得る。ビデオ符号化デバイスは、第1のトラック及び第2のトラックをタイミングメタデータV-PCCビットストリーム中で送付し得る。第1のトラック及び第2のトラックは、メディアコンテナファイル内で送付され得る。
ビデオ符号化デバイスは、更新次元フラグを判定し得る。更新次元フラグは、第1の空間領域の1つ以上の次元への更新又は第2の空間領域の1つ以上の次元への更新を示し得る。ビデオ符号化デバイスは、更新次元フラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。
第1の空間領域は、第1のオブジェクトと関連付けられ得る。第2の空間領域は、第2のオブジェクトと関連付けられ得る。ビデオ符号化デバイスは、1つ以上のオブジェクトフラグを判定し得る。ビデオ符号化デバイスは、オブジェクトフラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。ビデオ符号化デバイスは、第1の空間領域と関連付けられた第1のオブジェクトが第2の空間領域と関連付けられた第2のオブジェクトに依存することを示すオブジェクト依存フラグを判定し得、オブジェクト依存フラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。ビデオ符号化デバイスは、第1の空間領域と関連付けられた第1のオブジェクトへの更新、又は第2のオブジェクト関連の第2の空間領域への更新を示す更新オブジェクトフラグを判定し得、更新オブジェクトフラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。
1つ以上の開示された実施形態が実装され得る、例示的な通信システムを例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、例示的な無線送信/受信ユニット(wireless transmit/receive unit、WTRU)を例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、例示的な無線アクセスネットワーク(radio access network、RAN)及び例示的なコアネットワーク(core network、CN)を例解するシステム図である。 一実施形態による、図1Aに例解される通信システム内で使用され得る、更なる例示的なRAN及び更なる例示的なCNを例解するシステム図である。 ブロックベースのビデオエンコーダの実施例を示す図である。 ビデオデコーダの実施例を示す図である。 様々な態様及び実施例が実装され得るシステムの実施例を示す図である。 サーバとクライアントとの間の例示的なインターフェースを示す図である。 サーバとクライアントとの間の例示的なインターフェースを示す図である。 クライアント(例えば、ヘッドマウントディスプレイ(head-mounted display、HMD))によってコンテンツを要求する実施例を示す図である。 V-PCCユニットのシーケンスとしてビデオベース点群圧縮(V-PCC)ビットストリーム構造の実施例を示す図である。 アトラスフレームのタイル及びタイルグループ分割の実施例を示す図である。 マルチトラックISOBMFF V-PCCコンテナの例示的な構造を示す図である。 三次元(three dimensional、3D)空間と関連付けられたアトラスフレームのタイルマッピングの実施例を示す。
ここで、例解的な実施形態の詳細な説明を、様々な図を参照して説明する。本説明は、可能な実装形態の詳細な例を提供するが、詳細は、例示的であることを意図しており、決して本出願の範囲を限定するものではないことに留意されたい。
図1Aは、1つ以上の開示された実施形態が実装され得る、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージ伝達、ブロードキャストなどのコンテンツを、複数の無線ユーザに提供する、多重アクセスシステムであり得る。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、上記のようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、符号分割多重アクセス(code division multiple access、CDMA)、時分割多重アクセス(time division multiple access、TDMA)、周波数分割多重アクセス(frequency division multiple access、FDMA)、直交FDMA(orthogonal FDMA、OFDMA)、シングルキャリアFDMA(single-carrier FDMA、SC-FDMA)、ゼロテールユニークワードDFT-Spread OFDM(zero-tail unique-word DFT-Spread OFDM、ZT UW DTS-s OFDM)、ユニークワードOFDM(unique word OFDM、UW-OFDM)、リソースブロックフィルタ処理OFDM、フィルタバンクマルチキャリア(filter bank multicarrier、FBMC)などの、1つ以上のチャネルアクセス方法を採用し得る。
図1Aに示されるように、通信システム100は、無線送/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(public switched telephone network、PSTN)108と、インターネット110と、他のネットワーク112とを含み得るが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作し、かつ/又は通信するように構成された、任意のタイプのデバイスであり得る。例として、それらのいずれも「局」及び/又は「STA」と称され得るWTRU102a、102b、102c、102dは、無線信号を送信及び/又は受信するように構成され得、ユーザ機器(user equipment、UE)、移動局、固定又は移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末(personal digital assistant、PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はMi-Fiデバイス、モノのインターネット(Internet of Things、IoT)デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療デバイス及びアプリケーション(例えば、遠隔手術)、工業用デバイス及びアプリケーション(例えば、工業用及び/又は自動処理チェーンコンテキストで動作するロボット及び/又は他の無線デバイス)、家電デバイス、商業用及び/又は工業用無線ネットワークで動作するデバイスなどを含み得る。WTRU102a、102b、102c、及び102dのいずれも、互換的にUEと称され得る。
通信システム100はまた、基地局114a及び/又は基地局114bを含み得る。基地局114a、114bの各々は、CN106/115、インターネット110、及び/又は他のネットワーク112など、1つ以上の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地局トランシーバ(base transceiver station、BTS)、ノードB、eNodeB、ホームノードB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(access point、AP)、無線ルータなどであり得る。基地局114a、114bは各々単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局及び/又はネットワーク要素を含み得ることが理解されるであろう。
基地局114aは、基地局コントローラ(base station controller、BSC)、無線ネットワークコントローラ(radio network controller、RNC)、リレーノードなど、他の基地局及び/又はネットワーク要素(図示せず)も含み得る、RAN104/113の一部であり得る。基地局114a及び/又は基地局114bは、セル(図示せず)と称され得る、1つ以上のキャリア周波数で無線信号を送信及び/又は受信するように構成され得る。これらの周波数は、認可スペクトル、未認可スペクトル、又は認可及び未認可スペクトルの組み合わせであり得る。セルは、相対的に固定され得るか又は経時的に変化し得る特定の地理的エリアに、無線サービスのカバレッジを提供し得る。セルは、更にセルセクタに分割され得る。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを、すなわち、セルのセクタごとに1つのトランシーバを含み得る。一実施形態では、基地局114aは、多重入力多重出力(multiple-input multiple output、MIMO)技術を用い得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び/又は受信し得る。
基地局114a、114bは、エアインターフェース116を介して、WTRU102a、102b、102c、102dのうちの1つ以上と通信し得るが、このエアインターフェース116は、任意の好適な無線通信リンク(例えば、無線周波数(radio frequency、RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(infrared、IR)、紫外線(ultraviolet、UV)、可視光など)であり得る。エアインターフェース116は、任意の好適な無線アクセス技術(radio access technology、RAT)を使用して確立され得る。
より具体的には、上記のように、通信システム100は、多重アクセスシステムであり得、例えば、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの、1つ以上のチャネルアクセススキームを用い得る。例えば、RAN104/113内の基地局114a、及びWTRU102a、102b、102cは、ユニバーサル移動体通信システム(Universal Mobile Telecommunications System、UMTS)地上無線アクセス(UMTS Terrestrial Radio Access、UTRA)などの無線技術を実装し得、これは広帯域CDMA(wideband CDMA、WCDMA)を使用してエアインターフェース115/116/117を確立し得る。WCDMAは、高速パケットアクセス(High-Speed Packet Access、HSPA)及び/又は進化型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンク(Downlink、DL)パケットアクセス(High-Speed Downlink Packet Access、HSDPA)及び/又は高速アップリンクパケットアクセス(High-Speed UL Packet Access、HSUPA)を含み得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、進化型UMTS地上無線アクセス(Evolved UMTS Terrestrial Radio Access、E-UTRA)などの無線技術を実装し得るが、これは、ロングタームエボリューション(LTE)及び/又はLTE-Advanced(LTE-A)及び/又はLTE-Advanced Pro(LTE-A Pro)を使用してエアインターフェース116を確立し得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、NR無線アクセスなどの無線技術を実装することができ、この技術は、New Radio(NR)を使用してエアインターフェース116を確立することができる。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、複数の無線アクセス技術を実装し得る。例えば、基地局114a及びWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(dual connectivity、DC)原理を使用して、LTE無線アクセス及びNR無線アクセスを一緒に実装し得る。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、及び/又は複数のタイプの基地局(例えば、eNB及びgNB)に送信される/そこから送信される送信によって特徴付けられ得る。
他の実施形態では、基地局114a及びWTRU102a、102b、102cは、IEEE802.11(すなわち、無線フィデリティ(Wireless Fidelity、WiFi)、IEEE802.16(すなわち、ワイマックス(Worldwide Interoperability for Microwave Access、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定規格2000(IS-2000)、暫定規格95(IS-95)、暫定規格856(IS-856)、汎欧州デジタル移動電話方式(Global System for Mobile communications、GSM)、GSM進化型高速データレート(Enhanced Data rates for GSM Evolution、EDGE)、GSM EDGE(GERAN)などの無線技術を実装し得る。
図1Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeNode B又はアクセスポイントであり得、事業所、家庭、車両、キャンパス、工業施設、(例えば、ドローンによる使用のための)空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なRATを利用し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(wireless local area network、WLAN)を確立し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(wireless personal area network、WPAN)を確立し得る。更に別の一実施形態では、基地局114b及びWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセル又はフェムトセルを確立し得る。図1Aに示すように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がない場合がある。
RAN104/113は、CN106/115と通信し得、これは、音声、データ、アプリケーション、及び/又はボイスオーバインターネットプロトコル(voice over internet protocol、VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つ以上に提供するように構成された、任意のタイプのネットワークであり得る。データは、例えば、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件などの、様々なサービス品質(quality of service、QoS)要件を有し得る。CN106/115は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド呼、インターネット接続性、ビデオ配信などを提供し、かつ/又はユーザ認証などの高レベルセキュリティ機能を実行し得る。図1Aには示されていないが、RAN104/113及び/又はCN106/115は、RAN104/113と同じRAT又は異なるRATを採用する他のRANと、直接又は間接的に通信し得ることが理解されよう。例えば、NR無線技術を利用し得るRAN104/113に接続されていることに加えて、CN106/115はまた、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、又はWiFi無線技術を採用して別のRAN(図示せず)と通信し得る。
CN106/115はまた、PSTN108、インターネット110、及び/又は他のネットワーク112にアクセスするために、WTRU102a、102b、102c、102dのためのゲートウェイとしての機能を果たし得る。PSTN108は、基本電話サービス(plain old telephone service、POTS)を提供する公衆交換電話網を含み得る。インターネット110は、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得るが、これらのネットワーク及びデバイスは、送信制御プロトコル(transmission control protocol、TCP)、ユーザデータグラムプロトコル(user datagram protocol、UDP)、及び/又はTCP/IPインターネットプロトコルスイートのインターネットプロトコル(internet protocol、IP)などの、共通通信プロトコルを使用する。ネットワーク112は、他のサービスプロバイダによって所有及び/又は運営される、有線及び/又は無線通信ネットワークを含み得る。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを採用し得る、1つ以上のRANに接続された別のCNを含み得る。
通信システム100におけるWTRU102a、102b、102c、102dのいくつか又は全ては、マルチモード能力を含み得る(例えば、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る)。例えば、図1Aに示されるWTRU102cは、セルラベースの無線技術を用い得る基地局114a、及びIEEE802無線技術を用い得る基地局114bと通信するように構成され得る。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示すように、WTRU102は、とりわけ、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(global positioning system、GPS)チップセット136、及び/又は他の周辺機器138を含み得る。WTRU102は、一実施形態との一貫性を有したまま、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、複数のマイクロプロセッサ、DSPコアと関連付けられた1つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)回路、任意の他のタイプの集積回路(integrated circuit、IC)、状態機械などであり得る。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、及び/又はWTRU102が無線環境で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ118は、送信/受信要素122に結合され得るトランシーバ120に結合され得る。図1Bは、プロセッサ118及びトランシーバ120を別個のコンポーネントとして示すが、プロセッサ118及びトランシーバ120は、電子パッケージ又はチップにおいて一緒に統合され得るということが理解されよう。
送信/受信要素122は、エアインターフェース116を介して基地局(例えば、基地局114a)に信号を送信するか又は基地局(例えば、基地局114a)から信号を受信するように構成され得る。例えば、一実施形態では、送信/受信要素122は、RF信号を送信及び/又は受信するように構成されたアンテナであり得る。一実施形態では、送信/受信要素122は、例えば、IR、UV又は可視光信号を送信及び/又は受信するように構成されたエミッタ/検出器であり得る。更に別の実施形態では、送信/受信要素122は、RF信号及び光信号の両方を送信及び/又は受信するように構成され得る。送信/受信要素122は、無線信号の任意の組み合わせを送信及び/又は受信するように構成され得るということが理解されよう。
送信/受信要素122は、単一の要素として図1Bに示されているが、WTRU102は、任意の数の送信/受信要素122を含み得る。より具体的には、WTRU102は、MIMO技術を用い得る。したがって、一実施形態では、WTRU102は、エアインターフェース116を介して無線信号を送受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含み得る。
トランシーバ120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信される信号を復調するように構成され得る。上記のように、WTRU102は、マルチモード能力を有し得る。したがって、トランシーバ120は、例えばNR及びIEEE802.11などの複数のRATを介してWTRU102が通信することを可能にするための複数のトランシーバを含み得る。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(liquid crystal display、LCD)表示ユニット若しくは有機発光ダイオード(organic light-emitting diode、OLED)表示ユニット)に結合され得、これらからユーザが入力したデータを受信し得る。プロセッサ118はまた、ユーザデータをスピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128に出力し得る。更に、プロセッサ118は、非リムーバブルメモリ130及び/又はリムーバブルメモリ132などの任意のタイプの好適なメモリから情報にアクセスし、当該メモリにデータを記憶し得る。非リムーバブルメモリ130は、ランダムアクセスメモリ(random-access memory、RAM)、読み取り専用メモリ(read-only memory、ROM)、ハードディスク又は任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ132は、加入者識別モジュール(subscriber identity module、SIM)カード、メモリスティック、セキュアデジタル(secure digital、SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118は、サーバ又はホームコンピュータ(図示せず)上など、WTRU102上に物理的に配置されていないメモリの情報にアクセスし、かつ当該メモリにデータを記憶し得る。
プロセッサ118は、電源134から電力を受信し得るが、WTRU102における他の構成要素に電力を分配し、かつ/又は制御するように構成され得る。電源134は、WTRU102に電力を供給するための任意の好適なデバイスであり得る。例えば、電源134は、1つ以上の乾電池(例えば、ニッケルカドミウム(nickel-cadmium、NiCd)、ニッケル亜鉛(nickel-zinc、NiZn)、ニッケル金属水素化物(nickel metal hydride、NiMH)、リチウムイオン(lithium-ion、Li-ion)など)、太陽セル、燃料セルなどを含み得る。
プロセッサ118はまた、GPSチップセット136に結合され得、これは、WTRU102の現在の場所に関する場所情報(例えば、経度及び緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて又はその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116を介して場所情報を受信し、かつ/又は2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その場所を判定し得る。WTRU102は、一実施形態との一貫性を有したまま、任意の好適な位置判定方法によって位置情報を取得し得るということが理解されよう。
プロセッサ118は、他の周辺機器138に更に結合され得、他の周辺機器138には、追加の特徴、機能、及び/又は有線若しくは無線接続を提供する1つ以上のソフトウェア及び/又はハードウェアモジュールが含まれ得る。例えば、周辺機器138には、加速度計、電子コンパス、衛星トランシーバ、(写真及び/又はビデオのための)デジタルカメラ、ユニバーサルシリアルバス(universal serial bus、USB)ポート、振動デバイス、テレビジョントランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(frequency modulated、FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び/又は拡張現実(Virtual Reality/Augmented Reality、VR/AR)デバイス、アクティビティトラッカなどが含まれ得る。周辺機器138は、1つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び/又は湿度センサのうちの1つ以上であり得る。
WTRU102は、(例えば、UL(例えば、送信用)及びダウンリンク(例えば、受信用)の両方のための特定のサブフレームと関連付けられた)信号のいくつか又は全ての送信及び受信が並列及び/又は同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア(例えば、チョーク)又はプロセッサを介した信号処理(例えば、別個のプロセッサ(図示せず)又はプロセッサ118を介して)を介して自己干渉を低減し、かつ又は実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、WRTU102は、(例えば、UL(例えば、送信用)又はダウンリンク(例えば、受信用)のいずれかのための特定のサブフレームと関連付けられた)信号のうちのいくつか又は全てのうちのどれかの送信及び受信のための半二重無線機を含み得る。
図1Cは、一実施形態によるRAN104及びCN106を図示するシステム図である。上記のように、RAN104は、E-UTRA無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN104はまた、CN106と通信し得る。
RAN104は、eNode-B160a、160b、160cを含み得るが、RAN104は、一実施形態との一貫性を有しながら、任意の数のeNode-Bを含み得るということが理解されよう。eNode-B160a、160b、160cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、eNode-B160a、160b、160cは、MIMO技術を実装し得る。したがって、eNode-B160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。
eNode-B160a、160b、160cの各々は、特定のセル(図示せず)と関連付けられ得、UL及び/又はDLにおいて、無線リソース管理決定、ハンドオーバ決定、ユーザのスケジューリングなどを処理するように構成され得る。図1Cに示すように、eNode-B160a、160b、160cは、X2インターフェースを介して互いに通信し得る。
図1Cに示されるCN106は、モビリティ管理エンティティ(mobility management entity、MME)162、サービングゲートウェイ(serving gateway、SGW)164、及びパケットデータネットワーク(packet data network、PDN)ゲートウェイ(又はPGW)166を含み得る。前述の要素の各々は、CN106の一部として示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は動作され得ることが理解されよう。
MME162は、S1インターフェースを介して、RAN104におけるeNode-B162a、162b、162cの各々に接続され得、かつ制御ノードとして機能し得る。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ中に特定のサービス中のゲートウェイを選択すること、などの役割を果たし得る。MME162は、RAN104と、GSM及び/又はWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SGW164は、S1インターフェースを介してRAN104におけるeNode-B160a、160b、160cの各々に接続され得る。SGW164は、概して、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングし、転送し得る。SGW164は、eNode-B間ハンドオーバ中にユーザプレーンをアンカする機能、DLデータがWTRU102a、102b、102cに利用可能であるときにページングをトリガする機能、WTRU102a、102b、102cのコンテキストを管理及び記憶する機能などの、他の機能を実行し得る。
SGW164は、PGW166に接続され得、PGW166は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。
CN106は、他のネットワークとの通信を容易にし得る。例えば、CN106は、WTRU102a、102b、102cと従来の地上回線通信デバイスとの間の通信を容易にするために、PSTN108などの回路交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むか、又はそれと通信し得る。更に、CN106は、他のサービスプロバイダによって所有及び/又は運営される他の有線及び/又は無線ネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。
WTRUは、無線端末として図1A~図1Dに記載されているが、特定の代表的な実施形態では、そのような端末は、通信ネットワークとの(例えば、一時的又は永久的に)有線通信インターフェースを使用し得ることが企図される。
代表的な実施形態では、他のネットワーク112は、WLANであり得る。
インフラストラクチャ基本サービスセット(Basic Service Set、BSS)モードのWLANは、BSSのアクセスポイント(AP)及びAPと関連付けられた1つ以上のステーション(station、STA)を有し得る。APは、配信システム(Distribution System、DS)若しくはBSSに入る、かつ/又はBSSから出るトラフィックを搬送する別のタイプの有線/無線ネットワークへのアクセス又はインターフェースを有し得る。BSS外から生じる、STAへのトラフィックは、APを通って到達し得、STAに配信され得る。STAからBSS外の宛先への生じるトラフィックは、APに送信されて、それぞれの宛先に送信され得る。BSS内のSTAどうしの間のトラフィックは、例えば、APを介して送信され得、ソースSTAは、APにトラフィックを送信し得、APは、トラフィックを宛先STAに配信し得。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックとして見なされ、かつ/又は参照され得る。ピアツーピアトラフィックは、ソースSTAと宛先STAとの間で(例えば、それらの間で直接的に)、直接リンクセットアップ(direct link setup、DLS)で送信され得る。特定の代表的な実施形態では、DLSは、802.11e DLS又は802.11zトンネル化DLS(tunneled DLS、TDLS)を使用し得る。独立BSS(Independent BSS、IBSS)モードを使用するWLANは、APを有しない場合があり、IBSS内又はそれを使用するSTA(例えば、STAの全部)は、互いに直接通信し得る。通信のIBSSモードは、本明細書では、「アドホック」通信モードと称され得る。
802.11acインフラストラクチャ動作モード又は同様の動作モードを使用するときに、APは、プライマリチャネルなどの固定チャネル上にビーコンを送信し得る。一次チャネルは、固定幅(例えば、20MHz幅の帯域幅)又はシグナリングを介して動的に設定される幅であり得る。プライマリチャネルは、BSSの動作チャネルであり得、APとの接続を確立するためにSTAによって使用され得る。特定の代表的な実施形態では、例えば、802.11システムにおいて、衝突回避を備えたキャリア感知多重アクセス(Carrier Sense Multiple Access/Collision Avoidance、CSMA/CA)が実装され得る。CSMA/CAの場合、APを含むSTA(例えば、全てのSTA)は、プライマリチャネルを感知し得る。プライマリチャネルが特定のSTAによってビジーであると感知され/検出され、かつ/又は判定される場合、特定のSTAはバックオフされ得る。1つのSTA(例えば、1つのステーションのみ)は、所与のBSSにおいて、任意の所与の時間に送信し得る。
高スループット(High Throughput、HT)STAは、通信のための40MHz幅のチャネルを使用し得るが、この40MHz幅のチャネルは、例えば、プライマリ20MHzチャネルと、隣接又は非隣接の20MHzチャネルとの組み合わせを介して形成され得る。
非常に高いスループット(Very High Throughput、VHT)のSTAは、20MHz、40MHz、80MHz、及び/又は160MHz幅のチャネルをサポートし得る。上記の40MHz及び/又は80MHz幅のチャネルは、連続する20MHzチャネルどうしを組み合わせることによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって、又は80+80構成と称され得る2つの連続していない80MHzチャネルを組み合わせることによって、形成され得る。80+80構成の場合、チャネル符号化後、データは、データを2つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換(Inverse Fast Fourier Transform、IFFT)処理及び時間ドメイン処理は、各ストリームで別々に行われ得る。ストリームは、2つの80MHzチャネルにマッピングされ得、データは、送信STAによって送信され得る。受信STAの受信機では、80+80構成に対する上記で説明される動作を逆にされ得、組み合わされたデータを媒体アクセス制御(Medium Access Control、MAC)に送信し得る。
サブ1GHzの動作モードは、802.11af及び802.11ahによってサポートされる。チャネル動作帯域幅及びキャリアは、802.11n及び802.11acで使用されるものと比較して、802.11af及び802.11ahでは低減される。802.11afは、TVホワイトスペース(TV White Space、TVWS)スペクトルにおいて、5MHz、10MHz及び20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、及び16MHz帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレッジエリア内のMTCデバイスなど、メータタイプの制御/マシンタイプ通信をサポートし得る。MTCデバイスは、例えば、特定の、かつ/又は限定された帯域幅のためのサポート(例えば、そのためのみのサポート)を含む、特定の能力を有し得る。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を超えるバッテリ寿命を有するバッテリを含み得る。
複数のチャネル、並びに802.11n、802.11ac、802.11af、及び802.11ahなどのチャネル帯域幅をサポートし得るWLANシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、BSSにおける全てのSTAによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。プライマリチャネルの帯域幅は、最小帯域幅動作モードをサポートするBSSで動作する全てのSTAの中から、STAによって設定され、かつ/又は制限され得る。802.11ahの例では、プライマリチャネルは、AP及びBSSにおける他のSTAが2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それのみをサポートする)STA(例えば、MTCタイプデバイス)に対して1MHz幅であり得る。キャリア感知及び/又はネットワーク配分ベクトル(Network Allocation Vector、NAV)設定は、プライマリチャネルの状態に依存し得る。例えば、APに送信する(1MHz動作モードのみをサポートする)STAに起因して一次チャネルがビジーである場合、周波数帯域の大部分がアイドルのままであり、利用可能であり得るとしても、利用可能な周波数帯域全体がビジーであると見なされ得る。
米国では、802.11ahにより使用され得る利用可能な周波数帯域は、902MHz~928MHzである。韓国では、利用可能な周波数帯域は917.5MHz~923.5MHzである。日本では、利用可能な周波数帯域は916.5MHz~927.5MHzである。802.11ahに利用可能な総帯域幅は、国のコードに応じて6MHz~26MHzである。
図1Dは、一実施形態によるRAN113及びCN115を例解するシステム図である。上記のように、RAN113は、NR無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN113はまた、CN115と通信し得る。
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、実施形態との一貫性を維持しながら、任意の数のgNBを含み得ることが理解されよう。gNB180a、180b、180cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装し得る。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信及び/又は受信し得る。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。一実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装し得る。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信し得る。これらのコンポーネントキャリアのサブセットは、未認可スペクトル上にあり得、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。一実施形態では、gNB180a、180b、180cは、多地点協調(Coordinated Multi-Point、CoMP)技術を実装し得る。例えば、WTRU102aは、gNB180a及びgNB180b(及び/又はgNB180c)からの協調送信を受信し得る。
WTRU102a、102b、102cは、拡張可能なヌメロロジと関連付けられた送信を使用して、gNB180a、180b、180cと通信し得る。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル、及び/又は異なる部分に対して変化し得る。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、かつ/又は様々な長さの絶対時間が持続する)様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔(transmission time interval、TTI)を使用して、gNB180a、180b、180cと通信し得る。
gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えば、eNode-B160a、160b、160cなど)にアクセスすることなく、gNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、モビリティアンカポイントとしてgNB180a、180b、180cのうちの1つ以上を利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは、未認可バンドにおける信号を使用して、gNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cと通信し、これらに接続する一方で、eNode-B160a、160b、160cなどの別のRANとも通信し、これらに接続し得る。例えば、WTRU102a、102b、102cは、1つ以上のgNB180a、180b、180c及び1つ以上のeNode-B160a、160b、160cと実質的に同時に通信するためのDC原理を実装し得る。非スタンドアロン構成では、eNode-B160a、160b、160cは、WTRU102a、102b、102cのモビリティアンカとして機能し得るが、gNB180a、180b、180cは、WTRU102a、102b、102cをサービスするための追加のカバレッジ及び/又はスループットを提供し得る。
gNB180a、180b、180cの各々は、特定のセル(図示せず)と関連付けられ得、無線リソース管理決定、ハンドオーバ決定、UL及び/又はDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーン機能(User Plane Function、UPF)184a、184bへのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(Access and Mobility Management Function、AMF)182a、182bへの制御プレーン情報のルーティングなどを処理するように構成され得る。図1Dに示すように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信し得る。
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(Session Management Function、SMF)183a、183b、及び場合によってはデータネットワーク(Data Network、DN)185a、185bを含み得る。前述の要素の各々は、CN115の一部として示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
AMF182a、182bは、N2インターフェースを介してRAN113におけるgNB180a、180b、180cのうちの1つ以上に接続され得、制御ノードとして機能し得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザの認証、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bの選択、登録エリアの管理、NASシグナリングの終了、モビリティ管理などの役割を果たすことができる。ネットワークスライスは、WTRU102a、102b、102cを利用しているサービスのタイプに基づいて、WTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、異なるネットワークスライスは、高信頼低遅延(ultra-reliable low latency、URLLC)アクセスに依存するサービス、高速大容量(enhanced massive mobile broadband、eMBB)アクセスに依存するサービス、マシンタイプ通信(machine type communication、MTC)アクセスのためのサービス、及び/又は同様のものなどの異なる使用事例のために確立され得る。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、及び/又はWiFiなどの非3GPPアクセス技術などの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インターフェースを介して、CN115内のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択及び制御し、UPF184a、184bを通るトラフィックのルーティングを構成し得る。SMF183a、183bは、UE IPアドレスを管理して割り当てること、PDUセッションを管理すること、ポリシー執行及びQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実施し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つ以上に接続され得、これにより、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。UPF184、184bは、パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実施し得る。
CN115は、他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含み得るか、又はそれと通信し得る。更に、CN115は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は動作される他の有線及び/又は無線ネットワークを含み得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、及びUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通じてローカルデータネットワーク(local Data Network、DN)185a、185bに接続され得る。
図1A~図1D、及び図1A~図1Dの対応する説明から見て、WTRU102a~d、基地局114a~b、eNode-B160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、及び/又は本明細書に記載される任意の他のデバイスのうちの1つ以上に関する、本明細書に記載される機能のうちの1つ以上又は全ては、1つ以上のエミュレーションデバイス(図示せず)によって実施され得る。エミュレーションデバイスは、本明細書に説明される機能の1つ以上又は全てをエミュレートするように構成された1つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ/又はネットワーク及び/若しくはWTRU機能をシミュレートし得る。
エミュレーションデバイスは、ラボ環境及び/又はオペレータネットワーク環境における他のデバイスの1つ以上の試験を実装するように設計され得る。例えば、1つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び/又は無線通信ネットワークの一部として完全に若しくは部分的に実装され、かつ/又は展開されている間、1つ以上若しくは全ての機能を実行し得る。1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として一時的に実装/展開されている間、1つ以上若しくは全ての機能を実行し得る。エミュレーションデバイスは、試験を目的として別のデバイスに直接結合され得、かつ/又は地上波無線通信を使用して試験を実行し得る。
1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として実装/展開されていない間、全てを含む1つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、1つ以上のコンポーネントの試験を実装するために、試験実験室での試験シナリオ、並びに/又は展開されていない(例えば、試験用の)有線及び/若しくは無線通信ネットワークにおいて利用され得る。1つ以上のエミュレーションデバイスは、試験機器であり得る。RF回路(例えば、1つ以上のアンテナを含み得る)を介した直接RF結合及び/又は無線通信は、データを送信及び/又は受信するように、エミュレーションデバイスによって使用され得る。
本出願は、ツール、特徴、実施例又は実施形態、モデル、アプローチなどを含む、様々な態様を記載している。これらの態様のうちの多くは、具体的に説明され、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様の全てが組み合わされ、交換されて、更なる態様を提供し得る。その上、態様は、同様に、先の出願に記載の態様と組み合わせられ、交換され得る。
本出願において記載及び企図される態様は、多くの異なる形態で実装され得る。本明細書に記載の図1~図10は、いくつかの実施例を提供し得るが、他の実施形態も企図される。図1~図10の考察は、実装形態の幅を限定するものではない。態様のうちの少なくとも1つは、概して、ビデオ符号化及び復号化に関し、少なくとも1つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び他の態様は、方法、装置、記載の方法のうちのいずれかに従ってビデオデータを符号化又は復号化するための命令を記憶したコンピュータ可読記憶媒体、及び/又は記載の方法のうちのいずれかに従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
本出願では、「再構成された(reconstructed)」及び「復号化された(decoded)」という用語は、交換可能に使用され得、「ピクセル(pixel)」及び「サンプル(sample)」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。加えて、「第1の(first)」、「第2の(second)」などの用語は、様々な実施形態において、例えば、「第1の復号化(first decoding)」及び「第2の復号化(second decoding)」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第1の復号化は、第2の復号化の前に実行される必要はなく、例えば、第2の復号化の前、第2の復号化の間、又は第2の復号化と重複する時間中に発生し得る。
本出願に記載の様々な方法及び他の態様は、図2及び図3に示すように、例えば、ビデオエンコーダ200及びデコーダ300のモジュールを修正するために使用され得る。更に、本明細書で開示する主題は、VVC又はHEVCに限定されない態様を提示し、例えば、規格又は勧告に記載されているかどうかにかかわらず、既存であるか又は将来開発されるかどうかにかかわらず、ビデオコード化の任意のタイプ、形式、又はバージョン、並びに任意のかかる規格及び勧告(例えば、VVC及びHEVCを含む)の拡張に適用され得る。別段の指示がない限り、又は技術的に除外されない限り、本出願に記載の態様は、個々に又は組み合わせて使用され得る。
本出願に記載の実施例では、013としての残りのバイトのカウント、0~5及び10~21の範囲内のnal_unit_type値など、様々な数値が使用される。これら及び他の特定の値は、例を説明するためのものであり、説明する態様は、これらの特定の値に限定されない。
図2は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ200の変形例が企図されるが、エンコーダ200は、全ての予想される変形例を説明することなく、明確にする目的で以下に記載される。
符号化される前に、ビデオシーケンスは、符号化前処理(201)、例えば、カラー変換を入力カラーピクチャに適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャコンポーネントの再マッピングを実行する(例えば、カラーコンポーネントのうちの1つのヒストグラム等化を使用して)ことを経得る。メタデータは、その前処理と関連付けられ、ビットストリームに添付され得る。
エンコーダ200では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され(202)、例えば、符号化ユニット(coding unit、CU)の単位で処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測(260)を実行する。インターモードでは、動き推定(275)及び動き補償(270)が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し(205)、例えば、予測モードフラグによってイントラ/インターの決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算することによって(210)計算される。
その予測残差は、次いで、変換され(225)、量子化される(230)。量子化された変換係数、並びに動きベクトル及び他の構文要素は、ビットストリームを出力するためにエントロピコード化される(245)。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コード化される。
エンコーダは、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号化するために逆量子化され(240)、逆変換される(250)。復号化された予測残差、及び予測されたブロックを組み合わせると(255)、画像ブロックが再構成される。ループ内フィルタ(265)は、例えば、符号化アーチファクトを低減するための非ブロック化/SAO(サンプル適応オフセット、Sample Adaptive Offset)フィルタ処理を実行するために、再構成されたピクチャに適用される。フィルタ処理された画像は、参照ピクチャバッファ(280)で記憶される。
図3は、ビデオデコーダの実施例を示す図である。例示的なデコーダ300では、ビットストリームは、以下に記載のように、デコーダ要素によって復号化される。ビデオデコーダ300は、図2に記載するように、一般に、符号化パスとは逆の復号化パスを実行する。エンコーダ200もまた、一般に、ビデオデータを符号化することの一部としてビデオ復号化を実行する。
特に、デコーダの入力は、ビデオビットストリームを含み、ビデオエンコーダ200によって生成され得る。ビットストリームは、まず、変換係数、動きベクトル、及び他のコード化情報を取得するために、エントロピ復号化される(330)。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号化されたピクチャ分割情報に従ってピクチャを分割し得る(335)。変換係数は、予測残差を復号化するために、逆量子化され(340)、逆変換される(350)。復号化された予測残差と予測されたブロックとを組み合わせて(355)、画像ブロックが再構成される。予測されたブロックは、イントラ予測(360)から又は動き補償予測(すなわち、インター予測)(375)から取得され得る(370)。ループ内フィルタ(365)が、再構成された画像に適用される。フィルタ処理された画像は、参照ピクチャバッファ(380)に記憶される。
復号化されたピクチャは、復号化後処理(385)、例えば、逆カラー変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)、又は符号化前処理(201)において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
図4は、本明細書に記載の様々な態様及び実施形態が実装され得るシステムの実施例を示す図である。システム400は、以下に記載の様々なコンポーネントを含むデバイスとして具体化され得、本明細書に記載の態様のうちの1つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム400の要素は、単独で、又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個のコンポーネントに具現化され得る。例えば、少なくとも1つの実施例では、システム400の処理及びエンコーダ/デコーダ要素は、複数のIC及び/又は別個のコンポーネントにわたって分散される。様々な実施形態では、システム400は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム400は、本明細書に記載の態様のうちの1つ以上を実装するように構成されている。
システム400は、例えば、本明細書に記載の様々な態様を実装するために、その中にロードされた命令を実行するように構成された少なくとも1つのプロセッサ410を含む。プロセッサ410は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム400は、少なくとも1つのメモリ420(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム400は、記憶デバイス440を含み、これは、不揮発性メモリ及び/又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス440は、非限定的な例として、内部記憶デバイス、添付された記憶デバイス(取り外し可能及び取り外し不可能な記憶デバイスを含む)、及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム400は、例えば、符号化ビデオ又は復号化ビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール430を含み、エンコーダ/デコーダモジュール430は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ/デコーダモジュール430は、符号化機能及び/又は復号化機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号化モジュールのうちの一方又は両方を含むことができる。加えて、エンコーダ/デコーダモジュール430は、システム400の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ410内に組み込まれ得る。
本明細書に記載の様々な態様を実行するためにプロセッサ410又はエンコーダ/デコーダ430にロードされるプログラムコードは、記憶デバイス440に記憶され、その後、プロセッサ410による実行のためにメモリ420上にロードされ得る。様々な実施形態によれば、プロセッサ410、メモリ420、記憶デバイス440、及びエンコーダ/デコーダモジュール430のうちの1つ以上は、本明細書に記憶のプロセスの実行中に様々なアイテムのうちの1つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号化ビデオ、又は復号化ビデオの一部分、ビットストリーム、マトリクス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
いくつかの実施形態では、プロセッサ410及び/又はエンコーダ/デコーダモジュール430の内部のメモリは、命令を記憶し、かつ符号化中又は復号化中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ410又はエンコーダ/デコーダモジュール430のいずれかであり得る)の外部のメモリが、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ420及び/又は記憶デバイス440、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを記憶する。少なくとも1つの実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2(MPEGはMoving Picture Experts Groupを指し、MPEG-2はISO/IEC13818とも称され、13818-1はH.222としても知られており、13818-2はH.262としても知られている)、HEVC(HEVC、High Efficiency Video Codingは高効率映像符号化を指し、H.265及びMPEG-H Part2としても知られている)、又はVVC(Versatile Video Codingは、JVET、Joint Video Experts Teamによって開発中の新しい規格)などのビデオ符号化及び復号化動作のための作業メモリとして使用される。
システム400の要素への入力は、ブロック445に示すように、様々な入力デバイスを通して提供され得る。かかる入力デバイスとしては、これらに限定されないが、(i)例えば、放送局によって地上波で送信されるRF信号を受信する無線周波数(radio frequency、RF)部分、(ii)コンポーネント(COMP)入力端子(又は一組のCOMP入力端子)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力端子、及び/又は(iv)高解像度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力端子が挙げられる。他の実施例には、図4には示していないが、複合ビデオが含まれる。
様々な実施形態では、ブロック445の入力デバイスは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される)と、(ii)選択された信号をダウンコンバートすることと、(iii)(例えば)ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限することと、(iv)ダウンコンバートされ帯域制限された信号を復調することと、(v)誤り訂正を実行することと、(vi)所望のデータパケットストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数(例えば、中間周波数又は近ベースバンド周波数)に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、RF部分及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
加えて、USB端子及び/又はHDMI端子は、システム400をUSB接続及び/又はHDMI接続にわたって他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理IC内又はプロセッサ410内に実装され得ることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、個別のインターフェースIC内又はプロセッサ410内に実装され得る。復調され、誤り訂正され、逆多重化されたストリームは、例えば、プロセッサ410と、出力デバイス上に提示するために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ/デコーダ430とを含む、様々な処理要素に提供される。
システム400の様々な要素は、一体型ハウジング内に提供され得る。一体型ハウジング内では、様々な要素が相互接続され、適切な接続配列425、例えば、Inter-IC(I2C)バス、配線、及びプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。
システム400は、通信チャネル460を介して他のデバイスとの通信を可能にする通信インターフェース450を含む。通信インターフェース450は、通信チャネル460介してデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース450は、モデム又はネットワークカードを含むことができるが、これに限定されず、通信チャネル460は、例えば、有線及び/又は無線媒体内に実装され得る。
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEE、the Institute of Electrical and Electronics Engineersは、米国電気電子技術者協会を指す)などの無線ネットワークを使用して、システム400にストリーミングされるか、又は別様に提供される。これらの実施例のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル460及び通信インターフェース450を介して受信される。これらの実施形態の通信チャネル460は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするためのインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック445のHDMI接続を介してデータを配信するセットトップボックスを使用して、システム400にストリーミングデータを提供する。更に他の実施形態では、入力ブロック445のRF接続を使用して、システム400にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。加えて、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システム400は、ディスプレイ475、スピーカ485、及び他の周辺デバイス495を含む種々の出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ475は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ475は、テレビ、タブレット、ラップトップ、携帯電話(モバイルフォン)、又は他のデバイスのためのものであり得る。ディスプレイ475はまた、他のコンポーネントに統合されるか(例えば、スマートフォンのように)、又は別個である(例えば、ラップトップのための外部モニタ)こともできる。他の周辺デバイス495としては、実施形態の様々な実施例では、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語の略称としてDVR、digital versatile disc)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上が挙げられる。様々な実施形態は、システム400の出力に基づいて機能を提供する1つ以上の周辺デバイス495を使用する。例えば、ディスクプレーヤは、システム400の出力を再生する機能を実行する。
様々な実施形態では、制御信号が、システム400と、ディスプレイ475、スピーカ485、又は他の周辺デバイス495との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース470、480、及び490を通じた専用接続を介してシステム400に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース450を介し、通信チャネル460を使用して、システム400に接続され得る。ディスプレイ475及びスピーカ485は、例えば、テレビなどの電子デバイス内のシステム400の他のコンポーネントと単一のユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース470は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
ディスプレイ475及びスピーカ485は、代替的に、例えば、入力445のRF部分が個別のセットトップボックスの一部分である場合、他のコンポーネントのうちの1つ以上から分離され得る。ディスプレイ475及びスピーカ485が外部コンポーネントである様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む、専用の出力接続を介して提供され得る。
実施形態は、プロセッサ410によって、又はハードウェアによって、又はハードウェア及びソフトウェアの組み合わせによって実装されたコンピュータソフトウェアによって実行され得る。非限定的な実施例として、実施形態は、1つ以上の集積回路によって実装され得る。メモリ420は、技術環境に適切な任意のタイプであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ410は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含することができる。
様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号化」は、例えば、ディスプレイに好適な最終出力を作り出すために受信された符号化シーケンス上で実行されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、デコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。様々な実施形態では、かかるプロセスはまた、又は代替的に、本出願に記載の様々な実装形態のデコーダによって実行されるプロセス、例えば、コード化点群シーケンス(例えば、ISOBMFFコンテナにカプセル化された)への部分的なアクセスを提供するために、コード化点群シーケンス(例えば、例えば、本明細書に開示するような、1つ以上のファイルフォーマット構造を使用してISOBMFFコンテナにカプセル化された)の一部分を復号化すること、などを含む。
更なる実施形態として、一実施例では、「復号化(decoding)」は、エントロピ復号化のみを指し、別の実施形態では、「復号化」は、差動復号化のみを指し、別の実施形態では、「復号化」は、エントロピ復号化と差動復号化との組み合わせを指す。「復号化プロセス」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な復号化プロセスを一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。
様々な実装形態は、符号化することを含む。「復号化(decoding)」に関する上記の考察と同様に、本出願で使用される「符号化(encoding)」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。様々な実施形態では、かかるプロセスはまた、又は代替的に、本出願に記載の様々な実施形態のエンコーダによって実行されるプロセス、例えば、コード化点群シーケンス(例えば、ISOBMFFコンテナにカプセル化された)の異なる部分に部分的なアクセスサポートを提供するために、1つ以上のファイルフォーマット構造(例えば、本明細書に開示するような)を含むビデオベースの点群ビットストリームを符号化すること、などを含む。
更なる例として、一実施形態では、「符号化」は、エントロピ符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な符号化プロセスを一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。
本明細書で使用するような構文要素、例えば、atlas_tile_group_layer_rbsp()、VPCCTileGroupSampleEntry、VolumetricSampleEntry、TrackGroupTypeBox、SpatialRegionGroupBox、TrackGroupTypeBox、DynamicVolumetricMetadataSampleEntry、3DSpatialRegionStruct、VPCCVolumetricMetadataSample、VPCCAtlasSampleEntryなどは、記述用語であることに留意されたい。したがって、これらは他の構文要素名の使用を排除するものではない。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
本明細書に記載の実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、プロセッサで実装され得るが、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが含まれる。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(「PDA、personal digital assistant」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態(one embodiment)」、「実施形態(an embodiment)」、「実装例(an example)」、「一実装形態(one implementation)」又は「実装形態(an implementation)」、及びそれらの他の変形形態への言及は、実施形態に関連して記載する特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書全体を通しての様々な場所に現れる「一実施形態では(in one embodiment)」、「実施例では(in an example)」、「一実装形態では(in one implementation)」又は「実装形態では(in an implementation)」という句、並びに任意の他の変形例の出現は、必ずしも全てが同じ実施形態又は実施例を指すとは限らない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上を含むことができる。取得することは、受信すること、取り出すこと、構築すること、生成すること、及び/又は判定することを含み得る。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、次の「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A,B,and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A,B,and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。いくつかの実施形態では、エンコーダは、例えば、V-PCCパラメータセット、SEIメッセージ、メタデータ、編集リスト、ポストデコーダ要件、ISOBMFFコンテナ中にカプセル化されたコード化点群シーケンスの異なる部分への柔軟な部分的なアクセスを可能にする信号、シグナリングされたオブジェクトごとの依存リスト、空間領域へのマッピング、3D境界ボックス情報などを、(例えば、符号化ビットストリーム中で、及び/又はISOBMFFコンテナなどのカプセル化ファイル内で)シグナリングし得る。このようにして、実施形態では、エンコーダ側とデコーダ側の両方で同じパラメータが使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信する(明示的なシグナリング)ことができる。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、シグナリングを使用して、送信(暗黙的なシグナリング)することなく、単にデコーダが特定のパラメータを知り選択することを可能にし得る。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成され得ることが理解されるべきである。例えば、1つ以上の構文要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号(signal)」という語の動詞形に関するものであるが、「信号」という語は、本明細書では名詞としても使用され得る。
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
三次元(3D)画像を(例えば、3D点群を使用して)取り込み及びレンダリングすることは、多くの用途(例えば、テレプレゼンス、仮想現実、及び大規模動的3Dマップ)を有し得る。3D点群は、没入型メディアを表すために使用され得る。3D点群は、3D空間内で表される一組の点を含み得る。(例えば、各)点は、座標及び/又は1つ以上の属性を含み得る。座標は、(例えば、各)点の位置を示し得る。属性は、例えば、各点と関連付けられたカラー、透明度、取得時間、レーザの反射、又は材料特性などのうちの1つ以上を含み得る。点群は、いくつかの方法で取り込まれ又は展開され得る。点群は、例えば、複数のカメラ及び深度センサ、光検出及び測距(Light Detection and Ranging、LiDAR)レーザスキャナなどを使用して(例えば、3D空間をサンプリングするために)取り込まれ又は展開され得る。点(例えば、座標及び/又は属性によって表される)は、例えば、3D空間内のオブジェクトのサンプリングによって生成され得る。点群は、複数の点を含み得、それらの各々は、3D空間にマッピングする一組の座標(例えば、x、y、z座標)によって表され得る。実施例では、3Dオブジェクト又はシーンは、数百万又は数十億のサンプリングされた点を含む点群で表されるか、又は再構成され得る。3D点群は、静的及び/又は動的(移動する)3Dシーンを表し得る。
点群データは、例えば、点群データを(例えば、効率的に)記憶及び/又は送信するために、表現及び/又は圧縮(例えば、点群圧縮(PCC))され得る。例えば、3D点群の効率的かつ相互運用可能な記憶及び送信をサポートするために、ジオメトリベース圧縮が、静的点群を符号化及び復号化するために利用され得、ビデオベース圧縮が、動的点群を符号化及び復号化するために利用され得る。点群サンプリング、表現、圧縮、及び/又はレンダリングは、点群のジオメトリック座標及び/又は属性の非可逆コード化及び/又は可逆コード化(例えば、符号化又は復号化)をサポートし得る。
図5は、サーバ502及びクライアント510のシステムインターフェース500を示す図である。サーバ502は、インターネット504及び他のネットワーク506に接続された点群サーバとし得る。クライアント510はまた、インターネット504及び他のネットワーク506に接続され、ノード(例えば、サーバ502及びクライアント510)間の通信を可能にする。各ノードは、プロセッサと、非一時的コンピュータ可読メモリ記憶媒体と、本明細書に開示する方法又は方法の一部分を実施するようにプロセッサによって実行可能である、記憶媒体内に格納された実行可能命令とを含む。1つ以上のノードは、1つ以上のセンサを更に含み得る。クライアント510は、ヘッドマウントディスプレイ(head-mounted display、HMD)508などのディスプレイの3Dビデオをレンダリングするためのグラフィックスプロセッサ512を含み得る(例えば、をも含み得る)。ノードのいずれか又は全ては、図1A~図1Dに関して上記のように、WTRUを備え、ネットワークを介して通信し得る。
図6は、サーバ602及びクライアント604のシステムインターフェース600を示す図である。サーバ602は、点群コンテンツサーバ602とし得、点群コンテンツのデータベース、詳細レベルを処理するためのロジック、及びサーバ管理機能を含み得る。いくつかの実施例では、詳細を処理することは、帯域幅制限に起因して、又は視認距離が低減を可能にするのに十分であるために可能にされるように、クライアント604(例えば、閲覧クライアント604)に送信するための解像度を低減し得る。点群コンテンツサーバ602は、クライアント604と通信し得、点群データ及び/又は点群メタデータが交換され得る。いくつかの例では、閲覧者のためにレンダリングされた点群データは、点群データ及び/又は点群メタデータ(例えば、点群サーバ602から閲覧クライアント604にストリーミングされる)などから、詳細レベルを低減及び/又は増加させるためにデータ構築のプロセスを受け得る。点群サーバ602は、空間取り込みが提供された解像度で点群データをストリーミングし得るか、又はいくつかの実施形態では、例えば、帯域幅制約又は視認距離公差に準拠するためにダウンサンプリングし得る。点群サーバ602は、詳細レベルを動的に低減し得る。いくつかの例では、点群サーバ602は、点群データをセグメント化すること、及び点群内のオブジェクトを識別することを行い得る(例えば、更に行い得る)。いくつかの例では、選択されたオブジェクトに対応する点群データ内の点は、より低い解像度データで置き換えられ得る。
クライアント604(例えば、HMDを有するクライアント604)は、ビットストリーム、例えば、ビデオベース点群圧縮(V-PCC)コード化ビットストリームを介して点群コンテンツサーバ602から点群の一部分及び/又はタイルを要求し得る。例えば、点群の一部分及び/又はタイルは、HMDの場所及び/又は向きに基づいて取り出され得る。
図7は、クライアント(例えば、HMD)によってコンテンツを要求する実施例700を示す図である。HMD及びクライアントは、HMDによって実行されるものとして記載される1つ以上のステップがクライアントによって(例えば、HMDの代わりに)実行され得るように、交換可能に使用されることが理解される。702において、HMDの位置が判定され得る。702において、HMDの向きが判定され得る。受信したビューポートからのビューポートが選択され得る。704において、1つ以上の6DoFビューポートを示すタイミングメタデータトラックが、点群サーバからHMD及び/又はクライアントによって受信され得る。706において、1つ以上のタイルグループトラックが、図5又は図6の点群サーバから要求され得る。708において、要求されたタイルグループトラックが(例えば、HMDで)受信され得る。受信されたタイルグループトラックセットは、例えば、本明細書に記載されるように、点群シーン内の空間領域又はオブジェクトをレンダリングするための情報を搬送し得る。図1A~図6に基づくシステムは、本明細書の開示に基づいて実装され得る。
図8は、ビデオベース点群圧縮(V-PCC)ビットストリーム構造の実施例をV-PCCユニットのシーケンスとして示す図である。V-PCCビットストリームは、(例えば、図8の実施例に示すように)V-PCCユニットのシーケンスを含み得る。V-PCCユニット(例えば、各V-PCCユニット)は、V-PCCユニットヘッダ及び/又はV-PCCユニットペイロードを有し得る。V-PCCユニットヘッダは、V-PCCユニットタイプを記述し得る。表1は、V-PCCユニットタイプの実施例を示している。属性ビデオデータV-PCCユニットヘッダは、1つ以上の属性タイプ及び/又はインデックスを指定することができ、これにより、同じ属性タイプの複数のインスタンスをサポートすることが可能になり得る。表2は、V-PCC属性タイプの実施例を示している。占有、ジオメトリ、及び/又は属性ビデオデータユニットペイロード(例えば、図8の例により示すような)は、ビデオデコーダによって復号化され得るビデオデータユニット(例えば、ネットワーク抽象化層(network abstraction layer、NAL)ユニット)に対応し得る。ビデオコード化コンポーネントサブビットストリームに対応するビデオデコーダ(例えば、占有、ジオメトリ、及び/又は属性サブストリームなどの各ビデオコード化コンポーネントサブビットストリーム)は、V-PCCパラメータセット内でシグナリングされ得る。
Figure 2023523393000002
Figure 2023523393000003
V-PCCビットストリーム高レベル構文(high-level syntax、HLS)は、例えば、1つ以上のアトラスフレーム内のタイルグループ(例えば、タイルセット)をサポートし得る。アトラスフレームは、タイル及び/又はタイルグループ(例えば、タイルセット)に分割され得る。アトラスフレームは、例えば、1つ以上のタイル行及び/又は1つ以上のタイル列に分割され得る。タイルは、例えば、アトラスフレームの矩形領域であり得る。タイルグループ(例えば、タイルセット)は、アトラスフレームの1つ以上のタイルを含み得る。タイルグループのタイル(例えば、タイルセット)は、独立して復号化可能であり得る。タイルグループ内のタイルの数は変化し得る。
図9は、アトラスフレームのタイル及びタイルグループ分割の例(例えば、24個のタイル及び9個のタイルグループへの)を示す図である。図9は、9個のタイルグループを区別するために交互の陰影で示されている。例では、矩形タイルグループ分割(例えば、矩形タイルグループ分割のみ)がサポートされ得る。タイルグループは、例えば、アトラスフレームの矩形領域を集合的に形成するアトラスフレームのいくつかのタイル(例えば、図9の例で示すように、タイルグループごとに2個又は4個のタイル)を含み得る。タイルグループは、アトラスフレームと関連付けられたV-PCCタイルセットを含み得る。
補足的エンハンスメント情報(Supplemental enhancement information、SEI)メッセージは、例えば、アトラスフレーム内のパッチ及び/又は容積形状(例えば、矩形)を、点群によって表されるシーン内のオブジェクトと関連付けるために、V-PCCビットストリームでシグナリングされ得る。SEIメッセージは、1つ以上のオブジェクトへの注釈付け、ラベル付け、及び/又は特性の追加を可能にし、及び/又はサポートし得る。オブジェクトは、実オブジェクト(例えば、シーン内の物理オブジェクト)及び/又は概念オブジェクト(例えば、物理特性又は他の特性に関連し得るオブジェクト)に対応し得る。オブジェクトは、パラメータ及び/又は特性(例えば、異なるパラメータ及び/又は特性)と関連付けられ得、これらは、例えば、点群又はシーングラフの作成及び/又は編集中の情報(例えば、提供される情報)に対応し得る。依存性関係は、異なるオブジェクト間で定義され得る。例えば、オブジェクトは、1つ以上の他のオブジェクトの一部であり得る。
点群内のオブジェクトは、時間的に持続的であり得るか、又は(例えば、任意の時間及び/又はフレームで)更新され得る。関連情報(例えば、オブジェクトと関連付けられた情報)は、例えば、(例えば、更新/関連付けシグナリングによって)更新若しくは置換されるまで、又はビットストリームの終了まで持続し得る。1つ以上のパッチ及び/又は2D容積矩形は、1つ以上のオブジェクトと関連付けられ得る。2D容積矩形は、例えば、本明細書の図11に示すように、1つ以上のパッチを含み得る。
時間ベースメディアは、ISOベースメディアファイルフォーマット(ISOBMFF)などの1つ以上のファイルフォーマットで記憶され得る。メディアファイル形式(例えば、ISOBMFF)内のファイルは、例えば、オーディオ、ビデオなどのメディアデータのタイミング提示のための構造及び/又はメディアデータ情報を含み得る。ファイルフォーマット(例えば、ISOBMFF)は、例えば、ファイル構造内の異なるレベルにおけるメタデータをサポートし得る。ファイルの論理構造は、例えば、時間並列トラックセットを含む動画であり得る。ファイルの時間構造は、例えば、時間におけるサンプルのシーケンスを含むトラックであり得る。シーケンスは、動画(例えば、動画全体)のタイムラインにマッピングされ得る。ISOBMFFは、例えば、ボックス構造化ファイルに基づき得る。ボックス構造化ファイルは、サイズ及びタイプを有し得る一連のボックス(例えば、原子)を含み得る。(例えば、複数のタイプの中の)タイプは、例えば、32ビットの値であり得る。タイプは、例えば、4文字コード(four-character code、4CC)と称され得る4つの印刷可能な文字であるように選択又は選定され得る。非タイミングデータは、例えば、メタデータボックス内に(例えば、ファイルレベルで、又は動画ボックス若しくは動画内のトラックと称され得るタイミングデータのストリームに添付されて)含まれ得る。
ISOBMFFコンテナは、複数のトップレベルボックスを含み得る。例えば、動画ボックス(「moov」)は、ISOBMFFコンテナ内のトップレベルボックスであり得る。動画ボックス(「moov」)は、ファイル内に存在し得る連続メディアストリームのメタデータを含み得る。メタデータは、動画ボックス内のボックスの階層内、例えば、トラックボックス(「trak」)内でシグナリングされ得る。トラックは、メディアストリーム(例えば、ファイル内に存在する連続メディアストリーム)を表し得る。メディアストリームは、サンプルのシーケンス(例えば、基本メディアストリームのオーディオ及び/又はビデオアクセスユニット)を含み得る。サンプルは、コンテナのトップレベルに存在し得るMediaDataBox(「mdat」)内に封入され得る。トラックのメタデータ(例えば、各トラック)は、例えば、サンプル記述エントリのリストを含み得る。サンプル記述エントリ(例えば、各サンプル記述エントリ)は、例えば、トラック中で使用され得るコード化フォーマット及び/若しくはカプセル化フォーマットを提供し得、並びに/又はコード化フォーマット及び/若しくはカプセル化フォーマットを処理するための初期化データを提供し得る。サンプル(例えば、各サンプル)は、トラックの1つ以上のサンプル記述エントリと関連付けられ得る。明示的なタイムラインマップが、トラック(例えば、各トラック)に対して定義され得、これは、編集リストと称され得る。編集リストは、例えば、EditListBoxを使用してシグナリングされ得、これは、以下の構文を有し得る。サンプル記述エントリエントリ(例えば、各サンプル記述エントリ)は、例えば、コンポジションタイムラインの一部をマッピングすることによって、及び/又は「空の」時間(例えば、「空の」編集をもたらすメディアなしにマッピングする提示タイムラインの一部分)を示すことによって、トラックタイムラインの一部を定義し得る。
EditListBoxの例示的な構文は、以下のように提供され得る。
Figure 2023523393000004
ISOBMFFは、プレーヤ及び/又はレンダラに1つ以上のアクションを課すことをサポートし得る。実施例では(例えば、ビデオストリームの場合)、制限されたビデオスキームトラックが、1つ以上のアクションを課すために使用され得る。例えば、ポストデコーダ要件は、制限されたビデオスキームトラックであるビデオトラック上でシグナリングされ得る。トラックは、例えば、トラックのサンプルエントリコードを4文字コード(4CC)(例えば、「resv」)に設定することによって、及び(例えば、他のボックスを修正することなく)RestrictedSchemeInfoBoxをトラックのサンプル記述に追加することによって、制限されたビデオスキームトラックに変換され得る。ストリームを符号化するために使用されるビデオコーデックに基づき得る元のサンプルエントリタイプは、RestrictedSchemeInfoBox内のOriginalFormatBox内に記憶され得る。RestrictedSchemeInfoBoxは、1つ以上のボックス(例えば、OriginalFormatBox、SchemeTypeBox、及びSchemeInformationBoxなど、3つのボックス)を含み得る。OriginalFormatBoxは、コンポーネントストリームを符号化するために使用されるビデオコーデックに基づき得る元のサンプルエントリタイプを記憶し得る。制限の性質は、SchemeTypeBoxで定義され得る。
図10は、マルチトラックISOBMFF V-PCCコンテナの例示的な構造を示す図である。実施例では、マルチトラックV-PCCコンテナは、例えば、以下のうちの1つ以上を含み得る。マルチトラックV-PCCコンテナは、例えば、V-PCCパラメータセット及び/又は(例えば、サンプルエントリ内)アトラスサブビットストリームパラメータセット及び/又はアトラスサブビットストリームNALユニットを搬送し得るサンプルを含むV-PCCトラック10002を含み得る。V-PCC及びVPCCは、本明細書では交換可能に使用される。トラックは、例えば、ビデオ圧縮V-PCCユニット(例えば、ユニットタイプVPCC_OVD、VPCC_GVD、及び/又はVPCC_AVD)のペイロードを搬送し得る、他のトラックへのトラック基準を含み得る。マルチトラックV-PCCコンテナは、例えば、制限されたビデオスキームトラックを含み得、ここで、サンプルは、占有マップデータのビデオコード化エレメンタリストリームのアクセスユニット(例えば、タイプVPCC_OVDのV-PCCユニットのペイロード)を含み得る。マルチトラックV-PCCコンテナは、例えば、1つ以上の制限されたビデオスキームトラックを含み得、ここで、サンプルは、ジオメトリデータのビデオコード化エレメンタリストリームのアクセスユニット、例えば、タイプVPCC_GVDのV-PCCユニットのペイロード)を含み得る。マルチトラックV-PCCコンテナは、例えば、ゼロ以上の制限されたビデオスキームトラックを含み得、ここで、サンプルは、属性データのビデオコード化エレメンタリストリームのアクセスユニット(例えば、タイプVPCC_AVDのV-PCCユニットのペイロード)を含み得る。
新しいメディア(例えば、VR及び/又は没入型3Dグラフィックス)への関心が高まっている。3D点群は、没入型メディアを表し得る。没入型メディアは、仮想ワールドとの新しい形態の相互作用及び通信を可能にし得る。3D点群は、大量の情報によって表され得る。効率的なコード化(例えば、効率的なコード化アルゴリズム)は、3D点群データ(例えば、動的3D点群データ)を記憶及び送信することに関与する記憶及び/又は送信リソース並びに時間を低減し得る。
点群シーケンスは、複数のオブジェクトを有するシーンを表し得る。実施例では、個々のオブジェクト(例えば、点群シーケンスで表される)は、例えば、シーンの他の部分を復号化することなく、アクセス(例えば、ストリーミング及び/又はレンダリング)され得る。同様に、点群によって表されるオブジェクト(例えば、単一のオブジェクト)の1つ以上の部分は、点群全体を復号化することなくアクセスされ得る。
SEIメッセージは、例えば、パッチ及び/又は容積矩形に、注釈付けし、ラベル付けし、及び/又は特性を追加し得る。1つ以上のSEIメッセージは、例えば、V-PCCシーケンスの部分的なアクセス及びレンダリングを可能にし得る。アトラスサブビットストリームデータは、トラック(例えば、単一のトラック)中で搬送され得る。単一のトラックでサブビットストリームデータを搬送することは、例えば、ユーザがV-PCCコンテンツ内のある特定の領域/オブジェクト、又はV-PCCコンテンツ内のアトラスのサブセットに関心があり得る(例えば、それのみに関心がある)場合であっても、ストリーミングアプリケーションが過剰なアトラス情報をダウンロードし、復号化することにつながり得、これは、例えば、時間及びコンピューティングリソースの過剰な消費につながり、ユーザエクスペリエンスを低下させ得る。トラック(例えば、及び関連するシグナリング)は、ビューポートのシグナリングに制限(例えば、過度の制限)を課すことがあり、並びに/又はカメラパラメータ及び/若しくはビューポート位置SEIメッセージと適合しないことがある。
ファイルフォーマット構造は、(例えば、ISOBMFFコンテナ中にカプセル化された)コード化点群シーケンスの異なる部分への柔軟な部分的なアクセスを可能にし得る。
V-PCCアトラスタイルグループトラックが提供され得る。タイルグループ(例えば、各タイルセット)、又はタイルグループのグループは、例えば、V-PCCビットストリームのアトラスサブストリームが複数のタイルグループを含む場合、別個のトラック(例えば、アトラスタイルグループトラックと呼ばれる)にカプセル化され得る。アトラスタイルグループトラックは、例えば、タイルグループへのアクセス(例えば、タイルグループへの直接アクセス)を可能にするために、1つ以上のアトラスタイルグループのatlas_tile_group_layer_rbsp()ペイロードを有するNALユニットを搬送し得る。
点群シーン内の空間領域及び/又はオブジェクトに対応し得るアトラスフレーム内のパッチは、例えば、V-PCCコード化ストリームのISOBMFFコンテナ中の部分的なアクセスをサポートするために、アトラスタイルグループにマッピングされ得る。タイルグループは、コンテナ中の別個のアトラスタイルグループトラック内で搬送され得る。プレーヤ、ストリーミングクライアントなどは、例えば、タイルグループがコンテナ中の別個のアトラスタイルグループトラック内で搬送される場合、点群シーン内の選択された空間領域又はオブジェクトをレンダリングするための情報を搬送するタイルグループトラック(例えば、タイルグループトラックセットのみ)を識別し、取り出すことが可能になり得る。
V-PCCトラック10002は、例えば、4文字コード(4CC)(例えば、「pcct」))を使用して定義されたトラック基準タイプを有するトラック基準に基づいて、1つ以上のアトラスタイルグループトラックにリンクされ得る。定義されたトラック基準タイプのトラック基準は、例えば、V-PCCトラック10002を1つ以上のアトラスタイルグループトラックに(例えば、各アトラスタイルグループトラックに)リンクするために使用され得る。アトラスタイルグループトラック(例えば、各アトラスタイルグループトラック)は、(例えば、ISO/IEC14496-12トラックグループを使用して)アトラスタイルグループトラック内のタイルグループ(例えば、タイルセット)のコンポーネント情報を搬送し得る1つ以上の他のビデオコード化V-PCCコンポーネントトラックとグループ化され得る。トラックグループ定義は、例えば、トラックグループ内のトラックと関連付けられ得るタイルグループのアドレスを含み得る。
V-PCCタイルグループトラックは、例えば、サンプル記述(例えば、VPCCTileGroupSampleEntry)によって識別され得る。V-PCCアトラスタイルグループトラックのサンプルエントリタイプは、例えば、「vpt1」であり得る。VPCCTileGroupSampleEntryの定義は、例えば、以下の通りであり得る。
Figure 2023523393000005
Figure 2023523393000006
サンプルエントリは、V-PCCタイルグループトラックのメディアサンプルを記述し得る。実施例では、VPCCTileGroupSampleEntryは、VPCCConfigurationBoxを含まない場合がある。VPCCConfigurationBoxは、メインV-PCCトラック10002のサンプル記述に含まれ得る。他のボックス(例えば、他の任意選択的なボックス)が含まれ得る。
VPCCTileGroupSampleEntryのフィールドのセマンティックは、例えば、以下の通りであり得る。パラメータcompressorname(例えば、ベースクラスVolumetricSampleEntry内)は、使用される圧縮器の名称(例えば、値「\013VPCC Coding」)を示し得る。第1のバイトは、残りのバイトのカウントを示し得、これは、例えば、ストリングの残りのバイト数として、\013(例えば、10進数11である8進数13)によって表され得る。
アトラスタイルグループトラック中のサンプルは、例えば、(例えば、ISO/IEC23090-10において提供されるように)V-PCCトラック10002のサンプルに対して定義されるサンプルフォーマット(例えば、同じサンプルフォーマット)を有し得る。アトラスタイルグループトラックサンプルで搬送されるNALユニットは、例えば、複数の範囲(例えば、0~5の包含範囲、及び10~21の包含範囲)内のnal_unit_type値を有し得る。
(例えば、追加的又は代替的な)実施形態では、アトラスフレーム内のタイルグループ(例えば、タイルセット)の数及び/又はレイアウトは、例えば、コンテナファイル内のトラックの数の増加(例えば、爆発)を回避するために、(例えば、コード化点群シーケンスの期間全体にわたって)固定され得る。
(例えば、追加的又は代替的な)実施形態では、アトラスタイルグループトラックは、アトラスタイルグループ(例えば、アトラスタイルグループトラックによって搬送される)が属するアトラスのV-PCCトラック10002へのトラック基準を含み得る。トラック基準は、パーサがアトラスタイルグループトラックと関連付けられたV-PCCトラック10002を識別することを可能にし得る。例えば、パーサは、アトラスタイルグループトラックのトラック識別情報(ID)に基づいて、アトラスタイルグループトラックと関連付けられたV-PCCトラック10002を識別し得る。
アトラスタイルグループトラック及びコンポーネントトラックがグループ化され得る。アトラスタイルグループトラックと関連付けられたV-PCCコンポーネントトラック(例えば、ビデオコード化された占有10004、ジオメトリ10006、及び/又は属性情報10008を搬送し得るトラック)は、例えば、以下のように、「vptg」TrackGroupTypeBoxを有するトラックグループを使用して、トラックと共にグループ化され得る。
Figure 2023523393000007
VPCCTileGroupBoxのフィールドのセマンティックは、例えば、以下であり得る。
num_tile_groups_minus1+1は、トラックグループと関連付けられたV-PCCタイルグループ又はV-PCCタイルセットの数を示し得る。
tile_group_idは、V-PCCタイルグループ又はタイルセットのIDを示し得、(例えば、ISO/IEC23090-5における)atgh_addressと同一であり得る。
(例えば、追加的又は代替的な)実施形態では、SpatialRegionGroupBoxは、例えば、(例えば、本明細書に記載の実施形態と同様に)関連付けられたタイルグループ識別子のリストを含むSpatialRegionGroupBoxの構文への更新に基づいて、アトラスタイルグループトラック及び対応するコンポーネントトラックをグループ化するために使用され得る。
(例えば、追加的又は代替的な)実施形態では、VPCCTileGroupBoxのtrack_group_idを使用し得るV-PCCトラック10002からの単一のトラック基準が、V-PCCタイルグループ(例えば、タイルのV-PCCセット)又はV-PCCタイルグループセットと関連付けられ得る1つ以上のトラック(例えば、全てのトラック)を参照する(例えば、集合的に参照する)ために使用され得る。実施例では、トラック基準のTrackReferenceTypeBoxは、V-PCCタイルグループ又はV-PCCタイルグループセットのトラックグループのtrack_group_idを有するそのtrack_IDアレイ中のエントリを有し得る。TrackGroupTypeBoxのフラグのビット(例えば、ビット0又は最下位ビット)が、例えば、track_group_idの一意性を示すために使用され得る。フラグのセマンティックは、例えば、次のように定義され得る。TrackGroupTypeBoxのフラグのビット0(例えば、ビット0は最下位ビットである)は、例えば、track_group_idの一意性を示すために使用され得る。実施例では、特定のtrack_group_typeのTrackGroupTypeBoxで1に等しい(flags&1)は、そのTrackGroupTypeBoxにおけるtrack_group_idがtrack_ID値に等しくなく、異なるtrack_group_typeを有するTrackGroupTypeBoxのtrack_group_idに等しくないことを示し得る。(flags&1)は、例えば、track_group_type及びtrack_group_idの特定の値を有するTrackGroupTypeBoxにおいて(flags&1)が1に等しい場合、track_group_type及びtrack_group_idの(例えば、同じ)値の(例えば、全ての)TrackGroupTypeBoxにおいて1に等しくなり得る。
(例えば、追加的又は代替的な)実施形態では、VPCCTileGroupBoxは、タイルグループトラックが属するアトラストラックのトラックIDを含み得る。VPCCTileGroupBoxは、例えば、TrackGroupTypeBox「vptg」を以下のように拡張し得る。
Figure 2023523393000008
この場合、VPCCTileGroupBoxの様々なフィールド(例えば、フィールドのセマンティック)は、以下を含み得る。
atls_track_IDは、VPCCTileGroupBoxによって表されるタイルグループが属するアトラストラックのトラックIDであり得る。
num_tile_groups_minus1+1は、トラックグループと関連付けられたV-PCCタイルグループ又はV-PCCタイルセットの数であり得る。
tile_group_idは、V-PCCタイルグループのID(例えば、ISO/IEC23090-5のatgh_addressとして追加的に提供される)であり得る。
VPCCTileGroupBoxは、例えば、トラックIDを使用する代替として、アトラスIDを使用し得る。VPCCTileGroupBoxは、VPCCTileGroupBoxによって表されるタイルグループが属するアトラスサブビットストリームのアトラスIDを使用し得る。この場合、例えば、VPCCTileGroupBoxは、TrackGroupTypeBox「vptg」を以下のように拡張し得る。
Figure 2023523393000009
この場合、VPCCTileGroupBoxの様々なフィールド(例えば、フィールドのセマンティック)は、以下を含み得る。
atlas_id、これは、VPCCTileGroupBoxによって表されるタイルグループが属するアトラスのアトラスIDに等しくなり得る。atlas_idは、例えば、V-PCCパラメータセット(V-PCC parameter set、VPS)中でシグナリングされ得るvps_atlas_id値のうちの1つに等しくなり得る。
num_tile_groups_minus1+1は、トラックグループと関連付けられたV-PCCタイルグループ又はV-PCCタイルセットの数であり得る。
tile_group_idは、V-PCCタイルグループのID(例えば、ISO/IEC23090-5のatgh_addressとして追加的に提供される)であり得る。
容積メタデータトラックは、点群シーン及び/又は3D空間分割内の1つ以上のオブジェクト(例えば、1つ以上の異なるオブジェクト)に関する情報を搬送し得るタイミングメタデータトラックであり得る。オブジェクト情報は、トラックのサンプル中で搬送され得る。タイミングメタデータトラックは、例えば、以下のように、MetadataSampleEntryを拡張し得る4CC「dyvm」を有する定義されたサンプルエントリ(例えば、DynamicVolumetricMetadataSampleEntry)を有し得る。
Figure 2023523393000010
容積メタデータトラックは、例えば、V-PCCトラック10002への「cdsc」トラック基準を含み得る。
容積メタデータトラックの1つ以上のサンプルは、例えば、1つ以上の対応するオブジェクトにマッピングされたV-PCCタイルグループ(例えば、V-PCCタイルセット)を搬送する1つ以上のトラックグループにオブジェクト識別子をマッピングし得るテーブルを含み得る。1つ以上のサンプルは、シグナリングされたオブジェクト(例えば、各シグナリングされたオブジェクト)の依存リストを含み得、依存リストは、シグナリングされたオブジェクトが依存する他のオブジェクトの識別子を含み得る。容積メタデータトラックのサンプルは、例えば、以下のように定義され得る。
Figure 2023523393000011
式中、3DSpatialRegionStructは、例えば、以下のように定義され得る。
Figure 2023523393000012
VPCCVolumetricMetadataSampleのフィールドのセマンティックは、例えば、以下のうちの1つ以上を含み得る。
region_updates_flagは、例えば、サンプルが3D空間領域への更新を含むかどうかを示し得る。
object_updates_flagは、例えば、サンプルが点群シーンオブジェクトへの更新を含むかどうかを示し得る。
num_obj_updatesは、例えば、サンプル内で更新された点群シーンオブジェクトの数を示し得る。
obj_index_length[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトのオブジェクトインデックス長(例えば、バイト数)を示し得る。
object_index[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトのインデックスを示し得る。
obj_cancel_flag[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが取り消されるどうかを示し得る。
obj_spatial_region_mapping_flag[i]は、例えば、空間領域へのマッピングがサンプルのオブジェクト更新リスト内のi番目のオブジェクトについてシグナリングされ得るかどうかを示し得る。
obj_depdendencies_present_flag[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトについてオブジェクト依存情報が利用可能であり得るかどうかを示し得る(例えば、ここで、値0は、オブジェクトが他のオブジェクトに依存しないことを示し得、値1は、オブジェクトが点群シーン内の1つ以上のオブジェクトに依存することを示し得る)。
obj_bounding_box_present_flag[i]は、例えば、3D境界ボックス情報がサンプルのオブジェクト更新リスト内のi番目のオブジェクトに利用可能であり得るかどうかを示し得る(例えば、ここで、値0は、境界ボックス情報が与えられていないことを示し得、値1は、i番目のオブジェクトの3D境界ボックス情報がサンプル中でシグナリングされ得ることを示し得る)。
num_spatial_regions[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得る3D空間領域の数を示し得る。
region_id[j][i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得るj番目の空間領域の識別子を示し得る。
num_track_groups[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得るトラックグループの数を示し得る。
track_group_id[j][i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得るj番目のトラックグループ(例えば、j番目のタイルセット)の識別子を示し得る。
num_obj_depedencies[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが依存し得るオブジェクトの数を示し得る。
obj_dep_index_length[j][i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが依存し得るj番目のオブジェクトのインデックスのバイト数での長さを示し得る。又は
obj_index[j][i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが依存し得るj番目のオブジェクトのインデックスを示し得る。
(例えば、追加的又は代替的な)実施形態では、容積メタデータトラックのサンプル内の更新されたオブジェクトは、例えば、1つ以上のオブジェクトと関連付けられたパッチを含むV-PCCタイルグループ(例えば、V-PCCタイルセット)にマッピング(例えば、直接マッピング)され得る。対応するサンプルフォーマット構文(例えば、この実施形態の)は、例えば、以下の通りであり得る。
Figure 2023523393000013
サンプルフォーマット構文内のフィールドのセマンティックは、例えば、例えば、以下のフィールドのうちの1つ以上を除いて、本明細書に記載の実施形態におけるサンプルフォーマット内のフィールドのセマンティックと同様であり得る。
num_tile_groups[i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得るV-PCCタイルグループ又はV-PCCタイルセットの数を示し得る。又は
tile_group_id[j][i]は、例えば、サンプルのオブジェクト更新リスト内のi番目のオブジェクトが関連付けられ得るj番目のV-PCCタイルグループ(例えば、j番目のV-PCCタイのセット)の識別子を示し得る。例えば、識別子は、V-PCCタイルグループのアトラスタイルグループヘッダ内のatgh_addressの値と同一であり得る(例えば、ここで、atgh_addressは、タイルグループのタイルグループアドレスを指定し得る)。atgh_addressの値は、例えば、存在しない場合、0に等しいと推測され得る。
容積メタデータトラック内のサンプル(例えば、任意のサンプル)は、同期サンプルとしてマーク付けされ得る。容積メタデータトラック内のサンプルについて、同じ復号化時間を有する、参照された視覚的容積ビデオベースコード化(Visual Volumetric Video-based Coding、V3C)トラック、並びにV3C及びアトラスタイルトラックメディアサンプル基準のうちの少なくとも1つが同期サンプルである場合、サンプルは同期サンプルとしてマーク付けされ得る。同期サンプルと同じ復号化時間を有しないサンプルは、同期サンプルとしてマーク付けされる場合がある(例えば、又はマーク付けされない場合がある)。タイミングメタデータトラック内の同期サンプルは、同期サンプルのタイムスタンプにおいて利用可能な空間領域及び/又はオブジェクト(例えば、利用可能な全ての空間領域及び/又はオブジェクト)についての情報を搬送し得る。タイミングメタデータトラック内の非同期サンプルは、第1の先行する同期サンプルまでの及びそれを含む以前のサンプルに対する空間領域及び/又は3Dオブジェクト情報への更新(例えば、更新のみ)を搬送し得る。
実施例では、例えば、同じアトラスタイルグループに属するトラックをグループ化するためにトラックグループ化が使用されず、アトラスタイルグループトラックが(例えば、トラック基準を使用して)関連付けられたコンポーネントトラックにリンクされている場合、容積メタデータトラックのサンプル内の更新されたオブジェクトは、アトラスタイルグループに関連する情報を搬送するアトラスタイルグループトラックに関連するトラックIDにマッピングされ得る。タイルグループトラックと関連付けられたV-PCCコンポーネントトラックは、例えば、アトラスタイルグループトラックからのトラック基準に従うことによって識別され得る。
(例えば、追加的又は代替的な)実施形態では、容積メタデータトラックのサンプルは、容積注釈SEIメッセージを搬送し得る。
(例えば、追加的又は代替的な)実施形態では、容積メタデータトラックは、例えば、点群シーン内の3D空間領域及び/又はオブジェクトのメタデータを搬送し得る一般的なトラックとして、(例えば、ISO/IEC CD23090-10で指定されているように)動的空間領域タイミングメタデータトラックを置き換え得る(例えば、又は、それと共に使用され得る)。
V-PCCアトラストラックが提供され得る。アトラスサブビットストリーム(例えば、各アトラスサブビットストリーム)は、例えば、V-PCCビットストリームが2つ以上のアトラスサブビットストリームを有する場合、アトラストラックと呼ばれる別個のトラック中で搬送され得る。アトラストラックは、トラックと関連付けられたアトラスサブビットストリームに属するアトラスNALユニットを搬送し(例えば、それのみを搬送し)得る。1つ以上のタイルグループ(例えば、1つ以上のタイルセット)と関連付けられたNALユニットは、例えば、アトラストラックと関連付けられたアトラスサブビットストリームが複数のアトラスタイルグループ(例えば、複数のアトラスタイルセット)を含む場合、別個のアトラスタイルグループトラック中で搬送され得る。
V-PCCビットストリームのアトラスサブビットストリームは、別個のアトラストラック中で搬送され得る。V-PCCトラック10002は、各アトラストラックへの(例えば、4CCを使用して定義された、ある特定のタイプの)トラック基準を含み得、これは、メイントラックをアトラストラックにリンクし得る。
V-PCCアトラストラックは、例えば、VPCCAtlasSampleEntryサンプル記述によって識別され得る。V-PCCアトラストラックのサンプルエントリタイプは、例えば、「vpa1」又は「vpag.」であり得る。VPCCAtlasSampleEntryの定義は、例えば、以下の通りであり得る。
Figure 2023523393000014
Figure 2023523393000015
サンプルエントリ(例えば、本明細書の実施例に示すような)は、V-PCCアトラストラックのメディアサンプルを記述し得る。実施例では、VPCCAtlasSampleEntryは、VPCCConfigurationBox.を含まない場合がある。例えば、VPCCConfigurationBoxは、メイン-V-PCCトラックのサンプル記述に含まれ得る。他のボックス(例えば、他の任意選択的なボックス)が含まれ得る。
VPCCAtlasSampleEntryのフィールドのセマンティックは、例えば、以下のうちの1つ以上を含み得る。
compressorname(例えば、ベースクラスVolumetricSampleEntry)は、例えば、値(例えば、「\013VPCC Coding」)と共に使用される圧縮器の名称を示し得、ここで、例えば、第1のバイトは、残りのバイトのカウント(例えば、\13により表され、ここで、13(例えば、8進数13)は11(例えば、10進数11)である)であり、バイト数はストリングの残りである。
lengthSizeMinusOne+1は、例えば、構成記録が適用されるアトラスストリーム中のサンプル内のNALUnitLengthフィールドの長さ(例えば、バイト単位の)を示し得(例えば、1バイトのサイズは、0の値で示され得る)、フィールドの値は、アトラスサブストリームのsample_stream_nal_header()内のssnh_unit_size_precision_bytes_minus1と等しくなり得る。
numOfSetupUnitArraysは、例えば、示されたタイプのアトラスNALユニットのアレイの数を示し得る。
array_completenessは、例えば、(例えば、1に等しい場合)所与のタイプのアトラスNALユニット(例えば、全てのアトラスNALユニット)が後続のアレイ中にあり得、ストリーム中にはないことを示し得、又は(例えば、0に等しい場合)示されたタイプの追加のアトラスNALユニットがストリーム内にあり得ることを示し得る(例えば、ここで、デフォルト値及び許容値がサンプルエントリ名によって制約され得る)。
NAL_unit_typeは、例えば、(例えば、示されたタイプを有し得る)後続のアレイ内のアトラスNALユニットのタイプを示し得、ここで、NAL_unit_typeは、(例えば、ISO/IEC23090-5で定義されるような)値を有し得、かつ/又は、ここで、NAL_unit_typeは、例えば、NAL_ASPS、NAL_AFPS、NAL_PREFIX_SEI、及び/又はNAL_SUFFIX_SEIアトラスNALユニットを示す1つ以上の値に制限され得る。
numNALUnitsは、例えば、構成記録が適用され得るストリームの構成記録に含まれ得る、示されたタイプのアトラスNALユニットの数を示し得、ここで、SEIアレイは、宣言的性質のSEIメッセージ(例えば、ユーザデータSEIなど、ストリーム全体についての情報を提供するSEIメッセージ)を含み得る(例えば、それのみを含み得る)。
SetupUnitLengthは、setupUnitフィールドのサイズ(例えば、バイト単位の)を示し得、ここで、長さフィールドは、例えば、NALユニットヘッダ及び/又はNALユニットペイロードのサイズを含み得、例えば、長さフィールドを含まない場合がある。又は
setupUnitは、(例えば、ISO/IEC23090-5で定義されるような)タイプNAL_ASPS、NAL_AFPS、NAL_PREFIX_SEI、又はNAL_SUFFIX_SEIのNALユニットを格納し得、ここで、NAL_PREFIX_SEI又はNAL_SUFFIX_SEI(例えば、setupUnit中に存在する場合)は、「宣言的」性質のSEIメッセージを格納し得る。
アトラス(例えば、同じアトラス)のトラックがグループ化され得る。実施例では、アトラスサブビットストリーム(例えば、同じアトラスサブビットストリーム)に属する情報を搬送するトラック(例えば、全てのトラック)は、例えば、トラックグループ化(例えば、ISO/IEC14496-12に記載されているような)及び/又は定義されたトラックグループタイプを使用して、共にグループ化され得る。アトラスのトラックグループは、例えば、アトラストラックと、アトラスと関連付けられ得るアトラスタイルグループトラック及びV-PCCコンポーネントトラックとを含み得る。トラックグループタイプは、例えば、「vpsg」TrackGroupTypeBoxを使用して、例えば、以下のように定義され得る(例えば、TrackGroupTypeBoxは、ISO/IEC14496-12において定義されるtrack_group_idフィールドを有し得る)。
Figure 2023523393000016
VPCCAtlasGroupBoxのフィールドのセマンティックは、例えば、以下を含み得る。
atlas_idは、例えば、トラックグループ内のトラックが関連付けられ得るアトラスのインデックスを示し得、ここで、例えば、インデックスの値は、0~63の包含範囲内にあり得る。
静的空間領域がシグナリングされ得る。静的3D空間領域は、V-PCCコンテンツのために定義され得る。アトラスタイルグループは、別個のトラックに搬送され得る。VPCCSpatialRegionsBox(例えば、ISO/IEC23090-10において提供されるような)は、タイルグループ(例えば、全てのタイルセット)が単一のアトラストラック又はタイルグループの各々(例えば、タイルセットの各々)がアトラスタイルグループトラックで別個に搬送されるかどうかを(例えば、all_tiles_in_single_track_flagなどのフラグを使用して)示すように拡張され得る。本明細書の例示的な構文で提供されるように、フラグに基づいたVPCCSpatialRegionsBoxは、アトラスタイルグループトラックに対応する様々なトラック(例えば、全てのトラック)のトラックグループのトラックグループIDを3D空間領域(例えば、VPCCSpatialRegionsBoxにおいてシグナリングされる3D空間領域)と関連付け得る。
VPCCSpatialRegionsBoxの例示的な構文は、以下のように提供され得る。
Figure 2023523393000017
VPCCSpatialRegionsBoxの様々なフィールドは、以下を含み得る。
all_tiles_in_single_track_flag、これは、タイル(例えば、全てのタイル)が対応するアトラスのV3Cトラック中で搬送されるかどうか、又はタイル(例えば、全てのタイル)がアトラスタイルトラック中で別々に搬送されるかどうかを示し得る。1の値は、例えば、タイル(例えば、全てのタイル)がV3Cトラック中で搬送されることを示し得る。0の値は、例えば、タイルが別個のアトラスタイル中で搬送されることを示し得る。
component_track_group_id、これは、関連付けられた3D空間領域のV3Cコンポーネントを搬送するトラックのトラックグループを識別し得るか、又は
tile_track_group_id、これは、関連付けられた3D空間領域のアトラスタイルトラックのトラックグループを識別し得る。
実施例では、例えば、アトラスタイルグループ(例えば、同じアトラスタイルグループ)に属するトラックをグループ化するためにトラックグループが使用されず、アトラスタイルグループトラックがトラック基準を使用して関連付けられたコンポーネントトラックにリンクされている場合に、3D空間領域と関連付けられたアトラスタイルグループトラックのトラックID(例えば、トラックIDのみ)がシグナリングされ得、アトラスタイルトラックのためのコンポーネントトラックが(例えば、アトラスタイルグループトラックからコンポーネントトラックへのトラック基準に従うことによって)識別され得る。
VPCCSpatialRegionsBoxの例示的な構文は、以下の通りであり得る。
Figure 2023523393000018
実施例では、tile_track_idは、3D空間領域と関連付けられたアトラスタイルグループトラックのトラックIDを表し得る。
ビューポート情報をシグナリングするシステム、方法、及び/又は手段が実装され得る。実施例では、1つ以上のカメラパラメータがシグナリングされ得る。6自由度(6DoF)ビューポートは、2つのタイプのカメラパラメータ、例えば、外部カメラパラメータ及び内部カメラパラメータによって定義され得る。外部カメラパラメータは、(例えば、ExtCameraInfoStructデータ構造を使用して)シグナリングされ得る。
ExtCameraInfoStruct データ構造の例示的な構文は、以下の通りであり得る。
Figure 2023523393000019
ExtCameraInfoStructで定義されたフィールドのセマンティックは、以下の通りであり得る。
pos_x、pos_y、及びpos_zは、それぞれ、グローバル基準座標系におけるビューポートの位置のx、y、及びz座標を(例えば、メートルで)示し得る。座標の値は、2-16メートルの単位であり得る。
quat_x、quat_y、及びquat_zは、それぞれ、四元数表現を使用してビューポート領域の回転のx、y、及びzコンポーネントを示し得る。座標の値は、-1~1の包括範囲内の浮動小数点値であり得る。値は、四元数表現を使用して、グローバル座標軸をカメラのローカル座標軸に変換するために適用される回転のx、y、及びzコンポーネント、すなわちqX、qY、及びqZを指定し得る。四元数qWの第4のコンポーネントは、以下のように計算され得る。
qW=sqrt(1-(qX+qY+qZ))
点(w、x、y、z)は、ベクトル(x、y、z)によって方向付けられた軸の周りの角度2cos^{-1}(w)=2sin^{-1}(sqrt(x^{2}y^{2}z^{2})による回転を表し得る。
内部カメラパラメータは、例えば、IntCameraInfoStructデータ構造を使用してシグナリングされ得る。
ビューポート情報(例えば、ViewportInfoStructデータ構造を使用する)、例えば、外部及び内部カメラパラメータに基づいてシグナリングされ得る。
ViewportInfoStructデータ構造の例示的な構文は、以下の通りであり得る。
Figure 2023523393000020
ViewportInfoStructで定義されたフィールドのセマンティックは、以下の通りであり得る。
center_view_flagは、シグナリングされたビューポート位置が、ビューポートの中心に対応するか、及び/又はビューポートの2つのステレオ位置のうちの一方に対応するかを示すフラグであり得る。値1は、シグナリングされたビューポート位置がビューポートの中心に対応することを示し得る。値0は、シグナリングされたビューポート位置が、ビューポートの2つのステレオ位置のうちの一方に対応することを示し得る。
left_view_flagは、シグナリングされたビューポート情報が、ビューポートの左側ステレオ位置であるか、右側ステレオ位置であるかを示すフラグであり得る。値1は、シグナリングされたビューポート情報がビューポートの左側ステレオ位置に対応することを示し得る。値0は、シグナリングされたビューポート情報がビューポートの右側ステレオ位置に対応することを示し得る。
extCamInfoは、ビューポートの外部カメラパラメータを定義するExtCameraInfoStructのインスタンスであり得る。
intCamInfoは、ビューポートの内部カメラパラメータを定義するIntCameraInfoStructインスタンスであり得る。
ビューポートタイミングメタデータトラックが実装され得る。実施例では、6DoFビューポートを示すための一般的なタイミングメタデータトラックは、SampleDescriptionBox中にViewportInfoSampleEntryを含み得る。タイミングメタデータトラックの目的は、トラックサンプルエントリタイプによって示され得る。例示的なViewportInfoSampleEntryデータ構造は、ViewportConfigurationBoxデータ構造(例えば、1つのViewportConfigurationBoxデータ構造)を含み得る。
ViewportConfigurationBoxデータ構造の例示的な構文は、以下の通りであり得る。
Figure 2023523393000021
ViewportConfigurationBoxデータ構造で定義されたフィールドのセマンティックは、以下の通りであり得る。
dynamic_int_camera_flagが0に等しいことは、サンプルエントリを参照する全てのサンプルについて内部カメラパラメータが固定されていることを示し得る。dynamic_ext_camera_flagが0に等しい場合、dynamic_int_camera_flagは、0に等しくあり得る。
dynamic_ext_camera_flagが0に等しいことは、サンプルエントリを参照する全てのサンプルについて外部カメラパラメータが固定されることを示し得る。
ビューポートメタデータトラック(例えば、全てのビューポートメタデータトラック)のサンプルフォーマットは、共通部分から開始され得、その後、ビューポートメタデータトラックのサンプルエントリに特有であり得る拡張部分が続き得る。ビューポートメタデータトラックのサンプルフォーマットが実装され得る。
ViewportInfoSampleデータ構造の例示的な構文は、以下の通りであり得る。
Figure 2023523393000022
ViewportInfoSampleで定義されたフィールドのセマンティックは、以下の通りであり得る。
num_viewportsは、サンプルでシグナリングされたビューポートの数を示し得る。
viewport_id[i]は、i番目のビューポートを識別するために使用され得る識別子番号であり得る。
viewport_cancel_flag[i]が1に等しいことは、ID、viewport_id[i]を有するビューポートが取り消された場合があることを示し得る。i番目のビューポートのビューポート情報が続くことを示す(例えば、フラグ値が0であることを条件とし得る)。
int_camera_flag[i]が1に等しいことは、内部カメラパラメータが現在のサンプルのi番目のビューポートカメラパラメータセットに存在することを示し得る。int_camera_flag[i]は、例えば、dynamic_int_camera_flagが0に等しい場合、0に等しくなり得る。更に、int_camera_flag[i]は、例えば、ext_camera_flagが0に等しい場合、0として設定され得る。
ext_camera_flag[i]が1に等しいことは、外部カメラパラメータが現在のサンプルのi番目のビューポートカメラパラメータセットに存在することを示し得る。ext_camera_flag[i]は、例えば、dynamic_camera_flag[i]が0に等しい場合、0に等しくなり得る。
ビューポート対ニングメタデータトラックが存在する場合、ExtCameraInfoStruct()によって表現される外部カメラパラメータは、例えば、サンプルエントリ又はサンプルレベルに存在し得る。以下は、同時に起こることが禁止され得る。dynamic_ext_camera_flagが全てのサンプルについて0に等しく、かつext_cam_flag[i]が全てのサンプルについて0に等しい。
タイミングメタデータトラックが、「cdsc」トラック基準を有する1つ以上のメディアトラックにリンクしている場合、タイミングメタデータトラックは、1つ以上のメディアトラック(例えば、各メディアトラック)を個別に記述し得る。
推奨ビューポートが実装され得る。推奨ビューポートメタデータトラックは、RecommendedViewportSampleEntryデータ構造を含み得る。RecommendedViewportSampleEntryデータ構造は、ViewportInfoSampleEntryデータ構造を拡張し得、推奨ビューポートメタデータトラック中でシグナリングされた推奨ビューポートのタイプを識別し得る、追加のRecommendedViewportInfoBoxを含み得る。
RecommendedViewportSampleEntryデータ構造の例示的な構文は、以下の通りであり得る。
Figure 2023523393000023
RecommendedViewportInfoBoxで定義されたフィールドのセマンティックは、以下の通りであり得る。
viewport_typeは、RecommendedViewportInfoBoxを含むサンプルエントリを参照する全てのサンプルについて、表3に列挙されているように、ビューポートタイプを指定し得る。
viewport_descriptionは、sビューポートタイプのテキスト記述を提供するヌル終端UTF-8ストリングであり得る。
表3は、ビューポートタイプの実施例を示している。
Figure 2023523393000024
ビューポートメタデータトラック内のサンプルは、ViewportInfoSampleと同じフォーマットを有し得る。
初期ビューポートが実装され得る。実施例では、メタデータは、例えば、関連付けられたメディアトラックを再生する場合に使用されるべき初期ビューポートを示し得る。
ファイルを再生する場合(例えば、ファイルが初期ビューポートメタデータトラックを含むとき)、プレーヤは、メディアトラックと関連付けられた初期ビューポートメタデータトラックを解析し、メディアトラックをレンダリングするときに初期ビューポートメタデータトラックを解析することが予想され得る。
データ構造、ViewportInfoSampleEntryは、例えば、初期ビューポートメタデータトラックに使用され得るサンプルエントリタイプ「6inv」で実装され得る。
初期ビューポートトラックのサンプルが実装され得る。
InitialViewportSampleデータ構造の例示的な構文は、以下の形式を有し得る。
Figure 2023523393000025
InitialViewportSampleで定義されたフィールドのセマンティックは、以下の通りであり得る。
refresh_flagが0に等しいことは、例えば、関連付けられたメディアトラック内の時間並列サンプルから再生を開始する場合、シグナリングされたビューポートが使用されるべきであることを指定し得る。refresh_flagが1に等しいことは、例えば、各関連付けられたメディアトラックの時間並列サンプルをレンダリングする場合、連続再生するとき及び再生を時間並列サンプルから開始するときの両方で、シグナリングされたビューポートが常に使用されるべきであることを指定し得る。
空間的スケーラビリティがサポートされ得る。実施例では、パッチ(例えば、V3Cにおける)は、パッチの関連付けられた情報をコード化する前に、異なる次元にわたってパッチをサブサンプリングすることを可能にする特徴をサポートし得る。特徴は、詳細レベル(level of detail、LoD)パッチモードと称され得る。アトラスタイルは、アトラスを独立して復号化可能な矩形領域に分割することを可能にし得る。一実施例では、独立して復号化可能な矩形領域内のパッチは、他の独立したて復号化可能な矩形領域のパッチからの情報を使用することが許可されない場合がある。アトラスタイルとパッチLoDモードとを組み合わせることにより、異なる用途で使用するための様々なスケーラビリティ特徴が可能になり得る。
静的空間領域のLoD(詳細レベル)がシグナリングされ得る。静的空間領域のLoDをシグナリングするために、V3CSpatialRegionsBoxの構文が、追加のspatial_scalability_enabled_flagを導入することによって拡張され得る。spatial_scalability_enabled_flagは、搬送されたV3Cコンテンツに対して複数のLoDがサポートされるかどうかをシグナリングし得る。フラグが設定されている場合、V3CSpatialRegionsBox中でシグナリングされた3D空間領域(例えば、各3D空間領域)は、3D空間領域に利用可能なLoDの数を示す追加のnum_lodsフィールドを含み得る。空間領域と関連付けられた各LoDについて、LoDの特性がシグナリングされ得る。一実施例では、LoDのパッチを格納するタイルの対応するタイルIDへのマッピングがシグナリングされ得る。
V3CSpatialRegionsBoxデータ構造の例示的な構文(例えば、複数のLoDをサポートするための拡張)は、以下のフォーマットを有し得る。
Figure 2023523393000026
上記で定義されたフィールドのためのセマンティックは、以下の通りであり得る。
lod_scale_min_x及びlod_scale_min_yは、LoDと関連付けられた1つ以上のタイル中の1つ以上のパッチのローカルx及びy座標に対する最小LoDスケーリング係数(例えば、LoD中のバッチ(例えば、全てのパッチ)にわたって、それぞれ、最小pdu_lod_scale_x_minus1値、及び最小pdu_lod_scale_y_idc値)を示し得る。
lod_scale_max_x及びlod_scale_max_yは、LoDと関連付けられた1つ以上のタイル中の1つ以上のパッチのローカルx及びy座標に対する最大LoDスケーリング係数(例えば、LoD中のパッチ(例えば、全てのパッチ)にわたって、それぞれ、maximum pdu_lod_scale_x_minus1値、及び最大pdu_lod_scale_y_idc値)の値を示し得る。
動的空間領域のLoDが、シグナリングされ得る。動的空間領域のLoDをシグナリングするために、容積メタデータトラックの1つ以上のサンプルのサンプルフォーマットは、サンプル中に列挙された空間領域(例えば、各空間領域)のLoDをシグナリングすることをサポートし得る。LoDと、LoD(例えば、各LoD)のパッチを格納するアトラスタイルとの間のマッピングがシグナリングされ得る。
VPCCVolumetricMetadaataSampleデータ構造の例示的な構文は、以下の形式を有し得る。
Figure 2023523393000027
実施例では、object_updates_flagは、追加されたオブジェクト及び/又は除去されたオブジェクトのうちの1つ以上と関連付けられ得る。
プレーヤの挙動は、適応LoDに基づいて実装され得る。実施例では、プレーヤは、例えば、ファイルを解析し、V3CトラックへのDynamicVolumericMetadaasasampleEntry及び「cdsc」トラック基準を有するタイミングメタデータトラックを見つける場合、動的容積メタデータの存在を識別し得る。例えば、動的容積メタデータトラックがV3Cコンテンツのメイントラックと関連付けられておらず、V3CSpatialRegionsBoxがメイントラックに存在する場合、静的3D空間領域セットは、V3Cコンテンツと関連付けられ得る。再生中のある時点(例えば、任意の時点)において、プレーヤは、現在のビューポートと、V3CSpatialRegionsBox(静的空間領域の場合)において、又は動的容積メタデータトラック(例えば、動的空間領域の場合)のサンプルにおいてシグナリングされた1つ以上の空間領域の特性とに基づいて、ターゲット3D空間領域セットを識別し得る。例えば、V3CSpatialRegionsBoxにおいてシグナリングされた3D空間領域及び/又はオブジェクト、又は動的容積メタデータトラック内のサンプルに対してスケーラビリティが有効にされる場合、プレーヤは、1つ以上の制約(例えば、現在のビューポート及び/又は利用可能なネットワーク帯域幅)に基づいて、ターゲット空間領域の各々について所望のLoDを決定し得る。各ターゲット空間領域の各ターゲットLoDについて、プレーヤは、V3CSpatialRegionsBox又は動的容積メタデータトラックのサンプル中のマッピングに基づいて、LoDと関連付けられたタイルのタイルIDを識別し得る。プレーヤは、ターゲットLoDと関連付けられたタイルを搬送するアトラスタイルトラックを(例えば、アトラスタイルトラックのサンプルエントリ内のタイルIDを検査することによって)識別し得る。対応するコンポーネントトラックは、選択されたアトラスタイルトラックからコンポーネントトラックへのトラック基準に従うことによって識別され得る。
LoD情報は、アトラスタイルトラック中でシグナリングされ得る。LoDへの効率的なアクセスを容易にするために、アトラスタイルトラックによって搬送されるタイルは、同じLoDと関連付けられたタイルに制限され得る。ストリーミングアプリケーションの場合、これは、プレーヤ及び/又はストリーミングクライアントが、ターゲットLoDを提供するタイルトラックからデータをダウンロードすることを可能にし得る。
AltasTileSampleEntryの例示的な構文は、アトラスタイルトラックによって搬送されるタイルのLoD情報をシグナリングすることを可能にし得る。
Figure 2023523393000028
上記で定義されたフィールドのためのセマンティックは、以下の通りであり得る。
spatial_scalability_enabled_flagは、タイルトラックトラックに対してLoDモードが有効であるかどうかを示し得る。
lod_idは、LoDの識別子であり得る。
LoDInfoStruct()は、LoDInfoStructのインスタンスであり得、これは、LoDの情報を搬送する。
実施例では、アトラスタイルは、異なるLoDと関連付けられたタイルトラックを含み得る。
AtlasTileSampleEntryの例示的な構文は、例えば、以下のように、2つの使用事例(例えば、アトラスタイルトラックの単一のLoD及びタイル当たりの複数のLoD)をサポートするために提供され得る。
Figure 2023523393000029
上記に開示されたフラグのセマンティックは、以下の通りであり得る。
single_lod_flagは、アトラスタイルトラックによって搬送される全てのタイルが同じLoDに属するか否かを示し得る。値1は、全てのタイルが同じLoDに属することを示し得る。そうでなければ、各タイルは、異なるLoDと関連付けられ得る。
図11は、3D空間と関連付けられたアトラスフレームのタイルマッピングの実施例を示している。3D空間は、図11にV0、V1、V2、V3、及びV4として示す、1つ以上の空間領域に分割され得る。空間領域の各々は、アトラスフレームと関連付けられたV-PCCタイルセット(例えば、V-PCCタイルグループ)にマッピングされ得る。V0、V1、V2、V3、及びV4は、それぞれ、タイルグループ0、1、2、3、及び4にマッピングされ得る。空間領域の各々をタイルセットにマッピングすることは、図10に関して記載したように、タイル識別情報(例えば、tile_group_id)に基づき得る。
タイルセットへの各空間領域のマッピングと関連付けられたマッピング情報は、複数のトラックで搬送され得る。例えば、空間領域V0をタイルグループ0にマッピングすることと関連付けられたマッピング情報は、トラック0で搬送され得、空間領域V1をタイルグループ1にマッピングすることと関連付けられたマッピング情報は、トラック1で搬送され得る。トラック識別情報(例えば、track_group_id)は、図10に関して記載したように、マッピング情報を調整するために使用され得る。トラッキング識別情報及び/又はタイル識別は、タイミングメタデータV-PCCビットストリーム中でシグナリングされ得る。かかる場合、シグナリングされたトラッキング識別情報と関連付けられたトラックが復号化され得、マッピング情報を関連付けられたタイルセットに提示し得る。
オブジェクト11000は、1つ以上の空間領域と関連付けられ得る。オブジェクトは、ユーザが関心を持ち得るエリア及び/又はアイテムであり得る。1つ以上のフラグ(例えば、obj_spatial_region_mapping_flag[i]))は、図10に関して記載したように、オブジェクトが1つ以上の空間領域と関連付けられていることを示すために使用され得る。フラグは、タイミングメタデータV-PCCビットストリーム中でシグナリングされ得る。
1つ以上のフラグは、図10に記載したように、空間領域(例えば、region_updates_flag)及び/又はオブジェクト(例えば、object_updates_flag)と関連付けられた変化(例えば、更新)を示すために使用され得る。フラグは、タイルセットと関連付けられたトラック中で搬送され得る。フラグを含むトラックは、復号化され得、マッピング情報は、更新された空間領域と関連付けられたタイルセットにアクセスするために使用され得るが、例えば、フラグのないトラックは、復号化される必要がない。
1つ以上のパッチが、タイルセットと関連付けられ得る。実施例では、パッチは、タイルセット(例えば、タイルグループ)にマッピングされ得る。図11の例として示すように、タイルグループ0は、パッチP0、P1、P2、P3、及びP4を含み得る。タイルグループ1は、パッチP0及びP1を含み得る。タイルグループ2は、パッチP0、P1、及びP2を含み得、タイルグループ3は、パッチP0を含み得る。タイルグループ4は、パッチP1、P2、及びP3を含み得る。パッチは、空間領域によって表されるオブジェクトと関連付けられた向きを示し得る。
ビデオベース点群ストリームのための国際標準化機構ベースメディアファイルフォーマット(ISOBMFF)コンテナにおける部分的なアクセスサポートのためのシステム、デバイス、及び方法が本明細書に記載されている。ファイルフォーマット構造は、(例えば、ISOBMFFコンテナ中にカプセル化された)コード化点群シーケンスの異なる部分への柔軟な部分的なアクセスを可能にし得る。
ビデオ符号化デバイスは、3D空間を第1の空間領域及び第2の空間領域に分割し得る。ビデオ符号化デバイスは、第1の空間領域を第1のV-PCCタイルセットにマッピングし、第2の空間領域を第2のV-PCCタイルセットにマッピングし得る。第1のV-PCCタイルセット及び第2のV-PCCタイルセットの各々は、アトラスフレームと関連付けられ得る。第1のV-PCCタイルセット及び第2のV-PCCタイルセットの各々は、独立して復号化可能であり得る。第1の空間領域を第1のV-PCCタイルセットに、及び第2の空間領域を第2のV-PCCタイルセットに各々マッピングすることは、タイル識別及び/又はトラック識別に基づき得る。第1のV-PCCタイルセットは、第1のパッチセットと関連付けられ得、第2のV-PCCタイルセットは、第2のパッチセットと関連付けられ得る。ビデオ符号化デバイスは、第1のV-PCCタイルセットにマッピングされた第1の空間領域と関連付けられた第1のマッピング情報を搬送する第1のトラックを判定し得る。ビデオ符号化デバイスは、第2のV-PCCタイルにマッピングされた第2の空間領域と関連付けられた第2のマッピング情報を搬送する第2のトラックを判定し得る。ビデオ符号化デバイスは、第1のトラック及び第2のトラックをタイミングメタデータV-PCCビットストリーム中で送付し得る。第1のトラック及び第2のトラックは、メディアコンテナファイル内で送付され得る。
ビデオ符号化デバイスは、更新次元フラグを判定し得る。更新次元フラグは、第1の空間領域の1つ以上の次元への更新又は第2の空間領域の1つ以上の次元への更新を示し得る。ビデオ符号化デバイスは、更新次元フラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。
第1の空間領域は、第1のオブジェクトと関連付けられ得る。第2の空間領域は、第2のオブジェクトと関連付けられ得る。ビデオ符号化デバイスは、第1の空間領域が第1のオブジェクトと関連付けられ、第2の空間領域が第2のオブジェクトと関連付けられていることを示す1つ以上のオブジェクトフラグを判定し得る。ビデオ符号化デバイスは、オブジェクトフラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。ビデオ符号化デバイスは、第1の空間領域と関連付けられた第1のオブジェクトが第2の空間領域と関連付けられた第2のオブジェクトに依存することを示すオブジェクト依存フラグを判定し得、オブジェクト依存フラグをタイミングメタデータV-PCCビットストリーム中で送付し得る。ビデオ符号化デバイスは、第1の空間領域と関連付けられた第1のオブジェクトへの更新、又は第2の空間領域と関連付けられた第2のオブジェクトへの更新を示す更新オブジェクトフラグを判定し得、更新オブジェクトフラグをタイミングメタデータV-PCCビットストリーム中で送信し得る。
特徴及び要素は、特定の組み合わせにおいて上で説明されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。更に、本明細書に説明される方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアに実装され得る。コンピュータ可読媒体の例には、電子信号(有線又は無線接続を介して送信される)及びコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びCD-ROMディスク及びデジタル多用途ディスク(digital versatile disk、DVD)などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC又は任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装し得る。

Claims (20)

  1. ビデオ符号化デバイスであって、
    プロセッサであって、
    三次元(3D)空間を第1の空間領域及び第2の空間領域に分割することと、
    前記第1の空間領域を、第1のビデオ点群コード化(V-PCC)タイルセットにマッピングし、前記第2の空間領域を第2のV-PCCタイルセットにマッピングすることであって、前記第1のV-PCCタイルセット及び前記第2のV-PCCタイルセットの各々が、アトラスフレームと関連付けられている、マッピングすることと、
    前記第1のV-PCCタイルセットにマッピングされた前記第1の空間領域と関連付けられた第1のマッピング情報を搬送する第1のトラックを判定することと、
    前記第2のV-PCCタイルセットにマッピングされた前記第2の空間領域と関連付けられた第2のマッピング情報を搬送する第2のトラックを判定することと、
    前記第1のトラック及び前記第2のトラックをタイミングメタデータV-PCCビットストリーム中で送付することと、を行うように構成されている、プロセッサ、を備える、ビデオ符号化デバイス。
  2. 前記プロセッサが、
    前記第1の空間領域の1つ以上の次元への更新、又は前記第2の空間領域の1つ以上の次元への更新を示す、更新次元フラグを判定することと、
    前記更新次元フラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を行うように更に構成されている、請求項1に記載のビデオ符号化デバイス。
  3. 前記第1の空間領域を前記第1のV-PCCタイルセットに、及び前記第2の空間領域を前記第2のV-PCCタイルセットに各々マッピングすることが、タイル識別又はトラック識別に基づく、請求項1に記載のビデオ符号化デバイス。
  4. 前記第1の空間領域が、第1のオブジェクトと関連付けられており、前記第2の空間領域が、第2のオブジェクトと関連付けられている、請求項1に記載のビデオ符号化デバイス。
  5. 前記プロセッサが、
    1つ以上の空間領域へのマッピングがシグナリングされているかどうかを示すオブジェクトフラグを判定することと、
    前記オブジェクトフラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を行うように更に構成されている、請求項4に記載のビデオ符号化デバイス。
  6. 前記プロセッサが、
    前記第1の空間領域と関連付けられた前記第1のオブジェクトが前記第2の空間領域と関連付けられた前記第2のオブジェクトに依存することを示すオブジェクト依存フラグを判定することと、
    前記オブジェクト依存フラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を行うように更に構成されている、請求項4に記載のビデオ符号化デバイス。
  7. 前記プロセッサが、
    前記第1の空間領域と関連付けられた前記第1のオブジェクトへの更新、又は前記第2のオブジェクト関連の前記第2の空間領域への更新を示す更新オブジェクトフラグを判定することと、
    前記更新オブジェクトフラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を行うように更に構成されている、請求項4に記載のビデオ符号化デバイス。
  8. 前記第1の空間領域及び前記第2の空間領域が、1つのオブジェクトと関連付けられている、請求項1に記載のビデオ符号化デバイス。
  9. 前記プロセッサが、
    前記第1の空間領域及び前記第2の空間領域が1つのオブジェクトと関連付けられていることを示すオブジェクトフラグを判定することと、
    前記オブジェクトフラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を行うように更に構成されている、請求項8に記載のビデオ符号化デバイス。
  10. 前記第1のV-PCCタイルセットが、第1のパッチセットと関連付けられており、前記第2のV-PCCタイルセットが、第2のパッチセットと関連付けられている、請求項1に記載のビデオ符号化デバイス。
  11. 前記第1のV-PCCタイルセット及び前記第2のV-PCCタイルセットの各々が、独立して復号化可能である、請求項1に記載のビデオ符号化デバイス。
  12. 前記第1のトラック及び前記第2のトラックが、メディアコンテナファイル内で送付される、請求項1に記載のビデオ符号化デバイス。
  13. 方法であって、
    三次元(3D)空間を第1の空間領域及び第2の空間領域に分割することと、
    第1の空間領域を第1のビデオ点群コード化(V-PCC)タイルセットにマッピングし、第2の空間領域を第2のV-PCCタイルセットにマッピングすることであって、前記第1のV-PCCタイルセット及び前記第2のV-PCCタイルセットの各々がアトラスフレームと関連付けられている、マッピングすることと、
    前記第1のV-PCCタイルセットにマッピングされた前記第1の空間領域と関連付けられた第1のマッピング情報を搬送する第1のトラックを判定することと、
    前記第2のV-PCCタイルセットにマッピングされた前記第2の空間領域と関連付けられた第2のマッピング情報を搬送する第2のトラックを判定することと、
    前記第1のトラック及び前記第2のトラックをタイミングメタデータV-PCCビットストリーム中で送付することと、を含む、方法。
  14. 前記第1の空間領域の1つ以上の次元への更新又は前記第2の空間領域の1つ以上の次元への更新を示す更新次元フラグを判定することと、
    前記更新次元フラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を更に含む、請求項13に記載の方法。
  15. 前記第1の空間領域を前記第1のV-PCCタイルセットに、及び前記第2の空間領域を前記第2のV-PCCタイルセットに各々マッピングすることが、タイル識別又はトラック識別に基づく、請求項13に記載の方法。
  16. 前記第1の空間領域が、第1のオブジェクトと関連付けられており、前記第2の空間領域が、第2のオブジェクトと関連付けられている、請求項13に記載の方法。
  17. 1つ以上の空間領域へのマッピングがシグナリングされているかどうかを示すオブジェクトフラグを判定することと、
    前記オブジェクトフラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を更に含む、請求項16に記載の方法。
  18. 前記第1の空間領域と関連付けられた前記第1のオブジェクトが前記第2の空間領域と関連付けられた前記第2のオブジェクトに依存することを示すオブジェクト依存フラグを判定することと、
    前記オブジェクト依存フラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を更に含む、請求項16に記載の方法。
  19. 前記第1の空間領域と関連付けられた前記第1のオブジェクトへの更新、又は前記第2のオブジェクト関連の前記第2の空間領域への更新を示す、更新オブジェクトフラグを判定することと、
    前記更新オブジェクトフラグを前記タイミングメタデータV-PCCビットストリーム中で送付することと、を更に含む、請求項16に記載の方法。
  20. 前記第1の空間領域及び前記第2の空間領域が、1つのオブジェクトと関連付けられている、請求項13に記載の方法。
JP2022562611A 2020-04-14 2021-04-14 ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート Pending JP2023523393A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202063009931P 2020-04-14 2020-04-14
US63/009,931 2020-04-14
US202063042892P 2020-06-23 2020-06-23
US63/042,892 2020-06-23
US202063062983P 2020-08-07 2020-08-07
US63/062,983 2020-08-07
US202063087425P 2020-10-05 2020-10-05
US63/087,425 2020-10-05
PCT/US2021/027206 WO2021211665A1 (en) 2020-04-14 2021-04-14 Partial access support in isobmff containers for video-based point cloud streams

Publications (2)

Publication Number Publication Date
JP2023523393A true JP2023523393A (ja) 2023-06-05
JPWO2021211665A5 JPWO2021211665A5 (ja) 2024-04-30

Family

ID=75787291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022562611A Pending JP2023523393A (ja) 2020-04-14 2021-04-14 ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート

Country Status (8)

Country Link
US (1) US20230188751A1 (ja)
EP (1) EP4136846A1 (ja)
JP (1) JP2023523393A (ja)
KR (1) KR20230002615A (ja)
CN (1) CN115486076A (ja)
IL (1) IL297255A (ja)
TW (1) TW202205857A (ja)
WO (1) WO2021211665A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7487742B2 (ja) * 2019-12-13 2024-05-21 ソニーグループ株式会社 画像処理装置および方法
EP4167573A4 (en) * 2020-06-12 2023-12-13 Sony Group Corporation DEVICE AND METHOD FOR PROCESSING INFORMATION
CN115941995A (zh) * 2021-08-23 2023-04-07 腾讯科技(深圳)有限公司 媒体文件封装与解封装方法、装置、设备及存储介质
TWI843116B (zh) * 2022-06-02 2024-05-21 鴻海精密工業股份有限公司 移動物體檢測方法、裝置、電子設備及存儲介質
GB2629152A (en) * 2023-04-17 2024-10-23 Canon Kk Method, device, and computer program for improving random access in point cloud data bit-stream

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
WO2020070379A1 (en) * 2018-10-03 2020-04-09 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
WO2021093153A1 (en) * 2020-01-08 2021-05-20 Zte Corporation Point cloud data processing

Also Published As

Publication number Publication date
US20230188751A1 (en) 2023-06-15
EP4136846A1 (en) 2023-02-22
TW202205857A (zh) 2022-02-01
KR20230002615A (ko) 2023-01-05
WO2021211665A1 (en) 2021-10-21
CN115486076A (zh) 2022-12-16
IL297255A (en) 2022-12-01

Similar Documents

Publication Publication Date Title
AU2019342612B2 (en) Methods and apparatus for point cloud compression bitstream format
JP2023523393A (ja) ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート
US20240195999A1 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
JP2023536725A (ja) ジオメトリベースのポイントクラウドデータのためのタイルトラック
KR20220065861A (ko) 비디오 기반 포인트 클라우드 스트림들
US20220239947A1 (en) Video-based point cloud streams
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
CN116830588A (zh) 用于基于视觉体积视频(v3c)媒体和基于几何的点云(g-pcc)媒体的流式传输的mmt信令
KR20240089338A (ko) 기하구조 기반 포인트 클라우드의 적응적 스트리밍
WO2024006279A1 (en) Signaling parameter sets for geometry-based point cloud streams
KR20240136401A (ko) 몰입형 장면 설명에서의 볼륨 비주얼 비디오 기반 코딩 콘텐츠의 시그널링

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240415