JP2023536725A - ジオメトリベースのポイントクラウドデータのためのタイルトラック - Google Patents

ジオメトリベースのポイントクラウドデータのためのタイルトラック Download PDF

Info

Publication number
JP2023536725A
JP2023536725A JP2023506480A JP2023506480A JP2023536725A JP 2023536725 A JP2023536725 A JP 2023536725A JP 2023506480 A JP2023506480 A JP 2023506480A JP 2023506480 A JP2023506480 A JP 2023506480A JP 2023536725 A JP2023536725 A JP 2023536725A
Authority
JP
Japan
Prior art keywords
tile
track
pcc
geometry
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023506480A
Other languages
English (en)
Inventor
グドゥマス、シュリーニヴァス
ハムザ、アフマド
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2023536725A publication Critical patent/JP2023536725A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)

Abstract

方法及び装置は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することを含む。復号デバイスは、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定する。決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックは、通信ネットワークを介して取り出される。各ジオメトリタイルトラックは、それぞれのタイルに対するポイントクラウドジオメトリデータを含む。取り出されたジオメトリタイルトラックは、処理される。【選択図】図9

Description

(関連出願の相互参照)
本出願は、2020年8月7日に出願された「Tile Tracks for Geometry-Based Point Cloud Data」と題された米国特許仮出願第63/063,167号の非仮出願であり、米国特許法第119条(e)の下でその利益を主張し、参照によりその全体が本明細書に組み込まれ、2020年10月5日に出願された「Tile Tracks for Geometry-Based Point Cloud Data」と題された米国特許仮出願第63/087,683号の非仮出願であり、米国特許法第119条(e)の下でその利益を主張し、参照によりその全体が本明細書に組み込まれ、2021年3月12日に出願された「Tile Tracks for Geometry-Based Point Cloud Data」と題された米国特許仮出願第63/160,223号の非仮出願であり、米国特許法第119条(e)の下でその利益を主張し、参照によりその全体が本明細書に組み込まれ、2021年7月1日に出願された「Tile Tracks for Geometry-Based Point Cloud Data」と題された米国特許仮出願第63/217,638号の非仮出願であり、米国特許法第119条(e)の下でその利益を主張し、参照によりその全体が本明細書に組み込まれる。
没入型メディアの高度な表現として、近年、高品質の3Dポイントクラウドが出現した。ポイントクラウドは、各ポイントと関連付けられた色、透明度、レーザの反射率又は材料特性などのような1つ以上の属性と共に各ポイントの場所を示す座標を使用して3D空間内で表される、ポイントのセットからなる。ポイントクラウドは、いくつかの方式で捕捉され得る。例えば、ポイントクラウドを捕捉するための1つの技法は、複数のカメラ及び深度センサを使用する。光検出及び測距(Light Detection and Ranging、LiDAR)レーザスキャナもまた、ポイントクラウドを捕捉するために一般的に使用される。ポイントクラウドを使用してオブジェクト及びシーンを現実的に再構築するために必要とされるポイントの数は、数百万(又は更には数十億)ほどになる。したがって、効率的に表現及び圧縮することが、ポイントクラウドデータを記憶及び伝送するために不可欠である。
3Dポイントの捕捉及びレンダリングにおける技術の近年の進歩により、テレプレゼンス、仮想現実、及び大規模動的3Dマップの分野における新規のアプリケーションが実現した(N16331,「Use Cases for Point Cloud Compression(PCC)」,MPEG 115,June 2016)。ISO/IEC JTC1/SC29/WG11 Moving Picture Experts Group(MPEG)の3D Graphicsサブグループは現在、2つの3Dポイントクラウド圧縮(point cloud compression、PCC)規格である、静的ポイントクラウドのためのジオメトリベースの圧縮規格及び動的ポイントクラウドのためのビデオベースの圧縮規格の開発に取り組んでいる。これらの規格の目標は、3Dポイントクラウドの、効率的で相互運用可能な記憶及び伝送をサポートすることである。これらの規格の要件の1つは、ポイントクラウドジオメトリ座標及び属性の、ロッシーコーディング及び/又はロスレスコーディングをサポートすることである。
仮想現実及び没入型三次元(three-dimensional、3D)グラフィックスなどの新しいメディアが、かなりの関心を集めている。没入型メディアの高度な表現として近年、高品質の3Dポイントクラウドが出現し、仮想世界との対話及び通信の新たな形態を可能にした。そのようなポイントクラウドを表すために必要な大量の情報は、効率的なコーディングアルゴリズムを必要とする。MPEGの3DGワークグループは、ポイントクラウドのジオメトリベースの圧縮のためのISO/IEC 23090-9規格を現在開発中である(N19328,「Text of ISO/IEC DIS 23090-9 Geometry-based Point Cloud Compression」,MPEG 131,July 2020)。G-PCCデータの搬送のための別の規格ISO/IEC 23090-18(「WD of ISO/IEC 23090-18 Carriage of Geometry-based Point Cloud Compression Data」,MPEG 130,April 2020)に関する研究が進行中であり、作業草案(working draft、WD)段階にある。
ISO/IEC WD23090-18の最近のドラフトは、ジオメトリベースのポイントクラウド圧縮(geometry-based point cloud compression、G-PCCデータ)を、単一のトラックにおいて、又は各トラックがG-PCCコンポーネントデータを搬送する複数のトラックにおいて搬送することのみをサポートする。このタイプのサポートは、ユーザがG-PCCコンテンツ内の特定の領域/オブジェクトのみに関心がある場合でも強制的に全てのG-PCCコンポーネント情報をダウンロード及び復号させるストリーミングアプリケーションにおいては、問題である。ISO/IEC 23090-18の最近のDISバージョン(N00075,「Text of ISO/IEC DIS 23090-18 Carriage of Geometry-based Point Cloud Compression Data」,MPEG 132,October 2020)は、非時間指定G-PCCデータの搬送はサポートするが、非時間指定G-PCCデータの効率的な部分アクセスサポートを提供しない。
前述の欠点を克服するためのいくつかの方法が記載される。
方法及び装置は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することを含む。復号デバイスが、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定する。決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックが、通信ネットワークを介して取り出される。各ジオメトリタイルトラックは、それぞれのタイルに対するポイントクラウドジオメトリデータを含む。取り出されたジオメトリタイルトラックは、処理される。
図中の同様の参照番号は、同様の要素を示している。
1つ以上の開示された実施形態が実装され得る、例示的な通信システムを示すシステム図である。 一実施形態による、図1Aに示される通信システム内で使用され得る、例示的な無線送信/受信ユニット(wireless transmit/receive unit、WTRU)を示すシステム図である。 一実施形態による、図1Aに示される通信システム内で使用され得る、例示的な無線アクセスネットワーク(radio access network、RAN)及び例示的なコアネットワーク(core network、CN)を示すシステム図である。 一実施形態による、図1Aに示される通信システム内で使用され得る、更なる例示的なRAN及び更なる例示的なCNを示すシステム図である。 いくつかの実施形態による、2つのサーバ及びクライアントのための例示的なインターフェースのセットを示すシステムインターフェース図である。 いくつかの実施形態によって捕捉及び処理され得る、シーン又は画像の例示的なポイントクラウドである。 いくつかの実施形態によって捕捉及び処理され得る、オブジェクト又は画像の例示的なポイントクラウドを示す。 ジオメトリベースのポイントクラウド圧縮データファイル構造である。 単一トラックに記憶されるコーディングされたG-PCCデータファイルの例示的な構造である。 マルチトラックG-PCCデータファイルのコンテナ構造である。 非時間指定G-PCCデータの搬送例を示す図である。 複数のG-PCCタイルを含むG-PCCタイルアイテムを示す図である。 一実施形態による、複数のタイルトラックにおけるG-PCCデータファイルのカプセル化を示す図である。 一実施形態による、G-PCCコンテンツの記憶のためのトラック代替及びグループ化を示す図である。 G-PCCタイルベーストラックの代替と、対応するジオメトリタイルトラック及び属性タイルトラックのグループ化とを示す図である。 一実施形態による、ジオメトリベースのポイントクラウドデータのタイルを復号する方法を示すフローチャートである。 一実施形態による、複数のトラックに対する代替属性トラック及び対応するジオメトリトラックのグループ化を示す図である。 一実施形態による、代替属性タイルトラック及び対応するジオメトリタイルトラックのグループ化を示す図である。 一実施形態による、ベーストラックと、複数のタイルトラックと、3D空間領域時間指定メタデータトラックとの間のトラック参照を伴う、G-PCCデータファイルのカプセル化を示す図である。 N個のG-PCCタイルを有する非時間指定G-PCCデータの部分アクセスを示す図である。 タイプ「gpe1」のG-PCCアイテムを有する非時間指定G-PCCデータの部分アクセスを示す図である。 タイプ「gpci」のG-PCCアイテムを有する非時間指定G-PCCデータの部分アクセスを示す図である。
実施形態を実施するための例示的なシステム
図1Aは、1つ以上の開示された実施形態が実装され得る、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージ伝達、ブロードキャストなどのコンテンツを、複数の無線ユーザに提供する、多重アクセスシステムであり得る。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、上記のようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、コード分割多重アクセス(code division multiple access、CDMA)、時分割多重アクセス(time division multiple access、TDMA)、周波数分割多重アクセス(frequency division multiple access、FDMA)、直交FDMA(orthogonal FDMA、OFDMA)、シングルキャリアFDMA(single-carrier FDMA、SC-FDMA)、ゼロテールユニークワードDFT-Spread OFDM(zero-tail unique-word DFT-Spread OFDM、ZT UW DTS-s OFDM)、ユニークワードOFDM(unique word OFDM、UW-OFDM)、リソースブロックフィルタ処理OFDM、フィルタバンクマルチキャリア(filter bank multicarrier、FBMC)などの、1つ以上のチャネルアクセス方法を採用し得る。
図1Aに示されるように、通信システム100は、無線送/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(public switched telephone network、PSTN)108と、インターネット110と、他のネットワーク112とを含み得るが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作し、かつ/又は通信するように構成された、任意のタイプのデバイスであり得る。例として、それらのいずれも「局」及び/又は「STA」と称され得るWTRU102a、102b、102c、102dは、無線信号を送信及び/又は受信するように構成され得、ユーザ機器(user equipment、UE)、移動局、固定又は移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末(personal digital assistant、PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はMi-Fiデバイス、モノのインターネット(Internet of Things、IoT)デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ(head-mounted display、HMD)、車両、ドローン、医療デバイス及びアプリケーション(例えば、遠隔手術)、工業用デバイス及びアプリケーション(例えば、工業用及び/又は自動処理チェーンコンテキストで動作するロボット及び/又は他の無線デバイス)、家電デバイス、商業用及び/又は工業用無線ネットワークで動作するデバイスなどを含み得る。WTRU102a、102b、102c、及び102dのいずれも、互換的にUEと称され得る。
通信システム100はまた、基地局114a及び/又は基地局114bを含み得る。基地局114a、114bの各々は、CN106/115、インターネット110、及び/又は他のネットワーク112など、1つ以上の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地局トランシーバ(base transceiver station、BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(access point、AP)、無線ルータなどであり得る。基地局114a、114bは各々単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局及び/又はネットワーク要素を含み得ることが理解されるであろう。
基地局114aは、基地局コントローラ(base station controller、BSC)、無線ネットワークコントローラ(radio network controller、RNC)、リレーノードなど、他の基地局及び/又はネットワーク要素(図示せず)も含み得る、RAN104/113の一部であり得る。基地局114a及び/又は基地局114bは、セル(図示せず)と称され得る、1つ以上のキャリア周波数で無線信号を送信及び/又は受信するように構成され得る。これらの周波数は、認可スペクトル、未認可スペクトル、又は認可及び未認可スペクトルの組み合わせであり得る。セルは、相対的に固定され得るか又は経時的に変化し得る特定の地理的エリアに、無線サービスのカバレッジを提供し得る。セルは、更にセルセクタに分割され得る。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを、すなわち、セルのセクタごとに1つのトランシーバを含み得る。一実施形態では、基地局114aは、多重入力多重出力(multiple-input multiple output、MIMO)技術を用い得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び/又は受信し得る。
基地局114a、114bは、エアインターフェース116を介して、WTRU102a、102b、102c、102dのうちの1つ以上と通信し得るが、このエアインターフェース116は、任意の好適な無線通信リンク(例えば、無線周波数(radio frequency、RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(infrared、IR)、紫外線(ultraviolet、UV)、可視光など)であり得る。エアインターフェース116は、任意の好適な無線アクセス技術(radio access technology、RAT)を使用して確立され得る。
より具体的には、上記のように、通信システム100は、多重アクセスシステムであり得、例えば、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの、1つ以上のチャネルアクセススキームを用い得る。例えば、RAN104/113内の基地局114a、及びWTRU102a、102b、102cは、ユニバーサル移動体通信システム(Universal Mobile Telecommunications System、UMTS)地上無線アクセス(UMTS Terrestrial Radio Access、UTRA)などの無線技術を実装し得、これは広帯域CDMA(wideband CDMA、WCDMA)を使用してエアインターフェース115/116/117を確立し得る。WCDMAは、高速パケットアクセス(High-Speed Packet Access、HSPA)及び/又は進化型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンク(Downlink、DL)パケットアクセス(High-Speed Downlink Packet Access、HSDPA)及び/又は高速アップリンクパケットアクセス(High-Speed UL Packet Access、HSUPA)を含み得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、進化型UMTS地上無線アクセス(Evolved UMTS Terrestrial Radio Access、E-UTRA)などの無線技術を実装し得、これは、ロングタームエボリューション(Long Term Evolution、LTE)及び/又はLTE-Advanced(LTE-Advanced、LTE-A)及び/又はLTE-Advanced Pro(LTE-A Pro)を使用してエアインターフェース116を確立し得る。
一実施形態では、基地局114a、及びWTRU102a、102b、102cは、新たな無線(New Radio、NR)技術を使用して、エアインターフェース116を確立し得る、NR無線アクセスなどの無線技術を実装し得る。
一実施形態では、基地局114a及びWTRU102a、102b、102cは、複数の無線アクセス技術を実装し得る。例えば、基地局114a及びWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(dual connectivity、DC)原理を使用して、LTE無線アクセス及びNR無線アクセスを一緒に実装し得る。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、及び/又は複数のタイプの基地局(例えば、eNB及びgNB)に送信される/そこから送信される送信によって特徴付けられ得る。
他の実施形態では、基地局114a及びWTRU102a、102b、102cは、IEEE802.11(すなわち、無線フィデリティ(Wireless Fidelity、WiFi)、IEEE802.16(すなわち、ワイマックス(Worldwide Interoperability for Microwave Access、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定規格2000(IS-2000)、暫定規格95(IS-95)、暫定規格856(IS-856)、汎欧州デジタル移動電話方式(Global System for Mobile communications、GSM)、GSM進化型高速データレート(Enhanced Data rates for GSM Evolution、EDGE)、GSM EDGE(GERAN)などの無線技術を実装し得る。
図1Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB又はアクセスポイントであり得、事業所、家庭、車両、キャンパス、工業施設、(例えば、ドローンによる使用のための)空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なRATを利用し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(wireless local area network、WLAN)を確立し得る。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(wireless personal area network、WPAN)を確立し得る。更に別の一実施形態では、基地局114b及びWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセル又はフェムトセルを確立し得る。図1Aに示すように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がない場合がある。
RAN104/113は、CN106/115と通信し得、これは、音声、データ、アプリケーション、及び/又はボイスオーバインターネットプロトコル(voice over internet protocol、VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つ以上に提供するように構成された、任意のタイプのネットワークであり得る。データは、例えば、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件などの、様々なサービス品質(quality of service、QoS)要件を有し得る。CN106/115は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド呼、インターネット接続性、ビデオ配信などを提供し、かつ/又はユーザ認証などの高レベルセキュリティ機能を実行し得る。図1Aには示されていないが、RAN104/113及び/又はCN106/115は、RAN104/113と同じRAT又は異なるRATを採用する他のRANと、直接又は間接的に通信し得ることが理解されよう。例えば、NR無線技術を利用し得るRAN104/113に接続されていることに加えて、CN106/115はまた、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、又はWiFi無線技術を採用して別のRAN(図示せず)と通信し得る。
CN106/115はまた、PSTN108、インターネット110、及び/又は他のネットワーク112にアクセスするために、WTRU102a、102b、102c、102dのためのゲートウェイとしての機能を果たし得る。PSTN108は、基本電話サービス(plain old telephone service、POTS)を提供する公衆交換電話網を含み得る。インターネット110は、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得るが、これらのネットワーク及びデバイスは、送信制御プロトコル(transmission control protocol、TCP)、ユーザデータグラムプロトコル(user datagram protocol、UDP)、及び/又はTCP/IPインターネットプロトコルスイートのインターネットプロトコル(internet protocol、IP)などの、共通通信プロトコルを使用する。ネットワーク112は、他のサービスプロバイダによって所有及び/又は運営される、有線及び/又は無線通信ネットワークを含み得る。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを採用し得る、1つ以上のRANに接続された別のCNを含み得る。
通信システム100におけるWTRU102a、102b、102c、102dのいくつか又は全ては、マルチモード能力を含み得る(例えば、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る)。例えば、図1Aに示されるWTRU102cは、セルラベースの無線技術を用い得る基地局114a、及びIEEE802無線技術を用い得る基地局114bと通信するように構成され得る。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示すように、WTRU102は、とりわけ、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(global positioning system、GPS)チップセット136、及び/又は他の周辺機器138を含み得る。WTRU102は、一実施形態との一貫性を有したまま、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、複数のマイクロプロセッサ、DSPコアと関連付けられた1つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)回路、任意の他のタイプの集積回路(integrated circuit、IC)、状態機械などであり得る。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、及び/又はWTRU102が無線環境で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ118は、送信/受信要素122に結合され得るトランシーバ120に結合され得る。図1Bは、プロセッサ118及びトランシーバ120を別個のコンポーネントとして示すが、プロセッサ118及びトランシーバ120は、電子パッケージ又はチップにおいて一緒に統合され得るということが理解されよう。
送信/受信要素122は、エアインターフェース116を介して基地局(例えば、基地局114a)に信号を送信するか又は基地局(例えば、基地局114a)から信号を受信するように構成され得る。例えば、一実施形態では、送信/受信要素122は、RF信号を送信及び/又は受信するように構成されたアンテナであり得る。一実施形態では、送信/受信要素122は、例えば、IR、UV又は可視光信号を送信及び/又は受信するように構成されたエミッタ/検出器であり得る。更に別の実施形態では、送信/受信要素122は、RF信号及び光信号の両方を送信及び/又は受信するように構成され得る。送信/受信要素122は、無線信号の任意の組み合わせを送信及び/又は受信するように構成され得るということが理解されよう。
送信/受信要素122は、単一の要素として図1Bに示されているが、WTRU102は、任意の数の送信/受信要素122を含み得る。より具体的には、WTRU102は、MIMO技術を用い得る。したがって、一実施形態では、WTRU102は、エアインターフェース116を介して無線信号を送受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含み得る。
トランシーバ120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信される信号を復調するように構成され得る。上記のように、WTRU102は、マルチモード能力を有し得る。したがって、トランシーバ120は、例えばNR及びIEEE802.11などの複数のRATを介してWTRU102が通信することを可能にするための複数のトランシーバを含み得る。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(liquid crystal display、LCD)表示ユニット若しくは有機発光ダイオード(organic light-emitting diode、OLED)表示ユニット)に結合され得、これらからユーザが入力したデータを受信し得る。プロセッサ118はまた、ユーザデータをスピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128に出力し得る。加えて、プロセッサ118は、非リムーバブルメモリ130及び/又はリムーバブルメモリ132などの任意のタイプの好適なメモリから情報にアクセスし、かつ当該メモリにデータを記憶し得る。非リムーバブルメモリ130は、ランダムアクセスメモリ(random-access memory、RAM)、読み取り専用メモリ(read-only memory、ROM)、ハードディスク又は任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ132は、加入者識別モジュール(subscriber identity module、SIM)カード、メモリスティック、セキュアデジタル(secure digital、SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118は、サーバ又はホームコンピュータ(図示せず)上など、WTRU102上に物理的に配置されていないメモリから情報にアクセスし、かつ当該メモリにデータを記憶し得る。
プロセッサ118は、電源134から電力を受信し得るが、WTRU102における他のコンポーネントに電力を分配し、かつ/又は制御するように構成され得る。電源134は、WTRU102に電力を供給するための任意の好適なデバイスであり得る。例えば、電源134は、1つ以上の乾電池(例えば、ニッケルカドミウム(nickel-cadmium、NiCd)、ニッケル亜鉛(nickel-zinc、NiZn)、ニッケル金属水素化物(nickel metal hydride、NiMH)、リチウムイオン(lithium-ion、Li-ion)など)、太陽セル、燃料セルなどを含み得る。
プロセッサ118はまた、GPSチップセット136に結合され得、これは、WTRU102の現在の場所に関する場所情報(例えば、経度及び緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて又はその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116を介して場所情報を受信し、かつ/又は2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その場所を判定し得る。WTRU102は、一実施形態との一貫性を有したまま、任意の好適な位置判定方法によって位置情報を取得し得るということが理解されよう。
プロセッサ118は、他の周辺機器138に更に結合され得、他の周辺機器138には、追加の特徴、機能、及び/又は有線若しくは無線接続を提供する1つ以上のソフトウェア及び/又はハードウェアモジュールが含まれ得る。例えば、周辺機器138には、加速度計、電子コンパス、衛星トランシーバ、(写真及び/又はビデオのための)デジタルカメラ、ユニバーサルシリアルバス(universal serial bus、USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(frequency modulated、FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び/又は拡張現実(Virtual Reality/Augmented Reality、VR/AR)デバイス、アクティビティトラッカなどが含まれ得る。周辺機器138は、1つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び/又は湿度センサのうちの1つ以上であり得る。
WTRU102は、(例えば、UL(例えば、送信用)及びダウンリンク(例えば、受信用)の両方のための特定のサブフレームと関連付けられた)信号のいくつか又は全ての送信及び受信が並列及び/又は同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア(例えば、チョーク)又はプロセッサを介した信号処理(例えば、別個のプロセッサ(図示せず)又はプロセッサ118を介して)を介して自己干渉を低減し、かつ又は実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、WTRU102は、(例えば、UL(例えば、送信用)又はダウンリンク(例えば、受信用)のいずれかのための特定のサブフレームと関連付けられた)信号のいくつか又は全てのうちのどれかの送信及び受信のための半二重無線機を含み得る。
図1Cは、一実施形態によるRAN104及びCN106を図示するシステム図である。上記のように、RAN104は、E-UTRA無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN104はまた、CN106と通信し得る。
RAN104は、eノードB160a、160b、160cを含み得るが、RAN104は、一実施形態との一貫性を有しながら、任意の数のeノードBを含み得るということが理解されよう。eノードB160a、160b、160cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実装し得る。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。
eノードB160a、160b、160cの各々は、特定のセル(図示せず)と関連付けられ得、UL及び/又はDLにおいて、無線リソース管理意思決定、ハンドオーバ意思決定、ユーザのスケジューリングなどを処理するように構成され得る。図1Cに示すように、eノードB160a、160b、160cは、X2インターフェースを介して互いに通信し得る。
図1Cに示されるCN106は、モビリティ管理エンティティ(mobility management entity、MME)162、サービングゲートウェイ(serving gateway、SGW)164、及びパケットデータネットワーク(packet data network、PDN)ゲートウェイ(又はPGW)166を含み得る。前述の要素の各々は、CN106の一部として示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
MME162は、S1インターフェースを介して、RAN104におけるeノードB162a、162b、162cの各々に接続され得、かつ制御ノードとして機能し得る。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ中に特定のサービス中のゲートウェイを選択すること、などの役割を果たし得る。MME162は、RAN104と、GSM及び/又はWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SGW164は、S1インターフェースを介してRAN104におけるeノード-B160a、160b、160cの各々に接続され得る。SGW164は、概して、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングし、転送し得る。SGW164は、eノード-B間ハンドオーバ中にユーザプレーンをアンカする機能、DLデータがWTRU102a、102b、102cに利用可能であるときにページングをトリガする機能、WTRU102a、102b、102cのコンテキストを管理及び記憶する機能などの、他の機能を実行し得る。
SGW164は、PGW166に接続され得、PGW166は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。
CN106は、他のネットワークとの通信を容易にし得る。例えば、CN106は、WTRU102a、102b、102cと従来の地上回線通信デバイスとの間の通信を容易にするために、PSTN108などの回路交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含み得るか、又はそれと通信し得る。加えて、CN106は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は操作される他の有線及び/又は無線ネットワークを含み得る。
WTRUは、無線端末として図1A~図1Dに記載されているが、特定の代表的な実施形態では、そのような端末は、通信ネットワークとの(例えば、一時的又は永久的に)有線通信インターフェースを使用し得ることが企図される。
代表的な実施形態では、他のネットワーク112は、WLANであり得る。
インフラストラクチャ基本サービスセット(Basic Service Set、BSS)モードのWLANは、BSSのアクセスポイント(AP)及びAPと関連付けられた1つ以上のステーション(station、STA)を有し得る。APは、配信システム(Distribution System、DS)若しくはBSSに入る、かつ/又はBSSから出るトラフィックを搬送する別のタイプの有線/無線ネットワークへのアクセス又はインターフェースを有し得る。BSS外から生じる、STAへのトラフィックは、APを通って到達し得、STAに配信され得る。STAからBSS外の宛先への生じるトラフィックは、APに送信されて、それぞれの宛先に送信され得る。BSS内のSTAどうしの間のトラフィックは、例えば、APを介して送信され得、ソースSTAは、APにトラフィックを送信し得、APは、トラフィックを宛先STAに配信し得。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックとしてみなされ、かつ/又は称され得る。ピアツーピアトラフィックは、ソースSTAと宛先STAとの間で(例えば、それらの間で直接的に)、直接リンクセットアップ(direct link setup、DLS)で送信され得る。特定の代表的な実施形態では、DLSは、802.11e DLS又は802.11zトンネル化DLS(tunneled DLS、TDLS)を使用し得る。独立BSS(Independent BSS、IBSS)モードを使用するWLANは、APを有しない場合があり、IBSS内又はそれを使用するSTA(例えば、STAの全部)は、互いに直接通信し得る。通信のIBSSモードは、本明細書では、「アドホック」通信モードと称され得る。
802.11acインフラストラクチャ動作モード又は同様の動作モードを使用するときに、APは、プライマリチャネルなどの固定チャネル上にビーコンを送信し得る。プライマリチャネルは、固定幅(例えば、20MHz幅の帯域幅)又はシグナリングを介して動的に設定される幅であり得る。プライマリチャネルは、BSSの動作チャネルであり得、APとの接続を確立するためにSTAによって使用され得る。特定の代表的な実施形態では、例えば、802.11システムにおいて、衝突回避を備えたキャリア感知多重アクセス(Carrier Sense Multiple Access/Collision Avoidance、CSMA/CA)が実装され得る。CSMA/CAの場合、APを含むSTA(例えば、全てのSTA)は、プライマリチャネルを感知し得る。プライマリチャネルが特定のSTAによってビジーであると感知され/検出され、かつ/又は判定される場合、特定のSTAはバックオフされ得る。1つのSTA(例えば、1つのステーションのみ)は、所与のBSSにおいて、任意の所与の時間に送信し得る。
高スループット(High Throughput、HT)STAは、通信のための40MHz幅のチャネルを使用し得るが、この40MHz幅のチャネルは、例えば、プライマリ20MHzチャネルと、隣接又は非隣接の20MHzチャネルとの組み合わせを介して形成され得る。
非常に高いスループット(Very High Throughput、VHT)のSTAは、20MHz、40MHz、80MHz、及び/又は160MHz幅のチャネルをサポートし得る。上記の40MHz及び/又は80MHz幅のチャネルは、連続する20MHzチャネルどうしを組み合わせることによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって、又は80+80構成と称され得る2つの連続していない80MHzチャネルを組み合わせることによって、形成され得る。80+80構成の場合、チャネル符号化後、データは、データを2つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換(Inverse Fast Fourier Transform、IFFT)処理及び時間ドメイン処理は、各ストリームで別々に行われ得る。ストリームは、2つの80MHzチャネルにマッピングされ得、データは、送信STAによって送信され得る。受信STAの受信機では、80+80構成に対する上記で説明される動作は逆にされ得、組み合わされたデータを媒体アクセス制御(Medium Access Control、MAC)に送信し得る。
サブ1GHzの動作モードは、802.11af及び802.11ahによってサポートされる。チャネル動作帯域幅及びキャリアは、802.11n及び802.11acで使用されるものと比較して、802.11af及び802.11ahでは低減される。802.11afは、TVホワイトスペース(TV White Space、TVWS)スペクトルにおいて、5MHz、10MHz及び20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、及び16MHz帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレッジエリア内のMTCデバイスなど、メータタイプの制御/マシンタイプ通信をサポートし得る。MTCデバイスは、例えば、特定の、かつ/又は限定された帯域幅のためのサポート(例えば、そのためのみのサポート)を含む、特定の能力を有し得る。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を超えるバッテリ寿命を有するバッテリを含み得る。
複数のチャネル、並びに802.11n、802.11ac、802.11af、及び802.11ahなどのチャネル帯域幅をサポートし得るWLANシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、BSSにおける全てのSTAによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。プライマリチャネルの帯域幅は、最小帯域幅動作モードをサポートするBSSで動作する全てのSTAの中から、STAによって設定され、かつ/又は制限され得る。802.11ahの例では、プライマリチャネルは、AP及びBSSにおける他のSTAが2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それのみをサポートする)STA(例えば、MTCタイプデバイス)に対して1MHz幅であり得る。キャリア感知及び/又はネットワーク配分ベクトル(Network Allocation Vector、NAV)設定は、プライマリチャネルの状態に依存し得る。例えば、APに送信する(1MHz動作モードのみをサポートする)STAに起因してプライマリチャネルがビジーである場合、周波数帯域の大部分がアイドルのままであり、利用可能であり得るとしても、利用可能な周波数帯域全体がビジーであるとみなされ得る。
米国では、802.11ahにより使用され得る利用可能な周波数帯域は、902MHz~928MHzである。韓国では、利用可能な周波数帯域は917.5MHz~923.5MHzである。日本では、利用可能な周波数帯域は916.5MHz~927.5MHzである。802.11ahに利用可能な総帯域幅は、国のコードに応じて6MHz~26MHzである。
図1Dは、一実施形態によるRAN113及びCN115を例解するシステム図である。上記のように、RAN113は、NR無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN113はまた、CN115と通信し得る。
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、一実施形態との一貫性を維持しながら、任意の数のgNBを含み得ることが理解されよう。gNB180a、180b、180cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装し得る。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信及び/又は受信し得る。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信し得る。一実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装し得る。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信し得る。これらのコンポーネントキャリアのサブセットは、未認可スペクトル上にあり得、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。一実施形態では、gNB180a、180b、180cは、協調マルチポイント(Coordinated Multi-Point、CoMP)技術を実装し得る。例えば、WTRU102aは、gNB180a及びgNB180b(及び/又はgNB180c)からの協調送信を受信し得る。
WTRU102a、102b、102cは、拡張可能なヌメロロジと関連付けられた送信を使用して、gNB180a、180b、180cと通信し得る。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル、及び/又は異なる部分に対して変化し得る。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、かつ/又は様々な長さの絶対時間が持続する)様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔(transmission time interval、TTI)を使用して、gNB180a、180b、180cと通信し得る。
gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えば、eノードB160a、160b、160cなど)にアクセスすることなく、gNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、モビリティアンカポイントとしてgNB180a、180b、180cのうちの1つ以上を利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは、未認可バンドにおける信号を使用して、gNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cと通信し、これらに接続する一方で、eノードB160a、160b、160cなどの別のRANとも通信し、これらに接続し得る。例えば、WTRU102a、102b、102cは、1つ以上のgNB180a、180b、180c及び1つ以上のeノードB160a、160b、160cと実質的に同時に通信するためのDC原理を実装し得る。非スタンドアロン構成では、eノードB160a、160b、160cは、WTRU102a、102b、102cのモビリティアンカとして機能し得るが、gNB180a、180b、180cは、WTRU102a、102b、102cをサービスするための追加のカバレッジ及び/又はスループットを提供し得る。
gNB180a、180b、180cの各々は、特定のセル(図示せず)と関連付けられ得、無線リソース管理意思決定、ハンドオーバ意思決定、UL及び/又はDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーン機能(User Plane Function、UPF)184a、184bへのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(Access and Mobility Management Function、AMF)182a、182bへの制御プレーン情報のルーティングなどを処理するように構成され得る。図1Dに示すように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信し得る。
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(Session Management Function、SMF)183a、183b、及び場合によってはデータネットワーク(Data Network、DN)185a、185bを含み得る。前述の要素の各々は、CN115の一部として示されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
AMF182a、182bは、N2インターフェースを介してRAN113におけるgNB180a、180b、180cのうちの1つ以上に接続され得、制御ノードとして機能し得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザの認証、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bの選択、登録エリアの管理、NASシグナリングの終了、モビリティ管理などの役割を果たすことができる。ネットワークスライスは、WTRU102a、102b、102cを利用しているサービスのタイプに基づいて、WTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、異なるネットワークスライスは、高信頼低遅延(ultra-reliable low latency、URLLC)アクセスに依存するサービス、高速大容量(enhanced massive mobile broadband、eMBB)アクセスに依存するサービス、マシンタイプ通信(machine type communication、MTC)アクセスのためのサービス、及び/又は同様のものなどの異なる使用事例のために確立され得る。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、及び/又はWiFiなどの非3GPPアクセス技術などの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インターフェースを介して、CN115内のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択及び制御し、UPF184a、184bを通るトラフィックのルーティングを構成し得る。SMF183a、183bは、UE IPアドレスを管理して割り当てること、PDUセッションを管理すること、ポリシー執行及びQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実施し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つ以上に接続され得、これにより、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。UPF184、184bは、パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実施し得る。
CN115は、他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含み得るか、又はそれと通信し得る。加えて、CN115は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は動作される他の有線及び/又は無線ネットワークを含み得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、及びUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通じてローカルデータネットワーク(local Data Network、DN)185a、185bに接続され得る。
図1A~図1D、及び図1A~図1Dの対応する説明から見て、WTRU102a~d、基地局114a~b、eノード-B160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、及び/又は本明細書に記載される任意の他のデバイスのうちの1つ以上に関する、本明細書に記載される機能のうちの1つ以上又は全ては、1つ以上のエミュレーションデバイス(図示せず)によって実施され得る。エミュレーションデバイスは、本明細書に説明される機能の1つ以上又は全てをエミュレートするように構成された1つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ/又はネットワーク及び/若しくはWTRU機能をシミュレートし得る。
エミュレーションデバイスは、ラボ環境及び/又はオペレータネットワーク環境における他のデバイスの1つ以上の試験を実装するように設計され得る。例えば、1つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び/又は無線通信ネットワークの一部として完全に若しくは部分的に実装され、かつ/又は展開されている間、1つ以上若しくは全ての機能を実行し得る。1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として一時的に実装/展開されている間、1つ以上若しくは全ての機能を実行し得る。エミュレーションデバイスは、試験を目的として別のデバイスに直接結合され得、かつ/又は地上波無線通信を使用して試験を実行し得る。
1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として実装/展開されていない間、全てを含む1つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、1つ以上のコンポーネントの試験を実装するために、試験実験室での試験シナリオ、並びに/又は展開されていない(例えば、試験用の)有線及び/若しくは無線通信ネットワークにおいて利用され得る。1つ以上のエミュレーションデバイスは、試験機器であり得る。RF回路(例えば、1つ以上のアンテナを含み得る)を介した直接RF結合及び/又は無線通信は、データを送信及び/又は受信するように、エミュレーションデバイスによって使用され得る。
図2は、いくつかの実施形態による、2つのサーバ及びクライアントのための例示的なインターフェースのセットを示すシステムインターフェース図である。この例によれば、一方のサーバ202はポイントクラウドサーバであってもよく、他方のサーバ210はニューラルネットワークサーバであってもよい。いくつかの実施形態では、これらのサーバは同一であってもよい。両方のサーバは、インターネット110及び他のネットワーク112に接続される。クライアント218もまたインターネット110及び他のネットワーク112に接続され、全ての3つのノード202、210、218の間の通信を可能にする。各ノード202、210、218は、プロセッサ204、212、220と、非一時的コンピュータ可読メモリ記憶媒体206、214、224と、記憶媒体206、214、224内に含まれた実行可能な命令208、216、226とを備え、これらの命令は、本明細書で開示される方法又は方法の一部分を行うためにプロセッサ204、212、220によって実行可能である。示されるように、クライアントは、ヘッドマウントディスプレイ(HMD)228などのディスプレイ用の3Dビデオをレンダリングするためのグラフィックスプロセッサ222を含み得る。ノードのいずれか又は全ては、図1A及び図1Bに関して上述したように、WTRUを備え、ネットワークを介して通信し得る。
いくつかの実施形態の場合、システム200は、ポイントクラウドサーバ202、ニューラルネットワークサーバ210、及び/又はクライアント218を含み得、クライアント218は、1つ以上のプロセッサ204、212、220と、命令208、216、226を記憶している1つ以上の非一時的コンピュータ可読媒体206、214、224とを含み、命令208、216、226は、プロセッサ204、212、220によって実行されたときに、本明細書で開示する方法を実施するように動作可能である。いくつかの実施形態では、ノード218は、1つ以上のグラフィックプロセッサ222を含み得る。いくつかの実施形態では、ノード202、210、218は、1つ以上のセンサを含み得る。
図3Aは、いくつかの実施形態によって捕捉及び処理され得る、シーン又は画像の例示的なポイントクラウドを示す。シーン302は、ある見かけの高さを有する観察者視点から撮像された、ある距離にある複数の建物、及びいくつかのより近いオブジェクトを含む。観察者の視点が、建物のより下方又はより近くに移動することによってなど変化すると、ポイントクラウド内のポイントに対する相対角度が変化し得る。ポイントクラウドは、現実世界のシーンにおいて検出されてもよく、仮想オブジェクトを用いて生成されてもよく、又はこれらの技法又は適用可能な他の技法の任意の組み合わせであってもよい。領域304は、1つ以上のタイルを含み得る。
図3Bは、いくつかの実施形態によって捕捉及び処理され得る、オブジェクト又は画像の例示的なポイントクラウドを示す。図3Bは、三次元ポイントクラウドオブジェクト306の二次元白黒線画である。三次元表示環境内では、ポイントクラウドオブジェクトは、オブジェクトの一部分が存在することが検出されている三次元座標を表すポイントを有する。そのような検出は、例えば、光検出及び測距(LIDAR)、ステレオビデオ、及びRGB-Dカメラ等の3Dセンサを使用して行われ得る。ポイントクラウドデータは、例えば、3D場所データ及び放射輝度画像データ又はボクセルを含み得る。
前述の欠点を克服するためのいくつかの方法が記載される。例えばISOBMFFコンテナにカプセル化された、コーディングされたポイントクラウドシーケンスの異なる部分への柔軟な部分アクセスを可能にするシグナリング方法が提供される。また、ISOBMFFファイルで搬送される非時間指定G-PCCデータの効率的な部分アクセスを提供するための方式についても記載する。
図4は、ジオメトリベースのポイントクラウド圧縮(G-PCC)のためのデータファイルの構造を示す。ISO/IEC 23090-9の最近の国際規格草案(draft of international standard、DIS)のバージョン(N19328,「Text of ISO/IEC DIS 23090-9 Geometry-based Point Cloud Compression」,MPEG 131,July 2020)では、G-PCCデータファイル402は、図4に示されるように、タイプ-長さ-値(type-length-value、TLV)カプセル化構造としても知られるG-PCCユニット404のセットを含む。G-PCC規格のDIS草案の最近のバージョンに記載されているG-PCC TLVユニット404の構文が表1に与えられており、各G-PCC TLVユニット404は、G-PCC TLVタイプ406、G-PCC TLVユニットペイロード長、及びG-PCC TLVユニットペイロード408を有する。G-PCC TLVユニットペイロード408の例は、シーケンスパラメータセット、ジオメトリパラメータセット、属性パラメータセット、ジオメトリデータ、属性データ、及びフレーム境界マーカを含む。tlv_type及び関連付けられたG-PCCデータユニットの説明が表2に示されている。ユニットタイプ2及び4を有するG-PCC TLVユニット104は、ISO/IEC 23090-9において定義されるようなジオメトリ及び属性データユニットである。これらのデータユニットは、ポイントクラウドを再構築するために必要とされる2つの主要なコンポーネントを表す。ジオメトリ及び属性G-PCCユニットのペイロードは、対応するジオメトリ及び属性パラメータセットG-PCCユニットにおいて指定されるG-PCCデコーダによって復号され得るメディアデータユニット、例えば、TLVユニットに対応する。
known_attribute_labelによるG-PCC属性タイプが、表3に示されている。
known_attribute_labelによるG-PCC属性タイプが、表4に示されている。
G-PCCファイルの高レベル構文(high-level syntax、HLS)は、ジオメトリ及び属性データにおけるスライス及びタイルグループの概念をサポートする。フレームは、複数のタイル及びスライスにパーティション化される。スライスは、独立して符号化又は復号することができるポイントのセットである。スライスは、1つのジオメトリデータユニットと、ゼロ個以上の属性データユニットとを含む。属性データユニットは、同じスライス内の対応するジオメトリデータユニットに依存する。スライス内で、ジオメトリデータユニットは、任意の関連付けられた属性ユニットの前に現れる。スライスのデータユニットは、有利には連続する。フレーム内のスライスの順序付けは、指定されない。
スライスのグループは、共通のタイル識別子によって識別され得る。ISO/IEC 23090-9仕様は、各タイルに対するバウンディングボックスを記述するタイルインベントリを提供する。タイルは、バウンディングボックス内の別のタイルと重複し得る。各スライスは、スライスが属するタイルを識別するインデックスを含む。
ISO/IEC 14496(MPEG-4)規格は、時間ベースメディアの記憶のためのファイルフォーマットを定義するいくつかの部分を含む。これらのフォーマットは、構造的でメディアに依存しない定義を有するISOベースメディアファイルフォーマット(ISO Base Media File Format、ISOBMFF)に基づき、それから派生したものである。ISOBMFFは、オーディオ、ビデオなどのようなメディアデータの時間指定プレゼンテーションのために利用され得る構造及びメディアデータ情報を含む。また、ファイル構造内の異なるレベルのメタデータなどの非時間指定データに対するサポートも提供される。ファイルの論理構造は、時間並列トラックのセットを含むムービー構造である。ファイルの時間構造には、時間内のサンプルのシーケンスを含むトラックが含まれ、これらのシーケンスはムービー全体のタイムラインにマッピングされる。ISOBMFFは、ボックス構造化ファイルの概念に基づく。ボックス構造化ファイルは、サイズ及びタイプを有する、原子と呼ばれることもある一連のボックスからなる。タイプは32ビット値であり、通常は、4文字コード(four-character code、4CC)としても知られる4つの印刷可能な文字であるように選択される。非時間指定データは、ファイルレベルでメタデータボックスに含まれてもよく、又はムービーボックス若しくはムービー内のトラックと呼ばれる時間指定データのストリームのうちの1つに添付されてもよい。
一実施形態によるマルチトラックG-PCCデータファイルコンテナ構造が、図6に示されている。ftypトップレベルボックス602は、どの仕様が、ファイルとも称されるコンテナの「ベストユース」であるか、及びその仕様のマイナーバージョン、並びにファイルが準拠する他の仕様のセットを識別する。
ISOBMFFコンテナ内のトップレベルボックスの中には、コンテナ又はファイル内に存在する連続メディアストリームのためのメタデータを含むムービーボックス(「moov」)604がある。これらのメタデータは、ムービーボックス内のボックスの階層内、例えば、トラックボックス(「trak」)内でシグナリングされる。トラックは、ファイル内に存在する連続メディアストリームを表す。メディアストリーム自体は、エレメンタリメディアストリームのオーディオ又はビデオユニットなどのサンプルのシーケンスからなり、コンテナのトップレベルに存在するメディアデータボックス(「mdat」)606内に封入される。各トラックのメタデータは、サンプル記述エントリのリストを含み、各エントリは、トラックで使用されるコーディングフォーマット又はカプセル化フォーマットと、そのフォーマットを処理するための初期化データとを提供する。各サンプルは、トラックのサンプル記述エントリのうちの1つと関連付けられる。ISO/IEC 14496-12は、各トラックについて明示的なタイムラインマップを定義するためのツールを提供する。このツールは、編集リストとして知られており、以下の構文を有するエディットリストボックス(EditListBox)を使用してシグナリングされ、各エントリは、コンポジションタイムラインの一部をマッピングすることによって、又は「空」時間、例えば、「空」編集としても知られる、メディアにマッピングしないプレゼンテーションタイムラインの部分を示すことによって、トラックタイムラインの一部を示す。例えば、
ポイントクラウドシーケンスは、複数のタイルを有するシーンを表し得る。多くの用途では、例えばデータをストリーミング及び/又はレンダリングするために、シーンの他の部分を復号する必要なしに個々のタイルにアクセスすることが望ましい。同様に、ポイントクラウドは単一のオブジェクトを表すことができ、ユーザは、ポイントクラウド全体を復号することなくオブジェクトの特定の部分にアクセスすることを望むことができる。
G-PCCデータファイルが単一トラックで搬送される場合、G-PCC符号化データは、単一トラック宣言によって表される。G-PCCデータの単一トラックカプセル化は、更なる処理なしにG-PCCデータファイルを単一トラックに記憶することによって、単純なISOBMFFカプセル化を利用し得る。このトラック内の各サンプルは、1つ以上のG-PCCコンポーネントを含む。例えば、各サンプルは、1つ以上のTLVカプセル化構造を含む。図5は、G-PCCジオメトリ及び属性データが単一のトラックに記憶される場合のサンプル構造の実施例を示す。この構造は、パラメータセットTLVフィールド(存在する場合)502、ジオメトリTLVフィールド504、及び属性TLVフィールド(存在する場合)506を含む。
コーディングされたG-PCCジオメトリデータ及びコーディングされたG-PCC属性データが別個のトラックに記憶される場合、トラック内の各サンプルは、単一のG-PCCコンポーネントデータを搬送する少なくとも1つのTLVカプセル化構造を含む。図6は、MPEG-I Part 18(ISO/IEC 23090-18)規格の最近のドラフト(N19286,「WD of ISO/IEC 23090-18 Carriage of Geometry-based Point Cloud Compression Data」,MPEG 130,April 2020)によるマルチトラックISOBMFF G-PCCコンテナの構造を示す。図6のボックスは、ISO/IEC 14496-12における対応するISOBMFFボックスにマッピングする。
図6の構造に基づいて、マルチトラックG-PCC ISOBMFFコンテナは、以下を含む:(i)ジオメトリパラメータセット、シーケンスパラメータセット、及びジオメトリデータTLVユニットを搬送するジオメトリデータサンプル616を含み、G-PCC属性コンポーネント612のペイロードを搬送する他のトラックへのトラック参照も含む、G-PCCトラック608、及び(ii)各々がそれぞれの属性の属性パラメータセットと属性データTLVユニット618を搬送する属性データサンプル610とを含む、ゼロ個以上のG-PCCトラック614。
G-PCCデータファイルが複数のトラックに搬送される場合、G-PCCコンポーネントトラック間をリンクさせるために、ISO/IEC 14496-12(「Coding of Audio-Visual Objects,Part 12:ISO Base Media File Format」,2015)のトラック参照ツールが使用される。1つのTrackReferenceTypeBoxesが、G-PCCトラックのTrackBox内のTrackReferenceBoxに追加される。TrackReferenceTypeBoxは、G-PCCトラックが参照するトラックを指定するtrack_IDの配列を含む。G-PCCジオメトリトラックをG-PCC属性トラックにリンクするために、G-PCCジオメトリトラックのTrackReferenceTypeBoxのreference_typeが、関連付けられた属性トラックを識別する。これらのトラック参照タイプの4CCは「gpca」であり、参照されるトラックは、G-PCC属性データのコーディングされたデータファイルを含む。
3D空間領域情報及びG-PCCデータファイルの3D空間領域内の関連付けられたG-PCCタイルが動的に変化しているとき、時間指定メタデータトラックは、動的に変化している3D空間領域情報を搬送する。この3D空間領域情報の時間指定メタデータトラックは、3D空間領域情報と各3D空間領域についての対応するG-PCCタイルとの間の経時的な関連付けを提供する。
時間指定メタデータトラックは、G-PCCベーストラックへの「cdsc」トラック参照を含み得る。G-PCCベーストラックは、時間指定メタデータトラックへの4CC「gbsr」を使用して識別される新しいトラック参照タイプを有利に含み得る。
非時間指定G-PCCデータは、G-PCCアイテムを使用してISOBMFFファイルにカプセル化される。アイテムとは、ISO/IEC 14496-12「Coding of Audio-Visual Objects,Part 12:ISO Base Media File Format」,2015に記載されているサンプルデータとは対照的に、時間指定処理を必要としないデータを搬送するボックスである。非時間指定G-PCCデータの搬送は、G-PCCタイルを有する単一のアイテム又は複数のアイテムのいずれかを使用してサポートされる。G-PCCタイルを有する複数のアイテムについて、部分アクセスをサポートするために、プロパティアイテム及びアイテム参照と共にタイプ「gpt1」の新たなアイテムが、N00075,「Text of ISO/IEC DIS 23090-18 Carriage of Geometry-based Point Cloud Compression Data」,MPEG 132,October 2020に記載されている。
1つ以上のG-PCCタイルに対するデータは、1つのGPCCタイルアイテム内で搬送され得る。図7は、非時間指定G-PCCデータの搬送の例を示す。図7の例に示されるように、3つのG-PCCタイルに対するGPCCアイテム702のデータは、各G-PCCタイルを別個のタイルアイテム704、706、708に記憶することによって、3つのタイルアイテムで搬送される。プレーヤは、関連付けられた空間領域アイテムプロパティ710、712、714を解釈することによって、適切なG-PCCタイルを含むタイルアイテムを識別する。
図8の例に示されるように、2つのG-PCCタイル(タイル#1及びタイル#2)に対するデータは、関連付けられた空間領域アイテムプロパティ806、808を有する1つのタイルアイテム804で搬送される。G-PCCタイルのより細かい表示をサポートするために、図8に示されるように、1つのG-PCCタイルアイテム804が複数のG-PCCタイルを含む場合であっても、サブサンプル情報810が使用され得る。例えば、サブサンプル情報810は、G-PCCタイルアイテム内に含まれるタイルの識別子を示すのに好適であり得る。別のG-PCCタイル(タイル#3)に対するデータは、関連付けられた空間領域アイテムプロパティ814を有する第2のタイルアイテム812で搬送される。
G-PCCデータファイルのジオメトリストリームが複数のタイルを含む場合、各タイル又はタイルのグループは、ジオメトリタイルトラックと呼ばれる別個のトラックにカプセル化される。ジオメトリタイルトラックは、これらのタイルへの直接アクセスを可能にする、1つ以上のジオメトリタイルのTLVユニットを搬送する。G-PCCデータファイルの属性ストリームは、複数のタイルを含み、複数の属性タイルトラックで搬送され得る。したがって、タイルに対するG-PCCタイルトラックは、トラックで搬送されるタイルについてのジオメトリ情報を含むジオメトリタイルトラックと、任意選択的に、トラックで搬送されるタイルについての属性情報(TLVユニットなど)を含む1つの1つ以上の属性タイルトラックとを含む。
G-PCCタイルデータは、コンテナ内の別個のジオメトリ及び属性タイルトラックで搬送される。例えば、各タイルは、そのタイル専用のジオメトリタイルトラック及びそのタイル専用の1つ以上の属性タイルトラックで搬送され得る。G-PCCコーディングされたストリームのためのISOBMFFコンテナにおける部分アクセスをサポートするために、ポイントクラウドシーン内の空間領域に対応するタイルは、ISO/IEC 23090-18に記載されているようなDynamic3DSpatialRegionSampleEntryを有するトラックなどの時間指定メタデータトラックのサンプルで、又はISO/IEC 23090-18に記載されているGPCCSpatialRegionInfoBoxボックスでシグナリングされる。時間指定メタデータトラックは、コンテナ内に存在する別個のトラックである。時間指定メタデータトラックは、G-PCCシーン内に存在する空間領域を識別する情報を含む。時間指定メタデータトラックはまた、各空間領域内に存在するタイルと関連付けられたタイル識別子(identifier、ID)を含む。ユーザが特定の又は選択された空間領域に関係するコンテンツをストリーミングすることを望むとき、プレーヤアプリケーションは、選択された空間領域内に存在するタイルIDを解析し、それらのタイルIDに関係するそれぞれのG-PCCタイルトラック内に存在するタイルデータをダウンロード及び/又は抽出する。タイルトラックサンプルエントリは、そのタイルトラック内に存在するタイルのリストを含む。したがってこれにより、プレーヤ及びストリーミングクライアントは、ポイントクラウドシーン内の特定の空間領域又はタイルをレンダリングするために必要とされる情報を搬送するタイルトラックのセットのみを取り出すことが可能となる。
G-PCCベーストラック902、G-PCCジオメトリタイルトラック904、906、及びG-PCC属性タイルトラック908、910、912、914を含むフォーマットされたコンテナの例のアーキテクチャが、図9に示されている。G-PCCベーストラック902は、ISO/IEC 23090-9に記載されているように、例えば、SPS、GPS、APS、及びタイルインベントリ情報のみを含むTLVカプセル化構造を搬送する。ベーストラック902は、各タイルについて復号を開始することを容易にする、初期化情報を搬送する。G-PCCベーストラック902をジオメトリタイルトラック904、906にリンクするために、新しいトラック参照タイプを有するトラック参照が、4文字コード(4CC)「gpbt」を使用して識別される。この新しいトラック参照タイプ「gpbt」のトラック参照は、図9に示されるように、G-PCCベーストラック「gpcb」902を、タイル0~N-1に対するG-PCCジオメトリタイルトラック904、906「gpt1」などのジオメトリタイルトラック904、906の各々とリンクさせるか又は関連付けるために使用される。
各ジオメトリタイルトラック904、906は、例えば、ISO/IEC 14496-12のトラック参照ツールを使用して、それぞれのタイル又はタイルグループの属性情報を搬送するG-PCC属性タイルトラック908、910、912、914とリンクする。これらのトラック参照タイプの4CCは、ISO/IEC 23090-18に記載されているように「gpca」と呼ばれ得る。図9に示されるように、タイル0~タイルN-1に対する各ジオメトリタイルトラック「gpt1」904、906は、「gpca」トラック参照タイプを通して、それぞれタイル0~タイルN-1に対応し、かつそれぞれのタイル又はタイルグループの属性情報を搬送する1つ以上の属性G-PCCタイルトラック908、910、912、914とリンクされるか又は関連付けられる。
別の実施形態では、G-PCCデータファイルが複数のタイルを含み、タイルデータがジオメトリタイルトラック及び属性タイルトラック内で搬送される場合、G-PCCベーストラックは、サンプルエントリタイプ「gpcb」を有するGPCCSampleEntryを使用し得る。
G-PCCベーストラックサンプルエントリは、例えば、ISO/IEC 23090-18に記載されているようなGPCCConfigurationBoxを含む。「gpcb」サンプルエントリの下で、ISO/IEC 23090-9に記載されるような全てのパラメータセットは、setupUnit配列内又はデータファイル内に存在し得る。「gpcb」サンプルエントリの下で、GPCCComponentTypeBoxは存在しない。
別の実施形態では、パラメータセットデータ及びタイルインベントリ情報が頻繁に変化する場合、パラメータセットデータ及びタイルインベントリ情報は、ISO/IEC23090-18に記載されているようなG-PCCサンプルの一部としてベーストラックで搬送され得る。ベーストラック内のGPCCサンプルは、SPS、GPS、APS、及びタイルインベントリ情報TLV_encapsulationユニットのみを搬送することができ、有利には、ジオメトリ又は属性データTLVカプセル化ユニットを含まなくてもよい。
G-PCCタイルトラックサンプルを復号する、(パラメータセット及びタイルインベントリデータを搬送する)G-PCCベーストラックサンプルは、サンプルのプレゼンテーション時間を使用して識別される。対応するベーストラックサンプルのプレゼンテーション時間は、例えば、タイルトラックサンプルプレゼンテーション時間と等しいか又はそれ未満かのいずれかである。ベーストラックサンプル及びタイルトラックサンプルのプレゼンテーション時間が正確に一致しないとき、タイルトラックサンプルのプレゼンテーション時間により近いプレゼンテーション時間を有するベーストラックサンプルが、そのようなタイルトラックサンプルを復号するために、又はサンプルのタイルインベントリ情報を識別するために使用される。G-PCCサンプル(ベーストラック又はタイルトラック)のプレゼンテーション時間は、それぞれのトラックにおいて、ISO/IEC 14496-12に記載されているようなTimeToSampleBox内のCompositionOffsetBox及び「stts」テーブル内の「ctts」テーブルを解析することによって導出され得る。
別の実施形態では、タイルインベントリ情報がG-PCCデータファイルで利用可能であり、情報が経時的に変化しない場合、ISO/IEC 23090-9に記載されているタイルインベントリ情報は、タイルベーストラックサンプルエントリのsetupUnit配列内に、又はサンプル内に存在し得る。
G-PCCタイルトラックは、GPCCTileSampleEntryサンプル記述によって識別される。G-PCCジオメトリ又は属性タイルトラックのためのサンプルエントリタイプは「gpt1」である。GPCCTileSampleEntryは以下のように記述され得る。
上記のサンプルエントリは、G-PCCコンポーネントタイルトラックのメディアサンプルを記述する。
GPCCTileSampleEntryにおけるフィールドのセマンティクスの例は以下のとおりである。
ベースクラスVolumetricVisualSampleEntryにおけるcompressornameは、使用される圧縮器の名前を示し、値「\013GPCC Coding」が推奨されており、第1のバイトは、ここでは\013によって表される残りのバイトのカウントであり、これは、ストリングの残りのバイト数である、(8進数の13である)11(10進数)であり、
configは、G-PCCタイルグループ構成レコード情報であり、
typeは、それぞれのトラックで搬送されるG-PCCコンポーネントのタイプを示す、GPCCComponentTypeBoxのインスタンスであり、全てのコンポーネントのデータが一緒に搬送されるときはこのボックスは存在せず、
num_tiles_in_trackは、それぞれのトラックで搬送されるタイルの数を示し、
dynamic_tile_id_flagは、tile_idがデータファイル内で変化しているかどうかを示し、値0は、tile_id値がデータファイル全体にわたって変更されないことを示し、値1は、tile_id値がデータファイル内で変化していることを示し、このフラグが1に設定されているときは、その特定のタイルを表すために、タイルインデックスがタイルidの代わりに使用され、このフラグのデフォルト値は0であり、
tile_idは、タイルインベントリ内の特定のタイルの一意の識別子を示し、dynamic_tile_id_flagが値0に設定されているとき、tile_idは、タイルインベントリ内に存在するタイルid値のうちの1つを表し、dynamic_tile_id_flagが値1に設定されているとき、tile_idは、タイルインベントリ内のタイルインデックスを表す。
別の実施形態では、G-PCCタイルトラックは、有利には、それぞれのタイルトラックのサンプル内に存在する全てのタイル識別子を示す。タイルトラック内に存在するタイル識別子は、GPCCTileSampleEntryでシグナリングされる。タイルトラックサンプル内に存在するタイル識別子は、他のタイルトラックサンプル内に存在するタイル識別子と重複してはならない。GPCCTileSampleEntryの記述は以下のとおりである。
上記のサンプルエントリは、G-PCCコンポーネントタイルトラックのメディアサンプルを記述する。
GPCCTileSampleEntryにおけるフィールドのセマンティクスの例は以下のとおりである。
ベースクラスVolumetricVisualSampleEntryにおけるcompressornameは、使用される圧縮器の名前を示し、値「\013GPCC Coding」が推奨されており、第1のバイトは、ここでは\013によって表される残りのバイトのカウントであり、これは、ストリングの残りのバイト数である、(8進数の13である)11(10進数)である。
configは、G-PCCタイルグループ構成記録情報である。
typeは、それぞれのトラックで搬送されるG-PCCコンポーネントのタイプを示す、GPCCComponentTypeBoxのインスタンスである。全てのコンポーネントのデータが一緒に搬送されるときはこのボックスは存在しない。
dynamic_tile_id_flagは、タイルトラックサンプル内に存在するタイルの数又はタイル識別子がストリーム内で動的に変化しているかどうかを示す。値0は、タイルトラック内の全てのサンプルが同じ数のタイルを含み、それらのタイルのタイル識別子が変化していないことを示す。値1は、タイルトラックサンプル内に存在するタイルの数が変更されていること、又はタイルトラックサンプル内のタイル識別子がストリーム内で変化しれていることを示す。
max_num_tile_ids_in_trackは、それぞれのトラックのサンプル内に存在する一意のG-PCCタイル識別子の最大数を示す。dynamic_num_tiles_flagが0であるとき、タイルトラック内の各サンプルは、max_num_tile_ids_in_track個のタイルを含まなければならず、それらのタイルのタイル識別子は、ストリーム内で変化していない。dynamic_num_tiles_flagが1であるとき、タイルトラック内の各サンプルは、最大でmax_num_tile_ids_in_track個のタイルを含み、それらのタイルのタイル識別子は、サンプル間で変化し得る。
tile_idは、それぞれのトラック内のサンプルに対応する特定のG-PCCタイルの識別子を示す。
ジオメトリタイルトラック及び属性タイルトラック内のサンプルは、ISO/IEC WD23090-18に記載されているのと同じサンプルフォーマットを有し得る。SubsampleInformationBoxのcodec_specific_parametersフィールド内のフラグ値は、有利には1に設定される。単一のポイントクラウドフレームに対応する、タイルトラック内の各G-PCCサンプルは、同じプレゼンテーション時間に属する1つ以上のTLVカプセル化構造を含む。サンプル内に存在する全てのTLVカプセル化構造は、有利には、同じプレゼンテーション時間を有する。各TLVカプセル化構造は、単一タイプのG-PCCペイロード、例えば、ジオメトリデータユニット又は属性データユニットを含む。一実施形態では、パラメータセット情報及びタイルインベントリ情報がG-PCCベーストラックで搬送される場合、パラメータセット情報及びタイルインベントリ情報は、G-PCCタイルトラックサンプルで搬送されない。
G-PCCベーストラックは、トラック参照を使用してジオメトリタイルトラックにリンクされる。新しいトラック参照タイプは、G-PCCベーストラックとジオメトリタイルトラックとをリンクさせるために、4文字コード(4CC)「gpbt」を使用して記述される。
各ジオメトリタイルトラックは、ISO/IEC WD23090-18に記載されているような「gpca」トラック参照タイプを使用して、ジオメトリタイルトラック内のタイルに関する属性情報を搬送する他のG-PCCタイルトラックとリンクされる。
タイル又はタイルのグループの全てのG-PCCコンポーネントが単一のタイルトラックで搬送される場合、G-PCCサンプルは複数のサブサンプルを含む。
別の実施形態では、タイル又はタイルのグループの全てのG-PCCコンポーネントが単一のタイルトラックで搬送される場合、サンプルエントリタイプ「gptm」は、G-PCCサンプルが2つ以上の時間インターリーブされたGPCCコンポーネントデータの表現を含むことを示すために使用される。
「gptm」サンプルエントリは、以下のように記述され得る。
「gptm」サンプルエントリタイプの存在は、時間インターリービングコンポーネントパッキング配置が使用されることを示す。component_count_minus1+1個の連続するサンプルの合成時間は、インターリーブされたコンポーネントパッキング配置におけるサンプルのグループ内の第1のサンプルの値に等しい。構文は以下のとおりであり得る。
セマンティクスでは、component_count_minus1プラス1は、連続サンプルとしてトラック内に存在するG-PCCコンポーネントサンプルの数を示す。
別の実施形態では、G-PCCフレーム内のタイルの数及びレイアウトは、コンテナファイル内のトラックの数の急増を回避するために、コーディングされたポイントクラウドシーケンスの持続時間全体にわたって固定される。
代替トラック及びそれらのグループ化は、図10に示されるように視覚化される。トラック代替は、ISO/IEC 14496-12に記載されている代替トラックメカニズム、例えば、TrackHeaderBoxのalternate_groupフィールドによって示され得る。ジオメトリ及び属性は、G-PCCコンポーネントである。G-PCCコンポーネントタイルトラックは、ジオメトリタイルトラック及び属性タイルトラックを含む。同じalternate_group値を有するG-PCCコンポーネントタイルトラック1004、1006、1010、1012、1014、1016、1018、1020、1022、1024は、同じG-PCCコンポーネントの異なる符号化バージョンである。G-PCCシーンが、代替としてコーディングされ得る。G-PCCシーンが代替としてコーディングされる場合、互いの代替であるG-PCCコンポーネントタイルトラックは、これらのTrackHeaderBox内に同じalternate_group値を有する。
G-PCCコンポーネントタイルトラック1004、1006、1010、1012、1014、1016、1018、1020、1022、1024は代替を有し得る。そのような場合、代替グループに属する全てのG-PCCコンポーネントタイルトラック1004、1006、1010、1012、1014、1016、1018、1020、1022、1024は、G-PCCベーストラック1002又はそれぞれのG-PCCジオメトリタイルトラック1004、1006によって参照される。互いの代替であるG-PCCコンポーネントタイルトラック1004、1006、1010、1012、1014、1016、1018、1020、1022、1024は、ISO/IEC 14496-12に記載されているような代替グループ化メカニズムを使用する。
代替タイルベーストラック1102、1104と、対応するジオメトリタイルトラック1106、1108、1110、1112及び属性タイルトラック1114、1116、1118、1120、1122、1124、1126、1128のグループとが図11に示されている。ボリュメトリックビジュアルシーンが、代替としてコーディングされ得る。別の実施形態では、同じG-PCCジオメトリコンポーネントの異なる符号化バージョンが利用可能であり、かつジオメトリコンポーネントの各バージョンが1つのタイルベーストラック及び1つ以上のG-PCCタイルトラックでシグナリングされる場合、対応するG-PCCタイルベーストラックは、有利には同じalternate_group値を有する。そのような場合、互いの代替である全てのG-PCCトラックは、有利にはこれらのG-PCCトラックのTrackHeaderBox内に同じalternate_group値を有する。
ジオメトリベースのポイントクラウドデータのタイルを復号する方法を示すフローチャートが、図12に示される。方法は、複数のタイルを含むジオメトリベースのポイントクラウドデータを含むフォーマットされたコンテナを受信すること1202を含む。フォーマットされたコンテナから時間指定メタデータトラックが取得される1204。時間指定メタデータトラックは、複数のタイル識別子を含む。各タイル識別子は、複数のタイルのそれぞれのタイル304に対応する。複数のタイルから、少なくとも1つの選択されたタイルが選択される1206。少なくとも1つの選択されたタイルは、少なくとも1つのタイル識別子に対応する。フォーマットされたコンテナから、少なくとも1つのタイル識別子と関連付けられた少なくとも1つのジオメトリタイルトラックが識別される1208。少なくとも1つのジオメトリタイルトラックと関連付けられた第1のトラック参照タイプを利用して、フォーマットされたコンテナから、少なくとも1つの選択されたタイルに対する初期化データを含むベーストラックが識別される1210。少なくとも1つのジオメトリタイルトラックと関連付けられた第2のトラック参照タイプを利用して、フォーマットされたコンテナから、少なくとも1つの選択されたタイル(存在する場合)と関連付けられた少なくとも1つの属性タイルトラックが識別される1212。少なくとも1つの選択されたタイルは、少なくとも1つのジオメトリタイルトラック、少なくとも1つの属性タイルトラック(存在する場合)、及び少なくとも1つの復号されたタイルへの初期化データを利用して、復号される1214。復号は、有利には、ジオメトリベースのポイントクラウドデータの全てを復号することなく実施される。
図12の方法は、例えば、ヘッドマウントディスプレイ、スマートフォン、又は他のWTRUなど、ディスプレイを有するデバイスに適用することができる。デバイスは、ポイントクラウドのシーン302から領域304を、又は表示されるべきポイントクラウドのオブジェクト306の領域308を識別する。領域302、308の各々は、1つ以上のタイルを含み得る。復号された選択されたタイルは、ディスプレイ上にレンダリングされる。代替的に、復号された選択されたタイルは、ジオメトリベースのポイントクラウドコンテンツを復号することが可能な動的ビデオストリーミングアプリケーションなど、他の方式でストリーミング又は利用され得る。タイルは、サーバからストリーミングされ、受信クライアント/UE/デバイス(以下、「クライアント」と称される)上で復号され得る。ストリーミングは、任意のストリーミング又はトランスポートプロトコル、例えば、HTTPを介した動的適応ストリーミング(dynamic adaptive streaming over HTTP、DASH)を使用して実施され得る。
ボリュメトリックビジュアルシーンが、代替としてコーディングされ得る。別の実施形態では、同じG-PCC属性コンポーネントの異なる符号化バージョンが利用可能であり、かつ属性コンポーネントの各バージョンが単一のトラック又は1つ以上のG-PCCタイルトラックでシグナリングされる場合、対応するG-PCC属性トラックは、同じalternate_group値を有し得る。互いの代替であるG-PCC属性トラックは、有利にはこれらのTrackHeaderBox内に同じalternate_group値を有し得る。互いの代替であるG-PCC属性タイルトラックは、有利にはこれらのTrackHeaderBox内に同じalternate_group値を有する。複数のトラックに対する代替属性トラック及び対応するジオメトリトラックのグループ化を示す図が、図13に示される。G-PCC属性トラック1304、1308は、それぞれ、G-PCC属性トラック1306、1310などの代替を有し得る。代替グループに属する全てのG-PCC属性トラック1304、1306、1308、1310は、有利には、それぞれのG-PCCジオメトリトラック1302によって参照される。互いの代替であるG-PCC属性トラック1304、1306は、ISO/IEC 14496-12に記載されているような代替グループ化メカニズムを使用することができる。
代替属性タイルトラック及び対応するジオメトリタイルトラックのグループ化を示す図が、図14に示されている。0~N-1とラベル付けされたN個のタイルの各々に対するジオメトリタイルトラック及び対応する代替属性タイルトラックのグループ化が、G-PCCベーストラックについて示されている。G-PCC属性タイルトラック1014、1022は、それぞれ、G-PCC属性タイルトラック1016、1024などの代替を有し得る。代替グループに属する全てのG-PCC属性タイルトラック1014、1016、1022、1024は、有利には、G-PCCベーストラック1002又はそれぞれのG-PCCジオメトリタイルトラック1004及び1006によって参照される。互いの代替であるG-PCC属性トラック1014、1016、1022、1024は、ISO/IEC 14496-12に記載されているような代替グループ化メカニズムを使用することができる。
別の実施形態では、静的3D空間領域情報をG-PCCベーストラックにリンクさせるために、ベーストラックにGPCCSpatialRegionInfoBoxボックスが追加され得る。ベーストラックは、GPCCSpatialRegionInfoBoxボックスと共に、SPS、GPS、APS、タイルインベントリ情報TLVユニットなどのパラメータセットデータを搬送する。
別の実施形態では、3D空間領域情報が動的に変化する場合、G-PCCベーストラックは、ISO/IEC 14496-12のトラック参照ツールを使用して、動的に変化している3D空間領域情報を搬送する時間指定メタデータトラック1502にリンクされる。時間指定メタデータトラック1502は、有利には、G-PCCベーストラックへの「cdsc」トラック参照を含むことができる。G-PCCベーストラックは、有利には、時間指定メタデータトラックへの4CC「gb3d」を使用して記述される新しいトラック参照タイプを含むことができる。
G-PCCベーストラック、G-PCCタイルトラック、3D空間領域時間指定メタデータトラック1502、及びベーストラック902と3D空間領域時間指定メタデータトラック1502との間のトラック参照の全体的なアーキテクチャが、図15に示されている。
ISO/IEC 23090-18に記載されているGPCCComponentTypeBoxは、G-PCCコンポーネントのタイプ、例えば、ジオメトリ又は属性を表す。別の実施形態では、データファイル内に存在する属性コンポーネントのタイプを表現するために、かつG-PCCデータファイル内に存在する様々な属性コンポーネントを区別するために、GPCCComponentInfoBoxは、ISO/IEC 23090-18に記載のGPCCComponentTypeBoxを置き換えるものとして記載されている。
GPCCComponentInfoBoxボックスは、G-PCCコンポーネントについての情報をシグナリングする。G-PCCコンポーネントデータを搬送するトラックのサンプルエントリ内にこのボックスが存在する場合、このボックスは、それぞれのトラックによって搬送されるG-PCCコンポーネントのタイプを示す。また、このボックスは、それぞれのトラックがG-PCC属性コンポーネントを搬送するときに属性タイプ及びインデックスを提供する。GPCCComponentInfoBoxのattr_index変数は、ISO/IEC 23090-9の表8において規定されているのと同じattr_type値を有する様々な属性コンポーネントを区別する。G-PCCデータファイルが単一のトラックに記憶される場合、有利なことにこのボックスはサンプルエントリ内に存在しない。
例示的な構文は以下のとおりであり得る。
セマンティクスは以下のとおりであり得る。attr_typeは、ISO/IEC 23090-9の表8において規定されている属性コンポーネントのタイプを識別し、attr_indexは、SPSにおける属性の順序を識別する。
別の実施形態では、GPCCComponentInfoBoxボックスはまた、それぞれのトラックがG-PCC属性コンポーネントを搬送するときに、属性名、インデックス、及び任意選択的な属性タイプ若しくは属性オブジェクト識別子を提供する。
GPCCComponentInfoBoxボックスの構文の一例は以下のとおりである。
GPCCComponentInfoBoxボックスのセマンティクスは以下のとおりであり得る。
attr_indexは、SPS内の属性の順序を識別する。
attr_type_presentは、GPCCComponentInfoBoxにおける属性タイプ情報の存在を示す。値1は、属性タイプ情報がこのボックスでシグナリングされることを示す。値0は、属性タイプ情報がシグナリングされないことを示す。
known_attribute_label_flagは、属性がattr_typeの値によって識別されるか、又は国際オブジェクト識別子attribute_label_oidによって識別されるかを示す。
attr_typeは、ISO/IEC 23090-9の表8において規定されている属性コンポーネントのタイプを識別する。
attribute_label_oidは、勧告ITU-T X.660 ISO/IEC 9834-1において規定されているような国際オブジェクト識別子を識別する。オブジェクト識別子の構文は、ISO/IEC 23090-9の9.6.5.1項に記載されている。
attr_nameは、G-PCC属性コンポーネントのタイプに対する人間可読名を指定する。
別の実施形態では、G-PCCデータファイルが3Dオブジェクトを含む場合、3DObjectInfoStructは、3Dオブジェクトのバウンディングボックス情報を提供する。
3DObjectInfoStructは、アンカーポイントのX座標値、Y座標値、Z座標値と、アンカーポイントに対するX軸、Y軸、Z軸に沿ったバウンディングボックスのサイズとを含む、3Dオブジェクトのバウンディングボックス情報を提供する。
例示的な構文は以下のとおりであり得る。
セマンティクスは以下のとおりであり得る。
anchor_includedは、3Dオブジェクトの原点位置のX、Y、Z座標値が構造内に含まれるかどうかを示す。
1に等しいdimension_includedは、3Dオブジェクトの寸法が構造内でシグナリングされることを示す。0に等しいdimension_includedは、3Dオブジェクトの寸法が構造内でシグナリングされないことを示す。
3d_object_idは、3Dオブジェクト識別子を示す。
anchor_x、anchor_y、及びanchor_zは、それぞれ、デカルト座標における3Dオブジェクトのアンカーポイントのxオフセット、yオフセット、及びzオフセットを示す。構造内に存在しないとき、アンカーポイントは、(0,0,0)に等しいと推測することができる。
object_dx、object_dy、及びobject_dzは、それぞれ、アンカーポイントに対するx軸、y軸、及びz軸に沿ったデカルト座標における3Dオブジェクトのサイズを示し、デカルト座標における3Dオブジェクトの幅、高さ、及び深さを示す。
別の実施形態では、G-PCCデータ内に存在する3Dオブジェクトが静的であるとき、G-PCCベーストラック内に存在するGPCC3DObjectsInfoBoxは、3Dオブジェクトバウンディングボックス情報と、各3Dオブジェクトに対して関連付けられたG-PCCタイルとを提供する。
GPCC3DObjectsInfoBoxは、アンカーポイントのX座標値、Y座標値、Z座標値、及びアンカーポイントに対するX軸、Y軸、Z軸に沿った3Dオブジェクトのバウンディングボックスのサイズなどのバウンディングボックス情報を含む、G-PCCデータファイル内に存在する3Dオブジェクトに関する情報を提供する。このボックスはまた、各オブジェクトに対するタイルのセットへのマッピングを提供し、オブジェクトは有効化又は無効化される。
GPCC3DObjectsInfoBoxボックスは、任意選択的に、G-PCCベーストラックのサンプルエントリ内に存在し得る。GPCC3DObjectsInfoBoxボックスがG-PCCベーストラックのサンプルエントリ内に存在する場合、GPCC3DObjectsInfoBoxは、G-PCCデータ内に存在する静的3Dオブジェクトの情報を示す。
例示的な構文は以下のとおりであり得る。
セマンティクスは以下のとおりであり得る。
num_objectsは、ポイントクラウド内に存在する3Dオブジェクトの数を示す。
3DObjectInfoStructは、アンカーポイントによって示される3Dオブジェクト空間情報と、アンカーポイントに対するX軸、Y軸、Z軸に沿った3Dオブジェクトのサイズとを提供する。
num_tiles[i]は、i番目の3Dオブジェクトと関連付けられたG-PCCタイルの数を示す。
1に等しいobject_enabledは、3Dオブジェクトがシーン内でアクティブであることを示す。0に等しいobject_enabledは、3DオブジェクトがG-PCCデータファイルの第1のフレームに存在しないことを示す。
tile_id[j]は、i番目の3Dオブジェクトと関連付けられたj番目のG-PCCタイルを識別する。
別の実施形態では、3Dオブジェクトバウンディングボックス情報と、G-PCCデータファイル内の3Dオブジェクトと関連付けられたG-PCCタイルと、が動的に変化している場合、時間指定メタデータトラックは、動的に変化している3Dオブジェクト情報を搬送する。この3Dオブジェクト情報時間指定メタデータトラックは、3Dオブジェクト情報と各3Dオブジェクトについての対応するG-PCCタイルとの間の経時的な関連付けを提供する。
時間指定メタデータトラック1502は、有利には、G-PCCベーストラックへの「cdsc」トラック参照を含み得る。G-PCCベーストラックは、有利には、時間指定メタデータトラック1502への4CC「gb3d」を使用して記述される新しいトラック参照タイプを含むことができる。
時間指定メタデータトラック内の同期サンプルは、有利には、3Dオブジェクトが有効化されているかどうかにかかわらず、全ての3Dオブジェクトについての寸法及び関連付けられたタイルマッピング情報を搬送することができる。同期サンプルの場合、各3Dオブジェクトのdynamic_dimension_flagフラグ及びdynamic_tile_mapping_flagフラグの値は、1に設定される。そのオブジェクトがその同期サンプルにおいてアクティブである場合、object_enabledフラグは1に設定され、そうでない場合、object_enabledフラグは0に設定される。
この時間指定メタデータトラック内の非同期サンプルは、有利には、最も近い先行する同期サンプルにおいて利用可能な3Dオブジェクト情報を参照して、更新された3Dオブジェクト情報のみを搬送することができる。
ベーストラックが、サンプルエントリタイプ「gpdo」で関連付けられた時間指定メタデータトラックを有する場合、ポイントクラウドデータ内の関連付けられた3Dオブジェクトの位置は、動的であるとみなされる。
サンプルエントリ
GPCC3DObjectsInfoBoxは、3Dオブジェクトの初期位置情報を示す。
num_objectsは、サンプルエントリにおいてシグナリングされる3Dオブジェクトの数を示す。
3DObjectInfoStructは、アンカーポイントを含むi番目の3Dオブジェクトの初期情報と、サンプルエントリ内のデカルト座標におけるアンカーポイントに対するX軸、Y軸、Z軸に沿ったサイズとを提供する。
num_tiles[i]は、サンプルエントリ内のi番目の3Dオブジェクトと関連付けられたG-PCCタイルの数を示す。
1に等しいobject_enabledは、3Dオブジェクトがアクティブであることを示す。0に等しいobject_enabledは、3Dオブジェクトがアクティブでないことを示す。
tile_id[j]は、サンプルエントリ内のi番目の3Dオブジェクトと関連付けられたj番目のG-PCCタイルを識別する。
0に等しいdynamic_dimension_flagは、3Dオブジェクトの寸法が、このサンプルエントリを参照する全てのサンプルにおいて不変のままであることを指定する。1に等しいdynamic_dimension_flagは、3Dオブジェクトの寸法が各サンプルにおいて示されることを指定する。
0に等しいdynamic_tile_mapping_flagは、3Dオブジェクトと関連付けられたタイルの識別子が、このサンプルエントリを参照する全てのサンプルにおいて不変のままであることを指定する。1に等しいdynamic_tile_mapping_flagは、各サンプル内に存在する3Dオブジェクトと関連付けられたタイルの識別子を指定する。
このサンプルエントリタイプ「gpdo」のサンプル構文は、以下のとおりであり得る。
num_objectsは、最も近い同期サンプルを参照してサンプル内で更新された3Dオブジェクトの数を示す。
3d_object_idは、更新された3Dオブジェクト識別子を示す。
0に等しいobject_enabledは、更新された3Dオブジェクトがサンプル内に存在しないことを指定する。1に等しいobject_enabledは、更新された3Dオブジェクトがサンプル内でアクティブであることを指定する。
0に等しいdynamic_dimension_flagは、更新された3Dオブジェクト寸法が、最も近い同期サンプルを参照して変化していないことを示す。1に等しいdynamic_dimension_flagは、更新された3Dオブジェクト寸法が、最も近い同期サンプルを参照して変化したことを示す。
0に等しいdynamic_tile_mapping_flagは、更新された3Dオブジェクト関連タイルが、最も近い同期サンプルを参照して変化していないことを示す。1に等しいdynamic_tile_mapping_flagは、更新された3Dオブジェクト関連タイルが、最も近い同期サンプルを参照して変化したことを示す。
3DObjectInfoStructは、更新された3Dオブジェクト空間情報を提供する。
num_tiles[i]は、このサンプルが適用されるときのi番目の3Dオブジェクトと関連付けられたG-PCCタイルの数を示す。
tile_id[j]は、このサンプルが適用されるときにi番目の3Dオブジェクトと関連付けられたG-PCCタイルを識別する。
別の実施形態では、3D空間領域情報時間指定メタデータトラック内の同期サンプルは、有利には、全ての3D空間領域についての寸法及び関連付けられたタイルマッピング情報を搬送する。同期サンプルの場合、各3D空間領域のdynamic_dimension_flag及びdynamic_tile_id_flagフラグの値は、1に設定される。
別の実施形態では、時間指定メタデータトラック内の非同期サンプルは、有利には、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して、更新された3D空間領域情報のみを搬送する。
別の実施形態では、システムは、有利には、3D空間領域情報時間指定メタデータトラック内のサンプルを、同期サンプル又は非同期サンプルとして設定する。1つの同期サンプルは、有利には、特定の数のサンプル(キーフレーム距離)又は特定の時間間隔(キーフレーム時間)に対して存在する。キーフレーム距離又はキーフレーム時間は、有利には、システムによって指定される。
別の実施形態では、同期サンプルについて、dynamic_dimension_flagフラグの値は1に設定され、dynamic_tile_id_flagフラグは、タイルインベントリ情報がG-PCCデータファイル内に存在するときに1に設定され、cancelled_region_flagは、各3D空間領域について0に設定される。
別の実施形態では、非同期サンプルは、任意選択的に、更新されている寸法又は関連付けられた3Dタイル並びに任意の追加又はキャンセルされた3D空間領域を含む、最も近い先行する同期サンプルに対する変化を有する3D空間領域のみをシグナリングすることができる。cancelled_region_flagフラグの値は、3D空間領域が先行する同期サンプルを参照してキャンセルされるとき、1に設定される。dynamic_dimension_flagフラグの値は、現在のサンプル内の3D空間領域の寸法が、先行する同期サンプルを参照して更新されるとき、1に設定される。dynamic_tile_id_flagフラグの値は、現在のサンプル内の3D空間領域の関連付けられたタイルが、先行する同期サンプルを参照して更新されるとき、1に設定される。
例示的な構文は以下のとおりであり得る。
セマンティクスの例は以下のとおりである。
num_regionsは、以前の同期サンプルを参照してサンプル内でシグナリングされる、更新された3D空間領域の数を示す。寸法及び/又は関連付けられた3Dタイルが以前の同期サンプルを参照して更新されている3D空間領域は、更新された領域とみなされる。以前の同期サンプルを参照してこのサンプル内でキャンセルされている3D空間領域もまた、更新された領域とみなされる。
cancelled_region_flagは、3D領域が、以前の同期サンプルを参照して現在のサンプル内でキャンセル又は更新されているかどうかを示す。値0は、3D領域寸法及び/又は関連付けられた3Dタイルが、以前の同期サンプルを参照して更新されていることを示す。値1は、3D領域が、以前の同期サンプルを参照してこのサンプル内でキャンセルされていることを示す。
dynamic_dimension_flagは、この3D領域の寸法が、以前の同期サンプルを参照して更新されているか否かを示す。
dynamic_tile_id_flagは、この3D領域の関連付けられた3Dタイルが、以前の同期サンプルを参照して更新されているかどうかを示す。
3DSpatialRegionStructは、このサンプルが適用されるときの、G-PCCデータの3D空間領域情報を提供する
num_tilesは、このサンプルが適用されるときの、3D空間領域と関連付けられたG-PCCタイルの数を示す
tile_idは、3D空間領域と関連付けられた特定のG-PCCタイルを識別する。
3d_region_idは、以前の同期サンプルを参照してキャンセルされた3D空間領域を識別する。
23090-18に記載されているGPCCSpatialRegionInfoProperty記述アイテムプロパティは、1つ以上のG-PCCタイルアイテムと関連付けられており、識別子、アンカーポイント、及びアンカーポイントに対するX軸、Y軸、Z軸に沿ったデカルト座標における3Dタイルのサイズを含む、空間領域情報を記述するために使用される。クライアントが非時間指定データへの部分アクセスを望むとき、クライアントは、全てのGPCCSpatialRegionInfoPropertyアイテムプロパティを解析し、ユーザビューポート及びGPCCSpatialRegionInfoPropertyプロパティアイテム内に存在する3Dタイルインベントリ情報に基づいて、対象となるG-PCCタイルアイテムを見つける。このプロセスは、クライアント側では面倒である。
GPCCSpatialRegionsInfoProperty記述アイテムプロパティの使用により、上記の問題を解決し、より良好な部分アクセスサポートを提供する。
別の実施形態では、タイプ「gpeb」の各G-PCCアイテムは、有利には、GPCCSpatialRegionsInfoPropertyプロパティアイテムと関連付けられる。GPCCSpatialRegionsInfoPropertyは、有利には、3D領域識別子、オフセット、及び各3D領域に対するバウンディングボックス情報のサイズを示す。別の実施形態では、タイプ「gpe1」の各G-PCCアイテムは、有利には、3Dタイルインベントリ情報がG-PCCデータファイルにおいて利用可能である場合、GPCCSpatialRegionsInfoPropertyプロパティアイテムと関連付けられる。3Dタイルインベントリ情報がG-PCCデータファイルにおいて利用可能でない場合、GPCCSpatialRegionsInfoPropertyプロパティアイテムは存在しない。
別の実施形態では、3Dタイルインベントリ情報がG-PCCデータファイルにおいて利用可能であり、サブサンプルアイテムプロパティがそのG-PCCアイテムにリンクされる場合、G-PCCジオメトリコンポーネントを搬送するタイプ「gpci」のG-PCCアイテムは、有利には、GPCCSpatialRegionsInfoPropertyプロパティアイテムと関連付けられる。3Dタイルインベントリ情報がG-PCCデータファイルにおいて利用可能でないとき、又はサブサンプルアイテムプロパティがそのG-PCCアイテムとリンクされていないとき、GPCCSpatialRegionsInfoPropertyプロパティアイテムは存在しない。
図16は、空間領域アイテムプロパティ1604を有する、N個のG-PCCタイルを有する非時間指定G-PCCデータアイテム1602の部分アクセスを示す図であり、ここで、Nは整数である。図16は、G-PCCタイルを、関連付けられたタイル情報アイテムプロパティ1610、1612と共に別個のアイテムに記憶することによって複数のG-PCCタイルアイテム1606、1608に配置された、N個のG-PCCタイルからなる非時間指定G-PCCデータの搬送の例である。
図17は、タイプ「gpe1」のG-PCCアイテム1702を有する非時間指定G-PCCデータの部分アクセスを示す図である。図17は、タイプ「gpe1」のG-PCCアイテムを有する非時間指定G-PCCデータの搬送の例である。3Dタイルインベントリ情報がG-PCCデータファイルにおいて利用可能であるとき、G-PCCアイテムは、G-PCC空間領域アイテムプロパティ1704と関連付けられる。
図18は、タイプ「gpci」のG-PCCアイテム1802を有する非時間指定G-PCCデータの部分アクセスを示す図である。図18は、タイプ「gpci」のG-PCCアイテム1802を有する非時間指定G-PCCデータの搬送の一例を示す。3Dタイルインベントリ情報1806がG-PCCデータファイルにおいて利用可能であり、サブサンプルアイテムプロパティ1810がタイプ「gpci」のG-PCCアイテムと関連付けられているとき、ジオメトリデータを搬送するG-PCCアイテム1802は、G-PCC空間領域アイテムプロパティ1804と関連付けられ、関連付けられたコンポーネント情報アイテムプロパティ1808を含む。各非表示(hidden)属性1812、1814が、関連付けられた構成アイテムプロパティ1816、1818、関連付けられたコンポーネント情報アイテムプロパティ1820、1822、及びサブサンプルアイテムプロパティ1824、1826と共に示される。
別の実施形態では、GPCCTileInfoPropertyアイテムプロパティは、G-PCCタイルアイテム内に存在する各3Dタイルのタイル識別子情報を記述する。タイプ「gpt1」の各G-PCCタイルアイテムは、有利には、GPCCTileInfoPropertyプロパティアイテムと関連付けられる。GPCCTileInfoPropertyプロパティアイテムは、有利には、タイプ「gpt1」のG-PCCタイルアイテム内に存在する各3Dタイルの3Dタイル識別子情報を示す。G-PCCプレーヤは、G-PCCアイテムと関連付けられたG-PCC空間領域アイテムプロパティを使用して、対象となるビューポート領域に基づいて、必要なタイル識別子を識別する。特定のG-PCCタイル識別子を含むタイルアイテムは、関連付けられたG-PCCタイル情報アイテムプロパティを使用して解釈される。
GPCCSpatialRegionsInfoProperty及びGPCCTileInfoPropertyアイテムプロパティにより、非時間指定G-PCCデータの部分アクセスが可能になる。
G-PCC空間領域アイテムプロパティは、以下のように記述され得る。
GPCCSpatialRegionsInfoProperty記述アイテムプロパティは、3D領域識別子、アンカーポイント、及び各3D空間領域のアンカーポイントに対するX軸、Y軸、Z軸に沿ったデカルト座標における3D空間領域のサイズを含む、空間領域情報を記述するために使用される。GPCCSpatialRegionsInfoPropertyアイテムプロパティはまた、各3D空間領域と関連付けられた3Dタイル識別子を記述する。
構文の例は以下のとおりである。
セマンティクスの例は以下のとおりである。
num_regionsは、G-PCCデータファイル内の3D空間領域の数を示す。
3d_region_idは、空間領域の識別子を示す。
anchor_x、anchor_y、及びanchor_zは、それぞれ、デカルト座標における3D空間領域のアンカーポイントのxオフセット、yオフセット、及びzオフセットを示す。
region_dx、region_dy、region_dzは、それぞれ、アンカーポイントに対するx軸、y軸、z軸に沿ったデカルト座標における3D空間領域のサイズを示し、デカルト座標における3D空間領域の幅、高さ、深さを示す。
num_tilesは、3D空間領域と関連付けられた3Dタイルの数を示す。
tile_idは、3D空間領域と関連付けられた3Dタイルのタイル識別子を示す。
G-PCCタイル情報アイテムプロパティは、以下のように記述され得る。
GPCCTileInfoProperty記述アイテムプロパティは、G-PCCタイルアイテム内に存在する3Dタイルのタイル識別子を記述する。GPCCTileInfoPropertyアイテムプロパティは、アンカーポイントと、G-PCCタイルアイテム内に存在する全ての3Dタイルのアンカーポイントに対するX軸、Y軸、Z軸に沿ったデカルト座標における3Dタイルのサイズとを、任意選択的に含み得る。
構文の例は以下のとおりである。
セマンティクスの例は以下のとおりである。
num_tilesは、G-PCCタイルアイテム内に存在する3Dタイルの数を示す。
tile_idは、G-PCCタイルアイテム内に存在する3Dタイルのタイル識別子を示す。
tile_inventory_info_flagは、GPCCTileInfoPropertyプロパティにおいてタイルインベントリ情報が利用可能であるかどうかを示す。値0は、GPCCTileInfoPropertyプロパティにおいてタイルインベントリ情報が利用可能でないことを示す。値1は、GPCCTileInfoPropertyプロパティにおいてタイルインベントリ情報が利用可能であることを示す。
3d_region_idは、3Dタイルの識別子を示す。
anchor_x、anchor_y、及びanchor_zは、それぞれ、デカルト座標における3Dタイルのアンカーポイントのxオフセット、yオフセット、及びzオフセットを示す。
region_dx、region_dy、及びregion_dzは、それぞれ、アンカーポイントに対するx軸、y軸、及びz軸に沿ったデカルト座標における3Dタイルのサイズを示し、デカルト座標における3Dタイルの幅、高さ、及び深さを示す。
別の実施形態では、G-PCCデータファイル内の時間スケーラビリティは、時間レイヤに基づいてG-PCCフレームを分割することによってサポートされ得る。システムは、時間スケーラビリティをサポートするために、G-PCCデータファイル内に存在すべき時間レイヤの最大数を選択することができる。システムは、データファイル内のG-PCCフレームを複数の時間レイヤに分散させることができる。例えば、600個のフレームを含むG-PCCデータファイルは、3つの時間レイヤに分散され得、第1のフレームは時間レイヤ0に割り当てられ、第2のフレームは時間レイヤ1に割り当てられ、第3のフレームは時間レイヤ3に割り当てられ、第4のフレームは時間レイヤ0に割り当てられ、以下同様である。G-PCCフレームと時間レイヤ識別子情報との間のマッピングがG-PCCデータファイルにおいてシグナリングされない場合、特定の時間レイヤへのG-PCCフレームの分散ロジックは、システムによって識別され得る。G-PCCストリーミングアプリケーションは、特定の時間レイヤIDフレームのみ、複数の時間レイヤに属するフレーム、又は全ての時間レイヤフレームをストリーミングし、続いて、それらのフレームを復号し、ポイントクラウドレンダラにレンダリングすることができる。複数の識別された時間レイヤのうちの個々の時間レイヤのフレームは、他の時間レイヤを復号及びレンダリングすることなく、復号及びレンダリングされ得る。
別の実施形態では、GPCCScalabilityInfoBoxボックスは、データファイル内に存在するスケーラビリティ情報を示す。このボックスがメインG-PCCデータを表すトラックのサンプルエントリ内に存在するとき、ボックスは、スケーラビリティがサポートされるかどうかを示す。スケーラビリティがサポートされる場合、このボックスは、G-PCCデータファイル内に存在する時間レイヤの最大数を提供する。
別の実施形態では、G-PCCタイルベーストラック又はメイントラックは、G-PCCデータファイル内に存在する時間レイヤの最大数をシグナリングする。
GPCCScalabilityInfoBoxの構文の例は以下のとおりである。
GPCCScalabilityInfoBoxのセマンティクスの例は以下のとおりである
temporal_scalability_flagは、データファイル内のG-PCCフレームが時間レイヤに分割されるかどうかを示す。値0は、時間レイヤ情報が利用可能でないこと、又は全ての時間レイヤフレームが1つの時間レイヤにおいてシグナリングされることを示す。値1は、フレームが複数の時間レイヤに分割されることを示す。
max_num_temporal_layersは、G-PCCデータファイルフレームが分割される時間レイヤの最大数を示す。
temporal_layer_idは、存在するサンプルの時間レイヤ識別子を示す。
別の実施形態では、G-PCCタイルトラックは、そのトラック内に存在するG-PCCサンプルの時間レイヤ識別子をシグナリングし得る。タイルトラック内に存在する時間レイヤ識別子情報は、GPCCTileSampleEntryにおいてシグナリングされる。G-PCCタイルトラックは、1つ以上の時間レイヤ又は全ての時間レイヤに属する、1つ以上のタイルをシグナリングし得る。
サンプルエントリは、G-PCCコンポーネントタイルトラックのメディアサンプルを記述する。GPCCTileSampleEntryは次のように記述される。
GPCCTileSampleEntryの構文の例は以下のとおりである。
GPCCTileSampleEntryにおけるフィールドのセマンティクスは、以下のように記述され得る。
ベースクラスVolumetricVisualSampleEntryにおけるcompressornameは、使用される圧縮器の名前を示し、値「\013GPCC Coding」が推奨されており、第1のバイトは、ここでは\013によって表される残りのバイトのカウントであり、これは、ストリングの残りのバイト数である、(8進数の13である)11(10進数)である。
configは、G-PCCタイルグループ構成記録情報である。
typeは、GPCCComponentTypeBoxのインスタンスであり、それぞれのトラックにおいて搬送されるG-PCCコンポーネントのタイプを示す。全てのコンポーネントのデータが一緒に搬送されるときはこのボックスは存在しない。
dynamic_tile_id_flagは、タイルトラックサンプル内に存在するタイルの数又はタイル識別子がストリーム内で動的に変化しているかどうかを示す。値0は、タイルトラック内の全てのサンプルが同じ数のタイルを含み、それらのタイルのタイル識別子が変化していないことを示す。値1は、タイルトラックサンプル内に存在するタイルの数が変化していること、又はタイルトラックサンプル内のタイル識別子がストリーム内で変化していることを示す。
temporal_scalability_flagは、データファイル内のG-PCCフレームが時間レイヤに分割されるかどうかを示す。値0は、時間レイヤ情報が利用可能でないこと、又は全ての時間レイヤフレームがこのトラックにおいてシグナリングされることを示す。値1は、時間レイヤ識別子情報が存在することを示す。
max_num_tile_ids_in_trackは、それぞれのトラックのサンプル内に存在する一意のG-PCCタイル識別子の最大数を示す。dynamic_num_tiles_flagが0であるとき、タイルトラック内の各サンプルは、max_num_tile_ids_in_track個のタイルを含み、それらのタイルのタイル識別子は、ストリーム内で変化していない。dynamic_num_tiles_flagが1であるとき、タイルトラック内の各サンプルは、最大でmax_num_tile_ids_in_track個のタイルを含み、それらのタイルのタイル識別子は、サンプル間で変化し得る。
tile_idは、それぞれのトラック内のサンプルに対応する特定のG-PCCタイルの識別子を示す。
num_temporal_layersは、それぞれのトラックのサンプル内に存在する時間レイヤの数を示す。
temporal_layer_idは、それぞれのトラックにおいてシグナリングされたサンプルの時間レイヤ識別子を示す。
G-PCCタイルベーストラック又はG-PCCジオメトリトラックのサンプルエントリは、GPCCScalabilityInfoBoxボックスを含み得る。G-PCCタイルベーストラックのサンプルエントリは以下のとおりである。
G-PCCジオメトリトラックのサンプルエントリは以下のとおりである。
別の実施形態では、タイプ「gpe1」又は「gpeg」のG-PCCトラックは、そのトラック内に存在するG-PCCサンプルの時間レイヤ識別子をシグナリングし得る。そのトラック内に存在する時間レイヤ識別子情報をシグナリングするために、サンプルエントリ内にGPCCScalabilityInfoBoxボックスが存在し得る。タイプ「gpe1」又は「gpeg」のG-PCCトラックは、データファイル内に存在する全ての時間レイヤをシグナリングし得る。
単一トラックの場合のG-PCCトラックのサンプルエントリが以下に示される。
scalabilityInfoは、このトラックのサンプル内に存在する時間スケーラビリティレイヤ識別子情報を示す。
同じポイントクラウドコンポーネントに属する異なる時間レベルトラック内に存在するサンプルのプレゼンテーション時間は、異なっていなければならない。例えば、時間レベル0トラック及び時間レベル1トラック内に存在するジオメトリコンポーネントサンプルのプレゼンテーション時間は、異っていなければならない。
ISO/IEC 23090-18に記載されているGPCCDecoderConfigurationRecordは、データファイル内に存在する時間レイヤの数を示すように拡張され得る。拡張されたデコーダ構成記録の構文及びセマンティクスが以下に示される。全ての時間レベルトラックに対するSPS、GPS、APS及びタイルインベントリ情報などのデコーダ構成情報は、有利には同じであってもよい。有利なことに、これらのトラック内に存在する時間レベルの数及び時間レベル識別子のみが変化し得る。
例示的な構文は以下のとおりである。
例示的なセマンティクスは以下のとおりである。
num_temporal_layersは、トラック内に存在する時間レイヤの最大数を示す。時間レイヤ情報が利用可能でないとき、又は全てのフレームが1つの時間レイヤにおいてシグナリングされるとき、このフィールド値は1である。
temporal_layer_idは、時間レイヤ識別子を示す。
別の実施形態では、G-PCCコンポーネントのサンプルは、サンプルの時間レベルに基づいてグループ化される。時間レベルサンプルのグループ化(「tele」)は、時間レベルによってトラック(及び潜在的なトラックフラグメント)中のG-PCCサンプルをグループ化するために使用され得るコーデック独立のサンプルグループ化を与え、ここで、1つの時間レベルのサンプルは、他の時間レベルのサンプルに対するコーディング依存性を有しない。
別の実施形態では、TemporalId値を示すために、ISO/IEC 14496-12において規定されている時間レベルサンプルグループ「tele」が使用される。ジオメトリ及び/又は属性データを搬送するG-PCCトラック内に「tele」サンプルグループが存在するとき、時間レベルTemporalIdを有するサンプルは、サンプルグループ記述インデックスTemporalId+1にマッピングされる。サンプルグループ記述ボックスは、デコーダ構成記録においてシグナリングされた全てのレイヤについてのサンプルグループ記述をシグナリングする。
別の実施形態では、タイルインベントリ情報がG-PCCデータファイルにおいて利用可能であり、かつ静的であるか又は経時的に変化するとき、タイルインベントリ情報は、grouping_type「gtii」を有するタイルインベントリ情報サンプルグループを使用してシグナリングされる。グループ化タイプ「gtii」を有するタイルインベントリ情報サンプルグループは、G-PCCジオメトリトラックにおける同じタイルインベントリ情報を使用するG-PCCサンプルをグループ化するために使用される。タイルインベントリ情報は、サンプルグループ記述エントリ内に、又はサンプル内に存在し得る。
別の実施形態では、G-PCCデータファイルがトラックタイプ「gpc1」を有するG-PCCトラックを使用して搬送され、かつタイルインベントリ情報がデータファイルにおいて利用可能であるとき、ジオメトリトラックは、グループ化タイプ「gtii」を有するタイルインベントリ情報サンプルグループを含み、タイルインベントリ情報は、サンプルグループ記述エントリ内に存在する。属性トラックは、グループ化タイプ「gtii」を有するサンプルグループを含まない。
別の実施形態では、タイルインベントリ情報がデータファイルにおいて利用可能であるときの「gpcg」サンプルエントリの下で、ジオメトリトラックは、グループ化タイプ「gtii」を有するタイルインベントリ情報サンプルグループを含み、タイルインベントリ情報は、サンプルグループ記述エントリ内に、又はG-PCCジオメトリトラックのサンプル内に存在し得る。
別の実施形態では、タイルインベントリ情報がデータファイルにおいて利用可能であるときの「gpe1」サンプルエントリの下で、G-PCCトラックは、グループ化タイプ「gtii」を有するタイルインベントリ情報サンプルグループを含み、タイルインベントリ情報は、サンプルグループ記述エントリ内に存在し得る。
別の実施形態では、タイルインベントリ情報がデータファイルにおいて利用可能であるときの「gpeg」サンプルエントリの下で、G-PCCトラックは、グループ化タイプ「gtii」を有するタイルインベントリ情報サンプルグループを含み、タイルインベントリ情報は、サンプルグループ記述エントリ内に、又はG-PCCトラックのサンプル内に存在し得る。
別の実施形態では、G-PCCデータファイルがタイルトラックを使用して搬送されるとき、トラックタイプ「gpcb」又は「gpeb」を有するタイルベーストラックは、グループ化タイプ「gtii」を有するサンプルグループを含み得、タイルインベントリ情報は、タイルベーストラックサンプルにおいて利用可能である。タイルインベントリ情報は、「gtii」サンプルグループ記述エントリ内には存在しない。トラックタイプ「gpt1」を有するジオメトリ及び属性タイルトラックは、グループ化タイプ「gtii」を有するサンプルグループを含まない。
別の実施形態では、G-PCCデータファイルがトラックタイプ「gpt1」を有するタイルトラックを使用して搬送されるとき、ジオメトリタイルトラックは、そのトラックのサンプル内に存在するタイルのタイルインベントリ情報をシグナリングするために、「gtii」サンプルグループを含み得る。
タイルインベントリ情報サンプルグループエントリ:
タイルインベントリのサンプルグループエントリは、同じタイルインベントリ情報を使用する全てのサンプルについてのタイルインベントリ情報を記述する。
構文の例は以下のとおりである。
セマンティクスの例は以下のとおりである。
tile_inventory_infoは、ISO/IEC 23090-9に記載されているように、5に等しいtlv_typeのタイルインベントリ情報TLVカプセル化構造を含む。
例えば、複数のタイルトラックを有するG-PCCデータファイルは、1つのジオメトリコンポーネント及び2つの属性コンポーネントを有する。この例では、G-PCCデータファイルは、10個のタイルセットにグループ化される50個のタイルを含む。第1のタイルセットはタイル1~5を含み得、第2のタイルセットはタイル6~9を含み得、第3のタイルセットはタイル10~20を含み得、以下同様である。各セット内のタイルの数は、セット間で変化してもよく、又は同じ数であってもよい。タイルセットの各コンポーネントは、ISOBMFFコンテナファイル内の別個のG-PCCタイルトラックで搬送され得る。
クライアントが、対象となる特定の3D領域を有するG-PCCコンテンツを再生したいとき、クライアントは、G-PCCベーストラック内に存在するGPCCSpatialRegionInfoBoxから、G-PCCデータファイル内に存在する3D領域を識別する。クライアントは、対象となる3D領域と関連付けられたタイルを選択する。クライアントは、各タイルトラックGPCCTileSampleEntry内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。GPCCTileSampleEntryは、そのタイルトラック内に存在するタイルのリストを指定する。
G-PCCタイル化メディアコンテンツが存在する場合、クライアントは、クライアントの現在のビューポートに基づいて、ポイントクラウドビットストリーム内の対象となるタイルを識別し得る。クライアントは、G-PCCベーストラック内に存在するGPCCSpatialRegionInfoBoxを解析し、現在のビューポート内に存在するそれぞれの3D領域を見つける。選択されたこれらの3D領域内にあるタイルは、GPCCSpatialRegionInfoBoxを使用して識別される。クライアントは、各タイルトラックGPCCTileSampleEntry内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。
3D領域情報又は3D領域内に存在するタイルがG-PCCコンテンツ内で動的に変化しており、クライアントが、対象となる3D領域を有するG-PCCコンテンツを再生したい場合、クライアントは、サンプルエントリタイプ「gpdr」を有する時間指定メタデータトラック内のDynamic3DSpatialRegionSampleEntryから、G-PCCデータファイル内に存在する動的に変化している3D領域を識別する。クライアントは、時間指定メタデータトラック内に存在するDynamic3DSpatialRegionSampleタイプサンプルを使用して、対象となる3D領域内に存在するタイルを識別する。クライアントは、各タイルトラックGPCCTileSampleEntry内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。
クライアントは、ユーザビューポートに基づいてタイルトラックデータにアクセスすることもできる。ユーザビューポート内に存在する3Dパーティションが動的であるとき、クライアントは、動的に変化している3D領域がG-PCCデータファイル内に存在することを、サンプルエントリタイプ「gpdr」を有する時間指定メタデータトラック内にDynamic3DSpatialRegionSampleEntryが存在することから識別する。クライアントは、時間指定メタデータトラックに存在するDynamic3DSpatialRegionSampleタイプサンプルを使用して、ビューポートに存在する3D領域を識別する。クライアントは、Dynamic3DSpatialRegionSampleサンプルにおいて利用可能な情報を使用して、選択されたこれらの3D領域内に存在するタイルを識別する。クライアントは、各タイルトラックGPCCTileSampleEntryボックス内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。
以下は、G-PCCタイル化コンテンツの再生のための例示的なクライアント方法である。
1.クライアントの対象となるビューポート又はユーザビューポート情報を識別する。
2.GPCCSpatialRegionInfoBoxを使用して、クライアントの対象となるビューポート又はユーザビューポートと関連付けられた3D領域を識別する。
3.3D領域情報が動的に変化している場合、タイプDynamic3DSpatialRegionSampleの3D空間領域情報時間指定メタデータトラックサンプル内に存在する3D領域情報を識別する。
4.利用可能な3D領域情報に基づいて、例えば、3D動的に変化している領域について、対象となるビューポート領域と関連付けられた3D領域を識別する。
5.3D空間領域情報時間指定メタデータトラックサンプルから、対象となるそれらの3D領域と関連付けられたタイルを識別する。
6.各タイルトラック内に存在するGPCCTileSampleEntryボックスの情報を使用して、選択されたこれらのタイルと関連付けられたタイルトラックを識別する。
7.選択されたタイルトラックストリームは、G-PCCデータファイル又はビットストリームから抽出され、復号され、ユーザの現在のビューポート又は対象となるビューポートに基づいてユーザに提示される。
クライアントが、対象となる3Dオブジェクトを有するG-PCCコンテンツを再生したいとき、クライアントは、G-PCCベーストラック内に存在するGPCC3DObjectsInfoBoxから、G-PCCデータファイル内に存在する3Dオブジェクトを識別する。クライアントは、対象となる3Dオブジェクトのためにダウンロードされるべきタイルを選択する。クライアントは、各タイルトラックGPCCTileSampleEntry内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。GPCCTileSampleEntryは、そのタイルトラック内に存在するタイルのリストを指定する。
3Dバウンディングボックス情報又は3Dオブジェクト内に存在するタイルが動的に変化しており、クライアントが、対象となる3Dオブジェクトを有するG-PCCコンテンツを再生したい場合、クライアントは、サンプルエントリタイプ「gpdo」を有する時間指定メタデータトラック内のDynamic3DObjectsInfoSampleEntryから、G-PCCデータファイル内に存在する動的に変化している3Dオブジェクトを識別する。クライアントは、3Dオブジェクト時間指定メタデータトラック内に存在するDynamic3DObjectsInfoSampleタイプサンプルを使用して、対象となる3Dオブジェクト内に存在するタイルを識別する。クライアントは、各タイルトラックGPCCTileSampleEntry内に存在するタイル情報に基づいて、選択されたタイルに必要なタイルトラックを識別する。
以下は、G-PCCタイル化コンテンツの再生のための例示的なクライアント方法である。
1.ユーザの関心のある3Dオブジェクト及びビューポート情報を識別する。
2.GPCC3DObjectsInfoBoxを使用して、対象となる3Dオブジェクトと関連付けられたタイルを識別する。
3.3Dオブジェクト空間情報が動的に変化している場合、タイプDynamic3DObjectsInfoSampleの3Dオブジェクト情報時間指定メタデータトラックサンプル内に存在する情報を使用して、対象となる3Dオブジェクトと関連付けられたタイルを識別する。
4.各タイルトラック内に存在するGPCCTileSampleEntryボックスの情報を使用して、選択されたこれらのタイルと関連付けられたタイルトラックを識別する。
5.対象となるビューポートディスプレイについて、GPCCSpatialRegionInfoBoxを使用して対象となるビューポート又はユーザビューポートと関連付けられた3D領域を識別する。
6.3D領域情報が動的に変化している場合、タイプDynamic3DSpatialRegionSampleの3D空間領域情報時間指定メタデータトラックサンプル内に存在する3D領域情報を識別する。
7.利用可能な3D領域情報に基づいて、例えば、3Dの動的に変化している領域について、対象となるビューポート領域と関連付けられた3D領域を識別する。
8.3D空間領域情報時間指定メタデータトラックサンプルから、対象となる3D領域と関連付けられたタイルを識別する。
9.各タイルトラック内に存在するGPCCTileSampleEntryボックスの情報を使用して、選択されたこのタイルと関連付けられたタイルトラックを識別する。
10.ステップ4及びステップ9からの選択されたタイルトラックストリームは、G-PCCデータファイル又はビットストリームから抽出され、復号され、ユーザの関心のある3Dオブジェクト及び現在のビューポート又は対象となるビューポートに基づいてユーザに提示される。
代替方法は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することを含む。復号デバイスは、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定する。決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックは、通信ネットワークを介して取り出される。各ジオメトリタイルトラックは、それぞれのタイルに対するポイントクラウドジオメトリデータを含む。取り出されたジオメトリタイルトラックは、処理される。時間指定メタデータトラックは、Dynamic3DSpatialRegionSampleEntryデータフィールド又はGPCCSpatialRegionInfoBoxボックスデータフィールドを有するトラックであってもよい。画像をレンダリングするために使用されるべきタイルの決定は、ポイントクラウドデータに対するビューアデバイスの視野角を取得することを含み得る。復号デバイスは、プレーヤデバイス又はストリーミングクライアントであり得、1つ以上のポイントクラウドを決定することは、ポイントクラウドシーン内の特定の空間領域又はタイルをレンダリングするために必要とされる情報を搬送するタイルトラックのセットを識別することを含み得る。ベーストラックは、(i)SPS、GPS、APSのみを含むタイプ-長さ-値カプセル化構造、(ii)ISO/IEC 23090-9に記載されているタイルインベントリ情報、のうちの少なくとも1つを含む初期化データを搬送し得る。ベーストラックは、4文字コード(4CC)を使用するトラック参照タイプに従って、ジオメトリタイルトラックにリンクされ得る。各ジオメトリタイルトラックは、1つ以上の属性タイルトラックとリンクされ得る。ジオメトリタイルトラックは、ISO/IEC 14496-12のトラック参照ツールを使用して、それぞれのタイル又はタイルグループの属性情報を搬送する属性タイルトラックと関連付けられ得る。複数のタイル及び対応するタイルデータは、複数のジオメトリタイルトラック及び複数の属性タイルトラックにおいて搬送され得る。ベーストラックは、サンプルエントリタイプ「gpcb」を有するGPCCSampleEntryデータフィールドを使用し得る。同じalternate_group値を有するGPCCコンポーネントタイルトラックは、同じG-PCCコンポーネントの異なる符号化バージョンであり、代替であるG-PCCコンポーネントタイルトラックは、例えば、それらのTrackHeaderBoxにおいて同じalternate_group値を有し得る。代替グループに属するG-PCCコンポーネントタイルトラックは、G-PCCベーストラック又はそれぞれのG-PCCジオメトリタイルトラックによって参照され得る。互いの代替であるG-PCC属性トラックは、同じalternate_group値を有し得る。互いの代替であるG-PCC属性タイルトラックは、同じalternate_group値を有し得る。
ポイントクラウドデータストリームを生成する方法は、一実施形態においてGPCCConfigurationBoxを含むベーストラックサンプルエントリを生成することを含む。
ポイントクラウドデータストリームを生成する方法は、一実施形態において、ISO/IEC 23090-18に記載されているG-PCCサンプルの一部としてベーストラックサンプルエントリを搬送することを含む。
一実施形態では、方法は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することと、復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定することと、通信ネットワークから、決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックを取り出すことであって、各ジオメトリタイルトラックが、それぞれのタイルに対するポイントクラウドジオメトリデータを含む、取り出すことと、を含み、各ジオメトリタイルトラックは、それぞれのタイルに対するポイントクラウドジオメトリデータを含む。ポイントクラウドシーン内の特定の空間領域又はタイルをレンダリングするために必要とされる情報を搬送するタイルトラックのセットは、識別され得る。各ジオメトリタイルトラックは、1つ以上の属性タイルトラックとリンクされ得る。データファイルがタイルトラックを使用して搬送される場合、タイルベーストラックはタイルベーストラックサンプル内にタイルインベントリ情報を含み得、ジオメトリタイルトラックはジオメトリタイルトラックのサンプル内に存在するタイルのタイルインベントリをシグナリングするためのサンプルグループを含む。単一のトラック又は複数のトラックを使用してデータファイルが搬送され、各トラックがコンポーネントデータを搬送するとき、ジオメトリデータを搬送するトラックは、タイルインベントリ情報をシグナリングするためのサンプルグループを含み得る。代替グループに属するG-PCCコンポーネントタイルトラックは、G-PCCベーストラック又はそれぞれのG-PCCジオメトリタイルトラックによって参照され得る。方法は、1つ以上のポイントクラウドタイルを含むジオメトリベースのポイントクラウドデータを含む、フォーマットされたコンテナを受信することと、フォーマットされたコンテナから時間指定メタデータトラックを取得することであって、時間指定メタデータトラックが複数のタイル識別子を含み、各タイル識別子が、1つ以上のポイントクラウドタイルのそれぞれのタイルに対応する、取得することと、1つ以上のポイントクラウドタイルから少なくとも1つの選択されたタイルを選択することであって、少なくとも1つの選択されたタイルが少なくとも1つのタイル識別子に対応する、選択することと、少なくとも1つのタイル識別子と関連付けられた少なくとも1つのジオメトリタイルトラックを識別することと、少なくとも1つのジオメトリタイルトラックと関連付けられた第1のトラック参照タイプを利用することと、少なくとも1つの選択されたタイルに対する初期化データを含むベーストラックを識別することと、少なくとも1つのジオメトリタイルトラック及び初期化データを利用して少なくとも1つの選択されたタイルを少なくとも1つの復号されたタイルに復号することと、を更に含み得る。方法は、少なくとも1つの選択されたタイルと関連付けられた少なくとも1つの属性タイルトラックを識別することを更に含み、少なくとも1つの選択されたタイルを復号することは、少なくとも1つのジオメトリタイルトラック、少なくとも1つの属性タイルトラック、及び初期化データを利用して、少なくとも1つの復号されたタイルにすることを含む。復号は、ジオメトリベースのポイントクラウドデータの全てを復号することなく実施され得る。方法は、クライアントのためのビューポートを識別することと、ビューポートと関連付けられた少なくとも1つの3D領域を識別することと、少なくとも1つの3D領域についての情報が動的に変化しているときに、3D空間領域情報時間指定メタデータトラックサンプル内に存在する少なくとも1つの3D領域についての情報を識別することと、利用可能な3D領域情報に基づいて、少なくとも1つの3D領域のうちのどの3D領域がビューポートと関連付けられているかを識別することと、3D空間領域情報時間指定メタデータトラックサンプルから、対象となる少なくとも1つの3D領域と関連付けられた少なくとも1つのタイルを識別することと、各タイルトラック内に存在する情報を使用することによって、対象となる少なくとも1つの3D領域と関連付けられた少なくとも1つのタイルと関連付けられた、少なくとも1つのタイルトラックを識別することと、識別されたタイルトラックをG-PCCデータファイルから抽出し、識別されたタイルトラックを復号し、かつ現在のビューポート又はビューポートに基づいて、復号されたタイルトラックを表示することと、を更に含み得る。時間指定メタデータトラックは、サンプルを同期サンプル又は非同期サンプルのいずれかとして設定し得、時間指定メタデータトラック内の非同期サンプルは、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して更新された3D空間領域情報のみを搬送し、かつ時間指定メタデータトラック内の非同期サンプルは、更新されている寸法又は関連付けられた3Dタイル並びに任意の追加又はキャンセルされた3D空間領域を含む、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して更新された3D空間領域情報のみをシグナリングする。クラウドタイルの異なる符号化バージョンは、複数のタイルベーストラックを使用してシグナリングされ得、同じグループ識別、例えば1つのグループ識別を有し得る。属性コンポーネントクラウドタイルの異なる符号化バージョンは、同じグループ識別を使用してシグナリングされ得る。ポイントクラウドデータのフレームは、複数の識別された時間レイヤ間で分散され得、各フレームは、複数の識別された時間レイヤのうちの1つに割り当てられ、ジオメトリタイルトラックは、ジオメトリタイルトラック内に存在するG-PCCサンプルの少なくとも1つの時間レイヤ識別子をシグナリングし、ジオメトリタイルトラックのG-PCCコンポーネントのサンプルは、各サンプルの時間レベルに基づいてグループ化される。この複数の識別された時間レイヤのうちの個々の時間レイヤのフレームは、他の時間レイヤを復号及びレンダリングすることなく、復号及びレンダリングされ得る。命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令がプロセッサによって実行されたときに、プロセッサに方法を実施させ得る、非一時的コンピュータ可読記憶媒体。装置は、少なくとも1つのプロセッサと、命令を記憶した少なくとも1つのメモリと、を備え、命令は、少なくとも1つのプロセッサによって実行されたときに、装置に、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信し、復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定し、通信ネットワークから、決定された1つ以上のポイントクラウドタイルに対応する、各々がそれぞれのタイルに対するポイントクラウドジオメトリデータを含む1つ以上のジオメトリタイルトラックを取り出し、かつ取り出されたジオメトリタイルトラックを処理することを行わせるように動作可能である。
方法は、一実施形態において、サンプルのプレゼンテーション時間を使用して、G-PCCタイルを復号するために必要とされる(パラメータセット及びタイルインベントリデータを搬送する)G-PCCベーストラックサンプルを識別することを含む。対応するベーストラックサンプルのプレゼンテーション時間は、タイルトラックサンプルプレゼンテーション時間と等しいか又はそれ未満かのいずれかであり得る。ベーストラックサンプル及びタイルトラックサンプルのプレゼンテーション時間が一致しないとき、タイルトラックサンプルが復号されるか、又はサンプルのタイルインベントリ情報が、タイルトラックサンプルのプレゼンテーション時間により近いプレゼンテーション時間を有するベーストラックサンプルを使用して識別される。
選択されたタイルは、フォーマットされたコンテナ全体を復号することなく選択されたタイルが復号可能であるように、符号化され得る。ベーストラックは、パラメータセット及びタイルインベントリデータを含み得る。タイルトラックサンプルを復号するベーストラックサンプルは、対応するサンプルのプレゼンテーション時間を使用して識別され得る。ジオメトリベースのポイントクラウドデータは、複数のジオメトリベースのポイントクラウド圧縮(G-PCC)ユニットを含み得、各G-PCCユニットは、G-PCCタイプ-長さ-値、及びG-PCCペイロードを含む。非一時的コンピュータ可読媒体は、上述した方法のうちのいずれかを実施するように構成されたコンピュータ可読命令を含み得る。
一実施形態では、方法は、複数のタイルを含むジオメトリベースのポイントクラウドデータを含むフォーマットされたコンテナを受信することと、フォーマットされたコンテナから時間指定メタデータトラックを取得することと、を含み、時間指定メタデータトラックは複数のタイル識別子を含み、各タイル識別子は複数のタイルのそれぞれのタイルに対応する。この複数のタイルから少なくとも1つのタイルが選択され、少なくとも1つの選択されたタイルは、少なくとも1つのタイル識別子に対応する。少なくとも1つのタイル識別子と関連付けられた少なくとも1つのジオメトリタイルトラックが識別される。少なくとも1つのジオメトリタイルトラックと関連付けられた第1のトラック参照タイプを利用して、少なくとも1つの選択されたタイルに対する初期化データを含むベーストラックが識別される。少なくとも1つのジオメトリタイルトラック及び初期化データを利用して、少なくとも1つの選択されたタイルが、少なくとも1つの復号されたタイルに復号される。方法は、少なくとも1つのジオメトリタイルトラックと関連付けられた第2のトラック参照タイプを利用して、少なくとも1つの選択されたタイルと関連付けられた少なくとも1つの属性タイルトラックを識別することを更に含み得、少なくとも1つの選択されたタイルを復号することは、少なくとも1つのジオメトリタイルトラック、少なくとも1つの属性タイルトラック、及び初期化データを利用して、少なくとも1つの復号されたタイルにすることを含む。復号は、ジオメトリベースのポイントクラウドデータの全てを復号せずに実施され得る。データファイルにおいてタイルインベントリ情報が利用可能であるとき、タイルインベントリ情報は、ジオメトリトラック内の同じタイルインベントリ情報を有するサンプルをグループ化するタイルインベントリ情報サンプルグループを使用して、シグナリングされ得る。データファイルにおいてタイルインベントリ情報が利用可能であるとき、ジオメトリトラックは、タイルインベントリ情報サンプルグループタイプを含み得、タイルインベントリ情報は、サンプルグループ記述内に、又はジオメトリトラックのサンプル内に存在する。データファイルがタイルトラックを使用して搬送される場合、タイルベーストラックは、タイルベーストラックサンプル内にタイルインベントリ情報を含み得る。データファイルがタイルトラックを使用して搬送される場合、ジオメトリタイルトラックは、ジオメトリタイルトラックのサンプル内に存在するタイルのタイルインベントリをシグナリングするためのサンプルグループを含み得る。
一実施形態では、方法は、クライアントのためのビューポートを識別することと、ビューポートと関連付けられた少なくとも1つの3D領域を識別することと、少なくとも1つの3D領域についての情報が動的に変化しているときに、3D空間領域情報時間指定メタデータトラックサンプル内に存在する少なくとも1つの3D領域についての情報を識別することと、利用可能な3D領域情報に基づいて、少なくとも1つの3D領域のうちのどの3D領域がビューポートと関連付けられているかを識別することと、を含む。3D空間領域情報時間指定メタデータトラックサンプルから、対象となる少なくとも1つの3D領域と関連付けられた少なくとも1つのタイルが識別される。各タイルトラック内に存在する情報を使用することによって、対象となる少なくとも1つの3D領域と関連付けられた少なくとも1つのタイルと関連付けられた、少なくとも1つのタイルトラックが識別される。識別されたタイルトラックはG-PCCデータファイルから抽出され、識別されたタイルトラックは復号され、復号されたタイルトラックは、現在のビューポート又はビューポートに基づいて表示される。時間指定メタデータトラックは、サンプルを同期サンプル又は非同期サンプルのいずれかとして設定し得る。サンプルは、特定の数のサンプルに対して存在し得る。サンプルは、特定の時間間隔にわたって存在し得る。時間指定メタデータトラック内の非同期サンプルは、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して、更新された3D空間領域情報のみを搬送し得る。時間指定メタデータトラック内の非同期サンプルは、更新されている寸法又は関連付けられた3Dタイル並びに任意の追加又はキャンセルされた3D空間領域を含む、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して、更新された3D空間領域情報のみをシグナリングし得る。動的タイルIDフラグは、現在のサンプル内の3D空間領域の関連付けられたタイルが、先行する同期サンプルを参照して更新されているかどうかを示し得る。以前の同期サンプルを参照して現在のサンプル内でシグナリングされる、更新された3D空間領域の数の表示が含まれ得る。時間指定メタデータトラックは、3D領域識別子、オフセット、及び各3D領域に対するバウンディングボックス情報のサイズを含み得る。
一実施形態において、方法は、対象となる3Dオブジェクト及びビューポート情報を識別することと、対象となる3Dオブジェクトと関連付けられたタイルを識別することと、3Dオブジェクトについての空間情報が動的に変化しているとき、3Dオブジェクト情報時間指定メタデータトラックサンプル内に存在する情報を使用することによって、対象となる3Dオブジェクトと関連付けられた少なくとも1つのタイルを識別することと、各タイルトラック内に存在する情報を使用して、少なくとも1つのタイルと関連付けられた少なくとも1つのタイルトラックを識別することと、を含む。ビューポートについては、ビューポート情報と関連付けられた3D領域が識別される。3D領域情報が動的に変化している場合、3D空間領域情報時間指定メタデータトラックサンプル内に存在する3D領域情報が識別される。利用可能な3D領域情報に基づいて、ビューポート領域と関連付けられた3D領域が識別される。3D空間領域情報時間指定メタデータトラックサンプルから、対象となる3D領域と関連付けられたタイルが識別される。各タイルトラック内に存在する情報を使用して、識別されたタイルと関連付けられた少なくとも1つのタイルトラックが識別される。少なくとも1つのタイルトラックストリームがG-PCCデータファイルから抽出され、少なくとも1つのタイルトラックストリームを復号し、現在のビューポート又はビューポートに基づいて復号されたタイルトラックを表示する。ビューポートは、対象となるビューポートであり得る。
方法は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別するアイテム及び関連付けられた空間領域プロパティアイテムを受信することと、復号デバイスにおいて、ポイントクラウドシーンのフレームをレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定することと、通信ネットワークから、決定された1つ以上のポイントクラウドタイルに対応する1つ以上のタイルアイテムを取り出すことであって、各タイルアイテムが、それぞれのタイルに対するポイントクラウドジオメトリデータを含む、取り出すことと、を含む。取り出されたタイルアイテムは、処理される。ポイントクラウドタイルのタイルを含むタイルアイテムは、関連付けられた空間領域画像プロパティ及び関連付けられたタイル情報アイテムプロパティを解釈することによって識別され、1つ以上のポイントクラウドタイルのうちの少なくともいくつかは、別個の画像アイテムに記憶される。画像アイテムは、ポイントクラウドタイル内に含まれるタイルの識別子を示すのに好適なタイル情報アイテムプロパティ又はサブサンプル情報アイテムプロパティと関連付けられ得る。空間領域アイテムプロパティ及びタイル情報アイテムプロパティは、非時間指定クラウドタイルデータへの部分アクセスを容易にし得る。各タイルアイテムは、属性データを更に含み得る。
方法は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することと、復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定することと、通信ネットワークから、決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックを取り出すことであって、各ジオメトリタイルトラックが、それぞれのタイルに対するポイントクラウドジオメトリデータを含む、取り出すことと、を含む。取り出されたジオメトリタイルトラックは、処理される。クラウドタイルの異なる符号化バージョンは、1つのタイルベーストラックにおいてシグナリングされ、かつ同じグループ識別を有する。
一実施形態では、方法は、ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することと、復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定することと、通信ネットワークから、決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックを取り出すことであって、各ジオメトリタイルトラックが、それぞれのタイルに対するポイントクラウドジオメトリデータを含む、取り出すことと、を含む。取り出されたジオメトリタイルトラックは、処理される。クラウドタイルの異なる符号化バージョンは、1つのタイルベーストラックにおいてシグナリングされ得、かつ同じグループ識別を有し得る。ポイントクラウドデータのフレームは、複数の識別された時間レイヤの間で分散され得、各フレームは、複数の識別された時間レイヤのうちの1つに割り当てられ得る。この複数の識別された時間レイヤのうちの個々の時間レイヤのフレームは、他の時間レイヤを復号及びレンダリングすることなく、復号及びレンダリングされ得る。時間指定メタデータトラックを含むデータファイル内に存在する時間レイヤの最大数は、データファイル内で識別され得る。ジオメトリタイルトラックは、ジオメトリタイルトラック内に存在するG-PCCサンプルの少なくとも1つの時間レイヤ識別子をシグナリングし得る。ジオメトリタイルトラックのG-PCCコンポーネントのサンプルは、各サンプルの時間レベルに基づいてグループ化され得る。
特徴及び要素は、特定の組み合わせにおいて上で説明されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。加えて、本明細書に説明される方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータ可読命令、コンピュータプログラム、ソフトウェア、又はファームウェアに実装され得る。コンピュータ可読媒体は、非一時的記憶媒体であり得る。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びCD-ROMディスク及びデジタル多用途ディスク(digital versatile disk、DVD)などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサを使用して、無線送受信ユニット(WTRU)、ユーザ機器(UE)、端末、基地局、無線ネットワークコントローラ(RNC)、又は任意のホストコンピュータで使用するための、無線周波数トランシーバを実装し得る。

Claims (15)

  1. 方法であって、
    ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信することと、
    復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定することと、
    通信ネットワークから、前記決定された1つ以上のポイントクラウドタイルに対応する1つ以上のジオメトリタイルトラックを取り出すことであって、各ジオメトリタイルトラックが、それぞれのタイルに対するポイントクラウドジオメトリデータを含む、取り出すことと、
    前記取り出されたジオメトリタイルトラックを処理することと、を含む、方法。
  2. 前記ポイントクラウドシーン内の特定の空間領域又はタイルをレンダリングするために必要とされる情報を搬送する、タイルトラックのセットを識別することを更に含む、請求項1に記載の方法。
  3. 各ジオメトリタイルトラックが、1つ以上の属性タイルトラックとリンクされる、請求項1又は2に記載の方法。
  4. データファイルがタイルトラックを使用して搬送される場合、タイルベーストラックはタイルベーストラックサンプル内にタイルインベントリ情報を含み、ジオメトリタイルトラックは前記ジオメトリタイルトラックのサンプル内に存在するタイルのタイルインベントリをシグナリングするためのサンプルグループを含む、請求項1~3のいずれか一項に記載の方法。
  5. 代替グループに属するG-PCCコンポーネントタイルトラックが、G-PCCベーストラック又はそれぞれのG-PCCジオメトリタイルトラックによって参照される、請求項1~4のいずれか一項に記載の方法。
  6. 前記1つ以上のポイントクラウドタイルを含むジオメトリベースのポイントクラウドデータを含む、フォーマットされたコンテナを受信することと、
    前記フォーマットされたコンテナから前記時間指定メタデータトラックを取得することであって、前記時間指定メタデータトラックが複数のタイル識別子を含み、各タイル識別子が、前記1つ以上のポイントクラウドタイルのそれぞれのタイルに対応する、取得することと、
    前記1つ以上のポイントクラウドタイルから少なくとも1つの選択されたタイルを選択することであって、前記少なくとも1つの選択されたタイルが少なくとも1つのタイル識別子に対応する、選択することと、
    前記少なくとも1つのタイル識別子と関連付けられた少なくとも1つのジオメトリタイルトラックを識別することと、
    前記少なくとも1つのジオメトリタイルトラックと関連付けられた第1のトラック参照タイプを利用して、前記少なくとも1つの選択されたタイルに対する初期化データを含むベーストラックを識別することと、
    前記少なくとも1つのジオメトリタイルトラック及び前記初期化データを利用して、前記少なくとも1つの選択されたタイルを、少なくとも1つの復号されたタイルに復号することと、を更に含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記少なくとも1つの選択されたタイルと関連付けられた少なくとも1つの属性タイルトラックを識別することを更に含み、
    前記少なくとも1つの選択されたタイルを復号することが、前記少なくとも1つのジオメトリタイルトラック、前記少なくとも1つの属性タイルトラック、及び前記初期化データを利用して、前記少なくとも1つの復号されたタイルにすることを含む、請求項1~6のいずれか一項に記載の方法。
  8. 復号が、前記ジオメトリベースのポイントクラウドデータの全てを復号することなく実施される、請求項1~7のいずれか一項に記載の方法。
  9. クライアントのためのビューポートを識別することと、
    前記ビューポートと関連付けられた少なくとも1つの3D領域を識別することと、
    前記少なくとも1つの3D領域についての情報が動的に変化しているときに、3D空間領域情報時間指定メタデータトラックサンプル内に存在する前記少なくとも1つの3D領域についての前記情報を識別することと、
    利用可能な3D領域情報に基づいて、前記少なくとも1つの3D領域のうちのどの3D領域が前記ビューポートと関連付けられているかを識別することと、
    前記3D空間領域情報時間指定メタデータトラックサンプルから、対象となる少なくとも1つの3D領域と関連付けられた少なくとも1つのタイルを識別することと、
    各タイルトラック内に存在する情報を使用することによって、対象となる少なくとも1つの3D領域と関連付けられた前記少なくとも1つのタイルと関連付けられた、少なくとも1つのタイルトラックを識別することと、
    前記識別されたタイルトラックをG-PCCデータファイルから抽出し、前記識別されたタイルトラックを復号し、かつ現在のビューポート又は前記ビューポートに基づいて、前記復号されたタイルトラックを表示することと、を更に含む、請求項1~8のいずれか一項に記載の方法。
  10. 前記時間指定メタデータトラックが、サンプルを同期サンプル又は非同期サンプルのいずれかとして設定し、前記時間指定メタデータトラック内の非同期サンプルが、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して、更新された3D空間領域情報のみを搬送し、かつ前記時間指定メタデータトラック内の非同期サンプルが、更新されている寸法又は関連付けられた3Dタイル並びに任意の追加又はキャンセルされた3D空間領域を含む、最も近い先行する同期サンプルにおいて利用可能な3D空間領域情報を参照して、更新された3D空間領域情報のみをシグナリングする、請求項1~9のいずれか一項に記載の方法。
  11. クラウドタイルの異なる符号化バージョンが、複数のタイルベーストラックを使用してシグナリングされ、かつ同じグループ識別を有する、請求項1~10のいずれか一項に記載の方法。
  12. 前記ポイントクラウドデータのフレームが、複数の識別された時間レイヤ間で分散され、各フレームが、前記複数の識別された時間レイヤのうちの1つに割り当てられ、ジオメトリタイルトラックが、前記ジオメトリタイルトラック内に存在するG-PCCサンプルの少なくとも1つの時間レイヤ識別子をシグナリングし、ジオメトリタイルトラックのG-PCCコンポーネントのサンプルが、各サンプルの時間レベルに基づいてグループ化される、請求項1~11のいずれか一項に記載の方法。
  13. 前記複数の識別された時間レイヤのうちの個々の時間レイヤのフレームが、任意の他の時間レイヤを復号及びレンダリングすることなく、復号及びレンダリングされる、請求項12に記載の方法。
  14. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、プロセッサによって実行されたときに、前記プロセッサに請求項1~13のいずれか一項に記載の方法を実施させる、非一時的コンピュータ可読記憶媒体。
  15. 装置であって、
    少なくとも1つのプロセッサと、
    命令を記憶した少なくとも1つのメモリと、を備え、前記命令が、前記少なくとも1つのプロセッサによって実行されたときに、前記装置に、
    ポイントクラウドシーン内の1つ以上の空間領域に対応するポイントクラウドタイルを識別する時間指定メタデータトラックを受信し、
    復号デバイスにおいて、画像をレンダリングするために使用されるべき1つ以上のポイントクラウドタイルを決定し、
    通信ネットワークから、前記決定された1つ以上のポイントクラウドタイルに対応する、各々がそれぞれのタイルに対するポイントクラウドジオメトリデータを含む1つ以上のジオメトリタイルトラックを取り出し、かつ
    前記取り出されたジオメトリタイルトラックを処理することを行わせるように動作可能である、装置。

JP2023506480A 2020-08-07 2021-08-06 ジオメトリベースのポイントクラウドデータのためのタイルトラック Pending JP2023536725A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202063063167P 2020-08-07 2020-08-07
US63/063,167 2020-08-07
US202063087683P 2020-10-05 2020-10-05
US63/087,683 2020-10-05
US202163160223P 2021-03-12 2021-03-12
US63/160,223 2021-03-12
US202163217638P 2021-07-01 2021-07-01
US63/217,638 2021-07-01
PCT/US2021/045051 WO2022032161A1 (en) 2020-08-07 2021-08-06 Tile tracks for geometry‑based point cloud data

Publications (1)

Publication Number Publication Date
JP2023536725A true JP2023536725A (ja) 2023-08-29

Family

ID=77543665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023506480A Pending JP2023536725A (ja) 2020-08-07 2021-08-06 ジオメトリベースのポイントクラウドデータのためのタイルトラック

Country Status (6)

Country Link
US (1) US20230281923A1 (ja)
EP (1) EP4193602A1 (ja)
JP (1) JP2023536725A (ja)
KR (1) KR20230048527A (ja)
CN (1) CN115989676A (ja)
WO (1) WO2022032161A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2617550A (en) * 2022-04-05 2023-10-18 Canon Kk Method, device, and computer program for improving multitrack encapsulation of point cloud data
WO2023204676A1 (ko) * 2022-04-22 2023-10-26 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984541B2 (en) * 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
SG11202103291YA (en) * 2018-12-28 2021-04-29 Sony Corp Information processing apparatus and information processing method
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data

Also Published As

Publication number Publication date
CN115989676A (zh) 2023-04-18
US20230281923A1 (en) 2023-09-07
WO2022032161A9 (en) 2022-04-28
KR20230048527A (ko) 2023-04-11
WO2022032161A1 (en) 2022-02-10
EP4193602A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
US11568573B2 (en) Methods and apparatus for point cloud compression bitstream format
US20230281923A1 (en) Tile tracks for geometry-based point cloud data
US20230188751A1 (en) Partial access support in isobmff containers for video-based point cloud streams
US20220239947A1 (en) Video-based point cloud streams
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
US20220329923A1 (en) Video-based point cloud streams
CN112740282B (zh) 用于点云压缩比特流格式的方法和装置
WO2024006279A1 (en) Signaling parameter sets for geometry-based point cloud streams
CN116830588A (zh) 用于基于视觉体积视频(v3c)媒体和基于几何的点云(g-pcc)媒体的流式传输的mmt信令

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230405

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230407