TW202335508A - 傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容 - Google Patents

傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容 Download PDF

Info

Publication number
TW202335508A
TW202335508A TW112101723A TW112101723A TW202335508A TW 202335508 A TW202335508 A TW 202335508A TW 112101723 A TW112101723 A TW 112101723A TW 112101723 A TW112101723 A TW 112101723A TW 202335508 A TW202335508 A TW 202335508A
Authority
TW
Taiwan
Prior art keywords
patch
information
mpeg
texture
accessor
Prior art date
Application number
TW112101723A
Other languages
English (en)
Inventor
亞曼得 哈姆扎
哥迪普 布拉爾
Original Assignee
美商內數位Ｖｃ控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商內數位Ｖｃ控股公司 filed Critical 美商內數位Ｖｃ控股公司
Publication of TW202335508A publication Critical patent/TW202335508A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Abstract

本系統及方法係關於一場景描述中的體積視訊表示。所描述的系統及方法呈現用以支援V3C/V-PCC內容的一通用設計。該等系統及方法包括用於可由該呈現引擎使用以供重構及演現之呈緩衝區形式的經解碼V3C/V-PCC媒體資料的該等語意以及二進位表示。

Description

傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容
相關申請案之交互參照
本申請案主張於2022年1月14日申請之美國臨時專利申請案第63/299,874號；於2022年4月1日申請之美國臨時專利申請案第63/326,628號；於2022年6月27日申請之美國臨時專利申請案第63/355,936號；於2022年10月18日申請之美國臨時專利申請案第63/417,225號；及於2022年10月20日申請之美國臨時專利申請案第63/417,967號之優先權，其等內容以引用方式併入本文中。
演現/呈現引擎可用以組合及演現場景。用以組合及演現場景的資訊可由場景描述提供。動態影像專家群(Moving Picture Experts Group, MPEG)已將glTF合併為場景圖格式，且以glTF為延伸以支援動態（定時）內容，諸如2D及360度視訊、動態體積視覺媒體、及音訊。可期望經由延伸額外支援glTF中的體積視覺媒體。
探索實驗(Exploration Experiment, EE)已起始以支援MPEG場景描述中的MPEG沉浸式編碼。此EE經定向為使用MPEG技術（諸如基於視訊的點雲壓縮(video-based point cloud compression, V-PCC)、基於幾何的點雲壓縮(geometry-based point cloud compression, G-PCC)、及MPEG沉浸式媒體(MPEG immersive media, MIV)）之沉浸式媒體編碼內容的設計師設計原理及工作流程為目標。指定如何播放係glTF場景之部分的體積視覺媒體的努力正在進行中。已研究作為支援基於體積視覺視訊之編碼(volumetric visual video-based coding, V3C)內容之審議中技術的二種不同方法。然而，此等方法係有限的且不能擴縮至不同類型的V3C編碼內容。
本系統及方法係關於一場景描述中的體積視訊表示。所描述的系統及方法呈現支援V3C/V-PCC內容的一通用設計。該等系統及方法包括用於可由該呈現引擎使用以供一場景之組成/重構及演現之呈緩衝區形式的經解碼V3C/V-PCC媒體資料的該等語意以及二進位表示。
glTF延伸支援並允許YCbCr紋理格式在MPEG-I場景描述中的使用。該延伸獲得YCbCr紋理之性質的支援。描述一種使得適當著色器實施方案或原生GPU實施方案可使用延伸中之資訊的程序。延伸調適使用在現代圖形API（諸如Vulkan）中的YCbCr紋理的描述。
glTF延伸支援MPEG-I場景描述中之使用V3C (ISO/IEC 23090-5)技術編碼的定時3D視訊。此類定時3D視訊可係V-PCC（如ISO/IEC 23090-5中所列出的）及MIV (ISO/IEC 23090-12)。
引入一種藉由其將經解碼V3C分量表示在MPEG-I場景描述中的語意機制。各V3C分量在glTF延伸下表示為JSON文字。該等分量的一些具有在各別分量中進一步描述的特定性質，亦即，V3C屬性分量及V3C輿圖分量。此外，描述用於呈現引擎之處理方法，其利用在glTF延伸下儲存之資訊。
用於經解碼輿圖資料的緩衝格式提供有關資訊以從經解碼2D視訊串流重構3D視訊的表示。緩衝格式可係不同類型的，其中各類型提供有關的應用特定資訊。特別對於MIV，亦將使用共同輿圖資料以包括視圖參數表示為glTF延伸中的性質。儲存視圖參數的緩衝格式與呈現引擎交換，其使呈現引擎能夠重構不同視圖。
圖1A係繪示一或多個經揭示實施例可實施於其中之實例通訊系統100的圖。通訊系統100可以是提供內容（諸如語音、資料、視訊、傳訊、廣播等）至多個無線使用者的多重存取系統。通訊系統100可使多個無線使用者能夠通過系統資源（包括無線頻寬）的共用而存取此類內容。例如，通訊系統100可採用一或多個頻道存取方法，諸如分碼多重存取(code division multiple access, CDMA)、分時多重存取(time division multiple access, TDMA)、分頻多重存取(frequency division multiple access, FDMA)、正交FDMA (orthogonal FDMA, OFDMA)、單載波FDMA (single-carrier FDMA, SC-FDMA)、零尾唯一字離散傅立葉變換擴展OFDM (zero-tail unique-word discrete Fourier transform Spread OFDM, ZT-UW-DFT-S-OFDM)、唯一字OFDM (unique word OFDM, UW-OFDM)、資源區塊濾波OFDM、濾波器組多載波(filter bank multicarrier, FBMC)、及類似者。
如圖1A所示，通訊系統100可包括無線傳輸/接收單元(WTRU) 102a、102b、102c、102d、無線電存取網路(RAN) 104、核心網路(CN) 106、公用交換電話網路(public switched telephone network, PSTN) 108、網際網路110、及其他網路112，然而可理解所揭示的實施例設想任何數目的WTRU、基地台、網路、及/或網路元件。WTRU 102a、102b、102c、102d之各者可經組態以在無線環境中操作及/或通訊的任何類型的裝置。舉實例而言，WTRU 102a、102b、102c、102d（其任一者可稱為站台(station, STA)）可經組態以傳輸及/或接收無線信號，並可包括使用者設備(user equipment, UE)、行動站台、固定或行動用戶單元、基於訂閱的單元、呼叫器、蜂巢式電話、個人數位助理(PDA)、智慧型手機、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(Internet of Things, IoT)裝置、手錶或其他可穿戴式、頭戴式顯示器(head-mounted display, HMD)、車輛、無人機、醫療裝置及應用（例如，遠端手術）、工業裝置及應用（例如，在工業及/或自動化處理鏈背景中操作的機器人及/或其他無線裝置）、消費性電子裝置、在商業及/或工業無線網路上操作的裝置、及類似者。WTRU 102a、102b、102c、及102d的任一者可互換地稱為UE。
通訊系統100亦可包括基地台114a及/或基地台114b。基地台114a、114b之各者可係經組態以與WTRU 102a、102b、102c、102d中之至少一者無線地介接的任何類型的裝置，以促進存取一或多個通訊網路，諸如CN 106、網際網路110、及/或其他網路112。舉實例而言，基地台114a、114b可係基地收發站(base transceiver station, BTS)、節點B、e節點B (eNB)、本地節點B、本地e節點B、次世代節點B（諸如g節點B (gNB)、新無線電(NR)節點B）、站台控制器、存取點(access point, AP)、無線路由器、及類似者。雖然將基地台114a、114b各描繪成單一元件，但可理解基地台114a、114b可包括任何數目的互連基地台及/或網路元件。
基地台114a可係RAN 104的部分，該RAN亦可包括其他基地台及/或網路元件（未圖示），諸如基地台控制器(base station controller, BSC)、無線電網路控制器(radio network controller, RNC)、中繼節點、及類似者。基地台114a及/或基地台114b可經組態以在一或多個載波頻率上傳輸及/或接收無線信號，該等基地台可稱為胞元（未圖示）。此等頻率可在授權頻譜、非授權頻譜、或授權頻譜及非授權頻譜的組合中。胞元可以為可為相對固定或有可能隨時間變化的特定地理區提供無線服務覆蓋。該胞元可被進一步分成胞元扇區(cell sector)。例如，與基地台114a相關聯的胞元可被分成三個扇區。因此，在一個實施例中，基地台114a可包括三個收發器，亦即，胞元的每個扇區有一個收發器。在一實施例中，基地台114a可採用多輸入多輸出(multiple-input multiple output, MIMO)技術，且可以為胞元的各扇區使用多個收發器。例如，波束成形可用以在所欲空間方向上傳輸及/或接收信號。
基地台114a、114b可透過空中介面116與WTRU 102a、102b、102c、102d的一或多者通訊，該空中介面可以是任何合適的無線通訊鏈路（例如，射頻(radio frequency, RF)、微波、厘米波、微米波、紅外線(infrared, IR)、紫外線(ultraviolet, UV)、可見光等）。空中介面116可使用任何合適的無線電存取技術(radio access technology, RAT)建立。
更具體地說，如上文提到的，通訊系統100可係多重存取系統且可採用一或多個頻道存取方案，諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA、及類似者。例如，RAN 104中的基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用寬頻CDMA (wideband CDMA, WCDMA)建立空中介面116的通用行動電信系統(Universal Mobile Telecommunications System, UMTS)地面無線電存取(UTRA)。WCDMA可包括通訊協定，諸如高速封包存取(High-Speed Packet Access, HSPA)及/或演進HSPA (HSPA+)。HSPA可包括高速下行鏈路(DL)封包存取(High-Speed Downlink Packet Access, HSDPA)及/或高速上行鏈路(UL)封包存取(High-Speed Uplink Packet Access, HSUPA)。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用長期演進技術(Long Term Evolution, LTE)及/或進階LTE (LTE-Advanced, LTE-A)及/或進階LTE加強版(LTE-Advanced Pro, LTE-A Pro)建立空中介面116的演進UMTS地面無線電存取(Evolved UMTS Terrestrial Radio Access, E-UTRA)。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用NR建立空中介面116的NR無線電存取。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施多個無線電存取技術。例如，基地台114a及WTRU 102a、102b、102c可一起實施LTE無線電存取及NR無線電存取，例如使用雙連接性(dual connectivity, DC)原理。因此，由WTRU 102a、102b、102c利用的空中介面可藉由多種類型的無線電存取技術及/或發送至/自多種類型之基地台（例如，eNB及gNB）的傳輸特徵化。
在其他實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如IEEE 802.11（亦即，無線保真度(Wireless Fidelity, WiFi)、IEEE 802.16（亦即，全球互通微波存取(WiMAX)）、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫時性標準2000 (IS-2000)、暫時性標準95 (IS-95)、暫時性標準856 (IS-856)、全球行動通訊系統(GSM)、GSM演進增強型資料速率(EDGE)、GSM EDGE (GERAN)、及類似者。
圖1A中的基地台114b可係無線路由器、本地節點B、本地e節點B、或存取點，例如，且可利用任何合適的RAT以用於促進局部化區（諸如營業場所、家庭、車輛、校園、工業設施、空中走廊（例如，用於由無人機使用）、道路、及類似者）中的無線連接性。在一個實施例中，基地台114b及WTRU 102c、102d可實施無線電技術，諸如IEEE 802.11以建立無線區域網路(wireless local area network, WLAN)。在一實施例中，基地台114b及WTRU 102c、102d可實施無線電技術，諸如IEEE 802.15以建立無線個人區域網路(wireless personal area network, WPAN)。在又另一實施例中，基地台114b及WTRU 102c、102d可利用基於蜂巢式的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等）以建立微微胞元或毫微微胞元。如圖1A所示，基地台114b可具有至網際網路110的直接連接。因此，基地台114b可能不需要經由CN 106存取網際網路110。
RAN 104可與CN 106通訊，其可係經組態以提供語音、資料、應用、及/或網際網路協定上的語音(voice over internet protocol, VoIP)服務至WTRU 102a、102b、102c、102d的一或多者的任何類型的網路。資料可具有不同的服務品質(quality of service, QoS)需求，諸如不同的輸送量需求、延遲需求、容錯需求、可靠性需求、資料輸送量需求、行動性需求、及類似者。CN 106可提供呼叫控制、帳單服務、基於行動定位的服務、預付電話、網際網路連接、視訊分布等，及/或執行高階安全功能，諸如使用者認證。雖然未顯示於圖1A中，可理解RAN 104及/或CN 106可與採用與RAN 104相同之RAT或採用不同RAT的其他RAN直接或間接通訊。例如，除了連接至RAN 104（其可利用NR無線電技術）外，CN 106亦可與採用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA、或WiFi無線電技術的另一RAN（未圖示）通訊。
CN 106亦可作用為WTRU 102a、102b、102c、102d的閘道器，以存取PSTN 108、網際網路110、及/或其他網路112。PSTN 108可包括提供簡易老式電話服務(plain old telephone service, POTS)的電路交換電話網路。網際網路110可包括使用共同通訊協定的互連電腦網路及裝置的全球系統，諸如TCP/IP網際網路協定套組中的傳輸控制協定(transmission control protocol, TCP)、使用者資料包協定(user datagram protocol, UDP)、及/或網際網路協定(internet protocol, IP)。網路112可包括由其他服務供應商所擁有及/或操作的有線及/或無線通訊網路。例如，網路112可包括連接至一或多個RAN的另一CN，該一或多個RAN可採用與RAN 104相同的RAT或採用不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力（例如，WTRU 102a、102b、102c、102d可包括用於透過不同的無線鏈路與不同的無線網路通訊的多個收發器）。例如，顯示於圖1A中的WTRU 102c可經組態以與可採用基於蜂巢式的無線電技術的基地台114a，並與可採用IEEE 802無線電技術的基地台114b通訊。
圖1B係繪示實例WTRU 102的系統圖。如圖1B所示，WTRU 102可包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移除式記憶體130、可移除式記憶體132、電源134、全球定位系統(global positioning system, GPS)晶片組136、及/或其他週邊設備138等。可理解WTRU 102可包括上述元件的任何次組合，同時仍與一實施例保持一致。
處理器118可係一般用途處理器、特殊用途處理器、習知處理器、數位信號處理器(digital signal processor, DSP)、複數個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化閘陣列(Field Programmable Gate Array, FPGA)、任何其他類型的積體電路(integrated circuit, IC)、狀態機、及類似者。處理器118可執行信號編碼、資料處理、電力控制、輸入/輸出處理、及/或使WTRU 102能在無線環境中操作的任何其他功能性。處理器118可耦接至收發器120，該收發器可耦接至傳輸/接收元件122。雖然圖1B將處理器118及收發器120描繪成分開的組件，可理解處理器118及收發器120可在電子封裝或晶片中整合在一起。
傳輸/接收元件122可經組態以透過空中介面116傳輸信號至基地台（例如，基地台114a）或自該基地台接收信號。例如，在一個實施例中，傳輸/接收元件122可經組態以傳輸及/或接收RF信號的天線。在一實施例中，例如，傳輸/接收元件122可經組態以傳輸及/或接收IR、UV、或可見光信號的發射器/偵測器。在又另一實施例中，傳輸/接收元件122可經組態以傳輸及/或接收RF及光信號二者。可理解傳輸/接收元件122可經組態以傳輸及/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描繪成單一元件，但WTRU 102可包括任何數目的傳輸/接收元件122。更具體地說，WTRU 102可採用MIMO技術。因此，在一個實施例中，WTRU 102可包括二或更多個傳輸/接收元件122（例如，多個天線）以用於透過空中介面116傳輸及接收無線信號。
收發器120可經組態以調變待藉由傳輸/接收元件122傳輸的信號及解調變藉由傳輸/接收元件122接收的信號。如上文提到的，WTRU 102可具有多模式能力。因此，例如，收發器120可包括用於使WTRU 102能經由多個RAT（諸如，NR及IEEE 802.11）通訊的多個收發器。
WTRU 102的處理器118可耦接至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128（例如，液晶顯示器(liquid crystal display, LCD)顯示器單元或有機發光二極體(organic light-emitting diode, OLED)顯示器單元）並可接收來自其等的使用者輸入資料。處理器118亦可將使用者資料輸出至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128。額外地，處理器118可存取來自任何類型的合適記憶體（諸如非可移除式記憶體130及/或可移除式記憶體132）的資訊及將資料儲存在任何類型的合適記憶體中。非可移除式記憶體130可包括隨機存取記憶體(random-access memory, RAM)、唯讀記憶體(read-only memory, ROM)、硬碟、或任何其他類型的記憶體儲存裝置。可移除式記憶體132可包括用戶身份模組(subscriber identity module, SIM)卡、記憶棒、安全數位(secure digital, SD)記憶卡、及類似者。在其他實施例中，處理器118可存取來自未實體位於WTRU 102（諸如在伺服器或家用電腦（未圖示）上）上之記憶體的資訊及將資料儲存在該記憶體中。
處理器118可接收來自電源134的電力，並可經組態以分布及/或控制至WTRU 102中之其他組件的電力。電源134可以是用於對WTRU 102供電的任何合適裝置。例如，電源134可包括一或多個乾電池電池組（例如，鎳-鎘(NiCd)、鎳-鋅(NiZn)、鎳氫(NiMH)、鋰離子（Li-離子）等）、太陽能電池、燃料電池、及類似者。
處理器118亦可耦接至GPS晶片組136，該GPS晶片組可經組態以提供關於WTRU 102之目前位置的位置資訊（例如，經度和緯度）。除了（或替代）來自GPS晶片組136的資訊外，WTRU 102可透過空中介面116接收來自基地台（例如，基地台114a、114b）的位置資訊，及/或基於從二或更多個附近基地台接收之信號的時序判定其位置。可理解WTRU 102可藉由任何合適的位置判定方法獲得位置資訊，同時仍與一實施例保持一致。
處理器118可進一步耦接至其他週邊設備138，該等週邊設備可包括提供額外特徵、功能性、及/或有線或無線連接性的一或多個軟體及/或硬體模組。例如，週邊設備138可包括加速度計、電子羅盤、衛星收發器、數位相機（用於相片及/或視訊）、通用串列匯流排(universal serial bus, USB)埠、振動裝置、電視機收發器、免持式頭戴裝置、Bluetooth ®模組、調頻(frequency modulated, FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或擴增實境(virtual reality and/or augmented reality, VR/AR)裝置、活動追蹤器、及類似者。週邊設備138可包括一或多個感測器。感測器可係下列之一或多者：陀螺儀、加速計、霍爾效應感測器、磁力計、定向感測器、近接感測器、溫度感測器、時間感測器；地理位置感測器、高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物特徵感測器、濕度感測器、及類似者。
WTRU 102可包括一些或所有信號（例如，與用於UL（例如，用於傳輸）及DL（例如，用於接收）二者的特定子訊框相關聯）針對其的傳輸及接收可係並行及/或同時的全雙工無線電。全雙工無線電可包括干擾管理單元，以經由硬體（例如，扼流器）或經由處理器（例如，分開的處理器（未圖示）或經由處理器118）的信號處理的其中一者降低及或實質消除自干擾。在一實施例中，WTRU 102可包括一些或所有信號（例如，與用於UL（例如，用於傳輸）或DL（例如，用於接收）其中一者的特定子訊框相關聯）針對其的傳輸及接收的半雙工無線電。
圖1C係根據一實施例繪示RAN 104及CN 106的系統圖。如上文提到的，RAN 104可採用E-UTRA無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 104亦可與CN 106通訊。
RAN 104可包括e節點B 160a、160b、160c，然而可理解RAN 104可包括任何數目的e節點B，同時仍與一實施例保持一致。e節點B 160a、160b、160c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中，e節點B 160a、160b、160c可實施MIMO技術。因此，e節點B 160a，例如，可使用多個天線以傳輸無線信號至WTRU 102a，及/或接收來自該WTRU的無線信號。
e節點B 160a、160b、160c之各者可與特定胞元（未圖示）相關聯，並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、及類似者。如圖1C所示，e節點B 160a、160b、160c可透過X2介面彼此通訊。
顯示於圖1C中的CN 106可包括行動性管理實體(mobility management entity, MME) 162、服務閘道(serving gateway, SGW) 164、及封包資料網路(packet data network, PDN)閘道(PGW) 166。雖然將上述元件描繪成CN 106的部分，可理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
MME 162可經由S1介面連接至RAN 104中的e節點B 162a、162b、162c之各者，並可作用為控制節點。例如，MME 162可負責在WTRU 102a、102b、102c、及類似者的最初附接期間認證WTRU 102a、102b、102c的使用者、承載啟動/停用、選擇特定的服務閘道。MME 162可提供控制平面功能以用於在RAN 104與採用其他無線電技術（諸如GSM及/或WCDMA）的其他RAN（未圖示）之間切換。
SGW 164可經由S1介面連接至RAN 104中的e節點B 160a、160b、160c之各者。SGW 164大致可將使用者資料封包路由及轉發至WTRU 102a、102b、102c/路由及轉發來自該等WTRU的使用者資料封包。SGW 164可執行其他功能，諸如在e節點B間交遞期間錨定使用者平面、在DL資料可用於WTRU 102a、102b、102c時觸發呼叫、管理及儲存WTRU 102a、102b、102c的背景、及類似者。
SGW 164可連接至PGW 166，該PGW可將對封包交換網路（諸如網際網路110）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。
CN 106可促進與其他網路的通訊。例如，CN 106可將對電路交換網路（諸如PSTN 108）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與傳統陸地線路通訊裝置之間的通訊。例如，CN 106可包括作用為CN 106與PSTN 108之間的介面的IP閘道器（例如，IP多媒體子系統(IP multimedia subsystem, IMS)伺服器）或可與該IP閘道器通訊。額外地，CN 106可將對其他網路112的存取提供給WTRU 102a、102b、102c，該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。
雖然在圖1A至圖1D中將WTRU描述為無線終端，但設想到在某些代表性實施例中，此一終端可與通訊網路一起使用（例如，暫時地或永久地）有線通訊介面。
在代表性實施例中，其他網路112可以是WLAN。
在基礎設施基本服務集(Basic Service Set, BSS)模式中的WLAN可具有用於BSS的存取點(AP)及與AP相關聯的一或多個站台(STA)。AP可具有對分散系統(Distribution System, DS)或將訊務載入及/或載出BSS之另一類型的有線/無線網路的存取或介面。源自BSS外側之至STA的訊務可通過AP到達並可遞送至該等STA。可將源自STA至BSS外側之目的地的訊務發送至AP以遞送至各別目的地。在BSS內的STA之間的訊務可通過AP發送，例如其中來源STA可將訊務發送至AP且AP可將訊務遞送至目的地STA。可將BSS內的STA之間的訊務視為及/或稱為同級間訊務。同級間流量可使用直接鏈路設置(direct link setup, DLS)在來源STA與目的地STA之間（例如，直接於其間）發送。在某些代表性實施例中，DLS可使用802.11e DLS或802.11z隧道式DLS (tunneled DLS, TDLS)。使用獨立BSS (Independent BSS, IBSS)模式的WLAN可不具有AP，且在IBSS內或使用該IBSS的STA（例如，所有的STA）可彼此直接通訊。IBSS通訊模式在本文中有時可稱為「專設(ad-hoc)」通訊模式。
當使用802.11ac基礎設施操作模式或類似操作模式時，AP可在固定頻道（諸如主頻道）上傳輸信標。主頻道可係固定寬度的（例如，20 MHz寬的頻寬）或係動態設定寬度。主頻道可係BSS的操作頻道並可由STA使用以建立與AP的連接。在某些代表性實施例中，可將具有碰撞避免的載波感測多重存取(Carrier Sense Multiple Access with Collision Avoidance, CSMA/CA)實施例如在802.11系統中。對於CSMA/CA，包括AP的STA（例如，每一個STA）可感測主頻道。若主頻道由特定STA感測/偵測及/或判定成忙碌，該特定STA可退出。一個STA（例如，僅一個站台）可在給定BSS中的任何給定時間傳輸。
高輸送量(High Throughput, HT) STA可使用40 MHz寬的頻道以用於通訊，例如經由20 MHz主頻道與相鄰或不相鄰的20 MHz頻道的組合以形成40 MHz寬的頻道。
非常高輸送量(Very High Throughput, VHT) STA可支援20 MHz、40 MHz、80 MHz、及/或160 MHz寬的頻道。40 MHz及/或80 MHz頻道可藉由組合連續的20 MHz頻道形成。160 MHz頻道可藉由組合8個連續的20 MHz頻道，或藉由組合二個非連續的80 MHz頻道（其可稱為80+80組態）形成。對於80+80組態，在頻道編碼後，可將資料傳過可將資料分成二個串流的區段剖析器。快速傅立葉逆變換(Inverse Fast Fourier Transform, IFFT)處理及時域處理可在各串流上分開完成。可將串流映射至二個80 MHz頻道上，且資料可藉由傳輸STA傳輸。在接收STA的接收器處，用於80+80組態的上述操作可反轉，並可將經組合資料發送至媒體存取控制(Medium Access Control, MAC)。
次1 GHz操作模式是由802.11af及802.11ah所支援。頻道操作頻寬及載波在802.11af及802.11ah中相對於使用在802.11n及802.11ac中的頻道操作頻寬及載波係降低的。802.11af在電視空白頻段(TV White Space, TVWS)頻譜中支援5 MHz、10 MHz、及20 MHz頻寬，且802.11ah使用非TVWS頻譜支援1 MHz、2 MHz、4 MHz、8 MHz、及16 MHz頻寬。根據代表性實施例，802.11ah可支援儀表類型控制/機器類型通訊(Meter Type Control/Machine-Type Communications, MTC)，諸如在大型涵蓋區中的MTC裝置。MTC裝置可具有某些能力，例如包括支援（例如，僅支援）某些及/或有限頻寬的有限能力。MTC裝置可包括具有高於臨限之電池壽命的電池（例如，以維持非常長的電池壽命）。
可支援多個頻道及頻道頻寬（諸如802.11n、802.11ac、802.11af、及802.11ah）的WLAN系統包括可指定成主頻道的頻道。主頻道可具有等於由BSS中的所有STA支援的最大共同操作頻寬的頻寬。主頻道的頻寬可由在BSS中操作的所有STA之中的支援最小頻寬操作模式的STA設定及/或限制。在802.11ah的實例中，即使AP（及BSS中的其他STA）支援2 Mhz、4 Mhz、8 Mhz、16 Mhz、及/或其他頻道頻寬操作模式，主頻道對於支援（例如，僅支援）1 MHz模式的STA（例如，MTC類型裝置）可係1 MHz寬。載波感測及/或網路配置向量(Network Allocation Vector, NAV)設定可取決於主頻道的狀態。例如，若主頻道例如因為STA（其僅支援1 MHz操作模式）傳輸至AP而係忙碌的，即使大部分的可用頻帶維持閒置，可將所有可用頻帶視為係忙碌的。
在美國，可用頻帶（其可由802.11ah使用）是從902 MHz至928 MHz。在韓國，可用頻帶是從917.5 MHz至923.5 MHz。在日本，可用頻帶係從916.5 MHz至927.5 MHz。取決於國家碼，可用於802.11ah的總頻寬是6 MHz至26 MHz。
圖1D係根據一實施例繪示RAN 104及CN 106的系統圖。如上文提到的，RAN 104可採用NR無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 104亦可與CN 106通訊。
RAN 104可包括gNB 180a、180b、180c，然而可理解RAN 104可包括任何數目的gNB，同時仍與一實施例保持一致。gNB 180a、180b、180c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中，gNB 180a、180b、180c可實施MIMO技術。例如，gNB 180a、108b可利用波束成形以傳輸信號至gNB 180a、180b、180c及/或接收來自該等gNB的信號。因此，gNB 180a例如可使用多個天線以傳輸無線信號至WTRU 102a、及/或接收來自該WTRU的無線信號。在一實施例中，gNB 180a、180b、180c可實施載波聚合技術。例如，gNB 180a可將多個組成載波傳輸至WTRU 102a（未圖示）。此等組成載波的子集可在非授權頻譜上，而其餘的組成載波可在授權頻譜上。在一實施例中，gNB 180a、180b、180c可實施協調多點(Coordinated Multi-Point, CoMP)技術。例如，WTRU 102a可接收來自gNB 180a及gNB 180b（及/或gNB 180c）的經協調傳輸。
WTRU 102a、102b、102c可使用與可縮放參數集(numerology)相關聯的傳輸來與gNB 180a、180b、180c通訊。例如，OFDM符號間距及/或OFDM副載波間距可針對不同傳輸、不同胞元、及/或無線傳輸頻譜的不同部分變化。WTRU 102a、102b、102c可使用子訊框或各種長度或可縮放長度的傳輸時間間隔(transmission time interval, TTI)（例如，含有變化數目的OFDM符號及/或持續變化的絕對時間長度）來與gNB 180a、180b、180c通訊。
gNB 180a、180b、180c可經組態以與以獨立組態及/或非獨立組態的WTRU 102a、102b、102c通訊。在獨立組態中，WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊而無需亦存取其他RAN（例如，諸如e節點B 160a、160b、160c）。在獨立組態中，WTRU 102a、102b、102c可將gNB 180a、180b、180c的一或多者使用為行動錨點。在獨立組態中，WTRU 102a、102b、102c可使用在非授權頻帶中的信號來與gNB 180a、180b、180c通訊。在非獨立組態中，WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊/連接至該等gNB，同時亦與另一RAN（諸如e節點B 160a、160b、160c）通訊/連接至該另一RAN。例如，WTRU 102a、102b、102c可實施DC原理以實質同時地與一或多個gNB 180a、180b、180c及一或多個e節點B 160a、160b、160c通訊。在非獨立組態中，e節點B 160a、160b、160c可作用為WTRU 102a、102b、102c的行動性錨點，且gNB 180a、180b、180c可提供用於服務WTRU 102a、102b、102c的額外覆蓋及/或輸送量。
gNB 180a、180b、180c之各者可與特定胞元（未圖示）相關聯，並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、網路切片的支援、DC、NR與E-UTRA之間的交互工作、使用者平面資料朝向使用者平面功能(User Plane Function, UPF) 184a、184b的路線、控制平面資訊朝向存取及行動性管理功能(Access and Mobility Management Function, AMF) 182a、182b的路線、及類似者。如圖1D所示，gNB 180a、180b、180c可透過Xn介面彼此通訊。
顯示於圖1D中的CN 106可包括至少一個AMF 182a、182b、至少一個UPF 184a、184b、至少一個對話管理功能(SMF) 183a、183b、且可能包括資料網路(DN) 185a、185b。雖然將上述元件描繪成CN 106的部分，可理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
AMF 182a、182b可經由N2介面連接至RAN 104中的gNB 180a、180b、180c中的一或多者，並可作用為控制節點。例如，AMF 182a、182b可負責認證WTRU 102a、102b、102c的使用者、支援網路切片（例如，具有不同需求之不同協定資料單元(protocol data unit, PDU)對話的處理）、選擇特定的SMF 183a、183b、登錄區的管理、非存取層(non-access-stratum, NAS)傳訊的終止、行動性管理、及類似者。網路切片可由AMF 182a、182b使用，以基於正使用之WTRU 102a、102b、102c之服務的類型將用於WTRU 102a、102b、102c的CN支援客製化。例如，不同網路切片可針對不同的使用情形建立，諸如依賴超可靠低延遲(ultra-reliable low latency, URLLC)存取的服務、依賴增強大量行動寬頻(enhanced massive mobile broadband, eMBB)存取的服務、用於MTC存取的服務、及類似者。AMF 182a、182b可提供用於在RAN 104與其他RAN（未圖示）之間切換的控制平面功能，該等其他RAN採用其他無線電技術（諸如LTE、LTE-A、LTE-A Pro）及/或非3GPP存取技術（諸如WiFi）。
SMF 183a、183b可經由N11介面連接至CN 106中的AMF 182a、182b。SMF 183a、183b亦可經由N4介面連接至CN 106中的UPF 184a、184b。SMF 183a、183b可選擇及控制UPF 184a、184b並組態通過UPF 184a、184b之訊務的路線。SMF 183a、183b可執行其他功能，諸如管理及分配UE IP位址、管理PDU對話、控制政策執行及QoS、提供DL資料通知、及類似者。PDU對話類型可係基於IP的、非基於IP的、基於乙太網路的、及類似者。
UPF 184a、184b可經由N3介面連接至RAN 104中的gNB 180a、180b、180c的一或多者，該介面可將對封包交換網路（諸如網際網路110）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。UPF 184、184b可執行其他功能，諸如路由及轉發封包、執行使用者平面政策、支援多宿主(multi-homed) PDU對話、處理使用者平面QoS、緩衝DL封包、提供行動性錨定、及類似者。
CN 106可促進與其他網路的通訊。例如，CN 106可包括作用為CN 106與PSTN 108之間的介面的IP閘道器（例如，IP多媒體子系統(IP multimedia subsystem, IMS)伺服器）或可與該IP閘道器通訊。額外地，CN 106可將對其他網路112的存取提供給WTRU 102a、102b、102c，該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。在一個實施例中，WTRU 102a、102b、102c可經由至UPF 184a、184b的N3介面及UPF 184a、184b與DN 185a、185b之間的N6介面通過UPF 184a、184b連接至區域DN 185a、185b。
鑑於圖1A至圖1D及圖1A至圖1D的對應描述，相關於下列一或多者於本文描述之功能的一或多者或全部可藉由一或多個仿真裝置（未圖示）執行：WTRU 102a至102d、基地台114a至114b、e節點B 160a至160c、MME 162、SGW 164、PGW 166、gNB 180a至180c、AMF 182a至182b、UPF 184a至184b、SMF 183a至183b、DN 185a至185b、及/或本文描述的任何（多個）其他裝置。仿真裝置可經組態以仿真本文描述之功能的一或多者或全部的一或多個裝置。例如，仿真裝置可用以測試其他裝置及/或模擬網路及/或WTRU功能。
仿真裝置可經設計以在實驗室環境及/或操作者網路環境中實施其他裝置的一或多個測試。例如，一或多個仿真裝置可在完全或部分地實施及/或部署為有線及/或無線通訊網路的部分的同時執行該一或多個或全部的功能以測試通訊網路內的其他裝置。一或多個仿真裝置可在暫時地實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能。仿真裝置可針對測試的目的直接耦接至另一裝置及/或使用空中無線通訊執行測試。
一或多個仿真裝置可在未實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個（包括全部）功能。例如，仿真裝置可使用在測試實驗室及/或非部署（例如，測試）的有線及/或無線通訊網路中的測試場景中，以實施一或多個組件的測試。一或多個仿真裝置可係測試儀器。直接RF耦合及/或經由RF電路系統（例如，其可包括一或多個天線）的無線通訊可由仿真裝置使用以傳輸及/或接收資料。
演現/呈現引擎（例如，遊戲引擎，諸如Unity、虛幻(Unreal)引擎等）可用以組成及演現場景。用以組合及演現場景的資訊（通常稱為場景資訊）可由場景描述提供。場景描述格式的一者係科納斯(Khronos)的glTF。glTF係基於JSON的檔案格式，其提供參考（多個）外部二進位及影像檔案的機制。glTF使用動畫支援包括一些動態性形式的靜態媒體物件。MPEG已大致將glTF合併為場景圖格式，且以glTF為延伸以支援動態（定時）內容，諸如2D及360度視訊、動態體積視覺媒體、及音訊。
例如，有利用glTF規格及定義對動態（定時）媒體（諸如2D視訊、體積視覺媒體、音訊、觸覺、及其他）之支援的國際標準ISO/IEC 23090-14的發展。對動態媒體的支援係使用glTF中的延伸機制促成。WG3中的MPEG-I場景描述群已開始整合MPEG定義媒體格式，諸如使用H.264/AVC (ISO/IEC 14496-10)、HEVC (ISO/IEC 23008-2)、或VVC (ISO/IEC 23090-3)編碼解碼器編碼的2D視訊。
額外地，正在探索對如ISO/IEC 23090-5及ISO/IEC 23090-9標準中及經由延伸在glTF中定義之體積視覺媒體提供支援的方式。探索實驗(EE)已起始以支援MPEG場景描述中的MPEG沉浸式編碼。EE係以使用MPEG技術（諸如基於視訊的點雲壓縮(V-PCC)、基於幾何的點雲壓縮(G-PCC)、及MPEG沉浸式媒體(MIV)）之沉浸式媒體編碼內容的設計師設計原理及工作流程為目標。在ISO/IEC 23090-14的最新草案中，有指定如何播放係glTF場景之部分的體積視覺媒體的進行中努力。目前，已研究作為支援基於體積視覺視訊之編碼(V3C)內容之審議中技術的二種不同方法。然而，此等方法係有限的且不能擴縮至不同類型的V3C編碼內容。
使用V3C編碼解碼器編碼的內容由數個V3C分量構成。此等分量包括促成使用視訊編碼資訊重構體積媒體訊框的數個視訊編碼資訊（例如，幾何、佔用、及屬性）及輿圖後設資料串流。用於視訊編碼分量的訊框遵循藉由輿圖補片資訊描述的結構。各輿圖訊框可再劃分成輿圖圖塊。輿圖圖塊可含有多個補片。各補片可含有額外資訊且各補片可係不同類型的。例如，在PROJECTED類型的情形中，各補片可在區塊層級或補片層級其中一者上提供點局部重構(Point Local Reconstruction, PLR)資訊，而各屬性視訊串流僅係一種屬性類型。
glTF延伸支援並允許YCbCr紋理格式在MPEG-I場景描述中的使用。該延伸獲得YCbCr紋理之性質的支援。描述一種使得適當著色器實施方案或原生GPU實施方案可使用延伸中之資訊的程序。延伸調適使用在現代圖形API（諸如Vulkan）中的YCbCr紋理的描述。
glTF延伸支援MPEG-I場景描述中之使用V3C (ISO/IEC 23090-5)技術編碼的定時3D視訊。此類定時3D視訊可係V-PCC（如ISO/IEC 23090-5中所列出的）及MIV (ISO/IEC 23090-12)。
引入一種藉由其將經解碼V3C分量表示在MPEG-I場景描述中的語意機制。各V3C分量在glTF延伸下表示為JSON文字。該等分量的一些具有在各別分量中進一步描述的特定性質，亦即，V3C屬性分量及V3C輿圖分量。此外，描述用於呈現引擎之處理方法，其利用在glTF延伸下儲存之資訊。
用於經解碼輿圖資料的緩衝格式提供有關資訊以從經解碼2D視訊串流重構3D視訊的表示。緩衝格式可係不同類型的，其中各類型提供有關的應用特定資訊。特別對於MIV，亦將使用共同輿圖資料以包括視圖參數表示為glTF延伸中的性質。儲存視圖參數的緩衝格式與呈現引擎交換，其使呈現引擎能夠重構不同視圖。
圖2繪示例示性MPEG場景描述架構200。在MPEG-I場景描述架構200中有二個主實體：媒體存取功能(media access function, MAF) 210及呈現引擎(presentation engine, PE) 250。參考架構200的基本考量係將MAF 210的功能性與PE 250的演現及呈現解耦。MAF 210負責請求、提取、解碼、及後處理由PE 250請求的媒體資料以演現係場景之部分的各種媒體物件。預期MAF 210根據場景描述文件270以適當緩衝格式呈現媒體資料，使得其等可由PE 250讀取。場景描述文件270係藉由PE 250載入且場景描述文件270從有關緩衝區識別場景中的各媒體物件及其等的格式。
MAF 210與雲端240通訊以請求媒體。此等媒體請求可在任一方向上發生。MAF 210與本端儲存器260通訊以獲得對媒體的存取。此等媒體存取可在任一方向上發生。MAF 210建立用於演現的媒體管線，並使用一系列緩衝區220以如此做。緩衝管理230經組態以在PE 250與MAF 210之間操作以提供經同步以用於撕碎的媒體。PE 250經由由緩衝管理230控制的緩衝區220以同步形式從MAF 210接收媒體並演現場景。
圖3繪示處理V-PCC內容的實例管線設計300。實例管線設計300可在識別適合媒體管線及用於待支援的各媒體類型的有關格式時使用。不同的可能媒體管線可經建構以取決於特定使用情形而不同地處理媒體，且因此各媒體管線可具有不同的輸出緩衝格式。用於處理V3C/V-PCC媒體的可能管線設計的一者顯示於圖3中（管線#2A 310.2a）。在此管線310.2a中，用於V3C/V-PCC編碼內容的解碼及後處理步驟將在良好定義緩衝區中的經處理資料提供至PE 250以用於3D重構。當使用管線#2A 310.2a的工作流程時，專用著色器程式320可由PE 250使用以執行3D重構。著色器程式可載入至GPU硬體資源，導致體積視覺媒體內容的有效率且即時的播放。
在圖3A中，繪示管線#1 310.1。管線#1 310.1包括供應解多工器332的單軌330。管線#1 310.1接著包括一系列HEVC解碼器334及後設資料336。管線#1 310.1以饋送3D重構340的一系列處理338繼續。管線#1 310.1接著經緩衝350且將信號提供至PE 250。
在圖3中，繪示管線#2a 310.2a。管線#2a 310.2a包括幾何軌362、紋理軌364、佔用軌366、輿圖軌368、及靜態後設資料370。此等軌取代在管線#1 310.1中供應解多工器332的單軌330。管線#2a 310.2a接著包括一系列HEVC解碼器372及後設資料374。此等HEVC解碼器372的系列及後設資料374可類似於HEVC解碼器334的系列及後設資料336。取代如在3D重構340之管線#1 310.1般在管線#2a 310.2a中執行重構，管線#2a 310.2a取而代之地以一系列緩衝區378（於本文中描述）緩衝且3D重構320如上文描述地在PE 250中發生。
在圖3中，管線#2b包括經緩衝382且饋送至PE 250的單軌380。解多工/解碼/處理384可在PE 250內在信號上執行。
為支援此一工作流程的使用，定義用於各V3C/V-PCC內容之緩衝區的格式。另外，處理步驟可執行所有操作而以良好定義的緩衝格式表示資料。場景描述文件因此必須提供與緩衝區有關的資訊。
為支援定時資料存取，ISO/IEC DIS 12113:2021中的緩衝元件經延伸以提供循環緩衝區的功能。該延伸名為MPEG_buffer_circular，且可包括為「緩衝區」結構的部分。提供對定時資料之存取的緩衝區可包括MPEG_buffer_circular延伸。
當MPEG_buffer_circular延伸存在於緩衝元件中時，緩衝元件性質uri可不存在，且緩衝元件性質byteLength可指示緩衝區的最大可能大小。當存在時，可將MPEG_buffer_circular延伸包括為定義在ISO/IEC DIS 12113:2021中之緩衝物件的延伸。
如ISO/IEC DIS 12113:2021中所指定的存取器定義當資料儲存在緩衝區中時通過bufferView物件觀看到的資料的類型及布局。當定時媒體從緩衝區讀取時，緩衝區中的資料可動態地隨時間改變。
定時存取器延伸使存取能動態地改變使用在場景中的資料。定時存取器係調控glTF存取器以指示基本資料緩衝區係動態的延伸。定時存取器可具有二個緩衝區視圖，一者從含有存取器繼承且第二者在MPEG_accessor_timed延伸中。前者可用以參考定時媒體資料而後者可用以指向動態緩衝區標頭，其可能存在或可能不存在。當存在時，二個bufferView可指向相同的循環緩衝區。如本文描述的，包括MPEG_accessor_timed延伸的存取器可僅指向包括MPEG_buffer_circular延伸的緩衝區。
將在具有MPEG_accessor_timed延伸之存取器中的accessor.bufferView欄位以及定時存取器資訊標頭欄位施加至循環緩衝區內之各訊框的資料。定時存取器延伸係藉由MPEG_accessor_timed元素識別。當存在時，可將MPEG_accessor_timed延伸包括為定義在ISO/IEC DIS 12113:2021中之存取器物件的延伸。由MPEG_texture_video元素識別的此延伸提供將定義在ISO/IEC DIS 12113:2021中之紋理物件鏈接至視訊來源的可能性。MPEG_texture_video延伸提供對定時存取器的參考，亦即，具有MPEG_accessor_timed延伸之存取器，其中可使經解碼紋理訊框變得可用。當存在時，可將MPEG_texture_video延伸包括為定義在ISO/IEC DIS 12113:2021中之紋理元素的延伸。當不支援MPEG_texture_video延伸時，可將標準glTF紋理使用為後援。
MPEG_texture_video延伸包括藉由指定特定存取器物件在存取器陣列中之索引而提供對存取器之參考的存取器性質，其描述可使該處的經解碼定時紋理可用的緩衝區。MPEG_texture_video延伸亦通過格式性質提供與視訊紋理之格式有關的資訊。存取器的類型、componentType、及計數性質相依於寬度、高度、及格式性質。
媒體管線係處理媒體的一連串媒體處理組件。媒體管線係媒體內容特定的。補片包裝區塊大小係表達補片在輿圖內的2D放置的單位。
多個輿圖可包括在V3C位元串流中。若存在多個輿圖，V3C位元串流可解多工至一或多個輿圖位元串流中及其等的關聯視訊位元串流中。各輿圖的視訊位元串流可包括佔用、幾何、及屬性分量。在V3C參數集中，vps_atlas_count_minus1加1指示目前位元串流中的支援輿圖的總數目。vps_atlas_count_minus1的值可在0（含）至63（含）的範圍中，vps_atlas_id指定輿圖的ID。vps_atlas_id的值可在0（含）至63（含）的範圍中。
若存在多個輿圖，V3C位元串流經多工至一或多個輿圖子位元串流中及關聯視訊子位元串流中。各輿圖的視訊子位元串流可包括視訊編碼佔用、幾何、及屬性分量。輿圖子位元串流係使用輿圖解碼器（假設性參考解碼器定義在ISO/IEC 23090-5的附錄E中）解碼。
輿圖解碼器剖析輿圖子位元串流以解碼輿圖NAL單元及輿圖圖塊標頭。輿圖訊框可再劃分成圖塊。各輿圖圖塊可獨立地解碼且促使實施方案執行有效率處理（諸如平行處理）。各圖塊可含有不同數目的補片。補片儲存資訊（諸如將資訊從2D映射至3D空間）、補片類型等。在解碼存在於輿圖圖塊內的補片之後，在區塊至補片之間建立一映射，該映射將相對於補片含於其中之輿圖圖塊的補片索引指派給重疊該補片之各區塊（見ISO/IEC 23090-5的子條款9.2.6）。區塊係每圖塊每補片索引的。
在V3C序列中，預期總補片的數目以及圖塊的數目可隨時間推移而改變。因此，不可能相關於補片所屬的圖塊提供有關該等補片的決定性資訊。更確切地說，將圖塊層級補片資訊轉換成輿圖訊框層級補片資訊。因為輿圖訊框係恆定的，亦即，輿圖訊框的大小在V3C序列中不會改變。
V3C規格提供將圖塊層級補片資訊轉換成輿圖層級補片資訊的方法（ISO/IEC 23090-5的子條款9.2.7）。定義在ISO/IEC 23090-5之子條款9.2.7中的操作轉換補片資訊（例如，補片的2D位置、補片尺寸等），使得相對於輿圖訊框而非某個圖塊。
例如，ISO/IEC 23090-5中的子條款9.2.7.2提供如何將圖塊層級區塊至補片映射轉換成輿圖層級區塊至補片映射的資訊。此一映射建立含在輿圖訊框中之全部補片的列表。每個區塊被指派關於輿圖訊框的補片索引（一些區塊可不與任何補片重疊；此類區塊以-1索引）。此操作移除blockToPatch映射結構中的圖塊概念。
為消除經解碼補片資訊中的圖塊概念，調用定義在ISO/IEC 23090-5之子條款9.2.7.3中的操作。此等操作將關於補片含於其中之圖塊定義的補片資訊轉譯成相關於輿圖訊框的全域參考。此等操作轉換及提供輿圖層級補片資訊，諸如對所有補片共同的資訊以及應用特定補片資訊。
經解碼輿圖緩衝區包括二個主要結構：區塊至補片映射及補片列表。區塊至補片映射將輿圖訊框中的各區塊映射至補片索引。在區塊未由任何補片覆蓋的情形中，指派給該區塊的補片索引值係-1。補片列表包括用於含在補片列表中之各補片的資料。補片包括二組資訊。共同補片資訊資料及應用特定補片資訊資料。取決於補片的類型，可有需要儲存在輿圖緩衝區中的額外資訊，例如點局部重構、EOM點等。
共同補片資訊可在補片各處適用。此包括諸如下列的資訊（見ISO/IEC 23090-5的9.2.7.3.2節）：補片類型；補片2D大小；補片位置；補片3D偏移；補片3D深度範圍；補片投影ID；補片定向索引；細節比例因子的等級；RAW點；及EOM補片的數目。當以一順序儲存共同補片時可提供利益。
應用特定輿圖層級補片資訊提供與各補片類型有關的更多細節（見ISO/IEC 23090-5的子條款9.2.7.3.3）。例如，當補片類型係PROJECTED時，可能需要額外資訊以執行點局部重構(PLR)（ISO/IEC 23090-5中的子條款8.4.7.9）。類似地，可對於其他補片類型（諸如EOM及RAW）提供額外細節。
MPEG沉浸式視訊係V3C規格的延伸。MIV將視圖的概念及其至補片的映射描述在V3C分量中。視圖表示體積訊框的視場，其可藉由提供幾何的一個2D訊框加上每屬性一個2D訊框表示。經編碼輿圖含有描述輿圖訊框內之補片的資訊。經編碼輿圖訊框含有各補片的視圖資訊，使得3D點可因此根據任何視圖的參考訊框表達。對各補片傳訊不同視圖，其識別該補片源自哪個視圖。有用於各視圖的數個參數。
應用特定輿圖層級補片資訊經進一步延伸以加入用於MIV內容中的各補片的視圖索引。
由解碼器提供的視訊訊框在輸入至重構程序之前可能需要額外的處理步驟。為與相同輿圖ID關聯的經解碼視訊分量調用描述在ISO/IEC 23090-5之附錄B中的程序。不同的V3C視訊編碼分量經處理且受不同處理。將V3C視訊編碼分量經轉換成標稱格式。標稱格式共同地指稱經解碼視訊可轉換成的標稱位元深度、解析度、色度格式、及組成時間索引。使各視訊子位元串流及經包裝視訊子位元串流的各區域與標稱位元深度關聯，該標稱位元深度係預期以其執行用於重構的所有操作的目標位元深度。在ISO/IEC 23090-14中，預期標稱格式係4:4:4色度子取樣格式。程序可包括圖擷取、幾何圖合成、屬性圖合成、解析度轉換、色度升取樣。與程序有關的細節參考ISO/IEC 23090-5中的附錄B。
經包裝視訊係允許將V3C位元串流的多個分量包裝至相同視訊訊框中的彈性語法。將多個V3C視訊分量含在相同的V3C單元中，亦即，V3C_PVD。V3C_PVD可儲存輿圖的視訊分量（諸如一些、多個、或全部視訊分量）（例如，幾何、佔用、及屬性視訊）。V3C語法可描述訊框包裝邏輯。在經包裝視訊解碼之後，訊框包裝邏輯可由V3C解碼器使用以將各種分量解包裝至分開的個別視訊分量串流中。
當vuh_unit_type等於V3C_PVD時，可調用對應於經包裝視訊分量的解碼程序。經包裝視訊組態的資訊係以包裝資訊語法提供。包裝資訊語法可提供解包裝視訊串流的資訊。
圖4繪示實例V3C設定檔400。一般而言，V3C設定檔遵循結構化及彈性定義，以允許清楚地識別二個相異的符合點（符合點A 410及符合點B 420）。指示符合點A 410可係強制的，而符合點B 420可係可選的。V3C設定檔400解碼能力係藉由一般存在於VPS中或可通過外部機構檢索的編碼解碼器群組450及工具集460定義。
第一符合點（符合點A 410）覆蓋經解碼視訊子位元串流及輿圖子位元串流。第一符合點410覆蓋經衍生區塊至補片映射資訊。然而，第一符合點410並未覆蓋重構程序。在特定層430（藉由語法元素ptl_tier_flag的值識別）之特定層級440（藉由語法元素ptl_level_idc的值識別）的符合點A 410符合V3C設定檔400的任何解碼器（藉由語法元素ptl_profile_codec_group_idc及ptl_profile_toolset_idc識別）可能能夠根據提供設定檔480、工具集460、層430資訊如何用以解碼V3C媒體之細節的ISO/IEC 23090-5中的條款A.2解碼所有V3C位元串流或V3C子位元串流的集合。
第二符合點（符合點B 420）覆蓋重構程序。第三V3C設定檔分量（亦即，重構470）描述符合點B 420，且指定所支援或推薦以就3D重構而言達成符合性的預重構、重構、後重構、及適應性工具。
glTF不原生地支援視訊紋理。上文描述的MPEG_texture_video延伸提供支援定時紋理的能力。然而，當儲存在視訊紋理中的資訊的色彩空間係YUV/YCbCr時，可能需要適當的取樣器資訊。
一般而言，紋理陣列中的紋理項具有二個性質：取樣器及來源。來源性質提供與紋理有關的資訊，且取樣器性質提供有關取樣操作的資訊。紋理陣列中之紋理項的一般語法表示如下。用於紋理陣列中的特定紋理物件的取樣器性質指向取樣器陣列中的取樣器物件且用於紋理物件的來源性質指向影像陣列中的影像物件。
紋理陣列中的紋理項的一般語法： "textures": [ { "sampler": 0, "source": 0 } ], "images": [ { "uri": "testTexture.png" } ], "samplers": [ { "magFilter": 9729, "minFilter": 9987, "wrapS": 33648, "wrapT": 33648 } ],
glTF中之紋理的來源一般支援JPEG(JFIF)及PNG影像格式。然而，將解碼來源影像檔案留給實施方案。解碼程序未表達在glTF中。
在許多情形中，來源影像的資料可儲存為交錯的或平坦的。不支援來源影像在glTF中的資料對準的表達。
如表1中說明的，將輿圖資訊指定為CDAM1中之MPEG_primitive_v3c延伸的語法。 表 1– 輿圖資訊作為 CDAM1 中之 MPEG_primitive_v3c 延伸之語法
名稱 類型 預設 用法 描述
_mpeg_v3c_ad 陣列 M M 此分量可參考提供V3C輿圖資料緩衝區的定時存取器。定義輿圖緩衝格式。例如，如使用沉浸式媒體的經編碼表示、場景描述、及對場景描述中的沉浸式媒體編碼解碼器的支援而將瞭解的。輿圖資料緩衝格式的未來規格可使用不同版本。 無論版本為何，僅會存在一個輿圖分量。
說明於表2中的_MPEG_V3C_AD物件可具有以下結構： 表 2-MPEG_V3C_AD 性質
名稱 類型 預設 用法 描述
Version uint8 1 O 提供識別關聯組態及輿圖資料緩衝格式的版本。目前的規格版本將版本定義為「1」，其中可指定緩衝格式。例如，如使用沉浸式媒體的經編碼表示、場景描述、及對場景描述中的沉浸式媒體編碼解碼器的支援而將瞭解的。
Accessor 整數 N/A M 此提供其提供對輿圖資料緩衝區之存取的定時存取器的索引。
目前在ISO/IEC 23090-14的CDAM1中，指定一個版本（版本1），其中儲存共同輿圖資料的緩衝格式如表3所示。 表 3– 儲存共同輿圖資料的緩衝格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0;i＜patch_count;i++) {      
2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
2d_size_x 浮點數 指定目前補片的寬度。
2d_size_y 浮點數 指定目前補片的高度。
3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
patch_orientation uint8 指定目前補片之補片定向的索引。
lod_scale_x uint16 指定待施加至目前補片之切線軸的LOD比例因子。
lod_scale_y uint16 指定待施加至目前補片之雙切線軸的LOD比例因子。
}      
通用及可擴縮設計有益於支援MPEG-I場景描述中的V3C編碼內容。設計支援不同類型的補片及補片資訊。設計亦可構成重構體積視覺內容（例如，點雲）的必要資訊。設計亦可提供與重構程序及V3C分量有關的資訊。完整設計可支援將輿圖後設資料資訊表示在MPEG-I場景描述文件中，使得輿圖資訊可藉由PE 250與經解碼視訊分量結合以用於重構操作。
所描述的系統及方法呈現支援V3C/V-PCC內容的通用設計。該系統及方法包括用於可由PE 250使用以供重構及演現之呈緩衝區形式的經解碼V3C/V-PCC媒體資料的語意以及二進位表示。該系統及方法可能需要在二個階段的定義：資料表示及語意描述。資料表示以及其等的語意二者皆可定義在於此文件中稱為MPEG_V3C延伸的新的glTF延伸中。
所提出的系統及方法將V3C內容的處理分布在MAF與PE 250之間，其中除了標稱格式轉換外，MAF 210執行符合點A 410所需的操作，如ISO/IEC 23090-5規格中所定義的，且PE 250執行有關符合點B 420的3D重構程序（見ISO/IEC 23090-5中的附錄A）。
V3C/V-PCC之不同分量的資料表示對識別不同分量的格式係重要的。
體積媒體的重構程序利用來自輿圖訊框之圖塊的資訊。因此，如本文所呈現的，圖塊層級補片資訊至輿圖層級補片資訊的轉換係必要的。輿圖層級補片資訊儲存在二進位緩衝區中。特定資訊（諸如共同輿圖層級補片資訊及應用輿圖層級補片資訊及本文呈現有其他有關資訊）可藉由對緩衝區定義不同的存取器而檢索。各存取器使用不同bufferView指向相同的二進位緩衝區。各bufferView可具有不同的二進位偏移及不同的二進位長度以存取緩衝資料中的各子區塊。二進位區塊中的各子區塊儲存有限長度的純量值。
例如，blockToPatch資訊區塊可儲存長度等於補片包裝區塊之總數目的純量值陣列。補片包裝區塊的總數目可從ISO/IEC 23090-5中的方程式(1)及(2)判定，且為了方便闡述如下。 AtlasBlockToPatchMapWidth = (asps_frame_width + offset) / PatchPackingBlockSize         方程式 (1) AtlasBlockToPatchMapHeight = (asps_frame_height + offset) / PatchPackingBlockSize         方程式 (2)
一般而言，asps_frame_height及asps_frame_width可在解碼程序期間由輿圖解碼器讀取。因此，MAF 210可計算輿圖訊框中之補片包裝區塊的總數目。輿圖訊框中之補片的總數目係使用輿圖資料緩衝訊框中的TotalNumberOfPatches子區塊檢索。TotalNumberOfPatches亦可計數儲存在輿圖訊框中之不同補片類型的總數目。類似地，儲存共同補片參數的二進位子區塊可將各補片的十六個經定義參數儲存在純量值陣列中。因此，儲存在此陣列中的參數的總數目等於輿圖訊框中之補片的總數目乘以十六。因此，PE 250可實施能夠有效率地從輿圖二進位緩衝區讀取資料（使用從多個存取器檢索的資訊）之輿圖資料讀取器的邏輯。此等補片參數以下列順序儲存。 表 4- 共同補片參數的排序
共同補片參數
PatchInAuxVideo
PatchType
Patch2dSizeX
Patch2dSizeY
Patch2DPosX
Patch2DPosY
Patch3dOffsetU
Patch3dOffsetV
Patch3dOffsetD
Patch3dRangeD
PatchProjectionID
PatchOrientationIndex
PatchLODScaleX
PatchLODScaleY
PatchRAWPoints
PatchEOMPatchCount
圖5繪示在補片層級賦能之用於補片類型PROJECTED及PLR的實例輿圖資料表示500。圖5呈現用於輿圖訊框之輿圖層級補片資訊資料510的實例。輿圖資料中的各子區塊可通過下文描述的專用存取器存取。輿圖資料表示500包括BlockToPatch資訊510、補片的總數目530、共同補片參數540、AtlasPlrdLevel 550、AtlasPlrdPresentFlag 560、及AtlasPlrdMode 570。
圖6繪示存取輿圖二進位資料中的不同子區塊的多個存取器。圖6呈現具有各提供對輿圖資料中的不同子區塊的存取的多個存取器的實例。圖6繪示以圖5之輿圖資料表示500開始的此資訊。輿圖資料的各子區塊具備存取器。例如，BlockToPatch資訊510係使用存取器620識別、補片的總數目530係使用存取器630識別、共同補片參數540係使用存取器640識別、AtlasPlrdLevel 550係使用存取器650識別、AtlasPlrdPresentFlag 560係使用存取器660識別、且AtlasPlrdMode 570係使用存取器670識別。
圖7繪示具有在區塊層級可用之補片類型PROJECTED及PLR資訊的輿圖資料表示。圖7呈現用於輿圖訊框之輿圖層級補片資訊資料的實例，其中PLR資訊在區塊層級而非如圖6中繪示的補片層級可用。圖7繪示以圖5之輿圖資料表示500開始的此資訊。輿圖資料的各子區塊具備補片類型PROJECTED及PLR資訊。例如，BlockToPatch資訊510係使用補片類型PROJECTED及PLR資訊720識別、補片的總數目530係使用補片類型PROJECTED及PLR資訊730識別、共同補片參數540係使用補片類型PROJECTED及PLR資訊740識別、AtlasPlrdLevel 550係使用補片類型PROJECTED及PLR資訊750識別、AtlasPlrdPresentFlag 560係使用補片類型PROJECTED及PLR資訊760識別、且AtlasPlrdMode 570係使用補片類型PROJECTED及PLR資訊770識別。
因此，取決於補片的類型及判定可用於補片之資訊的適當旗標，輿圖資料在二進位緩衝區中的結構可不同。然而，從輿圖二進位緩衝區存取資料的機構維持相同，亦即，使用存取器，其中各存取器提供對其長度係藉由參數的總數目判定的純量值陣列的存取。在二進位資料經定時（亦即，媒體係動態的）的情形中，可使用定時存取器。上文描述的定時存取器提供存取係動態且其性質可隨時間推移而改變之二進位緩衝區的機構。在僅需要V3C內容的一些圖塊的部分存取的情形中，MAF 210負責請求有關/目標圖塊。然而，由於儲存在緩衝區中的輿圖資料完全沒有圖塊概念，當僅檢索部分內容時，可應用相同的輿圖資料存取的設計原理。在內容係MIV的情形中，不同數目的視圖及每視圖參數將提供在輿圖訊框中。各視圖的視圖參數儲存在輿圖緩衝區中的（多個）其他輿圖資訊旁邊。
（圖6的）一組存取器提供用於在參考單一二進位緩衝元件的同時存取輿圖訊框中之補片之各者的特定補片資訊的機構。單一緩衝區可由一組bufferView參考，且各bufferView可具有其自有的glTF存取器元件。存取器的使用使PE 250能存取與含在經解碼輿圖訊框中之補片關聯的所有資訊。
圖8繪示子區塊的表示800及如何讀取輿圖資料。子區塊可含有對應於下文描述的一些實施例及n一些實施例中的V3C輿圖資料，該等子區塊可含有對應於表16中之語意的V3C輿圖資料。在替代方法中，存取器物件的使用經最小化（特別針對應用特定資訊），且因此將有關資料壓縮。
以下描述詳述輿圖資料如何壓縮。儲存BlockToPatchMap資訊之資料的子區塊可遵循一經定義結構。資料儲存輿圖訊框之各區塊的補片索引。因此，用於BlockToPatchMap資訊之存取器的性質係：分量：無正負號整數或浮點，類型：純量、及計數：輿圖訊框中之區塊的總數目。
代表補片之數目的子區塊可儲存補片的總數目以及應用特定補片的總數目。存取器的性質係：componentType：無正負號整數，類型：純量、及計數：補片的總數目+（經投影補片+ eom補片+ RAW補片）的總數目。
儲存共同補片參數資訊的子區塊可將每補片的補片參數儲存在列表中。每補片的共同補片參數可係有序的。可將資料儲存為純量實體或vec2實體。在選擇純量類型的情形中，資料可遵循補片索引以及補片參數的隱含遞增順序。在選擇vec2類型的情形中，資料可如表1所呈現的儲存。定時存取器標頭資訊的性質係：componentType：無正負號整數，類型：純量/vec2、計數：補片的總數目* 16。
如圖8中繪示的，表示800包括複數個存取器（共同稱為MPEG存取器計時器810），該等存取器包括存取器1 810.1、存取器2 810.2、存取器3 810.3、及存取器4 810.4，雖然可使用任何數目之的存取器。複數個MPEG存取器計時器（共同稱為MPEG存取器計時器820）包括用於存取器1 810.1的MPEG存取器計時器820.1、用於存取器2 810.2的MPEG存取器計時器820.2，用於存取器3 810.3的MPEG存取器計時器820.3、用於存取器4 810.4的MPEG存取器計時器820.4。接著供給複數個緩衝區（共同稱為緩衝區830），包括從MPEG存取器計時器820.1供給緩衝區1 830.1、從MPEG存取器計時器820.2供給緩衝區2 830.2、從MPEG存取器計時器820.3供給緩衝區3 830.3、及從MPEG存取器計時器820.4供給緩衝區4 830.4。其他緩衝區（諸如緩衝區835）可由，例如，存取器810、MPEG存取器計時器820直接供給。
緩衝區840（或複數個緩衝區）可由緩衝區830及緩衝區835供給。表示800包括複數個定時存取器標頭資訊區塊850，該複數個定時存取器標頭資訊區塊包括由緩衝區830.1供給的定時存取器標頭資訊區塊850.1、由緩衝區830.2供給的定時存取器標頭資訊區塊850.2、由緩衝區830.3供給的定時存取器標頭資訊區塊850.3、及由緩衝區830.4及緩衝區840供給的定時存取器標頭資訊區塊850.4。定時存取器標頭資訊850可接著供給描述符860。例如，定時存取器標頭資訊850.1供給描述符860.1、定時存取器標頭資訊850.2供給描述符860.2、定時存取器標頭資訊850.3供給描述符860.3、且定時存取器標頭資訊850.4供給描述符860.4。
緩衝區835可提供資訊至可包括區塊至補片映射資訊870、NOP 875、共同補片參數880、及應用特定補片參數890的輿圖訊框資料845。可將描述符860供給回包括區塊至補片映射資訊870、NOP 875、共同補片參數880、及應用特定補片參數890的輿圖訊框資料845。 表 5– 將共同補片參數儲存為 vec2
補片索引 補片參數
1 #AtlasPatchInAuxVideo_Patch1
1 #AtlasPatchType_Patch1
1 #AtlasPatch2DSizeX_Patch1
… …
2 #AtlasPatchInAuxVideo_Patch2
2 #AtlasPatchType_Patch1
2 #AtlasPatch2DSizeX_Patch2
… …
取決於補片類型，存在額外的應用特定參數資訊。為儲存此類資訊，將資料儲存器分成亦可視覺地表示在圖6中之補片的類型。
在補片類型係PROJECTED的情形中，點局部重構可儲存在輿圖緩衝區中。可取決於PLR資訊係在區塊層級或補片層級上可用而有儲存PLR資料的至少二個子區塊。與各經投影補片對應於什麼PLR層級有關的資訊係提供在儲存如表6所表示之資料的子區塊中。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec2，計數：PROJECTED補片的數目。 表 6– 與 PLR 層級有關的資訊
補片索引 PLRD 層級；（ 0 == 區塊層級， 1 == 補片層級）
1 0
2 0
3 1
4 1
5 0
取決於含在輿圖訊框中的（多個）PLR層級，可有用於補片中之各區塊之PLR的資訊或用於補片的PLR資訊的其中一者（亦即，補片中的區塊可具有相同的PLR資訊）。在補片之PLR層級經識別為區塊層級的情形中，則子區塊可儲存如表7中表示的區塊層級PLR資訊。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec3，計數：∑_(i=0)^N▒BlockCount[i]. 表 7– 用於區塊層級 PLR 的資訊
補片索引 PLRD 存在區塊旗標 PLRD 區塊模式
1 0 0
1 1 #mode
2 1 #mode
2 1 #mode
5 0   
5 1 #mode
在補片之PLR層級經識別為補片層級的情形中，則子區塊可儲存如表8中表示的補片層級PLR資訊。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec3、及計數：補片層級PLR補片的數目。 表 8– 與補片層級 PLR 資料有關的資訊
補片索引 PLRD 存在旗標 PLRD 模式
3 1 #mode
4 0 0
在補片類型若EOM的情形中，有關EOM補片的資訊可如表9中所表示的儲存。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec3、及計數：∑_(i=0)^TOEP▒patchEOMPatchCount[i]. 表 9– 與 EOM 補片有關的資訊
補片索引 EOM 點計數 關聯補片索引
6 #Point1 10
6 #Point2 10
7 #Point1 11
7 #Point2 12
   #Point1 9
在輿圖訊框儲存MIV有關資料的情形中，可有對應於各補片的攝影機視圖的列表。MIV視圖如表10或表11所表示的儲存。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec2、及計數：視圖的數目(NOV) * (27+NOV). 表 10– 與 MIV 視圖有關的資訊（類型： vec2 ）
視圖索引 視圖參數
1 #ViewPosX[1]
1 #ViewPosY[1]
1 #ViewPosZ[1]
…   
2 #ViewPosX[2]
2 #ViewPosY[2]
…   
子區塊的對應存取器性質係：componentType：無正負號整數，類型：純量、及計數：1+視圖的數目(NOV) * (27+NOV)。 表 11– 與 MIV 視圖有關的資訊（類型：純量）
視圖參數
#NOV
#ViewPosX[1]
#ViewPosY[1]
#ViewPosZ[1]
…
#ViewPosX[2]
#ViewPosY[2]
…
MIV亦延伸應用特定補片參數資訊（見ISO/IEC 23090-12中的9.2.7.3.3節）。因此，可有儲存該資訊的額外子區塊。各補片對應於視圖索引。因此，對於補片列表，儲存每補片的視圖索引。子區塊的對應存取器性質係：componentType：無正負號整數，類型：vec2/純量、及計數：補片的總數目。
在補片類型係PROJECTED的情形中，提供如表12所表示的額外參數。每補片的MIV投影參數可以一順序儲存。子區塊的對應存取器性質可係：componentType：無正負號整數，類型：vec2/純量、及計數：PROJECTED補片的總數目* 5。 表 12– 與 MIV PROJECTED 補片參數有關的資訊
補片索引 MIV PROJECTED 參數
1 #entityID
1 #depthOccThres
1 #offset1
1 #offset2
1 #offset3
2 #EntityID
…   
V3C視訊編碼分量（諸如佔用、幾何、及屬性）一般使用常規視訊解碼器（諸如H.264、HEVC、或VVC）解碼。來自各V3C分量的經解碼訊框亦可受額外的後處理程序（參見ISO/IEC 23090-5附錄B）。接著使用於V3C分量的最終經解碼訊框可用於PE 250以用於視訊紋理。
在場景描述的上下文中，將經解碼視訊紋理作為紋理陣列中的紋理物件傳訊。視訊紋理物件係包括延伸紋理元素的能力以支援視訊紋理之MPEG_texture_video延伸的紋理物件。視訊紋理提供對經解碼視訊紋理及關聯資訊的存取。視訊紋理可經處理而使視訊紋理以標稱格式表示，該視訊紋理可藉由在經解碼V3C視訊紋理上執行後處理操作而由PE 250用於3D重構。經解碼視訊紋理的格式可採4:4:4色度子取樣格式。在一個組態中，因為具有使經解碼V3C影像中的所有樣本匹配經重構3D點的表示係重要的，標稱色度格式係4:4:4。因此，視訊紋理可採YCbCr或RGB格式。哪個色彩格式用於視訊紋理（亦即，RGB或YCbCr）的決定係應用/實施方案特定的。
新場景層級延伸（亦即，MPEG_V3C）可傳訊有關於存在於場景中之V3C媒體物件的各V3C分量的資訊，且描述紋理及可保持經解碼視訊訊框及用於此等媒體物件之輿圖資料的緩衝區。延伸列出V3C媒體物件的陣列。陣列中的各項含有與使用四個主性質傳訊之對應V3C媒體物件的分量有關的資訊：V3C_OCCUPANCY-表示有關於佔用分量的資訊、V3C_GEOMETRY-表示有關於幾何分量的資訊、V3C_ATTRIBUTE-表示有關於屬性分量的資訊、及V3C_ATLAS-表示有關於V3C內容之輿圖分量的資訊。V3C內容可包括一個以上的輿圖且各輿圖可與其自身的幾何、佔用、及屬性集分量關聯。
在glTF檔案中，可將「MPEG_V3C」延伸加至「extensionRequired」及「extensionUsed」頂層glTF性質。此可包括： "extensionsRequired":  [ "MPEG_V3C" ], "extensionsUsed":  [ "MPEG_V3C" ],
V3C語法可係頂層延伸。具有MPEG_V3C延伸之場景中的節點可指示在定義在場景層級延伸中之MPEG_V3C元素中之陣列中的索引。下文提供利用MPEG_V3C延伸之偽glTF檔案的實例並提供用於表示V3C內容的語法。用於表示V3C內容的此語法包括： "extensions": { "MPEG_V3C": { "objects": [ { "V3C_OCCUPANCY": [{ "index": 1, //＜- index to a video texture }], "V3C_GEOMETRY": [{ "index": 2 //＜- index to a video texture } }], "V3C_ATTRIBUTE": [ { "type": 0, // ＜- texture attribute "index": 3 // ＜- index to a video texture }, { "type": 2, // ＜- transparency attribute "index": 4 //＜- index to a video texture } ], "V3C_ATLAS": [{ "blockSize": 16, //＜- patch blocking size "blockToPatchInformation": 111, //＜- accessor "totalPatches": 112, //＜- accessor "commomPatchParameters": 113, //＜- accessor "patchInformation": [ { "type": "PROJECTED", "PLRDLevel": 114, //＜- accessor "PLRDPresentBlockFlag": 115, //＜- accessor "PLRDBlockMode": 116, //＜- accessor "PLRDPresentFlag": 120, //＜- accessor "PLRDMode": 121 //＜- accessor }, { "type": "EOM", "patchEOMPoints": 117, //＜- accessor "patchAssociatedPatchIndex": 118 //＜- accessor }, { "type": "RAW", "numberRAWPoints": 119 //＜- accessor } ] }] }] } }, "nodes": [ { "translation": [0.0, 0.0, 0.5], "extension": { "MPEG_object": { object: 0 //＜- index in the MPEG_V3C array } } } ]
在asps_map_count_minus1 ＞ 0的情形中，意謂著有一個以上的圖存在於輿圖訊框中。在此一情形中，多個PROJECTED補片項目可描述在MPEG_V3C的V3C_ATLAS性質中。 "patchInformation": [{ "type": "PROJECTED", "mapIndex": 0, // ＜- map index value ... },{ "type": "PROJECTED", "mapIndex": 1, // ＜- map index value ... } ]
V3C語法可係網格層級延伸。根據glTF規格，藉由mesh.primitive中之屬性參考的存取器儲存網格之頂點的經指定屬性資料。mesh.primitive中之各屬性的存取器可儲存每頂點資料，且因此對於各屬性的存取器的計數屬性具有相同值。例如，在以下的偽glTF實例中，將三角形網格描述為具有POSITION及NORMAL屬性。各屬性皆指向存取器。存取器提供如何讀取屬性之資料的資訊。為描述三角形，需要三個頂點。在索引1的存取器儲存三個頂點的POSITION資料。在索引2的存取器儲存三個頂點的NORMAL資料。用於在索引1及索引2之存取器二者的計數屬性相同。 { ... "nodes" : [ { "mesh" : 0 }, ], "meshes" : [ { "primitives" : [ { "attributes" : { "POSITION" : 1, "NORMAL" : 2 }, "indices" : 0 } ] } ], ... "accessors" : [ { "bufferView" : 0, "byteOffset" : 0, "componentType" : 5123, "count" : 3, "type" : "SCALAR", "max" : [ 2 ], "min" : [ 0 ] }, { "bufferView" : 1, "byteOffset" : 0, "componentType" : 5126, "count" : 3, "type" : "VEC3", "max" : [ 1.0, 1.0, 0.0 ], "min" : [ 0.0, 0.0, 0.0 ] },        { "bufferView" : 1, "byteOffset" : 36, "componentType" : 5126, "count" : 3, "type" : "VEC3", "max" : [ 0.0, 0.0, 1.0 ], "min" : [ 0.0, 0.0, 1.0 ] } ], "asset" : { "version" : "2.0" } }
glTF規格允許定義新屬性類型以儲存網格的應用特定資料。然而，此類新屬性可遵守glTF的資料表示規則，亦即，用於應用特定屬性的存取器必須定義每頂點資料且各屬性的存取器必須具有相同的計數值。為將V3C表示為glTF中的網格，用以描述V3C的語法元素可不破壞glTF網格的核心資料表示概念。例如，定義不儲存網格的所有頂點的每頂點資料的mesh.primitive.attribute，此一gITF檔案應視為無效。
因為V3C係3D物件的不同種類的壓縮方案，亦即，基於投影的，可將其視為用以壓縮3D物件的候選者，亦即，glTF.meshes中的點雲。可提供mesh.primitives的延伸。此延伸設計類似於在定義「KHR_draco_mesh_compression」時所使用的設計。在V3C的情形中，延伸可描述經解碼但未重構的V3C內容。一旦執行重構，3D物件採取其之真實形式，亦即，點雲。使用glTF.mesh之點雲的表示符合網格定義且遵守定義新屬性的通用構造。此等新屬性可係V3C特定屬性，諸如「REFLECTANCE」、「MATERIAL_ID」等。
因此，可將V3C物件的語法提供為對場景描述檔案中之網格的延伸。提供對網格物件的延伸。該延伸特定用於使用V3C壓縮方案編碼的物件。呈現用戶端配備有圖形處理單元(GPU)。glTF載入器可剖析glTF檔案。若剖析器支援V3C物件的重構且接受「MPEG_V3C」延伸，則PE 250中的glTF載入器可首先處理網格的「MPEG_V3C」延伸。載入器可載入藉由延伸表達的經解碼V3C資料。將由PMEG_V3C延伸指定之性質提供的經解碼V3C資料載入在GPU記憶體上。實施方案（例如，著色器實施方案）在經解碼V3C資料上運行以產生最終3D重構物件。3D重構的邏輯係使用V3C資訊（諸如輿圖、幾何、佔用）促進。3D物件可使用具有不同V3C屬性的紋理資訊進一步紋理化。經重構3D資料可儲存在GPU記憶體上的單獨緩衝區中。基元的「POSITION」屬性對應於儲存經解壓縮及經重構3D物件之頂點的位置的存取器、基元的「NORMAL」屬性對應於將經解壓縮及經重構3D物件之頂點的法向值儲存在V3C內容之「ATTR_TEXTURE」屬性中的存取器、且基元的「COLOR」屬性對應於將經解壓縮及經重構3D物件之頂點的色彩值儲存在V3C內容之「ATTR_TEXTURE」屬性中的存取器。在3D重構之後，3D物件採取其之真實形式，亦即，點雲。因此，mesh.primitive.attribute使用具有每頂點資料的屬性存取器表達3D物件。因此，各mesh.primitive.attribute的計數屬性可相同。可有其他屬性，諸如「_REFLECTANCE」、「_MATERIAL_ID」、「_TRANSPARENCY」等，其對應於對3D物件之各頂點定義的不同V3C屬性類型。
mesh.primitive.extension經命名為「MPEG_V3C」。該延伸係指V3C物件的經解碼資料。各V3C分量係藉由MPEG_V3C延伸的性質提供。
延伸的語法呈現如下。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11, // ＜- reconstructed vertices positions "NORMAL" : 12, // ＜- reconstructed vertex normals "COLOR_0": 13 // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "V3C_OCCUPANCY": { "index" : 1 // ＜- texture }, "V3C_GEOMETRY" : { "index": 2 // ＜- texture }, "V3C_ATTRIBUTE" : { "index": 3, // ＜- texture "type": 4 // ＜- v3c attribute type }, "V3C_ATLAS": { "blockSize": 16, // ＜- block size "BlockToPatchMap": 111, // ＜- accessor "NumberOfPatches": 112, // ＜- accessor "CommomPatchParameters": 113, // ＜- accessor "PLRLevel": 114, // ＜- accessor "BlockPLRD": 115, // ＜- accessor "PatchPLRD": 116, // ＜- accessor "EOMPatchInfo": 117 // ＜- accessor } } } } ] }
此後，延伸在網格層級表達。參考具有延伸「MPEG_V3C」之網格的節點可將物件放置在場景圖中以用於演現。
MIV係glTF2.0中作為網格之V3C表示的特殊情形。glTF載入器可將觀看空間邊界儲存在藉由網格的「POSITION」屬性參考的存取器中。觀看空間邊界係藉由MIV位元串流輸送。MIV內容的紋理基於觀看空間中的不同攝影機視圖直接傳送至演現器。攝影機視圖的資訊係儲存在MPEG_V3C延伸的輿圖性質中。
可有多個輿圖多工在V3C位元串流中。各輿圖可具有其之對應輿圖資料及視訊編碼分量，諸如幾何、屬性、及佔用。因此，為定義對用於MPEG_V3C延伸的多個輿圖的支援，有二種可遵循的方法。該二種方法於下文詳述。
一種方法包括用於各V3C分量的外部-內部陣列。為描述對多個輿圖的支援，MPEG_V3C延伸中的各性質提供外部陣列。外部陣列長度可等於用於V3C物件之輿圖的數目。具有圖的分量（諸如幾何形狀、佔用、及屬性）進一步參考陣列，亦即，具有各陣列項參考特定圖的內部陣列。內部陣列中的性質對應於分量特定資料參考，例如，對於視訊編碼資料，參考對應視訊紋理的索引。類似於V3C_ATLAS中的輿圖資料，不同存取器參考其等之儲存用於陣列中之輿圖項的各別輿圖資料的各別緩衝區。外部陣列中之具有分量之索引i的各項可具有用於在索引i之其他性質中的相同輿圖的對應分量。索引i可係輿圖ID。例如，在V3C_ATLAS中具有索引i的項可對應於用於在索引i之輿圖的輿圖資料。用於相同輿圖的對應視訊編碼分量（諸如屬性）係藉由在V3C_ATTRIBUTE性質中的索引i的項參考。除了明確提及者外，對用於MPEG_V3C延伸中之各輿圖的atlasID引入名為「atlasID」的額外性質。atlasID係整數值的陣列。各整數值參考如上文所示之用於V3C位元串流中之各輿圖的vpc_atlas_id。
使用此方法，將語法描述呈現如下。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11, // ＜- reconstructed vertices positions "NORMAL" : 12, // ＜- reconstructed vertex normals "COLOR_0": 13 // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "atlasID": [ 1 ] , "V3C_OCCUPANCY": [ [{ "index": 1, //＜- index to a video texture }]] , "V3C_GEOMETRY": [ [{ "index": 2 //＜- index to a video texture }]] , "V3C_ATTRIBUTE": [ [{ "type": 0, // ＜- texture attribute "index": 3 // ＜- index to a video texture }, { "type": 2, // ＜- transparency attribute "index": 4 //＜- index to a video texture }] ], "V3C_ATLAS": [{ ... }] } } } ] }
另一例示性方法包括輿圖陣列。描述對多個輿圖之支援的另一方法係在「MPEG_V3C」延伸下定義名為「atlases」的新性質。「atlases」係對應於如表13所示之輿圖的分量陣列。atlases陣列的長度可等於用於V3C物件之輿圖的數目。用於atlases陣列中之物件的性質描述輿圖資料分量及對應的視訊編碼分量，諸如用於V3C物件的屬性、佔用、及幾何。 表 13 MPEG_V3C 延伸性質
名稱 類型 預設 用法 描述
atlases 陣列（物件） N/A M 提供用於V3C物件的atlases陣列，其中陣列中的各項定義用於單一輿圖之各分量的資料以及有關輿圖資料。
「atlases」陣列中的物件對應於用於V3C物件的一個輿圖訊框的分量。該物件可具有名為「atlas_ID」之儲存與vps_atlas_id相同之整數值的識別符。使用此方法，將語法描述呈現如下。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11, // ＜- reconstructed vertices positions "NORMAL" : 12, // ＜- reconstructed vertex normals "COLOR_0": 13 // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "atlases": [ { "atlas_ID": 1, //＜- atlas ID "V3C_OCCUPANCY": [{ "index": 1, //＜- index to a video texture }] , "V3C_GEOMETRY": [{ "index": 2 //＜- index to a video texture }], "V3C_ATTRIBUTE": [{ "type": 0, // ＜- texture attribute "index": 3 // ＜- index to a video texture }, { "type": 2, // ＜- transparency attribute "index": 4 //＜- index to a video texture }], "V3C_ATLAS": [{ ... }] }] } } } ] }
用於場景層級之MPEG_V3C延伸的語意描述於下表14中。 表 14- 用於 MPEG-V3C 延伸的語意
名稱 類型 預設 用法 描述
objects 陣列 [] - V3C物件陣列
用於輿圖資料的語意描述於表15及表16中。 表 15-V3C 輿圖語意
名稱 類型 預設 用法 描述
PatchBlockSize 數目 16 M 描述輿圖訊框的補片區塊大小
BlockToPatchInformation 數目 - M 在存取器陣列中之參考區塊至補片資訊資料的索引
TotalPatches 數目 - M 在存取器陣列中之保持補片之數目之資訊的索引
CommonPatchParameters 數目 - M 在存取器陣列中之保持共同補片參數之資訊的索引
PatchInformation 陣列 [] M 補片類型陣列及其等的各別資訊
表 16-V3C 輿圖補片資訊語意
名稱 類型 預設 用法 描述
type 數目 - M 描述補片的類型
PLRDLevel 數目 - O 在存取器陣列中之保持PLR係在區塊層級或補片層級的索引。 僅在若補片類型係PROJECTED時適用。
PLRDPresentBlockFlag 數目 - O 在存取器陣列中之保持區塊層級PLR模式之存在的資訊的索引。 僅在若補片類型係PROJECTED時適用。
PLRDBlockModeMinus1 數目 - O 在存取器陣列中之保持區塊層級PLR模式之資訊的索引。 僅在若補片類型係PROJECTED時適用。
PLRDPresentFlag 數目 - O 在存取器陣列中之保持補片層級PLR模式之存在的資訊的索引。 僅在若補片類型係PROJECTED時適用。
PLRDModeMinus1 數目 - O 在存取器陣列中之保持補片層級PLR模式之資訊的索引。 僅在若補片類型係PROJECTED時適用。
patchAssociatedPatchIndex 數目 - O 在存取器陣列中之指定補片關聯EOM補片之索引的索引。 僅在若補片類型係EOM時適用。
patchEOMPoints 數目 - O 在存取器陣列中之保持EOM編碼點之數目的資訊的索引。 僅在若補片類型係EOM時適用。
numberRAWPoints 數目 - O 在存取器陣列中之保持原始編碼點之數目的資訊的索引。 僅在若補片類型係RAW時適用。
MIVViews 數目 - O 在存取器陣列中之儲存用於儲存在輿圖資料中之各視圖之視圖參數列表的索引。
MIVViewIndex 數目 - O 在存取器陣列中之儲存輿圖資料中之每補片的視圖索引的索引
MIVPROJParameters 數目 - O 在存取器陣列中之儲存MIV PROJECTED特定補片參數的索引
與本文中定義的V3C輿圖語法相反，在另一實施例中，V3C_atlas的替代語法係可行的。取決於補片的類型（亦即，PROJECTED、EOM、或RAW），可提供額外的資訊。例如，輿圖訊框由PROJECTED補片組成，各經投影補片可具有點局部重構(PLR)資訊。補片在區塊層級或補片層級可用的PLR資訊係通過「PLRLevel」提供且對應的PLR資料係在「BlockPLRD」及/或「PatchPLRD」中提供。「BlockSize」對應於補片包裝區塊大小的值。
以下實例定義用於含有PROJECTED補片以及EOM補片之V3C內容的V3C輿圖分量的性質。該等語法元素的資料表示呈現在表5、表6、表7、表8、表9、表10、及表11中。 { "extensions": { "MPEG_V3C": { "objects": [{ // ... add V3C video-coded components "V3C_ATLAS": [{ "blockSize": 16,                 // ＜- patch packing block size "BlockToPatchMap": 111,               // ＜- accessor "NumberOfPatches": 112,                // ＜- accessor "CommomPatchParameters": 113,                                                                                              // ＜- accessor "PLRLevel_N": 114,                                                                                              // ＜- accessor "BlockPLRD_N": 115,                                                                                              // ＜- accessor "PatchPLRD_N": 116,                                                                                              // ＜- accessor "EOMPatchInfo": 117                                                                                              // ＜- accessor }] }] } } }
在asps_map_count_minus1 ＞ 0的情形中，有一個以上的圖存在於輿圖訊框中。在此一情形中，多個PROJECTED補片項目可描述在MPEG_V3C的V3C_ATLAS性質中。因此，用於各補片的PLR資訊可使用圖索引標記，亦即，PLRLevel_N，其中N係圖索引。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11, // ＜- reconstructed vertices positions "NORMAL" : 12, // ＜- reconstructed vertex normals "COLOR_0": 13 // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "V3C_OCCUPANCY": { "index" : 1 // ＜- texture }, "V3C_GEOMETRY" : { "index": 2 // ＜- texture }, "V3C_ATTRIBUTE" : { "index": 3, // ＜- texture "type": 4 // ＜- v3c attribute type }, "V3C_ATLAS": { "blockSize": 16, // ＜- block size "BlockToPatchMap": 111, // ＜- accessor "NumberOfPatches": 112, // ＜- accessor "CommonPatchParameters": 113 // ＜- accessor }, "MPEG_V3C_CAD": { "MIV_view_parameters": 114, } } } } ] }
亦設想用於V3C_atlas之語意的不同實施例。此等語意對應於本文定義的語法。V3C輿圖資訊可具備更少數目的存取器單元。用於V3C輿圖訊框的各性質的有效存取器類型及分量類型定義在表17中。 表 17- 用於 V3C 輿圖性質的存取器
名稱 用法 （多個）存取器類型 （多個）分量類型 描述
BlockToPatchMap M 純量 無正負號整數 儲存器儲存輿圖訊框中之各區塊的補片索引。在區塊未指派補片索引的情形中，該區塊係以值 0指派。
NumberOfPatches M 純量 無正負號整數 儲存補片的總數目以及不同補片類型的總數目的資訊。
CommonPatchParameters M VEC2 純量 無正負號整數 儲存輿圖訊框中之每補片的共同補片參數。
PLRLevel O VEC2 無正負號整數 儲存各PROJECTED補片類型的PLRD層級資訊。在PLR層級係0的情形中，PLR資訊在每區塊層級上可用。否則若PLR層級係1，PLR資訊在補片層級上可用。
BlockPLRD O VEC3 無正負號整數 儲存PROJECTED補片類型的區塊層級PLRD資訊。
PatchPLRD O VEC3 無正負號整數 儲存PROJECTED補片類型的補片層級PLRD資訊。
EOMPatchInfo O VEC3 無正負號整數 儲存有關於EOM補片的應用特定資訊。
MIVViews O VEC2 純量 無正負號整數 儲存用於儲存在輿圖資料中之各視圖的視圖參數的列表。   
MIVViewIndex O VEC2 純量 無正負號整數 將每補片的視圖索引儲存在輿圖資料中
MIVPROJParameters O VEC2 無正負號整數 儲存MIV PROJECTED特定補片參數
為將用於給定補片的應用特定資訊儲存在輿圖訊框中，於下文描述二種不同方法。
首先，使應用特定資訊與共同補片參數分開儲存。為將「Application-specific」資料儲存在輿圖訊框中，見上文，對不同的補片類型，引入參考儲存用於「MPEG_V3C」延伸中之個別補片類型的應用特定資料的存取器的JSON物件。將「V3C_application_specific_info」性質引入至MPEG_V3C延伸中且其可具有如表18所示的下列子代性質。 表 18 用於 MPEG_V3C 延伸中之 V3C_application_specific_info 之性質的定義
名稱 類型 預設 用法 描述
Projected 整數 N/A O 此係指儲存用於經投影補片類型之應用特定資訊的存取器
EOM 整數 N/A O 此係指儲存用於EOM補片類型之應用特定資訊的存取器
RAW 整數 N/A O 此係指儲存用於RAW補片類型之應用特定資訊的存取器
「V3C_application_specific_info」性質經定義為「MPEG_V3C」延伸中之在基元層級的性質。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11, // ＜- reconstructed vertices positions "NORMAL" : 12, // ＜- reconstructed vertex normals "COLOR_0": 13 // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "V3C_OCCUPANCY": { "index" : 1 // ＜- texture }, "V3C_GEOMETRY" : { "index": 2 // ＜- texture }, "V3C_ATTRIBUTE" : { "index": 3, // ＜- texture "type": 4 // ＜- v3c attribute type }, "V3C_ATLAS": { "blockSize": 16 , // ＜- block size "BlockToPatchMap": 111, // ＜- accessor "NumberOfPatches": 112, // ＜- accessor "CommonPatchParameters": 113 // ＜- accessor } , "V3C_application_specific_info": { "PROJECTED" : 114, "EOM" : 115, "RAW" : 116 } } } } ] }
用於不同性質之應用特定資訊的資料表示儲存定義在ISO/IEC 23090-5規格中的補片類型特定資訊。表19提供用於「V3C_application_specific_info」中之「PROJECTED」性質之參數的資料表示。 表 19- 應用特定資訊： PROJECTED 補片
欄位 類型 描述
projected_patch_count uint16 指定經投影補片計數
for ( int p = 0; p ＜ projected_patch_count ; p++) {
       plri_map_present 布林 指定plr資訊是否存在
       if (plri_map_present) {
                        plrdLevel 布林 指定用於補片之PLR資料的層級
                        if (plrLevel == 0 ) {
                            for ( b = 0; b ＜ blockCount ＜ b++) {
                                           plrdPresentblockflag 布林 指定用於區塊的PLR資料是否存在
                                           if (plrdPresentBlock == 1) {
                                                          plrdBlockMode uint8 指定用於區塊之PLR資料的模式
                                                }
                                    }
                        } else {
                                    plrdPresentPatchFlag 布林 指定用於補片的PLR資料是否存在
                                    if (plrdPresentPatchFlag) {
                                                plrdPatchMode uint8 指定用於補片之PLR資料的模式
                                    }
                        }
            }      
}      
表20提供用於MIV ISO/IEC 23090-12內容之「V3C_application_specific_info」中之「PROJECTED」性質之參數的資料表示。 表 20- 應用特定資訊：用於 MIV 的經投影補片
欄位 類型 描述
projected_patch_count uint16 指定經投影補片計數
for (int p = 0; p ＜ projected_patch_count ; p++) {
patchViewIndex uint8 指定用於視圖參數之緩衝格式中的索引
patchEntityID uint8 指定用於目前補片的補片實體ID
patchDepthOccThreshold uint8 為目前補片指定將低於其之佔用值定義成未佔用的臨限
tilePatchAttributeOffset_1 uint8 指定施加至目前補片之屬性的第一分量樣本值的偏移
tilePatchAttributeOffset_2 uint8 指定施加至目前補片之屬性的第二分量樣本值的偏移
tilePatchAttributeOffset_3 uint8 指定施加至目前補片之屬性的第三分量樣本值的偏移
}
表21提供用於「V3C_application_specific_info」中之「EOM」性質之參數的資料表示。 表 21- 應用特定： EOM 補片
欄位 類型 描述
eom_patch_count uint16 指定EOM補片的數目
for (int e = 0; e ＜ eom_patch_count; e++) {
            patchEOMPatchCount uint8 指定可與目前補片關聯之補片的數目
            for ( i = 0; i ＜ patchEOMPatchCount ; i++ ) {
                        EOM_Points uint8 指定與目前補片關聯之補片中的EOM編碼點的數目
                        associatedPatchIndex uint8 指定與目前補片關聯之第i補片的索引
            }
}      
表22提供用於「V3C_application_specific_info」中之「RAW」性質之參數的資料表示。 表 22- 應用特定： RAW 補片
欄位 類型 描述
raw_patch_count uint16 指定RAW補片的數目
for (r = 0; r＜raw_patch_count; r++) {
RAWPoints uint8 指定目前補片中之RAW編碼點的數目
}
}
其次，儲存具有共同補片資訊的應用特定資訊。目前在ISO/IEC 23090-14的CDAM1中，指定一個版本（版本1），其中緩衝格式儲存共同輿圖資料。此係限制，因為其不包括儲存PLR資訊、EOM補片類型資訊、RAW補片類型資訊、及MIV特定資訊的語法。因此，輿圖緩衝格式的新版本的列表在表23中介紹。 表 23- 不同的輿圖緩衝格式版本的表
版本 描述
1 具有共同輿圖資料的輿圖資料。
2 具有共同輿圖資料及用於PLR資訊之PROJECTED補片類型應用特定資料的輿圖資料
3 具有共同輿圖資料及EOM應用特定資料的輿圖資料
4 具有共同輿圖資料及RAW應用特定資料的輿圖資料
5 具有共同輿圖資料的輿圖資料，該共同輿圖資料具有用於具有PLR資訊的PROJECTED補片類型應用特定資料、EOM補片類型應用特定資料、及RAW補片類型應用特定資料
6 具有共同輿圖資料及用於MIV資訊之PROJECTED補片類型應用特定資料的輿圖資料。
下文係在表24、表25、表26、表27、及表28中之用於如表23中指定的不同輿圖緩衝格式版本的一系列緩衝格式定義。 表 24- 用於版本 2 的緩衝區輿圖格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0; i＜patch_count; i++) {
            2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
            2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
            2d_size_x 浮點數 指定目前補片的寬度。
            2d_size_y 浮點數 指定目前補片的高度。
            3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
            patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
            patch_orientation uint8 指定目前補片之補片定向的索引。
            plri_map_present 布林 指定plr資訊是否存在
            if (plri_map_present) {
                        plrdLevel 布林 指定用於補片之PLR資料的層級
                        if (plrLevel == 0 ) {
                                     for ( b = 0; b ＜ blockCount ＜ b++) {
                                                plrdPresentblockflag 布林 指定用於區塊的PLR資料是否存在
                                                if (plrdPresentBlock == 1) {
                                                            plrdBlockMode uint8 指定用於區塊之PLR資料的模式
                                                }
                                    }
                        } else {
                                    plrdPresentPatchFlag 布林 指定用於補片的PLR資料是否存在
                                    if (plrdPresentPatchFlag) {
                                                plrdPatchMode uint8 指定用於補片之PLR資料的模式
                                    }
                        }
            }      
}      
將blockCount的計算指定在ISO/IEC 23090-5之條款8.4.7.9中的函數BlockCnt(xSize, ySize)中。給函數的引數係圖塊補片大小，亦即，2d_size_x及2d_size_y。 表 25- 用於輿圖資料的版本 3 的緩衝區輿圖格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0; i＜patch_count; i++) {
2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
2d_size_x 浮點數 指定目前補片的寬度。
2d_size_y 浮點數 指定目前補片的高度。
3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
patch_orientation uint8 指定目前補片之補片定向的索引。
EOMPatchCount uint8 指定可與目前補片關聯之補片的數目
EOMPoints uint8 指定與目前補片關聯之補片中的EOM編碼點的數目
AssociatedPatchIndex uint8 指定與目前補片關聯之第i補片的索引
}      
表 26- 用於輿圖資料的版本 4 的緩衝區輿圖格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0; i＜patch_count; i++) {
            2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
            2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
            2d_size_x 浮點數 指定目前補片的寬度。
            2d_size_y 浮點數 指定目前補片的高度。
            3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
            patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
            patch_orientation uint8 指定目前補片之補片定向的索引。
            RAWPoints uint8 指定目前補片中之RAW編碼點的數目
}      
表 27- 用於輿圖資料的版本 5 的緩衝區輿圖格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0; i＜patch_count; i++) {
            patch_type uint8 指定補片的類型
            2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
            2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
            2d_size_x 浮點數 指定目前補片的寬度。
            2d_size_y 浮點數 指定目前補片的高度。
            3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
            patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
            patch_orientation uint8 指定目前補片之補片定向的索引。
            if (patch_type == PROJECTED) {
            plri_map_present 布林 指定plr資訊是否存在
            if (plri_map_present) {
                        plrdLevel 布林 指定用於補片之PLR資料的層級
                        if (plrLevel == 0 ) {
                                     for ( b = 0; b ＜ blockCount ＜ b++) {
                                                plrdPresentblockflag 布林 指定用於區塊的PLR資料是否存在
                                                if (plrdPresentBlock == 1) {
                                                            plrdBlockMode uint8 指定用於區塊之PLR資料的模式
                                                }
                                    }
                        } else {
                                    plrdPresentPatchFlag 布林 指定用於補片的PLR資料是否存在
                                    if (plrdPresentPatchFlag) {
                                                plrdPatchMode uint8 指定用於補片之PLR資料的模式
                                    }
                        }
            }
            else if (patch_type == EOM)   
                        EOMPatchCount uint8 指定可與目前補片關聯之補片的數目
                        EOMPoints uint8 指定與目前補片關聯之補片中的EOM編碼點的數目
                        AssociatedPatchIndex uint8 指定與目前補片關聯之第i補片的索引
            }
            else if (patch_type == RAW)
                        RAWPoints uint8 指定目前補片中之RAW編碼點的數目
            }      
}      
表 28- 用於輿圖資料的版本 6 的緩衝區輿圖格式
欄位 類型 描述
patch_count uint16 提供補片的總數目。
for (i=0; i＜patch_count; i++) {
            2d_pos_x 浮點數 指定目前補片之補片邊界框的左上角的x座標。
            2d_pos_y 浮點數 指定目前補片之補片邊界框的左上角的y座標。
            2d_size_x 浮點數 指定目前補片的寬度。
            2d_size_y 浮點數 指定目前補片的高度。
            3d_offset_u 浮點數 指定待沿著切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_v 浮點數 指定待沿著雙切線軸施加至目前補片中之經重構補片點的偏移。
            3d_offset_d 浮點數 指定待沿著法向軸施加至目前補片中之經重構補片點的偏移。
            patch_projection_id uint8 指定至目前補片之投影平面的投影模式及法向之索引的識別符。
            patch_orientation uint8 指定目前補片之補片定向的索引。
            patchViewIndex uint8 指定用於視圖參數之緩衝格式中的索引
            patchEntityID uint8 指定用於目前補片的補片實體ID
            patchDepthOccThreshold uint8 為目前補片指定將低於其之佔用值定義成未佔用的臨限
            tilePatchAttributeOffset_1 uint8 指定施加至目前補片之屬性的第一分量樣本值的偏移
            tilePatchAttributeOffset_2 uint8 指定施加至目前補片之屬性的第二分量樣本值的偏移
            tilePatchAttributeOffset_3 uint8 指定施加至目前補片之屬性的第三分量樣本值的偏移
}      
共同輿圖資料V3C語意可在MPEG-I場景描述中使用。共同輿圖資料可適用於整個CVS。因此，如表29所示的額外性質係定義在MPEG_V3C延伸下。 表 29- 用於 MPEG_V3C 延伸之共同輿圖資料性質的定義
名稱 類型 預設 用法 描述
_MPEG_V3C_CAD 物件 N/A CM 此物件列出經描述用於ISO/IEC 23090-5中的共同輿圖資料的不同性質。
說明：對於屬性：M=強制，O=可選，OD=具有預設值的可選，CM=條件性地強制。
對CVS中之輿圖共同的共同輿圖資訊的一些係在ISO/IEC 23090-12中指定。對共同輿圖資料指定用於MIV延伸的語法。語法提供可在演現程序期間使用之視圖參數之列表的資訊（ISO/IEC 23090-12中的附錄H.1）。如表30中所示之名為「MIV_view_parameters」的性質係指定在_MPEG_V3C_CAD物件中。在任何未來迭代中，可有經定義用於MPEG_V3C_CAD性質的更多性質。 表 30– 定義在 MPEG_V3C 延伸中之 _MPEG_V3C_CAD 中的性質的定義
名稱 類型 預設 用法 描述
MIV_view_parameters 整數 N/A O 此分量提供對定時存取器的參考，該定時存取器含有儲存在可應用至V3C經解碼網格基元之訊框序列的共同輿圖資料中的視圖參數。
說明：對於屬性：M=強制，O=可選，OD=具有預設值的可選，CM=條件性地強制。
MPEG_V3C_CAD的語法呈現如下。 "meshes" : { "primitives" : [ { "attributes" : { "POSITION" : 11,  // ＜- reconstructed vertices positions "NORMAL" : 12,  // ＜- reconstructed vertex normals "COLOR_0": 13   // ＜- reconstructed vertex colors }, "mode" : 0, "extensions" : { "MPEG_V3C" : { "V3C_OCCUPANCY": { "index" : 1  // ＜- texture }, "V3C_GEOMETRY" : { "index": 2  // ＜- texture }, "V3C_ATTRIBUTE" : { "index": 3, // ＜- texture "type": 4 // ＜- v3c attribute type }, "V3C_ATLAS": { "blockSize": 16,                      // ＜- block size "BlockToPatchMap": 111,               // ＜- accessor "NumberOfPatches": 112,               // ＜- accessor "CommonPatchParameters": 113         // ＜- accessor }, "MPEG_V3C_CAD": { "MIV_view_parameters": 114, } } } } ] }
表31提供用於「MPEG_V3C_CAD」中之「MIV_view_parameters」性質之參數的資料表示。此等參數定義在ISO/IEC 23090-12中的9.7.5.1節中。 表 31- 用於視圖參數的緩衝格式
欄位 類型 描述
numViews uint16 視圖的數目
for (int p = 0; p ＜ view_count ; p++) {      
            viewIDToIndex uint8 與各視圖關聯之id的映射
            viewInPaintFlag 布林 指定視圖是否係修補視圖
            viewPosX uint8 以場景單位指定具有等於v之視圖索引之視圖的位置的x座標。
            viewPosy uint8 以場景單位指定具有等於v之視圖索引之視圖的位置的y座標。
            viewPosZ uint8 以場景單位指定具有等於v之視圖索引之視圖的位置的z座標。
            viewQuatX uint8 使用四元數表示指定具有等於v之視圖索引之視圖的旋轉的x分量
            viewQuatY uint8 使用四元數表示指定具有等於v之視圖索引之視圖的旋轉的y分量
            viewQuatZ uint8 使用四元數表示指定具有等於v之視圖索引之視圖的旋轉的z分量
            viewQuatW uint8 使用四元數表示指定具有等於v之視圖索引之視圖的旋轉的w分量
            viewType uint8 指定視圖的投影方法
            projectionPlaneWidth uint8 指定投影平面的水平解析度
            projectionPlaneHeight uint8 指定投影平面的垂直解析度
            if (viewType == 0) {    等距長方投影
                        erpPhiMin uint8 以度為單位指定erp投影的最小經度範圍
                        erpPhiMax uin8 以度為單位指定erp投影的最大經度範圍
                        erpThetaMin uint8 以度為單位指定erp投影的最小緯度範圍
                        erpThetaMax uint8 以度為單位指定erp投影的最大緯度範圍
            } else if (viewType == 1) {    透視投影
                        perspectiveFocalHor uint8 使用視圖索引以亮度樣本位置單位指定視圖之透視投影之焦點的水平分量
                        perspectiveFocalVer uint8 使用視圖索引以亮度樣本位置單位指定視圖之透視投影之焦點的垂直分量
                        perspectivePrincipalPointHor uint8 將視圖之透視投影之像主點的水平座標指定在亮度樣本位置中
                        perspectivePrinicipalPointVer uint8 將視圖之透視投影之像主點的垂直座標指定在亮度樣本位置中
            } else if (viewType -== 2) {    正交投影
                        orthoHeight uint8 以場景單位指定體積訊框之經擷取部分的垂直尺寸
                        orthoWidth uint8 以場景單位指定體積訊框之經擷取部分的水平尺寸
            }      
            quantizationLaw uint8 指定視圖之深度量化方法的類型
            if ( quantization_law == 0) {      
                        normDisLow uint8 指定最低經傳訊幾何值的經正規化差距
                        normDisHigh uint8 指定最高經傳訊幾何值的經正規化差距
            }      
            occthreshold uint8 指定在佔用值擷取程序中使用的預設佔用臨限
            root 布林 指定視圖在編碼器級的修剪圖中是否具有親代
             if (! root) {      
                        numParents uint8 指定視圖在編碼器級的修剪圖中的親代的數目
                        for ( int i = 0; i ＜ numParents; i++) {      
                                    viewParentIdx uint8 指定第i親代視圖在編碼器級的修剪圖中的索引。
                        }      
            }      
}      
對V3C包裝視訊分量的支援可包括在MPEG-I場景描述中。因為與經包裝視訊布局有關的資訊在V3C語法中可用，MAF 210可在解碼經包裝視訊串流之後解包裝經包裝視訊串流。在解包裝經解碼經包裝視訊之後（ISO/IEC 23090-5中的附錄B.4），MAF 210可將不同的經解碼及經解包裝V3C分量指示給其等在「MPEG_V3C」延伸中的有關性質，例如，V3C_GEOMETRY、V3C_ATTRIBUTE、及V3C_OCCUPANCY。使用此方法以處理V3C中的經包裝視訊，因為各V3C分量皆個別地定義，不需要對MPEG_V3C延伸引入新語法。
其等語意描述在表32中的佔用及幾何分量通過索引性質與紋理陣列中的各別紋理物件關聯。 表 32- 用於 V3C_OCCUPANCY 及 V3C_GEOMETRY 的性質
名稱 類型 預設 用法 描述
index 數目 - M 紋理陣列中之對應於V3C分量的索引
除了關聯紋理物件的索引外，屬性之類型的識別用於屬性分量。因此，與屬性分量關聯的性質係如表33所述。 表 33- 用於 V3C_ATTRIBUTE 的性質
名稱 類型 預設 用法 描述
index 數目 - M 紋理陣列中之對應於V3C屬性分量的索引
type 數目 - M 用於V3C屬性類型的關鍵識別符
由類型性質之值表示的關鍵識別符有關於如表33中所示的V3C屬性類型。表34中的類型對應於在ISO/IEC 23090-5中之子條款8.4.4.5中之表14中的經定義屬性類型。 表 34–V3C 屬性類型
屬性值 屬性類型
0 紋理
1 材料ID
2 透明度
3 反射率
4 法線
5...14 保留
15 未指定
在本文中介紹頂層延伸。該延伸稱為「 MPEG_V3C」。在一實施例中，可提供頂層glTF延伸「 MPEG_OBJECTS」。「 MPEG_OBJECTS」儲存物件的列表。描述物件的各物件項可延伸。下文係介紹 MPEG_OBJECTS延伸之偽gITF檔案的實例。 extensionsRequired":  [ "MPEG_OBJECTS", "MPEG_V3C" ], "extensionsUsed":  [ "MPEG_OBJECTS", "MPEG_V3C" ], "nodes": [ { "matrix": {}, "extensions": { "MPEG_OBJECTS": { "object" : 1 } } } ] "extensions": { "MPEG_OBJECTS": { "objects": [ { "extensions": { "MPEG_V3C": { // describe the V3C components } } }, { "extensions": { "MPEG_V3C": { // describe the V3C components } } }, { "extensions": { "MPEG_GPCC": { // describe the GPCC components } } } ] } }
物件陣列中的各項可延伸以包括用於媒體的分量描述。例如，如本文所示，MPEG_V3C延伸可描述媒體項的V3C分量。使用此方法，使用MPEG編碼解碼器技術編碼的多個物件可稱為物件項。為將MPEG_OBJECTS項附接至節點，引入節點層級延伸以參考定義在頂層MPEG_OBJECTS.objects陣列中的物件。使用此一機制支援其他種類的MPEG編碼內容（諸如G-PCC）係有彈性的。如段落中所描述的，使用MPEG技術編碼的任何內容可稱為MPEG_OBJECTS.objects陣列中的物件項。內容可使用任何MPEG技術（諸如V-PCC、G-PCC、或其他）編碼。
用於頂層MPEG_OBJECT延伸的物件的語意描述在表35中。 表 35- 頂層 MPEG_OBJECTS 延伸中的物件陣列
名稱 類型 預設 用法 描述
objects 陣列 [] - 使用MPEG編碼解碼器技術編碼之物件的陣列
物件層級gITF延伸（例如，「MPEG_V3C」）可含有對應於V3C物件的不同分量的資料。用於V3C物件之不同分量的語法於本文中呈現。用於節點層級MPEG_OBJECT延伸的物件的語意描述在表36中。 表 36- 節點層級 MPEG_OBJECTS 延伸中的物件
名稱 類型 預設 用法 描述
object 數目    - 對MPEG_OBJECTS延伸中之物件陣列中的物件項的索引。
在glTF檔案中，可將「MPEG_OBJECTS」及「MPEG_V3C」延伸加至「extensionRequired」及「extensionUsed」頂層glTF性質。
在節點層級用於MPEG_V3C延伸的語意描述於下表37中。 表 37- 用於 MPEG-V3C 延伸的語意
名稱 類型 預設 用法 描述
object 數目 - M 描述在場景層級MPEG_V3C延伸中之物件陣列中的V3C物件的索引
除了MPEG_V3C延伸外，某些內容特定資訊可在執行如本文描述的符合點驗證時輔助。媒體通過定義在ISO/IEC 23090-14中的MPEG_media延伸存取。內容特定資訊可通過在MPEG_media延伸中傳訊之V3C媒體物件的備用陣列中之備用的extraParams性質中的JSON物件提供。用於執行V3C內容之符合點驗證的參數的語法於下文描述： "extraParams": { "profile": "#PROFILE_NAME", "toolset": "#TOOLSET_NAME", "tier": "#TIER_NAME", "codecGroup": "#CODEC_GROUP", "reconstruction": "#RECONSTRUCTURE_PROFILE " }
用於執行符合點驗證所需之不同參數的語意描述在表38中。 表 38- 用於 V3C 內容的額外參數
名稱 類型 預設 用法 描述
profile 字串 - M 描述可由符合設定檔的所有解碼器支援的演算特徵及限制的子集
tier 字串 - M 描述可由經編碼V3C內容的語法元素所採用之值上的一組限制
level 字串 - M 層之層級通常對應於特定解碼器處理負載及記憶體能力
codecGroup 字串 - M 指示CVS所遵守之編碼解碼器群組設定檔分量，如ISO/IEC 23090-5之附錄A中所指定的。
toolset 字串 - M 指示CVS所遵守之工具集組合設定檔分量，如ISO/IEC 23090-5之附錄A中所指定的。
reconstruction 字串 - O 描述V3C內容的符合點B，亦即，指定所支援或推薦以就3D重構而言達成符合的預重構、重構、後重構、及適應性工具。
extraParams性質中的資訊可用於解碼位元串流以及3D重構。表38中之參數的各者的可能值係提供在ISO/IEC 23090-5的附錄A中。
現代圖形API（諸如Vulkan API）提供與各紋理物件關聯的取樣器結構，使得對於YCbCr色彩空間的取樣操作可在現代GPU上受原生支援。描述取樣器層級延伸以原生地在平行處理裝置（諸如GPU）中取樣視訊紋理。視訊紋理的格式，諸如「VK_FORMAT_G8_B8_R8_3PLANE_444_UNORM」或其他可提供在MPEG_video_texture.format性質中。語法提供如下： "samplers": [ { "extensions" : { "MPEG_YUV": { "modelConvernsion": "#709", "range": "#ITU range", "chromaFilter": "#CHROMAFILTER", “xchromaOffset": "#CHROMAOFFSET", "yChromaOffset": "CHROMAOFFSET", } } } ],
紋理陣列中的紋理物件可使用具有「MPEG_YUV」取樣器延伸的取樣器，以將在紋理中的取樣資料係採色度格式（諸如YCbCr）時如何取樣視訊紋理的資訊提供給PE 250。在glTF檔案中，可將「MPEG_YUV」延伸加至「extensionRequired」及「extensionUsed」頂層glTF性質。
表39提供定義在MPEG_YUV取樣器延伸中之性質的描述。 表 39-MPEG_YUV 取樣器語意
名稱 類型 預設 用法 描述
modelConversion 字串 - M 描述色彩空間的色彩模型分量
range 字串 - M 描述色彩分量是否使用全部數值值範圍編碼或值是否為頂部空間及底部空間保留。
chromaFilter 字串 - O 描述用於紋理查找的濾波器
components 字串 - O 描述分量的順序
xchromaOffset 字串 - O 描述降取樣色度分量樣本相對於亮度樣本的X位置
yChromaOffset 字串 - O 描述降取樣色度分量樣本相對於亮度樣本的Y位置
表40提供MPEG_texture_video延伸之頂層物件的定義。 表 40–MPEG_texture_video 延伸之頂層物件的定義
名稱 類型 預設 用法 描述
accessors 陣列 N/A M 藉由指定在存取器陣列中之存取器(「s/s」)索引提供描述將於該處使經解碼定時紋理變得有效之緩衝區的（多個）存取器的參考。 存取器可具有MPEG_accessor_timed延伸。 存取器的類型、componentType、及計數相依於寬度、高度、及格式。 在平面資料對準的情形中，在存取器的性質中必須有至多4個存取器（例如，RGBA）。各存取器將參考用於平面的資料。
width 整數 N/A M 提供紋理的最大寬度。
height 整數 N/A M 提供紋理的最大高度。
format 字串 RGB O 指示用於此視訊紋理之像素資料的格式。所允許的值係：RED、GREEN、BLUE、RG、RGB、RGBA、BGR、BGRA、DEPTH_COMPONENT。此等值的語意定義在OpenGL規格[OpenGL 4.6]的表8.3中。 應注意分量的數目可匹配由所參考的存取器指示的類型。像素資料的正規化可藉由存取器的經正規化屬性指示。
subSampling 字串 444 O 描述紋理之來源的子取樣格式。子取樣格式的允許值係444、420、422、440、及411。
alignment 字串 INTERLEAVED O 指定來源的資料對準。資料對準性質的三個允許值係INTERLEAVED、PLANAR、及SEMI-PLANAR。
圖9繪示用於本文描述之V3C內容之媒體工作流程的方法900。下文係MAF可用以建構用於解碼及處理V3C媒體內容之媒體管線以及PE 250使用緩衝資料以用於重構之程序的描述。描述於本節中的程序提供有關於用於如圖9所呈現之媒體管線（管線#2A 310.2a）之工作流程的資訊。
（多個）PE 250載入場景圖（例如，從glTF檔案）。glTF含有呈現單一或多個媒體內容（例如，體積視覺媒體內容）的節點。
媒體內容（例如，體積視覺媒體）係經編碼的。媒體係使用V3C/V-PCC編碼器編碼。
經編碼媒體內容通過MPEG_media延伸中的媒體項參考。extraParams性質提供與設定檔、層、及編碼解碼器群組有關的額外資訊。
MAF 210起始用於V3C媒體物件的媒體管線。MAF 210執行三個操作：擷取910、解碼920、及處理930。V3C/V-PCC位元串流可經多工。MAF 210執行解多工操作以擷取封裝在位元串流中的不同V3C分量。V3C分量的解碼係使用一般視訊解碼器（諸如HEVC、VVC等）來執行。輿圖軌係使用輿圖解碼器解碼。經解碼V3C分量的處理將經解碼訊框轉換成標稱格式。標稱格式一般係4:4:4。可執行額外程序，諸如圖擷取、色度子取樣等。
將經處理V3C分量提供為視訊紋理，其中：視訊紋理係通過glTF.textures參考，且glTF.textures陣列具有MPEG_texture_video延伸；視訊紋理的色彩格式可係YUV/YCbCR。紋理物件係指具有「MPEG_YUV」延伸的取樣器，其以標稱格式提供用於經解碼視訊紋理的取樣資訊；且YUV至RGB轉換可使用取樣器資訊在GPU中原生地發生。
如本文描述的，經處理輿圖資料通過二進位緩衝區940提供。二進位緩衝區940係通過存取器的機構存取。存取器可具有MPEG_accessor_timed延伸以允許定時資料。
PE 250將二進位緩衝區以及視訊紋理用於3D重構950。PE 250亦可使用有關於在extraParams性質中提供之重構設定檔的資訊。
MAF 210基於場景之觀看者的視圖而向伺服器請求媒體。
雖然於上文描述採特定組合的特徵及元件，所屬技術領域中具有通常知識者可理解各特徵或元件可單獨使用或與其他特徵及元件組合使用。額外地，本文描述的方法可以併入電腦可讀媒體中以用於由電腦或處理器執行的電腦程式、軟體、或韌體實施。電腦可讀媒體的實例包括電子信號（透過有線或無線連接傳輸）及電腦可讀儲存媒體。電腦可讀儲存媒體的實例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體（諸如內接硬碟及可移除式磁碟）、磁光媒體、及光學媒體（諸如，CD-RAM光碟、及數位多功能光碟(digital versatile disk, DVD)）。與軟體相關聯的處理器可用以實施用於在WTRU、UE、終端機、基地台、RNC、或任何主機電腦中使用的射頻收發器。
100:通訊系統 102:WTRU 102a:無線傳輸/接收單元(WTRU) 102b:無線傳輸/接收單元(WTRU) 102c:無線傳輸/接收單元(WTRU) 102d:無線傳輸/接收單元(WTRU) 104:無線電存取網路(RAN) 106:核心網路(CN) 108:公用交換電話網路(PSTN) 110:網際網路 112:網路 114a:基地台 114b:基地台 116:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移除式記憶體 132:可移除式記憶體 134:電源 136:全球定位系統(GPS)晶片組 138:週邊設備 160a:e節點B 160b:e節點B 160c:e節點B 162:行動性管理閘道(MME) 162a:e節點B 162b:e節點B 162c:e節點B 164:服務閘道(SGW) 166:封包資料網路閘道(PGW) 180a:gNB 180b:gNB 180c:gNB 182a:存取及行動性管理功能(AMF) 182b:存取及行動性管理功能(AMF) 183a:對話管理功能(SMF) 183b:對話管理功能(SMF) 184a:使用者平面功能(UPF) 184b:使用者平面功能(UPF) 185a:資料網路(DN) 185b:資料網路(DN) 200:MPEG場景描述架構；參考架構；MPEG-I場景描述架構 210:媒體存取功能(MAF) 220:緩衝區 230:緩衝區管理 240:雲端 250:呈現引擎(PE) 260:本端儲存器 270:場景描述文件 300:管線設計 310.1:管線#1 310.2a:管線#2A；管線 320:專用著色器程式；3D重構 330:單軌 332:解多工器 334:HEVC解碼器 336:後設資料 338:處理 340:3D重構 350:緩衝 362:幾何軌 364:紋理軌 366:佔用軌 368:輿圖軌 370:靜態後設資料 372:HEVC解碼器 374:後設資料 378:緩衝區 380:單軌 382:緩衝 384:解多工/解碼/處理 400:V3C設定檔 410:符合點A；第一符合點 420:符合點B；第二符合點 430:層 440:層級 450:編碼解碼器群組 460:工具集 470:重構 480:設定檔 500:輿圖資料表示 510:輿圖層級補片資訊資料 520:BlockToPatch資訊 530:補片的總數目 540:共同補片參數 550:AtlasPlrdLevel 560:AtlasPlrdPresentFlag 570:AtlasPlrdMode 620:存取器 630:存取器 640:存取器 650:存取器 660:存取器 670:存取器 720:補片類型PROJECTED及PLR資訊 730:補片類型PROJECTED及PLR資訊 740:補片類型PROJECTED及PLR資訊 750:補片類型PROJECTED及PLR資訊 760:補片類型PROJECTED及PLR資訊 770:補片類型PROJECTED及PLR資訊 800:表示 810:MPEG存取器計時器；存取器 810.1:存取器1 810.2:存取器2 810.3:存取器3 810.4:存取器4 820:MPEG存取器計時器 820.1:MPEG存取器計時器 820.2:MPEG存取器計時器 820.3:MPEG存取器計時器 820.4:MPEG存取器計時器 830:緩衝區 830.1:緩衝區1 830.2:緩衝區2 830.3:緩衝區3 830.4:緩衝區4 835:緩衝區 840:緩衝區 845:輿圖框資料 850:定時存取器標頭資訊區塊；定時存取器標頭資訊 850.1:定時存取器標頭資訊區塊；定時存取器標頭資訊 850.2:定時存取器標頭資訊區塊；定時存取器標頭資訊 850.3:定時存取器標頭資訊區塊；定時存取器標頭資訊 850.4:定時存取器標頭資訊區塊；定時存取器標頭資訊 860:描述符 860.1:描述符 860.2:描述符 860.3:描述符 860.4:描述符 870:區塊至補片映射資訊 875:NOP 880:共同補片參數 890:應用特定補片參數 900:方法 910:擷取 920:解碼 930:處理 940:二進位緩衝區 950:3D重構 N2:介面 N3:介面 N4:介面 N6:介面 N11:介面 S1:介面 X2:介面 Xn:介面
更詳細的瞭解可從結合附圖以舉實例的方式給出的以下描述獲得，其中圖式中的相似元件符號指示相似元件，且其中： ［圖1A］係繪示一或多個經揭示實施例可實施於其中之實例通訊系統的系統圖； ［圖1B］係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線傳輸/接收單元(wireless transmit/receive unit, WTRU)的系統圖； ［圖1C］係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線電存取網路(radio access network, RAN)及實例核心網路(core network, CN)的系統圖； ［圖1D］係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的進一步實例RAN及進一步實例CN的系統圖； ［圖2］繪示例示性MPEG場景描述架構； ［圖3］繪示處理V-PCC內容的實例管線設計； ［圖4］繪示實例V3C設定檔； ［圖5］繪示在補片層級賦能之用於補片類型PROJECTED及PLR的實例輿圖資料表示； ［圖6］繪示存取輿圖二進位資料中的不同子區塊的多個存取器； ［圖7］繪示在區塊層級可用之具有含有用於補片類型PROJECTED及PLR資訊之資料的輿圖資料表示； ［圖8］繪示子區塊的表示及如何讀取輿圖資料；及 ［圖9］繪示用於V3C內容之媒體工作流程的方法。
250:呈現引擎(PE)
300:管線設計
310.1:管線#1
310.2a:管線#2A；管線
320:專用著色器程式；3D重構
330:單軌
332:解多工器
334:HEVC解碼器
336:後設資料
338:處理
340:3D重構
350:緩衝
362:幾何軌
364:紋理軌
366:佔用軌
368:輿圖軌
370:靜態後設資料
372:HEVC解碼器
374:後設資料
378:緩衝區
380:單軌
382:緩衝
384:解多工/解碼/處理

Claims (20)

  1. 一種將延伸用於一動態影像專家群場景描述中的視訊紋理格式的方法，該方法包含： 接收該MPEG-I場景的資訊，其中該資訊包括色度紋理資訊； 使用一延伸來處理該色度紋理，以將資訊提供至一呈現引擎(presentation engine, PE)以取樣視訊紋理；及 使用所接收之該MPEG-I場景資訊及經處理之該色度紋理來演現該場景。
  2. 如請求項1之方法，其中該色度紋理包含YCbCr。
  3. 如請求項1之方法，其中該延伸經組態以用於色度紋理。
  4. 如請求項3之方法，其中該延伸調適該色度紋理。
  5. 如請求項3之方法，其中該色度紋理係來自一現代圖形API。
  6. 如請求項1之方法，其中該場景係使用一著色器實施方案來處理。
  7. 如請求項1之方法，其中該場景係使用一GPU實施方案來處理。
  8. 如請求項1之方法，其中該等色度紋理係通過一glTF.textures陣列來參考。
  9. 如請求項8之方法，其中該glTF.textures陣列具有該MPEG_texture_video延伸。
  10. 如請求項9之方法，其中該紋理係指具有「MPEG_YUV」延伸之以標稱格式提供用於經解碼之該視訊紋理之取樣資訊的一取樣器。
  11. 如請求項1之方法，其進一步包含使用該取樣器資訊在一GPU中將YUV轉換成RGB。
  12. 如請求項11之方法，其中該轉換原生地發生。
  13. 如請求項1之方法，其進一步包含基於該場景之該等觀看者的該等視圖而經由該MAF向該伺服器請求該等媒體。
  14. 一種無線傳輸/接收單元(wireless transmit/receive unit, WTRU)，其經組態以使用延伸以支援且允許視訊紋理格式在一MPEG-I場景描述中的使用，該WTRU包含： 一收發器；及 一處理器，其操作地耦接至該收發器， 該收發器及該處理器操作以： 接收該MPEG-I場景的資訊，其中該資訊包括色度紋理資訊； 使用一延伸來處理該色度紋理，以將資訊提供至一呈現引擎(PE)以取樣視訊紋理；及 使用所接收之該MPEG-I場景資訊及經處理之該色度紋理來演現該場景。
  15. 如請求項14之WTRU，其中該延伸經組態以用於色度紋理。
  16. 如請求項14之WTRU，其中該場景係使用一著色器實施方案來處理。
  17. 如請求項14之WTRU，其中該場景係使用一GPU實施方案來處理。
  18. 如請求項14之WTRU，其中該等色度紋理係通過一glTF.textures陣列來參考。
  19. 如請求項18之WTRU，其中該glTF.textures陣列具有該MPEG_texture_video延伸。
  20. 如請求項19之WTRU，其中該紋理係指具有「MPEG_YUV」延伸之以標稱格式提供用於經解碼之該視訊紋理之取樣資訊的一取樣器。
TW112101723A 2022-01-14 2023-01-16 傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容 TW202335508A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US202263299874P 2022-01-14 2022-01-14
US63/299,874 2022-01-14
US202263326628P 2022-04-01 2022-04-01
US63/326,628 2022-04-01
US202263355936P 2022-06-27 2022-06-27
US63/355,936 2022-06-27
US202263417225P 2022-10-18 2022-10-18
US63/417,225 2022-10-18
US202263417967P 2022-10-20 2022-10-20
US63/417,967 2022-10-20

Publications (1)

Publication Number Publication Date
TW202335508A true TW202335508A (zh) 2023-09-01

Family

ID=85283704

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112101723A TW202335508A (zh) 2022-01-14 2023-01-16 傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容

Country Status (2)

Country Link
TW (1) TW202335508A (zh)
WO (1) WO2023137229A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785290B2 (en) * 2020-06-24 2023-10-10 Qualcomm Incorporated Media access function for scene descriptions

Also Published As

Publication number Publication date
WO2023137229A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
TWI805840B (zh) 點雲壓縮位元串流格式方法及裝置
US20230188751A1 (en) Partial access support in isobmff containers for video-based point cloud streams
JP2023536725A (ja) ジオメトリベースのポイントクラウドデータのためのタイルトラック
US20220239947A1 (en) Video-based point cloud streams
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
TW202335508A (zh) 傳訊沉浸式場景描述中之基於體積視覺視訊的編碼內容
US20220329923A1 (en) Video-based point cloud streams
TW202415078A (zh) Ｘｒ體驗中的定時照明
WO2023242269A1 (en) Timed lighting in xr experiences
CN116830588A (zh) 用于基于视觉体积视频（v3c）媒体和基于几何的点云（g-pcc）媒体的流式传输的mmt信令
CN118055299A (zh) 用于v3c媒体和g-pcc媒体的流式传输的mmt信令
WO2024006279A1 (en) Signaling parameter sets for geometry-based point cloud streams