TW202205857A - 用於基於視訊的點雲流的ｉｓｏｂｍｆｆ容器中的部分存取支援 - Google Patents

用於基於視訊的點雲流的ｉｓｏｂｍｆｆ容器中的部分存取支援 Download PDF

Info

Publication number
TW202205857A
TW202205857A TW110113356A TW110113356A TW202205857A TW 202205857 A TW202205857 A TW 202205857A TW 110113356 A TW110113356 A TW 110113356A TW 110113356 A TW110113356 A TW 110113356A TW 202205857 A TW202205857 A TW 202205857A
Authority
TW
Taiwan
Prior art keywords
track
pcc
tiles
spatial region
flag
Prior art date
Application number
TW110113356A
Other languages
English (en)
Inventor
亞曼得 哈姆扎
Original Assignee
美商內數位專利控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商內數位專利控股公司 filed Critical 美商內數位專利控股公司
Publication of TW202205857A publication Critical patent/TW202205857A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文描述用於在用於基於視訊的點雲流的ISOBMFF容器中的部分存取支援之系統、裝置、及方法。一視訊編碼裝置可將一3D空間分割成一第一空間區域及一第二空間區域。該視訊編碼裝置可將該第一空間區域映射至一第一組V-PCC圖塊及將該第二空間區域映射至一第二組V-PCC圖塊。該視訊編碼裝置可判定一第一軌，以攜載與經映射至該第一組V-PCC圖塊的該第一空間區域相關聯的第一映射資訊。該視訊編碼裝置可判定一第二軌，以攜載與經映射至該第二組V-PCC圖塊的該第二空間區域相關聯的第二映射資訊。該視訊編碼裝置可在一定時後設資料(timed-metadata) V-PCC位元流中發送該第一軌及該第二軌。

Description

用於基於視訊的點雲流的ISOBMFF容器中的部分存取支援
點雲可包含使用指示各點之位置及屬性的座標在3D空間中表示的一組點。基於點雲的重建物件及場景可能需要處理數百萬個點。有效率的壓縮對於儲存及傳輸點雲資料可係必要的。
基於視訊的點雲壓縮(video-based point cloud compression, V-PCC)位元流可包含一序列的V-PCC單元。各V-PCC單元可包括V-PCC標頭及V-PCC酬載。V-PCC標頭可描述V-PCC單元類型，而V-PCC酬載可提供與V-PCC單元類型相關聯的資料。可在V-PCC位元流中傳訊V-PCC單元的序列至視訊解碼器。目前的V-PCC傳訊對於V-PCC序列的某些類型的存取（例如，部分存取）可係不足夠的。
本文描述用於在用於基於視訊的點雲流的國際標準組織基本媒體檔案格式(International Organization for Standardization Base Media File Format, ISOBMFF)容器中的部分存取支援之系統、裝置、及方法。檔案格式結構可實現對於經編解碼點雲序列的不同部分（例如，封裝在ISOBMFF容器中）的彈性、部分存取。
一視訊編碼裝置可將一3D空間分割成一第一空間區域及一第二空間區域。該視訊編碼裝置可將該第一空間區域映射至一第一組基於視訊的點雲壓縮(V-PCC)圖塊及將該第二空間區域映射至一第二組V-PCC圖塊。第一組V-PCC圖塊及第二組V-PCC圖塊之各者可與一圖譜框(atlas frame)相關聯。該第一組V-PCC圖塊及該第二組V-PCC圖塊之各者可獨立地解碼。將該第一空間區域映射至該第一組V-PCC圖塊及將該第二空間區域映射至該第二組V-PCC圖塊之各者可係基於圖塊識別及/或軌識別。該第一組V-PCC圖塊可與一第一組補丁(patch)相關聯，且該第二組V-PCC圖塊可與一第二組補丁相關聯。該視訊編碼裝置可判定一第一軌，以攜載與經映射至該第一組V-PCC圖塊的該第一空間區域相關聯的第一映射資訊。該視訊編碼裝置可判定一第二軌，以攜載與經映射至該第二組V-PCC圖塊的該第二空間區域相關聯的第二映射資訊。該視訊編碼裝置可在一定時後設資料(timed-metadata) V-PCC位元流中發送該第一軌及該第二軌。該第一軌及該第二軌可在一媒體容器檔案中經發送。
該視訊編碼裝置可判定一更新維度旗標。更新維度旗標可指示該第一空間區域之一或多個維度之一更新或該第二空間區域之一或多個維度之一更新。該視訊編碼裝置可在該定時後設資料V-PCC位元流中發送該更新維度旗標。
該第一空間區域可與一第一物件相關聯。該第二空間區域可與一第二物件相關聯。該視訊編碼裝置可判定一或多個物件旗標。該視訊編碼裝置可在該定時後設資料V-PCC位元流中發送該（等）物件旗標。該視訊編碼裝置可判定一物件相依性旗標，其指示與該第一空間區域相關聯之該第一物件係相依於與該第二空間區域相關聯之該第二物件，且可在該定時後設資料V-PCC位元流中發送該物件相依性旗標。該視訊編碼裝置可判定一更新物件旗標，其指示與該第一空間區域相關聯之該第一物件之一更新或與該第二空間區域相關聯之該第二物件之一更新，且可在該定時後設資料V-PCC位元流中發送該更新物件旗標。
現在將參照各種圖式描述說明性實施例的詳細說明。雖然本說明提供可能實施方案之詳細實例，但應注意，細節係意欲為例示性的，且不以任何方式限制本申請案之範疇。
圖1A係繪示一或多個經揭示實施例可實施於其中之實例通訊系統100的圖。通訊系統100可係提供內容（諸如語音、資料、視訊、傳訊、廣播等）至多個無線使用者的多存取系統。通訊系統100可使多個無線使用者能夠通過系統資源（包括無線頻寬）的共用而存取此類內容。例如，通訊系統100可採用一或多個通道存取方法，諸如分碼多重存取(code division multiple access, CDMA)、分時多重存取(time division multiple access, TDMA)、分頻多重存取(frequency division multiple access, FDMA)、正交FDMA (orthogonal FDMA, OFDMA)、單載波FDMA (single-carrier FDMA, SC-FDMA)、零尾(zero-tail, ZT)唯一字(unique-word, UW)離散傅立葉變換(discreet Fourier transform, DFT)擴展OFDM (ZT UW DTS-s OFDM)、唯一字OFDM (unique word OFDM, UW-OFDM)、資源區塊濾波OFDM、濾波器組多載波(filter bank multicarrier, FBMC)、及類似者。
如圖1A所示，通訊系統100可包括無線傳輸/接收單元(WTRU) 102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(public switched telephone network, PSTN) 108、網際網路110、及其他網路112，雖然將理解所揭示的實施例設想任何數目的WTRU、基地台、網路、及/或網路元件。WTRU 102a、102b、102c、102d之各者可係經組態以在無線環境中操作及/或通訊的任何類型的裝置。舉實例而言，WTRU 102a、102b、102c、102d（其等之任一者可稱為「站台」及/或「STA」）可經組態以傳輸及/或接收無線信號，並可包括使用者設備(user equipment, UE)、行動台、固定或行動訂戶單元、基於訂閱的單元、呼叫器、蜂巢式電話、個人數位助理(personal digital assistant, PDA)、智慧型手機、膝上型電腦、輕省筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(Internet of Things, IoT)裝置、手錶或其他可穿戴式、頭戴式顯示器(head-mounted display, HMD)、車輛、無人機、醫療裝置及應用（例如，遠端手術）、工業裝置及應用（例如，在工業及/或自動化處理鏈背景中操作的機器人及/或其他無線裝置）、消費性電子裝置、在商業及/或工業無線網路上操作的裝置、及類似者。WTRU 102a、102b、102c、及102d的任一者可互換地稱為UE。
通訊系統100亦可包括基地台114a及/或基地台114b。基地台114a、114b之各者可係經組態以與WTRU 102a、102b、102c、102d中之至少一者無線地介接之任何類型的裝置，以促進存取一或多個通訊網路（諸如CN 106/115、網際網路110、及/或其他網路112）。舉實例而言，基地台114a、114b可係基地收發站(base transceiver station, BTS)、節點B、eNode B、家庭節點B、家庭eNode B、gNB、NR節點B、站台控制器、存取點(access point, AP)、無線路由器、及類似者。雖然將基地台114a、114b各描繪成單一元件，但將理解基地台114a、114b可包括任何數目的互連基地台及/或網路元件。
基地台114a可係RAN 104/113的部分，該RAN亦可包括其他基地台及/或網路元件（未圖示），諸如基地台控制器(base station controller, BSC)、無線電網路控制器(radio network controller, RNC)、中繼節點等。基地台114a及/或基地台114b可經組態以在一或多個載波頻率上傳輸及/或接收無線信號，其可稱為小區(cell)（未圖示）。此等頻率可在授權頻譜、非授權頻譜、或授權頻譜及非授權頻譜的組合中。小區可對可係相對固定或可隨時間變化的特定地理區提供無線服務的涵蓋範圍。該小區可進一步劃分成小區扇區(cell sector)。例如，與基地台114a關聯的小區可劃分成三個扇區。因此，在一個實施例中，基地台114a可包括三個收發器，亦即，一個收發器用於小區的各扇區。在一實施例中，基地台114a可採用多輸入多輸出(multiple-input multiple output, MIMO)技術，且可將多個收發器用於小區的各扇區。例如，波束成形可用以在所欲空間方向上傳輸及/或接收信號。
基地台114a、114b可透過空中介面116與WTRU 102a、102b、102c、102d的一或多者通訊，該空中介面可係任何合適的無線通訊鏈路（例如，射頻(radio frequency, RF)、微波、厘米波、微米波、紅外線(infrared, IR)、紫外線(ultraviolet, UV)、可見光等）。空中介面116可使用任何合適的無線電存取技術(radio access technology, RAT)建立。
更具體地說，如上文提到的，通訊系統100可係多存取系統且可採用一或多個通道存取方案，諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA、及類似者。例如，RAN 104/113中的基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用寬頻CDMA (wideband CDMA, WCDMA)建立空中介面115/116/117的通用移動電信系統(Universal Mobile Telecommunications System, UMTS)地面無線電存取(UTRA)。WCDMA可包括通訊協定，諸如高速封包存取(High-Speed Packet Access, HSPA)及/或演進HSPA (HSPA+)。HSPA可包括高速下行(DL)封包存取(High-Speed Downlink Packet Access，HSDPA)及/或高速UL封包存取(High-Speed Uplink Packet Access，HSUPA)。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用長期演進技術(Long Term Evolution, LTE)及/或進階LTE (LTE-Advanced, LTE-A)及/或進階LTE加強版(LTE-Advanced Pro, LTE-A Pro)建立空中介面116的演進UMTS地面無線電存取(Evolved UMTS Terrestrial Radio Access, E-UTRA)。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如可使用新無線電(New Radio, NR)建立空中介面116的NR無線電存取。
在一實施例中，基地台114a及WTRU 102a、102b、102c可實施多個無線電存取技術。例如，基地台114a及WTRU 102a、102b、102c可一起實施LTE無線電存取及NR無線電存取，例如使用雙連接性(dual connectivity, DC)原理。因此，由WTRU 102a、102b、102c利用的空中介面可藉由多種類型的無線電存取技術及/或發送至/自多種類型之基地台（例如，eNB及gNB）的傳輸特徵化。
在其他實施例中，基地台114a及WTRU 102a、102b、102c可實施無線電技術，諸如IEEE 802.11（亦即，無線保真度(Wireless Fidelity, WiFi)、IEEE 802.16（亦即，全球互通微波接取(WiMAX)）、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫時性標準2000 (IS-2000)、暫時性標準95 (IS-95)、暫時性標準856 (IS-856)、全球行動通訊系統(GSM)、GSM演進增強型資料速率(EDGE)、GSM EDGE (GERAN)、及類似者。
圖1A中的基地台114b可係無線路由器、家庭節點B、家庭eNode-B、或存取點，例如，且可利用任何合適的RAT以用於促進局部化區（諸如營業場所、家庭、車輛、校園、工業設施、空中走廊（例如，用於由無人機使用）、道路、及類似者）中的無線連接性。在一個實施例中，基地台114b及WTRU 102c、102d可實施無線電技術，諸如IEEE 802.11以建立無線區域網路(wireless local area network, WLAN)。在一實施例中，基地台114b及WTRU 102c、102d可實施無線電技術，諸如IEEE 802.15以建立無線個人區域網路(wireless personal area network, WPAN)。在又另一實施例中，基地台114b及WTRU 102c、102d可利用基於蜂巢式的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等）以建立微微型小區或毫微微型小區。如圖1A所示，基地台114b可具有至網際網路110的直接連接。因此，基地台114b可能不需要經由CN 106/115存取網際網路110。
RAN 104/113可與CN 106/115通訊，其可係經組態以提供語音、資料、應用、及/或網際網路協定上的語音(voice over internet protocol, VoIP)服務至WTRU 102a、102b、102c、102d的一或多者的任何類型的網路。資料可具有不同的服務品質(quality of service, QoS)需求，諸如不同的通量需求、延遲需求、容錯需求、可靠性需求、資料通量需求、移動性需求、及類似者。CN 106/115可提供呼叫控制、帳單服務、基於行動定位的服務、預付電話、網際網路連接、視訊分布等，及/或執行高階安全功能，諸如使用者認證。雖然未顯示於圖1A中，但將理解RAN 104/113及/或CN 106/115可與採用與RAN 104/113相同之RAT或採用不同RAT的其他RAN直接或間接通訊。例如，除了連接至RAN 104/113（其可利用NR無線電技術）外，CN 106/115亦可與採用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA、或WiFi無線電技術的另一RAN（未圖示）通訊。
CN 106/115亦可作用為用於WTRU 102a、102b、102c、102d的閘道，以存取PSTN 108、網際網路110、及/或其他網路112。PSTN 108可包括提供簡易老式電話服務(plain old telephone service, POTS)的電路交換電話網路。網際網路110可包括使用共同通訊協定的互連電腦網路及裝置的全球系統，諸如TCP/IP網際網路協定套組中的傳輸控制協定(transmission control protocol, TCP)、使用者資料包協定(user datagram protocol, UDP)、及/或網際網路協定(internet protocol, IP)。網路112可包括由其他服務供應商所擁有及/或操作的有線及/或無線通訊網路。例如，網路112可包括經連接至一或多個RAN的另一CN，該一或多個RAN可採用相同於RAN 104/113的RAT或不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力（例如，WTRU 102a、102b、102c、102d可包括用於透過不同的無線鏈路與不同的無線網路通訊的多個收發器）。例如，顯示於圖1A中的WTRU 102c可經組態以與可採用基於蜂巢式的無線電技術的基地台114a通訊，且與可採用IEEE 802無線電技術的基地台114b通訊。
圖1B係繪示實例WTRU 102的系統圖。如圖1B所示，WTRU 102可尤其包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移除式記憶體130、可移除式記憶體132、電源134、全球定位系統(global positioning system, GPS)晶片組136、及/或其他週邊設備138等。將理解WTRU 102可包括上述元件的任何次組合，同時仍與一實施例保持一致。
處理器118可係一般用途處理器、特殊用途處理器、習知處理器、數位信號處理器(digital signal processor, DSP)、複數個微處理器、與DSP核心關聯的一或多個微處理器，控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化閘陣列(Field Programmable Gate Array, FPGA)電路、任何其他類型的積體電路(integrated circuit, IC)、狀態機、及類似者。處理器118可執行信號編解碼、資料處理、電力控制、輸入/輸出處理、及/或使WTRU 102能在無線環境中操作的任何其他功能性。處理器118可耦接至收發器120，該收發器可耦接至傳輸/接收元件122。雖然圖1B將處理器118及收發器120描繪成分開的組件，但將理解處理器118及收發器120可在電子封裝或晶片中整合在一起。
傳輸/接收元件122可經組態以透過空中介面116傳輸信號至基地台（例如，基地台114a）或自該基地台接收信號。例如，在一個實施例中，傳輸/接收元件122可係經組態以傳輸及/或接收RF信號的天線。在一實施例中，例如，傳輸/接收元件122可係經組態以傳輸及/或接收IR、UV、或可見光信號的發射器/偵測器。在又另一實施例中，傳輸/接收元件122可經組態以傳輸及/或接收RF及光信號二者。應理解傳輸/接收元件122可經組態以傳輸及/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描繪成單一元件，但WTRU 102可包括任何數目的傳輸/接收元件122。更具體地說，WTRU 102可採用MIMO技術。因此，在一個實施例中，WTRU 102可包括二或更多個傳輸/接收元件122（例如，多個天線）以用於透過空中介面116傳輸及接收無線信號。
收發器120可經組態以調變待藉由傳輸/接收元件122傳輸的信號及解調變藉由傳輸/接收元件122接收的信號。如上文提到的，WTRU 102可具有多模式能力。因此，例如，收發器120可包括用於使WTRU 102能經由多個RAT（諸如，NR及IEEE 802.11）通訊的多個收發器。
WTRU 102的處理器118可耦接至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128（例如，液晶顯示器(liquid crystal display, LCD)顯示器單元或有機發光二極體(organic light-emitting diode, OLED)顯示器單元）並可接收來自其等的使用者輸入資料。處理器118亦可將使用者資料輸出至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128。額外地，處理器118可存取來自任何類型的合適記憶體（諸如非可移除式記憶體130及/或可移除式記憶體132）的資訊及將資料儲存在任何類型的合適記憶體中。非可移除式記憶體130可包括隨機存取記憶體(random-access memory, RAM)、唯讀記憶體(read-only memory, ROM)、硬碟、或任何其他類型的記憶體儲存裝置。可移除式記憶體132可包括用戶辨識模組(subscriber identity module, SIM)卡、記憶棒、安全數位(secure digital, SD)記憶卡、及類似者。在其他實施例中，處理器118可存取來自未實體位於WTRU 102（諸如在伺服器或家庭電腦（未圖示）上）上之記憶體的資訊及將資料儲存在該記憶體中。
處理器118可接收來自電源134的電力，並可經組態以分布及/或控制至WTRU 102中之其他組件的電力。電源134可係用於對WTRU 102供電的任何合適裝置。例如，電源134可包括一或多個乾電池電池組（例如，鎳-鎘(NiCd)、鎳-鋅(NiZn)、鎳氫(NiMH)、鋰離子（Li-離子）等）、太陽能電池、燃料電池、及類似者。
處理器118亦可耦接至GPS晶片組136，該GPS晶片組可經組態以提供關於WTRU 102之目前位置的位置資訊（例如，經度和緯度）。除了（或替代）來自GPS晶片組136的資訊外，WTRU 102可透過空中介面116接收來自基地台（例如，基地台114a、114b）的位置資訊，及/或基於從二或更多個附近基地台接收之信號的時序判定其位置。將理解WTRU 102可藉由任何合適的位置判定方法獲得位置資訊，同時仍與一實施例保持一致。
處理器118可進一步耦接至其他週邊設備138，該等週邊設備可包括提供額外特徵、功能性、及/或有線或無線連接性的一或多個軟體及/或硬體模組。例如，週邊設備138可包括加速度計、電子羅盤、衛星收發器、數位相機（用於相片及/或視訊）、通用串列匯流排(universal serial bus, USB)埠、振動裝置、電視機收發器、免持式頭戴裝置、藍牙®模組、調頻(frequency modulated, FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或擴增實境(virtual reality and/or augmented reality, VR/AR)裝置、活動追蹤器、及類似者。周邊設備138可包括一或多個感測器，該等感測器可係陀螺儀、加速度計、霍爾效應感測器、磁力計、定向感測器、近接感測器、溫度感測器、時間感測器；地理位置感測器；高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物特徵感測器、及/或濕度感測器的一或多者。
WTRU 102可包括一些或所有信號（例如，與用於UL（例如，用於傳輸）及下行鏈路（例如，用於接收）二者的特定子訊框關聯）針對其的傳輸及接收可係並行及/或同時的全雙工無線電。全雙工無線電可包括干擾管理單元，以經由硬體（例如，扼流器）或經由處理器（例如，分開的處理器（未圖示）或經由處理器118）的信號處理的其中一者降低及或實質消除自干擾。在一實施例中，WRTU 102可包括一些或所有信號（例如，與用於UL（例如，用於傳輸）或下行鏈路（例如，用於接收）其中一者的特定子訊框關聯）針對其的傳輸及接收的半雙工無線電。
圖1C係根據一實施例繪示RAN 104及CN 106的系統圖。如上文提到的，RAN 104可採用E-UTRA無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 104亦可與CN 106通訊。
RAN 104可包括eNode-B 160a、160b、160c，雖然應理解RAN 104可包括任何數目的eNode-B，同時仍與一實施例保持一致。eNode-B 160a、160b、160c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中，eNode-B 160a、160b、160c可實施MIMO技術。因此，eNode-B 160a，例如，可使用多個天線以傳輸無線信號至WTRU 102a，及/或接收來自該WTRU的無線信號。
eNode-B 160a、160b、160c之各者可與特定小區（未圖示）關聯，並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、及類似者。如圖1C所示，eNode-B 160a、160b、160c可透過X2介面彼此通訊。
顯示於圖1C中的CN 106可包括移動性管理實體(mobility management entity, MME) 162、服務閘道(serving gateway, SGW) 164、及封包資料網路(packet data network, PDN)閘道（或PGW）166。雖然將上述元件之各者描繪成CN 106的部分，但將理解此等元件的任何者可由CN操作者之外的實體擁有及/或操作。
MME 162可經由S1介面連接至RAN 104中的eNode-B 162a、162b、162c之各者，並可作用為控制節點。例如，MME 162可負責在WTRU 102a、102b、102c、及類似者的最初附接期間認證WTRU 102a、102b、102c的使用者、承載啟動/停用、選擇特定的服務閘道。MME 162可提供控制平面功能以用於在RAN 104與採用其他無線電技術（諸如GSM及/或WCDMA）的其他RAN（未圖示）之間切換。
SGW 164可經由S1介面連接至RAN 104中的eNode B 160a、160b、160c之各者。SGW 164大致可將使用者資料封包路由及轉發至WTRU 102a、102b、102c/路由及轉發來自該等WTRU的使用者資料封包。SGW 164可執行其他功能，諸如在eNode-B間交遞期間錨定使用者平面、在DL資料可用於WTRU 102a、102b、102c時觸發呼叫、管理及儲存WTRU 102a、102b、102c的背景、及類似者。
SGW 164可連接至PGW 166，該PDN閘道可將對封包交換網路（諸如網際網路110）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與IP啟用裝置之間的通訊。
CN 106可促進與其他網路的通訊。例如，CN 106可將對電路交換網路（諸如PSTN 108）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與傳統陸地線路通訊裝置之間的通訊。例如，CN 106可包括作用為CN 106與PSTN 108之間的介面的IP閘道（例如，IP多媒體子系統(IP multimedia subsystem, IMS)伺服器）或可與該IP閘道通訊。額外地，CN 106可將對其他網路112的存取提供給WTRU 102a、102b、102c，該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。
雖然在圖1A至圖1D中將WTRU描述為無線終端，但設想到在某些代表性實施例中，此一終端可與通訊網路一起使用（例如，暫時地或永久地）有線通訊介面。
在代表性實施例中，其他網路112可係WLAN。
在基礎設施基本服務集(Basic Service Set, BSS)模式中的WLAN可具有用於BSS的存取點(AP)及與AP關聯的一或多個站台(STA)。AP可具有對分配系統(Distribution System, DS)或將流量載入及/或載出BSS之另一類型的有線/無線網路的存取或介面。源自BSS外側之至STA的流量可通過AP到達並可遞送至該等STA。可將源自STA至BSS外側之目的地的流量發送至AP以遞送至各別目的地。在BSS內的STA之間的流量可通過AP發送，例如其中來源STA可將流量發送至AP且AP可將流量遞送至目的地STA。可將BSS內的STA之間的流量視為及/或稱為同級間流量。同級間流量可使用直接鏈路設定(direct link setup, DLS)在來源STA與目的地STA之間（例如，直接於其間）發送。在某些代表性實施例中，DLS可使用802.11e DLS或802.11z隧道式DLS (tunneled DLS, TDLS)。使用獨立BSS (Independent BSS, IBSS)模式的WLAN可不具有AP，且在IBSS內或使用該IBSS的STA（例如，所有的STA）可彼此直接通訊。IBSS通訊模式在本文中有時可稱為「特定(ad-hoc)」通訊模式。
當使用802.11ac基礎設施操作模式或類似操作模式時，AP可在固定通道（諸如主通道）上傳輸信標。主通道可係固定寬度的（例如，20 MHz寬的頻寬）或經由信令動態地設定寬度。主通道可係BSS的操作通道並可由STA使用以建立與AP的連接。在某些代表性實施例中，可將具有碰撞避免的載波感測多重存取(Carrier Sense Multiple Access with Collision Avoidance, CSMA/CA)實施例如在802.11系統中中。對於CSMA/CA，包括AP的STA（例如，每一個STA）可感測主通道。若主通道由特定STA感測/偵測及/或判定成忙碌，該特定STA可退出。一個STA（例如，僅一個站台）可在給定BSS中的任何給定時間傳輸。
高通量(High Throughput, HT) STA可使用40 MHz寬的通道以用於通訊，例如經由20 MHz主頻道與相鄰或不相鄰的20 MHz通道的組合以形成40 MHz寬的通道。
非常高通量(Very High Throughput, VHT) STA可支援20 MHz、40 MHz、80 MHz、及/或160 MHz寬的通道。40 MHz及/或80 MHz通道可藉由組合連續的20 MHz通道形成。160 MHz通道可藉由組合8個連續的20 MHz通道，或藉由組合二個非連續的80 MHz通道（其可稱為80+80組態）形成。對於80+80組態，在通道編碼後，可將資料傳過可將資料分成二個串流的區段剖析器。快速傅立葉逆變換(Inverse Fast Fourier Transform, IFFT)處理及時域處理可在各串流上分開完成。可將串流映射至二個80 MHz通道上，且資料可藉由傳輸STA傳輸。在接收STA的接收器處，用於80+80組態的上述操作可反轉，並可將經組合資料發送至媒體存取控制(Medium Access Control, MAC)。
1 GHz操作子模式係由802.11af及802.11ah所支援。通道操作頻寬及載波在802.11af及802.11ah中相對於使用在802.11n及802.11ac中的通道操作頻寬及載波係降低的。802.11af在電視空白頻段(TV White Space, TVWS)頻譜中支援5 MHz、10 MHz、及20 MHz頻寬，且802.11ah使用非TVWS頻譜支援1 MHz、2 MHz、4 MHz、8 MHz、及16 MHz頻寬。根據一代表性實施例，802.11ah可支援儀表型控制/機器型通訊（諸如在巨型涵蓋區中的MTC裝置）。MTC裝置可具有某些能力，例如包括支援（例如，僅支援）某些及/或有限頻寬的有限能力。MTC裝置可包括具有高於臨限之電池組壽命的電池組（例如，以維持非常長的電池組壽命）。
可支援多個通道及通道頻寬（諸如802.11n、802.11ac、802.11af、及802.11ah）的WLAN系統包括可指定成主通道的通道。主通道可具有等於由BSS中的所有STA支援的最大共同操作頻寬的頻寬。主通道的頻寬可由在BSS中操作的所有STA之中的支援最小頻寬操作模式的STA設定及/或限制。在802.11ah的實例中，即使AP（及BSS中的其他STA）支援2 MHz、4 MHz、8 MHz、16 MHz、及/或其他頻道頻寬操作模式，主通道對於支援（例如，僅支援）1 MHz模式的STA（例如，MTC類型裝置）可係1 MHz寬。載波感測及/或網路配置向量(Network Allocation Vector, NAV)設定可取決於主通道的狀態。例如，若主通道例如因為STA（其僅支援1 MHz操作模式）傳輸至AP而係忙碌的，即使大部分的頻帶維持閒置且可係可用的，可將整個可用頻帶視為係忙碌的。
在美國，可用頻帶（其可由802.11ah使用）係從902 MHz至928 MHz。在韓國，可用頻帶係從917.5 MHz至923.5 MHz。在日本，可用頻帶係從916.5 MHz至927.5 MHz。取決於國家碼，可用於802.11ah的總頻寬係6 MHz至26 MHz。
圖1D係根據一實施例之繪示RAN 113及CN 115的系統圖。如上文提到的，RAN 113可採用NR無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 113亦可與CN 115通訊。
RAN 113可包括gNB 180a、180b、180c，雖然應理解RAN 113可包括任何數目的gNB，同時仍與一實施例保持一致。gNB 180a、180b、180c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中，gNB 180a、180b、180c可實施MIMO技術。例如，gNB 180a、108b可利用波束成形以傳輸信號至gNB 180a、180b、180c及/或接收來自該等gNB的信號。因此，gNB 180a，例如，可使用多個天線以傳輸無線信號至WTRU 102a，及/或接收來自該WTRU的無線信號。在一實施例中，gNB 180a、180b、180c可實施載波聚合技術。例如，gNB 180a可將多個組成載波傳輸至WTRU 102a（未圖示）。此等組成載波的子集可在非授權頻譜上，而其餘的組成載波可在授權頻譜上。在一實施例中，gNB 180a、180b、180c可實施協調多點(Coordinated Multi-Point, CoMP)技術。例如，WTRU 102a可接收來自gNB 180a及gNB 180b（及/或gNB 180c）的經協調傳輸。
WTRU 102a、102b、102c可使用與可縮放參數集(numerology)關聯的傳輸來與gNB 180a、180b、180c通訊。例如，OFDM符號間距及/或OFDM次載波間距可針對不同傳輸、不同小區、及/或無線傳輸頻譜的不同部分變化。WTRU 102a、102b、102c可使用子訊框或各種長度或可縮放長度的傳輸時間間隔(transmission time interval, TTI)（例如，含有變化數目的OFDM符號及/或持續變化的絕對時間長度）來與gNB 180a、180b、180c通訊。
gNB 180a、180b、180c可經組態以與以獨立組態及/或非獨立組態的WTRU 102a、102b、102c通訊。在獨立組態中，WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊而無需亦存取其他RAN（例如，諸如eNode-B 160a、160b、160c）。在獨立組態中，WTRU 102a、102b、102c可將gNB 180a、180b、180c的一或多者使用為行動錨點。在獨立組態中，WTRU 102a、102b、102c可使用在非授權頻帶中的信號來與gNB 180a、180b、180c通訊。在非獨立組態中，WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊/連接至該等gNB，同時亦與另一RAN（諸如eNode-B 160a、160b、160c）通訊/連接至該另一RAN。例如，WTRU 102a、102b、102c可實施DC原理以實質同時地與一或多個gNB 180a、180b、180c及一或多個eNode-B 160a、160b、160c通訊。在非獨立組態中，eNode-B 160a、160b、160c可作用為WTRU 102a、102b、102c的移動錨點，且gNB 180a、180b、180c可提供用於服務WTRU 102a、102b、102c的額外涵蓋範圍及/或通量。
gNB 180a、180b、180c之各者可與特定小區（未圖示）關聯，並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、網路切片的支援、雙連接性、NR與E-UTRA之間的交互工作、使用者平面資料朝向使用者平面功能(User Plane Function, UPF) 184a、184b的路線、控制平面資訊朝向存取及移動性管理功能(Access and Mobility Management Function, AMF) 182a、182b的路線、及類似者。如圖1D所示，gNB 180a、180b、180c可透過Xn介面彼此通訊。
顯示於圖1D中的CN 115可包括至少一個AMF 182a、182b、至少一個UPF 184a、184b、至少一個對話管理功能(Session Management Function, SMF) 183a、183b、及可能包括一資料網路(Data Network, DN) 185a、185b。雖然將上述元件之各者描繪成CN 115的部分，但將理解此等元件的任何者可由CN操作者之外的實體擁有及/或操作。
AMF 182a、182b可經由N2介面連接至RAN 113中的gNB 180a、180b、及180c的一或多者，並可作用為控制節點。例如，AMF 182a、182b可負責認證WTRU 102a、102b、102c的使用者、支援網路切片（例如，具有不同需求之不同PDU對話的處理）、選擇特定的SMF 183a、183b、登錄區的管理、NAS信令的終止、移動性管理、及類似者。網路切片可由AMF 182a、182b使用，以基於正使用之WTRU 102a、102b、102c之服務的類型將用於WTRU 102a、102b、102c的CN支援客製化。例如，不同網路切片可針對不同的使用情形建立，諸如依賴超可靠低延時(ultra-reliable low latency, URLLC)存取的服務、依賴增強大量行動寬頻(enhanced massive mobile broadband, eMBB)存取的服務、用於機器類型通訊(MTC)存取的服務、及/或類似者。AMF 162可提供用於在RAN 113與其他RAN（未圖示）之間切換的控制平面功能，該等其他RAN採用其他無線電技術（諸如LTE、LTE-A、LTE-A Pro及/或非3GPP存取技術（諸如WiFi））。
SMF 183a、183b可經由N11介面連接至CN 115中的AMF 182a、182b。SMF 183a、183b亦可經由N4介面連接至CN 115中的UPF 184a、184b。SMF 183a、183b可選擇及控制UPF 184a、184b並組態通過UPF 184a、184b之流量的路線。SMF 183a、183b可執行其他功能，諸如管理及分配UE IP位址、管理PDU對話、控制政策執行及QoS、提供下行鏈路資料通知、及類似者。PDU對話類型可係基於IP的、非基於IP的、基於乙太網路的、及類似者。
UPF 184a、184b可經由N3介面連接至RAN 113中的gNB 180a、180b、180c的一或多者，該介面可將對封包交換網路（諸如網際網路110）的存取提供給WTRU 102a、102b、102c，以促進WTRU 102a、102b、102c與IP啟用裝置之間的通訊。UPF 184、184b可執行其他功能，諸如路由及轉發封包、執行使用者平面政策、支援多連接(multi-homed) PDU對話、處理使用者平面QoS、緩衝下行封包、提供移動性錨定、及類似者。
CN 115可促進與其他網路的通訊。例如，CN 115可包括作用為CN 115與PSTN 108之間的介面的IP閘道（例如，IP多媒體子系統(IMS)伺服器）或可與該IP閘道通訊。額外地，CN 115可將對其他網路112的存取提供給WTRU 102a、102b、102c，該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。在一個實施例中，WTRU 102a、102b、102c可經由至UPF 184a、184b的N3介面及UPF 184a、184b與DN 185a、185b之間的N6介面通過UPF 184a、184b連接至區域資料網路(DN) 185a、185b。
鑑於圖1A至圖1D及圖1A至圖1D的對應描述，相關於下列一或多者於本文描述之功能的一或多者或全部可藉由一或多個模仿裝置（未圖示）執行：WTRU 102a至102d、基地台114a至114b、eNode-B 160a至160c、MME 162、SGW 164、PGW 166、gNB 180a至180c、AMF 182a至182b、UPF 184a至184b、SMF 183a至183b、DN 185a至185b、及/或本文描述的任何其他（多個）裝置。模仿裝置可係經組態以模仿本文描述之功能的一或多者或全部的一或多個裝置。例如，模仿裝置可用以測試其他裝置及/或模擬網路及/或WTRU功能。
模仿裝置可經設計以在實驗室環境及/或操作者網路環境中實施其他裝置的一或多個測試。例如，一或多個模仿裝置可在完全或部分地實施及/或部署為有線及/或無線通訊網路的部分的同時執行該一或多個或全部的功能以測試通訊網路內的其他裝置。一或多個模仿裝置可在暫時地實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能。模仿裝置可針對測試的目的直接耦接至另一裝置及/或可使用空中無線通訊執行測試。
一或多個模仿裝置可在未實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個（包括全部）功能。例如，模仿裝置可使用在測試實驗室及/或非部署（例如，測試）的有線及/或無線通訊網路中的測試場景中，以實施一或多個組件的測試。一或多個模仿裝置可係測試儀器。直接RF耦合及/或經由RF電路系統（例如，其可包括一或多個天線）的無線通訊可由模仿裝置使用以傳輸及/或接收資料。
本申請案描述多種態樣，包括工具、特徵、實例或實施例、模型、方法等。這些態樣中的許多係以特異性描述，並且為了至少顯示個別特徵，通常以聽起來可能是限制之方式描述。然而，這是為了清楚說明之目的，並且不限制那些態樣的應用或範疇。實際上，所有不同態樣可經組合及互換以提供進一步態樣。此外，該等態樣可與先前申請案中所述之態樣組合及互換。
此申請案中所描述及設想的態樣可以許多不同形式實施。本文所述之圖1至圖10可提供一些實施例，但亦設想其他實施例。圖1至圖10的討論不限制實施方案的廣泛性。該等態樣中之至少一者大致上係關於視訊編碼及解碼，且至少一其他態樣大致上係關於傳輸所產生或編碼的位元流。可將此等及其他態樣實施為方法、設備、具有儲存於其上之用於根據所描述之方法的任一者解碼或解碼視訊資料之指令的電腦可讀儲存媒體、及/或具有儲存於其上之根據所描述之方法的任一者產生之位元流的電腦可讀儲存媒體。
在本申請案中，用語「經重建(reconstructed)」及「經解碼(decoded)」可互換地使用、用語「像素(pixel)」及「樣本(sample)」可互換地使用、用語「影像(image)」、「圖像(picture)」、及「訊框(frame)」可互換地使用。
於本文中描述各種方法，且該等方法之各者包含用於實現所描述之方法的一或多個步驟或動作。除非方法的適當操作需要特定順序的步驟或動作，可修改或組合特定步驟及/或動作的順序及/或用途。額外地，諸如「第一(first)」、「第二(second)」等的用語可使用在各種實施例中，以修飾元件、組件、步驟、操作等，諸如例如「第一解碼(first decoding)」及「第二解碼(second decoding)」。除非具體要求，此類用語的使用並不意味對經修飾操作的排序。所以在此實例中，第一解碼不需要在第二解碼之前執行，並可例如在第二解碼之前、期間、或與其重疊的時間期間中發生。
本申請案中所述之各種方法及其他態樣可用於修改模組，例如如在圖2及圖3所示的視訊編碼器200及解碼器300之模組。此外，本文揭示的標的表示不限於VVC或HEVC，並可施用至例如任何類型、格式、或版本的視訊編解碼（無論是在標準或建議中描述、無論是預先存在或未來發展的、及任何此類標準及建議（例如，包括VVC及HEVC）的延伸）的態樣。除非以其他方式指示或在技術上排除，描述於本申請案中的態樣可個別或組合地使用。
在本申請案所述之實例中使用各種數值，諸如剩餘位元組之計數013，在範圍0-5及10-21中的nal_unit_type值等。這些及其他特定值為描述實例之目的，且所描述的態樣不限於這些特定值。
圖2為顯示一實例視訊編碼器的圖。設想實例編碼器200的變化，但編碼器200於下文的描述係出於清楚的目的而未描述所有的預期變化。
在編碼前，視訊序列可完成預編碼處理(201)例如將顏色轉換施加至輸入顏色圖像（例如，從RGB 4:4:4轉換成YCbCr 4:2:0），或執行輸入圖像分量的重新映射以得到對壓縮更有彈性的信號分布（例如，使用顏色分量的一者的直方圖等化）。後設資料可與預處理相關聯，並附加至位元流。
在編碼器200中，圖像係藉由如下文描述的編碼器元件編碼。待編碼圖像係以例如編解碼單元(coding unit, CU)為單位分割(202)及處理。各單元係使用例如幀內或幀間模式任一者編碼。當單元以幀內模式編碼時，其執行幀內預測(260)。在幀間模式中，執行運動評估(275)及補償(270)。編碼器決定(205)將幀內或幀間模式的哪一者用於編碼該單元，並藉由例如預測模式旗標指示幀內/幀間決策。預測殘量係例如藉由從原始影像區塊減去(210)經預測區塊而計算。
接著轉換(225)及量化(230)預測殘量。將量化轉換係數以及運動向量及其他語法元素熵編解碼(245)以輸出位元流。編碼器可跳過轉換，並將量化直接施加至未轉換的殘餘信號。編碼器可略過轉換及量化二者，亦即殘量係在未應用轉換或量化程序的狀況下直接編解碼。
編碼器解碼經編碼區塊以提供用於進一步預測的參考。將量化轉換係數解量化(240)及逆轉換(250)以解碼預測殘量。組合(255)經解碼預測殘量及預測區塊，重建影像區塊。將迴路內濾波器(in-loop filter) (265)施用至重建圖像，以執行例如解塊/SAO（樣本適應性偏移(Sample Adaptive Offset)）濾波以降低編碼假影。將經濾波影像儲存在參考圖像緩衝器(280)處。
圖3為顯示視訊解碼器之實例的圖。在實例解碼器300中，位元流係藉由如下文描述的解碼器元件解碼。視訊解碼器300大致執行與圖2中所描述之編碼階段互逆的解碼階段。編碼器200通常亦執行視訊解碼作為編碼視訊資料的部分。
具體而言，解碼器的輸入包括可由視訊編碼器200產生的視訊位元流。位元流首先經熵解碼(330)以獲得轉換係數、運動向量、及其他經編解碼資訊。圖像分割資訊指示該圖像係如何分割的。解碼器因此可根據經解碼圖像分割資訊劃分(335)圖像。將轉換係數解量化(340)及逆轉換(350)以解碼預測殘量。組合(355)經解碼預測殘量及預測區塊，重建影像區塊。經預測區塊可從幀內預測(360)或運動補償預測（亦即，幀間預測）(375)獲得(370)。將迴路內濾波器(365)施用至經重建影像。將經濾波影像儲存在參考圖像緩衝器(380)處。
經解碼圖像可進一步完成後解碼處理(385)，例如顏色逆轉換（例如，從YCbCr 4:2:0至RGB 4:4:4的轉換）或執行在預編碼處理(201)中執行之重新映射處理之相反的逆重新映射。後解碼處理可使用在預編碼處理中衍生並在位元流中傳訊的後設資料。
圖4係顯示本文描述的各種態樣及實施例可實施於其中之系統的一實例的圖。系統400可體現為包括下文所描述的各種組件，並經組態以執行描述於本文件中之態樣的一或多者的裝置。此類裝置的實例包括，但不限於，各種電子裝置，諸如個人電腦、膝上型電腦、智慧型手機、平板電腦、數位多媒體機上盒、數位電視接收器、個人視訊記錄系統、連接式家用電器、及伺服器。系統400的元件可單一地或組合地體現在單一積體電路(IC)、多個IC、及/或離散組件中。例如，在至少一個實例中，系統400的處理及編碼器/解碼器元件跨多個IC及/或離散組件分布。在各種實施例中，系統400經由例如通訊匯流排或通過專用輸入埠及/或輸出埠通訊地耦接至一或多個其他系統或其他電子裝置。在各種實施例中，系統400經組態以實施描述於本文件中之態樣的一或多者。
系統400包括至少一個處理器410，該處理器經組態以執行載入至其中之用於實施例如描述於本文件中的各種態樣的指令。處理器410可包括嵌入式記憶體、輸入輸出介面、及所屬技術領域中已知的各種其他電路系統。系統400包括至少一個記憶體420（例如，揮發性記憶體裝置及/或非揮發性記憶體裝置）。系統400包括儲存裝置440，該儲存裝置可包括非揮發性記憶體及/或揮發性記憶體，包括但不限於電可抹除可程式化唯讀記憶體(Electrically Erasable Programmable Read-Only Memory, EEPROM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(Programmable Read-Only Memory, PROM)、隨機存取記憶體(RAM)、動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、靜態隨機存取記憶體(Static Random Access Memory, SRAM)、快閃記憶體、磁碟驅動機、及/或光碟驅動機。作為非限制性實例，儲存裝置440可包括內部儲存裝置、附接儲存裝置（包括可拆離及不可拆離儲存裝置）、及/或網路可存取儲存裝置。
系統400包括編碼器/解碼器模組430，該編碼器/解碼器模組經組態以例如處理資料以提供經編碼視訊或經解碼視訊，且編碼器/解碼器模組430可包括其自有的處理器及記憶體。編碼器/解碼器模組430表示可包括在裝置中以執行編碼及/或解碼功能的（多個）模組。如已知的，裝置可包括編碼及解碼模組的一或二者。額外地，如所屬技術領域中具有通常知識者所已知的，可將編碼器/解碼器模組430實施為系統400的分開元件，或可併入處理器410內作為硬體與軟體的組合。
待載入至處理器410或編碼器/解碼器430上以執行描述於本文件中的各種態樣的程式碼可儲存在儲存裝置440中，且隨後載入至記憶體420上以用於處理器410執行。根據各種實施例，處理器410、記憶體420、儲存裝置440、及編碼器/解碼器模組430的一或多者可在描述於本文件中的程序的執行期間儲存各種項目的一或多者。此類經儲存項目可包括但不限於來自方程式、公式、操作、及操作邏輯之處理的輸入視訊、經解碼視訊或經解碼視訊的部分、位元流、矩陣、變數、及中間或最終結果。
在一些實施例中，處理器410及/或編碼器/解碼器模組430內側的記憶體係用以儲存指令，並為編碼或解碼期間所需的處理提供工作記憶體。然而，在其他實施例中，處理裝置（例如，處理裝置可係處理器410或編碼器/解碼器模組430的任一者）外部的記憶體係用於此等功能的一或多者。外部記憶體可係記憶體420及/或儲存裝置440，例如動態揮發性記憶體及/或非揮發性快閃記憶體。在數個實施例中，外部非揮發性快閃記憶體係用以儲存例如電視機的作業系統。在至少一個實施例中，將快速外部動態揮發性記憶體（諸如RAM）使用為用於視訊編解碼及解碼操作的工作記憶體，諸如例如MPEG-2（MPEG係指動態影像專家群(Moving Picture Experts Group)，亦將MPEG-2稱為ISO/IEC 13818，且13818-1亦已知為H.222，且13818-2亦已知為H.262）、HEVC（HEVC係指高效率視訊編解碼，亦已知為H.265及MPEG-H第2部分）、或VVC（多功能影像編解碼(Versatile Video Coding)，由JVET（聯合視訊專家小組(Joint Video Experts Team)）發展的新標準）。
至系統400之元件的輸入可通過如方塊445中所指示的各種輸入裝置提供。此類輸入裝置包括但不限於(i)射頻(RF)部分，其接收例如由廣播器透過空氣傳輸的RF信號、(ii)分量(COMP)輸入端子（或一組COMP輸入端子）、(iii)通用串列匯流排(Universal Serial Bus, USB)輸入端子、及/或(iv)高畫質多媒體介面(High Definition Multimedia Interface, HDMI)輸入端子。其他實例（未顯示於圖4中）包括複合視訊。
在各種實施例中，方塊445的輸入裝置具有如所屬技術領域中已知的關聯各別輸入處理元件。例如，RF部分可與適用於(i)選擇所欲頻率（亦稱為選擇信號或將信號頻帶限制至頻帶）、(ii)降頻轉換經選擇信號、(iii)再次頻帶限制至更窄的頻帶以選擇（例如）在某些實施例中可稱為通道的信號頻帶、(iv)解調變經降頻轉換及經頻帶限制的信號、(v)執行錯誤校正、及(vi)解多工以選擇所欲的資料封包串流的元件關聯。各種實施例的RF部分包括一或多個元件以執行此等功能，例如頻率選擇器、信號選擇器、頻帶限制器、通道選擇器、濾波器、降頻轉換器、解調變器、錯誤校正器、及解多工器。RF部分可包括執行各種此等功能（包括例如將經接收信號降頻轉換至較低頻率（例如，中間頻率或近基帶頻率）或至基帶）的調諧器。在一個機上盒實施例中，RF部分及其關聯輸入處理元件接收透過有線（例如，纜線）媒體傳輸的RF信號，並藉由濾波、降頻轉換、及再次濾波至所欲頻帶來執行頻率選擇。各種實施例重新配置上述（及其他）元件的順序、移除此等元件中的一些者、及/或加入執行類似或不同功能的其他元件。加入元件可包括將元件插入在現有元件之間，諸如例如插入放大器及類比轉數位轉換器。在各種實施例中，RF部分包括天線。
額外地，USB及/或HDMI端子可包括用於跨USB及/或HDMI連接將系統400連接至其他電子裝置的各別介面處理器。應理解輸入處理的各種態樣（例如，里德-所羅門(Reed-Solomon)錯誤校正）可依需要實施在例如分開的輸入處理IC內或處理器410內。類似地，USB或HDMI介面處理的態樣可依需要實施在分開的介面IC內或在處理器410內。經解調、錯誤校正、及解多工物流係提供至各種處理元件，包括例如處理器410，及編碼器/解碼器430，其與記憶體及儲存元件組合操作以處理用於呈現在一輸出裝置上所需的資料流。
系統400的各種元件可提供於整合外殼內，在整合外殼內，各種元件可使用合適的連接配置425（例如，如所屬技術領域中已知的內部匯流排，包括IC間(Inter-IC, I2C)匯流排、佈線、及印刷電路板）於之間互連並傳輸資料。
系統400包括通訊介面450，該通訊介面實現經由通訊通道460與其他裝置的通訊。通訊介面450可包括但不限於經組態以透過通訊通道460傳輸及接收資料的收發器。通訊介面450可包括但不限於數據機或網路卡，且通訊通道460可實施在例如有線及/或無線媒體內。
在各種實施例中，使用無線網路（諸如Wi-Fi網路，例如IEEE 802.11（IEEE係指電機電子工程師學會））將資料串流或以其他方式提供至系統400。此等實例的Wi-Fi信號係透過經調適用於Wi-Fi通訊的通訊通道460及通訊介面450接收。此等實施例的通訊通道460一般連接至提供對外部網路（包括網際網路）之存取以用於允許串流應用及其他過頂(over-the-top)通訊的存取點或路由器。其他實施例使用透過輸入方塊445的HDMI連接遞送資料的機上盒將經串流資料提供至系統400。又其他實施例使用輸入方塊445的RF連接將經串流資料提供至系統400。如上文所指示的，各種實施例以非串流方式提供資料。額外地，各種實施例使用Wi-Fi以外的無線網路，例如蜂巢式網路或藍牙網路。
系統400可將輸出信號提供至各種輸出裝置，包括顯示器475、揚聲器485、及其他週邊裝置495。各種實施例的顯示器475包括例如觸控螢幕顯示器、有機發光二極體(OLED)顯示器、曲面顯示器、及/或可摺疊顯示器的一或多者。顯示器475可用於電視機、平板電腦、膝上型電腦、蜂巢式電話（行動電話）、或其他裝置。顯示器475亦可與其他組件整合（例如，如智慧型手機中），或係分開的（例如，膝上型電腦的外部監視器）。在實施例的各種實例中，其他週邊裝置495包括獨立數位視訊光碟（或數位多功能光碟）（DVR，針對二種用語）、光碟機、立體聲系統、及/或照明系統的一或多者。各種實施例使用基於系統400的輸出提供功能的一或多個週邊裝置495。例如，光碟機執行播放系統400之輸出的功能。
在各種實施例中，控制信號使用傳訊（諸如AV.Link、消費性電子控制(Consumer Electronics Control, CEC)、或以需要或不需要使用者介入的方式實現裝置對裝置控制的其他通訊協定）在系統400與顯示器475、揚聲器485、或其他週邊裝置495之間傳達。輸出裝置可經由通過各別介面470、480、及490的專用連接通訊地耦接至系統400。替代地，輸出裝置可經由通訊介面450使用通訊通道460連接至系統400。顯示器475及揚聲器485可與電子裝置（諸如例如電視機）中的系統400的其他組件整合在單一單元中。在各種實施例中，顯示器介面470包括顯示驅動器，諸如例如時序控制器(T Con)晶片。
例如，若輸入445的RF部分係分開的機上盒的部件，顯示器475及揚聲器485可替代地與其他組件的一或多者分開。在顯示器475及揚聲器485係外部組件的各種實施例中，輸出信號可經由專用輸出連接（包括例如HDMI埠、USB埠、或COMP輸出）提供。
實施例可藉由處理器410實施的電腦軟體或藉由硬體、或藉由硬體及軟體的組合實行。作為非限制性實例，實施例可藉由一或多個積體電路實施。作為非限制性實例，記憶體420可係對技術環境適當的任何類型的，且可使用任何適當的資料儲存技術實施，諸如光學記憶體裝置、磁性記憶體裝置、基於半導體的記憶體裝置、固定式記憶體、及可移除式記憶體。作為非限制性實例，處理器410可係對技術環境適當的任何類型的，並可涵蓋微處理器、一般用途電腦、特殊用途電腦、及基於多核心架構之處理器的一或多者。
各種實施方案涉及解碼。如本申請案中所使用的，「解碼(decoding)」可涵蓋例如在經接收經編碼序列上執行以產生適合顯示器的最終輸出之程序的全部或部分。在各種實施例中，此類程序包括一般藉由解碼器執行之程序（例如，熵解碼、逆量化、逆轉換、及差分解碼）的一或多者。在各種實施例中，此類程序亦包括或替代地包括由此申請案中所描述之各種實施方案之解碼器執行的程序，例如解碼經編碼點雲序列的一部分（例如，使用例如如本文所揭示之一或多個檔案格式結構封裝於ISOBMFF容器中），以提供對於經編碼點雲序列（例如，封裝在ISOBMFF容器中）的部分存取等。
作為進一步的實施例，在一實例中，「解碼」僅指熵解碼，在另一實施例中，「解碼」僅指差分解碼，且在另一實施例中，「解碼」係指熵解碼與差分解碼的組合。不論片語「解碼程序」是否意圖具體地係指操作的子集或大致係指更廣泛者，解碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
各種實施方案涉及編碼。以類似於上述關於「解碼」的討論之方式，在本申請案中所使用的「編碼」可涵蓋例如在輸入視訊序列上執行以產生經編碼位元流的程序之全部或部分。在各種實施例中，此類程序包括一般藉由編碼器執行之程序（例如，分割、差分編碼、轉換、量化、及熵編碼）的一或多者。在各種實施例中，此類程序亦包括或替代地包括由此申請案中所描述之各種實施方案之編碼器所執行的程序，例如編碼包含一或多個檔案格式結構（例如，如本文所揭示的）的基於視訊的點雲位元流，以提供對於經編碼點雲序列的不同部分（例如，封裝在ISOBMFF容器中）的部分存取支援等。
作為進一步的實例，在一實施例中，「編碼」僅指熵編碼，在另一實施例中，「編碼」僅指差分編碼，且在另一實施例中，「編碼」係指熵編碼與差分編碼的組合。不論片語「編碼程序」是否意圖具體地指稱操作的子集或大致係指更廣泛者，編碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
應注意的是，本文中所使用的語法元素(例如，atlas_tile_group_layer_rbsp(), VPCCTileGroupSampleEntry, VolumetricSampleEntry, TrackGroupTypeBox, SpatialRegionGroupBox, TrackGroupTypeBox, DynamicVolumetricMetadataSampleEntry, 3DSpatialRegionStruct, VPCCVolumetricMetadataSample, VPCCAtlasSampleEntry等)係描述性的用語。如此，其等未排除其他語法元素名稱的使用。
當將圖式表示成流程圖時，應瞭解其亦提供對應設備的方塊圖。類似地，當將圖式表示成方塊圖時，應瞭解其亦提供對應方法/程序的流程圖。
描述於本文中的實施方案及態樣可以例如方法或程序、設備、軟體程式、資料串流、或信號實施。即使僅在單一形式的實施方案的上下文中討論（例如，僅作為方法討論），所討論之特徵的實施方案亦可以其他形式實施（例如，設備或程式）。設備可以例如適當硬體、軟體、及韌體實施。方法可在例如處理器中實施，該處理器大致係指處理裝置，包括例如電腦、微處理器、積體電路、或可程式化邏輯裝置。處理器亦包括通訊裝置，諸如例如電腦、蜂巢式電話、可攜式/個人數位助理(「PDA」)、及促進終端使用者之間的資訊的通訊的其他裝置。
對「一個實施例(one embodiment)」、「一實施例(an embodiment)」、「一實例(an example)」「一個實施方案(one implementation)」、或「一實施方案(an implementation)」以及其等的其他變化的參考意指相關於該實施例描述的特定特徵、結構、特性等係包括在至少一個實施例中。因此，片語「在一個實施例中(in one embodiment)」、「在一實施例中(in an embodiment)」、「在一實例中(in an example)」、「在一個實施方案中(in one implementation)」、或「在一實施方案中(in an implementation)」的出現，以及在遍及本申請案各處出現的任何其他變化不必須全部參考至相同的實施例或實例。
額外地，此申請案可與「判定」各項資訊相關。判定資訊可包括例如評估資訊、計算資訊、預測資訊、或從記憶體檢索資訊的一或多者。獲得可包括接收、檢索、建構、產生、及/或判定。
進一步地，此申請案可與「存取」各項資訊相關。存取資訊可包括例如接收資訊、檢索資訊（例如，從記憶體）、儲存資訊、移動資訊、複製資訊、計算資訊、判定資訊、預測資訊、或評估資訊的一或多者。
額外地，此申請案可與「接收」各項資訊相關。意圖使接收與「存取(accessing)」般成為廣泛用語。接收資訊可包括例如存取資訊或檢索資訊（例如，從記憶體）的一或多者。進一步地，在操作期間（諸如例如儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、抹除資訊、計算資訊、判定資訊、預測資訊、或評估資訊）一般以某種方式或另一者涉及「接收(receiving)」。
應理解下列「/」、「及/或(and/or)」、及「中之至少一者(at least one of)」在例如「A/B」、「A及/或B (A and/or B)」、及「A及B中之至少一者(at least one of A and B)」之情形中的使用意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或選擇二個選項（A及B）。作為進一步實例，在「A、B、及/或C (A, B, and/or C)」及「A、B、及C中之至少一者(at least one of A, B, and C)」的情形中，此類片語意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或僅選擇第三列出選項(C)、或僅選擇第一及第二列出選項（A及B）、或僅選擇第一及第三列出選項（A及C）、或僅選擇第二及第三列出選項（B及C）、或選擇所有三個選項（A及B及C）。此可針對所列出般的許多項目延伸，如對所屬及相關技術領域中具有通常知識者係清楚的。
再者，如本文中所使用的，用詞「傳訊(signal)」尤其係指將某物指示給對應解碼器。在一些實施例中，編碼器可傳訊（例如，在經編碼位元流中及/或在封裝檔案中，諸如ISOBMFF容器），例如，V-PCC參數組、SEI訊息、後設資料、編輯清單、後解碼器要求、促成封裝於ISOBMFF容器中的經編解碼點雲序列之不同部分的彈性部分存取之信號、各經傳訊物件的相依性清單、至空間區域的映射、3D定界框資訊等。以此方式，在一實施例中，在編碼器側及解碼器側兩者使用相同參數。因此，舉例來說，一編碼器可傳輸（明確傳訊）一特定參數至解碼器，使得解碼器可使用相同的特定參數。相反地，若解碼器已具有該特定參數以及其他參數，則可使用傳訊而不傳輸（隱式傳訊），以僅允許解碼器知道並選擇特定參數。藉由避免傳輸任何實際功能，在各種實施例中實現位元節省。應理解傳訊可以各種方式達成。例如，在各種實施例中，將一或多個語法元素、旗標等用以將資訊傳訊至對應解碼器。雖然前文係關於用詞「傳訊(signal)」的動詞形式，但用詞「信號(signal)」在本文中亦可使用為名詞。
如所屬技術領域中具有通常知識者所將顯而易見的，實施方案可產生經格式化以運載可例如儲存或傳輸之資訊的各種信號。該資訊可包括例如用於執行方法的指令、或由所描述的實施方案的一者產生的資料。例如，可將信號格式化以運載所描述實施例的位元流。此一信號可格式化成例如電磁波（例如，使用光譜的射頻部分）或基頻信號。格式化可包括例如編碼資料串流及調變具有經編碼資料串流的載波。該信號所運載的資訊可係例如類比或數位資訊。如已知的，該信號可透過各種不同的有線或鏈路傳輸。該信號可儲存在處理器可讀媒體上。
擷取及渲染三維(3D)影像（例如，使用3D點雲）可具有許多應用（例如，遙現(tele-presence)、虛擬實境及大尺度動態3D地圖）。可使用3D點雲來表示沉浸式媒體。3D點雲可包括在3D空間中表示的一組點。一（例如，各）點可包括座標及/或一或多個屬性。座標可指示一（例如，各）點的位置。屬性可包括例如下列中之一或多者：與各點相關聯之顏色、透明度、取得時間、雷射反射率或材料特性等。可依多種方式擷取或部署點雲。可例如使用多個攝影機及深度感測器、光偵測及測距(LiDAR)雷射掃描器等（例如，以取樣3D空間）來擷取或部署點雲。一點（例如，由座標及/或屬性表示）可例如藉由在3D空間中取樣物件而產生。點雲可包含複數個點，各點可由映射至3D空間的一組座標（例如，x，y，z座標）表示。在一實例中，可用包含數百萬或數十億個取樣點之點雲表示或重建3D物件或場景。3D點雲可表示靜態及/或動態（移動）3D場景。
點雲資料可被表示及/或壓縮（例如，點雲壓縮(point cloud compression, PCC)），例如，以（例如，有效地）儲存及/或傳輸點雲資料。可利用基於幾何的壓縮來編碼及解碼靜態點雲，且可利用基於視訊的壓縮來編碼及解碼動態點雲，例如，以支援3D點雲之有效率且可交互操作的儲存及傳輸。點雲取樣、表示、壓縮、及/或渲染可支援點雲的幾何座標及/或屬性的有損及/或無損編解碼（例如，編碼或解碼）。
圖5為顯示用於一伺服器502及一用戶端510之一系統介面500的圖。伺服器502可係連接至網際網路504及其他網路506的一點雲伺服器。一用戶端510也連接至網際網路504及其他網路506，實現節點（例如，伺服器502與用戶端510）之間的通訊。各節點包含一處理器、一非暫時性電腦可讀記憶體儲存媒體、及包含於該儲存媒體內之可執行指令，該等指令可由該處理器執行以實行本文所揭示之方法或方法的部分。一或多個節點可進一步包括一或多個感測器。用戶端510可（例如，亦可）包括一圖形處理器512，用於渲染用於顯示器（諸如頭戴式顯示器(head-mounted display, HMD) 508）的3D視訊。任何或所有節點可包含一WTRU且透過網路通訊，如上文關於圖1A至圖1D所述者。
圖6為顯示用於一伺服器602及一用戶端604之一系統介面600的圖。伺服器602可係一點雲內容伺服器602，且可包括點雲內容的一資料庫、用於處理精細度(level of detail)的邏輯、及一伺服器管理功能。在一些實例中，細節的處理可減少用於傳輸至用戶端604（例如，觀看用戶端604）的解析度，諸如由於頻寬限制或因為觀看距離足夠而容許減少之容許。點雲內容伺服器602可與用戶端604通訊，且可交換點雲資料及/或點雲後設資料。對於一些實例，針對觀看者所渲染的點雲資料可經歷資料建構的程序以減少及/或增加諸如來自（例如，從點雲伺服器602串流至觀看用戶端604的）點雲資料及/或點雲後設資料的精細度。點雲伺服器602可用空間擷取所提供的解析度，或者對於一些實施例，降低取樣的解析度（以符合例如頻寬限制或觀看距離容忍度），來串流點雲資料。點雲伺服器602可動態減少精細度。在一些實例中，點雲伺服器602可（例如，亦可）將點雲資料分段並在點雲內識別物件。在一些實例中，對應於經選擇物件的點雲資料內的點可用較低解析度資料取代。
一用戶端604（例如，具有HMD的一用戶端604）可經由位元流（例如，基於視訊的點雲壓縮(V-PCC)經編解碼位元流）從點雲內容伺服器602請求點雲的部分及/或圖塊。例如，點雲的部分及/或圖塊可基於HMD的位置及/或定向來擷取。
圖7係顯示一用戶端（例如，HMD）請求內容的實例700的圖。應理解，HMD與用戶端二詞可互換地使用，因此由HMD執行的一或多個所述步驟可由用戶端（例如，代表HMD）執行。在702，可判定HMD的位置。在702，可判定HMD的定向。可選擇來自所接收之視埠的一視埠。在704，可由HMD及/或來自一點雲伺服器的用戶端接收指示一或多個6DoF視埠的一定時後設資料軌。在706，一或多個圖塊群軌可從圖5或圖6的點雲伺服器請求。在708，可（例如，在HMD處）接收所請求的圖塊群軌。所接收之圖塊群軌組可攜載用於渲染一點雲場景內之空間區域或物件的資訊，例如，如本文所描述。基於圖1A至圖6之系統可基於本文中的揭露內容來實施。
圖8係顯示作為V-PCC單元序列之基於視訊的點雲壓縮(V-PCC)位元流結構之實例的圖。V-PCC位元流可包含V-PCC單元序列（例如，如在圖8中之實例所示）。V-PCC單元（例如，各V-PCC單元）可具有V-PCC單元標頭及/或V-PCC單元酬載。V-PCC單元標頭可描述V-PCC單位類型。表1顯示V-PCC單元類型之實例。屬性視訊資料V-PCC單元標頭可指定一或多種屬性類型及/或索引，其可允許支援具相同屬性類型之多個實例。表2顯示V-PCC屬性類型之實例。佔用、幾何、及/或屬性視訊資料單元酬載（例如，如在圖8中之實例所示）可對應於可由視訊解碼器解碼的視訊資料單元（例如，網路抽象層(network abstraction layer, NAL)單元）。可在V-PCC參數組中傳訊對應於經視訊編解碼組分子位元流（例如，各經視訊編解碼組分子位元流，諸如佔用、幾何、及/或屬性子位元流）的一視訊解碼器。 表1 - V-PCC單元類型之實例
vuh_unit_type 識別符 V-PCC單元類型 描述
0 VPCC_VPS V-PCC參數組 V-PCC層級參數
1 VPCC_AD 圖譜資料 圖譜資訊
2 VPCC_OVD 佔用視訊資料 佔用資訊
3 VPCC_GVD 幾何視訊資料 幾何資訊
4 VPCC_AVD 屬性視訊資料 屬性資訊
5...31 VPCC_RSVD 保留 -
表2 - V-PCC屬性類型之實例
ai_attribute_type_id[ j ][ i ] 識別符 屬性類型
0 ATTR_TEXTURE 紋理
1 ATTR_MATERIAL_ID 材料ID
2 ATTR_TRANSPARENCY 透明度
3 ATTR_REFLECTANCE 反射率
4 ATTR_NORMAL 法線
5...14 ATTR_RESERVED 保留
15 ATTR_UNSPECIFIED 未指定
V-PCC位元流高階語法(high-level syntax, HLS)可例如支援一或多個圖譜框中的圖塊群（例如，圖塊組）。一圖譜框可經分割成圖塊及/或圖塊群（例如，圖塊組）。一圖譜框可例如分成一或多個圖塊列及/或一或多個圖塊行。一圖塊可係例如一圖譜框的一矩形區域。一圖塊群（例如，圖塊組）可包括一圖譜框的一或多個圖塊。一圖塊群中的（多個）圖塊（例如，圖塊組）係獨立地可解碼。圖塊群中的圖塊數目可不同。
圖9係顯示一圖譜框之圖塊及圖塊群分割（例如，分割成24個圖塊及九個圖塊群）的實例的圖。圖9以交替的陰影顯示以區別九個圖塊群。在實例中，可支援矩形圖塊群分割（例如，僅支援矩形圖塊群分割）。一圖塊群可包括一圖譜框之數個圖塊，該等圖塊共同形成例如該圖譜框的一矩形區域（例如，每圖塊群兩個或四個圖塊，如在圖9中的實例所示）。一圖塊群可包括與一圖譜框相關聯之一組V-PCC圖塊。
可在V-PCC位元流中傳訊補充增強資訊(supplemental enhancement information, SEI)訊息，例如，以將圖譜框內的補丁及/或體積形狀（例如，矩形）相關於點雲所表示之場景內的物件。SEI訊息可致能及/或支援加註釋、加標示、及/或增加特性至一或多個物件。物件可對應於真實物件（例如，場景內之實體物件）及/或概念物件（例如，可與物理或其他特性有關之物件）。物件可相關聯於參數及/或特性（例如，不同參數及/或特性），該等參數及/或性質可例如對應於在一點雲或場景圖的產生及/或編輯（例如，產生及/或編輯程序）期間的資訊（例如，提供的資訊）。相依性關係可經定義於不同物件之間。例如，一物件可係一或多個其他物件的部分。
點雲內的物件可在時間上為持續性的或可經更新（例如，在任何時間及/或訊框）。相關聯資訊（例如，與物件相關聯的資訊）可持續，例如直到被更新或置換（例如，藉由更新/關聯傳訊），或直到位元流的結束。一或多個補丁及/或2D體積矩形可與一或多個物件相關聯。一2D體積矩形可包括一或多個補丁，例如如本文中之圖11所繪示者。
基於時間的媒體可儲存成一或多個檔案格式，諸如ISO基本媒體檔案格式(ISOBMFF)。具媒體檔案格式（例如，ISOBMFF）的一檔案可包括結構及/或媒體資料資訊，例如，用於媒體資料（諸如音訊、視訊等）之定時呈現。一檔案格式（例如，ISOBMFF）可支援非定時資料，例如，一檔案結構內的不同層級處的後設資料。檔案之邏輯結構可為例如包括一組時間平行軌的一電影。檔案之時間結構可係例如包括時間上的樣本序列的軌。序列可經映射至電影的時間線（例如，整體電影）。ISOBMFF可例如基於箱結構檔案。一箱結構(box-structured)檔案可包括一系列箱（例如，原子），其可具有一尺寸及一類型。一類型（例如，多種類型之中）可係例如32位元值。可選取或選擇一類型，例如為四個可印刷字元，其可稱為四字元碼(four-character code, 4CC)。可例如在後設資料箱中包括非定時資料（例如，在檔案層級處，或附接至電影箱或定時資料流，其可稱為電影內的軌）。
一ISOBMFF容器可包含多個頂層級(top-level)箱。舉例而言，MovieBox('moov')可為ISOBMFF容器內之頂層級箱。MovieBox('moov')可包括用於連續媒體流的後設資料，其可存在於一檔案中。可在電影箱中之箱的階級結構內傳訊後設資料，例如，在TrackBox('trak')內。一軌可表示一媒體流（例如，存在於一檔案中的一連續媒體流）。一媒體流可包含一樣本序列（例如，一基礎媒體流的音訊及/或視訊存取單元）。樣本可被圍封在MediaDataBox('mdat')內，其可存在於容器的頂層級。用於軌（例如，各軌）之後設資料可包括例如，樣本描述項目的一清單。一樣本描述項目（例如，各樣本描述項目）可提供例如編解碼及/或封裝格式，編解碼及/或封裝格式可使用在一軌中及/或可提供用於處理該編解碼及/或封裝格式的初始資料。一樣本（例如，各樣本）可與一軌之一或多個樣本描述項目相關聯。一明顯時間線地圖可經定義用於一軌（例如，各軌），其可稱為一編輯清單。舉例來說，可使用EditListBox傳訊一編輯清單，其可具有下列語法。樣本描述項目（例如，各樣本描述項目）可定義一軌時間線之部分，例如，藉由映射組成時間線之部分，及/或藉由指示「空的(empty)」時間（例如，未映射至媒體之呈現時間線的部分，產生「空的」編輯）。
用於EditListBox的實例語法可提供如下： aligned(8) class EditListBox extends FullBox('elst', version, flags) { unsigned int(32) entry_count; for (i=1; i ＜= entry_count; i++) { if (version==1) { unsigned int(64) edit_duration; int(64) media_time; } else { // version==0 unsigned int(32) edit_duration; int(32) media_time; } int(16) media_rate_integer; int(16) media_rate_fraction = 0; } }
ISOBMFF可支援播放器及/或渲染器上的一或多個動作的施加。在實例中（例如，針對視訊流），可使用受限的視訊方案軌來施加一或多個動作。例如，可在視訊軌（其係一受限視訊方案軌）上傳訊後解碼器需求。軌可轉換成受限視訊方案軌，舉例而言，藉由設定軌的樣本項目碼為四字元碼(4CC)（例如，'resv'），並藉由添加RestrictedSchemeInfoBox至軌的樣本描述（例如，而不修改其他箱）。原始的樣本項目類型（其可基於用以編碼流的視訊編解碼器）可儲存在RestrictedSchemeInfoBox內的OriginalFormatBox內。RestrictedSchemeInfoBox可包括一或多個箱（例如，三個箱，諸如OriginalFormatBox、SchemeTypeBox、及SchemeInformationBox)。OriginalFormatBox可儲存原始樣本項目類型，其可基於用以編碼組分流的視訊編解碼器。限制的性質可定義於SchemeTypeBox中。
圖10為顯示一多軌ISOBMFF V-PCC容器之一實例結構的圖。在實例中，多軌V-PCC容器可包括例如下列之一或多者。一多軌V-PCC容器可包括例如一V-PCC軌10002，其包括一V-PCC參數組及/或圖譜子位元流參數組（例如，在樣本項目中）及/或可攜載圖譜子位元流NAL單位的樣本。V-PCC及VPCC在本文中可互換使用。軌可包括對其他軌的軌參考，其可例如攜載視訊壓縮V-PCC單元的酬載（例如，單位類型VPCC_OVD、VPCC_GVD、及/或VPCC_AVD）。多軌V-PCC容器可包括例如一受限視訊方案軌，其中樣本可包括用於佔據地圖資料的經視訊編解碼基本流的存取單元（例如，類型VPCC_OVD之V-PCC單元的酬載）。多軌V-PCC容器可包括例如一或多個受限視訊方案軌，其中樣本可包括用於幾何資料的經視訊編解碼基本流的存取單元，例如，類型VPCC_GVD之V-PCC單元的酬載）。多軌V-PCC容器可包括例如零或多個受限視訊方案軌，其中樣本可包括用於屬性資料的經視訊編解碼基本流的存取單元（例如，類型VPCC_AVD之V-PCC單元的酬載）。
對於新媒體有增加的關注（例如，VR及/或沉浸式3D圖形）。3D點雲可表示沉浸式媒體。沉浸式媒體可實現與虛擬世界的新形式交互作用及通訊。3D點雲可由大量資訊表示。有效率編解碼（例如，有效率編解碼演算法）可減少儲存及傳輸3D點雲資料（例如，動態3D點雲資料）所涉及的儲存及/或傳輸資源與時間。
點雲序列可表示具有多個物件的場景。在實例中，個別物件（例如，以點雲序列表示）可例如在不解碼場景的其他部分的情況下存取（例如，串流及/或渲染）。同樣地，由點雲所表示的物件（例如，單一物件）的一或多個部分可在不解碼整個點雲的情況下存取。
SEI訊息可加註釋、加標示、及/或增加特性例如至補丁及/或體積矩形。一或多個SEI訊息可例如實現V-PCC序列的部分存取與渲染。可在一軌（例如一單一軌）中攜載圖譜子位元流資料。在單一軌中攜載子位元流資料可例如導致串流應用程式至下載及解碼過量的圖譜資訊（例如，所有的圖譜資訊），即使當使用者可能感興趣（例如，僅感興趣）於V-PCC內容中的某些區域/物件，或V-PCC內容中的圖譜的子集時，其可例如導致時間及計算資源的過度消耗並且降低使用者的體驗。一軌（例如，及相關聯的傳訊）可施加限制（例如，不適當的限制）於視埠的傳訊及/或可不對準於相機參數及/或視埠位置SEI訊息。
檔案格式結構可實現對於經編解碼點雲序列的不同部分（例如，封裝在ISOBMFF容器中）的彈性、部分存取。
可提供V-PCC圖譜圖塊群軌。一圖塊群（例如，各圖塊組）或一群圖塊群可經封裝在一分開的軌中（例如，稱為圖譜圖塊群軌），例如，若V-PCC位元流之圖譜子流包括多個圖塊群。一圖譜圖塊群軌可攜載Nal單元，Nal單元具有atlas_tile_group_layer_rbsp()酬載，用於一或多個圖譜圖塊群，以致能對於圖塊群的存取（例如，直接存取圖塊群）。
可對應於點雲場景內的空間區域及/或物件之圖譜框中的補丁可映射至圖譜圖塊群，例如，以支援用於V-PCC編解碼流的ISOBMFF容器中的部分存取。圖塊群可承載於容器中的分開的圖譜圖塊群軌中。可致能播放器、串流用戶端等，以識別及擷取攜載用於渲染點雲場景內的選定空間區域或物件的資訊之圖塊群軌（例如，僅該組圖塊群軌），例如，若圖塊群係攜載於容器中的分開的圖譜圖塊群軌中。
例如，基於軌參考，V-PCC軌10002可連結至一或多個圖譜圖塊群軌，其中使用四字元碼(4CC)定義軌參考類型（例如，'pcct'）。舉例而言，可使用所定義軌參考類型的軌參考，以連結V-PCC軌10002至一或多個圖譜圖塊群軌（例如，至各圖譜圖塊群軌）。圖譜圖塊群軌（例如，各圖譜圖塊群軌）可與一或多個其他經視訊編解碼V-PCC組件軌組成群組，經視訊編解碼V-PCC組件軌可攜載用於圖譜圖塊群軌中的圖塊群的組件資訊（例如，圖塊組）（例如，使用ISO/IEC 14496-12軌群）。軌群定義可包括例如可與軌群中之軌相關聯的圖塊群之位址。
可例如藉由一樣本描述（例如，VPCCTileGroupSampleEntry）來識別V-PCC圖塊群軌。用於V-PCC圖譜圖塊群軌的樣本項目類型可係例如'vpt1。'VPCCTileGroupSampleEntry的定義可例如如下： 樣本項目類型：             'vpt1' 容器：                            Sample Description Box ('stsd') 必備：                            無 數量：                            可存在零或更多個樣本項目 class VPCCTileGroupSampleEntry() extends VolumetricSampleEntry('vpt1'){ VPCCTileGroupConfigurationBox config(); //可選的 } class VPCCTileGroupConfigurationBox extends Box('vptC') { VPCCTileGroupConfigurationRecord() vpccTileGroupConfig; } aligned(8) class VPCCTileGroupConfigurationRecord { unsigned int(8) configurationVersion = 1; }
一樣本項目可描述一V-PCC圖塊群軌的媒體樣本。在實例中，VPCCTileGroupSampleEntry可不包括VPCCConfigurationBox。可將VPCCConfigurationBox包括在用於主要V-PCC軌10002的樣本描述中。可包括其他箱（例如，其他可選的箱）。
例如，VPCCTileGroupSampleEntry中的欄位的語義可如下述。參數compressorname（例如，在基本類別VolumetricSampleEntry中）可指示使用的壓縮器之名稱（例如，值「\013VPCC Coding」）。第一位元組可指示剩餘位元組之計數，其可舉例而言由\013（例如，八進位13，其係十進位11）表示為字串之其餘部分中的位元組之數目。
在一圖譜圖塊群軌中之樣本可具有例如經定義用於V-PCC軌10002之樣本的樣本格式（例如，相同的樣本格式）（例如，如ISO/IEC 23090-10中所提供的）。在圖譜圖塊群軌樣本中攜載的NAL單元可具有例如在多個範圍內（例如，0至5的含括範圍、及10至21之含括範圍）的一nal_unit_type值）。
在一（例如，額外的或替代的）實施例中，圖譜框中的圖塊群（例如，圖塊組）之數目及/或佈局可固定（例如，針對經編解碼點雲序列的整個持續時間），例如，以避免容器檔案中之軌數的增加（例如，爆炸）。
在一（例如，額外的或替代的）實施例中，一圖譜圖塊群軌可包括用於圖譜之V-PCC軌10002的軌參考，一圖譜圖塊群（例如，由該圖譜圖塊群軌所攜載）屬於該圖譜。該軌參考可使一解析器能夠識別與圖譜圖塊群軌相關聯的V-PCC軌10002。舉例而言，解析器可基於圖譜圖塊群軌的軌識別(ID)而識別與圖譜圖塊群軌相關聯之V-PCC軌10002。
可使圖譜圖塊群軌及組件軌組成群組。可使與圖譜圖塊群軌相關聯之V-PCC組件軌（例如，可攜載經視訊編解碼佔用10004、幾何10006、及/或屬性資訊10008之軌）與該軌一起組成群組，例如，使用如下之具有'vptg' TrackGroupTypeBox之軌群，例如： aligned(8) class VPCCTileGroupBox extends TrackGroupTypeBox('vptg') { unsigned int(8) num_tile_groups_minus1; for (i=0; i＜=num_tile_groups_minus1; i++) { unsigned int(16) tile_group_id; } }
VPCCTileGroupBox之欄位之語義可係例如： num_tile_groups_minus1 plus 1可指示與該軌群相關聯的V-PCC圖塊組或V-PCC圖塊群的數目；及 tile_group_id可指示V-PCC圖塊群或圖塊組的ID，且可相同於atgh_addrel（例如，在ISO/IEC 23090-5中）。
在一（例如，額外的或替代的）實施例中，SpatialRegionGroupBox可用於群組化一圖譜圖塊群軌及對應的組件軌，例如，基於SpatialRegionGroupBox的語法的更新，以包括與圖塊群識別符相關聯的清單（例如，相似於本文所述之實施例）。
在一（例如，額外的或替代的）實施例中，可使用VPCCTileGroupBox的track_group_id之V-PCC軌10002的單一軌參考可用於指出（例如，共同指出）可與一V-PCC圖塊群（例如，V-PCC圖塊組）或V-PCC圖塊群組相關聯之一或多個軌（例如，所有軌）。在實例中，用於軌參考的TrackReferenceTypeBox可具有其track_ID陣列中的項目，其中track_group_id用於V-PCC圖塊群或V-PCC圖塊群組的軌群。例如，可使用TrackGroupTypeBox之旗標之一位元（例如，位元0或最小位元）以指示track_group_id的獨特性。可例如定義旗標之語義如下：例如可使用TrackGroupTypeBox的旗標的位元0（例如，位元0係最小位元），以指示track_group_id的獨特性。在實例中，特定track_group_type的TrackGroupTypeBox中的(flags & 1)等於1可指示該TrackGroupTypeBox中的track_group_id不等於track_ID值且不等於不同track_group_type的TrackGroupTypeBox的track_group_id。例如，若(flags & 1)在具有track_group_type及track_group_id特定值的TrackGroupTypeBox中等於1，(flags & 1)分別在該等（例如，相同）值的track_group_type及track_group_id的（例如，所有）TrackGroupTypeBox中等於1。
在一（例如，額外的或替代的）實施例中，VPCCTileGroupBox可包括用於圖塊群軌所屬於的圖譜軌之軌ID。例如，VPCCTileGroupBox可擴展TrackGroupTypeBox'vptg'，如下： aligned(8) class VPCCTileGroupBox extends TrackGroupTypeBox('vptg') { unsigned int(32) atlas_track_ID; unsigned int(8) num_tile_groups_minus1; for (i=0; i＜=num_tile_groups_minus1; i++) { unsigned int(16) tile_group_id; } }
在此情況中，VPCCTileGroupBox之各種欄位（例如，欄位的語義）可包括： atls_track_ID，其可係VPCCTileGroupBox所表示的圖塊群所屬於的圖譜軌的軌ID。 num_tile_groups_minus1 plus 1，其可為與該軌群相關聯的V-PCC圖塊組或V-PCC圖塊群的數目。 tile_group_id，其可係V-PCC圖塊群的ID，（例如，額外提供為ISO/IEC 23090-5中的atgh_dress）。
VPCCTileGroupBox可使用圖譜ID例如作為使用軌ID的替代方案。VPCCTileGroupBox可使用VPCCTileGroupBox所表示的圖塊群所屬於的圖譜子位元流之圖譜ID。在此情況中，例如，VPCCTileGroupBox可擴展TrackGroupTypeBox'vptg'，如下： aligned(8) class VPCCTileGroupBox extends TrackGroupTypeBox('vptg') { unsigned int(6) atlas_id; bit(2) reserved = 0; unsigned int(8) num_tile_groups_minus1; for (i=0; i＜=num_tile_groups_minus1; i++) { unsigned int(16) tile_group_id; } }
在此情況中，VPCCTileGroupBox之各種欄位（例如，欄位的語義）可包括： atlas_id，其可等於VPCCTileGroupBox所表示的圖塊群所屬於的圖譜之圖譜ID。atlas_id可等於例如可在V-PCC參數組(VPS)中經傳訊的vps_atlas_id值之一者。 num_tile_groups_minus1 plus 1，其可為與該軌群相關聯的V-PCC圖塊組或V-PCC圖塊群的數目。 tile_group_id，其可係V-PCC圖塊群的ID，（例如，額外提供為ISO/IEC 23090-5中的atgh_dress）。
體積後設資料軌可係定時後設資料軌，其可攜載關於點雲場景及/或3D空間分割中的一或多個物件（例如，一或多個不同物件）的資訊。物件資訊可在軌之樣本中攜載。定時後設資料軌可具有定義的樣本項目（例如，DynamicVolumetricMetadataSampleEntry），其中4CC'dyvm'可擴展MetadataSampleEntry，例如，如下所示： aligned(8) class DynamicVolumetricMetadataSampleEntry extends MetaDataSampleEntry('dyvm') { VPCCSpatialRegionsBox(); } 其中MetadataSampleEntry可定義例如如下： class MetaDataSampleEntry(codingname) extends SampleEntry (codingname) { } 且其中VPCCSpatialRegionsBox可例如定義如下： 箱類型：    'vpsr' 容器：        VPCCSampleEntry ('vpc1'或'vpcg') 必備：        無 數量：        零或一 aligned(8) class VPCCSpatialRegionsBox extends FullBox('vpsr',0,0) { unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(1); unsigned int(8) num_track_groups; for (j=0; j ＜ num_track_groups; j++) { unsigned int(32) track_group_id; unsigned int(16) nal_group_id; } } }
體積後設資料軌可包括例如參照至V-PCC軌10002的'cdsc'軌。
體積後設資料軌的一或多個樣本可包括例如可將物件識別符映射至攜載V-PCC圖塊群（例如，該等V-PCC圖塊組，映射至一或多個對應物件）的一或多個軌群之表。該一或多個樣本可包括用於經傳訊物件（例如，各傳訊物件）的相依性清單，其可包括經傳訊物件所根據之其他物件的識別符。體積後設資料軌的樣本可例如定義如下： aligned(8) class VPCCVolumetricMetadataSample() { bit(1) region_updates_flag; bit(1) object_updates_flag; bit(6) reserved = 0; if (region_updates_flag) { unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(dimensions_included_flag); } } if (object_updates_flag) { unsigned int(8) num_obj_updates; for (i=0; i＜num_obj_updates; i++) { unsigned int(8) obj_index_length[i]; unsigned int(obj_index_length[i] * 8) object_id[i]; bit(1) obj_cancel_flag[i]; if (obj_cancel_flag[i]) { bit(7) reserved = 0; } else { bit(4) reserved = 0; bit(1) obj_spatial_region_mapping_flag[i]; bit(1) obj_dependencies_present_flag[i]; bit(1) obj_bounding_box_present_flag[i]; if (obj_bounding_box_present_flag[i]) { 3DSpatialRegionStruct(1); //不需要，若將各物件映射至3D區域 } if (obj_spatial_region_mapping_flag[i]) { //將物件映射至空間區域 unsigned int(8) num_spatial_regions[i]; for (j=0; j ＜ num_spatial_regions[i]; j++) { region_id[j][i]; } } else { //將物件映射至圖塊群軌 unsigned int(8) num_track_groups[i]; for (j=0; j ＜ num_track_groups[i]; j++) { unsigned int(32) track_group_id[j][i]; } } if (obj_dependencies_present_flag[i]) { unsigned int(8) num_obj_dependencies[i]; for (j=0; j ＜ num_obj_depedendencies[i]; j++) { unsigned int(8) obj_dep_index_length[j][i]; unsigned int(obj_dep_index_length[j][i] * 8) obj_index[j][i]; } } } } } } 其中3DSpatialRegionStruct可例如定義如下： aligned(8) class 3DPoint() { unsigned int(16) x; unsigned int(16) y; unsigned int(16) z; } aligned(8) class CuboidRegionStruct() { unsigned int(16) cuboid_dx; unsigned int(16) cuboid_dy; unsigned int(16) cuboid_dz; } aligned(8) class 3DSpatialRegionStruct(dimensions_included_flag) { unsigned int(16) 3d_region_id; 3DPoint anchor; if (dimensions_included_flag) { CuboidRegionStruct(); } }
VPCCVolumetricMetadataSample中之欄位之語義可包括例如下列之一或多者： region_updates_flag可指示例如一樣本是否包括至3D空間區域之更新； object_updates_flag可指示例如一樣本是否包括至點雲場景物件之更新； num_obj_updates可指示例如在樣本中更新的點雲場景物件的數目； obj_index_length[i]]可指示例如用於一樣本之一物件更新清單中之第i個物件的物件索引之長度（例如，位元組數目）； object_index[i]可指示例如一樣本之一物件更新清單中之第i個物件的索引； obj_cancel_flag[i]]可指示例如一樣本之一物件更新清單中的第i個物件是否取消； obj_spatial_region_mapping_flag[i]可指示例如是否可將至一空間區域的一映射傳訊用於一樣本之一物件更新清單中的第i個物件； obj_depdendencies_present_flag[i]可指示例如物件相依性資訊是否可用於一樣本之一物件更新清單中的第i個物件（例如，其中值0可指示該物件不相依於其他物件，且值1可指示該物件相依於一點雲場景中之一或多個物件）； obj_bounding_box_present_flag[i]可指示例如3D定界框資訊是否可用於一樣本之物件更新列表中的第i個物件（例如，其中值0可指示無給定定界框資訊，且值1可指示可於該樣本中傳訊用於第i個物件的3D定界框資訊）； num_syne_region[i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的第3D空間區域的數目； region_id[j][i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的第j個空間區域的識別符； num_track_group[i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的軌群的數目； track_group_id[j][i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的第j個軌群（例如，第j個圖塊組）的識別符； num_obj_depedencies[i]可指示例如一樣本之一物件更新清單中的第i個物件可相依於的物件的數目； obj_dep_index_length[j][i]可指示例如一樣本之一物件更新清單中的第i個物件可相依於的第j個物件之索引之長度（位元組數目）；或 obj_index[j][i]可指示例如一樣本之一物件更新清單中之第i個物件可相依於的第j個物件之索引。
在（例如，一額外的或替代的）實施例中，體積後設資料軌之樣本中的經更新物件可映射（例如，直接映射）至V-PCC圖塊群（例如，V-PCC圖塊組），包括例如與一或多個物件相關聯的補丁。對應的樣本格式語法（例如，針對此實施例）可例如如下： aligned(8) class VPCCVolumetricMetadataSample() { bit(1) region_updates_flag; bit(1) object_updates_flag; bit(6) reserved = 0; if (region_updates_flag) { unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(dimensions_included_flag); } } if (object_updates_flag) { unsigned int(8) num_obj_updates; for (i=0; i＜num_obj_updates; i++) { unsigned int(8) obj_index_length[i]; unsigned int(obj_index_length[i] * 8) object_id[i]; bit(1) obj_cancel_flag[i]; if (obj_cancel_flag[i]) { bit(7) reserved = 0; } else { bit(4) reserved = 0; bit(1) obj_spatial_region_mapping_flag[i]; bit(1) obj_dependencies_present_flag[i]; bit(1) obj_bounding_box_present_flag[i]; if (obj_bounding_box_present_flag[i]) { 3DSpatialRegionStruct(1); //不需要，若將各物件映射至3D區域 } if (obj_spatial_region_mapping_flag[i]) { //將物件映射至空間區域 unsigned int(8) num_spatial_regions[i]; for (j=0; j ＜ num_spatial_regions[i]; j++) { region_id[j][i]; } } else { //將物件映射至V-PCC圖塊群 unsigned int(8) num_tile_groups[i]; for (j=0; j ＜ num_tile_groups[i]; j++) { unsigned int(16) tile_group_id[j][i]; } } if (obj_dependencies_present_flag[i]) { unsigned int(8) num_obj_dependencies[i]; for (j=0; j ＜ num_obj_depedendencies[i]; j++) { unsigned int(8) obj_dep_index_length[j][i]; unsigned int(obj_dep_index_length[j][i] * 8) obj_index[j][i]; } } } } } }
用於樣本格式語法中之欄位的語義可類似於例如用於本文所述之一實施例中的樣本格式中之欄位，例如，下述一或多個欄位為例外，例如： num_tile_group[i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的V-PCC圖塊群或V-PCC圖塊組的數目；或 tile_group_id[j][i]可指示例如一樣本之一物件更新清單中的第i個物件可相關聯於的第j個V-PCC圖塊群（例如，第j個V-PCC圖塊組）的識別符。舉例而言，識別符可相同於V-PCC圖塊群的圖譜圖塊群標頭中的atgh_address的值（例如，其中atgh_address可指定圖塊群的圖塊群位址；atgh_address的值可經推斷為等於0，例如，若不存在）。
體積後設資料軌中之一樣本（例如，任何樣本）可標記為一同步樣本。對於體積後設資料軌中之一樣本，若參照之視覺體積基於視訊的編解碼(V3C)軌以及V3C及圖譜圖塊軌（媒體樣本所參照者，具有相同解碼時間）中的媒體樣本之至少一者係同步樣本，則該樣本可標示為一同步樣本。不具有與一同步樣本相同的解碼時間的一樣本可（例如，或可不）標記為一同步樣本。在一定時後設資料軌中之同步樣本可攜載該同步樣本之時間戳記處可用的空間區域及/或物件上（例如，可用的所有空間區域及/或物件）之資訊。在定時後設資料軌中之非同步樣本可承載相對於先前樣本對於空間區域及/或3D物件資訊至多至且包括第一先前同步樣本之更新（例如，僅更新）。
在實例中，體積後設資料軌之樣本中的經更新物件可映射至與攜載關於該經更新物件的資訊之圖譜圖塊群軌相關聯的軌ID，例如，若軌群組化並未用於群組化屬於相同圖譜圖塊群的軌，且圖譜圖塊群軌連結至相關聯之組件軌（例如，使用軌參考）。可例如藉由遵循來自圖譜圖塊群軌的軌參考，識別與圖塊群軌相關聯的V-PCC組件軌。
在一（例如，額外的或替代的）實施例中，體積後設資料軌的樣本可攜載體積註釋SEI訊息。
在一（例如，額外的或替代的）實施例中，體積後設資料軌可取代（例如，或可用於結合）動態空間區域定時後設資料軌（例如，如ISO/IEC CD 23090-10中所指定的），例如，作為可攜載用於點雲場景內之物件及/或3D空間區域的後設資料之一般軌。
可提供V-PCC圖譜軌。圖譜子位元流（例如，各圖譜子位元流）可攜載於稱為圖譜軌的分開軌中，例如，若V-PCC位元流具有超過一個的圖譜子位元流。圖譜軌可攜載（例如，僅攜載）屬於與一軌相關聯的圖譜子位元流之圖譜NAL單元。與一或多個圖塊群相關聯的NAL單元（例如，一或多個圖塊組）可攜載在分開的圖譜圖塊群軌，例如，若與圖譜軌相關聯的圖譜子位元流包括多個圖譜圖塊群（例如，多個圖譜圖塊組）。
可在分開之圖譜軌中攜載V-PCC位元流之圖譜子位元流。V-PCC軌10002可包括至各圖譜軌之軌參考（例如，使用4CC所定義之特定類型），其可連結一主軌至圖譜軌。
V-PCC圖譜軌可例如藉由VPCCAtlasSampleEntry樣本描述來識別。用於V-PCC圖譜軌的樣本項目類型可係例如'vpa1'或'vpag。'VPCCAtlasSampleEntry之定義可例如如下： 樣本項目類型：     'vpa1', 'vpag' 容器：                    Sample Description Box ('stsd') 必備：                    'vpa1'或'vpag'樣本項目係必備的 數量：                    可存在一或多個樣本項目 class VPCCAtlasSampleEntry() extends VolumetricSampleEntry ('vpa1'){ VPCCAtlasConfigurationBox config(); //可選的 } class VPCCAtlasConfigurationBox extends Box('vpaC') { VPCCAtlasConfigurationRecord() vpccAtlasConfig; } aligned(8) class VPCCAtlasConfigurationRecord { unsigned int(8) configurationVersion = 1; unsigned int(2) lengthSizeMinusOne; bit(6) reserved = 1; unsigned int(8) numOfSetupUnitArrays; for (j=0; j ＜ numOfSetupUnitArrays; j++) { bit(1) array_completeness; bit(1) reserved = 0; unsigned int(6) NAL_unit_type; unsigned int(8) numNALUnits; for (i=0; i ＜ numNALUnits; i++) { unsigned int(16) SetupUnitLength; nal_unit(SetupUnitLength) setupUnit; //（例如，如ISO/IEC 23090-5中所定義者） } } }
一樣本項目（例如，如本文中的實例所示）可描述一V-PCC圖譜軌的媒體樣本。在實例中，VPCCAtlasSampleEntry可不包括VPCCConfigurationBox。舉例而言，VPCCConfigurationBox可包括在主V-PCC軌之樣本描述中。可包括其他箱（例如，其他可選的箱）。
VPCCAtlasSampleEntry中之欄位的語義可包括例如下列一或多者： compressorname（例如，在基本類別VolumetricSampleEntry中）可指示例如與一值（例如，"\013VPCC編解碼"）一起使用之壓縮器的名稱，其中，例如，第一位元組可係剩餘位元組之計數（例如，由\013所表示，其中13（例如，八進位13）係11（例如，十進位11）及剩餘字串中的位元組之數目）； lengthSizeMinusOne加1可指示例如組態記錄施加至的圖譜流之樣本中的NALUnitLength欄位的長度（例如，位元組為單位）（例如，一位元組的大小可以0的值指示），其中欄位值可等於用於圖譜子流的sample_stream_nal_header()中的ssnh_unit_size_precision_bytes_minus1。 numOfSetupUnitArrays可例如指示所指示類型之圖譜NAL單元的陣列的數目； 舉例來說，array_completeness可指示（例如，若等於1）給定類型的圖譜NAL單元可在下一陣列中且都沒有在一串流中，或者（例如，若等於0）可指示一指示類型之額外圖譜NAL單元可在該串流中（例如，其中預設值及准許值可受到樣本項目名稱之限制）； NAL_unit_type可指示例如下一陣列中之圖譜NAL單元的類型（例如，其可具有指示類型），其中，Nal_unit_type可具有一值（例如，如ISO/IEC 23090-5中所定義），及/或其中Nal_unit_type可限制至一或多個值，其指示例如NAL_ASPS、NAL_AFPS、NAL_PREFIX_SEI、及/或NAL_SUFFIX_SEI單元； numNALUnits可指示例如一指示類型之圖譜NAL單元的數目，其可包括在組態記錄可施加至的串流的組態記錄中，其中SEI陣列可包括（例如，僅包括）宣告性質的SEI訊息（例如，提供關於關於整個串流的資訊之SEI訊息，諸如使用者資料SEI）； SetupUnitLength可指示setupUnit欄位之大小（以位元組為單位），中長度欄位可包括例如Nal單元標頭及/或Nal單元酬載之大小，且可不包括例如長度欄位；或 setupUnit可含有類型NAL_ASPS、NAL_AFPS、NAL_PREFIX_SEI、或NAL_SUFFIX_SEI（例如，如ISO/IEC 23090-5中所定義）的NAL單元，其中AL_PREFIX_SEI或NAL_SUFFIX_SEI（例如，若存在於setupUnit中）可含有「宣告」性質之SEI訊息。
可群組化用於圖譜（例如，相同的圖譜）之軌。在實例中，可例如使用軌群組化（例如，如ISO/IEC 14496-12中所述）及/或及/或經定義之軌群類型來將攜載屬於圖譜子位元流（例如，相同的圖譜子位元流）的資訊之軌（例如，所有軌）群組化在一起。用於圖譜的軌群可包括例如一圖譜軌及圖譜圖塊群軌及可與圖譜相關聯的V-PCC組件軌。軌群類型可例如使用'vpsg'TrackGroupTypeBox來定義，例如，如下（例如，其中TrackGroupTypeBox可具有ISO/IEC 14496-12中定義的track_group_id欄位）： aligned(8) class VPCCAtlasGroupBox extends TrackGroupTypeBox('vpsg') { unsigned int(6) atlas_id; bit(2) reserved = 0; }
VPCCAtlasGroupBox之欄位之語義可包括例如： atlas_id可指示例如軌群中的軌可相關聯之圖譜的索引，其中，例如，索引值可在0至63之含限值範圍內。
可傳訊靜態空間區域。靜態3D空間區域可針對V-PCC內容來定義。可在分開的軌中攜載圖譜圖塊群。可擴展VPCCSpatialRegionsBox（例如，如ISO/IEC 23090-10中所提供）可，以指示（例如，使用旗標，諸如all_tiles_in_single_track_flag）圖塊群（例如，所有圖塊組）是否攜載在單一圖塊軌中或者圖塊群之各者（例如，圖塊組之各者）是否分別攜載在圖譜圖塊群軌中。如本文之實例性語法中所提供，基於旗標的VPCCSpatialRegionsBox可將用於對應於圖譜圖塊群軌的各種軌（例如，所有軌）的軌群之軌群ID相關於3D空間區域（例如，VPCCSpatialRegionsBox中所傳訊的3D空間區域）。
用於VPCCSpatialRegionsBox的實例語法可提供如下： aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr',0,0) { bit(1) all_tiles_in_single_track_flag; bit(7) reserved = 0; unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(1); unsigned int(8) num_track_groups; for (j=0; j ＜ num_track_groups; j++) { if (all_tiles_in_single_track_flag == 1) { unsigned int(32) component_track_group_id; //用於含組件之軌群 unsigned int(16) nal_group_id; //用於具有（例如，全部）圖塊的圖譜軌 } else { unsinged int(32) tile_track_group_id; } } } }
用於VPCCSpatialRegionsBox之各種欄位可包括： all_tiles_in_single_track_flag，其可指示圖塊（例如，所有圖塊）是否攜載在用於對應的圖譜之V3C軌中或者圖塊（例如，所有圖塊）是否分別攜載在圖譜圖塊軌中。1之值可指示，例如，圖塊（例如，所有圖塊）係攜載在V3C軌中。0之值可指示，例如，圖塊係攜載在分開的圖譜圖塊中； component_track_group_id，其可識別攜載用於相關聯3D空間區域之V3C組件的軌的軌群；或 tile_track_group_id，其可識別用於相關3D空間區域之圖譜圖塊軌的軌群。
在實例中，可傳訊與3D空間區域相關聯之圖譜圖塊群軌的軌ID（例如，僅軌ID），且可識別圖譜圖塊軌的組件軌（例如，藉由遵循從圖譜圖塊群軌至組件軌的軌參考），舉例而言，若未使用軌群組化將屬於圖譜圖塊群（例如，相同圖譜圖塊群）的軌群組化，且圖譜圖塊群軌使用軌參考連結至相關聯的組件軌。
用於VPCCSpatialRegionsBox的實例語法可如下： aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr',0,0) { bit(1) all_tiles_in_single_track_flag; bit(7) reserved = 0; unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(1); unsigned int(8) num_track_groups; for (j=0; j ＜ num_track_groups; j++) { if (all_tiles_in_single_track_flag == 1) { unsigned int(32) component_track_group_id; //用於含組件之軌群 unsigned int(16) nal_group_id; //用於具有所有圖塊之圖譜軌 } else { unsinged int(32) tile_track_id; } } } }
在實例中，tile_track_id可表示與3D空間區域相關聯之一圖譜圖塊群軌的軌ID。
可實施傳訊視埠資訊之系統、方法、及/或指示。在實例中，可傳訊一或多個相機參數。六個自由度(6 DoF）視埠可藉由兩種類型的相機參數來定義，例如：非固有(extrinsic)相機參數及固有(intrinsic)相機參數。可傳訊非固有相機參數（例如，使用ExtCameraInfoStruct資料結構。
ExtCameraInfoStruct資料結構的實例語法可如下。 aligned(8) class ExtCameraInfoStruct() { //位置 signed int(32) pos_x; signed int(32) pos_y; signed int(32) pos_z; //定向 signed int(32) quat_x; signed int(32) quat_y; signed int(32) quat_z; }
用於ExtCameraInfoStruct所定義之欄位的語義可如下。 pos_x、pos__y、及pos_z可分別指示在全域參考座標系統中視埠之位置的x座標、y座標及z座標（以公尺為單位）。座標之值可以2−16 公尺為單位。 quat_x、quat_y、及quat_z可使用四元數(quaternion)表示來分別指示視埠區域之旋轉的x、y、及z分量。座標的值可為在−1至1之含括範圍內的一浮點值。該等值可指定用於旋轉的x、y、及z分量，即qX、qY及qZ，其等經應用以使用四元數表示將全域座標軸轉換成相機之局域座標軸。可如下計算一四元數qW的第四分量： qW = sqrt(1 - (qX2 + qY2 + qZ2 )) 點(w, x, y, z)可表示圍繞由向量(x, y, z)以角度2*cos ^{-1}(w)=2*sin ^{-1}(sqrt(x^{2}+y^{2}+z^{2}))所定向之軸的旋轉。
可例如使用IntCameraInfoStruct資料結構來傳訊固有相機參數。
舉例來說，可傳訊例如基於非固有及固有相機參數之視埠資訊（例如，使用ViewportInfoStruct資料結構）。
ViewportInfoStruct資料結構的實例語法可如下。 aligned(8) class ViewportInfoStruct(ext_camera_flag, int_camera_flag) { if (ext_camera_flag == 1) { bit(1) center_view_flag; bit(6) reserved = 0; if (center_view_flag == 0) { bit(1) left_view_flag; } else { bit(1) reserved = 0; } ExtCameraInfoStruct extCamInfo(); } if (int_camera_flag == 1) { IntCameraInfoStruct intCamInfo(); } }
用於ViewportInfoStruct所定義之欄位的語義可如下。 center_view_flag可係指示經傳訊視埠位置是否對應於視埠之中心及/或視埠之兩個立體位置之一者的旗標。值1可指示經傳訊視埠位置對應於視埠之中心。值0可指示經傳訊視埠位置對應於視埠之兩個立體位置中之一者。 left_view_flag可係指示經傳訊視埠資訊是否對應於視埠之左立體位置或右立體位置的旗標。值1可指示經傳訊視埠資訊對應於視埠之左立體位置。值0可指示經傳訊視埠資訊對應於視埠之右立體位置。 extCamInfo可係定義視埠之非固有相機參數的ExtCameraInfoStruct的實例。 intCamInfo可係定義視埠之固有相機參數的IntCameraInfoStruct實例。
可實施一視埠定時後設資料軌。在實例中，用於指示6DoF視埠的通用定時後設資料可包括SampleDescriptionBox中的ViewportInfoSampleEntry。定時後設資料的目的可藉由軌樣本項目類型來指示。一實例ViewportInfoSampleEntry資料結構可包括一ViewportConfigurationBox資料結構（例如，一ViewportConfigurationBox資料結構）。
ViewportConfigurationBox資料結構的實例語法可如下。 aligned(8) class ViewportConfigurationBox extends FullBox('6vpc', version=0, 0) { bit(1) dynamic_int_camera_flag; bit(1) dynamic_ext_camera_flag; bit(6) reserved = 0; if (dynamic_int_camera_flag == 0) { IntCameraInfoStruct(); } if (dynamic_ext_camera_flag == 0) { ExtCameraInfoStruct(); } } aligned(8) class ViewportInfoSampleEntry(type) extends MetadataSampleEntry (type) { ViewportConfigurationBox(); //必備 Box[] other_boxes; //可選的 }
ViewportConfigurationBox資料結構中所定義之欄位的語義可如下。 dynamic_int_camera_flag等於0可指示針對參照樣本項目的所有樣本，固有相機參數係固定的。若dynamic_ext_camera_flag等於0，則dynamic_int_camera_flag可等於0。 dynamic_ext_camera_flag等於0可指示針對參照樣本項目的所有樣本，非固有相機參數係固定的。
視埠後設資料軌之樣本格式（例如，所有視埠後設資料軌）可開始於一共同部分，且後續可係對於視埠後設資料的樣本項目係特定的延伸部分。可實施視埠後設資料軌之樣本格式。
ViewportInfoSample資料結構的實例語法可如下。 aligned(8) class ViewportInfoSample() { unsigned int(8) num_viewports; for (i=1; i ＜= num_viewports; i++) { unsigned int(7) viewport_id[i]; bit(1) viewport_cancel_flag[i]; if (!viewport_cancel_flag[i]) { bit(1) int_camera_flag[i]; bit(1) ext_camera_flag[i]; bit(6) reserved = 0; ViewportInfoStruct(ext_camera_flag[i], int_camera_flag[i]); } } }
用於ViewportInfoSample所定義之欄位的語義可如下。 num_vippottmay可指示樣本中傳訊的視埠的數目。 viewport_id[i]可係可用於識別第i個視埠的識別符數目。 Viewport_cancel_flag[i]等於1可指示具有id等於1可指示具有id viewport_id[i]之視埠可能已取消。指示第i個視埠之視埠資訊遵循（例如，其可將旗標值調節為0）。 int_camera_flag[i]等於1可指示固有相機參數存在於目前樣本的第i個視埠相機參數中。int_camera_flag[i]可等於0，例如，若dynamic_int_camera_flag等於0。此外，int_camera_flag[i]可設定為0，例如，若ext_camera_flag等於0。 ext_camera_flag[i]等於1可指示非固有相機參數存在於目前樣本的第i個視埠相機參數組中。ext_camera_flag[i]可等於0，例如，若dynamic_camera_flag[i]等於0。
若存在視埠定時後設資料軌，則可存在由ExtCameraInfoStruct()所表示的非固有相機參數，例如，在樣本項目或樣本層級處。可禁止下列並行發生：對於所有樣本，dynamic_ext_camera_flag等於0，以及對於所有樣本ext_cam_flag[i]等於0。
若以「cdsc」軌參考將定時後設資料軌連結至一或多條媒體軌，則該定時後設資料軌可個別描述該一或多個媒體軌（例如，各媒體軌）。
可實施建議視埠。建議視埠後設資料軌可包括RecommendedViewportSampleEntry資料結構。RecommendedViewportSampleEntry資料結構可擴展ViewportInfoSampleEntry資料結構且可包括額外RecommendedViewportInfoBox，其可識別建議視埠後設資料軌中傳訊之建議視埠之類型。
RecommendedViewportSampleEntry資料結構的實例語法可如下。 aligned(8) class RecommendedViewportInfoBox extends FullBox('6rvi', version=0, 0) { unsigned int(7) viewport_type; bit(1) reserved = 0; string viewport_description; } class RecommendedViewportSampleEntry() extends ViewportInfoSampleEntry('6rvp') { RecommendedViewportInfoBox(); //必備 }
用於RecommendedViewportInfoBox所定義之欄位的語義可如下。 針對參照至包括theRecommendedViewportInfoBox的樣本項目之所有樣本，viewport_type可指定視埠的類型，如表3中所列。 viewport_description可為空值終端(null-terminated)之UTF-8字串，其提供視埠類型之文字描述。
表3展示視埠類型之實例。 表3-視埠類型
值 描述
0 導演式樣之建議視埠，例如依據內容作者或內容提供者之創作意圖所建議之視埠
1 基於觀看統計之測量而選擇的建議視埠
2 基於另一使用者之經選擇視埠的建議視埠
3..110 保留
111..127 未指定（用於應用或外部規格）
視埠後設資料軌中之樣本可具有與ViewportInfoSample相同的格式
可實施初始視埠。在實例中，後設資料可指示例如，若播放相關聯的媒體軌應使用的初始視埠。
若播放一檔案（例如，且當該檔案包括初始視埠後設資料軌時），可預期播放器會解析與媒體軌相關聯之初始視埠後設資料軌，且在渲染該媒體軌時，遵守該初始視埠後設資料軌。
可例如以樣本項目類型「6inv」（其可用於初始視埠後設資料軌）實施資料結構ViewportInfoSampleEntry。
可實施初始視埠軌之樣本。
用於InitialViewportSample資料結構的實例語法可具有以下格式。 aligned(8) class InitialViewportSample() extends ViewportInfoSample() { unsigned int(1) refresh_flag; bit(7) reserved = 0; }
用於InitialViewportSample所定義之欄位的語義可如下。 refresh_flag等於0可指定應使用經傳訊視埠，例如，若從相關的媒體軌中的時間平行樣本開始回播。refresh_flag等於1可指定應總是使用經傳訊視埠，例如，若渲染各相關媒體軌之時間平行樣本，例如，在連續回播中以及當從時間平行樣本開始回播時兩者。
可支援空間縮放性能。在實例中，補丁（例如，在V3C中）可支援一特徵，該特徵在編解碼補丁的相關資訊之前能夠跨不同維度次取樣一補丁。該特徵可稱為精細度(LoD)補丁模式。圖譜圖塊可允許將圖譜分割成獨立可解碼矩形區域。在一實例中，在獨立可解碼矩形區域中的補丁可不被允許使用來自其他獨立可解碼矩形區域中的補丁的資訊。結合圖譜圖塊及補丁LoD模式可實現各種用於不同應用的縮放性能特徵。
可傳訊靜態空間區域的LoD（精細度）。為了傳訊靜態空間區域的LoD，可藉由引入一額外spatial_scalability_enabled_flag來擴展V3CSpatialRegionsBox的語法。spatial_scable_enible_flag可傳訊針對攜載的V3C內容是否支援多個LoD。若旗標被設定，則V3CSpatialRegionsBox中傳訊的3D空間區域（例如，各3D空間區域）可包括一額外num_lods欄位，其指示可用於該3D空間區域之LoD之數目。可傳訊對於與一空間區域相關聯之各LoD之特性。在一實例中，可傳訊針對LoD的至含有補丁的圖塊的對應圖塊ID之映射。
V3CSpatialRegionsBox資料結構的實例語法（例如，支援多個LoD的擴展）可具有下列格式。 aligned(8) class LoDInfoStruct() { unsigned int(16) lod_scale_min_x; unsigned int(16) lod_scale_min_y; unsigned int(16) lod_scale_max_x; unsigned int(16) lod_scale_max_y; } aligned(8) class 3DRegionTileMappingStruct(all_tiles_in_single_track_flag) { if (all_tiles_in_single_track_flag) { unsigned int(8) num_track_groups; for (j=0; j ＜ num_track_groups; j++) { unsigned int(32) component_track_group_id; unsigned int(8) num_tiles; for (k=0; k ＜ num_tiles; k++) { unsigned int(16) tile_id; } } } else { unsigned int(8) num_tile_tracks; for (j=0; j ＜ num_tile_tracks; j++) { unsigned int(32) tile_track_id; } } } aligned(8) class ObjectTileMappingStruct() { unsigned int(obj_idx_length * 8) soi_object_idx; unsigned int(8) obj_num_tiles; for (k=0; k ＜ obj_num_tiles; k++) { unsigned int(16) obj_tile_id; } } aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) { bit(1) all_tiles_in_single_track_flag; bit(1) spatial_scalability_enabled_flag; bit(6) reserved = 0; unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(1); if (spatial_scalability_enabled_flag) { unsigned int(8) num_lod; for (j=0; j ＜ num_lod; j++) { unsigned int(8) lod_id; LoDInfoStruct(); 3DRegionTileMappingStruct(all_tiles_in_single_track_flag); } } else { 3DRegionTileMappingStruct(all_tiles_in_single_track_flag); } unsigned int(8) num_objects; unsigned int(8) obj_idx_length; for (j=0; j ＜ num_objects; j++) ObjectTileMappingStruct(); } } }
上文所定義之欄位的語義可如下： lod_scale_min_x及lod_scale_min_y可指示與LoD相關聯的一或多個圖塊中之一或多個補丁的局域x及y座標的最小LoD縮放因子（例如，pdu_lod_scale_x_minus1最小值及pdu_lod_scale_y_idc最小值分別橫越LoD中的補丁（例如，所有補丁））。 lod_scale_max_x及lod_scale_max_y可指示與LoD相關聯的一或多個圖塊中之一或多個補丁的局域x及y座標的最大LoD縮放因子（例如，pdu_lod_scale_x_minus1最大值及pdu_lod_scale_y_idc最大值分別橫越LoD中的補丁（例如，所有補丁））。
可傳訊動態空間區域之LoD。為了傳訊動態空間區域的LoD，體積後設資料軌之一或多個樣本的樣本格式可支援傳訊樣本中所列的空間區域（例如，各空間區域）的LoD。可傳訊LoD與含有針對LoD（例如，各LoD）的補丁的圖譜圖塊之間的映射。
用於VPCCVolumetricMetadataSample資料結構的實例語法可具有以下格式。 aligned(8) class VPCCVolumetricMetadataSample() { bit(1) region_updates_flag; bit(1) object_updates_flag; bit(6) reserved = 0; if (region_updates_flag) { unsigned int(16) num_regions; for (i=0; i ＜ num_regions; i++) { 3DSpatialRegionStruct(dimensions_included_flag); bit(1) update_mapping_flag; bit(7) reserved = 0; if (update_mapping_flag) { if (spatial_scalability_enabled_flag) { unsigned int(8) num_lod; for (j=0; j ＜ num_lod; j++) { unsigned int(8) lod_id; LoDInfoStruct(); 3DRegionTileMappingStruct(all_tiles_in_single_track_flag); } } else { 3DRegionTileMappingStruct(all_tiles_in_single_track_flag); } } } } if (object_updates_flag) { ... } }
在實例中，object_updates_flag可與物件添加、及/或物件移除之一或多者相關聯。
可基於適應性LoD來實施播放器行為。在實例中，播放器可識別動態體積後設資料的存在，例如，若解析一檔案且利用DynamicVolumetricMetadataSampleEntry及至V3C軌的「cdsc」軌參考而找到定時後設資料軌。例如，若沒有動態體積後設資料軌與用於V3C內容的主軌相關聯，且V3CSpatialRegionsBox存在於主軌中，則一組靜態3D空間區域可與V3C內容相關聯。在回播期間的時間點（例如，任何時間點），播放器可基於V3CSpatialRegionsBox（例如，在靜態空間區域的情況下）中或動態體積後設資料軌的樣本（例如，在動態空間區域的情況下）中傳訊的一或多個空間區域的目前視埠及特徵來識別一組目標3D空間區域。例如，若針對在V3CSpatialRegionsBox或動態體積後設資料軌的樣本中傳訊的3D空間區域及/或物件致能縮放性能，播放器可基於一或多個限制（例如，目前視埠及/或可用網路頻寬）決定用於各目標空間區域之所欲LoD。對於各目標空間區域的各目標LoD，播放器可基於V3CSpatialRegionsBox或動態體積後設資料軌的樣本中的映射而識別與LoD相關聯的圖塊的圖塊ID。播放器可識別攜載與目標LoD相關聯的圖塊之圖譜圖塊軌（例如，藉由檢查圖譜圖塊軌的樣本項目中的圖塊ID）。可藉由從所選擇圖譜圖塊軌至組件軌的後續軌參考，來識別對應之組件軌。
可在圖譜圖塊軌中傳訊LoD資訊。為了促進對於LoD的有效率存取，圖譜圖塊軌所攜載之圖塊可受限於與相同LoD相關聯的圖塊。在串流應用的情況下，這可促成播放器及/或串流用戶端從提供目標LoD的圖塊軌下載資料。
用於AltasTileSampleEntry的實例語法可實現傳訊圖譜圖塊軌所攜載之圖塊的LoD資訊。 aligned(8) class AtlasTileSampleEntry() extends VolumetricVisualSampleEntry ('v3t1') { unsigned int(8) configurationVersion = 1; unsigned int(2) lengthSizeMinusOne; bit(1) spatial_scalability_enabled_flag; bit(5) reserved = 0; if (spatial_scalability_enabled_flag) { unsigned int(8) lod_id; LoDInfoStruct(); } unsigned int(16) num_tiles; for(i=0; i ＜ num_tiles; i++){ unsigned int(16) tile_id; } }
上文所定義之欄位的語義可如下： spatial_scalability_enabled_flag可指示LoD模式是否針對一圖譜圖塊軌致能。 lod_id可為LoD的識別符。 LoDInfoStruct()可為LoDInfoStruct的實例，其可攜載LoD上之資訊。
在實例中，圖譜圖塊可包括與不同LoD相關聯的圖塊軌。
可提供用於AtlasTileSampleEntry的實例語法，例如，以支援兩個使用情況（例如，用於圖譜圖塊軌的單一LoD及圖譜圖塊軌中每圖塊的多個LoD），如下所述。 aligned(8) class AtlasTileSampleEntry() extends VolumetricVisualSampleEntry ('v3t1') { unsigned int(8) configurationVersion = 1; unsigned int(2) lengthSizeMinusOne; bit(1) spatial_scalability_enabled_flag; if (spatial_scalability_enabled_flag) { bit(1) single_lod_flag; bit(4) reserved = 0; } else { bit(5) reserved = 0; } if (spatial_scalability_enabled_flag && single_lod_flag) { unsigned int(8) lod_id; LoDInfoStruct(); } unsigned int(16) num_tiles; for(i=0; i ＜ num_tiles; i++){ unsigned int(16) tile_id; if (spatial_scalability_enabled_flag && !single_lod_flag) { unsigned int(8) lod_id; LoDInfoStruct(); } } }
上文所揭示之旗標之語義可如下。 single_lod_flag可指示由圖譜圖塊軌所攜載的所有圖塊是否屬於相同的LoD。值1可指示所有圖塊屬於相同LoD。否則，各圖塊可與不同的LoD相關聯。
圖11顯示與3D空間相關聯之圖譜框的圖塊映射之一實例。可將3D空間分割成一或多個空間區域，顯示於圖11中，如V0、V1、V2、V3、及V4。該等空間區域之各者可經映射至與圖譜框相關聯之一組V-PCC圖塊（例如，V-PCC圖塊群）。V0、V1、V2、V3、及V4可經分別映射至圖塊群0、1、2、3、及4。將空間區域之各者映射至該組圖塊可係基於圖塊識別（例如，tile_group_id），如關於圖10所描述者。
與各空間區域映射至一組圖塊相關聯的映射資訊可攜載在多個軌中。舉例而言，與映射空間區域V0至圖塊群0相關聯的映射資訊可攜載在軌0中，而與映射空間區域V1至圖塊群1相關聯的映射資訊可攜載在軌1中。可使用軌識別（例如，track_group_id，相關於圖10所描述者）來整合該映射資訊。可在定時後設資料V-PCC位元流中傳訊軌識別及/或圖塊識別。在此一情況下，可解碼與經傳訊軌識別相關聯的軌，且可呈現映射資訊給一相關聯之圖塊組。
物件11000可與一或多個空間區域相關聯。該物件可係使用者可能感興趣的一區域及/或品項。一或多個旗標（例如，obj_spatial_region_mapping_flag[i]）可用於指示物件與一或多個空間區域相關聯，如關於圖10所述。可在定時後設資料V-PCC位元流中傳訊該等旗標。
可使用一或多個旗標來指示與空間區域（例如，region_updates_flag）及/或物件（例如，object_updates_flag）相關聯之變化（例如，更新），如於圖10中所述。該（等）旗標可攜載在與該組圖塊相關聯之軌中。可解碼包括一旗標之一軌，且可使用映射資訊以存取與已更新的空間區域相關聯的圖塊組，例如，而沒有旗標的軌不需要解碼。
一或多個補丁可與一組圖塊相關聯。在實例中，補丁可經映射至圖塊組（例如，圖塊群）。如所示，在圖11的一實例中，圖塊群0可包括補丁P0、P1、P2、P3、及P4。圖塊群1可包括補丁P0及P1。圖塊群2可包括補丁P0、P1、及P2；及圖塊群3可包括補丁P0。圖塊群4可包括補丁P1、P2、及P3。補丁可指示與由空間區域所表示之物件相關聯的定向。
本文描述用於在用於基於視訊的點雲流的國際標準組織基本媒體檔案格式(International Organization for Standardization Base Media File Format, ISOBMFF)容器中的部分存取支援之系統、裝置、及方法。檔案格式結構可實現對於經編解碼點雲序列的不同部分（例如，封裝在ISOBMFF容器中）的彈性、部分存取。
一視訊編碼裝置可將一3D空間分割成一第一空間區域及一第二空間區域。該視訊編碼裝置可將該第一空間區域映射至一第一組V-PCC圖塊及將該第二空間區域映射至一第二組V-PCC圖塊。第一組V-PCC圖塊及第二組V-PCC圖塊之各者可與一圖譜框(atlas frame)相關聯。該第一組V-PCC圖塊及該第二組V-PCC圖塊之各者可獨立地解碼。將該第一空間區域映射至該第一組V-PCC圖塊及將該第二空間區域映射至該第二組V-PCC圖塊之各者可係基於圖塊識別及/或軌識別。該第一組V-PCC圖塊可與一第一組補丁(patch)相關聯，且該第二組V-PCC圖塊可與一第二組補丁相關聯。該視訊編碼裝置可判定一第一軌，以攜載與經映射至該第一組V-PCC圖塊的該第一空間區域相關聯的第一映射資訊。該視訊編碼裝置可判定一第二軌，以攜載與經映射至該第二組V-PCC圖塊的該第二空間區域相關聯的第二映射資訊。該視訊編碼裝置可在一定時後設資料(timed-metadata) V-PCC位元流中發送該第一軌及該第二軌。該第一軌及該第二軌可在一媒體容器檔案中經發送。
該視訊編碼裝置可判定一更新維度旗標。更新維度旗標可指示該第一空間區域之一或多個維度之一更新或該第二空間區域之一或多個維度之一更新。該視訊編碼裝置可在該定時後設資料V-PCC位元流中發送該更新維度旗標。
該第一空間區域可與一第一物件相關聯。該第二空間區域可與一第二物件相關聯。該視訊編碼裝置可判定一或多個物件旗標，其指示該第一空間區域與該第一物件相關聯，且該第二空間區域與該第二物件相關聯。該視訊編碼裝置可在該定時後設資料V-PCC位元流中發送該（等）物件旗標。該視訊編碼裝置可判定一物件相依性旗標，其指示與該第一空間區域相關聯之該第一物件係相依於與該第二空間區域相關聯之該第二物件，且可在該定時後設資料V-PCC位元流中發送該物件相依性旗標。該視訊編碼裝置可判定一更新物件旗標，其指示與該第一空間區域相關聯之該第一物件之一更新或與該第二空間區域相關聯之該第二物件之一更新，且可在該定時後設資料V-PCC位元流中發送該更新物件旗標。
雖然於上文描述採特定組合的特徵及元件，所屬技術領域中具有通常知識者將理解各特徵或元件可單獨使用或與其他特徵及元件組合使用。額外地，本文描述的方法可以併入電腦可讀媒體中以用於由電腦或處理器執行的電腦程式、軟體、或韌體實施。電腦可讀媒體的實例包括電子信號（透過有線或無線連接傳輸）及電腦可讀儲存媒體。電腦可讀儲存媒體的實例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體（諸如內接硬碟及可移除式磁碟）、磁光媒體、及光學媒體（諸如，CD-RAM光碟、及數位多功能光碟(digital versatile disk, DVD)）。與軟體關聯的處理器可用以實施用於在WTRU、UE、終端機、基地台、RNC、或任何主機電腦中使用的射頻收發器。
100:通訊系統 102a,102b,102c,102d:無線傳輸/接收單元(WTRU) 104/113:RAN 106/115:CN 108:公共交換電話網路 110:網際網路 112:其他網路 114a,114b:基地台 115,116,117:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:鍵板 128:顯示器/觸控板 130:非可移除式記憶體 132:可移除式記憶體 134:電源 136:全球定位系統晶片組 138:週邊設備 160a,160b,160c:eNode-B 162:移動性管理實體 164:服務閘道 166:封包資料網路閘道（或PGW） 180a,180b,180c:gNB 182a,182b:存取及移動性管理功能 183a,183b:SMF 184a,184b:使用者平面功能 185a,185b:資料網路 200:視訊編碼器 201,202,205,210,225,230,240,245,250,255,260,270,275,280:步驟 300:解碼器 330,335,340,350,355,360,365,370,380,385:步驟 400:系統 410:處理器 420:記憶體 425:連接配置 430:編碼器/解碼器模組 440:儲存裝置 445:輸入區塊 450:通訊介面 460:通訊通道 470,480,490:介面 475:顯示器 485:揚聲器 495:周邊裝置 500:系統介面 502:伺服器 504:網際網路 506:其他網路 508:頭戴式顯示器(HMD) 510:用戶端 512:圖形處理器 600:系統介面 602:伺服器 604:用戶端 700:實例 702,704,706,708:步驟 10002:V-PCC軌 10004:佔用 10006:幾何 11000:物件 V0,V1,V2,V3,V4:空間區域
〔圖1A〕係繪示一或多個經揭示實施例可實施於其中之實例通訊系統的系統圖。 〔圖1B〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線傳輸/接收單元(wireless transmit/receive unit, WTRU)的系統圖。 〔圖1C〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線電存取網路(radio access network, RAN)及實例核心網路(core network, CN)的系統圖。 〔圖1D〕係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的進一步實例RAN及進一步實例CN的系統圖。 〔圖2〕為顯示基於區塊的視訊編碼器之實例的圖。 〔圖3〕為顯示視訊解碼器之實例的圖。 〔圖4〕係顯示可實施各種態樣及實例之系統實例的圖。 〔圖5〕為顯示伺服器與用戶端之間的實例介面的圖。 〔圖6〕為顯示伺服器與用戶端之間的實例介面的圖。 〔圖7〕係顯示用戶端（例如，頭戴式顯示器(head-mounted display, HMD)）請求內容的實例的圖。 〔圖8〕係顯示作為V-PCC單元序列之基於視訊的點雲壓縮(V-PCC)位元流結構之實例的圖。 〔圖9〕係顯示一圖譜框之圖塊及圖塊群分割的實例的圖。 〔圖10〕為顯示一多軌ISOBMFF V-PCC容器之一實例結構的圖。 〔圖11〕顯示與三維(3D)空間相關聯之圖譜框的圖塊映射之一實例。
100:通訊系統
102a,102b,102c,102d:無線傳輸/接收單元(WTRU)
104:RAN
106:CN
108:公共交換電話網路
110:網際網路
112:其他網路
114a,114b:基地台
116:空中介面

Claims (20)

  1. 一種視訊編碼裝置，其包含： 一處理器，其經組態以： 將一三維(3D)空間分割成一第一空間區域及一第二空間區域； 將該第一空間區域映射至一第一組視訊點雲編解碼(video point cloud coding, V-PCC)圖塊及將該第二空間區域映射至一第二組V-PCC圖塊，其中該第一組V-PCC圖塊及該第二組V-PCC圖塊之各者與一圖譜框(atlas frame)相關聯； 判定一第一軌，以攜載與經映射至該第一組V-PCC圖塊的該第一空間區域相關聯的第一映射資訊； 判定一第二軌，以攜載與經映射至該第二組V-PCC圖塊的該第二空間區域相關聯的第二映射資訊；及 在一定時後設資料(timed-metadata) V-PCC位元流中發送該第一軌及該第二軌。
  2. 如請求項1之視訊編碼裝置，其中該處理器進一步經組態以： 判定一更新維度旗標，其指示該第一空間區域之一或多個維度之一更新或該第二空間區域之一或多個維度之一更新；及 在該定時後設資料V-PCC位元流中發送該更新維度旗標。
  3. 如請求項1之視訊編碼裝置，其中將該第一空間區域映射至該第一組V-PCC圖塊及將該第二空間區域映射至該第二組V-PCC圖塊之各者係基於圖塊識別或軌識別。
  4. 如請求項1之視訊編碼裝置，其中該第一空間區域與一第一物件相關聯，且該第二空間區域與一第二物件相關聯。
  5. 如請求項4之視訊編碼裝置，其中該處理器進一步經組態以： 判定一物件旗標，其指示至一或多個空間區域之一映射是否經傳訊；及 在該定時後設資料V-PCC位元流中發送該物件旗標。
  6. 如請求項4之視訊編碼裝置，其中該處理器進一步經組態以： 判定一物件相依性旗標，其指示與該第一空間區域相關聯之該第一物件係相依於與該第二空間區域相關聯之該第二物件；及 在該定時後設資料V-PCC位元流中發送該物件相依性旗標。
  7. 如請求項4之視訊編碼裝置，其中該處理器進一步經組態以： 判定一更新物件旗標，其指示與該第一空間區域相關聯之該第一物件之一更新或與該第二空間區域相關聯之該第二物件之一更新；及 在該定時後設資料V-PCC位元流中發送該更新物件旗標。
  8. 如請求項1之視訊編碼裝置，其中該第一空間區域及該第二空間區域係與一物件相關聯。
  9. 如請求項8之視訊編碼裝置，其中該處理器進一步經組態以： 判定一物件旗標，其指示該第一空間區域及該第二空間區域係與一物件相關聯；及 在該定時後設資料V-PCC位元流中發送該物件旗標
  10. 如請求項1之視訊編碼裝置，其中該第一組V-PCC圖塊係與一第一組補丁相關聯，且該第二組V-PCC圖塊係與一第二組補丁相關聯。
  11. 如請求項1之視訊編碼裝置，其中該第一組V-PCC圖塊及該第二組V-PCC圖塊之各者係獨立地可解碼。
  12. 如請求項1之視訊編碼裝置，其中該第一軌及該第二軌在一媒體容器檔案中發送。
  13. 一種方法，其包含： 將一三維(3D)空間分割成一第一空間區域及一第二空間區域； 將該第一空間區域映射至一第一組視訊點雲編碼(V-PCC)圖塊及將該第二空間區域映射至一第二組V-PCC圖塊，其中該第一組V-PCC圖塊及該第二組V-PCC圖塊之各者與一圖譜框相關聯； 判定一第一軌，以攜載與經映射至該第一組V-PCC圖塊的該第一空間區域相關聯的第一映射資訊； 判定一第二軌，以攜載與經映射至該第二組V-PCC圖塊的該第二空間區域相關聯的第二映射資訊；及 在一定時後設資料V-PCC位元流中發送該第一軌及該第二軌。
  14. 如請求項13之方法，其進一步包含： 判定一更新維度旗標，其指示該第一空間區域之一或多個維度之一更新或該第二空間區域之一或多個維度之一更新；及 在該定時後設資料V-PCC位元流中發送該更新維度旗標。
  15. 如請求項13之方法，其中將該第一空間區域映射至該第一組V-PCC圖塊及將該第二空間區域映射至該第二組V-PCC圖塊之各者係基於圖塊識別或軌識別。
  16. 如請求項13之方法，其中該第一空間區域與一第一物件相關聯，且該第二空間區域與一第二物件相關聯。
  17. 如請求項16之方法，其進一步包含： 判定一物件旗標，其指示至一或多個空間區域之一映射是否經傳訊；及 在該定時後設資料V-PCC位元流中發送該物件旗標。
  18. 如請求項16之方法，其進一步包含： 判定一物件相依性旗標，其指示與該第一空間區域相關聯之該第一物件係相依於與該第二空間區域相關聯之該第二物件；及 在該定時後設資料V-PCC位元流中發送該物件相依性旗標。
  19. 如請求項16之方法，其進一步包含： 判定一更新物件旗標，其指示與該第一空間區域相關聯之該第一物件之一更新或與該第二空間區域相關聯之該第二物件之一更新；及 在該定時後設資料V-PCC位元流中發送該更新物件旗標。
  20. 如請求項13之方法，其中該第一空間區域及該第二空間區域係與一物件相關聯。
TW110113356A 2020-04-14 2021-04-14 用於基於視訊的點雲流的ｉｓｏｂｍｆｆ容器中的部分存取支援 TW202205857A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202063009931P 2020-04-14 2020-04-14
US63/009,931 2020-04-14
US202063042892P 2020-06-23 2020-06-23
US63/042,892 2020-06-23
US202063062983P 2020-08-07 2020-08-07
US63/062,983 2020-08-07
US202063087425P 2020-10-05 2020-10-05
US63/087,425 2020-10-05

Publications (1)

Publication Number Publication Date
TW202205857A true TW202205857A (zh) 2022-02-01

Family

ID=75787291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110113356A TW202205857A (zh) 2020-04-14 2021-04-14 用於基於視訊的點雲流的ｉｓｏｂｍｆｆ容器中的部分存取支援

Country Status (8)

Country Link
US (1) US20230188751A1 (zh)
EP (1) EP4136846A1 (zh)
JP (1) JP2023523393A (zh)
KR (1) KR20230002615A (zh)
CN (1) CN115486076A (zh)
IL (1) IL297255A (zh)
TW (1) TW202205857A (zh)
WO (1) WO2021211665A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114762356B (zh) * 2019-12-13 2024-06-11 索尼集团公司 图像处理装置和方法
EP4167573A4 (en) * 2020-06-12 2023-12-13 Sony Group Corporation DEVICE AND METHOD FOR PROCESSING INFORMATION

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
WO2020070379A1 (en) * 2018-10-03 2020-04-09 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds

Also Published As

Publication number Publication date
CN115486076A (zh) 2022-12-16
JP2023523393A (ja) 2023-06-05
KR20230002615A (ko) 2023-01-05
US20230188751A1 (en) 2023-06-15
EP4136846A1 (en) 2023-02-22
IL297255A (en) 2022-12-01
WO2021211665A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
AU2019342612B2 (en) Methods and apparatus for point cloud compression bitstream format
US20240195999A1 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
US20230188751A1 (en) Partial access support in isobmff containers for video-based point cloud streams
WO2022032161A1 (en) Tile tracks for geometry‑based point cloud data
US20220329923A1 (en) Video-based point cloud streams
US20220239947A1 (en) Video-based point cloud streams
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
WO2024006279A1 (en) Signaling parameter sets for geometry-based point cloud streams
CN116830588A (zh) 用于基于视觉体积视频（v3c）媒体和基于几何的点云（g-pcc）媒体的流式传输的mmt信令
KR20240089338A (ko) 기하구조 기반 포인트 클라우드의 적응적 스트리밍
WO2023059730A1 (en) Adaptive streaming of geometry-based point clouds