TW202046733A - 點雲適性資料串流方法及裝置 - Google Patents

Abstract

旨在使用諸如MPEG DASH等適性HTTP串流協定來適性串流V-PCC (基於視訊的點雲壓縮)資料的方法、裝置和系統。方法包括在DASH MPD中用信號通知該點雲的該點雲資料，包括：用於點雲的主適性集，該主適性集至少包括(1)@編解碼器屬性，其被設定為表明該對應適性集對應於V-PCC資料的唯一值，以及(2)含有用於該點雲的表示的至少一個V-PCC序列參數集的初始化分段；以及複數分量適性集，每個分量適性集對應於V-PCC分量中的一者，並且至少包含(1) 指示所對應的V-PCC分量的類型的VPCC分量描述符，以及(2)該 V-PCC分量的至少一個性質；以及藉由該網路傳輸DASH位元串流。

Description

點雲適性資料串流方法及裝置

高品質3D點雲最近已經作為沉浸式媒體的高級表示出現。點雲由使用指示每個點的定位的座標以及一個或複數屬性(例如與每個點相關聯的顏色、透明度、獲取時間、雷射的反射率或材料性質等)在3D空間中表示的一組點組成。可以以多種方式捕獲用於創建點雲的資料。例如，一種用於獲取點雲的技術是使用複數相機和深度感測器。光偵測和測距(LiDAR)雷射掃描器也通常用於捕獲點雲。為了使用點雲來逼真地重建物件和場景所需的點的數量是數百萬(或者甚至數十億)的量級。因此，有效的表示和壓縮對於儲存和傳輸點雲資料是必要的。

獲取和渲染3D點的技術的最新進展已經引起在遠端呈現、虛擬實境和大規模動態3D圖領域的新穎應用。ISO/IEC JTC1/SC29/WG11行動畫面專家組(MPEG)的3D圖形子組目前正致力於開發兩個3D點雲壓縮(PCC)標準：用於靜態點雲(用於靜止物件的點雲)的基於幾何結構的壓縮標準，以及用於動態點雲(用於行動物件的點雲)的基於視訊的壓縮標準。這些標準的目標是支援3D點雲的高效且可交互操作的儲存和傳輸。這些標準的要求之一是支援點雲幾何結構座標和屬性的有損和/或無損寫碼。

可以在其中實施實施例的範例系統

圖1A是示出其中可以執行和/或實施一個或複數實施例的範例視訊編碼和解碼系統100的框圖。系統100可包含源裝置112，其可經由通信通道116將編碼視訊資訊傳輸到目的地裝置114。

源裝置112和/或目的地裝置114可以是裝置之廣泛為中的任何一種。在一些代表性實施例中，源裝置112和/或目的地裝置114可包含無線傳輸和/或接收單元(WTRU)，例如無線手持機或可經由通信通道116傳輸視訊資訊的任何無線裝置，在此情況下，通信通道116包含無線鏈路。然而，本文中描述、揭露或以其他方式明確地、隱含地和/或固有地提供(統稱為“提供”)的方法、裝置和系統不一定限於無線應用或設定。例如，這些技術可應用於無線電視廣播、有線電視傳輸、衛星電視傳輸、網際網路視訊傳輸、編碼到儲存媒體上的編碼數位視訊和/或其它場景。通信通道116可包含和/或可為適合於編碼視訊資料的傳輸的無線或有線媒體的任何組合。

源裝置112可以包括視訊編碼器單元118、傳輸和/或接收(Tx/Rx)單元120和/或Tx/Rx元件122。如圖所示，源裝置112可以包括視訊源124。目的地裝置114可包含Tx/RX元件126、Tx/Rx單元128及/或視訊解碼器單元130。如圖所示，目的地裝置114可以包括顯示裝置132。Tx/Rx單元120、128中的每一個可以是或可以包括傳輸器、接收機或傳輸器和接收器的組合(例如，收發器或傳輸器-接收器)。Tx/Rx元件122、126的每一個可以是，例如天線。根據本發明，源裝置112的視訊編碼器單元118和/或目的地裝置114的視訊解碼器單元130可被配置和/或適用(統稱為“適用”)以應用本文提供的寫碼技術。

源裝置112和目的地裝置114可以包括其他元件/組件或佈置。舉例來說，源裝置112可適於從外部視訊源接收視訊資料。目的地裝置114可與外部顯示裝置裝置(未示出)有介面，和/或可包含和/或使用(例如，整合)顯示裝置裝置132。在一些實施例中，在不將資料調變到載波信號上的情況下，由視訊編碼器單元118產生的串流可以被傳達到其他裝置（諸如藉由直接數位轉發），並且其他裝置可以調變或可不調變資料以用於傳輸。

本文提供的技術可由任何數位視訊編碼和/或解碼裝置執行。儘管通常由各別的視訊編碼和/或視訊解碼裝置執行本文所提供的技術，但該技術還可由通常稱為“編解碼器”的組合視訊編碼器/解碼器執行。源裝置112和目的地裝置114僅為源裝置112可產生(和/或可接收視訊資料且可產生) 用於傳輸到目的地裝置114的編碼視訊資訊的此類寫碼裝置的實例。在一些代表性實施例中，源裝置112和目的地裝置114可以實質上對稱的方式操作，使得裝置112、114中的每一者可包含視訊編碼和解碼組件和/或元件(統稱為“元件”)。因此，系統100可支援源裝置112與目的地裝置114之間的單向及雙向視訊傳輸中的任一者(例如，針對視訊串流、視訊重播、視訊廣播、視訊電話及/或視訊會議等等中的任一者)。在某些代表性實施例中，源裝置112可為(例如)適於產生(和/或接收視訊資料且適於產生)一個或複數目的地裝置的編碼視訊資訊的視訊串流伺服器，其中目的地裝置可經由有線和/或無線通訊系統與源裝置112通信。

外部視訊源和/或視訊源124可以是和/或包括視訊擷取裝置，諸如視訊相機、包含先前捕獲的視訊的視訊檔和/或來自視訊內容提供者的視訊饋送。在某些代表性實施例中，外部視訊源和/或視訊源124可產生基於電腦圖形的資料作為源視訊、或實況視訊、存檔視訊和/或電腦產生的視訊的組合。在某些代表性實施例中，當視訊源124為視訊相機時，源裝置112和目的地裝置114可為或可體現相機電話或視訊電話。

所擷取、預擷取、電腦產生的視訊、視訊饋送和/或其它類型的視訊資料(統稱為“未編碼視訊”)可由視訊編碼器單元118編碼以形成編碼視訊資訊。Tx/Rx單元120可以調變編碼的視訊資訊(例如，根據通信標準，以形成攜帶編碼視訊資訊的一個或複數調變信號)。Tx/Rx單元120可以將調變信號傳遞到其傳輸器以便傳輸。傳輸器可以經由Tx/Rx元件122發送調變信號到目的地裝置114。

在目的地裝置114處，Tx/Rx單元128可以經由Tx/Rx元件126從通道116接收調變信號。Tx/Rx單元128可以解調調變信號以獲得編碼視訊資訊。Tx/Rx單元128可將經編碼視訊資訊傳遞到視訊解碼器單元130。

視訊解碼器單元130可對編碼視訊資訊進行解碼以獲得解碼視訊資料。編碼視訊資訊可包含由視訊編碼器單元118界定的語法資訊。該語法資訊可以包括一個或複數元素(“語法元素”)；其中的一些或全部可用於解碼編碼視訊資訊。語法元素可包含(例如)編碼視訊資訊的特性。語法元素還可包含用以形成編碼視訊資訊的未編碼視訊的特性，和/或描述該未編碼視訊的處理。

視訊解碼器單元130可輸出解碼視訊資料以供稍後儲存和/或在外部顯示器(未示出)上顯示。在某些代表性實施例中，視訊解碼器單元130可將解碼視訊資料輸出到顯示裝置132。顯示裝置132可為和/或可包含適於向使用者顯示解碼視訊資料的多種顯示裝置的任何個別者、多個、組合。這種顯示裝置的例子包括液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器和/或陰極射線管(CRT)等。

通信通道116可以是任何無線或有線通信媒體（諸如射頻(RF)頻譜或一個或複數實體傳輸線），或無線和有線媒體的任何組合。通信通道116可形成基於封包的網路的一部分，該基於分組的網路例如區域網路、廣域網路或全球網路，例如網際網路。通信通道116通常表示用於將視訊資料從源裝置112傳輸到目的地裝置114的任何合適的通信媒體或不同通信媒體的集合，其包含有線和/或無線媒體的任何合適組合。通信通道116可以包括路由器、交換機、基地台和/或任何其它可以用於促進從源裝置112到目的地裝置114的通信的裝置。下面參照圖1A至圖1B提供了可以促進裝置112、114之間的這種通信的範例通信系統的細節。下面還提供了可以代表源裝置112和目的地裝置114的裝置細節。

視訊編碼器單元118和視訊解碼器單元130可根據一個或複數標準和/或規範操作，例如，MPEG-2、H.261、H.263、H.264、H.264/AVC和/或根據SVC擴展(“H.264/SVC”)而擴展的H.264等。本領域技術人員理解，本文闡述的方法、裝置和/或系統適用於根據(和/或符合)不同標準實施的其它視訊編碼器、解碼器和/或編解碼器，或者適用於專屬的視訊編碼器、解碼器和/或編解碼器（包括未來的視訊編碼器、解碼器和/或編解碼器）。本文所闡述的技術不限於任何特定寫碼標準。

上述H.264/AVC的相關部分可從國際電信聯盟作為ITU-T建議H.264獲得，或者更具體地，“ITU-T Rec.264和ISO/IEC14496-10 (MPEG4-AVC)，2010年3月的‘用於一般視聽服務的高級視訊寫碼’，版本5，其藉由引用併入本文，並且其在本文可以被稱為H.264標準、H.264規範、H.264/AVC標準和/或規範。本文提供的技術可應用於符合(例如，大體上符合) H.264標準的裝置。

儘管圖1A中未展示，但視訊編碼器和視訊解碼器單元118、130中的每一者可包含音訊編碼器和/或音訊解碼器(視情況而定)，和/或與音訊編碼器和/或音訊解碼器整合。視訊編碼器和視訊解碼器單元118、130可包括適當的MUX-DEMUX單元、或其它硬體和/或軟體，以處置共同串流和/或各別串流中的音訊和視訊兩者的編碼。如果適用，那麼MUX-DEMUX單元可遵循(例如) ITU-T建議H.223多工器協定和/或例如使用者資料報協定(UDP)等其它協定。

一個或複數視訊編碼器和/或視訊解碼器單元118、130可以被包括在一個或複數編碼器和/或解碼器中；其中的任何一個可以被整合為編解碼器的一部分，並且可以與分別的相機、電腦、行動裝置、訂戶裝置、廣播裝置、機上盒和/或伺服器等整合和/或組合。視訊編碼器單元118和/或視訊解碼器單元130可分別實施為多種合適的編碼器和/或解碼器電路中的任一者，例如一個或一個以上微處理器、數位訊號處理器(DSP)、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器和視訊解碼器單元118、130中的任一者或兩者可實體上以軟體實施，且視訊編碼器單元118和/或視訊解碼器單元130的元件的操作可由一個或一個以上處理器(未示出)執行的適當軟體指令執行。除了處理器之外，這樣的實施例可以包含晶片外組件，例如外部儲存(例如，以非揮發性記憶體的形式)和/或輸入/輸出介面等。

在視訊編碼器和/或視訊解碼器單元118、130的元件的操作可以由一個或複數處理器執行的軟體指令來執行的任何實施例中，軟體指令可以被保持在電腦可讀媒體上，該電腦可讀媒體包括例如磁片、光碟、任何其他揮發性(例如，隨機存取記憶體(“RAM”))、非揮發性(例如，唯讀記憶體(“ROM”))和/或CPU可讀的大型存放區系統等。電腦可讀媒體可以包括協作或互連的電腦可讀媒體，其可以專門存在於處理系統上和/或分佈在可以位於處理系統本地或遠端的多個互連的處理系統之間。

圖1B是示出用於與例如系統100的視訊編碼和/或解碼系統一起使用的範例視訊編碼器單元118的框圖。視訊編碼器單元118可以包括視訊編碼器133、輸出緩衝器134和系統控制器136。視訊編碼器133 (或其一個或複數元件)可根據一個或複數標準和/或規範來實施，諸如，例如，H.261、H.263、H.264、H.264/AVC、H.264/AVC的SVC擴展(H.264/AVC附錄G)、HEVC、和/或HEVC的可縮放擴展(SHVC)等等。本領域技術人員理解，本文提供的方法、裝置和/或系統可以適用於根據不同標準實施的其它視訊編碼器和/或適用於專屬編解碼器（包括未來的編解碼器）。

視訊編碼器133可以接收從視訊源(例如視訊源124和/或外部視訊源)提供的視訊訊號。該視訊訊號可以包括未編碼視訊。視訊編碼器133可以對未編碼視訊進行編碼，並且在其輸出處提供編碼(即，壓縮)視訊位元串流(BS)。

編碼視訊位元串流BS可以被提供給輸出緩衝器134。輸出緩衝器134可緩衝編碼視訊位元串流BS，並可提供這樣的編碼視訊位元串流BS作為緩衝位元串流(BBS)，以經由通信通道116進行傳輸。

從輸出緩衝器134輸出的緩衝位元串流BBS可被發送到存放裝置(未示出)以供稍後查看或傳輸。在某些代表性實施例中，視訊編碼器單元118可被配置用於視覺通信，其中緩衝位元串流BBS可經由通信通道116以指定的恆定和/或變數位元速率(例如，具有延遲(例如，非常低或最小的延遲))被傳輸。

編碼視訊位元串流BS，以及接著的緩衝位元串流BBS可以攜帶編碼視訊資訊的位元。緩衝位元串流BBS的位元可以被佈置為編碼視訊訊框的流。編碼視訊訊框可以是訊框內寫碼(intra-coded)訊框(例如，I訊框)或訊框間寫碼(inter-coded)訊框(例如，B訊框和/或P訊框)。編碼視訊訊框的流可以被佈置為例如一系列畫面組(GOP)，其中每個GOP的編碼視訊訊框以指定的順序佈置。通常，每個GOP可以以訊框內寫碼訊框(例如，I訊框)開始，隨後是一個或複數訊框間寫碼訊框(例如，P訊框和/或B訊框)。每個GOP可以僅包括單個訊框內寫碼訊框；儘管任何GOP可以包括多個。可以預期，B訊框可能不用於即時、低延遲應用，因為例如雙向預測與單向預測(P訊框)相比可能導致額外的寫碼延遲。如本領域技術人員所理解的，可以使用附加和/或其它訊框類型，並且可以修改編碼視訊訊框的特別排序。

每個GOP可以包括語法資料(“GOP語法資料”)。GOP語法資料可以被佈置在GOP的標頭中、GOP的一個或複數訊框的標頭中和/或其他地方。GOP語法資料可指示排序、數量、或類型，和/或描述分別GOP的編碼視訊訊框。每一編碼視訊訊框可包含語法資料(“編碼訊框語法資料”)。編碼訊框語法資料可指示和/或描述用於分別編碼視訊訊框的編碼模式。

系統控制器136可以監視與通道116、視訊編碼器單元118的計算能力、使用者的需求等相關聯的各種參數和/或約束，並且可以建立目標參數以提供適合於指定的約束和/或通道116的條件的伴隨(attendant)體驗品質(QoE)。可以根據指定的約束和/或通道條件不時地或週期性地調整一個或複數目標參數。作為實例，可使用用於評估視訊品質的一個或一個以上度量來定量地評估QoE，該度量包括(例如)通常稱為編碼視訊序列的相對感知品質的度量。例如使用峰值訊噪比(“PSNR”)度量測量的編碼視訊序列的相對感知品質可以由編碼位元串流BS的位元速率(BR)控制。可以調整一個或複數目標參數(包括例如量化參數(QP))，以在與編碼位元串流BS的位元速率相關聯的約束內最大化視訊的相對感知品質。

圖2是用於與諸如系統100的視訊編碼和/或解碼系統一起使用的基於塊的混合視訊編碼器200的框圖。

參考圖2，基於塊的混合編碼系統200可以包括變換單元204、量化單元206、熵寫碼單元208、逆量化單元210、逆變換單元212、第一加法器216、第二加法器226、空間預測單元260、運動預測單元262、參考圖像儲存器264、一個或複數濾波器266 (例如，迴路濾波器)和/或模式決定和編碼器控制器單元280等。

視訊編碼器200的細節僅意味著說明性的，並且現實世界的實施可以不同。例如，現實世界的實施可以包括更多、更少和/或不同的元件，和/或可以不同於圖2中所示的佈置來佈置。例如，儘管各別示出，但是變換單元204和量化單元206兩者的一些或全部功能可以高度整合在一些現實世界的實施中，諸如使用H.264標準的核心變換的實施。類似地，逆量化單元210及逆變換單元212可高度整合於現實世界實施方案中的一些實施方案(例如，H.264或HEVC標準相容實施方案)中，但同樣出於概念目的而各別說明。

如上該，視訊編碼器200可以在其輸入202處接收視訊訊號。視訊編碼器200可以從所接收的未編碼視訊產生編碼視訊資訊，並且以編碼視訊位元串流BS的形式從其輸出220輸出編碼視訊資訊(例如，訊框內或訊框間中的任何一種)。視訊編碼器200可以例如作為混合視訊編碼器來操作，並且採用基於塊的寫碼過程來對未編碼的視訊進行編碼。當執行此編碼過程時，視訊編碼器200可對未編碼視訊的個別訊框、畫面和/或圖像(統稱為“未編碼畫面”)進行操作。

為了促進基於塊的編碼過程，視訊編碼器200可將在其輸入202處接收的每一未編碼畫面切片、分區、劃分和/或分段(統稱為“分段”)成複數未編碼視訊塊。舉例來說，視訊編碼器200可將未編碼畫面分段成複數未編碼視訊分段(例如，切片)，且可(例如，接著可)將未編碼視訊分段中的每一者分段成未編碼視訊塊。視訊編碼器200可將未編碼視訊塊傳遞、供應、發送或提供到空間預測單元260、運動預測單元262、模式決定和編碼器控制器單元280和/或第一加法器216。如下文更詳細地描述，可在逐塊基礎上提供未編碼視訊塊。

空間預測單元260可接收未經編碼視訊塊，且以訊框內模式對此些視訊塊進行編碼。訊框內模式是指基於空間的壓縮的若干模式中的任何模式，並且訊框內模式中的編碼試圖提供未編碼畫面的基於空間的壓縮。如果存在任何基於空間的壓縮，則其可以導自減少或去除未編碼畫面內的視訊資訊的空間冗餘。在形成預測塊時，空間預測單元260可相對於未編碼畫面的已被編碼(“編碼視訊塊”)和/或重建(“重建視訊塊”)的一個或一個以上視訊塊，執行每一未編碼視訊塊的空間預測(或“訊框內預測”)。編碼和/或重建視訊塊可為未編碼視訊塊的相鄰者、鄰近於未編碼視訊塊或接近於(例如，緊密接近於)未編碼視訊塊。

運動預測單元262可從輸入202接收未編碼視訊塊，且以訊框間模式對其進行編碼。訊框間模式是指基於時間的壓縮的若干模式中的任一者，包含(例如) P模式(單向預測)和/或B模式(雙向預測)。訊框間模式中的編碼試圖提供未編碼畫面的基於時間的壓縮。如果存在基於時間的壓縮，則其可由導自減少或移除未編碼畫面與一個或一個以上參考(例如，鄰近) 畫面之間的視訊資訊的時間冗餘。運動/時間預測單元262可相對於參考畫面的一個或複數視訊塊(“參考視訊塊”)執行每一未編碼視訊塊的時間預測(或“訊框間預測”)。所執行的時間預測可以是單向預測(例如，對於P模式)和/或雙向預測(例如，對於B模式)。

對於單向預測，參考視訊塊可來自一個或複數先前編碼和/或重建畫面。該編碼和/或重建畫面（一個或複數）可以是未編碼畫面的相鄰者、與未編碼畫面鄰近和/或與未編碼畫面接近。

對於雙向預測，參考視訊塊可來自一個或複數先前編碼和/或重建畫面。該編碼和/或重建畫面可以是未編碼畫面的相鄰者、與未編碼畫面鄰近和/或與未編碼畫面接近。

如果針對每一視訊塊使用複數參考畫面(如對於例如H.264/AVC和/或HEVC等最近視訊寫碼標準的情況可為此)，那麼可將其參考畫面索引發送到熵寫碼單元208以用於後續輸出和/或傳輸。參考索引可以用於指示時間預測來自參考圖像儲存器264中的哪個或哪些參考畫面。

儘管通常是高度整合的，但是運動/時間預測單元262的用於運動估計和運動補償的功能可以由各別的實體或單元(未示出)來執行。可執行運動估計以估計每一未編碼視訊塊相對於參考畫面視訊塊的運動，且可涉及產生未編碼視訊塊的運動向量。該運動向量可指示預測塊相對於正被解碼的未編碼視訊塊的位移。此預測塊是基於(例如)正被寫碼的未編碼視訊塊的像素差被發現緊密匹配的參考畫面視訊塊。匹配可以由絕對差之和(SAD)、平方差之和(SSD)和/或其它差度量來確定。運動補償可涉及基於由運動估計確定的運動向量來擷取和/或產生預測塊。

運動預測單元262可藉由將未編碼視訊塊與來自儲存在參考圖像儲存器264中的參考畫面的參考視訊塊進行比較，來計算未編碼視訊塊的運動向量。運動預測單元262可計算包含在參考圖像儲存器264中的參考畫面的分數像素位置的值。在一些情況下，視訊編碼器200的加法器226或另一單元可計算重建視訊塊的分數像素位置的值，且可將該重建視訊塊與所計算的分數像素位置的值一起儲存在參考圖像儲存器264中。運動預測單元262可內插參考畫面(例如，I訊框和/或P訊框和/或B訊框)的子整數像素。

運動預測單元262可以被配置為相對於所選擇的運動預測子（predictor）對運動向量進行編碼。由運動/時間預測單元262選擇的運動預測子可以是例如與已經被編碼的相鄰塊的運動向量的平均值相等的向量。為了對未編碼視訊塊的運動向量進行編碼，運動/時間預測單元262可計算運動向量與運動預測子之間的差以形成運動向量差值。

H.264和HEVC將潛在參考訊框的集合稱為“清單” 。儲存在參考圖像儲存器264中的參考畫面的集合可對應於參考訊框的此列表。運動/時間預測單元262可將來自參考圖像儲存器264的參考畫面的參考視訊塊與(例如，P訊框或B訊框的)未編碼視訊塊進行比較。當參考圖像儲存器264中的參考畫面包含子整數像素的值時，由運動/時間預測單元262計算的運動向量可對參考畫面的子整數像素位置進行參考。運動/時間預測單元262可將所計算的運動向量發送到熵寫碼單元208和運動/時間預測單元262的運動補償功能。運動預測單元262 (或其運動補償功能模組)可計算預測塊相對於正被寫碼的未編碼視訊塊的誤差值。運動預測單元262可基於預測塊計算預測資料。

模式決定和編碼器控制器單元280可選擇寫碼模式、訊框內模式或訊框間模式中的一者。模式決定和編碼器控制器單元280可基於(例如)速率失真最佳化方法和/或每一模式中產生的誤差結果來進行此操作。

視訊編碼器200可藉由從正被寫碼的未編碼視訊塊減去從運動預測單元262提供的預測資料來形成殘餘塊(“殘餘視訊塊”)。加法器216表示可以執行該減法運算的一個元件或複數元件。

變換單元204可將變換應用於殘餘視訊塊，以將此殘餘視訊塊從像素值域轉換到變換域（例如頻域）。該變換可為(例如)本文所提供的變換中的任一者、離散餘弦變換(DCT)或概念上類似的變換。變換的其它範例包括在H.264和/或HEVC、小波變換、整數變換和/或子帶變換等中定義的那些變換。由變換單元204將變換應用於殘餘視訊塊，產生殘餘視訊塊的變換係數的對應塊(“殘餘變換係數”)。這些殘餘變換係數可表示殘餘視訊塊的頻率分量的大小。變換單元204可將殘餘變換係數轉發到量化單元206。

量化單元206可量化殘餘變換係數以進一步減小編碼位元速率。舉例來說，量化過程可減少與殘餘變換係數中的一些或全部相關聯的位元深度。在某些情況下，量化單元206可將殘餘變換係數的值除以對應於QP的量化級別以形成量化變換係數塊。可藉由調整QP值來修改量化的程度。量化單元206可使用所期望的量化步長的數量應用量化以表示殘餘變換係數；所使用的步長的數量(或對應地量化級別的值)可確定用於表示殘餘視訊塊的編碼視訊位元的數量。量化單元206可從速率控制器(未示出)獲得QP值。在量化之後，量化單元206可將量化變換係數提供到熵寫碼單元208和逆量化單元210。

熵寫碼單元208可將熵寫碼應用於量化變換係數以形成熵寫碼係數(即，位元串流)。熵寫碼單元208可使用適性可變長度寫碼(CAVLC)、上下文適性二進位算術寫碼(CABAC)和/或另一熵寫碼技術來形成熵寫碼係數。如本領域技術人員所理解的，CABAC可能需要輸入上下文資訊(“上下文”)。舉例來說，此上下文可基於相鄰視訊塊。

熵寫碼單元208可將熵寫碼係數連同運動向量和一個或複數參考畫面索引一起以原始編碼視訊位元串流的形式提供到內部位元串流格式(未示出)。此位元串流格式可藉由將包括標頭和/或其它資訊的額外資訊附加到原始編碼視訊位元串流，以使得(例如)視訊解碼器單元300 (圖3)能夠從原始編碼視訊位元串流解碼編碼視訊塊來形成提供到輸出緩衝器134 (圖1B)的編碼視訊位元串流BS。在熵寫碼之後，從熵寫碼單元208提供的編碼視訊位元串流BS可被輸出到(例如)輸出緩衝器134，且可經由通道116被傳輸到(例如)目的地裝置114或被存檔以供稍後傳輸或檢索。

在某些代表性實施例中，熵寫碼單元208或視訊編碼器133、200的另一單元可經配置以執行除熵寫碼之外的其它寫碼功能。舉例來說，熵寫碼單元208可經配置以確定視訊塊的碼塊型樣(CBP)值。在某些代表性實施例中，熵寫碼單元208可執行視訊塊中的量化變換係數的運行長度(run length)寫碼。作為一實例，熵寫碼單元208可應用之字形（zigzag）形掃描或其它掃描型樣以在視訊塊中佈置量化變換係數，且編碼零運行以用於進一步壓縮。熵寫碼單元208可用適當的語法元素構造標頭資訊以用於在編碼視訊位元串流BS中傳輸。

逆量化單元210及逆變換單元212可分別應用逆量化及逆變換以在像素域中重建殘餘視訊塊，例如以供稍後用作參考視訊塊中的一者(例如，在參考畫面清單中的參考畫面中的一者內)。

模式決定和編碼器控制器單元280可藉由將重建的殘餘視訊塊添加到儲存於參考圖像儲存器264中的參考畫面中的一者的預測塊來計算參考視訊塊。模式決定和編碼器控制器單元280可將一個或一個以上內插濾波器應用於重建殘餘視訊塊以計算用於運動估計的子整數像素值(例如，用於半像素位置)。

加法器226可將重建的殘餘視訊塊與運動補償的預測視訊塊相加，以產生重建的視訊塊以供儲存在參考圖像儲存器264中。重建(像素值域)視訊塊可由運動預測單元262 (或其運動估計功能和/或其運動補償功能)用作參考塊中的一者以用於對後續未編碼視訊中的未編碼視訊塊進行訊框間寫碼。

濾波器266 (例如，迴路濾波器)可包含解塊濾波器。解塊濾波器可以操作以去除可能存在於重建巨集塊中的視覺假影。這些假影可能由於例如使用諸如I型、P型或B型的不同編碼模式而被引入編碼過程中。舉例來說，在所接收的視訊塊的邊界和/或邊緣處可存在假影，且解塊濾波器可操作以使視訊塊的邊界和/或邊緣平滑以改進視覺品質。解塊濾波器可以對加法器226的輸出進行濾波。濾波器266可包含其它環路內濾波器，例如HEVC標準所支援的樣本適性偏移(SAO)濾波器。

圖3為示出與例如圖1A的視訊解碼器單元130等視訊解碼器單元一起使用的視訊解碼器300的實例的框圖。視訊解碼器300可以包括輸入302、熵解碼單元308、運動補償預測單元362、空間預測單元360、逆量化單元310、逆變換單元312、參考圖像儲存器364、濾波器366、加法器326、和輸出320。視訊解碼器300可執行解碼過程，該解碼過程通常與相對於視訊編碼器133、200提供的編碼過程互逆。該解碼過程可以如下所述地執行。

運動補償預測單元362可基於從熵解碼單元308接收的運動向量產生預測資料。可相對於用於對應於編碼運動向量的視訊塊的運動預測子來編碼運動向量。運動補償預測單元362可將運動預測子確定為(例如)與待解碼的視訊塊相鄰的塊的運動向量的中值（median）。在確定運動預測子之後，運動補償預測單元362可藉由從編碼視訊位元串流BS擷取運動向量差值，並將運動向量差值添加到運動預測子來解碼編碼運動向量。運動補償預測單元362可將運動預測子量化為與編碼運動向量相同的解析度。在某些代表性實施例中，運動補償預測單元362可針對一些或所有編碼運動預測子使用相同精度。作為另一實例，運動補償預測單元362可經配置以使用上述方法中的任一者，且藉由分析從編碼視訊位元串流BS獲得的序列參數集、切片參數集或畫面參數集中包含的資料來確定使用哪一方法。

在解碼運動向量之後，運動補償預測單元362可從參考圖像儲存器364的參考畫面擷取由運動向量指示的預測視訊塊。如果運動向量指向分數像素位置（例如半像素），那麼運動補償預測單元362可內插分數像素位置的值。運動補償預測單元362可使用適性內插濾波器或固定內插濾波器來內插這些值。運動補償預測單元362可以從接收到的編碼視訊位元串流BS中獲得使用哪個濾波器366的索引，以及在各種代表性實施例中獲得濾波器366的係數。

空間預測單元360可使用在編碼視訊位元串流BS中接收的訊框內預測模式來從空間相鄰塊形成預測視訊塊。逆量化單元310可逆量化(例如，解量化)在編碼視訊位元串流BS中提供且由熵解碼單元308解碼的量化塊係數。逆量化過程可包含常規過程，例如，如H.264所定義。逆量化過程可包含使用由視訊編碼器133、200針對每一視訊塊計算的量化參數QP來確定待應用的量化程度和/或逆量化程度。

逆變換單元312可將逆變換(例如，本文提供的變換中的任一者的逆變換、逆DCT、逆整數變換或概念上類似的逆變換過程)應用於變換係數以產生像素域中的殘餘視訊塊。運動補償預測單元362可產生運動補償塊，且可基於內插濾波器執行內插。用於具有子像素精度的運動估計的內插濾波器的指示符可包含於視訊塊的語法元素中。運動補償預測單元362可使用如由視訊編碼器133、200在對視訊塊進行編碼期間使用的內插濾波器來計算參考塊的子整數像素的內插值。運動補償預測單元362可根據所接收的語法資訊確定由視訊編碼器133、200使用的內插濾波器，且使用該內插濾波器來產生預測塊。

運動補償預測單元262可使用：(1)該語法資訊用以確定用於編碼被編碼視訊序列的一個或複數畫面的視訊塊的大小；(2)分區資訊，其描述如何分區該編碼視訊序列的訊框的每一視訊塊；(3)指示如何編碼每個分區的模式(或模式資訊)；(4)每一訊框間編碼視訊塊的一個或複數參考畫面，和/或(5)用以解碼該編碼視訊序列的其它資訊。

加法器326可將殘餘塊與由運動補償預測單元362或空間預測單元360產生的對應預測塊求和以形成解碼視訊塊。可應用迴路濾波器366 (例如，解塊濾波器或SAO濾波器)以對解碼視訊塊進行濾波，以移除成塊假影和/或改進視覺品質。解碼視訊塊可儲存在參考圖像儲存器364中，其可提供參考視訊塊以用於後續運動補償且可產生解碼視訊以用於呈現在顯示裝置(未示出)上。點雲壓縮

圖4示出了用於基於視訊的點雲壓縮(V-PCC)的位元串流的結構。將所產生的視訊位元串流和中繼資料多工在一起，以產生最終的V-PCC位元串流。

V-PCC位元串流由如圖4所示的一組V-PCC單元組成。表1中給出了在V-PCC標準的社區草案(V-PCC CD)的最新版本中定義的V-PCC單元的語法，其中各V-PCC單元具有V-PCC單元標頭和V-PCC單元酬載。V-PCC單元標頭描述了V-PCC單元類型(表2)。具有單元類型2、3和4的V-PCC單元是如社區草案中定義的佔用率（occupancy）、幾何結構和屬性資料單元。這些資料單元表示重建點雲所需的三個主要分量。除了V-PCC單元類型之外，V-PCC屬性單元標頭還指定屬性類型及其索引，其允許支援相同屬性類型的複數實例。

佔用率、幾何結構和屬性V-PCC單元的酬載(表3)對應於視訊資料單元(例如，HEVC NAL (網路抽象層)單元)，其可以由在對應的佔用率、幾何結構和屬性參數集V-PCC單元中指定的視訊解碼器來解碼。表 1  V-PCC 單元語法

vpcc_unit( ) {	描述符
vpcc_unit_header( )
vpcc_unit_payload( )
}

表 2  V-PCC 單元標頭語法

vpcc_unit_header( ){	描述符
vpcc_unit_type	U(5)
if( vpcc_unit_type  = =  VPCC_AVD  | |  vpcc_unit_type  = =  VPCC_GVD  | |                vpcc_unit_type  = =  VPCC_OVD  | |  vpcc_unit_type  = =  VPCC_PSD )
vpcc_sequence_parameter_set_id	u(4)
if( vpcc_unit_type  = =  VPCC_AVD ) {
vpcc_attribute_index	u(7)
if( sps_multiple_layer_streams_present_flag ) {
vpcc_layer_index	u(4)
pcm_separate_video_data( 11 )
}
else
pcm_separate_video_data( 15 )
} else if( vpcc_unit_type  = =  VPCC_GVD ) {
if( sps_multiple_layer_streams_present_flag ) {
vpcc_layer_index	u(4)
pcm_separate_video_data( 18 )
}
else
pcm_separate_video_data( 22 )
} else if( vpcc_unit_type  = =  VPCC_OVD  | |  vpcc_unit_type  = =  VPCC_PSD ) {
vpcc _reserved_zero_23bits	u(23)
} else
vpcc_reserved_zero_27bits	u(27)
}

表 3  V-PCC 單元酬載語法

vpcc_unit_payload( ) {	描述符
if( vpcc_unit_type  = =  VPCC_SPS )
sequence_parameter_set( )
else if( vpcc_unit_type  = =  VPCC_PSD )
patch_sequence_data_unit( )
else if( vpcc_unit_type  = =  VPCC_OVD  | |                         vpcc_unit_type  = =  VPCC_GVD  | |                         vpcc_unit_type  = =  VPCC_AVD)
video_data_unit( )
}

藉由 HTTP 的動態串流 (DASH)

藉由HTTP的MPEG動態適性串流(MPEG-DASH)是一種通用的遞送格式，其藉由動態地適應變化的網路條件來向終端使用者提供最佳可能的視訊體驗。

諸如MPEG-DASH的HTTP適性串流要求在伺服器處可獲得多媒體內容的各種位元速率的替換。另外，多媒體內容可以包括若干媒體分量(例如音訊、視訊、文本)，其中的每一個可以具有不同的特性。在MPEG-DASH中，這些特徵由媒體呈現描述(MPD)描述。

圖5示出了MPD階層資料模型。MPD描述一系列的時段，其中媒體內容分量的編碼版本的一致性集合在時段期間不改變。每個時段具有開始時間和持續時間，並且由一個或複數適性集合適性集(適性集)組成。

適性集 表示共用相同性質的一個或複數媒體內容分量的編碼版本的集合，諸如語言、媒體類型、畫面縱橫比、角色、可存取性和評級性質。例如，適性集 可以包含相同多媒體內容的視訊分量的不同位元速率。另一適性集 可包含相同多媒體內容的音訊分量(例如，較低品質身歷聲和較高品質環繞聲)的不同位元速率。每個適性集 通常包括複數表示 。

一種表示 描述了一個或複數媒體分量的可遞送編碼版本，其在位元速率、解析度、通道數量或其他特性方面與其他表示不同。每個表示由一個或複數分段組成。表示 元素的屬性，諸如@id、@頻寬、@ 品質排序和@ 依賴性Id用於指定相關聯的表示 的性質。表示還可以包括作為表示的一部分的子表示，以描述表示並從表示中擷取部分資訊。子表示可以提供存取表示(其中他們被包含)的較低品質版本的能力。

分段 是可以用單個HTTP請求檢索的最大資料單元。每個分段具有URL（即伺服器上的可定址定位），其可以使用HTTP GET或具有位元組範圍的HTTP GET來下載。

為了使用該資料模型，DASH用戶端解析MPD XML文件，基於在每個適性集元素中提供的資訊選擇適合於其環境的適性集 的選集。在每個適性集 中，用戶端通常基於@頻寬屬性的值，而且還考慮用戶端解碼和渲染能力來選擇一個表示 。用戶端下載所選擇的表示的初始化分段，然後藉由請求整個分段或分段的位元組範圍來存取內容。一旦呈現已經開始，用戶端就藉由連續地請求媒體分段或媒體分段的部分並根據媒體呈現時間線播放內容，來繼續消費媒體內容。用戶端可以考慮來自其環境的更新資訊來切換表示。用戶端應當跨複數時段連續播放內容。一旦客戶端正在消費包含在分段 中的媒體直至該表示 中所通告的媒體的末尾，則媒體呈現被終止，新的時段 被開始，或者MPD需要被重新取回。DASH 中的描述符

MPEG-DASH引入描述符的概念，以提供關於媒體內容的應用特定資訊。描述符元素都以相同的方式結構化，即它們包含提供URI以指示方案的@ 方案IdUri屬性、可選屬性@ 值、以及可選屬性@ id。元素的語義是所採用的方案所特定的。指示方案的URI可以是URN (通用資源名稱)或URL (通用資源定位符)。MPD沒有提供關於如何使用這些元素的任何特定資訊。這由應用程式決定，其使用DASH格式來例示具有適當方案資訊的描述符元素。使用這些元素之一的DASH應用必須首先以URI形式定義方案指示符，然後必須在使用該方案指示符時定義該元素的值空間。如果需要結構化資料，則可在各別的名稱空間中定義任何擴展元素或屬性。描述符可以出現在MPD內的複數級別上： - 在MPD級別存在元素意味著該元素是MPD 元素的子元素。 - 在適性集級別上存在元素意味著該元素是適性集 元素的子元素。 - 在表示等級上存在元素意味著該元素是表示 元素的子元素。預選

在MPEG-DASH中，捆束（bundle）是可以由單個解碼器實例聯合消費的一組媒體分量。每個捆束包括主媒體分量，該主媒體分量包含解碼器特定資訊並自舉(bootstrap)解碼器。預選定義了期望被聯合消費的捆束中的媒體分量的子集。

包含主媒體分量的適性集 被稱為主適性集 。主媒體分量總是被包括在與捆束相關聯的任何預選 中。此外，每個捆束可以包括一個或複數部分適性集 。部分適性集 僅可以與主適性集 結合處理。

預選 可以藉由表4中定義的預選 元素來定義。預選 的選擇基於在預選 元素中包含的屬性和元素。表 4 預選元素的語義

元素或屬性名稱	用途	描述
		預選
			@id	OD 默認=1	指定預選的id。這在一個時段內將是唯一的。
			@預選分量	M	將所包含的適性集或屬於該預選的內容分量的id指定為處理順序中的空白分隔清單，其中第一個id是主媒體分量的id。
			@語言	O	根據IETF RFC5646中的語法和語義聲明用於預選的語言代碼。
			可存取性	0 … N	指定關於可存取性方案的資訊。
			角色	0 … N	指定關於角色注釋方案的資訊。
			元素或者屬性名稱	0 … N	指定評級方案上的資訊。
			評級 (rating)	0 … N	指定關於評級方案的資訊。
			視點	0 … N	指定了關於視點注釋方案的資訊。
			普通屬性元素	-	指定普通屬性和元素(來自基本類型 RepresentationBaseType 的屬性和元素)。
圖例： 對於屬性：M =強制，O=可選的，OD =採用預設值可選的，CM =條件強制。 對於元素：＜minOccurs＞..＜maxOccurs＞ (N=無界的) 元素是粗體 ；屬性是非粗體的並且前面有@。

點雲的適性串流

儘管諸如視訊的傳統多媒體應用仍然很流行，但是對諸如VR和沉浸式3D圖形的新媒體存在很大的關注。高品質3D點雲最近已經作為沉浸式媒體的高級表示出現，從而賦能與虛擬世界的新形式的交互工作和通信。表示這種動態點雲所需的大量資訊需要有效的寫碼演算法。MPEG的3DG工作組目前正在開發用於基於視訊的點雲壓縮的標準，該標準具有在MPEG #124會議上發佈的社區草案(CD)版本。最新版本的CD定義了用於壓縮的動態點雲的位元串流。並行地，MPEG還正在開發用於點雲資料的攜帶的系統標準。

上述點雲標準僅解決了點雲的寫碼和儲存方面的問題。然而，可以想像，實際的點雲應用將需要藉由網路串流點雲資料。這樣的應用可以根據如何產生內容來執行點雲內容的實況或按需串流。此外，由於表示點雲所需的大量資訊，這樣的應用需要支援適性串流技術以避免使網路超載，並且在任何給定時刻提供關於該時刻的網路容量的最佳觀看體驗。

用於點雲的適性遞送的一個強有力的候選方法是藉由HTTP的動態適性串流(DASH)。然而，目前的MPEG-DASH標準沒有提供用於點雲媒體的任何傳訊機制，包括基於MPEG V-PCC標準的點雲串流。因此，定義新的傳訊元素是重要的，這些傳訊元素使得串流用戶端能夠指示媒體呈現描述符(MPD)檔案內的點雲串流及其分量子串流。另外，還需要用信號通知與點雲分量相關聯的不同種類的中繼資料，以使得串流用戶端能夠選擇點雲或其分量的能夠支援的最佳版本（一個或複數）。

與傳統媒體內容不同，V-PCC媒體內容由複數分量組成，其中一些分量具有多層。每個分量(和/或層)被分別編碼為V-PCC位元串流的子串流。使用常規視訊編碼器(例如，H.264/AVC或HEVC)對例如幾何結構及佔用率圖(除例如紋理等一些屬性外)等一些分量子串流進行編碼。然而，這些子串流需要與附加中繼資料一起被共同解碼以便渲染(render)點雲。

定義了複數XML元素和屬性。這些XML元素在各別的名稱空間“urn:mpeg:mpegI:vpcc:2019”中定義。名稱空間標誌符“vpcc:”用於指該文件中的該名稱空間。在 DASH MPD 中用信號通知 V-PCC 分量

每個V-PCC分量和/或分量層可以在DASH清單(MPD)檔案中表示為各別的適性集 ( 下文中稱為“分量適性集”)，其有用作V-PCC內容的主接入點(下文中稱為“主適性集”)附加的適性集 。在另一實施例中，每解析度每分量用信號通知一個適性集。

在一個實施例中，包括所有V-PCC分量適性集 的V-PCC流的適性集應具有被設定為'vpc1'的@編解碼器屬性(例如，如針對V-PCC定義的)的值，這將表明MPD附屬於雲點。在另一個實施例中，只有主適性集 具有被設定為'vpc1'的@編解碼器屬性，而基於用於對分量進行編碼的分別的編解碼器來設定點雲分量的適性集 (或者如果沒有為適性集 元素用信號通知@編解碼器的話，則為分別的表示 )的@編解碼器屬性。在視訊寫碼的分量的情況下，@編解碼器的值應該被設定為' resv .pccv.XXXX'，其中XXXX對應於視訊編解碼器(例如avc1或hvc1)的四字元代碼(4CC)。

為了指示分量適性集 中的V-PCC分量(一個或複數)的類型(例如，佔用率圖、幾何結構或屬性)，可使用關鍵性質 (EssentialProperty)描述符及等於“urn:mpeg:mpegI:vpcc:2019:component”的@ 方案IdUri屬性。該描述符被稱為VPCC分量描述符。

在適性集級別，可以針對存在於適性集的表示 中的每個點雲分量用信號通知一個VPCC分量描述符。

在一個實施例中，VPCC分量描述符的@值屬性不應存在。VPCC分量描述符可以包括如表5中所指定的元素和屬性。表 5  VPCC 分量描述符的元素和屬性

用於 VPCC 分量描述符的元素和屬性	用途	資料類型	描述
分量	0. . N	vpcc:vpcc分量類型	元素，其屬性指定了存在於該自適性集合的該表示(一個或複數)中的該點雲分量其中之一的資訊。
分量 @分量類型	M	xs:字串	指示點雲分量的類型。值' geom '指示幾何結構分量，' occp '指示佔用率分量，而' attr '指示屬性分量。
分量 @最小層索引	O	xs:整數	指示由存在VPCC分量描述符的適性集所表示的分量的第一層的索引。如果在適性集合的表示中只存在一個層，則最小層索引和最大層索引應具有相同的值。
分量 @最大層索引	CM	xs:整數	指示由存在VPCC分量描述符的適性集所表示的分量的最後一層的索引。 將僅在最小層存在時存在。 如果在自適性集的表示中僅存在一個層，則最小層索引和最大層索引將具有相同的值。
分量 @屬性類型	CM	xs:無符號位元組	指示屬性的類型(參見V-PCC CD中的表7.2)。僅允許0和15之間的值（包括端值在內）。 僅當分量是點雲屬性(即，分量類型具有值‘attr’)時才存在。
分量 @屬性索引	CM	xs:無符號位元組	指示屬性的索引。應該是0和127之間的值，包括端值。只有當分量是點雲屬性(即，分量類型具有值" attr ")時才會存在。
圖例 ：    對於屬性：M =強制，O = 可選的，OD = 採用預設值可選的，CM =條件強制。 對於元素：＜minOccurs＞..＜maxOccurs＞ (N=無界的) 元素是粗體；屬性是非粗體並且其前面有@。

VPCC分量描述符的各種元素和屬性的資料類型可以如在以下XML綱要中所定義的那樣。 ＜?xml version="1.0" encoding="UTF-8"?＞ ＜xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" targetNamespace="urn:mpeg:mpegI:vpcc:2019" xmlns:omaf="urn:mpeg:mpegI:vpcc:2019" elementFormDefault="qualified"＞ ＜xs:element name="component" type="vpcc:vpccComponentType"/＞ ＜xs:complexType name="vpccComponentType"＞ ＜xs:attribute name="component_type" type="xs:integer" use="required" /＞ ＜xs:attribute name="min_layer_index" type="xs:integer" use="optional" /＞ ＜xs:attribute name="max_layer_index" type="xs:integer" /＞ ＜xs:attribute name="attribute_type" type="xs:unsignedByte" /＞ ＜xs:attribute name="attribute_index" type="xs:unsignedByte" /＞ ＜/xs:complexType＞ ＜/xs:schema＞

在一個實施例中，主適性集 應當包含在適性集級別的單個初始化分段或者在表示級別的複數初始化分段(針對每個表示 有一個)。在一個實施例中，初始化分段應當包含如社區草案中定義的V-PCC序列參數集，其用於初始化V-PCC解碼器。在單個初始化分段的情況下，所有表示 的V-PCC序列參數集可以被包含在初始化分段中。當在主適性集 中用信號通知多於一個表示 時，每個表示 的初始化分段可以包含該特別表示 的V-PCC序列參數集。當ISO基本媒體檔案格式(ISOBMFF)用作如ISO/IEC 23090-10的WD中定義的V-PCC內容的媒體容器時，初始化分段還可包括如ISO/IEC 14496-12中定義的元框（MetaBox）。該元框包含一個或複數VPCC組框（GroupBox）實例（如在VPCC CD中定義的），其提供在檔案格式級描述軌道的中繼資料資訊以及它們之間的關係。

在一個實施例中，用於主適性集 的表示 的媒體分段包含在社區草案中定義的V-PCC軌道的一個或複數軌道片段。用於分量適性集 的表示 的媒體分段包含檔案格式級別的對應分量軌道的一個或複數軌道片段。

在另一個實施例中，為VPCC分量描述符定義了附加屬性，這裡稱為@ 視訊編解碼器屬性，其值指示用於編碼相應點雲分量的編解碼器。這使得能夠支援其中在適性集 或表示 中存在多於一個點雲分量所在的場景。

在另一實施例中，角色 描述符元素可與用於V-PCC分量的新定義的值一起使用，以指示對應的適性集 或表示 (例如，幾何結構、佔用率圖或屬性)的角色。例如，幾何結構、佔用率圖和屬性分量可以分別具有以下相應值：vpcc-幾何結構、vpcc-佔用率和vpcc-屬性。可以在適性集級別用信號通知與表5中描述的減去分量類型屬性的描述符元素類似的附加的關鍵性質 描述符元素，以指示該分量的層和屬性類型(如果該分量是點雲屬性)。對 V-PCC 適性集進行分組

串流用戶端能夠藉由檢查相應元素內的VPCC分量描述符，來指示適性集 或表示 中的點雲分量的類型。然而，串流用戶端還需要在MPD檔案中存在的不同點雲串流之間進行區分，並且指示它們分別的分量串流。

具有等於“urn:mpeg:mpegI:vpcc:2019:vpc”之@ 方案IdUri屬性的關鍵性質 元素可以被引入，並且在這裡被稱為VPCC描述符。在針對點雲的主適性集 的適性集級別可以存在至多一個VPCC描述符。如果在主適性集 中存在多於一個表示 ，則在表示級別(即，在每個表示 元素內)可以存在至多一個VPCC描述符。表6示出了根據一個實施例的VPCC描述符的屬性。表 6  VPCC 描述符的屬性

VPCC 描述符的屬性	用途	資料類型	描述
vpcc:@ pcId	CM	xs:字串	用於點雲的id。如果在各別的適性集中發信號通知相同點雲的複數版本，則該屬性應存在。
vpcc:@佔用率Id	M	字串向量類型	點雲佔用率圖分量的適性集或表示的id。
vpcc:幾何結構Id	M	字串向量類型	空間分隔指示符的列表，其對應於用於點雲幾何結構分量適性集和/或表示的@ id屬性的值。
vpcc:屬性Id	M	字串向量類型	空間分隔指示符的列表，其對應於用於點雲屬性分量的適性集和/或表示的@ id屬性的值。

當點雲的多於一個版本可用時(例如，不同的解析度)，每個版本可以存在於包含單個表示 和具有用於@ pcId屬性的相同值的VPCC描述符的各別的分量適性集 。在另一實施例中，可以將點雲的不同版本作為單個(主)適性集 的表示 來用信號通知。在這種情況下，VPCC描述符將存在於每個表示 中，並且@ pcId屬性可以對於主適性集 中的所有表示 以相同的值被用信號通知，或者被省略。

在另一個實施例中，在MPD中用@預選分量屬性的值來用信號通知預選 ，該@預選分量屬性包括用於點雲的主適性集的id（其後跟隨有與點雲分量相對應的分量適性集的id）。預選的@ 編解碼器屬性應被設定為' vpc1'，指示預選媒體是基於視訊的點雲。可以使用時段 元素內的預選 元素或者在適性集級別(或者當複數版本/表示可用於相同點雲時的表示級別)的預選描述符來用信號通知預選 。當使用預選 元素並且同一點雲的多於一個版本可用時，在各別的預選 元素中使用@ 預選元素屬性的id清單中的第一個id用信號通知每個版本，其中該第一個id是主適性集 中相應點雲版本的表示 的id。圖6示出了用於對屬於MPEG-DASH MPD檔案內的單個點雲的V-PCC分量進行分組的範例性DASH配置。

使用預選描述符，可以如下用信號通知該分組/關聯。 ＜Period＞ ＜AdaptationSet id="5" codecs="vpc1"＞ ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:preselection:2016" value="Presel1,5 1 2 3 4" /＞ ＜Representation＞ ... ＜/Representation＞ ＜/AdaptationSet＞ ＜/Period＞

在另一個實施例中，點雲的主適性集 或其表示 （一個或複數）可以使用具有被設定為V-PCC的4CC (即，‘vpc1’)之@關聯類型值的在ISO/IEC 23009-1中定義的@ 關聯Id屬性列出分量的適性集 和/或表示 的指示符。

在另一個實施例中，點雲的主適性集 或其表示 （一個或複數）可以使用ISO/IEC 23009-1中定義的@ 依賴性Id屬性列出分量的適性集 和/或表示 的指示符。這是因為存在固有的依賴性，因為主適性集 中的分段需要與來自點雲分量的分量自適性集 的分段一起被解碼，以便重建點雲。傳訊分量中繼資料

幾何結構和屬性中繼資料通常用於渲染。在V-PCC位元串流的參數集中將其用信號通知。然而，可能需要在MPD中用信號通知這些中繼資料元素，以便串流用戶端能夠盡可能早地獲得資訊。另外，串流用戶端可以在具有不同幾何結構和屬性中繼資料值的點雲的複數版本之間做出選擇決定(例如，基於用戶端是否支援用信號通知的值)。用信號通知幾何結構中繼資料

具有等於“urn:mpeg:mpegI:vpcc:2019:geom_meta”的@方案IdURri屬性的補充性質 元素可以被引入，並且在此被稱為幾何結構中繼資料描述符或geoMeta 描述符。至多，一個geomMeta 描述符可以存在於MPD級別，在這種情況下，它適用於MPD中用信號通知的所有點雲的幾何結構分量，除非如下所述被較低級別geoMeta 描述符置換(override)。至多，一個geomMeta 描述符可以存在於主適性集 中的適性集級別。至多，一個geomMeta 描述符可以存在於主適性集中的表示級別。如果在某一級別存在geomMeta 描述符，則它置換更高級別用信號通知的任何geomMeta 描述符。

在一個實施例中，geomMeta 描述符的@ 值屬性將不存在。在一個實施例中，geomMeta 描述符包括表7中指定的元素和屬性。表 7 用於 geomMeta 描述符的元素和屬性

用於 geomMeta 描述符的元素和屬性	用途	資料類型	描述
geom	0. .1	vpcc:幾何結構中繼資料類型	容器元素，其屬性和元素指定幾何結構中繼資料資訊。
geom @點形狀	O	xs:無符號位元組	指示用於渲染的幾何結構點形狀。支援的值在0至15的範圍內（包括端值）。相應的形狀從社區草案中的表7-2中獲取。如果不存在，則預設值應為0。
geom @點大小	O	xs:無符號位元組	指示用於渲染的幾何結構點大小。支援的值在1至65535的範圍內（包括端值）。如果不存在，則預設值應為1。
geom .geomSmoothing	0. .1	vpcc:幾何結構平滑類型	其屬性提供幾何結構平滑資訊的元素。
geom. geom Smoothing @ 柵格大小	M	xs:無符號位元組	指定用於幾何結構平滑的柵格大小。允許值應該在2到128的範圍內（包括端值）。 如果是geom.geomSmoothing元素不存在，預設的網格大小應被推斷為8。
geom. geom Smoothing @臨界值	M	xs:無符號位元組	平滑臨界值。 如果是geom. geom Smoothing元素不存在，預設臨界值應被推斷為64。
geom.geom 縮放（ scale ）	0. .1	vpcc:幾何結構縮放類型	屬性提供幾何結構縮放資訊的元素。
geom.geom 縮放 @x	M	xs:無符號整數	沿X軸的縮放值。如果geom. geom Smoothing元素不存在，預設值應推斷為1。
geom.geom 縮放 @y	M	xs:無符號整數	沿Y軸的縮放值。如果geom. geom Smoothing元素不存在，預設值應推斷為1。
geom.geom 縮放 @z	M	xs:無符號整數	沿Z軸的縮放值。如果geom. geomSmoothing元素不存在，預設值應推斷為1。
geom.geom 偏移	0. .1	vpcc:geom.geom偏移	屬性提供幾何結構偏移資訊的元素。
geom.geom 偏移 @x	M	xs:整數	沿X軸的偏移值。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
geom.geom 偏移 @y	M	xs:整數	沿Y軸的偏移值。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
geom.geom 偏移 @ z	M	xs:整數	沿Z軸的偏移值。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
geom.geom 旋轉	0. .1	vpcc:geom.geom旋轉類型	屬性提供幾何結構旋轉資訊的元素。
geom.geom 旋轉 @ x	M	xs:整數	沿X軸的旋轉值以2-16 度為單位。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
geom.geom 旋轉 @ y	M	xs:整數	沿Y軸的旋轉值以2-16 度為單位。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
geom.geom 旋轉 @ z	M	xs:整數	沿Z軸的旋轉值以2-16 度為單位。如果geom. geomSmoothing元素不存在，預設值應推斷為0。
圖例： 對於屬性：M =強制，O =可選的，OD = 採用預設值可選的，CM =條件強制。 對於元素：＜minOccurs＞..＜maxOccurs＞ (N=無界的) 元素是粗體；屬性是非粗體並且其前面有@。

在一個實施例中，geomMeta 描述符的各種元素和屬性的資料類型可為如以下XML綱要中所定義。 ＜?xml version="1.0" encoding="UTF-8"?＞ ＜xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" targetNamespace="urn:mpeg:mpegI:vpcc:2019" xmlns:omaf="urn:mpeg:mpegI:vpcc:2019" elementFormDefault="qualified"＞ ＜xs:element name="geom" type="vpcc:geometryMetadataType"/＞ ＜xs:complexType name="geometryMetadataType"＞ ＜xs:attribute name="point_shape" type="xs:unsignedShort" use="optional" default="0" /＞ ＜xs:attribute name="point_size" type="xs:unsignedByte" use="optional" default="1" /＞ ＜xs:element name="geomSmoothing" type="vpcc:geometrySmoothingType" minOccurs="0" maxOccurs="1"/＞ ＜xs:element name="geomScale" type="vpcc:geometryScaleType" minOccurs="0" maxOccurs="1"/＞ ＜xs:element name="geomOffset" type="vpcc:geometryOffsetType" minOccurs="0" maxOccurs="1"/＞ ＜xs:element name="geomRotation" type="vpcc:geometryRotationType" minOccurs="0" maxOccurs="1"/＞ ＜/xs:complexType＞ ＜xs:complexType name="geometrySmoothingType"＞ ＜xs:attribute name="grid_size" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="threshold" type="xs:unsignedByte" use="required" /＞ ＜/xs:complexType＞ ＜xs:complexType name="geometryScaleType"＞ ＜xs:attribute name="x" type="xs:unsignedInt" use="required" /＞ ＜xs:attribute name="y" type="xs:unsignedInt" use="required" /＞ ＜xs:attribute name="z" type="xs:unsignedInt" use="required" /＞ ＜/xs:complexType＞ ＜xs:complexType name="geometryOffsetType"＞ ＜xs:attribute name="x" type="xs:int" use="required" /＞ ＜xs:attribute name="y" type="xs:int" use="required" /＞ ＜xs:attribute name="z" type="xs:int" use="required" /＞ ＜/xs:complexType＞ ＜xs:complexType name="geometryRotationType"＞ ＜xs:attribute name="x" type="xs:int" use="required" /＞ ＜xs:attribute name="y" type="xs:int" use="required" /＞ ＜xs:attribute name="z" type="xs:int" use="required" /＞ ＜/xs:complexType＞ ＜/xs:schema＞用信號通知屬性中繼資料

具有等於“urn:mpeg:mpegI:vpcc:2019:attr_meta”的@方案IdUri屬性的補充性質 元素可以被引入，並且在此被稱為屬性中繼資料描述符或attrMeta 描述符。在主適性集 級別上可以存在至多一個attrMeta 描述符。在主適性集 中的表示級別上可以存在至多一個attrMeta 描述符。如果在表示級別存在attrMeta 描述符，則它置換用於表示 所屬的適性集 的在適性集級別用信號通知的任何attrMeta 描述符。

在一個實施例中，不存在attrMeta 描述符的@ 值屬性。在一個實施例中，attrMeta 描述符可包括如表8中指定的元素和屬性。表 8 用於 attrMeta 描述符的元素和屬性

用於 attrMeta 描述符的元素和屬性	用途	資料類型	描述
attm	0. .N	vpcc:屬性中繼資料類型	容器元素，其屬性和元素指定點雲屬性的中繼資料資訊。
attm @索引	M	xs:無符號位元組	指示屬性的索引。應該是0和127之間的值（包括端值）。
attm @維度	M	xs:無符號位元組	點雲屬性的維度的數量。
attm.attrSmoothing	0. .1	vpcc:屬性平滑類型	屬性提供用於點雲屬性的平滑資訊的元素。
attm.attrSmoothing@ 半徑	M	xs:無符號位元組	偵測相鄰者的半徑以用於屬性平滑。如果是attm.attrSmoothing元素不存在，預設值將被推斷為0。
attm.attrSmoothing@ 相鄰者計數	M	xs:無符號位元組	用於屬性平滑的相鄰點的最大數量。如果attm.attrSmoothing元素不存在，預設值應被推斷為0。
attm.attrSmoothing@ 半徑2邊界	M	xs:無符號位元組	用於邊界點偵測的半徑。如果attm.attrSmoothing元素不存在，預設值將被推斷為0。
attm.attrSmoothing @臨界值	M	xs:無符號位元組	屬性平滑臨界值。如果xs:無符號位元組元素不存在，預設值將被推斷為0。
attm.attrSmoothing @ 臨界值局域熵	M	xs:無符號位元組	邊界點鄰域中的局部熵臨界值。該屬性的值應在0至7的範圍內（包括端值）。如果attm.attrSmoothing元素不存在，預設值將被推斷為0。
attm.attrScale	0. .1	vpcc:屬性縮放類型	屬性提供沿著點雲屬性的每個維度的縮放資訊的元素。
attm.attrScale @值	M	xs:字串	用於點雲屬性的每個維度的逗號分隔的縮放值的字串。
attm.attrScaleOffset	0. .1	vpcc:屬性偏移類型	其屬性提供沿著點雲屬性的每個維度的偏移資訊的元素。
attm.attrScale @值	M	xs:字串	用於點雲屬性的每個維度的逗號分隔的偏移值的字串。
圖例： 對於屬性：M =強制，O =可選的，OD =採用預設值可選的，CM =條件強制。 對於元素：＜minOccurs＞..＜maxOccurs＞ (N=無界的) 元素是粗體；屬性是非粗體並且其前面有@。

在一個實施例中，attrMeta 描述符的各種元素和屬性的資料類型可如以下XML綱要中定義的那樣。 ＜?xml version="1.0" encoding="UTF-8"?＞ ＜xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" targetNamespace="urn:mpeg:mpegI:vpcc:2019" xmlns:omaf="urn:mpeg:mpegI:vpcc:2019" elementFormDefault="qualified"＞ ＜xs:element name="attm" type="vpcc:attributeMetadataType"/＞ ＜xs:complexType name="attributeMetadataType"＞ ＜xs:attribute name="index" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="num_dimensions" type="xs:unsignedByte" use="required" /＞ ＜xs:element name="attrSmoothing" type="vpcc:attributeSmoothingType" minOccurs="0" maxOccurs="1"/＞ ＜xs:element name="attrScale" type="vpcc:attributeScaleType" minOccurs="0" maxOccurs="1"/＞ ＜xs:element name="attrOffset" type="vpcc:attributeOffsetType" minOccurs="0" maxOccurs="1"/＞ ＜/xs:complexType＞ ＜xs:complexType name="attributeSmoothingType"＞ ＜xs:attribute name="radius" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="neighbour_count" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="radius2_boundary" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="threshold" type="xs:unsignedByte" use="required" /＞ ＜xs:attribute name="threshold_local_entropy" type="xs:unsignedByte" use="required" /＞ ＜/xs:complexType＞ ＜xs:complexType name="attributeScaleType"＞ ＜xs:attribute name="values" type="xs:string" use="required" /＞ ＜/xs:complexType＞ ＜xs:complexType name="attributeOffsetType"＞ ＜xs:attribute name="values" type="xs:string" use="required" /＞ ＜/xs:complexType＞ ＜/xs:schema＞串流用戶端行為

DASH用戶端(解碼器節點)由MPD中提供的資訊引導。以下是根據本說明書中所呈現的傳訊來處理串流點雲內容的範例性用戶端行為，其中假設使用VPCC描述符來用信號通知分量適性集與主點雲適性集的關聯的實施例。圖7是示出根據實施例的範例性串流用戶端過程的流程圖。

在711處，用戶端首先發出HTTP請求並從內容伺服器下載MPD檔案。用戶端然後解析MPD檔案以產生MPD檔案中的XML元素的對應的記憶體表示。

接下來，在713處，為了指示一個時段 中的可用點雲媒體內容，串流用戶端掃描適性集 元素以找到具有被設定為'vpc1'的@編解碼器屬性的適性集 以及VPCC描述符元素。所得到的子集是用於點雲內容的一組主適性集。

接下來，在715處，串流用戶端藉由檢查那些適性集 的VPCC描述符來指示唯一點雲的數量，並將在其VPCC描述符中具有相同@ pcId值的適性集 分組為相同內容的版本。

在717處，指示具有與使用者期望串流的點雲內容相對應的@ pcId值的一組適性集 。如果該組包含多於一個的適性集 ，則串流用戶端選擇具有支援的版本(例如，視訊解析度)的適性集。否則，選擇該組的唯一適性集 。

接下來，在719處，串流用戶端檢查所選擇的適性集 的VPCC描述符，以指示點雲分量的適性集 。這些是從@ 佔用率Id、@ 幾何結構Id和@屬性Id屬性的值指示的。如果在所選擇的主要適性集 中存在geomMeta 和/或attrMeta 描述符，則串流用戶端能夠在下載任何分段之前指示其是否支援用於點雲串流的信號通知的渲染配置。否則，用戶端需要從初始化分段中擷取該資訊。

接下來，在721處，用戶端藉由下載用於主適性集 的初始化分段來開始串流點雲，其包含初始化V-PCC解碼器所需的參數集。

在723處，用於視訊寫碼分量串流的初始化分段被下載，並在記憶體中被快取。

在725處，串流用戶端然後開始藉由HTTP並行地從主適性集 和分量適性集 下載時間對齊的媒體分段，並且所下載的分段被儲存在記憶體中分段緩衝器(in-memory segment buffer)中。

在727處，該時間對齊的媒體分段從其分別緩衝器中移除，並與分別初始化分段序連(concatenated)。

最後，在729處，對媒體容器(例如，ISOBMFF)進行解析以擷取基本串流資訊並根據V-PCC標準來結構化V-PCC位元串流，然後將該位元串流傳遞到V-PCC解碼器。

儘管以上以特定的組合描述了特徵和元素，但是本領域的普通技術人員將理解，每個特徵或元素可以單獨使用或與其它特徵和元素任意組合使用。另外，本文描述的方法可以在電腦程式、軟體或韌體中實施，該電腦程式、軟體或韌體併入電腦可讀媒體中以由電腦或處理器執行。非暫時性電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、諸如內部硬碟和可移除碟片的磁媒體、磁光媒體和諸如CD-ROM碟片和數位多功能碟片(DVD)的光媒體。與軟體相關聯的處理器可以用於實施在WTRU 102、UE、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。

此外，在上述實施例中，注意到處理平臺、計算系統、控制器和包含處理器的其它裝置。這些裝置可以包含至少一個中央處理單元(“CPU”)和記憶體。根據電腦程式設計領域的技術人員的實踐，對動作和操作或指令的符號表示的引用可以由各種CPU和記憶體來執行。這樣的動作和操作或指令可以被稱為“被執行”、“電腦執行”或“CPU執行”。

本領域的普通技術人員將理解，動作和符號表示的操作或指令包括由CPU對電信號的操縱。電氣系統表示資料位元，其可以導致電信號的變換或還原以及資料位元在記憶體系統中的儲存位置處的維護，從而重新配置或以其他方式改變CPU的操作以及信號的其他處理。維護資料位元的記憶體位置是具有對應於或代表資料位元的特別電、磁、光或有機性質的實體位置。應當理解，範例性實施例不限於上述平臺或CPU，並且其它平臺和CPU可以支援所提供的方法。

資料位元也可以保存在電腦可讀媒體上，該電腦可讀媒體包括磁片、光碟和CPU可讀的任何其它揮發性(例如，隨機存取記憶體(“RAM”))或非揮發性(例如，唯讀記憶體(“ROM”))大型儲存系統。該電腦可讀媒體可以包括協作或互連的電腦可讀媒體，其專門存在於處理系統上或者分佈在可以位於處理系統本地或遠端的複數互連的處理系統之間。應當理解，代表性實施例不限於上述記憶體，並且其它平臺和記憶體可以支援所描述的方法。

在說明性實施例中，本文描述的任何操作、過程等可以被實施為儲存在電腦可讀媒體上的電腦可讀指令。電腦可讀指令可以由行動單元、網路元件和/或任何其他計算裝置的處理器執行。

在系統的各方面的硬體和軟體實施之間幾乎沒有差別。硬體或軟體的使用通常(但不總是，因為在某些情況下，硬體和軟體之間的選擇可能變得重要)是代表成本相對於效率折衷的設計選擇。可以存在各種載具，藉由這些載具可以影響本文所述的過程和/或系統和/或其它技術(例如，硬體、軟體和/或韌體)，並且優選的載具可以隨著部署過程和/或系統和/或其它技術的上下文而變化。例如，如果實施者確定速度和準確性是最重要的，則實施者可以選擇主要是硬體和/或韌體的載具。如果靈活性是最重要的，則實施者可以選擇主要是軟體的實施。可替換地，實施者可以選擇硬體、軟體和/或韌體的某種組合。

前述詳細描述已經藉由使用框圖、流程圖和/或範例闡述了裝置和/或過程的各種實施例。在這樣的框圖、流程圖和/或範例包含一個或複數功能和/或操作的情況下，本領域技術人員將理解，這樣的框圖、流程圖或範例內的每個功能和/或操作可以由各種各樣的硬體、軟體、韌體或實際上其任何組合單獨地和/或共同地實施。舉例來說，合適的處理器包括通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、應用專用標準產品(ASSP)；現場可程式設計閘陣列(FPGA)電路、任何其它類型的積體電路(IC)和/或狀態機。

儘管以上以特定組合提供了特徵和元素，但是本領域普通技術人員將理解，每個特徵或元素可以單獨使用或者與其它特徵和元素以任何組合使用。本揭露不應在本申請中描述的特定實施例方面受到限制，這些實施例旨在說明各個方面。在不背離本發明的精神和範圍的情況下，可以進行許多修改和變型，這對於本領域技術人員來說是顯而易見的。除非明確地這樣提供，否則在本申請的描述中使用的元素、動作或指令不應被解釋為對本發明是關鍵的或必要的。除了本文列舉的那些之外，本揭露範圍內的功能上等同的方法和裝置根據前述描述對於本領域技術人員將是顯而易見的。這些修改和變型旨在落入所附申請專利範圍的範圍內。本揭露僅由所附申請專利範圍的術語以及這些申請專利範圍所授權的等效物的全部範圍來限制。應當理解，本揭露不限於特定的方法或系統。

還應理解，本文所用的術語僅是為了描述特別實施方案的目的，而不是旨在限制。如這裡所使用的，當這裡提及術語“基地台”及其縮寫“STA”、“使用者設備”及其縮寫“UE”時可以表示(i)無線傳輸和/或接收單元(WTRU)，例如下面所描述的；(ii)WTRU的複數實施方式中的任一個，例如下文所描述的；(iii)具有無線和/或有線能力的(例如可接線的)裝置，其配置有尤其WTRU的一些或所有結構和功能，例如下文所述；(iii)一種具有無線能力和/或有線能力的裝置，其被配置為具有少於WTRU的所有結構和功能，例如下文所描述的；或(iv)類似物。

在某些代表性實施例中，本文所述主題的若干部分可藉由專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、數位訊號處理器(DSP)和/或其它整合格式來實施。然而，本領域技術人員將認識到，本文揭露的實施例的一些方面可以整體或部分地等效地在積體電路中實施為在一個或複數電腦上運行的一個或複數電腦程式(例如，在一個或複數電腦系統上運行的一個或複數程式)、在一個或複數處理器上運行的一個或複數程式(例如，在一個或複數微處理器上運行的一個或複數程式)、韌體或實際上其任何組合，並且本領域技術人員根據本揭露在其技能範圍內設計電路和/或編寫用於軟體和/或韌體的代碼是恰當的。此外，本領域技術人員將理解，本文描述的主題的機制可以作為各種形式的程式產品來分發，並且本文描述的主題的說明性實施例適用，而不管用於實際執行分發的信號承載媒體的特別類型。信號承載媒體的範例包括但不限於以下：可記錄型媒體（例如軟碟、硬碟驅動器、CD、DVD、數位磁帶、電腦記憶體等），以及傳輸型媒體（例如數位和/或類比通信媒體(例如，光纖電纜、波導、有線通信鏈路、無線通訊鏈路等) ）。

本文描述的主題有時示出了包含在不同的其它組件內或與不同的其它組件連接的不同組件。應當理解，這樣描述的架構僅僅是範例，並且實際上可以實施許多其他可實施相同功能的架構。在概念意義上，實施相同功能的元件的任何佈置被有效地“關聯”，由此可以實施期望的功能。因此，本文中組合以實施特定功能性的任何兩個組件可被視為彼此“相關聯”，由此實施所期望的功能性，而不管架構或中間組件如何。同樣，如此關聯的任何兩個部件也可被視為彼此“可操作地連接”或“可操作地耦合”以實施期望的功能，並且能夠如此關聯的任何兩個組件也可被視為彼此“可操作地可耦合的”以實施期望的功能。可操作地可耦合的特定範例包括但不限於實體上可配對和/或實體上交互的組件和/或可無線交互和/或無線交互的組件和/或邏輯上交互和/或邏輯上可交互的組件。

關於本文中基本上任何複數和/或單數術語的使用，本領域技術人員可以根據上下文和/或應用的需要，將複數轉化為單數和/或將單數轉化為複數。為了清楚起見，這裡可以明確地闡述各種單數/複數置換。

本領域技術人員將理解，一般而言，本文中並且尤其是在所附申請專利範圍(例如，所附申請專利範圍的主體)中使用的術語一般旨在作為“開放式”術語(例如，術語“包括”應被解釋為“包括但不限於”，術語“具有”應被解釋為“至少具有”，術語“包含”應被解釋為“包含但不限於”等)。本領域技術人員還將理解，如果意圖是所引入的申請專利範圍敘述的特定數量，則這樣的意圖將在申請專利範圍中明確地敘述，並且在沒有這樣的敘述的情況下，不存在這樣的意圖。例如，在僅想要一個特徵的情況下，可以使用術語“單個”或類似語言。為了幫助理解，以下所附申請專利範圍和/或本文的描述可以包含介紹性短語“至少一個”和“一個或複數”的使用，以引入申請專利範圍敘述。然而，這種短語的使用不應被解釋為暗示著由不定冠詞“一”或“一個”引入的申請專利範圍敘述將包含這種引入的申請專利範圍敘述的任何特定申請專利範圍限制為僅包含一個這種敘述的實施例，即使當同一申請專利範圍包括介紹性短語“一個或複數”或“至少一個”以及不定冠詞如“一”或“一個”時(例如，“一”和/或“一個”應被解釋為意指“至少一個”或“一個或複數”)。這同樣適用於使用定冠詞來引入申請專利範圍敘述。另外，即使明確地敘述了所引入的申請專利範圍敘述的特定數量，本領域技術人員將認識到，這樣的敘述應當被解釋為意味著至少所敘述的數量(例如，在沒有其他修飾語的情況下，“兩個敘述”的無修飾敘述意味著至少兩個敘述，或者兩個或更多個敘述)。此外，在使用類似於“A、B和C等中的至少一個”的慣例的那些實例中，通常這樣的構造旨在本領域技術人員將理解慣例的意義上(例如，“具有A、B和C中的至少一個的系統”將包括但不限於僅具有A、僅具有B、僅具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B和C等的系統)。在使用類似於“A、B或C等中的至少一個”的慣例的那些實例中，通常這樣的構造旨在本領域技術人員將理解慣例的意義上(例如，“具有A、B或C中的至少一個的系統”將包括但不限於僅具有A、僅具有B、僅具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B和C等的系統)。本領域技術人員還將理解，無論在說明書、申請專利範圍還是附圖中，實際上呈現兩個或更多個替代術語的任何轉折連詞和/或短語應當被理解為預期包括這些術語之一、這些術語中的任一個或兩個術語的可能性。例如，短語“A或B”將被理解為包括“A”或“B”或“A和B”的可能性。此外，如本文所使用的，前面有複數特徵和/或複數特徵類別的清單的術語“任意”旨在包括特徵和/或特徵類別的“任意”、“任意組合”、“任意複數”和/或“任意複數組合”，單獨地或與其他特徵和/或其他特徵類別相結合。此外，如本文所使用的，術語“集（合）”或“組”旨在包括任何數量（包括零）的特徵。另外，如本文所用，術語“數量”旨在包括任何數量（包括零）。

另外，在本揭露的特徵或方面是按照馬庫西（Markush）組來描述的情況下，本領域技術人員將認識到，本揭露也由此按照馬庫西組的任何個別成員或成員子組來描述。

如本領域技術人員將理解的，為了任何和所有目的，例如在提供書面描述方面，本文揭露的所有範圍還涵蓋任何和所有可能的子範圍及其子範圍的組合。任何列出的範圍可以容易地被認為充分描述並且使得相同的範圍能夠被分解成至少相等的兩份、三份、四份、五份、十份等。作為非限制性範例，本文討論的每個範圍可以容易地分解成下三分之一（1/3）、中三分之一（1.5/3）和上三分之一（2/3）等。本領域技術人員還將理解，所有語言例如“高達”、“至少”、“大於”、“小於”等包括所列舉的數目，並且是指隨後可以分解成如上所述的子範圍的範圍。最後，如本領域技術人員將理解的，範圍包括每個個別的成員。因此，例如，具有1-3個胞元的組是指具有1、2或3個胞元的組。類似地，具有1-5個胞元的組是指具有1、2、3、4或5個胞元的組，等等。

此外，申請專利範圍不應被理解為限於所提供的順序或元素，除非陳述為那樣的效果。此外，在任何申請專利範圍中使用術語“用於…之裝置”旨在援引35U.S.C.§(f)或手段功能用語格式，並且沒有術語“用於…之裝置”的任何申請專利範圍並非如此。

儘管在此參考具體實施例對本發明進行了說明和描述，但是本發明並不旨在限於所示的細節。相反，在申請專利範圍的等同範圍內並且在不背離本發明的情況下，可以對細節進行各種修改。

在整個揭露中，技術人員理解，某些代表性實施例可以替代地或與其它代表性實施例組合地使用。

儘管以上以特定的組合描述了特徵和元素，但是本領域的普通技術人員將理解，每個特徵或元素可以單獨使用或與其它特徵和元素任意組合使用。另外，本文描述的方法可以在電腦程式、軟體或韌體中實施，該電腦程式、軟體或韌體併入電腦可讀媒體中以由電腦或處理器執行。非暫時性電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、諸如內部硬碟和可移除碟片的磁媒體、磁光媒體和諸如CD-ROM碟片和數位多功能碟片(DVD)的光媒體。與軟體相關聯的處理器可以用於實施在WRTU、UE、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。

此外，在上述實施例中，注意到處理平臺、計算系統、控制器和包含處理器的其它裝置。這些裝置可以包含至少一個中央處理單元(“CPU”)和記憶體。根據電腦程式設計領域的技術人員的實踐，對動作和操作或指令的符號表示的引用可以由各種CPU和記憶體來執行。這樣的動作和操作或指令可以被稱為“被執行”、“電腦執行”或“CPU執行”。

本領域的普通技術人員將理解，動作和符號表示的操作或指令包括由CPU對電信號的操縱。電氣系統表示資料位元，其可以導致電信號的變換或還原以及資料位元在記憶體系統中的儲存位置處的維護，從而重新配置或以其他方式改變CPU的操作以及信號的其他處理。維護資料位元的儲存位置是具有對應於或代表資料位元的特別電、磁、光或有機性質的實體位置。

資料位元也可以保存在電腦可讀媒體上，該電腦可讀媒體包括磁片、光碟和CPU可讀的任何其它揮發性(例如，隨機存取記憶體(“RAM”))或非揮發性("例如，唯讀記憶體(“ROM”))大型存放區系統。該電腦可讀媒體可以包括協作或互連的電腦可讀媒體，其專門存在於處理系統上或者分佈在可以位於處理系統本地或遠端的複數互連的處理系統之間。應當理解，代表性實施例不限於上述記憶體，並且其它平臺和記憶體可以支援所描述的方法。

除非明確地描述，否則在本申請的描述中使用的元素、動作或指令不應被解釋為對本發明是關鍵的或必要的。另外，如本文所用，冠詞“一”旨在包括一個或複數特徵。在僅意指一個特徵的情況下，使用術語“一個”或類似語言。此外，如本文所使用的，前面有複數特徵和/或複數特徵類別的清單的術語“任意”旨在包括特徵和/或特徵類別的“任意”、“任意組合”、“任意複數”和/或“任意複數組合”，單獨地或與其他特徵和/或其他特徵類別相結合。此外，如本文所使用的，術語“集（合）”旨在包括任何數量“集（合）”的特徵。此外，如本文所使用的，術語“數量”旨在包括任何數量（包括零）。

此外，申請專利範圍不應被理解為限於所描述的順序或元素，除非陳述為那樣的效果。此外，在任何申請專利範圍中使用術語“裝置”旨在援引35 U.S.C. §112(f)，並且沒有詞語“裝置”的任何申請專利範圍不是如此意圖。

舉例來說，合適的處理器包括通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、應用專用標準產品(ASSP)；現場可程式設計閘陣列(FPGA)電路、任何其它類型的積體電路(IC)和/或狀態機。

與軟體相關聯的處理器可以用於實施在無線傳輸接收單元(WRTU)、使用者設備(UE)、終端、基地台、移動性管理實體(MME)或演進封包核心(EPC)、或任何主機電腦中使用的射頻收發器。WRTU可以與以硬體和/或軟體實施的模組結合使用，該模組包括軟體定義無線電(SDR)和其他組件（諸如相機、攝像機模組、視訊電話、揚聲器電話、振動裝置、揚聲器、麥克風、電視收發器、免持耳機、小鍵盤、藍牙®模組、調頻(FM)無線電單元、近場通信(NFC)模組、液晶顯示器(LCD)顯示單元、有機發光二極體(OLED)顯示單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器和/或任何無線區域網路(WLAN)或超寬頻(UWB)模組。

雖然本發明已經根據通信系統進行了描述，但是可以預期，該系統可以在微處理器/通用電腦(未示出)上以軟體實施。在某些實施例中，各種元件的功能中的一個或複數可以在控制通用電腦的軟體中實施。

此外，儘管在此參考具體實施例示出和描述了本發明，但是本發明並不限於所示的細節。更確切地說，在申請專利範圍的等同範圍內並且在不背離本發明的情況下，可以對細節進行各種修改。

BBS:緩衝位元串流 BS:訊位元串流 MPD:媒體呈現描述 Rx:接收 Tx:傳輸 V-PCC:基於視訊的點雲壓縮 112:源裝置 114:目的地裝置 116:通信通道 118:視訊編碼器單元 120、128:傳輸和/或接收(Tx/Rx)單元 122、126:Tx/Rx元件 124:視訊源 130:視訊解碼器單元 132:顯示裝置 133:視訊編碼器 134:輸出緩衝器 136:系統控制器 202、302:輸入 204:變換單元 206:量化單元 208:熵寫碼單元 210、310:逆量化單元 212、312:逆變換單元 216:第一加法器 220:輸出 226:第二加法器 260、360:空間預測單元 262:運動預測單元 264、364:參考圖像儲存器 266、366:濾波器 280:模式決定和編碼器控制器單元 308:熵解碼單元 326:加法器 362:運動補償預測單元 711、713、715、717、719、721、723、725、727、729:流程

從以下結合附圖以範例方式給出的詳細描述中可以獲得更詳細的理解。與詳細描述一樣，這些附圖中的圖是範例。因此，附圖和詳細描述不應被認為是限制性的，並且其它等效的範例是可能的並且是可行的。此外，圖中相同的附圖標記表示相同的元件，其中： 圖1A是示出其中可以執行和/或實施一個或複數實施例的範例視訊編碼和解碼系統的框圖； 圖1B是說明用於與圖1A的視訊編碼和/或解碼系統一起使用的範例視訊編碼器單元的框圖； 圖2是一般的基於塊的混合視訊編碼系統的框圖； 圖3是基於塊的視訊解碼器的一般框圖； 圖4示出了用於基於視訊的點雲壓縮(V-PCC)的位元串流的結構； 圖5示出MPD階層資料模型； 圖6示出了用於對屬於MPEG-DASH MPD檔案內的單個點雲的V-PCC分量進行分組的範例性DASH配置；以及 圖7是示出根據實施例的用於串流點雲內容的範例解碼器過程的流程圖。

MPD:媒體呈現描述

V-PCC:基於視訊的點雲壓縮

711、713、715、717、719、721、723、725、727、729:流程

Claims (20)

1. 一種在一網路節點中實施的用於使用HTTP經由該網路串流與一點雲相對應的點雲資料的裝置，與該點雲相對應的該點雲資料包含包括該點雲的複數V-PCC (基於視訊的點雲壓縮)分量，每個分量包括該點雲的至少一個版本，該裝置包括： 一處理器，該處理器被配置成在一DASH (HTTP的動態適性串流) MPD (媒體呈現描述)中用信號通知該點雲的該點雲資料，其中該DASH MPD包含： 用於該點雲的主適性集，其中該主適性集至少包括(1)@編解碼器屬性，其被設定為表明所對應的適性集對應於V-PCC資料的唯一值，以及(2)含有用於該點雲的表示的至少一個V-PCC序列參數集的初始化分段；以及 複數分量適性集，其中每個分量適性集對應於該V-PCC分量中的一者，並且至少包含(1)指示所對應的V-PCC分量的類型的VPCC分量描述符和(2) 該V-PCC分量的至少一個性質；以及 其中，該處理器還被配置為使傳輸器藉由該網路傳輸該DASH位元串流。
2. 如請求項1所述的裝置，其中當ISO基本媒體檔案格式(ISOBMFF)用作用於該V-PCC內容的一媒體容器時，該處理器還被配置為將含有一個或複數VPCC組框實例的一元框包含在該主適性集的該初始化分段中，該一個或複數VPCC組框實例提供在該檔案格式級別描述V-PCC軌跡以及其之間的該關係的中繼資料資訊。
3. 如請求項1所述的裝置，其中該處理器還用於將在適性等級的單個初始化分段包含在該主適性集的該初始化分段中，並且其中該處理器還被配置為將用於該主適性集的所有表示的V-PCC序列參數集包含在該主適性集的該初始化分段中。
4. 如請求項1所述的裝置，其中該處理器還被配置為將針對複數表示中的每一者的一初始化分段包含在該主適性集中，其中與一表示相對應的每個初始化分段包含用於該表示的一V-PCC序列參數集。
5. 如請求項1所述的裝置，其中該處理器還用信號通知該VCCC分量描述符以包括一@視訊編解碼器屬性，其值指示用於對該對應的點雲分量進行編碼的該編解碼器。
6. 如請求項1所述的裝置，其中該處理器還被配置為將一角色描述符DASH元素包括在該適性集中，其值指示該對應的適性集的該角色為該對應分量的幾何結構、佔用率圖或屬性中的一者。
7. 如請求項1所述的裝置，其中該處理器還被配置為將指示該分量的層的一元素和/或該分量的一屬性類型包括在該VPCC分量描述符中。
8. 如請求項1所述的裝置，其中該處理器還被配置為將一VPCC描述符包括在該主適性集中，其中該VPCC描述符揭示該主適性集所對應的一特別點雲及分量適性集的該指示符。
9. 如請求項8所述的裝置，其中該處理器還被配置為，如果用於該點雲的該V-PCC資料包括該點雲的多於一個版本，則在一各別的主適性集中用信號通知每個版本，該各別的主適性集包含與該版本相對應的一單個表示以及一VPCC描述符，其中與相同點雲的不同版本相對應的所有主適性集具有針對一@ pcId屬性的相同值。
10. 如請求項8所述的裝置，其中該處理器還被配置為用信號通知一給定點雲的不同版本作為一單個主適性集的不同表示，其中一VPCC描述符針對每一表示而存在，且@ pcId屬性(1)存在於每一表示中且針對該主適性集中的所有表示使用相同值被用信號通知，或(2)被省略。
11. 如請求項8所述的裝置，其中該處理器還被配置為在該MPD中以一@預選分量屬性的該值用信號通知一預選，該@預選分量屬性包括用於該點雲的該主適性集的一id，其隨後為與該點雲分量相對應的該分量適性集的該id。
12. 如請求項8所述的裝置，其中該處理器還被配置為在一@關聯Id屬性中將表示及/或該分量適性集的指示符的一列表包括在該點雲的該主適性集中，其中該@關聯類型屬性的該值被設定為V-PCC的該4CC。
13. 如請求項8所述的裝置，其中該處理器還被配置為使用一@依賴性Id屬性將表示及/或該分量適性集的指示符的一列表包括在該點雲的該主適性集中。
14. 如請求項1所述的裝置，其中該處理器還被配置為將針對該點雲的幾何結構中繼資料和屬性中繼資料中的至少一者包括在該MPD中。
15. 如請求項14所述的裝置，其中該處理器還被配置為將該幾何結構中繼資料包括在一@方案IdUri屬性中。
16. 如請求項14所述的裝置，其中該處理器還被配置為將該屬性中繼資料包括在一@方案IdUri屬性中。
17. 一種由在一網路節點中實施的一裝置實施的方法，用於使用HTTP經由該網路而串流與一點雲相對應的點雲資料，與該點雲相對應的該點雲資料包含包括該點雲的複數V-PCC (基於視訊的點雲壓縮)分量，每個分量包括該點雲的至少一個版本，該方法包括： 在一DASH (HTTP的動態適性串流) MPD (媒體呈現描述)中用信號通知該點雲的該點雲資料，其中該DASH MPD包含：用於該點雲的一主適性集，其中該主適性集至少包括(1)一@編解碼器屬性，其被設定為表明所對應的適性集對應於V-PCC資料的一唯一值，以及(2) 含有用於該點雲的表示的至少一個V-PCC序列參數集的初始化分段；以及複數分量適性集，其中每個分量適性集對應於該V-PCC分量中的一者，並且至少包含(1)指示該對應的V-PCC分量的一類型的VPCC一分量描述符和(2)該V-PCC分量的至少一個性質；以及 藉由該網路傳輸該DASH位元串流。
18. 如請求項17所述的方法，其中當ISO基本媒體檔案格式(ISOBMFF)用作用於該V-PCC內容的一媒體容器時，該方法還包括：將含有一個或複數VPCC組框實例的一元框包含在該主適性集的該初始化分段中，該一個或複數VPCC組框實例提供在檔案格式級別描述V-PCC軌跡以及其之間的該關係的中繼資料資訊。
19. 如請求項17所述的方法，還包括將在適性級別的一單個初始化分段包含在該主適性集的該初始化分段中，並且將用於該主適性集的所有表示的V-PCC序列參數集包含在該主適性集的該初始化分段中。
20. 如請求項17的方法，還包括將針對複數表示中的每一者的一初始化分段包含在該主適性集中，其中與一表示相對應的每個初始化分段包含用於該表示的一V-PCC序列參數集。

Images