TW202220446A - 幾何點雲壓縮(g-pcc)中的時間可調性 - Google Patents

幾何點雲壓縮(g-pcc)中的時間可調性 Download PDF

Info

Publication number
TW202220446A
TW202220446A TW110135392A TW110135392A TW202220446A TW 202220446 A TW202220446 A TW 202220446A TW 110135392 A TW110135392 A TW 110135392A TW 110135392 A TW110135392 A TW 110135392A TW 202220446 A TW202220446 A TW 202220446A
Authority
TW
Taiwan
Prior art keywords
point cloud
temporal
slice
cloud data
time
Prior art date
Application number
TW110135392A
Other languages
English (en)
Inventor
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
德 奧維拉 葛特 汎
巴帕迪亞 雷
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202220446A publication Critical patent/TW202220446A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

公開了用於將時間識別資訊合並到幾何形狀點雲壓縮語法結構中的示例設備和技術。一種用於對點雲資料進行解碼的示例設備包括:記憶體,其被配置爲儲存點雲資料;以及在電路中實現並且通信地耦合到記憶體的一個或多個處理器。所述一個或多個處理器被配置爲:確定語法結構的時間識別符(ID)的值;以及基於時間ID的值來對點雲資料進行解碼。語法結構的時間ID識別與語法結構相關聯的點雲資料所屬的時間層。

Description

幾何點雲壓縮(G-PCC)中的時間可調性
本申請要求享受於2020年10月5日遞交的美國臨時專利申請63/087,809的利益,該申請的全部內容通過引用的方式被並入本文中。
本公開內容涉及點雲編碼和解碼。
點雲是對三維空間中的點的蒐集。所述點可以對應於三維空間內的物體上的點。因此,可以使用點雲來表示三維空間的實體內容。點雲在各種各樣的情形下可能具有功用。例如,在自動車輛的上下文中,點雲可以用於表示道路上的物體的位置。在另一示例中,在表示環境的實體內容的上下文中,點雲可以是出於在擴增實境(AR)或混合實境(MR)應用中定位虛擬對象的目的使用的。點雲壓縮是用於對點雲進行編碼和解碼的過程。對點雲進行編碼可以减少用於對點雲進行儲存和傳輸所要求的資料量。
一般而言,本公開內容描述了用於實現和/或改善幾何形狀點雲壓縮(G-PCC)位元流的時間可調性的技術。利用時間可調性,可以將位元流或點雲幀劃分爲時間層。通過接收不同的時間層子集或所有時間層,G-PCC解碼器可以以不同的幀速率來對點雲資料進行解碼。爲了正確地對時間層進行解碼,G-PCC解碼器可能需要識別哪個點雲資料屬於哪個時間層。本公開內容描述了促進G-PCC解碼器識別哪個點雲資料屬於哪個時間層的技術。
在一個示例中,本公開內容描述了一種對點雲資料進行解碼的方法,包括:確定語法結構的時間識別符(ID)的值;以及基於所述時間ID的所述值來對所述點雲資料進行解碼,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
在另一示例中,本公開內容描述了一種對點雲資料進行編碼的方法,包括:確定語法結構的時間識別符(ID)的值;以及對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
在另一示例中,本公開內容描述了一種用於對點雲資料進行解碼的設備,包括:記憶體,其被配置爲儲存所述點雲資料;以及在電路中實現並且通信地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置爲:確定語法結構的時間識別符(ID)的值;以及基於所述時間ID的所述值來對所述點雲資料進行解碼,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
在另一示例中,本公開內容描述了一種用於對點雲資料進行編碼的設備,包括:記憶體,其被配置爲儲存所述點雲資料;以及在電路中實現並且通信地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置爲:確定語法結構的時間識別符(ID)的值;以及對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
在附圖和下文的描述中闡述了一個或多個示例的細節。根據描述、附圖和申請專利範圍,其它特徵、目的和優勢將是顯而易見的。
時間可調性是幾何點雲壓縮(G-PCC)位元流的期望的特性。利用時間可調性,可以將位元流或點雲幀劃分爲時間層。通過接收不同的時間層子集或所有時間層,G-PCC解碼器可以以不同的幀速率來對點雲資料進行解碼。通常(儘管這不是必要的),如果幀被拆分成N個時間層,則屬於時間層1的幀將以一個幀速率來表示點雲,屬於時間層1和2的幀將以較高的幀速率來表示點雲,屬於時間層1、2和3的幀將仍以更高的幀速率來表示點雲,以此類推。因此,需要識別點雲幀的各個時間層。在沒有任何這樣的識別資訊的情况下,不可能區分哪些切片/幀屬於哪個時間層,並且G-PCC解碼器將不能以各種幀速率來正確地對點雲資料進行解碼。
圖1是示出可以執行本公開內容的技術的示例編碼和解碼系統100的方塊圖。本公開內容的技術通常針對於點雲資料進行譯碼(編碼和/或解碼),即以支持點雲壓縮。一般而言,點雲資料包括用於對點雲進行處理的任何資料。譯碼可以有效地壓縮和/或解壓縮點雲資料。
如圖1所示,系統100包括源設備102和目標設備116。源設備102提供要由目標設備116進行解碼的經編碼的點雲資料。具體地,在圖1的示例中,源設備102經由計算機可讀媒體110來將點雲資料提供給目標設備116。源設備102和目標設備116可以包括範圍廣泛的設備中的任何設備,其包括桌上型計算機、筆記型(即,膝上型)計算機、平板計算機、機頂盒、電話手機(比如智慧手機)、電視機、照相機、顯示設備、數位媒體播放器、視頻游戲主控台、影音串流設備、陸地或海洋交通工具、太空船、飛機、機器人、LIDAR設備、衛星等。在一些情况下,源設備102和目標設備116可以被配備用於無線通信。
在圖1的示例中,源設備102包括資料源104、記憶體106、G-PCC編碼器200以及輸出介面108。目標設備116包括輸入介面122、G-PCC解碼器300、記憶體120以及資料消費器118。根據本公開內容,源設備102的G-PCC編碼器200和目標設備116的G-PCC解碼器300可以被配置爲應用本公開內容的與實現和/或改善G-PCC位元流的時間可調性有關的技術。
因此,源設備102表示編碼設備的示例,而目標設備116表示解碼設備的示例。在其它示例中,源設備102和目標設備116可以包括其它組件或排列。例如,源設備102可以從內部或外部源接收資料(例如,點雲資料)。同樣地,目標設備116可以與外部資料消費器相連接,而不是在相同的設備中包括資料消費器。
如圖1中所示的系統100僅僅是一個示例。一般而言,其它數位編碼和/或解碼設備可以執行本公開內容的與實現和/或改善G-PCC位元流的時間可調性有關的技術。
源設備102和目標設備116僅僅是這樣的設備的示例,在其中源設備102生成用於向目標設備116傳輸的經譯碼的資料。本公開內容將“譯碼”設備稱爲執行對資料的譯碼(編碼和/或解碼)的設備。因此,G-PCC編碼器200和G-PCC解碼器300分別表示譯碼設備(具體而言,編碼器和解碼器)的示例。在一些示例中,源設備102和目標設備116可以以基本上對稱的方式操作,使得源設備102和目標設備116中的各者包括編碼和解碼組件。因此,系統100可以支持源設備102與目標設備116之間的單向或雙向傳輸,例如,用於流式傳輸、回放、廣播、電話、導航和其它應用。
一般而言,資料源104表示資料(即,原始的、未經編碼的點雲資料)的源,以及可以將資料的連續序列的“幀”提供給G-PCC編碼器200,所述G-PCC編碼器200對針對幀的資料進行編碼。源設備102的資料源104可以包括點雲捕獲設備,比如各種各樣的照相機或感測器中的任何一者(例如,3D掃描儀或光逹(LIDAR)設備)、一個或多個攝影機、包含先前捕獲的資料的存檔和/或用於從資料內容提供者接收資料的資料饋送介面。替代地或另外地,點雲資料可以是從掃描儀、照相機、感測器生成的計算機資料或者其它資料。例如,資料源104可以生成基於計算機圖形的資料作爲源資料、或者産生即時資料、存檔資料和計算機生成的資料的組合。在每種情况下,G-PCC編碼器200對捕獲的、預捕獲的或計算機生成的資料進行編碼。G-PCC編碼器200可以將幀從接收到的順序(有時稱爲“顯示順序”)重新排列爲用於譯碼的譯碼順序。G-PCC編碼器200可以生成包括經編碼的資料的一個或多個位元流。源設備102可以接著經由輸出介面108將經編碼的資料輸出到計算機可讀媒體110上,用於通過例如目標設備116的輸入介面122進行的接收和/或取回。
源設備102的記憶體106和目標設備116的記憶體120可以表示通用記憶體。在一些示例中,記憶體106和記憶體120可以儲存原始資料,例如,來自資料源104的原始資料和來自G-PCC解碼器300的原始的、經解碼的資料。另外地或替代地,記憶體106和記憶體120可以儲存能分別由例如G-PCC編碼器200和G-PCC解碼器300執行的軟體指令。雖然在該示例中,記憶體106和記憶體120是與G-PCC編碼器200和G-PCC解碼器300分開地示出的,但是應當理解的是,G-PCC編碼器200和G-PCC解碼器300還可以出於功能上相似的或等效的目的包括內部記憶體。此外,記憶體106和記憶體120可以儲存經編碼的資料(例如,從G-PCC編碼器200輸出並且輸入到G-PCC解碼器300)。在一些示例中,可以將記憶體106和記憶體120中的一部分分配爲一個或多個緩衝區,例如,以儲存原始的、經解碼的和/或經編碼的資料。例如,記憶體106和記憶體120可以儲存表示點雲的資料。
計算機可讀媒體110可以表示能够將經編碼的資料從源設備102傳輸到目標設備116的任何類型的媒體或設備。在一個示例中,計算機可讀媒體110表示用於使得源設備102能够即時地例如經由射頻網路或基於計算機的網路將經編碼的資料直接地發送給目標設備116的通信媒體。輸出介面108可以根據比如無線通信協定的通信標準,對包括經編碼的資料的傳輸信號進行調變,以及輸入介面122可以對接收到的傳輸信號進行解調。通信媒體可以包括任何無線或有線通信媒體,比如射頻(RF)頻譜或一個或多個實體傳輸線。通信媒體可以形成比如局域網、廣域網或全球網路(比如互聯網)的基於封包的網路的一部分。通信媒體可以包括路由器、交換機、基站或者可能對於促進從源設備102到目標設備116的通信而言是有用的任何其它裝備。
在一些示例中,源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地,目標設備116可以經由輸入介面122來從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分布式或本地存取的資料儲存媒體(比如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性記憶體或非揮發性記憶體)或用於儲存經編碼的資料的任何其它合適的數位儲存媒體中的任何一者。
在一些示例中,源設備102可以將經編碼的資料輸出到文件伺服器114或者可以儲存由源設備102生成的經編碼的資料的另一中間儲存設備。目標設備116可以經由流式傳輸或下載來從文件伺服器114存取所儲存的資料。文件伺服器114可以是能够儲存經編碼的資料並且將該經編碼的資料發送給目標設備116的任何類型的伺服器設備。文件伺服器114可以表示網路伺服器(例如,用於網站)、文件傳送協定(FTP)伺服器、內容遞送網路設備、或網路附加儲存(NAS)設備。目標設備116可以通過包括互聯網連接的任何標準資料連接來從文件伺服器114存取經編碼的資料。這可以包括適合用於存取儲存在文件伺服器114上的經編碼的資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線(DSL)、電纜數據機等)或兩者的組合。文件伺服器114和輸入介面122可以被配置爲根據流式傳輸協定、下載傳輸協定或其組合進行操作。
輸出介面108和輸入介面122可以表示無線發射機/接收機、數據機、有線網路組件(例如,以太網卡)、根據各種IEEE 802.11標準中的任何標準進行操作的無線通信組件、或其它實體組件。在輸出介面108和輸入介面122包括無線組件的示例中,輸出介面108和輸入介面122可以被配置爲根據比如4G、4G-LTE(長期演進)、改進的LTE、5G等的蜂巢式通信標準,來傳送比如經編碼的資料的資料。在輸出介面108包括無線發射機的一些示例中,輸出介面108和輸入介面122可以被配置爲根據其它無線標準(比如IEEE 802.11規範、IEEE 802.15規範(例如,紫蜂™)、藍牙™標準等)來傳送比如經編碼的資料之類的資料。在一些示例中,源設備102和/或目標設備116可以包括相應的單晶片系統(SoC)設備。例如,源設備102可以包括SoC設備以執行歸屬於G-PCC編碼器200和/或輸出介面108的功能,以及目標設備116可以包括SoC設備以執行歸屬於G-PCC解碼器300和/或輸入介面122的功能。
本公開內容的技術可以應用於支持各種應用中的任何應用(比如自動駕駛車輛之間的通信,掃描儀、照相機、感測器和處理設備(比如本地伺服器或遠程伺服器)之間的通信,地理製圖或其它應用)的編碼和解碼。
目標設備116的輸入介面122從計算機可讀媒體110(例如,通信媒體、儲存設備112、文件伺服器114等)接收經編碼的位元流。經編碼的位元流可以包括由G-PCC編碼器200定義的訊令資訊(其還由G-PCC解碼器300使用),比如具有描述經譯碼的單元(例如,切片、圖片、圖片組、序列等等)的特性和/或對經譯碼的單元的處理的值的語法元素,比如時間識別符(ID),其稍後在本公開內容中進行進一步地討論。資料消費器118使用經解碼的資料。例如,資料消費器118可以使用經解碼的資料來確定實體對象的位置。在一些示例中,資料消費器118可以包括顯示器以基於點雲來展示圖像。
G-PCC編碼器200和G-PCC解碼器300均可以實現爲各種合適的編碼器和/或解碼器電路中的任何一者,比如一個或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任意組合。當技術是部分地在軟體中實現時,設備可以將用於軟體的指令儲存在合適的、非暫態計算機可讀媒體中,以及使用一個或多個處理器來在硬體中執行所述指令以執行本公開內容的技術。G-PCC編碼器200和G-PCC解碼器300中的各者可以是包括在一個或多個編碼器或解碼器中的,編碼器或解碼器中的任一者可以整合爲相應的設備中的組合的編碼器/解碼器(CODEC)的一部分。包括G-PCC編碼器200和/或G-PCC解碼器300的設備可以包括一個或多個積體電路、微處理器和/或其它類型的設備。
G-PCC編碼器200和G-PCC解碼器300可以根據比如視訊點雲壓縮(V-PCC)標準或幾何點雲壓縮(G-PCC)標準的譯碼標準進行操作。本公開內容通常可以涉及對圖片的譯碼(例如,編碼和解碼),以包括對資料進行編碼或解碼的過程。經編碼的位元流通常包括用於表示譯碼决定(例如,譯碼模式)的語法元素的一系列值。
本公開內容通常可能涉及“以信號通知”某些資訊(諸如語法元素)。術語“以信號通知”通常可以指對用於語法元素的值和/或用於對經編碼的資料進行解碼的其它資料的傳送。在一些示例中,諸如時間ID之類的這樣的語法元素可以被包括在諸如切片標頭或資料單元標頭之類的語法結構中。切片標頭或資料單元標頭可以包括適用於與該標頭相關聯的切片或資料單元的語法元素。G-PCC編碼器200可以在位元流中以信號通知用於語法元素的值。G-PCC解碼器300可以解析這些語法元素,以確定信號值。一般而言,以信號通知指在位元流中生成值。如上文所述,源設備102可以基本上即時地或不是即時地(諸如可能在將語法元素儲存到儲存設備112以供目標設備116稍後取回時發生)將位元流傳輸給目標設備116。
ISO/IEC MPEG(JTC 1/SC 29/WG 11)和最近的ISO/IEC 3DG(JTC1/SC29/WG 7)正在研究對具有顯著地超過當前的方法的壓縮能力的點雲譯碼技術進行標準化的潜在的需要,以及將致力於創建標準。該小組正在以稱爲三維圖形小組(3DG)的合作努力中一起開展這項探索活動,以評估由在該領域中的專家提出的壓縮技術設計。
將點雲壓縮活動分類爲兩種不同的方法。第一種方法是“視訊點雲壓縮”(V-PCC),其對3D對象進行分段,以及將這些段投影到多個2D平面(其在2D幀中表示爲“補丁”),所述2D平面是通過比如高效視頻譯碼(HEVC)(ITU-T H.265)編解碼器的舊有2D視頻編解碼器進行進一步譯碼的。第二種方法是“基於幾何的點雲壓縮”(G-PCC),其直接地壓縮3D幾何(即,3D空間中的點集合的位置)以及相關聯的屬性值(針對與3D幾何相關聯的每個點)。G-PCC解决了對類別1(靜態點雲)和類別3(動態獲取的點雲)兩者中的點雲的壓縮。G-PCC標準的最新草案是在G-PCC DIS,ISO/IEC JTC1/SC29/WG11 w19328、電話會議(先前的阿爾普巴赫會議)、2020年4月中可得的,以及對編解碼器的描述是在G-PCC 編解碼器描述v8,ISO/IEC JTC1/SC29/WG11 w19525、電話會議、2020年6月中可得的。對G-PCC規範的一些最近的改變是在G-PCC未來增强,ISO/IEC JTC1/SC29/WG11 w19522、電話會議、2020年6月中可得的。
點雲包含3D空間中的點集合,以及可以具有與所述點相關聯的屬性。所述屬性可以是比如R、G、B或Y、Cb、Cr的顔色資訊、或反射資訊、或其它屬性。點雲可以是由各種照相機或感測器(比如LIDAR感測器和3D掃描儀)來捕獲的,以及還可以是計算機生成的。點雲資料是在各種應用中使用的,所述應用包括但不受限於:建築(建模)、圖形(用於可視化和動畫的3D模型)和汽車工業(用於幫助導航的LIDAR感測器)。
由點雲占據的3D空間可以是由虛擬邊界框包圍的。邊界框中的點的位置可以由某個精度來表示。因此,一個或多個點的位置可以是基於該精度來量化的。在最小的級別處,將邊界框拆分爲體素,所述體素是由單位立方體表示的最小的空間單位。邊界框中的體素可以與零個、一個或多於一個的點相關聯。可以將邊界框拆分爲多個立方體/長方體區域,所述區域可以稱爲圖塊(tile)。可以將每個圖塊譯碼爲一個或多個切片。對邊界框到切片和圖塊的劃分可以是基於每個劃分中的點數,或者是基於其它考慮(例如,可以將特定的區域譯碼爲圖塊)。可以使用類似於視頻編解碼器中的拆分决定來進一步劃分切片區域。
圖2提供對G-PCC編碼器200的概述。圖3提供對G-PCC解碼器300的概述。示出的模組是邏輯的,以及不一定一一對應於G-PCC編解碼器的參考實現方式中的實現的代碼(即,由ISO/IEC MPEG(JTC 1/SC 29/WG 11)研究的TMC13測試模型軟體)。
在G-PCC編碼器200和G-PCC解碼器300兩者中,首先對點雲位置進行譯碼。屬性譯碼取决於經解碼的幾何形狀。在圖2和圖3中,表面近似分析單元212、RAHT單元218、表面近似合成單元310和RAHT單元314是通常用於類別1資料的選項。LOD生成單元220、提升單元222、LOD生成單元316和反向提升單元318是通常用於類別3資料的選項。所有其它模組在類別1和類別3之間是共用的。
針對類別3資料,經壓縮的幾何形狀典型地表示爲從根一直向下到單個體素的葉級別的八叉樹。針對類別1資料,經壓縮的幾何形狀典型地由經修剪的八叉樹(即,從根向下到大於體素的區塊的葉級別的八叉樹)加上模型來表示,所述模型近似於經修剪的八叉樹的每個葉內的表面。用這種方式,類別1資料和類別3資料兩者共享八叉樹譯碼機制,而類別1資料此外可以利用表面模型近似每個葉內的體素。使用的表面模型是每區塊包括1-10個三角形的三角剖分,從而形成三角湯。因此,類別1幾何編解碼器稱爲三角形湯(Trisoup)幾何編解碼器,而類別3幾何編解碼器稱爲八叉樹幾何編解碼器。
在八叉樹的每個節點處,占用性是針對其子節點中的一個或多個子節點(多達八個節點)來以信號通知的(當未推斷時)。指定多個鄰域,其包括:(a)與當前的八叉樹節點共享一面的節點、(b)與當前的八叉樹節點共享一面、邊或頂點的節點等。在每個鄰域內,對一節點和/或其子節點的占用可以用於預測對當前的節點或其子節點的占用。針對在八叉樹的某些節點中稀疏地填充的點,編解碼器還支持直接的譯碼模式,其中對點的3D位置進行直接地編碼。標誌可以是以信號通知的以指示直接模式是以信號通知的。在最低層處,還可以對與八叉樹節點/葉節點相關聯的點的數量進行譯碼。
一旦對幾何形狀進行譯碼,對與幾何點相對應的屬性進行譯碼。當存在與一個經重構/解碼的幾何點相對應的多個屬性點時,可以導出表示經重構的點的屬性值。
在G-PCC中存在三種屬性譯碼方法:區域自適應分層轉換(RAHT)譯碼、基於插值的分層最近鄰預測(預測轉換)、以及具有更新/提升(lifting)步驟的基於插值的分層最近鄰預測(提升轉換)。RAHT和提升典型地用於類別1資料,而預測轉換典型地用於類別3資料。然而,任一方法可以用於任何資料,以及與G-PCC中的幾何編解碼器類似,用於對點雲進行譯碼的屬性譯碼方法是在位元流中指定的。
可以在細節級別(LoD)中執行對屬性的譯碼,其中針對每個細節級別,可以獲得對點雲屬性的更精細的表示。每個細節級別可以是基於與鄰近節點的距離度量或基於取樣距離來指定的。
在G-PCC編碼器200處,對作爲針對屬性的譯碼方法的輸出而獲得的殘差進行量化。可以使用上下文自適應算術譯碼來對經量化的殘差進行譯碼。
在圖2的示例中,G-PCC編碼器200可以包括座標轉換單元202、顔色轉換單元204、體素化單元206、屬性傳送單元208、八叉樹分析單元210、表面近似分析單元212、算術編碼單元214、幾何重構單元216、RAHT單元218、LOD生成單元220、提升單元222、係數量化單元224 和算術編碼單元226。
如圖2的示例所示,G-PCC編碼器200可以接收位置集合和屬性集合。所述位置可以包括點雲中的點的座標。所述屬性可以包括關於點雲中的點的資訊,比如與點雲中的點相關聯的顔色。
座標轉換單元202可以將轉換應用於點的座標,以將座標從初始域轉換到轉換域。本公開內容可以將經轉換的座標稱爲轉換座標。顔色轉換單元204可以應用轉換,以便將屬性的顔色資訊轉換到不同的域。例如,顔色轉換單元204可以將顔色資訊從RGB顔色空間轉換到YCbCr顔色空間。
此外,在圖2的示例中,體素化單元206可以對轉換座標進行體素化。對轉換座標的體素化可以包括:量化和去除點雲中的一些點。換句話說,點雲中的多個點可以包含在單個“體素”中,其此後可以是在一些方面中視爲一個點的。此外,八叉樹分析單元210可以基於經體素化的轉換座標來生成八叉樹。另外地,在圖2的示例中,表面近似分析單元212可以對點進行分析,以潜在地確定對點集合的表面表示。算術編碼單元214可以對表示由表面近似分析單元212確定的八叉樹和/或表面的資訊的語法元素進行熵編碼。G-PCC編碼器200可以在幾何位元流中輸出這些語法元素。
幾何重構單元216可以基於八叉樹、指示由表面近似分析單元212所確定的表面的資料、和/或其它資訊,來重構點雲中的點的轉換座標。由於體素化和表面近似,由幾何重構單元216重構的轉換座標的數量可能與點雲中的原始的點的數量不同。本公開內容可以將作爲結果的點稱爲重構點。屬性傳送單元208可以將點雲中的原始點的屬性傳送到點雲中的重構點。
此外,RAHT單元218可以將RAHT譯碼應用於重構點的屬性。替代地或另外地,LOD生成單元220和提升單元222可以分別將LOD處理和提升應用於重構點的屬性。RAHT單元218和提升單元222可以基於屬性來生成係數。係數量化單元224可以對由RAHT單元218或提升單元222所生成的係數進行量化。算術編碼單元226可以將算術譯碼應用於表示經量化的係數的語法元素。G-PCC編碼器200可以在屬性位元流中輸出這些語法元素。
在圖3的示例中,G-PCC解碼器300可以包括幾何算術解碼單元302、屬性算術解碼單元304、八叉樹合成單元306、逆量化單元308、表面近似合成單元310、幾何重構單元312、RAHT單元314、LOD生成單元316、逆提升單元318、逆轉換座標單元320和逆顔色轉換單元322。
G-PCC解碼器300可以獲得幾何位元流和屬性位元流。G-PCC解碼器300的幾何算術解碼單元302可以將算術解碼(例如,上下文自適應二進制算術譯碼(CABAC)或其它類型的算術解碼)應用於幾何位元流中的語法元素,比如時間ID。類似地,屬性算術解碼單元304可以將算術解碼應用於屬性位元流中的語法元素,比如時間ID。
八叉樹合成單元306可以基於從幾何位元流解析的語法元素來合成八叉樹。在表面近似是在幾何位元流中使用的情况下,表面近似合成單元310可以基於從幾何位元流解析的語法元素並且基於八叉樹來確定表面模型。
此外,幾何重構單元312可以執行重構以確定點雲中的點的座標。逆轉換座標單元320可以將逆轉換應用於經重構的座標,以將點雲中的點的經重構的座標(位置)從轉換域轉換回到初始域。
另外地,在圖3的示例中,逆量化單元308可以對屬性值進行逆量化。所述屬性值可以是基於從屬性位元流中獲得的語法元素(例如,包括由屬性算術解碼單元304進行解碼的語法元素)。
取决於如何對屬性值進行編碼,RAHT單元314可以執行RAHT譯碼,以基於經逆量化的屬性值來確定針對點雲中的點的顔色值。或者,LOD生成單元316和逆提升單元318可以使用基於細節級別的技術來確定針對點雲中的點的顔色值。
此外,在圖3的示例中,逆轉換顔色單元322可以將逆顔色轉換應用於顔色值。逆顔色轉換可以是由G-PCC編碼器200的顔色轉換單元204所應用的顔色轉換的逆操作。例如,顔色轉換單元204可以將顔色資訊從RGB顔色空間轉換到YCbCr顔色空間。因此,逆顔色轉換單元322可以將顔色資訊從YCbCr顔色空間轉換到RGB顔色空間。
示出圖2和圖3的各個單元以幫助理解由G-PCC編碼器200和G-PCC解碼器300執行的操作。所述單元可以實現爲固定功能的電路、可程式化電路或其組合。固定功能的電路指的是提供特定的功能、以及在可以執行的操作上預先設置的電路。可程式化的電路指的是可以被程式化以執行各種任務、以及在可以執行的操作中提供靈活的功能的電路。例如,可程式化的電路可以執行使得可程式化的電路以由軟體或韌體的指令所定義的方式進行操作的軟體或韌體。固定功能的電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能的電路執行的操作的類型通常是不可變的。在一些示例中,所述單元中的一個或多個單元可以是不同的電路區塊(固定功能的或可程式化的),以及在一些示例中,所述單元中的一個或多個單元可以是積體電路。
在若干應用中,點雲資料或點雲資料中的點與某個時間方面相關聯。時間方面可以對應於點的捕獲的時刻,或者可以對應於用於點雲的呈現/顯示時間。典型地,時間方面可能不是絕對時間,而是相對於某個參考時間。該時間分量可以被指定爲與時間相關聯的特定的屬性,或者其可以被譯碼爲幀索引。幀索引可以用於指定相關聯的時間點之間的關係的目的。例如,當點A具有幀索引3並且另一點B具有幀索引4時,假設幀索引大小是與時間成比例的,則點B與比點A要晚的時間點相關聯。
應當注意的是,此外,一些點雲可以被儲存/表示爲單獨的幀。除非針對與幀內的每個點存在相關聯的幀索引或時間的顯式信令,否則出於實際的目的,幀中的所有點可以與相同的時間實例相關聯。
G-PCC編解碼器支持“融合”多個幀,使得G-PCC編碼器200或G-PCC解碼器300可以在對多個幀進行譯碼方面更加高效。在融合多個幀的情况下,將幀索引作爲屬性添加,以將點與被融合的不同的幀進行區分。在G-PCC中,這被稱爲幀的“融合譯碼”或“組合幀譯碼”。
時間可調性可以是G-PCC位元流的期望的特性。利用時間可調性,G-PCC編碼器200可以將位元流或點雲幀劃分爲時間層。接收不同的時間層子集使得G-PCC解碼器300能够以不同的幀速率來對點雲資料進行解碼。典型地(儘管這不是必要的),如果G-PCC編碼器200將幀拆分爲N個時間層,則屬於時間層1的幀將以一個幀速率(例如,每秒30幀)來表示點雲,屬於時間層1和2的幀將以較高的幀速率(例如,每秒60幀)來表示點雲,屬於時間層1、2和3的幀將以更高的幀速率(例如,每秒120幀)來表示點雲,以此類推。在一些示例中,時間層可以通過其它數字(例如,0、1和2)或通過其它名字來稱呼。可能期望識別點雲幀的各個時間層。在無任何這樣的識別資訊的情况下,可能無法區分哪些資料單元、切片或幀屬於哪個時間層。
本公開內容的技術可以解决與區分哪些資料單元、切片或幀屬於哪個時間層有關的一個或多個問題。本公開內容的技術可以獨立地應用或以任何組合來應用。
在一個示例中,G-PCC編碼器200可以以信號通知指定(或用於推導)與語法結構相關聯的時間ID的值。使用時間ID可以使得有可能確定語法結構所屬的時間層。例如,語法結構可以與切片或資料單元(諸如切片標頭或資料單元標頭)相關聯,並且G-PCC編碼器200可以以信號通知指定切片或資料單元的時間ID的值。在G-PCC中,切片可以包括幾何形狀資料單元以及零個或多個相關聯的屬性資料單元。如本文所使用的,幾何形狀資料單元也可以被稱爲幾何形狀切片,並且屬性資料單元也可以被稱爲屬性切片。時間ID可以在切片語法結構(諸如切片標頭)、幾何形狀資料單元語法結構(諸如幾何形狀資料單元標頭)和/或屬性資料單元語法結構(諸如屬性資料單元標頭)中。
例如,G-PCC編碼器200可以確定語法結構的時間ID的值,並且對點雲資料進行編碼,以在該語法結構(例如切片標頭或資料單元標頭)中包括時間ID。例如,G-PCC解碼器300可以確定語法結構的時間ID的值,並且基於時間ID的值來對點雲資料進行解碼。例如,如果時間ID的值指示要以G-PCC解碼器300正在使用的解碼幀速率來解碼的時間層,則G-PCC解碼器300可以對點雲資料進行解碼。
在一些示例中,G-PCC編碼器200可以僅在一些語法結構(例如,與幾何形狀切片或資料單元相關聯的語法結構)中以信號通知該值,並且G-PCC解碼器300可以從包含該值的相關聯的語法結構推導用於其它語法結構(例如,與屬性切片或資料單元相關聯的語法結構)的對應值。例如,G-PCC編碼器200可以利用幾何形狀切片或資料單元而不利用屬性切片或資料單元來以信號通知該值。在G-PCC中,幾何形狀切片或資料單元包括描述切片中的點集合的位置的資料,而相關聯的屬性切片或資料單元包括描述相同的點集合的屬性的資料。在其中G-PCC編碼器200利用幾何形狀切片或資料單元而不利用屬性切片或資料單元來以信號通知該值的示例中,G-PCC解碼器300可以推導與屬性切片或資料單元相關聯的值等於與對應於屬性切片的幾何形狀切片或資料單元相關聯的值,而通常屬性切片或資料單元包含在對應的幾何形狀切片中以信號通知的點的屬性資訊。例如,G-PCC編碼器200可以避免以信號通知與對應於幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。例如,G-PCC解碼器300可以推斷與對應於幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與幾何形狀資料單元相關聯的時間ID的值。與其中在屬性位元流中以信號通知與屬性資料相關聯的時間ID的示例相比,推斷與屬性資料單元相關聯的時間ID是與同對應於屬性資料單元的幾何形狀資料單元相關聯的時間ID相同可以减小屬性位元流的大小。
在一些示例中,G-PCC編碼器200可以僅在獨立切片(或切片標頭)中以信號通知時間ID值,以及不在從屬切片(或切片標頭)中以信號通知時間ID值。從屬切片可以是可能依賴於先前的切片以便進行解碼的切片。例如,G-PCC解碼器300可能不能在沒有首先對從屬切片所依賴的切片進行解碼的情况下對從屬切片進行解碼。在一些示例中,從屬切片的時間ID可以被顯式地以信號通知,或者可以由G-PCC解碼器300從其它語法元素(例如,熵延續標誌)推斷。例如,G-PCC編碼器200可以顯式地以信號通知用於從屬切片的時間ID,在這種情况下,G-PCC解碼器300可以通過解析該時間ID來確定用於從屬切片的時間ID的值。在另一示例中,G-PCC編碼器200可以避免以信號通知用於從屬切片的時間ID,在這種情况下,G-PCC解碼器300可以基於另一語法元素來推斷時間ID。
在一些示例中,可以指定如下的約束,並且G-PCC編碼器200可以應用如下的約束:屬於點雲幀的兩個或更多個切片的時間ID是相同的。例如,該約束可以確保屬於相同幀的切片具有相同的時間ID,並且因此在對該幀進行解碼時,其全部對於G-PCC解碼器300是可用的。例如,如果不存在該約束,並且如果幀的第一切片的時間ID具有t1的時間ID,並且該幀的第二切片具有t2的時間ID(其中t1小於t2),則第二切片可能無法以較低的幀速率可用於G-PCC解碼器300。這可能導致解碼錯誤。
例如,G-PCC編碼器200可以確定與幀的第一切片相關聯的第一語法結構的第一時間ID的值。G-PCC編碼器200可以對點雲資料進行編碼,以在第一語法結構中包括第一時間ID。G-PCC編碼器200還可以確定與幀的第二切片相關聯的第二時間ID等於第一時間ID,並且對與第二切片相關聯的第二語法結構進行編碼以包括第二時間ID。
例如,G-PCC解碼器300可以確定與幀的第一切片相關聯的第一語法結構的第一時間ID的值。G-PCC解碼器300可以基於第一時間ID的值來對該幀的第一切片進行解碼。G-PCC解碼器300還可以確定與該幀的第二切片相關聯的第二時間ID等於第一時間ID,並且基於第二時間ID來對該幀的第二切片進行解碼。
在一些示例中,可以指定如下的約束,並且G-PCC編碼器200和G-PCC解碼器300可以應用如下的約束:對具有時間ID t1的切片中的任何點的重構不依賴於具有時間ID t2的任何切片,其中t1小於t2。該約束可以確保G-PCC解碼器300接收並且解碼另一切片所依賴的任何切片。如果不存在該約束,例如,第一切片具有t2的時間ID,並且第二切片具有t1的時間ID(其中t1小於t2),並且第二切片依賴於第一切片,則在對第二切片進行解碼時,第一切片可能對於G-PCC解碼器300是不可用的(例如,如果提取了包括具有小於t2的時間ID的所有語法結構的位元流,則可能發生這種情况)。這可能導致解碼錯誤。
例如,G-PCC編碼器200可以確定與獨立切片相關聯的第一語法結構的第一時間ID的值。G-PCC編碼器200可以對點雲資料進行編碼以在第一語法結構中包括第一時間ID。G-PCC編碼器200還可以確定與從屬切片相關聯的第二時間ID,從屬切片依賴於獨立切片。G-PCC編碼器200可以進行以下操作:確定與從屬切片相關聯的第二時間ID,從屬切片依賴於獨立切片;以及對點雲資料進行編碼,以在用於從屬切片的第二語法結構中包括第二時間ID,其中,第二時間ID等於或大於第一時間ID。
例如,G-PCC解碼器300可以確定與獨立切片相關聯的第一語法結構的第一時間ID的值。G-PCC解碼器300可以基於第一時間ID的值來對獨立切片進行解碼。G-PCC解碼器300還可以進行以下操作:確定與從屬切片相關聯的第二時間ID,從屬切片依賴於獨立切片;以及基於獨立切片和第二時間ID來對從屬切片進行解碼,其中,第二時間ID等於或大於第一時間ID。
在一些示例中,當使用組合幀譯碼時,可以添加限制,使得G-PCC編碼器200和G-PCC解碼器300可以僅將具有相同的時間ID的幀組合成一個幀。在一些示例中,G-PCC編碼器200和G-PCC解碼器300可以將被組合的幀的時間ID應用於組合幀。在一些示例中,對於與具有時間ID tC的組合幀相關聯的每個幀,G-PCC解碼器300應用可以推斷該幀具有時間ID tC。
在一些示例中,時間ID還可以與參數集相關聯(並且在一些情况下由G-PCC編碼器200以信號通知時間ID)。例如,可以添加如下的條件,並且G-PCC編碼器200可以應用如下的條件:具有時間ID t1的切片可以不引用具有時間ID t2的參數集,其中t2 > t1。在一些示例中,G-PCC解碼器300可以推斷切片的時間ID等於與該切片相關聯的參數集的時間ID。如果一個以上的參數集可以與切片相關聯,則相關聯的參數集的時間ID的最大值可以被應用於該切片。
在另一示例中,可以在G-PCC流的切片標頭中預留固定數量的位元或位元組,使得將來版本的G-PCC可以使用這些位元中的一個或多個位元來指示有用的資訊(例如,時間ID)。例如,G-PCC編碼器200可以在G-PCC流的切片標頭中預留固定數量的位元或位元組,以供將來版本的G-PCC用於指示有用的資訊。在這樣的情况下,G-PCC編碼器200可以不對預留的位元或位元組進行編碼,或者可以以預定的方式來對預留的位元或位元組進行編碼,諸如全0、全1或者0和1的組合。G-PCC解碼器300可以不對預留的位元或位元組進行解碼,或者可以對所預留的位元或位元組進行解碼並且忽略經解碼的預留的位元或位元組。
在一些示例中,G-PCC編碼器200可以以信號通知用於指示一個或多個切片中的時間ID資訊的存在或缺乏其的標誌。G-PCC解碼器300可以解析該標誌以確定在一個或多個切片中是否存在時間ID資訊。當該標誌指示存在時間ID時,G-PCC編碼器200可以在一個或多個切片中以信號通知時間ID,並且G-PCC解碼器300可以解析一個或多個切片中的時間ID以確定時間ID。在一些示例中,G-PCC編碼器200可以以信號通知用於指示在一個或多個切片中是否存在預留的位元的標誌,並且G-PCC解碼器300可以解析該標誌以確定在一個或多個切片中是否存在預留的位元。
如上文使用的術語切片(slice)或切片(slices)表示被一起譯碼的點集合,並且也可以適用於被一起譯碼的其它點集合,諸如區塊、圖塊、幀、磚塊(brick)、資料單元等。另外地,任何語法元素的訊令的位置可以不同於所指示的位置,因爲本文所指示的任何位置是作爲示例來提供的。
以下示例示出G-PCC編碼器200如何在幾何形狀切片標頭和屬性切片標頭中以信號通知時間ID資訊。幾何形狀切片標頭可以包括適用於幾何形狀切片的語法元素,並且屬性切片標頭可以包括適用於屬性切片的語法元素。
下文在以下語法結構中的<ADD>和</ADD>之間示出了本公開內容的在幾何形狀資料單元中的訊令技術:
geometry_data_unit_header( ) { 描述符
      gsh_geometry_parameter_set_id ue(v)
      <ADD> gsh_temporal_id</ADD> <ADD> u(3) </ADD>
      gsh_tile_id ue(v)
      gsh_slice_id ue(v)
      frame_idx u(v)
      if( !sps_entropy_continuation_enabled_flag ) {  
         gsh_entropy_continuation_flag u(1)
         if( gsh_entropy_continuation_flag )  
                  gsh_prev_slice_id ue(v)
      }  
      if( gps_gsh_box_log2_scale_present_flag )  
        gsh_box_log2_scale ue(v)
      for( k = 0; k < 3; k++ )  
        gsh_box_origin_xyz[ k ] ue(v)
      if( geom_octree_flag ) {  
geom_tree_depth_minus1 ue(v)
        if( geom_tree_coded_axis_list_present_flag )  
                  for( lvl = 0; lvl <= geom_tree_depth_minus1; lvl++ )  
                            for( k = 0; k < 3; k++ )  
geom_tree_coded_axis_flag[ lvl ][ k ] u(1)
         gsh_entropy_stream_cnt_minus1 ue(v)
          if( gsh_entropy_stream_cnt_minus1 ) {  
                  gsh_entropy_stream_len_bits u(6)
                  for( i = 0; i < gsh_entropy_stream_cnt_minus1; i++)  
                          gsh_entropy_stream_len[ i ] u(v)
         }  
      }  
      if( geom_scaling_enabled_flag ) {  
geom_slice_qp_offset se(v)
geom_octree_qp_offsets_depth ue(v)
      }  
      if( log2_trisoup_node_size ) {  
          trisoup_sampling_value_minus1 ue(v)
          num_unique_segments_minus1 ue(v)
      }  
      byte_alignment( )  
}  
   
<ADD> gsh_temporal_id指定資料單元的時間ID。gsh_temporal_id的值應在0到MaxTemporalId(含)的範圍內。</ADD>  MaxTemporalId可以是等於允許的最高時間ID的值。
MaxTemporalId的值可以由簡檔/級別限制來指定,或者可以是根據在位元流中以信號通知的值來推導的(例如,可以在序列參數集(SPS)中以信號通知最大時間ID)。在G-PCC中,簡檔或級別可以指定對表示幾何形狀和屬性資訊所需要的位元數量的限制。序列參數集可以包括適用於幀序列的語法元素。
在一些示例中,對gsh_temporal_id的譯碼可以是可變長度(例如,ue(v))或是基於MaxTemporalId的值的。
在一些示例中,還可以在屬性切片標頭中將時間ID作爲語法元素ash_temporal_id以信號通知。
在一些示例中,以下約束可以適用:位元流一致性的要求是屬於第一點雲幀的所有切片的時間ID應是相同的。然而,另一點雲幀可以具有包含不同於第一點雲幀的時間ID的切片。
圖4是示出根據本公開內容的技術的使用時間識別符的示例G-PCC解碼技術的流程圖。G-PCC解碼器300可以確定語法結構的時間ID的值(400)。例如,G-PCC解碼器300可以解析語法結構(諸如切片標頭或資料單元標頭)中的時間ID語法元素,以確定該語法結構的時間ID的值。G-PCC解碼器300可以基於時間ID的值來對點雲資料進行解碼(402)。例如,G-PCC解碼器300可以確定時間ID的值指示與時間ID相關聯的切片或資料單元將由G-PCC解碼器300以解碼的幀速率來進行解碼,並且G-PCC解碼器300可以對該切片或資料單元進行解碼。該語法結構的時間ID可以識別與該語法結構相關聯的點雲資料所屬的時間層。
在一些示例中,該語法結構與切片或資料單元相關聯。在一些示例中,該語法結構與幾何形狀資料單元相關聯。例如,該語法結構可以是幾何資料單元標頭。在一些示例中,G-PCC解碼器300可以推斷與對應於幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與幾何形狀資料單元相關聯的時間ID的值,其中,基於時間ID的值對點雲資料進行解碼包括對幾何形狀資料單元進行解碼以及對屬性資料單元進行解碼。在這樣的示例中,G-PCC解碼器300可以對屬於由時間ID指示的時間層的切片進行解碼,而G-PCC編碼器200無需在與屬性資料單元(例如,屬性資料單元標頭)相關聯的語法結構中以信號通知時間ID。在一些示例中,G-PCC解碼器300可以確定對時間ID是否處在該語法結構中進行指示的標誌的值。
在一些示例中,時間ID是第一時間ID,並且該語法結構與幀的第一切片相關聯。在這樣的示例中,G-PCC解碼器300可以確定與該幀的第二切片相關聯的第二時間ID等於第一時間ID,並且基於第一時間ID來對該幀進行解碼。
在一些示例中,該語法結構是與獨立切片相關聯的第一語法結構,並且時間ID是第一時間ID。在這樣的示例中,G-PCC解碼器300可以進行以下操作:確定與從屬切片相關聯的第二時間ID,從屬切片依賴於獨立切片;以及基於獨立切片和第二時間ID來對從屬切片進行解碼,其中,第二時間ID等於或大於第一時間ID。
在一些示例中,點雲資料包括多個幀的點雲資料,多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且多個切片中的每個切片與相同的時間ID相關聯。
在一些示例中,點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中,t2 > t1。在這樣的示例中,G-PCC解碼器300可以在不依賴第二切片的情况下對第一切片進行解碼。
圖5是示出根據本公開內容的技術的使用時間識別符的示例G-PCC編碼技術的流程圖。G-PCC編碼器200可以確定語法結構的時間ID的值(500)。例如,G-PCC編碼器200可以確定切片或資料單元應當屬於哪個時間層,使得該切片或資料單元將由G-PCC解碼器300以與該時間層相關聯的給定的幀速率來解碼,並且可以確定要指示時間層的時間ID的值。G-PCC編碼器200可以對點雲資料進行編碼以在語法結構中包括時間ID(502)。例如,G-PCC編碼器200可以對用於切片的切片標頭或用於資料單元的資料單元標頭進行編碼以包括時間ID的值。語法結構的時間ID可以識別與該語法結構相關聯的點雲資料所屬的時間層。
在一些示例中,該語法結構與切片或資料單元相關聯。在一些示例中,該語法結構與幾何形狀資料單元相關聯。在一些示例中,G-PCC編碼器200可以避免以信號通知與對應於幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。在一些示例中,G-PCC編碼器200可以以信號通知其值對時間ID處在語法結構中進行指示的標誌。
在一些示例中,時間ID是第一時間ID,並且該語法結構是與幀的第一切片相關聯的第一語法結構。在這樣的示例中,G-PCC編碼器200可以確定與該幀的第二切片相關聯的第二時間ID等於第一時間ID,並且對與第二切片相關聯的第二語法結構進行編碼以包括第二時間ID。
在一些示例中,該語法結構是與獨立切片相關聯的第一語法結構,並且時間ID是第一時間ID。在這樣的示例中,G-PCC編碼器200可以進行以下操作:確定與從屬切片相關聯的第二時間ID,從屬切片依賴於獨立切片;以及對點雲資料進行編碼以在用於從屬切片的第二語法結構中包括第二時間ID,其中,第二時間ID等於或大於第一時間ID。
在一些示例中,點雲資料包括多個幀的點雲資料,多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且多個切片中的每個切片與相同的時間ID相關聯。
在一些示例中,點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1。在這樣的示例中,G-PCC編碼器200可以對第一切片進行編碼,使得解碼器(例如,G-PCC解碼器300)在不依賴第二切片的情况下對第一切片進行解碼。
在G-PCC位元流的語法結構中沒有時間ID的情况下,G-PCC解碼器將不能正確地識別哪些幀、切片或資料單元屬於哪個時間層,並且因此將不能以不同的幀速率正確地解碼G-PCC位元流;替代地,其將必須解碼位元流中的所有幀,並且然後確定哪些幀將以較低的幀速率呈現——解碼所有幀在計算上是昂貴的,並且需要另外的帶寬。在G-PCC位元流的語法結構中沒有時間ID的情况下,向G-PCC解碼器發送位元流的中間網路設備將不能正確地識別哪些幀、切片或資料單元屬於哪個時間層,並且因此必須將所有幀發送給G-PCC解碼器(這可能需要相對高的位元率)或者發送中間網路設備確定足以用於特定的幀速率的幀(這可能不會導致經重構的點雲的良好品質)。通過向G-PCC位元流的語法結構添加時間ID,G-PCC解碼器300可以以各種不同的幀速率來解碼G-PCC位元流中的不同的時間層。因此,本公開內容的技術支持用於G-PCC解碼器的期望的靈活幀速率。通過向G-PCC位元流的語法結構添加時間ID,中間網路設備可以針對特定的幀速率選擇G-PCC位元流中的屬於期望的時間層的切片/資料單元,並且僅將那些切片/資料單元發送給G-PCC解碼器300。對時間ID的這種使用節省了帶寬,因爲無需向G-PCC解碼器300發送所有切片/資料單元。
本公開內容的各個方面中的示例可以單獨地使用或以任何組合來使用。
本公開內容包括以下非限制性條款。
條款1A。一種處理點雲資料的方法,所述方法包括:確定指示與語法結構相關聯的時間識別符的值;以及基於所述值來處理所述點雲資料。
條款2A。根據條款1A所述的方法,其中,所述語法結構包括切片或資料單元,並且所述值包括時間識別符。
條款3A。根據條款1A或條款2A所述的方法,還包括:基於所述語法結構是幾何形狀切片來以信號通知或解析所述值。
條款4A。根據條款3所述的方法,還包括:確定所述語法結構是否是幾何形狀切片。
條款5A。根據條款1A或條款2A所述的方法,還包括:基於所述語法結構是屬性切片,不以信號通知或推斷所述值。
條款6A。根據條款5A所述的方法,還包括:確定所述語法結構是否是屬性切片。
條款7A。根據條款5A或條款6A所述的方法,其中,推斷所述值包括推斷所述值等於與對應於所述屬性切片的幾何形狀切片相關聯的值。
條款8A。根據條款2A所述的方法,還包括:基於所述切片是獨立的,來以信號通知或解析所述值。
條款9A。根據條款8A所述的方法,還包括:確定所述切片是否是獨立的。
條款10A。根據條款2A所述的方法,還包括:基於所述切片是從屬的,不從至少一個其它語法元素以信號通知或推斷所述值。
條款11A。根據條款10A所述的方法,還包括:確定所述切片是否是從屬的。
條款12A。一種處理點雲資料的方法,所述方法包括:確定所述點雲資料的幀是否包括兩個或更多個切片;基於所述幀包括兩個或更多個切片,來確定用於所述兩個或更多個切片的時間ID是相同的時間ID;以及基於所述時間ID來處理所述幀。
條款13A。一種處理點雲資料的方法,所述方法包括:確定對具有時間識別符t1的切片中的任何點的重構是否依賴於具有時間識別符t2的任何切片,其中,t1小於t2;以及基於具有所述時間識別符t1的所述切片中的任何點依賴於具有所述時間識別符t2的任何切片,避免將具有所述時間識別符t1的所述切片處理爲依賴於具有所述時間識別符t2的任何切片。
條款14A。一種處理點雲資料的方法,所述方法包括:確定兩個幀是否具有相同的時間ID;基於所述兩個幀不具有相同的時間ID,避免將所述兩個幀組合成一個幀;以及在不組合所述兩個幀的情况下,處理所述兩個幀。
條款15A。根據條款14所述的方法,其中,所述兩個幀是前兩個幀,所述方法還包括:確定後兩個幀是否具有相同的時間ID;基於所述後兩個幀具有所述相同的時間ID,將所述後兩個幀組合成一個幀;將所述相同的時間ID應用於所述一個幀;以及處理所述一個幀。
條款16A。根據條款15A所述的方法,還包括:推斷所述一個幀的所述相同的時間ID爲與所述一個幀相關聯的每個幀的所述時間ID。
條款17A。一種處理點雲資料的方法,所述方法包括:確定指示與參數集相關聯的時間ID的值;以及基於所述值來處理所述點雲資料。
條款18A。根據條款17A所述的方法,還包括:確定切片具有t1的時間ID;確定所述參數集具有t2的時間ID,其中t2 > t1;以及基於t2 > t1,避免將所述切片處理爲引用所述參數集。
條款19A。根據條款17A所述的方法,其中,所述參數集與切片相關聯,所述方法還包括:推斷與所述切片相關聯的時間ID等於與所述參數集相關聯的所述時間ID。
條款20A。根據條款17A所述的方法,其中,所述參數集是第一參數集,並且其中,所述第一參數集和第二參數集與切片相關聯,所述方法還包括:確定與所述第一參數集相關聯的所述時間ID和與所述第二參數集相關聯的時間ID中的最大值;以及將所述最大值應用於所述切片。
條款21A。一種處理點雲資料的方法,所述方法包括:確定在所述點雲資料的一個或多個切片中是否存在時間ID資訊;基於在所述一個或多個切片中存在所述時間ID資訊,以信號通知對在所述一個或多個切片中存在所述時間ID資訊進行指示的標誌;以及處理所述一個或多個切片。
條款22A。根據條款21A所述的方法,還包括:確定在所述一個或多個切片中是否存在預留的位元;以及基於在所述一個或多個切片中存在預留的位元,以信號通知對在所述一個或多個切片中存在預留的位元進行指示的標誌。
條款23A。根據條款1A-22A中任一項所述的方法,還包括:生成所述點雲。
條款24A。一種用於處理點雲的設備,所述設備包括用於執行根據條款1A-22A中任一項所述的方法的一個或多個構件。
條款25A。根據條款24A所述的設備,其中,所述一個或多個構件包括在電路中實現的一個或多個處理器。
條款26A。根據條款24A或條款25A所述的設備,還包括:記憶體,其用於儲存表示所述點雲的資料。
條款27A。根據條款24A-26A中任一項所述的設備,其中,所述設備包括解碼器。
條款28A。根據條款24A-26A中任一項所述的設備,其中,所述設備包括編碼器。
條款29A。根據條款24A-28A中任一項所述的設備,還包括:用於生成所述點雲的設備。
條款30A。根據條款20A-29A中任一項所述的設備,還包括:顯示器,其用於基於所述點雲來呈現影像。
條款31A。一種其上儲存有指令的計算機可讀儲存媒體,所述指令在被執行時,使得一個或多個處理器執行根據條款1A-23A中任一項所述的方法。
條款1B。一種對點雲資料進行解碼的方法,所述方法包括:確定語法結構的時間識別符(ID)的值;以及基於所述時間ID的所述值來對所述點雲資料進行解碼,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
條款2B。根據條款1B所述的方法,其中,所述語法結構與切片或資料單元相關聯。
條款3B。根據條款2B所述的方法,其中,所述語法結構與幾何形狀資料單元相關聯。
條款4B。根據條款3B所述的方法,還包括:推斷與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與所述幾何形狀資料單元相關聯的所述時間ID的所述值,其中,基於所述時間ID的所述值來對所述點雲資料進行解碼包括對所述幾何形狀資料單元進行解碼以及對所述屬性資料單元進行解碼。
條款5B。根據條款1B-4B中任一項所述的方法,還包括:確定對所述時間ID是否處在所述語法結構中進行指示的標誌的值。
條款6B。根據條款1B-5B中任一項所述的方法,其中,所述時間ID是第一時間ID,並且所述語法結構與幀的第一切片相關聯,所述方法還包括:確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及基於所述第二時間ID來對所述幀的所述第二切片進行解碼。
條款7B。根據條款1B-5B中任一項所述的方法,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,所述方法還包括:確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及基於所述獨立切片和所述第二時間ID來對所述從屬切片進行解碼,其中,所述第二時間ID等於或大於所述第一時間ID。
條款8B。根據條款1B-7B中任一項所述的方法,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
條款9B。根據條款1B-5B中任一項所述的方法,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,所述方法還包括:在不依賴所述第二切片的情况下對所述第一切片進行解碼。
條款10B。一種對點雲資料進行編碼的方法,所述方法包括:確定語法結構的時間識別符(ID)的值;以及對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
條款11B。根據條款10B所述的方法,其中,所述語法結構與切片或資料單元相關聯。
條款12B。根據條款11B所述的方法,其中,所述語法結構與幾何形狀資料單元相關聯。
條款13B。根據條款12B所述的方法,還包括:避免以信號通知與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。
條款14B。根據條款10B-13B中任一項所述的方法,還包括:以信號通知其值對所述時間ID處在所述語法結構中進行指示的標誌。
條款15B。根據條款10B-14B中任一項所述的方法,其中,所述時間ID是第一時間ID,並且所述語法結構是與幀的第一切片相關聯的第一語法結構,所述方法還包括:確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及對與所述第二切片相關聯的第二語法結構進行編碼以包括所述第二時間ID。
條款16B。根據條款10B-15B中任一項所述的方法,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,所述方法還包括:確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及對所述點雲資料進行編碼以在用於所述從屬切片的第二語法結構中包括所述第二時間ID,其中,所述第二時間ID等於或大於所述第一時間ID。
條款17B。根據條款10B-16B中任一項所述的方法,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
條款18B。根據條款10B-14B中任一項所述的方法,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中,t2 > t1,所述方法還包括:對所述第一切片進行編碼,使得解碼器在不依賴所述第二切片的情况下對所述第一切片進行解碼。
條款19B。一種用於對點雲資料進行解碼的設備,所述設備包括:記憶體,其被配置爲儲存所述點雲資料;以及在電路中實現並且通信地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置爲:確定語法結構的時間識別符(ID)的值;以及基於所述時間ID的所述值來對所述點雲資料進行解碼,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
條款20B。根據條款19B所述的設備,其中,所述語法結構與切片或資料單元相關聯。
條款21B。根據條款20B所述的設備,其中,所述語法結構與幾何形狀資料單元相關聯。
條款22B。根據條款21B所述的設備,其中,所述一個或多個處理器還被配置爲:推斷與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與所述幾何形狀資料單元相關聯的所述時間ID的所述值,其中,作爲基於所述時間ID的所述值來對所述點雲資料進行解碼的一部分,所述一個或多個處理器被配置爲:對所述幾何形狀資料單元進行解碼以及對所述屬性資料單元進行解碼。
條款23B。根據條款19B-22B中任一項所述的設備,其中,所述一個或多個處理器還被配置爲:確定對所述時間ID是否處在所述語法結構中進行指示的標誌的值。
條款24B。根據條款19B-23B中任一項所述的設備,其中,所述時間ID是第一時間ID,並且所述語法結構與幀的第一切片相關聯,並且其中,所述一個或多個處理器還被配置爲:確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及基於所述第二時間ID來對所述幀的所述第二切片進行解碼。
條款25B。根據條款19B-23B中任一項所述的設備,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,並且其中,所述一個或多個處理器還被配置爲:確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及基於所述獨立切片和所述第二時間ID來對所述從屬切片進行解碼,其中,所述第二時間ID等於或大於所述第一時間ID。
條款26B。根據條款19B-25B中任一項所述的設備,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
條款27B。根據條款19B-23B中任一項所述的設備,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,並且其中,所述一個或多個處理器還被配置爲:在不依賴所述第二切片的情况下對所述第一切片進行解碼。
條款28B。根據條款19B-27B中任一項所述的設備,還包括:被配置爲顯示所述點雲資料的顯示器。
條款29B。一種用於對點雲資料進行編碼的設備,所述設備包括:記憶體,其被配置爲儲存所述點雲資料;以及在電路中實現並且通信地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置爲:確定語法結構的時間識別符(ID)的值;以及對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID,其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
條款30B。根據條款29B所述的設備,其中,所述語法結構與切片或資料單元相關聯。
條款31B。根據條款30B所述的設備,其中,所述語法結構與幾何形狀資料單元相關聯。
條款32B。根據條款29B所述的設備,其中,所述一個或多個處理器還被配置爲:避免以信號通知與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。
條款33B。根據條款29B-32B所述的設備,其中,所述一個或多個處理器還被配置爲:以信號通知其值對所述時間ID處在所述語法結構中進行指示的標誌。
條款34B。根據條款29B-33B中任一項所述的設備,其中,所述時間ID是第一時間ID,並且所述語法結構是與幀的第一切片相關聯的第一語法結構,並且其中,所述一個或多個處理器還被配置爲:確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及對與所述第二切片相關聯的第二語法結構進行編碼以包括所述第二時間ID。
條款35B。根據條款29B-33B中任一項所述的設備,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,並且其中,所述一個或多個處理器還被配置爲:確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及對所述點雲資料進行編碼以在用於所述從屬切片的第二語法結構中包括所述第二時間ID,其中,所述第二時間ID等於或大於所述第一時間ID。
條款36B。根據條款29B-35B中任一項所述的設備,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
條款37B。根據條款29B-33B中任一項所述的設備,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,並且其中,所述一個或多個處理器還被配置爲:對所述第一切片進行編碼,使得解碼器在不依賴所述第二切片的情况下對所述第一切片進行解碼。
條款38B。根據條款29B-37B中任一項所述的設備,其中,所述設備包括車輛。
要認識到的是,取决於示例,本文所描述的技術中的任何技術的某些行動或事件可以是以不同的順序執行的,可以增加、合並或完全省略本文所描述的技術中的任何技術的某些行動或事件(例如,不是所有描述的行動或事件對於對技術的實施而言是必需的)。此外,在某些示例中,可以例如通過多線程處理、中斷處理或多個處理器並發地而不是順序地執行行動或事件。
在一個或多個示例中,所描述的功能可以是在硬體、軟體件、韌體或其任意組合中實現的。如果在軟體中實現,則該功能可以作爲一個或多個指令或代碼儲存在計算機可讀媒體上或通過計算機可讀媒體發送,以及由基於硬體的處理單元執行。計算機可讀媒體可以包括計算機可讀儲存媒體,所述計算機可讀儲存媒體對應於比如資料儲存媒體或通信媒體之類的有形媒體,所述通信媒體包括促進例如根據通信協定來將計算機程式從一個地方傳送到另一地方的任何媒體。以這種方式,計算機可讀媒體通常可以對應於:(1)非暫態的有形計算機可讀儲存媒體或(2)比如信號或載波波形的通信媒體。資料儲存媒體可以是可以由一個或多個計算機或者一個或多個處理器存取的任何可用的媒體,以取回用於對本公開內容中描述的技術的實現的指令、代碼和/或資料結構。計算機程式産品可以包括計算機可讀媒體。
通過舉例而非限制性的方式,這樣的計算機可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存設備、快閃記憶體或可以用於以指令或資料結構的形式儲存期望的程序代碼並且可以由計算機進行存取的任何其它媒體。另外,任何連接適當地稱爲計算機可讀媒體。例如,如果指令是使用同軸電纜、光纖光纜、雙絞線、數位用戶線(DSL)或比如紅外線、無線電和微波之類的無線技術從網站、伺服器或其它遠程源發送的,那麽同軸電纜、光纖光纜、雙絞線、數位用戶線(DSL)或比如紅外線、無線電和微波的無線技術是包括在對媒體的定義中的。然而,應當理解的是,計算機可讀儲存媒體和資料儲存媒體不包括連接、載波波形、信號或其它暫時性媒體,而是替代地針對於非暫時性的、有形儲存媒體。如本文所使用的,磁碟和光碟包括光碟片(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟碟和藍光光碟,其中磁碟通常磁性地複製資料,而光碟則利用雷射來光學地複製資料。上述的組合還應當包括在計算機可讀媒體的範圍內。
指令可以由比如一個或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可程式閘陣列(FPGA)的一個或多個處理器或其它等同的積體的或離散的邏輯電路來執行。因此,如本文所使用的,術語“處理器”和“處理電路”可以指的是前述的結構或適合於對本文所描述的技術的實現的任何其它結構中的任何一者。此外,在一些方面中,本文所描述的功能可以是在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供的,或並入到組合的編解碼器中。另外,所述技術可以在一個或多個電路或邏輯元件中完全地實現。
本公開內容的技術可以是在各種各樣設備或裝置中實現的,所述設備或裝置包括無線手機、積體電路(IC)或IC的集合(例如,晶片集)。本公開內容中描述了各種組件、模組或單元,以强調被配置爲執行所公開的技術的設備的功能性方面,但是不一定要求由不同的硬體單元來實現。而是,如上文所描述的,各種單元可以是在編解碼器硬體單元中組合的,或者通過與合適的軟體和/或韌體協力的一批互操作的硬體單元(包括如上文所描述的一個或多個處理器)來提供的。
已經描述各個示例。這些示例和其它示例是在所附的申請專利範圍的範圍內的。
100:編碼和解碼系統 102:源設備 104:資料源 106:記憶體 108:輸出介面 110:計算機可讀媒體 112:儲存設備 114:文件伺服器 116:目標設備 118:資料消費器 122:輸入介面 200:G-PCC編碼器 202:座標轉換單元 204:顔色轉換單元 206:體素化單元 208:屬性傳送單元 210:八叉樹分析單元 212:表面近似分析單元 214:算術編碼單元 216:幾何重構單元 218:RAHT單元 220:LOD生成單元 222:提升單元 224:係數量化單元 226:算術編碼單元 300:G-PCC解碼器 302:幾何算術解碼單元 304:屬性算術解碼單元 306:八叉樹合成單元 308:逆量化單元 310:表面近似合成單元 312:幾何重構單元 314:RAHT單元 316:LOD生成單元 318:反向提升單元 320:逆轉換座標單元 322:逆顔色轉換單元 400:步驟 402:步驟 500:步驟 502:步驟
圖1是示出可以執行本公開內容的技術的示例編碼和解碼系統的方塊圖。
圖2是示出示例幾何形狀點雲壓縮(G-PCC)編碼器的方塊圖。
圖3是示出示例G-PCC解碼器的方塊圖。
圖4是示出根據本公開內容的技術的使用時間識別符的示例G-PCC解碼技術的流程圖。
圖5是示出根據本公開內容的技術的使用時間識別符的示例G-PCC編碼技術的流程圖。
500:步驟
502:步驟

Claims (38)

  1. 一種對點雲資料進行解碼的方法,所述方法包括: 確定語法結構的時間識別符(ID)的值;以及 基於所述時間ID的所述值來對所述點雲資料進行解碼, 其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
  2. 根據請求項1所述的方法,其中,所述語法結構與切片或資料單元相關聯。
  3. 根據請求項2所述的方法,其中,所述語法結構與幾何形狀資料單元相關聯。
  4. 根據請求項3所述的方法,還包括: 推斷與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與所述幾何形狀資料單元相關聯的時間ID的值,其中,基於所述時間ID的所述值來對所述點雲資料進行解碼包括:對所述幾何形狀資料單元進行解碼以及對所述屬性資料單元進行解碼。
  5. 根據請求項1所述的方法,還包括: 確定對所述時間ID是否處在所述語法結構中進行指示的標誌的值。
  6. 根據請求項1所述的方法,其中,所述時間ID是第一時間ID,並且所述語法結構與幀的第一切片相關聯,所述方法還包括: 確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及 基於所述第二時間ID來對所述幀的所述第二切片進行解碼。
  7. 根據請求項1所述的方法,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,所述方法還包括: 確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及 基於所述獨立切片和所述第二時間ID來對所述從屬切片進行解碼, 其中,所述第二時間ID等於或大於所述第一時間ID。
  8. 根據請求項1所述的方法,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
  9. 根據請求項1所述的方法,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,所述方法還包括: 在不依賴所述第二切片的情况下對所述第一切片進行解碼。
  10. 一種對點雲資料進行編碼的方法,所述方法包括: 確定語法結構的時間識別符(ID)的值;以及 對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID, 其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
  11. 根據請求項10所述的方法,其中,所述語法結構與切片或資料單元相關聯。
  12. 根據請求項11所述的方法,其中,所述語法結構與幾何形狀資料單元相關聯。
  13. 根據請求項12所述的方法,還包括: 避免以信號通知與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。
  14. 根據請求項10所述的方法,還包括: 以信號通知其值對所述時間ID處在所述語法結構中進行指示的標誌。
  15. 根據請求項10所述的方法,其中,所述時間ID是第一時間ID,並且所述語法結構是與幀的第一切片相關聯的第一語法結構,所述方法還包括: 確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及 對與所述第二切片相關聯的第二語法結構進行編碼以包括所述第二時間ID。
  16. 根據請求項10所述的方法,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,所述方法還包括: 確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及 對所述點雲資料進行編碼以在用於所述從屬切片的第二語法結構中包括所述第二時間ID, 其中,所述第二時間ID等於或大於所述第一時間ID。
  17. 根據請求項10所述的方法,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
  18. 根據請求項10所述的方法,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,所述方法還包括: 對所述第一切片進行編碼,使得解碼器在不依賴所述第二切片的情况下對所述第一切片進行解碼。
  19. 一種用於對點雲資料進行解碼的設備,所述設備包括: 記憶體,其被配置爲儲存所述點雲資料;以及 一個或多個處理器,其在電路中實現並且通信地耦合到所述記憶體,所述一個或多個處理器被配置爲進行以下操作: 確定語法結構的時間識別符(ID)的值;以及 基於所述時間ID的所述值來對所述點雲資料進行解碼, 其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
  20. 根據請求項19所述的設備,其中,所述語法結構與切片或資料單元相關聯。
  21. 根據請求項20所述的設備,其中,所述語法結構與幾何形狀資料單元相關聯。
  22. 根據請求項21所述的設備,其中,所述一個或多個處理器還被配置爲進行以下操作: 推斷與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值等於與所述幾何形狀資料單元相關聯的時間ID的值,其中,作爲基於所述時間ID的所述值來對所述點雲資料進行解碼的一部分,所述一個或多個處理器被配置爲:對所述幾何形狀資料單元進行解碼以及對所述屬性資料單元進行解碼。
  23. 根據請求項19所述的設備,其中,所述一個或多個處理器還被配置爲進行以下操作: 確定對所述時間ID是否處在所述語法結構中進行指示的標誌的值。
  24. 根據請求項19所述的設備,其中,所述時間ID是第一時間ID,並且所述語法結構與幀的第一切片相關聯,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及 基於所述第二時間ID來對所述幀的所述第二切片進行解碼。
  25. 根據請求項19所述的設備,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及 基於所述獨立切片和所述第二時間ID來對所述從屬切片進行解碼, 其中,所述第二時間ID等於或大於所述第一時間ID。
  26. 根據請求項19所述的設備,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
  27. 根據請求項19所述的設備,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 在不依賴所述第二切片的情况下對所述第一切片進行解碼。
  28. 根據請求項19所述的設備,還包括顯示器,其被配置爲顯示所述點雲資料。
  29. 一種用於對點雲資料進行編碼的設備,所述設備包括: 記憶體,其被配置爲儲存所述點雲資料;以及 一個或多個處理器,其在電路中實現並且通信地耦合到所述記憶體,所述一個或多個處理器被配置爲進行以下操作: 確定語法結構的時間識別符(ID)的值;以及 對所述點雲資料進行編碼以在所述語法結構中包括所述時間ID, 其中,所述語法結構的所述時間ID識別與所述語法結構相關聯的點雲資料所屬的時間層。
  30. 根據請求項29所述的設備,其中,所述語法結構與切片或資料單元相關聯。
  31. 根據請求項30所述的設備,其中,所述語法結構與幾何形狀資料單元相關聯。
  32. 根據請求項31所述的設備,其中,所述一個或多個處理器還被配置爲進行以下操作: 避免以信號通知與對應於所述幾何形狀資料單元的屬性資料單元相關聯的時間ID的值。
  33. 根據請求項29所述的設備,其中,所述一個或多個處理器還被配置爲進行以下操作: 以信號通知其值對所述時間ID處在所述語法結構中進行指示的標誌。
  34. 根據請求項29所述的設備,其中,所述時間ID是第一時間ID,並且所述語法結構是與幀的第一切片相關聯的第一語法結構,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 確定與所述幀的第二切片相關聯的第二時間ID等於所述第一時間ID;以及 對與所述第二切片相關聯的第二語法結構進行編碼以包括所述第二時間ID。
  35. 根據請求項29所述的設備,其中,所述語法結構是與獨立切片相關聯的第一語法結構,並且所述時間ID是第一時間ID,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 確定與從屬切片相關聯的第二時間ID,所述從屬切片依賴於所述獨立切片;以及 對所述點雲資料進行編碼以在用於所述從屬切片的第二語法結構中包括所述第二時間ID, 其中,所述第二時間ID等於或大於所述第一時間ID。
  36. 根據請求項29所述的設備,其中,所述點雲資料包括多個幀的點雲資料,其中,所述多個幀的點雲資料中的第一幀的點雲資料包括多個切片,並且其中,所述多個切片中的每個切片與相同的時間ID相關聯。
  37. 根據請求項29所述的設備,其中,所述點雲資料包括第一幀的點雲資料和第二幀的點雲資料,其中,所述第一幀的點雲資料包括與第一時間ID t1相關聯的第一切片,並且所述第二幀的點雲資料包括與第二時間ID t2相關聯的第二切片,其中t2 > t1,並且其中,所述一個或多個處理器還被配置爲進行以下操作: 對所述第一切片進行編碼,使得解碼器在不依賴所述第二切片的情况下對所述第一切片進行解碼。
  38. 根據請求項29所述的設備,其中,所述設備包括車輛。
TW110135392A 2020-10-05 2021-09-23 幾何點雲壓縮(g-pcc)中的時間可調性 TW202220446A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063087809P 2020-10-05 2020-10-05
US63/087,809 2020-10-05
US17/482,012 2021-09-22
US17/482,012 US11729428B2 (en) 2020-10-05 2021-09-22 Temporal scalability in geometry point cloud compression (G-PCC)

Publications (1)

Publication Number Publication Date
TW202220446A true TW202220446A (zh) 2022-05-16

Family

ID=80931882

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110135392A TW202220446A (zh) 2020-10-05 2021-09-23 幾何點雲壓縮(g-pcc)中的時間可調性

Country Status (6)

Country Link
US (1) US11729428B2 (zh)
EP (1) EP4226625A1 (zh)
CN (1) CN116114249A (zh)
BR (1) BR112023005507A2 (zh)
TW (1) TW202220446A (zh)
WO (1) WO2022076175A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262831A1 (ko) * 2019-06-28 2020-12-30 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US20220114763A1 (en) * 2020-10-09 2022-04-14 Qualcomm Incorporated High level syntax refinements for geometry point cloud compression (g-pcc)
WO2023200298A1 (ko) * 2022-04-14 2023-10-19 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법
WO2023200304A1 (ko) * 2022-04-14 2023-10-19 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
WO2020146341A1 (en) 2019-01-07 2020-07-16 Futurewei Technologies, Inc. Point cloud bitstream structure and auxiliary information differential coding
WO2020166643A1 (ja) * 2019-02-15 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN113661714B (zh) * 2019-03-11 2024-10-01 交互数字Vc控股公司 子画面比特流提取和重新定位

Also Published As

Publication number Publication date
BR112023005507A2 (pt) 2023-04-25
US20220109884A1 (en) 2022-04-07
EP4226625A1 (en) 2023-08-16
WO2022076175A1 (en) 2022-04-14
US11729428B2 (en) 2023-08-15
CN116114249A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US11350132B2 (en) High level syntax for geometry-based point cloud compression
US11803989B2 (en) Quantization for geometry-based point cloud compression
US12026922B2 (en) Attribute parameter coding for geometry-based point cloud compression
US20230379503A1 (en) High-level syntax design for geometry-based point cloud compression
US11729428B2 (en) Temporal scalability in geometry point cloud compression (G-PCC)
US20220114763A1 (en) High level syntax refinements for geometry point cloud compression (g-pcc)
US11770562B2 (en) High-level syntax for geometry-based point cloud compression
KR20220164700A (ko) 지오메트리 기반 포인트 클라우드 압축을 위한 트라이수프 신택스 시그널링