TW202425650A - 點雲編解碼方法、裝置、設備及儲存媒介 - Google Patents
點雲編解碼方法、裝置、設備及儲存媒介 Download PDFInfo
- Publication number
- TW202425650A TW202425650A TW112129162A TW112129162A TW202425650A TW 202425650 A TW202425650 A TW 202425650A TW 112129162 A TW112129162 A TW 112129162A TW 112129162 A TW112129162 A TW 112129162A TW 202425650 A TW202425650 A TW 202425650A
- Authority
- TW
- Taiwan
- Prior art keywords
- equipment
- storage medium
- point cloud
- decoding method
- cloud encoding
- Prior art date
Links
Images
Abstract
一種點雲編解碼方法、裝置、設備及儲存媒介,該方法包括:確定點雲中當前點和已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊,分類資訊用於指示點所屬的類別;根據分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點,K為正整數;根據K個參考點的屬性資訊,確定當前點的屬性預測值;根據當前點的屬性預測值,確定當前點的屬性重建值。由於相同類別的點的屬性資訊比較相近,基於此本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,可以提高屬性預測的準確性。
Description
本申請涉及點雲技術領域,尤其涉及一種點雲編解碼方法、裝置、設備及儲存媒介。
通過採集設備對物體表面進行採集,形成點雲資料,點雲資料包括幾十萬甚至更多的點。在視訊製作過程中,將點雲資料以點雲媒體檔的形式在點雲編碼設備和點雲解碼設備之間傳輸。但是,如此龐大的點給傳輸帶來了挑戰,因此,點雲編碼設備需要對點雲資料進行壓縮後傳輸。
點雲編碼包括幾何編碼和屬性編碼,在屬性編碼過程中,通過屬性預測來減少資料冗餘。但是,目前在屬性預測時,參考點的選擇不夠準確,造成屬性預測準確率不高。
本申請實施例提供了一種點雲編解碼方法、裝置、設備及儲存媒介,提高了參考點的選擇準確性,進而提升了屬性預測的準確性。
第一方面,本申請實施例提供一種點雲解碼方法,包括:
確定點雲中當前點和已解碼點的分類資訊,和/或所述已解碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別;
根據所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,所述K為正整數;
根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值;
根據所述當前點的屬性預測值,確定所述當前點的屬性重建值。
第二方面,本申請提供了一種點雲編碼方法,包括:
確定點雲中當前點和已編碼點的分類資訊,和/或所述已編碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別;
根據所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,所述K為正整數;
根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值;
根據所述當前點的屬性預測值,確定所述當前點的屬性殘差值。
第三方面,本申請提供了一種點雲解碼裝置,用於執行上述第一方面或其各實現方式中的方法。具體地,該裝置包括用於執行上述第一方面或其各實現方式中的方法的功能單元。
第四方面,本申請提供了一種點雲編碼裝置,用於執行上述第二方面或其各實現方式中的方法。具體地,該裝置包括用於執行上述第二方面或其各實現方式中的方法的功能單元。
第五方面,提供了一種點雲解碼器,包括處理器和記憶體。該記憶體用於儲存電腦程式,該處理器用於調用並運行該記憶體中儲存的電腦程式,以執行上述第一方面或其各實現方式中的方法。
第六方面,提供了一種點雲編碼器,包括處理器和記憶體。該記憶體用於儲存電腦程式,該處理器用於調用並運行該記憶體中儲存的電腦程式,以執行上述第二方面或其各實現方式中的方法。
第七方面,提供了一種點雲編解碼系統,包括點雲編碼器和點雲解碼器。點雲解碼器用於執行上述第一方面或其各實現方式中的方法,點雲編碼器用於執行上述第二方面或其各實現方式中的方法。
第八方面,提供了一種晶片,用於實現上述第一方面至第二方面中的任一方面或其各實現方式中的方法。具體地,該晶片包括:處理器,用於從記憶體中調用並運行電腦程式,使得安裝有該晶片的設備執行如上述第一方面至第二方面中的任一方面或其各實現方式中的方法。
第九方面,提供了一種電腦可讀儲存媒介,用於儲存電腦程式,該電腦程式使得電腦執行上述第一方面至第二方面中的任一方面或其各實現方式中的方法。
第十方面,提供了一種電腦程式產品,包括電腦程式指令,該電腦程式指令使得電腦執行上述第一方面至第二方面中的任一方面或其各實現方式中的方法。
第十一方面,提供了一種電腦程式,當其在電腦上運行時,使得電腦執行上述第一方面至第二方面中的任一方面或其各實現方式中的方法。
第十二方面,提供了一種碼流,碼流是基於上述第二方面的方法生成的,可選的,上述碼流包括第一參數和第二參數中的至少一個。
基於以上技術方案,通過確定點雲中當前點和已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊,分類資訊用於指示點所屬的類別;根據分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點,K為正整數;根據K個參考點的屬性資訊,確定當前點的屬性預測值;根據當前點的屬性預測值,確定當前點的屬性重建值。由於相同類別的點的屬性資訊比較相近,基於此本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
本申請可應用於點雲上採樣技術領域,例如可以應用於點雲壓縮技術領域。
為了便於理解本申請的實施例,首先對本申請實施例涉及到的相關概念進行如下簡單介紹:
點雲(Point Cloud)是指空間中一組無規則分佈的、表達三維物體或三維場景的空間結構及表面屬性的離散點集。
點雲資料(Point Cloud Data)是點雲的具體記錄形式,點雲中的點可以包括點的位置資訊和點的屬性資訊。例如,點的位置資訊可以是點的三維座標資訊。點的位置資訊也可稱為點的幾何資訊。例如,點的屬性資訊可包括顏色資訊、反射率資訊、法向量資訊等等。例如,所述顏色資訊可以是任意一種色彩空間上的資訊。例如,所述顏色資訊可以是(RGB)。再如,所述顏色資訊可以是於亮度色度(YcbCr,YUV)資訊。例如,Y表示明亮度(Luma),Cb (U)表示藍色色差,Cr (V)表示紅色,U 和 V 表示為色度(Chroma)用於描述色差資訊。例如,根據雷射測量原理得到的點雲,所述點雲中的點可以包括點的三維座標資訊和點的雷射反射強度(reflectance)。再如,根據攝影測量原理得到的點雲,所述點雲中的點可以可包括點的三維座標資訊和點的顏色資訊。再如,結合雷射測量和攝影測量原理得到點雲,所述點雲中的點可以可包括點的三維座標資訊、點的雷射反射強度(reflectance)和點的顏色資訊。
點雲資料的獲取途徑可以包括但不限於以下至少一種:(1)電腦設備生成。電腦設備可以根據虛擬三維物體及虛擬三維場景的生成點雲資料。(2)3D(3-Dimension,三維)雷射掃描獲取。通過3D 雷射掃描可以獲取靜態現實世界三維物體或三維場景的點雲資料,每秒可以獲取百萬級點雲資料;(3)3D 攝影測量獲取。通過3D 攝影設備(即一組攝像機或具有多個鏡頭和感測器的攝像機設備)對現實世界的視覺場景進行採集以獲取現實世界的視覺場景的點雲資料,通過3D 攝影可以獲得動態現實世界三維物體或三維場景的點雲資料。(4)通過醫學設備獲取生物組織器官的點雲資料。在醫學領域可以通過磁共振成像(Magnetic Resonance Imaging,MRI)、電子電腦斷層掃描(Computed Tomography,CT)、電磁定位資訊等醫學設備獲取生物組織器官的點雲資料。
點雲可以按獲取的途徑分為:密集型點雲和稀疏性點雲。
點雲按照資料的時序類型劃分為:
第一類靜態點雲:即物體是靜止的,獲取點雲的設備也是靜止的;
第二類動態點雲:物體是運動的,但獲取點雲的設備是靜止的;
第三類動態獲取點雲:獲取點雲的設備是運動的。
按點雲的用途分為兩大類:
類別一:機器感知點雲,其可以用於自主導航系統、即時巡檢系統、地理資訊系統、視覺分揀機器人、搶險救災機器人等場景;
類別二:人眼感知點雲,其可以用於數位文化遺產、自由視點廣播、三維沉浸通訊、三維沉浸交互等點雲應用場景。
隨著三維重建和三維成像技術的發展,點雲被廣泛應用於虛擬實境、沉浸式遠端呈現、三維列印等領域。但由於三維點雲往往具有龐大數量的點,且點的分佈在空間中具有無序性;同時,每個點又往往具有豐富的屬性資訊,導致一個點雲具有龐大的資料量,給點雲的儲存和傳輸都帶來了巨大的挑戰。因此,點雲壓縮編碼技術是點雲處理和應用的關鍵技術之一。
下面對點雲編解碼的相關知識進行介紹。
圖1為本申請實施例涉及的一種點雲編解碼系統的示意性框圖。需要說明的是,圖1只是一種示例,本申請實施例的點雲編解碼系統包括但不限於圖1所示。如圖1所示,該點雲編解碼系統100包含編碼設備110和解碼設備120。其中編碼設備用於對點雲資料進行編碼(可以理解成壓縮)產生碼流,並將碼流傳輸給解碼設備。解碼設備對編碼設備編碼產生的碼流進行解碼,得到解碼後的點雲資料。
本申請實施例的編碼設備110可以理解為具有點雲編碼功能的設備,解碼設備120可以理解為具有點雲解碼功能的設備,即本申請實施例對編碼設備110和解碼設備120包括更廣泛的裝置,例如包含智慧手機、桌上型電腦、移動計算裝置、筆記本(例如,膝上型)電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放機、點雲遊戲控制台、車載電腦等。
在一些實施例中,編碼設備110可以經由通道130將編碼後的點雲資料(如碼流)傳輸給解碼設備120。通道130可以包括能夠將編碼後的點雲資料從編碼設備110傳輸到解碼設備120的一個或多個媒體和/或裝置。
在一個實例中,通道130包括使編碼設備110能夠即時地將編碼後的點雲資料直接發射到解碼設備120的一個或多個通訊媒體。在此實例中,編碼設備110可根據通訊標準來調製編碼後的點雲資料,且將調製後的點雲資料發射到解碼設備120。其中通訊媒體包含無線通訊媒體,例如射頻頻譜,可選的,通訊媒體還可以包含有線通訊媒體,例如一根或多根物理傳輸線。
在另一實例中,通道130包括儲存媒介,該儲存媒介可以儲存編碼設備110編碼後的點雲資料。儲存媒介包含多種本地存取式資料儲存媒介,例如光碟、DVD、快閃記憶體等。在該實例中,解碼設備120可從該儲存媒介中獲取編碼後的點雲資料。
在另一實例中,通道130可包含儲存伺服器,該儲存伺服器可以儲存編碼設備110編碼後的點雲資料。在此實例中,解碼設備120可以從該儲存伺服器中下載儲存的編碼後的點雲資料。可選的,該儲存伺服器可以儲存編碼後的點雲資料且可以將該編碼後的點雲資料發射到解碼設備120,例如web伺服器(例如,用於網站)、檔傳送協議(FTP)伺服器等。
一些實施例中,編碼設備110包含點雲編碼器112及輸出介面113。其中,輸出介面113可以包含調製器/解調器(數據機)和/或發射器。
在一些實施例中,編碼設備110除了包括點雲編碼器112和輸出介面113外,還可以包括點雲源111。
點雲源111可包含點雲採集裝置(例如,掃描器)、點雲存檔、點雲輸入介面、電腦圖形系統中的至少一個,其中,點雲輸入介面用於從點雲內容提供者處接收點雲資料,電腦圖形系統用於產生點雲資料。
點雲編碼器112對來自點雲源111的點雲資料進行編碼,產生碼流。點雲編碼器112經由輸出介面113將編碼後的點雲資料直接傳輸到解碼設備120。編碼後的點雲資料還可儲存於儲存媒介或儲存伺服器上,以供解碼設備120後續讀取。
在一些實施例中,解碼設備120包含輸入介面121和點雲解碼器122。
在一些實施例中,解碼設備120除包括輸入介面121和點雲解碼器122外,還可以包括顯示裝置123。
其中,輸入介面121包含接收器及/或數據機。輸入介面121可通過通道130接收編碼後的點雲資料。
點雲解碼器122用於對編碼後的點雲資料進行解碼,得到解碼後的點雲資料,並將解碼後的點雲資料傳輸至顯示裝置123。
顯示裝置123顯示解碼後的點雲資料。顯示裝置123可與解碼設備120整合或在解碼設備120外部。顯示裝置123可包括多種顯示裝置,例如液晶顯示器(LCD)、等離子體顯示器、有機發光二極體(OLED)顯示器或其它類型的顯示裝置。
此外,圖1僅為實例,本申請實施例的技術方案不限於圖1,例如本申請的技術還可以應用於單側的點雲編碼或單側的點雲解碼。
目前的點雲編碼器可以採用國際標準組織運動圖像專家組(Moving Picture Experts Group,MPEG)提出了兩種點雲壓縮編碼技術路線,分別是基於投影的點雲壓縮(Video-based Point Cloud Compression, VPCC)和基於幾何的點雲壓縮(Geometry-based Point Cloud Compression, GPCC)。VPCC通過將三維點雲投影到二維,利用現有的二維編碼工具對投影後的二維圖像進行編碼,GPCC利用層級化的結構將點雲逐級劃分為多個單元,通過編碼記錄劃分過程編碼整個點雲。
下面以GPCC編解碼框架為例,對本申請實施例可適用的點雲編碼器和點雲解碼器進行說明。
圖2是本申請實施例提供的點雲編碼器的示意性框圖。
由上述可知點雲中的點可以包括點的位置資訊和點的屬性資訊,因此,點雲中的點的編碼主要包括位置編碼和屬性編碼。在一些示例中點雲中點的位置資訊又稱為幾何資訊,對應的點雲中點的位置編碼也可以稱為幾何編碼。
在GPCC編碼框架中,點雲的幾何資訊和對應的屬性資訊是分開編碼的。
位置編碼的過程包括:首先建立包圍點雲所有點的最小正方體,該正方體稱為最小包圍盒。對最小包圍盒進行八叉樹劃分,即將包圍盒八等分為8個子立方體,對非空的(包含點雲中的點)的子立方體繼續進行八等分,直到劃分得到的葉子結點為1×1×1的單位立方體時停止劃分,在此過程中用8位元二進位數字編碼每次劃分產生的8個子立方體的佔用情況,生成二進位的幾何位元流,即幾何碼流。具體是,對點雲中的點進行預處理,例如座標變換、量化和移除重複點等;接著,對預處理後的點雲進行幾何編碼,例如構建八叉樹,基於構建的八叉樹進行幾何編碼形成幾何碼流。同時,基於構建的八叉樹輸出的位置資訊,對點雲資料中各點的位置資訊進行重建,得到各點的位置資訊的重建值。
屬性編碼過程包括:通過給定輸入點雲的位置資訊的重建資訊和屬性資訊的原始值,選擇三種預測模式的一種進行點雲預測,對預測後的結果進行量化,並進行算術編碼形成屬性碼流。
如圖2所示,位置編碼可通過以下單元實現:
座標轉換(Tanmsform coordinates)單元201、體素(Voxelize)單元202、八叉樹劃分(Analyze octree)單元203、幾何重建(Reconstruct geometry)單元204、第一算術編碼(Arithmetic enconde)單元205以及表面擬合單元(Analyze surface approximation)206。
座標轉換單元201可用於將點雲中點的世界座標變換為相對座標。例如,點的幾何座標分別減去xyz坐標軸的最小值,相當於去直流操作,以實現將點雲中的點的座標從世界座標轉換為相對座標。
體素(Voxelize)單元202也稱為量化和移除重複點(Quantize and remove points)單元,可通過量化減少座標的數目;量化後原先不同的點可能被賦予相同的座標,基於此,可通過去重操作將重複的點刪除;例如,具有相同量化位置和不同屬性資訊的多個雲可通過屬性轉換合併到一個雲中。在本申請的一些實施例中,體素單元202為可選的單元模組。
八叉樹劃分單元203可利用八叉樹(octree)編碼方式,編碼量化的點的位置資訊。例如,將點雲按照八叉樹的形式進行劃分,由此,點的位置可以和八叉樹的位置一一對應,通過統計八叉樹中有點的位置,並將其標識(flag)記為1,以進行幾何編碼。
在一些實施例中,在基於三角面片集(trianglesoup,trisoup)的幾何資訊編碼過程中,同樣也要通過八叉樹劃分單元203對點雲進行八叉樹劃分,但區別於基於八叉樹的幾何資訊編碼,該trisoup不需要將點雲逐級劃分到邊長為1x1x1的單位立方體,而是劃分到block(子塊)邊長為W時停止劃分,基於每個block中點雲的分佈所形成的表面,得到該表面與block的十二條邊所產生的至多十二個vertex(交點),通過表面擬合單元206對交點進行表面擬合,對擬合後的交點進行幾何編碼。
幾何重建單元204可以基於八叉樹劃分單元203輸出的位置資訊或表面擬合單元206擬合後的交點進行位置重建,得到點雲資料中各點的位置資訊的重建值。
算術編碼單元205可以採用熵編碼方式對八叉樹分析單元203輸出的位置資訊或對表面擬合單元206擬合後的交點進行算術編碼,例如將八叉樹分析單元203輸出的位置資訊利用算術編碼方式生成幾何碼流;幾何碼流也可稱為幾何位元流(geometry bitstream)。
屬性編碼可通過以下單元實現:
顏色轉換(Transform colors)單元210、重著色(Transfer attributes)單元211、區域自我調整分層變換(Region Adaptive Hierarchical Transform,RAHT)單元212、生成LOD(Generate LOD)單元213以及提升(lifting transform)單元214、量化係數(Quantize coefficients)單元215以及算術編碼單元216。
需要說明的是,點雲編碼器200可包含比圖2更多、更少或不同的功能組件。
顏色轉換單元210可用於將點雲中點的RGB色彩空間變換為YCbCr格式或其他格式。
重著色單元211利用重建的幾何資訊,對顏色資訊進行重新著色,使得未編碼的屬性資訊與重建的幾何資訊對應起來。
經過重著色單元211轉換得到點的屬性資訊的原始值後,可選擇任一種變換單元,對點雲中的點進行變換。變換單元可包括:RAHT變換212和提升(lifting transform)單元214。其中,提升變化依賴生成細節層(level of detail,LOD)。
RAHT變換和提升變換中的任一項可以理解為用於對點雲中點的屬性資訊進行預測,以得到點的屬性資訊的預測值,進而基於點的屬性資訊的預測值得到點的屬性資訊的殘差值。例如,點的屬性資訊的殘差值可以是點的屬性資訊的原始值減去點的屬性資訊的預測值。
在本申請的一實施例中,生成LOD單元生成LOD的過程包括:根據點雲中點的位置資訊,獲取點與點之間的歐式距離;根據歐式距離,將點分為不同的細節表達層。在一個實施例中,可以將歐式距離進行排序後,將不同範圍的歐式距離劃分為不同的細節表達層。例如,可以隨機挑選一個點,作為第一細節表達層。然後計算剩餘點與該點的歐式距離,並將歐式距離符合第一閾值要求的點,歸為第二細節表達層。獲取第二細節表達層中點的質心,計算除第一、第二細節表達層以外的點與該質心的歐式距離,並將歐式距離符合第二閾值的點,歸為第三細節表達層。以此類推,將所有的點都歸到細節表達層中。通過調整歐式距離的閾值,可以使得每層LOD層的點的數量是遞增的。應理解,LOD劃分的方式還可以採用其它方式,本申請對此不進行限制。
需要說明的是,可以直接將點雲劃分為一個或多個細節表達層,也可以先將點雲劃分為多個點雲切塊(slice),再將每一個點雲切塊劃分為一個或多個LOD層。
例如,可將點雲劃分為多個點雲切塊,每個點雲切塊的點的個數可以在55萬-110萬之間。每個點雲切塊可看成單獨的點雲。每個點雲切塊又可以劃分為多個細節表達層,每個細節表達層包括多個點。在一個實施例中,可根據點與點之間的歐式距離,進行細節表達層的劃分。
量化單元215可用於量化點的屬性資訊的殘差值。例如,若量化單元215和RAHT變換單元212相連,則量化單元215可用於量化RAHT變換單元212輸出的點的屬性資訊的殘差值。
算術編碼單元216可使用零行程編碼(Zero run length coding)對點的屬性資訊的殘差值進行熵編碼,以得到屬性碼流。所述屬性碼流可以是位元流資訊。
圖3是本申請實施例提供的點雲解碼器的示意性框圖。
如圖3所示,解碼器300可以從編碼設備獲取點雲碼流,通過解析碼得到點雲中的點的位置資訊和屬性資訊。點雲的解碼包括位置解碼和屬性解碼。
位置解碼的過程包括:對幾何碼流進行算術解碼;構建八叉樹後進行合併,對點的位置資訊進行重建,以得到點的位置資訊的重建資訊;對點的位置資訊的重建資訊進行座標變換,得到點的位置資訊。點的位置資訊也可稱為點的幾何資訊。
屬性解碼過程包括:通過解析屬性碼流,獲取點雲中點的屬性資訊的殘差值;通過對點的屬性資訊的殘差值進行反量化,得到反量化後的點的屬性資訊的殘差值;基於位置解碼過程中獲取的點的位置資訊的重建資訊,選擇如下RAHT逆變換和提升逆變換中的一種進行點雲預測,得到預測值,預測值與殘差值相加得到點的屬性資訊的重建值;對點的屬性資訊的重建值進行顏色空間逆轉換,以得到解碼點雲。
如圖3所示,位置解碼可通過以下單元實現:
算數解碼單元301、八叉樹合成(synthesize octree)單元302、表面擬合單元(Synthesize suface approximation)303、幾何重建(Reconstruct geometry)單元304以及逆座標變換(inverse transform coordinates)單元305。
屬性編碼可通過以下單元實現:
算數解碼單元310、反量化(inverse quantize)單元311、RAHT逆變換單元312、生成LOD(Generate LOD)單元313、提升逆變換(Inverse lifting)單元314以及逆顏色轉換(inverse trasform colors)單元315。
需要說明的是,解壓縮是壓縮的逆過程,類似的,解碼器300中的各個單元的功能可參見編碼器200中相應的單元的功能。另外,點雲解碼器300可包含比圖3更多、更少或不同的功能組件。
例如,解碼器300可根據點雲中點與點之間的歐式距離將點雲劃分為多個LOD;然後,依次對LOD中點的屬性資訊進行解碼;例如,計算零行程編碼技術中零的數量(zero_cnt),以基於zero_cnt對殘差進行解碼;接著,解碼框架200可基於解碼出的殘差值進行反量化,並基於反量化後的殘差值與當前點的預測值相加得到該點雲的重建值,直到解碼完所有的點雲。當前點將會作為後續LOD中點的最鄰近點,並利用當前點的重建值對後續點的屬性資訊進行預測。
上述是基於GPCC編解碼框架下的點雲編解碼器的基本流程,隨著技術的發展,該框架或流程的一些模組或步驟可能會被優化,本申請適用於該基於GPCC編解碼框架下的點雲編解碼器的基本流程,但不限於該框架及流程。
本申請實施例主要涉及屬性編解碼,具體是屬性預測。
在屬性預測時,需要確定當前點的K個參考點,根據K個參考點的屬性資訊,預測當前點的屬性資訊。但是,目前確定的K個參考點不夠準確,例如以距離為依據確定參考點,未考慮其他參考資訊,使得屬性編碼準確率低。
為了解決上述技術問題,本申請實施例基於分類資訊和距離資訊中的至少一個,確定K個參考點,也就是說,本申請實施例在確定參考點時,不僅考慮了距離資訊還考慮了分類資訊,其中分類資訊可以理解為點雲中點所屬的類別,這樣基於分類資訊和距離資訊中的至少一個,確定參考點時可以提高參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性,進而提升了編解碼性能。
下面結合具體的實施例,對本申請實施例涉及的點雲編解碼方法進行介紹。
首先,以解碼端為例,對本申請實施例提供的點雲解碼方法進行介紹。
圖4為本申請一實施例提供的點雲解碼方法流程示意圖。本申請實施例的點雲解碼方法可以由上述圖1或圖3所示的點雲解碼設備完成。
如圖4所示,本申請實施例的點雲解碼方法包括:
S101、確定點雲中當前點和已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊。
其中分類資訊用於指示點雲中點所屬的類別。
在一些實施例中,分類資訊可以理解為點雲中的點所屬的現實世界的類別,例如道路、汽車、行人等。
本申請實施例中,確定當前點和已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊,進而根據分類資訊和/或距離資訊,從已解碼點中確定當前點的K個參考點。由於相同類別的點的屬性資訊比較相近,基於此本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
本申請實施例對確定點雲中當前點和已解碼點的分類資訊的具體過程相同。
上述S101中確定點雲中當前點和已解碼點的分類資訊的方式包括但不限於如下幾種:
方式1,在對點雲進行屬性解碼之前,已完成對點雲的幾何解碼(也稱為位置解碼),得到了點雲中點的幾何資訊。根據點雲中點的幾何資訊對點雲進行分割,得到點雲的分類資訊,進而確定出當前點以及已解碼點的分類資訊。
在實際場景中,不同物體的運動可能不同,示例性的,以移動車輛上的雷射雷達感測器捕獲的點雲資料為例,在該點雲資料中,道路和物體通常具有不同的運動。由於道路和雷達感測器之間的距離相對恒定,並且道路從一個車輛位置到下一個車輛位置發生微小變化,因此表示道路的點相對於雷達感測器位置的移動很小。相比之下,建築物、路標、植被或其他車輛等物體具有較大的運動。
基於此,在該方式1的一種可能實現方式中,圖5所示,使用長條圖對點雲中點的高度值進行統計,長條圖的橫軸是點雲中點的高度值,長條圖的縱軸為在該高度值下的點數。圖5是以雷達點雲為例進行統計,以雷達所在高度為高度零點,因此大部分點的高度值為負值。接著,獲取長條圖的峰值對應的高度值,並計算高度值的標準差,則以峰值對應高度為中心,高於中心a倍(例如1.5倍)標準差的閾值記為第一高度閾值Top_thr,低於中心b倍(例如1.5倍)標準差的閾值記為第二高度閾值Bottom_thr。根據上述第一高度閾值和第二高度閾值將點雲劃分為不同的類別。例如,將點雲中高度值位於第一高度閾值和第二高度閾值之間的點雲記為第一類點雲(例如為道路點雲),將高度值大於第一高度閾值,以及高度值小於第二高度閾值的點雲記為第二類點雲(例如非道路點雲)。
方式2,點雲碼流中包括點雲中點的分類資訊的指示資訊,這樣解碼端通過解碼點雲碼流,得到當前點以及已解碼點的分類資訊。例如,編碼端將點雲中每個點的類別標識寫入碼流中,解碼端通過解碼碼流,得到點雲中當前點以及已解碼點的類別標識,進而根據類別標識,確定出分類資訊。
方式3,通過預先訓練好的神經網路模型,預測當前點以及已解碼點的分類資訊。
在方式3的一種示例中,假設後一個待解碼點的分類資訊是基於前面已解碼點的分類資訊預測得到的,則本申請實施例中,在解碼當前點時,已解碼點的分類資訊已預測出。此時,確定當前點的分類資訊時,從已解碼點中選擇出至少一個已解碼點,這至少一個解碼點可以為距離當前點最近的已解碼點。接著,將至少一個已解碼點的分類資訊輸入神經網路模型中,以使該神經網路模型基於至少一個已解碼點的分類資訊,預測當前點的分類資訊。
在該方式3的另一種示例中,將點雲中點的位置資訊輸入神經網路模型,以使該神經網路模型基於點雲中點的位置資訊,將點雲劃分為多個類別,進而確定出當前點以及已解碼點的分類資訊。
需要說明的是,確定點雲中當前點和已解碼點的分類資訊的方法除了上述幾種方式外,還可以採用其他的方式確定,本申請實施例對此不做限制。
由於在屬性解碼之前,已完成點雲的幾何解碼,因此,解碼端可以根據已解碼點的位置資訊和當前點的位置資訊,確定為已解碼點與當前點之間的距離資訊。
本申請實施例對確定已解碼點與當前點之間的距離的具體方式不做限制。
在一種示例中,根據曼哈頓距離計算方法,確定已解碼點與當前點之間的曼哈頓距離。
在另一種示例中,根據歐幾裡得距離計算方法,確定已解碼點與當前點之間的歐幾裡得距離。
本申請實施例對確定分類資訊和距離資訊的已解碼點的具體數量不做限制。
在一些實施例中,將解碼順序中,位於當前點之前的L個已解碼點作為研究物件,確定當前點和這L個已解碼點的分類資訊,和/或確定這L個已解碼點中每個已解碼點到當前點的距離,其中L為正整數。
可選的,上述L為預設的一固定值,也就是說,除了解碼順序的前幾個點外,其他點對應的L已解碼點的個數相同。
可選的,上述L不是固定值。例如,可以根據當前點的類別,確定不同的L值,作為一種示例,若當前點屬於第一類點雲,則確定L為A1,若當前點屬於第二類點雲,則確定L為A2,其中A1和A2均為正整數,且A1與A2的取值不同。
本申請實施例的解碼順序可以是點雲中點的原始輸入順序、莫頓順序、希爾伯特順序、LOD順序中的任意一種。其中莫頓順序可以理解為將點雲中點的座標轉換為莫頓碼,根據莫頓碼大小,按照從小到大排序對點雲進行排序得到的順序。其中希爾伯特順序可以理解為將點雲中點的座標轉換為希爾伯特碼,根據希爾伯特碼大小,按照從小到大排序對點雲進行排序得到的順序。
根據上述方法可以確定出當前點以及已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊,接著,執行如下S102的步驟。
S102、根據分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點。
其中,K為正整數。可選的,K的具體取值可以為預設值,也可以解碼得到,還可以自我調整地計算得出,本申請不作限制。
本申請實施在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
在一些實施例中,解碼端根據當前點和已解碼點的分類資訊,從已解碼點中確定出當前點的K個參考點。例如,解碼端將解碼順序中靠近當前點、且類別與當前點的類別相同的K個已解碼點,確定為當前點的K個參考點。
在一些實施例中,解碼端根據當前點和已解碼點的分類資訊,以及已解碼點與當前點之間的距離,從已解碼點中確定出當前點的K個參考點。例如,解碼端將類別與當前點類別一致,且距離當前點最近的K個已解碼點,確定為當前點的K個參考點。
在一些實施例中,解碼端根據已解碼點與當前點之間的距離,從已解碼點中確定出當前點的K個參考點。例如,解碼端將距離當前點最近的K個已解碼點,確定為當前點的K個參考點。
在一些實施例中,本申請實施例包括多種確定參考點的方式,此時,上述S102包括如下S102-A和S102-B的步驟:
S102-A、確定當前點對應的參考點確定模式。
S102-B、根據參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點。
在該實施例中,若存在多種確定參考點的方式時,解碼端在確定當前點的參考點時,首先需要確定當前點對應的參考點確定模式,進而根據確定參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點。
在一些實施例中,點雲中所有點的參考點確定模式相同,即解碼端採用一種參考點確定模式,確定點雲中每一個點的參考點。可選的,該參考點確定模式可以為預設模式。可選的,編碼端從多個參考點確定模式確定出一個參考點確定模式,並將確定出的該參考點確定模式寫入碼流指示給解碼端,這樣解碼端通過解碼碼流,得到該參考點確定模式,進而使用該參考點確定模式確定點雲中所有點的參考點。可選的,編碼端還可以為點雲中每個點編碼一個標識位元,來指示每個點對應的參考點確定模式。
在一些實施例中,點雲中可以使用多種參考點確定模式,例如點雲中某一些點使用一種參考點確定模式確定參考點,另一種參考點使用另一種參考點確定模式來確定參考點。
本申請實施例對參考點確定模式不做限制。
在一些實施例中,參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。可選的,第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中至少一個模式基於分類資訊確定參考點。
下面對上述S102-A中確定當前點對應的參考點確定模式的具體方式進行介紹。
上述S102-A中確定當前點對應的參考點確定模式的方式包括但不限於如下幾種:
方式一,根據當前點的分類資訊,確定當前點對應的參考點確定模式。
在該方式一的一種可能的實現方式中,點雲中不同類別的點對應不同的參考點確定模式。
例如,若當前點的類別為第一類別,則確定參考點確定模式為第一種參考點確定模式。
再例如,若當前點的類別為第二類別,則確定參考點確定模式為第二種參考點確定模式。
上述第二種參考點確定模式與第一種參考點確定模式均為上述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且第二種參考點確定模式與第一種參考點確定模式不同。
在一種示例中,點雲中點的類別與參考點確定模式的對應關係如表1所示:
表1
點的分類資訊 | 參考點確定模式 |
第一類別 | 第一種參考點確定模式 |
第二類別 | 第二種參考點確定模式 |
… | … |
由上述表1可知,不同的類別的點對應不同的參考點確定模式,這樣解碼端可以根據當前點的分類資訊,查詢上述表1,確定出當前點對應的參考點確定模式。
在另一種示例中,上述第一種參考點確定模式和第二種確定模式為預設模式,例如,若當前點的類別為第一類別時,則解碼端默認當前點對應的參考點確定為第二參考點確定模式,即第一種參考點確定模式為第二參考點確定模式。若當前點的類別為第二類別時,則編碼端預設當前點對應的參考點確定模式為第三參考點確定模式,即第二種參考點確定模式為第三參考點確定模式。
在另一種示例中,編碼端可以將不同類別對應的參考點確定模式寫入碼流,這樣解碼端可以通過解碼碼流,可以確定出當前點所屬的類別所對應的參考點確定模式。例如,解碼端從碼流中解碼出第一類別對應第二參考點確定模式,第二類別對應第三參考點確定模式。這樣,若確定出當前點的類別為第一類別時,則將第二參考點確定模式確定為當前點對應的參考點確定模式,即第一種參考點確定模式為第二參考點確定模式。若確定出當前點的類別為第二類別時,則將第三參考點確定模式確定為當前點對應的參考點確定模式,即第二種參考點確定模式為第三參考點確定模式。
在該方式一的另一種可能的實現方式中,還可以根據當前點和已解碼點的分類資訊,確定當前點對應的參考點確定模式。
例如,若已解碼點中與當前點的類別相同的已解碼點的個數大於或等於某一預設值,則確定當前點對應的參考點確定模式為一種參考點確定模式。
再例如,若已解碼點中與當前點的類別相同的已解碼點的個數小於某一預設值,則確定當前點對應的參考點確定模式為另一種參考點確定模式。
解碼端除了使用上述方式一確定當前點對應的參考點確定模式外,還可以採用下面的方式二、方式三或方式四,確定當前點對應的參考點確定模式。
方式二,當前點對應的參考點確定模式為預設模式。也就是說,解碼端和編碼端均採用預設模式確定當前點的參考點。
可選的,上述預設模式可以為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
方式三,解碼點雲碼流,得到第一標識,該第一標識用於指示當前點對應的參考點確定模式;根據所述第一標識,確定所述參考點確定模式。
在該方式三中,編碼端將確定的當前點對應的參考點確定模式後,將該參考點確定模式指示給解碼端,具體是,在碼流中寫入第一標識,通過該第一標識指示當前點對應的參考點確定模式。這樣解碼端可以通過解碼碼流,得到第一標識,進而根據第一標識確定出當前點對應的參考點確定模式。
可選的,該第一標識可以為該參考點確定模式的索引。
在該方式三的一種可能的實現方式中,編碼端可以為點雲中每一個點編碼一個第一標識,用於指示該點對應的參考點確定模式。
在該方式三的一種可能的實現方式中,若點雲中每個點對應的參考點確定模式相同時,則編碼端可以在碼流中寫入一個第一標識,該第一標識用於指示點雲中所有點對應的參考點確定模式。
在該方式三的一種可能的實現方式中,若不同類別的點對應的參考點確定模式不同時,則編碼端可以為不同類別的點編碼不同的第一標識,例如第一類點雲對應的第一標識為B1,第二類點雲對應的第一標識為B2。這樣解碼端可以根據當前點的分類資訊,確定當前點對應的第一標識,進而根據第一標識確定出當前點對應的參考點確定模式。例如,若當前點為第一類點雲,則解碼端將第一標識B1對應的參考點確定模式確定為當前點對應的參考點確定模式,若當前點為第二類點雲,則解碼端將第一標識B2對應的參考點確定模式確定為當前點對應的參考點確定模式。
方式四,解碼端通過自我調整方法,確定出當前點對應的參考點確定模式。此時,上述S102-A包括如下步驟:
S102-A1、獲取N個參考點候選確定模式,N為正整數;
S102-A2、從N個參考點候選確定模式中,確定一參考點候選確定模式作為當前點對應的參考點確定模式。
上述N個參考點候選確定模式為上述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式。
在一些實施例中,上述N個參考點候選確定模式為編解碼預設的。
在一些實施例中,編碼端從第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中確定出N個參考點候選確定模式,並將確定N個參考點候選確定模式指示給解碼端。
在一些實施例中,解碼端還可以通過其他的方式,獲取N個參考點候選確定模式,本申請實施例對此不做限制。解碼端獲取N個參考點候選確定模式後,從這N個參考點候選確定模式中,確定當前點對應的參考點確定模式。
解碼端從N個參考點候選確定模式中,確定一參考點候選確定模式作為當前點對應的參考點確定模式的方式包括但不限於如下幾種:
方式1,解碼端根據當前點的分類資訊,從這N個參考點候選確定模式中,確定出當前點對應的參考點確定模式。
例如,若當前點的類別為第一類別,則將N個參考點候選確定模式中的參考點候選模式a確定為當前點對應的參考點確定模式。
再例如,若當前點的類別為第二類別,則將N個參考點候選確定模式中的參考點候選模式b確定為當前點對應的參考點確定模式。
方式2,解碼端確定N個參考點候選確定模式的代價;將N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為當前點對應的參考點確定模式。
上述代價可以為差值的平方和(Sum of Squared Difference,SSD)、絕對誤差(Sum of Absolute Difference,SAD)、經hadamard變換後再絕對值求和(Sum of Absolute Transformed Difference,SATD)等代價。
本申請實施例對確定N個參考點候選確定模式的代價的具體方式不做限制。
在一種可能的實現方式中,解碼端按照解碼順序,從已解碼點中選擇距離當前點最近的P個點,P為正整數;針對N個參考點候選確定模式中的第j個參考點候選確定模式,使用第j個參考點候選確定模式對P個點進行預測,得到P個點在第j個參考點候選確定模式下的屬性預測值,j為正整數;根據P個點在第j個參考點候選確定模式下的屬性預測值,確定第j個參考點候選模式的代價。
也就是說,在該實現方式中,解碼端按照解碼順序,從已解碼點中選擇距離當前點最近的P個點,使用N個參考點候選確定模式分別對P個點進行預測,得到N個參考點候選確定模式中每一個參考點候選確定模式對應的P個點的屬性預測值,進而根據P個點的屬性預測值,確定每個參考點候選確定模式的代價。
例如,以N個參考點候選確定模式中的第j個參考點候選確定模式為例,使用第j個參考點候選確定模式對P個點中的每一個點進行屬性預測,得到P個點中每個點在第j個參考點候選確定模式下的屬性預測值。具體的,針對P個點中的第i個點,使用第j個參考點候選確定模式確定出第i個點的K個參考點,根據第i個點的K個參考點確定第i個點的屬性預測值,例如將第i個點的K個參考點的屬性資訊的加權平均值,確定為第i個點的屬性預測值。參照第i個點的屬性預測值的確定方法,可以確定出P個點中每一個點在該第j個參考點候選確定模式下的屬性預測值。接著,根據P個點中每一個點在該第j個參考點候選確定模式下的屬性預測值,確定第j個參考點候選確定模式的代價。
其中,根據P個點中每一個點在該第j個參考點候選確定模式下的屬性預測值,確定第j個參考點候選確定模式的代價的方式包括但不限於如下幾種示例:
示例1,由於P個點為屬性已解碼點,這P個點在屬性解碼時,已經確定出各自的屬性預測值,為了便於描述,將P個點在屬性解碼過程中確定的屬性預測值記為原始屬性預測值。這樣可以將P個點在該第j個參考點候選確定模式下的屬性預測值與原始屬性預測值進行比較,確定出第j個參考點候選確定模式的代價。例如,將P個點在該第j個參考點候選確定模式下的屬性預測值與這P個點的原始屬性預測值的差值和,確定為第j個參考點候選確定模式的代價。
在一些示例中,根據如下如公式(1)確定第j個參考點候選確定模式的代價:
(1)
其中,D為第j個參考點候選確定模式的代價,ai為P個點中第i個點的原始屬性預測值,aij為第i個點在第j個參考點候選確定模式下的屬性預測值。
示例2,根據P個點在第j個參考點候選確定模式下的屬性預測值,確定P個點在第j個參考點候選確定模式下的屬性重建值;根據P個點在第j個參考點候選確定模式下的屬性重建值,以及P個點的已解碼屬性值,確定第j個參考點候選確定模式的代價。
在該示例2中,解碼碼流,得到P個點的屬性殘差值,將P個點在第j個參考點候選確定模式下的屬性預測值與P個點的屬性殘差值進行相加,可以得到P個點中每個點在第j個參考點候選確定模式下的屬性重建值。由於P個點的屬性資訊已解碼,因此,根據P個點在第j個參考點候選確定模式下的屬性重建值,以及P個點的已解碼屬性值,確定第j個參考點候選確定模式的代價。例如,使用SAD、SATD、SSD等代價計算方式,確定出第j個參考點候選確定模式的代價。
根據上述方法,可以確定出N個參考點候選確定模式中每一個模式對應的代價,進而將代價最小的一個參考點候選確定模式,確定為當前點對應的參考點確定模式。
解碼端根據上述方式確定出當前點對應的參考點確定模式後,執行上述S102-B的步驟,根據當前點對應的參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已解碼點中確定所述當前點的K個參考點。
下面對S102-B的具體實現過程進行介紹。
上述S102-B中根據當前點對應的參考點確定模式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若參考點確定模式為第一參考點確定模式,該第一參考點確定模式為將解碼順序中,距離當前點最近的K個已解碼點作為參考點。因此,解碼端根據上述S102-A的步驟,若確定當前點對應的參考點確定模式為第一參考點確定模式時,則按照解碼順序,將已解碼點中距離當前點最近的K個已解碼點,確定為K個參考點。可選的,該距離可以為曼哈頓距離或歐幾裡得距離等。
情況2,若參考點確定模式為第二參考點確定模式,該第二參考點確定模式為將已解碼點中分類資訊與當前點的分類資訊相同的K個已解碼點確定為參考點。因此,解碼端根據上述S102-A的步驟,若確定當前點對應的參考點確定模式為第二參考點確定模式時,則按照解碼順序,從已解碼點中選出分類資訊與當前點的分類資訊一致的K個已解碼點,作為K個參考點。例如,對於當前點,按照解碼順序向前查找,如果查找到的候選參考點與當前點屬於同一類別,則保留,否則,繼續查找,直至查找到k個與當前點類別相同的參考點為止。
該情況2的實際效果,等同於將整個點雲先按照分類資訊分割為多個部分,然後對每個部分獨立的按照情況1的方式查找。
情況3,若參考點確定模式為第三參考點確定模式,該第三參考點為基於分類資訊和距離資訊來確定參考點。因此,解碼端根據上述S102-A的步驟,若確定當前點對應的參考點確定模式為第三參考點確定模式時,則解碼端執行如下S102-B1至S102-B3的步驟:
S102-B1、根據分類資訊和距離資訊中的至少一個,確定已解碼點的權重;
S102-B2、根據權重,確定已解碼點的得分;
S102-B3、根據得分,從已解碼點中確定K個參考點。
在該情況3中,若確定的當前點對應的參考點確定模式為第三參考點確定模式時,則根據分類資訊和距離資訊中的至少一個,確定已解碼點的權重,接著根據該權重,確定已解碼點的得分,進而根據得分從已解碼點中確定K個參考點。
其中上述S102-B1根據分類資訊和距離資訊中的至少一個,確定已解碼點的權重的方式包括但不限於如下幾種:
方式1,根據分類資訊,確定已解碼點的權重。在該方式1中,確定已解碼點中每個點的權重過程相同,為了便於描述,在此以已解碼點中的第i個點為例,根據該第i個點的分類資訊,確定該第i個點的權重,i為正整數。
在方式1的一種實現方式中,為不同類別的點配置一不同的權重,例如,若第i個點屬於第一類別,則確定第i個點的權重為W1,若第i個點屬於第二類別,則確定第i個點的權重為W2。其中,W1和W2為預設值或預設值。
在該方式1的另一種實現方式中,根據第i個點的分類資訊和當前點的分類資訊,確定第i個點的權重。
例如,若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重為第一權重;
再例如,若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重為第二權重。
本申請實施例對第一權重和第二權重的具體取值不做限制。在一些實施例中,第一權重和第二權重為預設值或預設值,在一些實施例中,第一權重和第二權重通過編碼端指示給解碼端。
在該方式1中,可以參照確定第i個點的權重的方式,確定出已解碼點中每一個點的權重。
方式2,解碼端還可以根據分類資訊和距離資訊,確定已解碼點的權重。
繼續以已解碼點中的第i個點為例,根據第i個點的分類資訊確定出權重1,根據第i個點與當前點之間的距離確定出權重2,根據權重1和權重2,確定出該第i個點的權重。
在一種示例中,若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重1為第一權重。再例如,若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重1為第二權重。
在一種示例中,將第i個點與當前點之間的距離倒數,確定為第i個點的權重2。
接著,根據權重1和權重2,確定出該第i個點的權重,例如將第i個點的權重1與權重2的和值,確定為第i個點的權重,或者,將第i個點的權重1與權重2的乘積,確定為第i個點的權重。
方式3,解碼端還可以根據距離資訊,確定已解碼點的權重。例如將已解碼點到當前點的距離倒數,確定為已解碼點的權重。
參照上述方法,解碼端根據分類資訊和距離資訊中的至少一個,確定已解碼點中每一個點的權重後,執行上述S102-B2根據權重,確定已解碼點的得分。
本申請實施例對上述S102-B2的具體實現方式不做限制。
在一些實施例中,解碼端將上述確定的已解碼點的權重作為或轉換為該已解碼點的得分。也就是說,已解碼點的權重越大,對應的得分越高。
在一些實施例中,根據第i個點與當前點之間的距離資訊,以及第i個點的權重,確定第i個點的得分。
例如,若採用上述方式1或方式2確定第i個點的權重,即在確定第i個點的權重時,考慮了分類資訊,此時,可以將根據第i個點與當前點之間的距離資訊,以及第i個點的權重,確定第i個點的得分。例如將第i個點與當前點之間的距離資訊、與第i個點的權重的乘積,確定為第i個點的得分。
示例性的,根據如下公式(2)確定第i個點的得分:
(2)
其中,weight為第i個點的權重,dist為第i個點與當前點之間的距離。
可選的,解碼端還可以將第i個點與當前點之間的距離資訊,以及第i個點的權重進行其他運算處理,得到第i個點的得分,本申請實施例對此不做限制。
在一些實施例中,若上述在確定第i個點的權重時,未考慮分類資訊,例如使用上述方式3確定第i個點的權重時,則可以第i個點的分類資訊和第i個點的權重,確定第i個點的得分。示例性的,根據第i個點的分類資訊確定一個權值,將該權值與第i個點的權重的乘積或和值,確定為第i個點的得分。
上述以確定第i個點的得分為例進行說明,已解碼點中的每一個點可以參照第i個點的方法,確定出已解碼點中每一個點的得分,進而根據得分,從已解碼點中確定出K個參數點。
例如,將已解碼點中得分最大的K個已解碼點,確定為當前點的K個參考點。
在一些實施例中,若已解碼點的權重採用上述方式1確定,即若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重為第一權重;若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重為第二權重。若第二權重大於第一權重,則將已解碼點中得分最小的K個點,確定為K個參考點。
在該實施例中,可選的,第一權重為小於1的正數,第二權重為大於1的正數。
本申請實施中,解碼端根據上述方法,確定出當前點的K個參考點,由上述可知,本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
解碼端確定出當前點的K個參考點後,執行如下S103的步驟。
S103、根據K個參考點的屬性資訊,確定當前點的屬性預測值。
在一些實施例中,解碼端直接根據K個參考點的屬性資訊,確定當前點的屬性預測值。例如將K個參考點的屬性資訊的加權平均值,確定為當前點的屬性預測值。
在一些實施例中,上述S103包括如下步驟S103-A和S103-B的步驟。
S103-A、從K個參考點中確定M個預測點,M為小於或等於K的正整數。
在該實施例中,為了提升解碼效率,則從K個參考點中確定出M個預測點,根據這M個預測點的屬性資訊,確定當前點的屬性預測值。
下面對S103-A的具體實現過程進行介紹。
本申請實施例中,存在多種從K個參考點確定M個預測點的方式,基於此,上述S103-A包括如下步驟:
S103-A1、確定當前點對應的預測點確定模式;
S103-A2、根據預測點確定模式,從K個參考點中確定M個預測點。
在該實施例中,解碼端首先從多個從K個參考點確定M個預測點的方式中,確定當前點對應的預測點確定模式,進而根據該預測點確定模式,從K個參考點中確定M個預測點。
在一些實施例中,點雲中所有點的預測點確定模式相同,即解碼端採用一種預測點確定模式,確定點雲中每一個點的預測點。可選的,該預測點確定模式可以為預設模式。可選的,編碼端從多個預測點確定模式確定出一個預測點確定模式,並將確定出的該預測點確定模式寫入碼流指示給解碼端,這樣解碼端通過解碼碼流,得到該預測點確定模式,進而使用該預測點確定模式確定點雲中所有點的預測點。可選的,編碼端還可以為點雲中每個點編碼一個標識位元,來指示每個點對應的預測點確定模式。
在一些實施例中,點雲中可以使用多種預測點確定模式,例如點雲中某一些點使用一種預測點確定模式來確定預測點,另一種預測點使用另一種預測點確定模式來確定預測點。
本申請實施例對預測點確定模式不做限制。
在一些實施例中,預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。可選的,第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個中至少一個模式基於分類資訊確定預測點。
下面對上述S103-A中確定當前點對應的預測點確定模式的具體方式進行介紹。
上述S103-A中確定當前點對應的預測點確定模式的方式包括但不限於如下幾種:
方式一,根據當前點的分類資訊,確定當前點對應的預測點確定模式。
在該方式一的一種可能的實現方式中,點雲中不同類別的點對應不同的預測點確定模式。
例如,若當前點的類別為第一類別,則確定預測點確定模式為第一種預測點確定模式。
再例如,若當前點的類別為第二類別,則確定預測點確定模式為第二種預測點確定模式。
上述第二種預測點確定模式與第一種預測點確定模式均為上述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意一個,且第二種預測點確定模式與第一種預測點確定模式不同。
在一種示例中,點雲中點的類別與預測點確定模式的對應關係如表2所示:
表2
點的分類資訊 | 預測點確定模式 |
第一類別 | 第一種預測點確定模式 |
第二類別 | 第二種預測點確定模式 |
… | … |
由上述表2可知,不同的類別的點對應不同的預測點確定模式,這樣解碼端可以根據當前點的分類資訊,查詢上述表2,確定出當前點對應的預測點確定模式。
在另一種示例中,上述第一種預測點確定模式和第二種確定模式為預設模式,例如,若當前點的類別為第一類別時,則解碼端默認當前點對應的預測點確定模式為第二預測點確定模式,即第一種預測點確定模式為第二預測點確定模式。若當前點的類別為第二類別時,則編碼端預設當前點對應的預測點確定模式為第三預測點確定模式,即第二種預測點確定模式為第三預測點確定模式。
在另一種示例中,編碼端可以將不同類別對應的預測點確定模式寫入碼流,這樣解碼端可以通過解碼碼流,可以確定出當前點所屬的類別所對應的預測點確定模式。例如,解碼端從碼流中解碼出第一類別對應第二預測點確定模式,第二類別對應第三預測點確定模式。這樣,若確定出當前點的類別為第一類別時,則將第二預測點確定模式確定為當前點對應的預測點確定模式,即第一種預測點確定模式為第二預測點確定模式。若確定出當前點的類別為第二類別時,則將第三預測點確定模式確定為當前點對應的預測點確定模式,即第二種預測點確定模式為第三預測點確定模式。
在該方式一的另一種可能的實現方式中,還可以根據當前點和已解碼點的分類資訊,確定當前點對應的預測點確定模式。
例如,若已解碼點中與當前點的類別相同的已解碼點的個數大於或等於某一預設值,則確定當前點對應的預測點確定模式為一種預測點確定模式。
再例如,若已解碼點中與當前點的類別相同的已解碼點的個數小於某一預設值,則確定當前點對應的預測點確定模式為另一種預測點確定模式。
解碼端除了使用上述方式一確定當前點對應的預測點確定模式外,還可以採用下面的方式二、方式三、方式四或方式五,確定當前點對應的預測點確定模式。
方式二,根據K個參考點的分類資訊,確定預測點確定模式。
在方式二中的一種實現方式中,確定K個參考點中屬於不同類別的點的個數,將個數最多的類別對應的預測點確定模式,確定為當前點對應的預測點確定模式。例如,K個參考點中,屬於第一類別的點的數量最多,如表示2所示,第一類別對應第一種預測點確定模式,進而將第一種預測點確定模式,確定為當前點對應的預測點確定模式。
在方式二的另一種實現方式中,根據K個參考點和當前點的分類資訊,確定當前點對應的預測點確定模式。
例如,若K個參考點中與當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定預測點確定模式為第三種預測點確定模式;
再例如,若K個參考點中與當前點屬於同一類別的參考點的數量小於第一閾值,則確定預測點確定模式為第四種預測點確定模式,第四種預測點確定模式與第三種預測點確定模式均為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且第四種預測點確定模式與第三種預測點確定模式不同。
方式三,當前點對應的預測點確定模式為預設模式。也就是說,解碼端和編碼端均採用預設模式確定當前點的預測點。
可選的,上述預設模式可以為第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意一個。
方式四,解碼點雲碼流,得到第二標識,該第二標識用於指示當前點對應的預測點確定模式;根據第二標識,確定當前點對應的預測點確定模式。
在該方式四中,編碼端將確定出當前點對應的預測點確定模式後,將該預測點確定模式指示給解碼端,具體是,在碼流中寫入第二標識,通過該第二標識指示當前點對應的預測點確定模式。這樣解碼端可以通過解碼碼流,得到第二標識,進而根據第二標識確定出當前點對應的預測點確定模式。
可選的,該第二標識可以為該預測點確定模式的索引。
在該方式四的一種可能的實現方式中,編碼端可以為點雲中每一個點編碼一個第二標識,用於指示該點對應的預測點確定模式。
在該方式四的一種可能的實現方式中,若點雲中每個點對應的預測點確定模式相同時,則編碼端可以在碼流中寫入一個第二標識,該第二標識用於指示點雲中所有點對應的預測點確定模式。
在該方式四的一種可能的實現方式中,若不同類別的點對應的預測點確定模式不同時,則編碼端可以為不同類別的點編碼不同的第二標識,例如第一類點雲對應的第二標識為B1,第二類點雲對應的第二標識為B2。這樣解碼端可以根據當前點的分類資訊,確定當前點對應的第二標識,進而根據第二標識確定出當前點對應的預測點確定模式。例如,若當前點為第一類點雲,則解碼端將第二標識B1對應的預測點確定模式確定為當前點對應的預測點確定模式,若當前點為第二類點雲,則解碼端將第二標識B2對應的預測點確定模式確定為當前點對應的預測點確定模式。
方式五,解碼端通過自我調整方法,確定出當前點對應的預測點確定模式。此時,上述S103-A包括如下步驟:
S103-A1、獲取Q個預測點候選確定模式,Q為大於1的正整數;
S103-A2、從Q個預測點候選確定模式中,確定一預測點候選確定模式作為當前點對應的預測點確定模式。
上述Q個預測點候選確定模式為上述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意Q個模式。
在一些實施例中,上述Q個預測點候選確定模式為編解碼預設的。
在一些實施例中,編碼端從第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中確定出Q個預測點候選確定模式,並將確定Q個預測點候選確定模式指示給解碼端。
在一些實施例中,解碼端還可以通過其他的方式,獲取Q個預測點候選確定模式,本申請實施例對此不做限制。解碼端獲取Q個預測點候選確定模式後,從這Q個預測點候選確定模式中,確定當前點對應的預測點確定模式。
解碼端從Q個預測點候選確定模式中,確定一預測點候選確定模式作為當前點對應的預測點確定模式的方式包括但不限於如下幾種:
方式1,解碼端根據當前點的分類資訊,從這Q個預測點候選確定模式中,確定出當前點對應的預測點確定模式。
例如,若當前點的類別為第一類別,則將Q個預測點候選確定模式中的預測點候選模式a確定為當前點對應的預測點確定模式。
再例如,若當前點的類別為第二類別,則將Q個預測點候選確定模式中的預測點候選模式b確定為當前點對應的預測點確定模式。
方式2,解碼端確定Q個預測點候選確定模式的代價;根據Q個預測點候選確定模式的代價,確定當前點對應的預測點確定模式。
上述代價可以為差值的平方和(Sum of Squared Difference,SSD)、絕對誤差(Sum of Absolute Difference,SAD)、經hadamard變換後再絕對值求和(Sum of Absolute Transformed Difference,SATD)等代價。
在一些實施例中,還可以將屬性最大差值確定為代價。
本申請實施例對確定Q個預測點候選確定模式的代價的具體方式不做限制。
在一種可能的實現方式中,解碼端按照解碼順序,從已解碼點中選擇距離當前點最近的P個點,P為正整數;針對Q個預測點候選確定模式中的第j個預測點候選確定模式,使用第j個預測點候選確定模式對P個點進行預測,得到P個點在第j個預測點候選確定模式下的屬性預測值,j為正整數;根據P個點在第j個預測點候選確定模式下的屬性預測值,確定第j個預測點候選模式的代價。
也就是說,在該實現方式中,解碼端按照解碼順序,從已解碼點中選擇距離當前點最近的P個點,使用Q個預測點候選確定模式分別對P個點進行預測,得到Q個預測點候選確定模式中每一個預測點候選確定模式對應的P個點的屬性預測值,進而根據P個點的屬性預測值,確定每個預測點候選確定模式的代價。
例如,以Q個預測點候選確定模式中的第j個預測點候選確定模式為例,使用第j個預測點候選確定模式對P個點中的每一個點進行屬性預測,得到P個點中每個點在第j個預測點候選確定模式下的屬性預測值。具體的,針對P個點中的第i個點,使用第j個預測點候選確定模式確定出第i個點的M個預測點,根據第i個點的M個預測點確定第i個點的屬性預測值,例如將第i個點的M個預測點的屬性資訊的加權平均值,確定為第i個點的屬性預測值。參照第i個點的屬性預測值的確定方法,可以確定出P個點中每一個點在該第j個預測點候選確定模式下的屬性預測值。接著,根據P個點中每一個點在該第j個預測點候選確定模式下的屬性預測值,確定第j個預測點候選確定模式的代價。
其中,根據P個點中每一個點在該第j個預測點候選確定模式下的屬性預測值,確定第j個預測點候選確定模式的代價的方式包括但不限於如下幾種示例:
示例1,由於P個點為屬性已解碼點,這P個點在屬性解碼時,已經確定出各自的屬性預測值,為了便於描述,將P個點在屬性解碼過程中確定的屬性預測值記為原始屬性預測值。這樣可以將P個點在該第j個預測點候選確定模式下的屬性預測值與原始屬性預測值進行比較,確定出第j個預測點候選確定模式的代價。例如,將P個點在該第j個預測點候選確定模式下的屬性預測值與這P個點的原始屬性預測值的差值和,確定為第j個預測點候選確定模式的代價。
示例2,根據P個點在第j個預測點候選確定模式下的屬性預測值,確定P個點在第j個預測點候選確定模式下的屬性重建值;根據P個點在第j個預測點候選確定模式下的屬性重建值,以及P個點的已解碼屬性值,確定第j個預測點候選確定模式的代價。
在該示例2中,解碼碼流,得到P個點的屬性殘差值,將P個點在第j個預測點候選確定模式下的屬性預測值與P個點的屬性殘差值進行相加,可以得到P個點中每個點在第j個預測點候選確定模式下的屬性重建值。由於P個點的屬性資訊已解碼,因此,根據P個點在第j個預測點候選確定模式下的屬性重建值,以及P個點的已解碼屬性值,確定第j個預測點候選確定模式的代價。例如,使用SAD、SATD、SSD等代價計算方式,確定出第j個預測點候選確定模式的代價。在一些實施例中,還可以將P個點中屬性最大差值,確定為第j個預測點候選確定模式的代價。
根據上述方法,可以確定出N個預測點候選確定模式中每一個模式對應的代價,進而根據Q個預測點預測點候選確定模式的代價,確定預測點確定模式。
例如,將代價最小的一個預測點候選確定模式,確定為當前點對應的預測點確定模式。
再例如,若代價小於某一預設值,則將第一種預測點確定模式確定為當前點對應的預測點確定模式,否則將第二種預測點確定模式確定為當前點對應的預測點確定模式。
解碼端根據上述方式確定出當前點對應的預測點確定模式後,執行上述S103-B的步驟,根據當前點對應的預測點確定模式,從所述K個參考點中確定M個預測點。
下面對S103-B的具體實現過程進行介紹。
上述S103-B中根據當前點對應的預測點確定模式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若預測點確定模式為第一預測點確定模式,該第一預測點確定模式為將K個參考點確定為預測點。因此,解碼端根據上述S103-A的步驟,若確定當前點對應的預測點確定模式為第一預測點確定模式時,則將K個參考點,確定為M個預測點,此時M等於K。
情況2,若預測點確定模式為第二預測點確定模式,該第二預測點確定模式為將K個參考點中的一個參考點確定為預測點。因此,解碼端根據上述S103-A的步驟,若確定當前點對應的預測點確定模式為第二預測點確定模式時,則從K個參考點中選擇一個參考點,確定為預測點,此時M等於1。
其中,從K個參考點中選擇一個參考點,確定為預測點的方式至少包括如下幾種示例:
示例1,將K個參考點中距離當前點最近的一個參考點,確定為預測點。
示例2,解碼點雲碼流,得到當前點對應的第一索引,第一索引用於指示第一參考點,第一參考點為K個參考點中與當前點的屬性資訊最接近的一個參考點;將K個參考點中第一索引對應的第一參考點,確定為預測點。即編碼端從K個參考點中確定出屬性資訊與當前點最近的第一參考點,將該第一參考點確定為當前點的預測點,同時,編碼端將該第一參考點的索引(第一索引)寫入碼流。這樣解碼端通過解碼碼流,得到該第一索引,進而將K個參考點中該第一索引對應的參考點,確定為第一參考點,進而將該第一參考點確定為一個預測點。
在一些實施例中,碼流中可以包括指示資訊,用於指示該預測點是通過示例1的方式確定,還是通過示例2的方式確定。
情況3,若預測點確定模式為第三預測點確定模式,該第三預測點為基於分類資訊和距離資訊來確定預測點。因此,解碼端根據上述S103-A的步驟,若確定當前點對應的預測點確定模式為第三預測點確定模式時,則將K個參考點中與當前點的分類資訊一致,且距離當前點最近的M個參考點,確定為M個預測點。
解碼端根據上述方法,從K個參考點中,確定出M個預測點後,執行如下S103-B的步驟。
S103-B、根據M個預測點的屬性資訊,確定當前點的屬性預測值。
在一些實施例中,若根據上述步驟,確定M=1,即預測點為1個時,則將該預測點的屬性資訊,確定為當前點的屬性預測值。
在一些實施例中,若M大於1,即當前點包括多個預測點時,則上述S103-B包括如下步驟:
S103-B1、根據M個預測點的分類資訊,確定預測值計算方式;
S103-B2、根據預測值計算方式,以及M個預測點的屬性資訊,確定當前點的屬性預測值。
本申請實施例對預測值計算方式的具體方式不做限制。
在一些實施例中,上述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
在該實施例中,若當前點包括多個預測點時,在根據預測點確定當前點的屬性預測值之前,首先確定當前點對應的預測值計算方式。
具體的,根據M個預測點的分類資訊,確定預測值計算方式,也就是說,本申請實施例,針對不同的點雲類別,設置不同的預測值計算方式,進一步提高了屬性預測值的計算準確性。
上述S103-B1的實現方式,至少包括如下幾種:
方式1,若M個預測點中與當前點的類別相同的預測點的個數大於或等於第二閾值,則確定預測值計算方式為第一種預測值計算方式;若M個預測點中與當前點的類別相同的預測點的個數小於第二閾值,則確定預測值計算方式為第二種預測值計算方式,其中,第一種預測值計算方式與第二種預測值計算方式均為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且第一種預測值計算方式與第二種預測值計算方式不同。
方式2,若M個預測點和當前點的類別均為第一類別時,則確定預測值計算方式為第三種預測值計算方式;若M個預測點和當前點的類別均為第二類別時,則確定預測值計算方式為第四種預測值計算方式,其中,第三種預測值計算方式與第四種預測值計算方式均為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且第三種預測值計算方式與第四種預測值計算方式不同。
解碼端根據上述方式1或方式2,確定出當前點對應的預測值計算方式後,執行S103-B2,根據預測值計算方式,以及M個預測點的屬性資訊,確定當前點的屬性預測值。
上述S103-B2中根據當前點對應的預測值計算方式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若預測值計算方式為第一預測值計算方式,該第一預測值計算方式為一種加權方式。此時,解碼端將M個預測點中各預測點與當前點之間距離的倒數,確定為M個預測點中各預測點的第一權重;根據M個預測點中各預測點的第一權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
示例性的,解碼端根據如下公式(3)確定當前點的屬性預測值:
(3)
其中,Y為當前點的屬性預測值,M為預測點的個數,Wi為M個預測點中第i個預測點的第一權重,Pi為第i個預測點的屬性資訊。
情況2,若預測值計算方式為第二預測值計算方式,該第二預測值計算方式為另一種加權方式。此時,解碼端針對M個預測點中的各預測點,根據預測點和當前點的位置資訊以及預設的坐標軸權重,確定預測點的第二權重;根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
上述第一預測值計算方式,以距離的倒數作為每個預測點的權重。該在歐幾裡得距離時,考慮到點雲在xyz三個軸方向的分佈是不均勻的,一些點雲在xy平面空間分佈跨度大,而在z方向空間分佈跨度小。基於此,對不同的方向軸設置不同的權重。
在一種示例中,根據如下公式(4)確定預測點的第二權重:
(4)
其中,i為當前點,j為M個預測點中的第j個預測點,
為第j個預測點的第二權重,(xi,yi,zi)為當前點的座標,(xij,yij,zij)為當前點的M個預測點中的第j個預測點的座標,a、b、c為xyz三軸對應的權重。
本申請實施例對a、b、c的具體取值不做限制,在一種示例中,a和b為1。
根據上述公式(4)確定出M個預測點中每個預測點的第二權重,進而根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
在一種示例中,根據如下公式(5)確定當前點的屬性預測值:
(5)
其中,
為當前點的屬性預測值,
為M個預測點中第j個預測點的屬性資訊。
情況3,若預測值計算方式為第三預測值計算方式,該第三預測值計算方式為根據M個預測點,確定M+1個預測值,進而從M+1個預測值中確定當前點的屬性預測值。此時,解碼端首先確定M個預測點的屬性加權平均值,並將屬性加權平均值作為一個預測值;根據M個預測點的屬性資訊,確定M個預測值;根據確定的一個預測值和M個預測值,確定當前點的屬性預測值。
在情況3中,解碼端確定出M+1個屬性預測值,具體是,由M個預測點的屬性加權平均值確定的一個屬性預測值,以及根據M個預測點的屬性資訊,確定的M個屬性預測值,例如將M個預測點的屬性資訊,確定為M個屬性預測值。接著,從這M+1個屬性預測值,確定出當前點的屬性預測值。例如,解碼端解碼點雲碼流,得到第二索引,該第二索引用於指示目標預測值,進而將M+1個預測值中,該第二索引對應的目標預測值,確定為當前點的屬性預測值。
由上述可知,本申請實施例涉及的加權方式至少包括情況1和情況2所示的2種,因此,在該情況3中,確定確定M個預測點的屬性加權平均值之前,首先需要確定目標加權平均方式,進而使用該目標加權平均方式,確定M個預測點的屬性加權平均值。
本申請實施例對目標加權平均方式的具體方式不做限制。
在一些實施例中,目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。可選的,上述第一加權平均方式為上述情況1中的加權方式,第二加權平均方式為上述情況2中的加權方式。
在一些實施例中,上述目標加權平均方式為預設方式。
在一些實施例中,根據M個預測點的分類資訊,確定目標加權平均方式。
例如,若M個預測點中與當前點的類別相同的預測點的個數大於或等於第二閾值,則確定目標加權平均方式為第一種加權平均方式;若M個預測點中與當前點的類別相同的預測點的個數小於第二閾值,則確定目標加權平均方式為第二種加權平均方式,其中,第一種加權平均方式與第二種加權平均方式均為第一加權平均方式和第二加權平均方式中的任意一種,且第一種加權平均方式與第二種加權平均方式不同。
再例如,若M個預測點和當前點的類別均為第一類別時,則確定目標加權平均方式為第三種加權平均方式;若M個預測點和當前點的類別均為第二類別時,則確定目標加權平均方式為第四種加權平均方式,其中第三種加權平均方式與第四種加權平均方式均為第一加權平均方式和第二加權平均方式中的任意一種,且第三種加權平均方式與第四種加權平均方式不同。
在一些實施例中,若目標加權計算方式為第一加權平均方式,則將M個預測點中各預測點與當前點之間距離的倒數,確定為M個預測點中各預測點的第一權重;根據M個預測點中各預測點的第一權重,對M個預測點的屬性資訊進行加權,得到M個預測點的屬性加權平均值。具體的,可以參照上述公式(3)的描述。
在一些實施例中,若目標加權計算方式為第二加權平均方式,則針對M個預測點中的各預測點,根據預測點和當前點的位置資訊以及預設的坐標軸權重,確定預測點的第二權重;根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到M個預測點的屬性加權平均值。具體的,可以參照上述公式(4)和公式(5)的描述。
解碼端根據上述S103的描述,確定出當前點的屬性預測值,接著,執行如下S104的步驟。
S104、根據當前點的屬性預測值,確定當前點的屬性重建值。
示例性的,解碼端解碼碼流,得到當前點的屬性殘差值,進而根據當前點的屬性殘差值和屬性預測值,得到當前點的屬性重建值。例如,將當前點的屬性殘差值和屬性預測值的和,確定為當前點的屬性重建值。
本申請實施例提供的點雲編碼方法,通過確定點雲中當前點和已解碼點的分類資訊,和/或已解碼點與當前點之間的距離資訊,分類資訊用於指示點所屬的類別;根據分類資訊和距離資訊中的至少一個,從已解碼點中確定當前點的K個參考點,K為正整數;根據K個參考點的屬性資訊,確定當前點的屬性預測值;根據當前點的屬性預測值,確定當前點的屬性重建值。由於相同類別的點的屬性資訊比較相近,基於此本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
上文以解碼端為例,對本申請實施例提供的點雲解碼方法進行詳細介紹,下面以編碼端為例,對本申請實施例提供的點雲編碼方法進行介紹。
圖6為本申請一實施例提供的點雲編碼方法流程示意圖。本申請實施例的點雲編碼方法可以由上述圖1或圖2所示的點雲編碼設備完成。
如圖6所示,本申請實施例的點雲解碼方法包括:
S201、確定點雲中當前點和已編碼點的分類資訊,和/或已編碼點與當前點之間的距離資訊。
其中分類資訊用於指示點雲中點所屬的類別。
在一些實施例中,分類資訊可以理解為點雲中的點所屬的現實世界的類別,例如道路、汽車、行人等。
本申請實施例中,確定當前點和已編碼點的分類資訊,和/或已編碼點與當前點之間的距離資訊,進而根據分類資訊和/或距離資訊,從已編碼點中確定當前點的K個參考點。由於相同類別的點的屬性資訊比較相近,基於此本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
本申請實施例對確定點雲中當前點和已編碼點的分類資訊的具體過程相同。
上述S201中確定點雲中當前點和已編碼點的分類資訊的方式包括但不限於如下幾種:
方式1,在對點雲進行屬性編碼之前,已完成對點雲的幾何編碼(也稱為位置編碼),得到了點雲中點的幾何資訊。根據點雲中點的幾何資訊對點雲進行分割,得到點雲的分類資訊,進而確定出當前點以及已編碼點的分類資訊。
方式2,點雲碼流中包括點雲中點的分類資訊的指示資訊,這樣編碼端通過編碼點雲碼流,得到當前點以及已編碼點的分類資訊。例如,編碼端將點雲中每個點的類別標識寫入碼流中,編碼端通過編碼碼流,得到點雲中當前點以及已編碼點的類別標識,進而根據類別標識,確定出分類資訊。
方式3,通過預先訓練好的神經網路模型,預測當前點以及已編碼點的分類資訊。
由於在屬性編碼之前,已完成點雲的幾何編碼,因此,編碼端可以根據已編碼點的位置資訊和當前點的位置資訊,確定為已編碼點與當前點之間的距離資訊。
本申請實施例對確定已編碼點與當前點之間的距離的具體方式不做限制。
在一種示例中,根據曼哈頓距離計算方法,確定已編碼點與當前點之間的曼哈頓距離。
在另一種示例中,根據歐幾裡得距離計算方法,確定已編碼點與當前點之間的歐幾裡得距離。
本申請實施例對確定分類資訊和距離資訊的已編碼點的具體數量不做限制。
在一些實施例中,將編碼順序中,位於當前點之前的L個已編碼點作為研究物件,確定當前點和這L個已編碼點的分類資訊,和/或確定這L個已編碼點中每個已編碼點到當前點的距離,其中L為正整數。
本申請實施例的編碼順序可以是點雲中點的原始輸入順序、莫頓順序、希爾伯特順序、LOD順序中的任意一種。其中莫頓順序可以理解為將點雲中點的座標轉換為莫頓碼,根據莫頓碼大小,按照從小到大排序對點雲進行排序得到的順序。其中希爾伯特順序可以理解為將點雲中點的座標轉換為希爾伯特碼,根據希爾伯特碼大小,按照從小到大排序對點雲進行排序得到的順序。
根據上述方法可以確定出當前點以及已編碼點的分類資訊,和/或已編碼點與當前點之間的距離資訊,接著,執行如下S202的步驟。
S202、根據分類資訊和距離資訊中的至少一個,從已編碼點中確定當前點的K個參考點。
在一些實施例中,編碼端根據當前點和已編碼點的分類資訊,從已編碼點中確定出當前點的K個參考點。例如,編碼端將編碼順序中靠近當前點、且類別與當前點的類別相同的K個已編碼點,確定為當前點的K個參考點。
在一些實施例中,編碼端根據當前點和已編碼點的分類資訊,以及已編碼點與當前點之間的距離,從已編碼點中確定出當前點的K個參考點。例如,編碼端將類別與當前點類別一致,且距離當前點最近的K個已編碼點,確定為當前點的K個參考點。
在一些實施例中,編碼端根據已編碼點與當前點之間的距離,從已編碼點中確定出當前點的K個參考點。例如,編碼端將距離當前點最近的K個已編碼點,確定為當前點的K個參考點。
在一些實施例中,本申請實施例包括多種確定參考點的方式,此時,上述S202包括如下S202-A和S202-B的步驟:
S202-A、確定當前點對應的參考點確定模式。
S202-B、根據參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已編碼點中確定當前點的K個參考點。
在該實施例中,若存在多種確定參考點的方式時,編碼端在確定當前點的參考點時,首先需要確定當前點對應的參考點確定模式,進而根據確定參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已編碼點中確定當前點的K個參考點。
在一些實施例中,點雲中所有點的參考點確定模式相同,即編碼端採用一種參考點確定模式,確定點雲中每一個點的參考點。可選的,該參考點確定模式可以為預設模式。可選的,編碼端從多個參考點確定模式確定出一個參考點確定模式,並將確定出的該參考點確定模式寫入碼流指示給編碼端,這樣解碼端通過編碼碼流,得到該參考點確定模式,進而使用該參考點確定模式確定點雲中所有點的參考點。可選的,編碼端還可以為點雲中每個點編碼一個標識位元,來指示每個點對應的參考點確定模式。
在一些實施例中,點雲中可以使用多種參考點確定模式,例如點雲中某一些點使用一種參考點確定模式確定參考點,另一種參考點使用另一種參考點確定模式來確定參考點。
本申請實施例對參考點確定模式不做限制。
在一些實施例中,參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。可選的,第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中至少一個模式基於分類資訊確定參考點。
下面對上述S202-A中確定當前點對應的參考點確定模式的具體方式進行介紹。
上述S202-A中確定當前點對應的參考點確定模式的方式包括但不限於如下幾種:
方式一,根據當前點的分類資訊,確定當前點對應的參考點確定模式。
在該方式一的一種可能的實現方式中,點雲中不同類別的點對應不同的參考點確定模式。
例如,若當前點的類別為第一類別,則確定參考點確定模式為第一種參考點確定模式。
再例如,若當前點的類別為第二類別,則確定參考點確定模式為第二種參考點確定模式。
上述第二種參考點確定模式與第一種參考點確定模式均為上述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且第二種參考點確定模式與第一種參考點確定模式不同。
在一種示例中,點雲中點的類別與參考點確定模式的對應關係如表1所示。這樣編碼端可以根據當前點的分類資訊,查詢上述表1,確定出當前點對應的參考點確定模式。
在另一種示例中,上述第一種參考點確定模式和第二種確定模式為預設模式,例如,若當前點的類別為第一類別時,則編碼端預設當前點對應的參考點確定為第二參考點確定模式,即第一種參考點確定模式為第二參考點確定模式。若當前點的類別為第二類別時,則編碼端預設當前點對應的參考點確定模式為第三參考點確定模式,即第二種參考點確定模式為第三參考點確定模式。
在一些實施例中,上述第一種參考點確定模式和第二種確定模式為使用者指示的。此時,解碼端將第一種參考點確定模式和第二種確定模式指示給解碼端。
在一些實施例中,編碼端可以將不同類別對應的參考點確定模式寫入碼流,這樣解碼端可以通過編碼碼流,可以確定出當前點所屬的類別所對應的參考點確定模式。
在該方式一的另一種可能的實現方式中,還可以根據當前點和已編碼點的分類資訊,確定當前點對應的參考點確定模式。
例如,若已編碼點中與當前點的類別相同的已編碼點的個數大於或等於某一預設值,則確定當前點對應的參考點確定模式為一種參考點確定模式。
再例如,若已編碼點中與當前點的類別相同的已編碼點的個數小於某一預設值,則確定當前點對應的參考點確定模式為另一種參考點確定模式。
編碼端除了使用上述方式一確定當前點對應的參考點確定模式外,還可以採用下面的方式二、方式三或方式四,確定當前點對應的參考點確定模式。
方式二,當前點對應的參考點確定模式為預設模式。也就是說,編碼端和解碼端均採用預設模式確定當前點的參考點。
可選的,上述預設模式可以為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
方式三,當前點對應的參考點確定模式為編碼端根據代價確定的,或者隨機選取的。
在該方式三中,編碼在點雲碼流中寫入第一標識,該第一標識用於指示當前點對應的參考點確定模式。
可選的,該第一標識可以為該參考點確定模式的索引。
在該方式三的一種可能的實現方式中,編碼端可以為點雲中每一個點編碼一個第一標識,用於指示該點對應的參考點確定模式。
在該方式三的一種可能的實現方式中,若點雲中每個點對應的參考點確定模式相同時,則編碼端可以在碼流中寫入一個第一標識,該第一標識用於指示點雲中所有點對應的參考點確定模式。
在該方式三的一種可能的實現方式中,若不同類別的點對應的參考點確定模式不同時,則編碼端可以為不同類別的點編碼不同的第一標識,例如第一類點雲對應的第一標識為B1,第二類點雲對應的第一標識為B2。這樣解碼端可以根據當前點的分類資訊,確定當前點對應的第一標識,進而根據第一標識確定出當前點對應的參考點確定模式。例如,若當前點為第一類點雲,則解碼端將第一標識B1對應的參考點確定模式確定為當前點對應的參考點確定模式,若當前點為第二類點雲,則解碼端將第一標識B2對應的參考點確定模式確定為當前點對應的參考點確定模式。
方式四,編碼端通過自我調整方法,確定出當前點對應的參考點確定模式。此時,上述S202-A包括如下步驟:
S202-A1、獲取N個參考點候選確定模式,N為正整數;
S202-A2、從N個參考點候選確定模式中,確定一參考點候選確定模式作為當前點對應的參考點確定模式。
上述N個參考點候選確定模式為上述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式。
在一些實施例中,上述N個參考點候選確定模式為編編碼預設的。
在一些實施例中,編碼端從第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中確定出N個參考點候選確定模式,並將確定N個參考點候選確定模式指示給編碼端。
在一些實施例中,編碼端還可以通過其他的方式,獲取N個參考點候選確定模式,本申請實施例對此不做限制。編碼端獲取N個參考點候選確定模式後,從這N個參考點候選確定模式中,確定當前點對應的參考點確定模式。
編碼端從N個參考點候選確定模式中,確定一參考點候選確定模式作為當前點對應的參考點確定模式的方式包括但不限於如下幾種:
方式1,編碼端根據當前點的分類資訊,從這N個參考點候選確定模式中,確定出當前點對應的參考點確定模式。
例如,若當前點的類別為第一類別,則將N個參考點候選確定模式中的參考點候選模式a確定為當前點對應的參考點確定模式。
再例如,若當前點的類別為第二類別,則將N個參考點候選確定模式中的參考點候選模式b確定為當前點對應的參考點確定模式。
方式2,編碼端確定N個參考點候選確定模式的代價;將N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為當前點對應的參考點確定模式。
上述代價可以為差值的平方和(Sum of Squared Difference,SSD)、絕對誤差(Sum of Absolute Difference,SAD)、經hadamard變換後再絕對值求和(Sum of Absolute Transformed Difference,SATD)等代價。
本申請實施例對確定N個參考點候選確定模式的代價的具體方式不做限制。
在一種可能的實現方式中,編碼端按照編碼順序,從已編碼點中選擇距離當前點最近的P個點,P為正整數;針對N個參考點候選確定模式中的第j個參考點候選確定模式,使用第j個參考點候選確定模式對P個點進行預測,得到P個點在第j個參考點候選確定模式下的屬性預測值,j為正整數;根據P個點在第j個參考點候選確定模式下的屬性預測值,確定第j個參考點候選模式的代價。
其中,根據P個點中每一個點在該第j個參考點候選確定模式下的屬性預測值,確定第j個參考點候選確定模式的代價的方式包括但不限於如下幾種示例:
示例1,由於P個點為屬性已編碼點,這P個點在屬性編碼時,已經確定出各自的屬性預測值,為了便於描述,將P個點在屬性編碼過程中確定的屬性預測值記為原始屬性預測值。這樣可以將P個點在該第j個參考點候選確定模式下的屬性預測值與原始屬性預測值進行比較,確定出第j個參考點候選確定模式的代價。例如,將P個點在該第j個參考點候選確定模式下的屬性預測值與這P個點的原始屬性預測值的差值和,確定為第j個參考點候選確定模式的代價。
在一些示例中,根據如下如公式(1)確定第j個參考點候選確定模式的代價。
示例2,根據P個點在第j個參考點候選確定模式下的屬性預測值,確定P個點在第j個參考點候選確定模式下的屬性重建值;根據P個點在第j個參考點候選確定模式下的屬性重建值,以及P個點的已編碼屬性值,確定第j個參考點候選確定模式的代價。
在該示例2中,編碼碼流,得到P個點的屬性殘差值,將P個點在第j個參考點候選確定模式下的屬性預測值與P個點的屬性殘差值進行相加,可以得到P個點中每個點在第j個參考點候選確定模式下的屬性重建值。由於P個點的屬性資訊已編碼,因此,根據P個點在第j個參考點候選確定模式下的屬性重建值,以及P個點的已編碼屬性值,確定第j個參考點候選確定模式的代價。例如,使用SAD、SATD、SSD等代價計算方式,確定出第j個參考點候選確定模式的代價。
根據上述方法,可以確定出N個參考點候選確定模式中每一個模式對應的代價,進而將代價最小的一個參考點候選確定模式,確定為當前點對應的參考點確定模式。
編碼端根據上述方式確定出當前點對應的參考點確定模式後,執行上述S202-B的步驟,根據當前點對應的參考點確定模式,以及分類資訊和距離資訊中的至少一個,從已編碼點中確定所述當前點的K個參考點。
下面對S202-B的具體實現過程進行介紹。
上述S202-B中根據當前點對應的參考點確定模式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若參考點確定模式為第一參考點確定模式,該第一參考點確定模式為將編碼順序中,距離當前點最近的K個已編碼點作為參考點。此時按照編碼順序,將已編碼點中距離當前點最近的K個已編碼點,確定為K個參考點。可選的,該距離可以為曼哈頓距離或歐幾裡得距離等。
情況2,若參考點確定模式為第二參考點確定模式,該第二參考點確定模式為將已編碼點中分類資訊與當前點的分類資訊相同的K個已編碼點確定為參考點。此時按照編碼順序,從已編碼點中選出分類資訊與當前點的分類資訊一致的K個已編碼點,作為K個參考點。例如,對於當前點,按照編碼順序向前查找,如果查找到的候選參考點與當前點屬於同一類別,則保留,否則,繼續查找,直至查找到k個與當前點類別相同的參考點為止。
該情況2的實際效果,等同於將整個點雲先按照分類資訊分割為多個部分,然後對每個部分獨立的按照情況1的方式查找。
情況3,若參考點確定模式為第三參考點確定模式,該第三參考點為基於分類資訊和距離資訊來確定參考點。因此,編碼端根據上述S202-A的步驟,若確定當前點對應的參考點確定模式為第三參考點確定模式時,則編碼端執行如下S202-B1至S202-B3的步驟:
S202-B1、根據分類資訊和距離資訊中的至少一個,確定已編碼點的權重;
S202-B2、根據權重,確定已編碼點的得分;
S202-B3、根據得分,從已編碼點中確定K個參考點。
在該情況3中,若確定的當前點對應的參考點確定模式為第三參考點確定模式時,則根據分類資訊和距離資訊中的至少一個,確定已編碼點的權重,接著根據該權重,確定已編碼點的得分,進而根據得分從已編碼點中確定K個參考點。
其中上述S202-B1根據分類資訊和距離資訊中的至少一個,確定已編碼點的權重的方式包括但不限於如下幾種:
方式1,根據分類資訊,確定已編碼點的權重。在該方式1中,確定已編碼點中每個點的權重過程相同,為了便於描述,在此以已編碼點中的第i個點為例,根據該第i個點的分類資訊,確定該第i個點的權重,i為正整數。
在方式1的一種實現方式中,為不同類別的點配置一不同的權重,例如,若第i個點屬於第一類別,則確定第i個點的權重為W1,若第i個點屬於第二類別,則確定第i個點的權重為W2。其中,W1和W2為預設值或預設值。
在該方式1的另一種實現方式中,根據第i個點的分類資訊和當前點的分類資訊,確定第i個點的權重。
例如,若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重為第一權重;
再例如,若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重為第二權重。
本申請實施例對第一權重和第二權重的具體取值不做限制。
在該方式1中,可以參照確定第i個點的權重的方式,確定出已編碼點中每一個點的權重。
方式2,編碼端還可以根據分類資訊和距離資訊,確定已編碼點的權重。
繼續以已編碼點中的第i個點為例,根據第i個點的分類資訊確定出權重1,根據第i個點與當前點之間的距離確定出權重2,根據權重1和權重2,確定出該第i個點的權重。
在一種示例中,若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重1為第一權重。再例如,若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重1為第二權重。
在一種示例中,將第i個點與當前點之間的距離倒數,確定為第i個點的權重2。
接著,根據權重1和權重2,確定出該第i個點的權重,例如將第i個點的權重1與權重2的和值,確定為第i個點的權重,或者,將第i個點的權重1與權重2的乘積,確定為第i個點的權重。
方式3,編碼端還可以根據距離資訊,確定已編碼點的權重。例如將已編碼點到當前點的距離倒數,確定為已編碼點的權重。
參照上述方法,編碼端根據分類資訊和距離資訊中的至少一個,確定已編碼點中每一個點的權重後,執行上述S202-B2根據權重,確定已編碼點的得分。
本申請實施例對上述S202-B2的具體實現方式不做限制。
在一些實施例中,編碼端將上述確定的已編碼點的權重作為或轉換為該已編碼點的得分。也就是說,已編碼點的權重越大,對應的得分越高。
在一些實施例中,根據第i個點與當前點之間的距離資訊,以及第i個點的權重,確定第i個點的得分。
例如,若採用上述方式1或方式2確定第i個點的權重,即在確定第i個點的權重時,考慮了分類資訊,此時,可以將根據第i個點與當前點之間的距離資訊,以及第i個點的權重,確定第i個點的得分。例如將第i個點與當前點之間的距離資訊、與第i個點的權重的乘積,確定為第i個點的得分。
示例性的,根據上述公式(2)確定第i個點的得分。
可選的,編碼端還可以將第i個點與當前點之間的距離資訊,以及第i個點的權重進行其他運算處理,得到第i個點的得分,本申請實施例對此不做限制。
在一些實施例中,若上述在確定第i個點的權重時,未考慮分類資訊,例如使用上述方式3確定第i個點的權重時,則可以第i個點的分類資訊和第i個點的權重,確定第i個點的得分。示例性的,根據第i個點的分類資訊確定一個權值,將該權值與第i個點的權重的乘積或和值,確定為第i個點的得分。
上述以確定第i個點的得分為例進行說明,已編碼點中的每一個點可以參照第i個點的方法,確定出已編碼點中每一個點的得分,進而根據得分,從已編碼點中確定出K個參數點。
例如,將已編碼點中得分最大的K個已編碼點,確定為當前點的K個參考點。
在一些實施例中,若已編碼點的權重採用上述方式1確定,即若第i個點的分類資訊與當前點的分類資訊一致,則確定第i個點的權重為第一權重;若第i個點的分類資訊與當前點的分類資訊不一致,則確定第i個點的權重為第二權重。若第二權重大於第一權重,則將已編碼點中得分最小的K個點,確定為K個參考點。
在該實施例中,可選的,第一權重為小於1的正數,第二權重為大於1的正數。
本申請實施中,編碼端根據上述方法,確定出當前點的K個參考點,由上述可知,本申請實施例在確定參考點時,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性。
編碼端確定出當前點的K個參考點後,執行如下S203的步驟。
S203、根據K個參考點的屬性資訊,確定當前點的屬性預測值。
在一些實施例中,編碼端直接根據K個參考點的屬性資訊,確定當前點的屬性預測值。例如將K個參考點的屬性資訊的加權平均值,確定為當前點的屬性預測值。
在一些實施例中,上述S203包括如下步驟S203-A和S203-B的步驟。
S203-A、從K個參考點中確定M個預測點,M為小於或等於K的正整數。
在該實施例中,為了提升編碼效率,則從K個參考點中確定出M個預測點,根據這M個預測點的屬性資訊,確定當前點的屬性預測值。
下面對S203-A的具體實現過程進行介紹。
本申請實施例中,存在多種從K個參考點確定M個預測點的方式,基於此,上述S203-A包括如下步驟:
S203-A1、確定當前點對應的預測點確定模式;
S203-A2、根據預測點確定模式,從K個參考點中確定M個預測點。
在該實施例中,編碼端首先從多個從K個參考點確定M個預測點的方式中,確定當前點對應的預測點確定模式,進而根據該預測點確定模式,從K個參考點中確定M個預測點。
在一些實施例中,點雲中所有點的預測點確定模式相同,即編碼端採用一種預測點確定模式,確定點雲中每一個點的預測點。
在一些實施例中,點雲中可以使用多種預測點確定模式,例如點雲中某一些點使用一種預測點確定模式來確定預測點,另一種預測點使用另一種預測點確定模式來確定預測點。
本申請實施例對預測點確定模式不做限制。
在一些實施例中,預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。可選的,第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個中至少一個模式基於分類資訊確定預測點。
下面對上述S203-A中確定當前點對應的預測點確定模式的具體方式進行介紹。
上述S203-A中確定當前點對應的預測點確定模式的方式包括但不限於如下幾種:
方式一,根據當前點的分類資訊,確定當前點對應的預測點確定模式。
在該方式一的一種可能的實現方式中,點雲中不同類別的點對應不同的預測點確定模式。
例如,若當前點的類別為第一類別,則確定預測點確定模式為第一種預測點確定模式。
再例如,若當前點的類別為第二類別,則確定預測點確定模式為第二種預測點確定模式。
上述第二種預測點確定模式與第一種預測點確定模式均為上述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意一個,且第二種預測點確定模式與第一種預測點確定模式不同。
在一種示例中,點雲中點的類別與預測點確定模式的對應關係如表2所示。這樣編碼端可以根據當前點的分類資訊,查詢上述表2,確定出當前點對應的預測點確定模式。
在另一種示例中,上述第一種預測點確定模式和第二種確定模式為預設模式。
在另一種示例中,上述第一種預測點確定模式和第二種確定模式為編碼端隨機選取的,或者根據代價確定的。
在該示例中,編碼端將第一種預測點確定模式和第二種確定模式指示給解碼端。
在一些實施例中,編碼端可以將不同類別對應的預測點確定模式寫入碼流,這樣解碼端可以通過編碼碼流,可以確定出當前點所屬的類別所對應的預測點確定模式。
在該方式一的另一種可能的實現方式中,還可以根據當前點和已編碼點的分類資訊,確定當前點對應的預測點確定模式。
例如,若已編碼點中與當前點的類別相同的已編碼點的個數大於或等於某一預設值,則確定當前點對應的預測點確定模式為一種預測點確定模式。
再例如,若已編碼點中與當前點的類別相同的已編碼點的個數小於某一預設值,則確定當前點對應的預測點確定模式為另一種預測點確定模式。
編碼端除了使用上述方式一確定當前點對應的預測點確定模式外,還可以採用下面的方式二、方式三、方式四或方式五,確定當前點對應的預測點確定模式。
方式二,根據K個參考點的分類資訊,確定預測點確定模式。
在方式二中的一種實現方式中,確定K個參考點中屬於不同類別的點的個數,將個數最多的類別對應的預測點確定模式,確定為當前點對應的預測點確定模式。例如,K個參考點中,屬於第一類別的點的數量最多,如表示2所示,第一類別對應第一種預測點確定模式,進而將第一種預測點確定模式,確定為當前點對應的預測點確定模式。
在方式二的另一種實現方式中,根據K個參考點和當前點的分類資訊,確定當前點對應的預測點確定模式。
例如,若K個參考點中與當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定預測點確定模式為第三種預測點確定模式;
再例如,若K個參考點中與當前點屬於同一類別的參考點的數量小於第一閾值,則確定預測點確定模式為第四種預測點確定模式,第四種預測點確定模式與第三種預測點確定模式均為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且第四種預測點確定模式與第三種預測點確定模式不同。
方式三,當前點對應的預測點確定模式為預設模式。也就是說,編碼端和編碼端均採用預設模式確定當前點的預測點。
可選的,上述預設模式可以為第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意一個。
方式四,編碼端根據代價或隨機選擇一預測點確定模式作為當前點對應的預測點確定模式。
在該方式四中,編碼端在點雲碼流中寫入第二標識,該第二標識用於指示當前點對應的預測點確定模式。
在該方式四中,編碼端將確定出當前點對應的預測點確定模式後,將該預測點確定模式指示給編碼端,具體是,在碼流中寫入第二標識,通過該第二標識指示當前點對應的預測點確定模式。
可選的,該第二標識可以為該預測點確定模式的索引。
在該方式四的一種可能的實現方式中,編碼端可以為點雲中每一個點編碼一個第二標識,用於指示該點對應的預測點確定模式。
在該方式四的一種可能的實現方式中,若點雲中每個點對應的預測點確定模式相同時,則編碼端可以在碼流中寫入一個第二標識,該第二標識用於指示點雲中所有點對應的預測點確定模式。
在該方式四的一種可能的實現方式中,若不同類別的點對應的預測點確定模式不同時,則編碼端可以為不同類別的點編碼不同的第二標識,例如第一類點雲對應的第二標識為B1,第二類點雲對應的第二標識為B2。
方式五,編碼端通過自我調整方法,確定出當前點對應的預測點確定模式。此時,上述S203-A包括如下步驟:
S203-A1、獲取Q個預測點候選確定模式,Q為大於1的正整數;
S203-A2、從Q個預測點候選確定模式中,確定一預測點候選確定模式作為當前點對應的預測點確定模式。
上述Q個預測點候選確定模式為上述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意Q個模式。
在一些實施例中,上述Q個預測點候選確定模式為編編碼預設的。
在一些實施例中,編碼端從第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中確定出Q個預測點候選確定模式。進一步的,編碼端將確定Q個預測點候選確定模式指示給編碼端。
在一些實施例中,編碼端還可以通過其他的方式,獲取Q個預測點候選確定模式,本申請實施例對此不做限制。編碼端獲取Q個預測點候選確定模式後,從這Q個預測點候選確定模式中,確定當前點對應的預測點確定模式。
編碼端從Q個預測點候選確定模式中,確定一預測點候選確定模式作為當前點對應的預測點確定模式的方式包括但不限於如下幾種:
方式1,編碼端根據當前點的分類資訊,從這Q個預測點候選確定模式中,確定出當前點對應的預測點確定模式。
例如,若當前點的類別為第一類別,則將Q個預測點候選確定模式中的預測點候選模式a確定為當前點對應的預測點確定模式。
再例如,若當前點的類別為第二類別,則將Q個預測點候選確定模式中的預測點候選模式b確定為當前點對應的預測點確定模式。
方式2,編碼端確定Q個預測點候選確定模式的代價;根據Q個預測點候選確定模式的代價,確定當前點對應的預測點確定模式。
上述代價可以為差值的平方和(Sum of Squared Difference,SSD)、絕對誤差(Sum of Absolute Difference,SAD)、經hadamard變換後再絕對值求和(Sum of Absolute Transformed Difference,SATD)等代價。
在一些實施例中,還可以將屬性最大差值確定為代價。
本申請實施例對確定Q個預測點候選確定模式的代價的具體方式不做限制。
在一種可能的實現方式中,編碼端按照編碼順序,從已編碼點中選擇距離當前點最近的P個點,P為正整數;針對Q個預測點候選確定模式中的第j個預測點候選確定模式,使用第j個預測點候選確定模式對P個點進行預測,得到P個點在第j個預測點候選確定模式下的屬性預測值,j為正整數;根據P個點在第j個預測點候選確定模式下的屬性預測值,確定第j個預測點候選模式的代價。
也就是說,在該實現方式中,編碼端按照編碼順序,從已編碼點中選擇距離當前點最近的P個點,使用Q個預測點候選確定模式分別對P個點進行預測,得到Q個預測點候選確定模式中每一個預測點候選確定模式對應的P個點的屬性預測值,進而根據P個點的屬性預測值,確定每個預測點候選確定模式的代價。
其中,根據P個點中每一個點在該第j個預測點候選確定模式下的屬性預測值,確定第j個預測點候選確定模式的代價的方式包括但不限於如下幾種示例:
示例1,由於P個點為屬性已編碼點,這P個點在屬性編碼時,已經確定出各自的屬性預測值,為了便於描述,將P個點在屬性編碼過程中確定的屬性預測值記為原始屬性預測值。這樣可以將P個點在該第j個預測點候選確定模式下的屬性預測值與原始屬性預測值進行比較,確定出第j個預測點候選確定模式的代價。例如,將P個點在該第j個預測點候選確定模式下的屬性預測值與這P個點的原始屬性預測值的差值和,確定為第j個預測點候選確定模式的代價。
示例2,根據P個點在第j個預測點候選確定模式下的屬性預測值,確定P個點在第j個預測點候選確定模式下的屬性重建值;根據P個點在第j個預測點候選確定模式下的屬性重建值,以及P個點的已編碼屬性值,確定第j個預測點候選確定模式的代價。
根據上述方法,可以確定出N個預測點候選確定模式中每一個模式對應的代價,進而根據Q個預測點預測點候選確定模式的代價,確定預測點確定模式。
例如,將代價最小的一個預測點候選確定模式,確定為當前點對應的預測點確定模式。
再例如,若代價小於某一預設值,則將第一種預測點確定模式確定為當前點對應的預測點確定模式,否則將第二種預測點確定模式確定為當前點對應的預測點確定模式。
編碼端根據上述方式確定出當前點對應的預測點確定模式後,執行上述S203-B的步驟,根據當前點對應的預測點確定模式,從所述K個參考點中確定M個預測點。
下面對S203-B的具體實現過程進行介紹。
上述S203-B中根據當前點對應的預測點確定模式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若預測點確定模式為第一預測點確定模式,該第一預測點確定模式為將K個參考點確定為預測點。此時將K個參考點,確定為M個預測點,此時M等於K。
情況2,若預測點確定模式為第二預測點確定模式,該第二預測點確定模式為將K個參考點中的一個參考點確定為預測點。此時從K個參考點中選擇一個參考點,確定為預測點,此時M等於1。
其中,從K個參考點中選擇一個參考點,確定為預測點的方式至少包括如下幾種示例:
示例1,將K個參考點中距離當前點最近的一個參考點,確定為預測點。
示例2,將K個參考點中與當前點的屬性資訊最接近的第一參考點,確定為預測點。
在該實例2中,編碼在點雲碼流中寫入第一索引,該第一索引用於指示第一參考點,第一參考點為K個參考點中與當前點的屬性資訊最接近的一個參考點。
在一些實施例中,碼流中可以包括指示資訊,用於指示該預測點是通過示例1的方式確定,還是通過示例2的方式確定。
情況3,若預測點確定模式為第三預測點確定模式,該第三預測點為基於分類資訊和距離資訊來確定預測點。因此,編碼端根據上述S203-A的步驟,若確定當前點對應的預測點確定模式為第三預測點確定模式時,則將K個參考點中與當前點的分類資訊一致,且距離當前點最近的M個參考點,確定為M個預測點。
編碼端根據上述方法,從K個參考點中,確定出M個預測點後,執行如下S203-B的步驟。
S203-B、根據M個預測點的屬性資訊,確定當前點的屬性預測值。
在一些實施例中,若根據上述步驟,確定M=1,即預測點為1個時,則將該預測點的屬性資訊,確定為當前點的屬性預測值。
在一些實施例中,若M大於1,即當前點包括多個預測點時,則上述S203-B包括如下步驟:
S203-B1、根據M個預測點的分類資訊,確定預測值計算方式;
S203-B2、根據預測值計算方式,以及M個預測點的屬性資訊,確定當前點的屬性預測值。
本申請實施例對預測值計算方式的具體方式不做限制。
在一些實施例中,上述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
在該實施例中,若當前點包括多個預測點時,在根據預測點確定當前點的屬性預測值之前,首先確定當前點對應的預測值計算方式。
具體的,根據M個預測點的分類資訊,確定預測值計算方式,也就是說,本申請實施例,針對不同的點雲類別,設置不同的預測值計算方式,進一步提高了屬性預測值的計算準確性。
上述S203-B1的實現方式,至少包括如下幾種:
方式1,若M個預測點中與當前點的類別相同的預測點的個數大於或等於第二閾值,則確定預測值計算方式為第一種預測值計算方式;若M個預測點中與當前點的類別相同的預測點的個數小於第二閾值,則確定預測值計算方式為第二種預測值計算方式,其中,第一種預測值計算方式與第二種預測值計算方式均為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且第一種預測值計算方式與第二種預測值計算方式不同。
方式2,若M個預測點和當前點的類別均為第一類別時,則確定預測值計算方式為第三種預測值計算方式;若M個預測點和當前點的類別均為第二類別時,則確定預測值計算方式為第四種預測值計算方式,其中,第三種預測值計算方式與第四種預測值計算方式均為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且第三種預測值計算方式與第四種預測值計算方式不同。
編碼端根據上述方式1或方式2,確定出當前點對應的預測值計算方式後,執行S203-B2,根據預測值計算方式,以及M個預測點的屬性資訊,確定當前點的屬性預測值。
上述S203-B2中根據當前點對應的預測值計算方式的不同,具有不同的實現過程,示例性的包括但不限於如下幾種情況:
情況1,若預測值計算方式為第一預測值計算方式,該第一預測值計算方式為一種加權方式。此時,編碼端將M個預測點中各預測點與當前點之間距離的倒數,確定為M個預測點中各預測點的第一權重;根據M個預測點中各預測點的第一權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
示例性的,編碼端根據上述公式(3)確定當前點的屬性預測值。
情況2,若預測值計算方式為第二預測值計算方式,該第二預測值計算方式為另一種加權方式。此時,編碼端針對M個預測點中的各預測點,根據預測點和當前點的位置資訊以及預設的坐標軸權重,確定預測點的第二權重;根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
上述第一預測值計算方式,以距離的倒數作為每個預測點的權重。該在歐幾裡得距離時,考慮到點雲在xyz三個軸方向的分佈是不均勻的,一些點雲在xy平面空間分佈跨度大,而在z方向空間分佈跨度小。基於此,對不同的方向軸設置不同的權重。
在一種示例中,根據上述公式(4)確定預測點的第二權重。
根據上述公式(4)確定出M個預測點中每個預測點的第二權重,進而根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到當前點的屬性預測值。
在一種示例中,根據上述公式(5)確定當前點的屬性預測值。
情況3,若預測值計算方式為第三預測值計算方式,該第三預測值計算方式為根據M個預測點,確定M+1個預測值,進而從M+1個預測值中確定當前點的屬性預測值。此時,編碼端首先確定M個預測點的屬性加權平均值,並將屬性加權平均值作為一個預測值;根據M個預測點的屬性資訊,確定M個預測值;根據確定的一個預測值和M個預測值,確定當前點的屬性預測值。
在情況3中,編碼端確定出M+1個屬性預測值,具體是,由M個預測點的屬性加權平均值確定的一個屬性預測值,以及根據M個預測點的屬性資訊,確定的M個屬性預測值,例如將M個預測點的屬性資訊,確定為M個屬性預測值。接著,從這M+1個屬性預測值,確定出當前點的屬性預測值。例如,編碼端編碼點雲碼流,得到第二索引,該第二索引用於指示目標預測值,進而將M+1個預測值中,該第二索引對應的目標預測值,確定為當前點的屬性預測值。
由上述可知,本申請實施例涉及的加權方式至少包括情況1和情況2所示的2種,因此,在該情況3中,確定確定M個預測點的屬性加權平均值之前,首先需要確定目標加權平均方式,進而使用該目標加權平均方式,確定M個預測點的屬性加權平均值。
本申請實施例對目標加權平均方式的具體方式不做限制。
在一些實施例中,目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。可選的,上述第一加權平均方式為上述情況1中的加權方式,第二加權平均方式為上述情況2中的加權方式。
在一些實施例中,上述目標加權平均方式為預設方式。
在一些實施例中,根據M個預測點的分類資訊,確定目標加權平均方式。
例如,若M個預測點中與當前點的類別相同的預測點的個數大於或等於第二閾值,則確定目標加權平均方式為第一種加權平均方式;若M個預測點中與當前點的類別相同的預測點的個數小於第二閾值,則確定目標加權平均方式為第二種加權平均方式,其中,第一種加權平均方式與第二種加權平均方式均為第一加權平均方式和第二加權平均方式中的任意一種,且第一種加權平均方式與第二種加權平均方式不同。
再例如,若M個預測點和當前點的類別均為第一類別時,則確定目標加權平均方式為第三種加權平均方式;若M個預測點和當前點的類別均為第二類別時,則確定目標加權平均方式為第四種加權平均方式,其中第三種加權平均方式與第四種加權平均方式均為第一加權平均方式和第二加權平均方式中的任意一種,且第三種加權平均方式與第四種加權平均方式不同。
在一些實施例中,若目標加權計算方式為第一加權平均方式,則將M個預測點中各預測點與當前點之間距離的倒數,確定為M個預測點中各預測點的第一權重;根據M個預測點中各預測點的第一權重,對M個預測點的屬性資訊進行加權,得到M個預測點的屬性加權平均值。具體的,可以參照上述公式(3)的描述。
在一些實施例中,若目標加權計算方式為第二加權平均方式,則針對M個預測點中的各預測點,根據預測點和當前點的位置資訊以及預設的坐標軸權重,確定預測點的第二權重;根據M個預測點中各預測點的第二權重,對M個預測點的屬性資訊進行加權,得到M個預測點的屬性加權平均值。具體的,可以參照上述公式(4)和公式(5)的描述。
編碼端根據上述S203的描述,確定出當前點的屬性預測值,接著,執行如下S204的步驟。
S204、根據當前點的屬性預測值,確定當前點的屬性殘差值。
示例性的,根據當前點的屬性資訊和屬性預測值,確定當前點的屬性殘差值,例如,將當前點的屬性資訊和屬性預測值的差值,確定當前點的屬性殘差值。
在一些實施例中,對當前點的屬性殘差值進行量化,得到量化係數,對量化係數進行編碼,得到點雲屬性碼流。
本申請實施例提供的點雲編碼方法,通過確定點雲中當前點和已編碼點的分類資訊,和/或已編碼點與當前點之間的距離資訊,分類資訊用於指示點所屬的類別;根據分類資訊和距離資訊中的至少一個,從已編碼點中確定當前點的K個參考點,K為正整數;根據K個參考點的屬性資訊,確定當前點的屬性預測值;根據當前點的屬性預測值,確定當前點的屬性重建值。即本申請實施例,不僅考慮了距離資訊,還考慮了分類資訊,進而提高了參考點的確定準確性,基於該準確確定的參考點進行屬性預測時,可以提高屬性預測的準確性,從而提升屬性編碼效率。
應理解,圖4至圖6僅為本申請的示例,不應理解為對本申請的限制。
以上結合附圖詳細描述了本申請的優選實施方式,但是,本申請並不限於上述實施方式中的具體細節,在本申請的技術構思範圍內,可以對本申請的技術方案進行多種簡單變型,這些簡單變型均屬於本申請的保護範圍。例如,在上述具體實施方式中所描述的各個具體技術特徵,在不矛盾的情況下,可以通過任何合適的方式進行組合,為了避免不必要的重複,本申請對各種可能的組合方式不再另行說明。又例如,本申請的各種不同的實施方式之間也可以進行任意組合,只要其不違背本申請的思想,其同樣應當視為本申請所公開的內容。
還應理解,在本申請的各種方法實施例中,上述各過程的序號的大小並不意味著執行順序的先後,各過程的執行順序應以其功能和內在邏輯確定,而不應對本申請實施例的實施過程構成任何限定。另外,本申請實施例中,術語“和/或”,僅僅是一種描述關聯物件的關聯關係,表示可以存在三種關係。具體地,A和/或B可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中字元“/”,一般表示前後關聯物件是一種“或”的關係。
上文結合圖4至圖6,詳細描述了本申請的方法實施例,下文結合圖7至圖10,詳細描述本申請的裝置實施例。
圖7是本申請實施例提供的點雲解碼裝置的示意性框圖。
如圖7所示,該點雲解碼裝置10可包括:
資訊確定單元11,用於確定點雲中當前點和已解碼點的分類資訊,和/或所述已解碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別;
參考點確定單元12,用於根據所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,所述K為正整數;
預測值確定單元13,用於根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值;
重建單元14,用於根據所述當前點的屬性預測值,確定所述當前點的屬性重建值。
在一些實施例中,參考點確定單元12,具體用於確定所述當前點對應的參考點確定模式;根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點。
在一些實施例中,所述參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
在一些實施例中,參考點確定單元12,具體用於根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式。
在一些實施例中,參考點確定單元12,具體用於若所述當前點的類別為第一類別,則確定所述參考點確定模式為第一種參考點確定模式;若所述當前點的類別為第二類別,則確定所述參考點確定模式為第二種參考點確定模式,所述第二種參考點確定模式與所述第一種參考點確定模式均為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且所述第二種參考點確定模式與所述第一種參考點確定模式不同。
在一些實施例中,參考點確定單元12,具體用於解碼點雲碼流,得到第一標識,所述第一標識用於指示所述當前點對應的參考點確定模式;根據所述第一標識,確定所述參考點確定模式。
在一些實施例中,所述參考點確定模式為預設模式。
在一些實施例中,參考點確定單元12,具體用於獲取N個參考點候選確定模式,所述N個參考點候選確定模式為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式,所述N為大於1的正整數;從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式。
在一些實施例中,參考點確定單元12,具體用於確定所述N個參考點候選確定模式的代價;將所述N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為所述參考點確定模式。
在一些實施例中,參考點確定單元12,具體用於按照解碼順序,從所述已解碼點中選擇距離所述當前點最近的P個點,所述P為正整數;針對所述N個參考點候選確定模式中的第j個參考點候選確定模式,使用所述第j個參考點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個參考點候選確定模式下的屬性預測值,所述j為正整數;根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價。
在一些實施例中,參考點確定單元12,具體用於根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述P個點在所述第j個參考點候選確定模式下的屬性重建值;根據所述P個點在所述第j個參考點候選確定模式下的屬性重建值,以及所述P個點的已解碼屬性值,確定所述第j個參考點候選確定模式的代價。
在一些實施例中,若所述參考點確定模式為所述第一參考點確定模式,則參考點確定單元12,具體用於按照解碼順序,將所述已解碼點中距離所述當前點最近的K個已解碼點,確定為所述K個參考點。
在一些實施例中,若所述參考點確定模式為所述第二參考點確定模式,則參考點確定單元12,具體用於按照解碼順序,從所述已解碼點中選出分類資訊與所述當前點的分類資訊一致的K個已解碼點,作為所述K個參考點。
在一些實施例中,若所述參考點確定模式為所述第三參考點確定模式,則參考點確定單元12,具體用於根據所述分類資訊和距離資訊中的至少一個,確定所述已解碼點的權重;根據所述權重,確定所述已解碼點的得分;根據所述得分,從所述已解碼點中確定所述K個參考點。
在一些實施例中,參考點確定單元12,具體用於針對所述已解碼點中的第i個點,根據所述第i個點的分類資訊,確定所述第i個點的權重,所述i為正整數。
在一些實施例中,參考點確定單元12,具體用於根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重。
在一些實施例中,參考點確定單元12,具體用於若所述第i個點的分類資訊與所述當前點的分類資訊一致,則確定所述第i個點的權重為第一權重;若所述第i個點的分類資訊與所述當前點的分類資訊不一致,則確定所述第i個點的權重為第二權重。
在一些實施例中,參考點確定單元12,具體用於根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分。
在一些實施例中,參考點確定單元12,具體用於將所述第i個點與所述當前點之間的距離資訊、與所述第i個點的權重的乘積,確定為所述第i個點的得分。
在一些實施例中,若所述第二權重大於所述第一權重,則參考點確定單元12,具體用於將所述已解碼點中得分最小的K個點,確定為所述K個參考點。
在一些實施例中,預測值確定單元13,具體用於從所述K個參考點中確定M個預測點,所述M為小於或等於K的正整數;根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
在一些實施例中,預測值確定單元13,具體用於確定所述當前點對應的預測點確定模式;根據所述預測點確定模式,從所述K個參考點中確定M個預測點。
在一些實施例中,所述預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。
在一些實施例中,預測值確定單元13,具體用於根據所述當前點的分類資訊,確定所述預測點確定模式。
在一些實施例中,預測值確定單元13,具體用於若所述當前點的類別為第一類別,則確定所述預測點確定模式為第一種預測點確定模式;若所述當前點的類別為第二類別,則確定所述預測點確定模式為第二種預測點確定模式,所述第二種預測點確定模式與所述第一種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第二種預測點確定模式與所述第一種預測點確定模式不同。
在一些實施例中,預測值確定單元13,具體用於根據所述K個參考點的分類資訊,確定所述預測點確定模式。
在一些實施例中,預測值確定單元13,具體用於若所述K個參考點中與所述當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定所述預測點確定模式為第三種預測點確定模式;若所述K個參考點中與所述當前點屬於同一類別的參考點的數量小於第一閾值,則確定所述預測點確定模式為第四種預測點確定模式,所述第四種預測點確定模式與所述第三種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第四種預測點確定模式與所述第三種預測點確定模式不同。
在一些實施例中,預測值確定單元13,具體用於解碼點雲碼流,得到第二標識,所述第二標識用於指示所述當前點對應的預測點確定模式;根據所述第二標識,確定所述預測點確定模式。
在一些實施例中,所述預測點確定模式為預設模式。
在一些實施例中,預測值確定單元13,具體用於獲取Q個預測點候選確定模式,所述Q個預測點候選確定模式為所述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意Q個模式,所述Q為大於1的正整數;從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式。
在一些實施例中,預測值確定單元13,具體用於確定所述Q個預測點候選確定模式的代價;根據所述Q個預測點預測點候選確定模式的代價,確定所述預測點確定模式。
在一些實施例中,預測值確定單元13,具體用於按照解碼順序,從所述已解碼點中選擇距離所述當前點最近的P個點,所述P為正整數;針對所述Q個預測點候選確定模式中的第j個預測點候選確定模式,使用所述第j個預測點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個預測點候選確定模式下的屬性預測值,所述j為正整數;根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價。
在一些實施例中,預測值確定單元13,具體用於根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述P個點在所述第j個預測點候選確定模式下的屬性重建值;根據所述P個點在所述第j個預測點候選確定模式下的屬性重建值,以及所述P個點的已解碼屬性值,確定所述第j個預測點候選確定模式的代價。
在一些實施例中,若所述預測點確定模式為所述第一預測點確定模式,則預測值確定單元13,具體用於將所述K個參考點,確定為所述M個預測點,其中M等於K。
在一些實施例中,若所述預測點確定模式為所述第二預測點確定模式,則預測值確定單元13,具體用於從所述K個參考點中選擇一個參考點,確定為預測點,其中M等於1。
在一些實施例中,預測值確定單元13,具體用於將所述K個參考點中距離所述當前點最近的一個參考點,確定為所述預測點。
在一些實施例中,預測值確定單元13,具體用於解碼點雲碼流,得到所述當前點對應的第一索引,所述第一索引用於指示第一參考點,所述第一參考點為所述K個參考點中與所述當前點的屬性資訊最接近的一個參考點;將所述K個參考點中所述第一索引對應的第一參考點,確定為所述預測點。
在一些實施例中,若所述預測點確定模式為所述第三預測點確定模式,則預測值確定單元13,具體用於將所述K個參考點中與所述當前點的分類資訊一致,且距離所述當前點最近的M個參考點,確定為所述M個預測點。
在一些實施例中,若所述M大於1時,所述預測值確定單元13,具體用於根據所述M個預測點的分類資訊,確定預測值計算方式;根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
在一些實施例中,所述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
在一些實施例中,預測值確定單元13,具體用於若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述預測值計算方式為第一種預測值計算方式;若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述預測值計算方式為第二種預測值計算方式,所述第一種預測值計算方式與所述第二種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第一種預測值計算方式與所述第二種預測值計算方式不同。
在一些實施例中,預測值確定單元13,具體用於若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述預測值計算方式為第三種預測值計算方式;若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述預測值計算方式為第四種預測值計算方式,所述第三種預測值計算方式與所述第四種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第三種預測值計算方式與所述第四種預測值計算方式不同。
在一些實施例中,若所述預測值計算方式為所述第一預測值計算方式,則預測值確定單元13,具體用於將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重;根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
在一些實施例中,若所述預測值計算方式為所述第二預測值計算方式,則預測值確定單元13,具體用於針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重;根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
在一些實施例中,若所述預測值計算方式為所述第三預測值計算方式,則預測值確定單元13,具體用於確定所述M個預測點的屬性加權平均值,並將所述屬性加權平均值作為一個預測值;根據所述M個預測點的屬性資訊,確定M個預測值;根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值。
在一些實施例中,預測值確定單元13,具體用於根據所述M個預測點的分類資訊,確定目標加權平均方式;使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值。
在一些實施例中,所述目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。
在一些實施例中,預測值確定單元13,具體用於若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述目標加權平均方式為第一種加權平均方式;若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述目標加權平均方式為第二種加權平均方式,所述第一種加權平均方式與所述第二種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第一種加權平均方式與所述第二種加權平均方式不同。
在一些實施例中,預測值確定單元13,具體用於若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述目標加權平均方式為第三種加權平均方式;若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述目標加權平均方式為第四種加權平均方式,所述第三種加權平均方式與所述第四種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第三種加權平均方式與所述第四種加權平均方式不同。
在一些實施例中,若所述目標加權計算方式為所述第一加權平均方式,則預測值確定單元13,具體用於將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重;根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
在一些實施例中,若所述目標加權計算方式為所述第二加權平均方式,則預測值確定單元13,具體用於針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重;根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
在一些實施例中,預測值確定單元13,具體用於解碼點雲碼流,得到第二索引,所述第二索引用於指示目標預測值;將所述一個預測值和所述M個預測值中,所述第二索引對應的目標預測值,確定為所述當前點的屬性預測值。
應理解,裝置實施例與方法實施例可以相互對應,類似的描述可以參照方法實施例。為避免重複,此處不再贅述。具體地,圖7所示的點雲解碼裝置10可以對應於執行本申請實施例的點雲解碼方法中的相應主體,並且點雲解碼裝置10中的各個單元的前述和其它操作和/或功能分別為了實現點雲解碼方法中的相應流程,為了簡潔,在此不再贅述。
圖8是本申請實施例提供的點雲編碼裝置的示意性框圖。
如圖8所示,點雲編碼裝置20包括:
資訊確定單元21,用於確定點雲中當前點和已編碼點的分類資訊,和/或所述已編碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別;
參考點確定單元22,用於根據所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,所述K為正整數;
預測值確定單元23,用於根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值;
編碼單元24,用於根據所述當前點的屬性預測值,確定所述當前點的屬性殘差值。
在一些實施例中,參考點確定單元22,具體用於確定所述當前點對應的參考點確定模式;根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點。
在一些實施例中,所述參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
在一些實施例中,參考點確定單元22,具體用於根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式。
在一些實施例中,參考點確定單元22,具體用於若所述當前點的類別為第一類別,則確定所述參考點確定模式為第一種參考點確定模式;若所述當前點的類別為第二類別,則確定所述參考點確定模式為第二種參考點確定模式,所述第二種參考點確定模式與所述第一種參考點確定模式均為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且所述第二種參考點確定模式與所述第一種參考點確定模式不同。
在一些實施例中,所述參考點確定模式為預設模式。
在一些實施例中,參考點確定單元22,具體用於獲取N個參考點候選確定模式,所述N個參考點候選確定模式為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式,所述N為正整數;從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式。
在一些實施例中,參考點確定單元22,具體用於確定所述N個參考點候選確定模式的代價;將所述N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為所述參考點確定模式。
在一些實施例中,參考點確定單元22,具體用於按照編碼順序,從所述已編碼點中選擇距離所述當前點最近的P個點,所述P為正整數;針對所述N個參考點候選確定模式中的第j個參考點候選確定模式,使用所述第j個參考點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個參考點候選確定模式下的屬性預測值,所述j為正整數;根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價。
在一些實施例中,參考點確定單元22,具體用於根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述P個點在所述第j個參考點候選確定模式下的屬性重建值;根據所述P個點在所述第j個參考點候選確定模式下的屬性重建值,以及所述P個點的已編碼屬性值,確定所述第j個參考點候選確定模式的代價。
在一些實施例中,編碼單元24,還用於在點雲碼流中寫入第一標識,所述第一標識用於指示所述當前點對應的參考點確定模式。
在一些實施例中,若所述參考點確定模式為所述第一參考點確定模式,則參考點確定單元22,具體用於按照編碼順序,在所述已編碼點中選出距離所述當前點最近的K個已編碼點,作為所述K個參考點。
在一些實施例中,若所述參考點確定模式為所述第二參考點確定模式,則參考點確定單元22,具體用於按照編碼順序,從所述已編碼點中選出分類資訊與所述當前點的分類資訊一致的K個已編碼點,作為所述K個參考點。
在一些實施例中,若所述參考點確定模式為所述第三參考點確定模式,則參考點確定單元22,具體用於根據所述分類資訊和距離資訊中的至少一個,確定所述已編碼點的權重;根據所述權重,確定所述已編碼點的得分;根據所述得分,從所述已編碼點中確定所述K個參考點。
在一些實施例中,參考點確定單元22,具體用於針對所述已編碼點中的第i個點,根據所述第i個點的分類資訊,確定所述第i個點的權重,所述i為正整數。
在一些實施例中,參考點確定單元22,具體用於根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重。
在一些實施例中,參考點確定單元22,具體用於若所述第i個點的分類資訊與所述當前點的分類資訊一致,則確定所述第i個點的權重為第一權重;若所述第i個點的分類資訊與所述當前點的分類資訊不一致,則確定所述第i個點的權重為第二權重。
在一些實施例中,參考點確定單元22,具體用於根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分。
在一些實施例中,參考點確定單元22,具體用於將所述第i個點與所述當前點之間的距離資訊、與所述第i個點的權重的乘積,確定為所述第i個點的得分。
在一些實施例中,若所述第二權重大於所述第一權重,則參考點確定單元22,具體用於將所述已編碼點中得分最小的K個點,確定為所述K個參考點。
在一些實施例中,預測值確定單元23,具體用於從所述K個參考點中確定M個預測點,所述M為小於或等於K的正整數;根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
在一些實施例中,預測值確定單元23,具體用於確定所述當前點對應的預測點確定模式;根據所述預測點確定模式,從所述K個參考點中確定M個預測點。
在一些實施例中,所述預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。
在一些實施例中,預測值確定單元23,具體用於根據所述當前點的分類資訊,確定所述預測點確定模式。
在一些實施例中,預測值確定單元23,具體用於若所述當前點的類別為第一類別,則確定所述預測點確定模式為第一種預測點確定模式;若所述當前點的類別為第二類別,則確定所述預測點確定模式為第二種預測點確定模式,所述第二種預測點確定模式與所述第一種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第二種預測點確定模式與所述第一種預測點確定模式不同。
在一些實施例中,預測值確定單元23,具體用於根據所述K個參考點的分類資訊,確定所述預測點確定模式。
在一些實施例中,預測值確定單元23,具體用於若所述K個參考點中與所述當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定所述預測點確定模式為第三種預測點確定模式;若所述K個參考點中與所述當前點屬於同一類別的參考點的數量小於第一閾值,則確定所述預測點確定模式為第四種預測點確定模式,所述第四種預測點確定模式與所述第三種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第四種預測點確定模式與所述第三種預測點確定模式不同。
在一些實施例中,所述預測點確定模式為預設模式。
在一些實施例中,預測值確定單元23,具體用於獲取Q個預測點候選確定模式,所述N為正整數;從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式。
在一些實施例中,預測值確定單元23,具體用於確定所述Q個預測點候選確定模式的代價;將所述Q個預測點預測點候選確定模式中代價最小的預測點預測點候選確定模式,確定為所述預測點確定模式。
在一些實施例中,預測值確定單元23,具體用於按照編碼順序,從所述已編碼點中選擇距離所述當前點最近的P個點,所述P為正整數;針對所述Q個預測點候選確定模式中的第j個預測點候選確定模式,使用所述第j個預測點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個預測點候選確定模式下的屬性預測值,所述j為正整數;根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價。
在一些實施例中,預測值確定單元23,具體用於根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述P個點在所述第j個預測點候選確定模式下的屬性重建值;根據所述P個點在所述第j個預測點候選確定模式下的屬性重建值,以及所述P個點的已編碼屬性值,確定所述第j個預測點候選確定模式的代價。
在一些實施例中,編碼單元24,還用於在點雲碼流中寫入第二標識,所述第二標識用於指示所述當前點對應的預測點確定模式。
在一些實施例中,若所述預測點確定模式為所述第一預測點確定模式,則預測值確定單元23,具體用於將所述K個參考點,確定為所述M個預測點,其中M等於K。
在一些實施例中,若所述預測點確定模式為所述第二預測點確定模式,則預測值確定單元23,具體用於從所述K個參考點中選擇一個參考點,確定為預測點,其中M等於1。
在一些實施例中,預測值確定單元23,具體用於將所述K個參考點中距離所述當前點最近的一個參考點,確定為所述預測點。
在一些實施例中,預測值確定單元23,具體用於將所述K個參考點中與所述當前點的屬性資訊最接近的第一參考點,確定為所述預測點。
在一些實施例中,編碼單元24,還用於在點雲碼流中寫入第一索引,所述第一索引用於指示所述第一參考點。
在一些實施例中,若所述預測點確定模式為所述第三預測點確定模式,則預測值確定單元23,具體用於將所述K個參考點中與所述當前點的分類資訊一致,且距離所述當前點最近的M個參考點,確定為所述M個預測點。
在一些實施例中,若所述M大於1時,預測值確定單元23,具體用於根據所述M個預測點的分類資訊,確定預測值計算方式;根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
在一些實施例中,所述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
在一些實施例中,預測值確定單元23,具體用於若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述預測值計算方式為第一種預測值計算方式;若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述預測值計算方式為第二種預測值計算方式,所述第一種預測值計算方式與所述第二種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第一種預測值計算方式與所述第二種預測值計算方式不同。
在一些實施例,預測值確定單元23,具體用於若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述預測值計算方式為第三種預測值計算方式;若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述預測值計算方式為第四種預測值計算方式,所述第三種預測值計算方式與所述第四種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第三種預測值計算方式與所述第四種預測值計算方式不同。
在一些實施例中,若所述預測值計算方式為所述第一預測值計算方式,則預測值確定單元23,具體用於將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重;根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
在一些實施例中,若所述預測值計算方式為所述第二預測值計算方式,則預測值確定單元23,具體用於針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重;根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
在一些實施例中,若所述預測值計算方式為所述第三預測值計算方式,則預測值確定單元23,具體用於確定所述M個預測點的屬性加權平均值,並將所述屬性加權平均值作為一個預測值;根據所述M個預測點的屬性資訊,確定M個預測值;根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值。
在一些實施例中,預測值確定單元23,具體用於根據所述M個預測點的分類資訊,確定目標加權平均方式;使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值。
在一些實施例中,所述目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。
在一些實施例中,預測值確定單元23,具體用於若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述目標加權平均方式為第一種加權平均方式;若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述目標加權平均方式為第二種加權平均方式,所述第一種加權平均方式與所述第二種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第一種加權平均方式與所述第二種加權平均方式不同。
在一些實施例中,預測值確定單元23,具體用於若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述目標加權平均方式為第三種加權平均方式;若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述目標加權平均方式為第四種加權平均方式,所述第三種加權平均方式與所述第四種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第三種加權平均方式與所述第四種加權平均方式不同。
在一些實施例中, 若所述目標加權計算方式為所述第一加權平均方式,則預測值確定單元23,具體用於將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重;根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
在一些實施例中,若所述目標加權計算方式為所述第二加權平均方式,則預測值確定單元23,具體用於針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重;根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
在一些實施例中,預測值確定單元23,具體用於將所述一個預測值和所述M個預測值中的目標預測值,確定為所述當前點的屬性預測值。
在一些實施例中,編碼確定單元24,還用於在點雲碼流中寫入第二索引,所述第二索引用於指示所述目標預測值。
應理解,裝置實施例與方法實施例可以相互對應,類似的描述可以參照方法實施例。為避免重複,此處不再贅述。具體地,圖8所示的點雲編碼裝置20可以對應於執行本申請實施例的點雲編碼方法中的相應主體,並且點雲編碼裝置20中的各個單元的前述和其它操作和/或功能分別為了實現點雲編碼方法中的相應流程,為了簡潔,在此不再贅述。
上文中結合附圖從功能單元的角度描述了本申請實施例的裝置和系統。應理解,該功能單元可以通過硬體形式實現,也可以通過軟體形式的指令實現,還可以通過硬體和軟體單元組合實現。具體地,本申請實施例中的方法實施例的各步驟可以通過處理器中的硬體的集成邏輯電路和/或軟體形式的指令完成,結合本申請實施例公開的方法的步驟可以直接體現為硬體解碼處理器執行完成,或者用解碼處理器中的硬體及軟體單元組合執行完成。可選地,軟體單元可以位於隨機記憶體,快閃記憶體、唯讀記憶體、可程式設計唯讀記憶體、電可讀寫可程式設計記憶體、寄存器等本領域的成熟的儲存媒介中。該儲存媒介位於記憶體,處理器讀取記憶體中的資訊,結合其硬體完成上述方法實施例中的步驟。
圖9是本申請實施例提供的電子設備的示意性框圖。
如圖9所示,該電子設備30可以為本申請實施例所述的點雲解碼設備,或者點雲編碼設備,該電子設備30可包括:
記憶體31和處理器32,該記憶體31用於儲存電腦程式34,並將該程式碼34傳輸給該處理器32。換言之,該處理器32可以從記憶體31中調用並運行電腦程式34,以實現本申請實施例中的方法。
例如,該處理器32可用於根據該電腦程式34中的指令執行上述方法200中的步驟。
在本申請的一些實施例中,該處理器32可以包括但不限於:
通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等等。
在本申請的一些實施例中,該記憶體31包括但不限於:
易失性記憶體和/或非易失性記憶體。其中,非易失性記憶體可以是唯讀記憶體(Read-Only Memory,ROM)、可程式設計唯讀記憶體(Programmable ROM,PROM)、可擦除可程式設計唯讀記憶體(Erasable PROM,EPROM)、電可擦除可程式設計唯讀記憶體(Electrically EPROM,EEPROM)或快閃記憶體。易失性記憶體可以是隨機存取記憶體(Random Access Memory,RAM),其用作外部快取記憶體。通過示例性但不是限制性說明,許多形式的RAM可用,例如靜態隨機存取記憶體(Static RAM,SRAM)、動態隨機存取記憶體(Dynamic RAM,DRAM)、同步動態隨機存取記憶體(Synchronous DRAM,SDRAM)、雙倍數據速率同步動態隨機存取記憶體(Double Data Rate SDRAM,DDR SDRAM)、增強型同步動態隨機存取記憶體(Enhanced SDRAM,ESDRAM)、同步連接動態隨機存取記憶體(synch link DRAM,SLDRAM)和直接記憶體匯流排隨機存取記憶體(Direct Rambus RAM,DR RAM)。
在本申請的一些實施例中,該電腦程式34可以被分割成一個或多個單元,該一個或者多個單元被儲存在該記憶體31中,並由該處理器32執行,以完成本申請提供的方法。該一個或多個單元可以是能夠完成特定功能的一系列電腦程式指令段,該指令段用於描述該電腦程式34在該電子設備30中的執行過程。
如圖9所示,該電子設備30還可包括:
收發器33,該收發器33可連接至該處理器32或記憶體31。
其中,處理器32可以控制該收發器33與其他設備進行通訊,具體地,可以向其他設備發送資訊或資料,或接收其他設備發送的資訊或資料。收發器33可以包括發射機和接收機。收發器33還可以進一步包括天線,天線的數量可以為一個或多個。
應當理解,該電子設備30中的各個元件通過匯流排系統相連,其中,匯流排系統除包括資料匯流排之外,還包括電源匯流排、控制匯流排和狀態訊號匯流排。
圖10是本申請實施例提供的點雲編解碼系統的示意性框圖。
如圖10所示,該點雲編解碼系統40可包括:點雲編碼器41和點雲解碼器42,其中點雲編碼器41用於執行本申請實施例涉及的點雲編碼方法,點雲解碼器42用於執行本申請實施例涉及的點雲解碼方法。
本申請還提供了一種碼流,該碼流是根據上述編碼方法生成的。
本申請還提供了一種電腦儲存媒介,其上儲存有電腦程式,該電腦程式被電腦執行時使得該電腦能夠執行上述方法實施例的方法。或者說,本申請實施例還提供一種包含指令的電腦程式產品,該指令被電腦執行時使得電腦執行上述方法實施例的方法。
當使用軟體實現時,可以全部或部分地以電腦程式產品的形式實現。該電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行該電腦程式指令時,全部或部分地產生按照本申請實施例該的流程或功能。該電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。該電腦指令可以儲存在電腦可讀儲存媒介中,或者從一個電腦可讀儲存媒介向另一個電腦可讀儲存媒介傳輸,例如,該電腦指令可以從一個網站、電腦、伺服器或資料中心通過有線(例如同軸電纜、光纖、數位用戶線路(digital subscriber line,DSL))或無線(例如紅外、無線、微波等)方式向另一個網站、電腦、伺服器或資料中心進行傳輸。該電腦可讀儲存媒介可以是電腦能夠存取的任何可用媒介或者是包含一個或多個可用媒介集成的伺服器、資料中心等資料存放裝置。該可用媒介可以是磁性媒介(例如,軟碟、硬碟、磁帶)、光媒介(例如數位點雲光碟(digital video disc,DVD))、或者半導體媒介(例如固態硬碟(solid state disk,SSD))等。
本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及演算法步驟,能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行,取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本申請的範圍。
在本申請所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,該單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面,裝置或單元的間接耦合或通訊連接,可以是電性,機械或其它的形式。
作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。例如,在本申請各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
以上內容,僅為本申請的具體實施方式,但本申請的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內,可輕易想到變化或替換,都應涵蓋在本申請的保護範圍之內。因此,本申請的保護範圍應以申請專利範圍的保護範圍為准。
10:點雲解碼裝置
11:資訊確定單元
12:參考點確定單元
13:預測值確定單元
14:重建單元
20:點雲編碼裝置
21:資訊確定單元
22:參考點確定單元
23:預測值確定單元
24:編碼單元
30:電子設備
31:記憶體
32:處理器
33:收發器
34:電腦程式
40:點雲編解碼系統
41:點雲編碼器
42:點雲解碼器
100:點雲編解碼系統
110:編碼設備
111:點雲源
112:點雲編碼器
113:輸出介面
120:解碼設備
121:輸入介面
122:點雲解碼器
123:顯示裝置
130:通道
200:點雲編碼器
201:座標轉換單元
202:體素單元
203:八叉樹劃分單元
204:幾何重建單元
205:第一算術編碼單元
206:表面擬合單元
210:顏色轉換單元
211:重著色單元
212:區域自我調整分層變換單元
213:生成LOD單元
214:提升單元
215:量化係數單元
216:算術編碼單元
300:解碼器
301:算數解碼單元
302:八叉樹合成單元
303:表面擬合單元
304:幾何重建單元
305:逆座標變換單元
310:算數解碼單元
311:反量化單元
312:RAHT逆變換單元
313:生成LOD單元
314:提升逆變換單元
315:逆顏色轉換單元
S101~S104:步驟
S201~S204:步驟
圖1為本申請實施例涉及的一種點雲編解碼系統的示意性框圖;
圖2是本申請實施例提供的點雲編碼器的示意性框圖;
圖3是本申請實施例提供的點雲解碼器的示意性框圖;
圖4為本申請一實施例提供的點雲解碼方法流程示意圖;
圖5為本申請實施例涉及的點雲長條圖;
圖6為本申請一實施例提供的點雲編碼方法流程示意圖;
圖7是本申請實施例提供的點雲解碼裝置的示意性框圖;
圖8是本申請實施例提供的點雲編碼裝置的示意性框圖;
圖9是本申請實施例提供的電子設備的示意性框圖;
圖10是本申請實施例提供的點雲編解碼系統的示意性框圖。
S101~S104:步驟
Claims (110)
- 一種點雲解碼方法,其中,包括: 確定點雲中當前點和已解碼點的分類資訊,和/或所述已解碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別; 根據所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,所述K為正整數; 根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值; 根據所述當前點的屬性預測值,確定所述當前點的屬性重建值。
- 根據請求項1所述的方法,其中,所述根據所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,包括: 確定所述當前點對應的參考點確定模式; 根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點。
- 根據請求項2所述的方法,其中,所述參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
- 根據請求項3所述的方法,其中,所述確定所述當前點對應的參考點確定模式,包括: 根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式。
- 根據請求項4所述的方法,其中,所述根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式,包括: 若所述當前點的類別為第一類別,則確定所述參考點確定模式為第一種參考點確定模式; 若所述當前點的類別為第二類別,則確定所述參考點確定模式為第二種參考點確定模式,所述第二種參考點確定模式與所述第一種參考點確定模式均為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且所述第二種參考點確定模式與所述第一種參考點確定模式不同。
- 根據請求項3所述的方法,其中,所述確定所述當前點對應的參考點確定模式,包括: 解碼點雲碼流,得到第一標識,所述第一標識用於指示所述當前點對應的參考點確定模式; 根據所述第一標識,確定所述參考點確定模式。
- 根據請求項3所述的方法,其中,所述參考點確定模式為預設模式。
- 根據請求項3所述的方法,其中,所述確定所述當前點對應的參考點確定模式,包括: 獲取N個參考點候選確定模式,所述N個參考點候選確定模式為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式,所述N為大於1的正整數; 從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式。
- 根據請求項8所述的方法,其中,所述從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式,包括: 確定所述N個參考點候選確定模式的代價; 將所述N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為所述參考點確定模式。
- 根據請求項9所述的方法,其中,所述確定所述N個參考點候選模式的代價,包括: 按照解碼順序,從所述已解碼點中選擇距離所述當前點最近的P個點,所述P為正整數; 針對所述N個參考點候選確定模式中的第j個參考點候選確定模式,使用所述第j個參考點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個參考點候選確定模式下的屬性預測值,所述j為正整數; 根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價。
- 根據請求項10所述的方法,其中,所述根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價,包括: 根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述P個點在所述第j個參考點候選確定模式下的屬性重建值; 根據所述P個點在所述第j個參考點候選確定模式下的屬性重建值,以及所述P個點的已解碼屬性值,確定所述第j個參考點候選確定模式的代價。
- 根據請求項3至11任一項所述的方法,其中,若所述參考點確定模式為所述第一參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,包括: 按照解碼順序,將所述已解碼點中距離所述當前點最近的K個已解碼點,確定為所述K個參考點。
- 根據請求項11所述的方法,其中,若所述參考點確定模式為所述第二參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,包括: 按照解碼順序,從所述已解碼點中選出分類資訊與所述當前點的分類資訊一致的K個已解碼點,作為所述K個參考點。
- 根據請求項11所述的方法,其中,若所述參考點確定模式為所述第三參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,包括: 根據所述分類資訊和距離資訊中的至少一個,確定所述已解碼點的權重; 根據所述權重,確定所述已解碼點的得分; 根據所述得分,從所述已解碼點中確定所述K個參考點。
- 根據請求項14所述的方法,其中,所述根據所述分類資訊和距離資訊中的至少一個,確定所述已解碼點的權重,包括: 針對所述已解碼點中的第i個點,根據所述第i個點的分類資訊,確定所述第i個點的權重,所述i為正整數。
- 根據請求項15所述的方法,其中,所述根據所述第i個點的分類資訊,確定所述第i個點的權重,包括: 根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重。
- 根據請求項16所述的方法,其中,所述根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重,包括: 若所述第i個點的分類資訊與所述當前點的分類資訊一致,則確定所述第i個點的權重為第一權重; 若所述第i個點的分類資訊與所述當前點的分類資訊不一致,則確定所述第i個點的權重為第二權重。
- 根據請求項17所述的方法,其中,所述根據所述權重,確定所述已解碼點的得分,包括: 根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分。
- 根據請求項18所述的方法,其中,所述根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分,包括: 將所述第i個點與所述當前點之間的距離資訊、與所述第i個點的權重的乘積,確定為所述第i個點的得分。
- 根據請求項19所述的方法,其中,若所述第二權重大於所述第一權重,則所述根據所述得分,從所述已解碼點中確定所述K個參考點,包括: 將所述已解碼點中得分最小的K個點,確定為所述K個參考點。
- 根據請求項1至11任一項所述的方法,其中,所述根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值,包括: 從所述K個參考點中確定M個預測點,所述M為小於或等於K的正整數; 根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
- 根據請求項21所述的方法,其中,所述從所述K個參考點中確定M個預測點,包括: 確定所述當前點對應的預測點確定模式; 根據所述預測點確定模式,從所述K個參考點中確定M個預測點。
- 根據請求項22所述的方法,其中,所述預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。
- 根據請求項23所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 根據所述當前點的分類資訊,確定所述預測點確定模式。
- 根據請求項24所述的方法,其中,所述根據所述當前點的分類資訊,確定所述預測點確定模式,包括: 若所述當前點的類別為第一類別,則確定所述預測點確定模式為第一種預測點確定模式; 若所述當前點的類別為第二類別,則確定所述預測點確定模式為第二種預測點確定模式,所述第二種預測點確定模式與所述第一種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第二種預測點確定模式與所述第一種預測點確定模式不同。
- 根據請求項23所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 根據所述K個參考點的分類資訊,確定所述預測點確定模式。
- 根據請求項26所述的方法,其中,所述根據所述K個參考點的分類資訊,確定所述預測點確定模式,包括: 若所述K個參考點中與所述當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定所述預測點確定模式為第三種預測點確定模式; 若所述K個參考點中與所述當前點屬於同一類別的參考點的數量小於第一閾值,則確定所述預測點確定模式為第四種預測點確定模式,所述第四種預測點確定模式與所述第三種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第四種預測點確定模式與所述第三種預測點確定模式不同。
- 根據請求項23所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 解碼點雲碼流,得到第二標識,所述第二標識用於指示所述當前點對應的預測點確定模式; 根據所述第二標識,確定所述預測點確定模式。
- 根據請求項23所述的方法,其中,所述預測點確定模式為預設模式。
- 根據請求項23所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 獲取Q個預測點候選確定模式,所述Q個預測點候選確定模式為所述第一預測點確定模式、第二預測點確定模式和第三預測點確定模式中的任意Q個模式,所述Q為大於1的正整數; 從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式。
- 根據請求項30所述的方法,其中,所述從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式,包括: 確定所述Q個預測點候選確定模式的代價; 根據所述Q個預測點預測點候選確定模式的代價,確定所述預測點確定模式。
- 根據請求項31所述的方法,其中,所述確定所述Q個預測點候選確定模式的代價,包括: 按照解碼順序,從所述已解碼點中選擇距離所述當前點最近的P個點,所述P為正整數; 針對所述Q個預測點候選確定模式中的第j個預測點候選確定模式,使用所述第j個預測點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個預測點候選確定模式下的屬性預測值,所述j為正整數; 根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價。
- 根據請求項32所述的方法,其中,所述根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價,包括: 根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述P個點在所述第j個預測點候選確定模式下的屬性重建值; 根據所述P個點在所述第j個預測點候選確定模式下的屬性重建值,以及所述P個點的已解碼屬性值,確定所述第j個預測點候選確定模式的代價。
- 根據請求項23至33任一項所述的方法,其中,若所述預測點確定模式為所述第一預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 將所述K個參考點,確定為所述M個預測點,其中M等於K。
- 根據請求項33所述的方法,其中,若所述預測點確定模式為所述第二預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 從所述K個參考點中選擇一個參考點,確定為預測點,其中M等於1。
- 根據請求項35所述的方法,其中,所述從所述K個參考點中選擇一個參考點,確定為預測點,包括: 將所述K個參考點中距離所述當前點最近的一個參考點,確定為所述預測點。
- 根據請求項35所述的方法,其中,所述從所述K個參考點中選擇一個參考點,確定為預測點,包括: 解碼點雲碼流,得到所述當前點對應的第一索引,所述第一索引用於指示第一參考點,所述第一參考點為所述K個參考點中與所述當前點的屬性資訊最接近的一個參考點; 將所述K個參考點中所述第一索引對應的第一參考點,確定為所述預測點。
- 根據請求項33所述的方法,其中,若所述預測點確定模式為所述第三預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 將所述K個參考點中與所述當前點的分類資訊一致,且距離所述當前點最近的M個參考點,確定為所述M個預測點。
- 根據請求項21所述的方法,其中,若所述M大於1時,所述根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 根據所述M個預測點的分類資訊,確定預測值計算方式; 根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
- 根據請求項39所述的方法,其中,所述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
- 根據請求項40所述的方法,其中,所述根據所述M個預測點的分類資訊,確定預測值計算方式,包括: 若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述預測值計算方式為第一種預測值計算方式; 若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述預測值計算方式為第二種預測值計算方式,所述第一種預測值計算方式與所述第二種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第一種預測值計算方式與所述第二種預測值計算方式不同。
- 根據請求項40所述的方法,其中,所述根據所述M個預測點的分類資訊,確定預測值計算方式,包括: 若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述預測值計算方式為第三種預測值計算方式; 若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述預測值計算方式為第四種預測值計算方式,所述第三種預測值計算方式與所述第四種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第三種預測值計算方式與所述第四種預測值計算方式不同。
- 根據請求項40所述的方法,其中,若所述預測值計算方式為所述第一預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重; 根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
- 根據請求項40所述的方法,其中,若所述預測值計算方式為所述第二預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重; 根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
- 根據請求項40所述的方法,其中,若所述預測值計算方式為所述第三預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 確定所述M個預測點的屬性加權平均值,並將所述屬性加權平均值作為一個預測值; 根據所述M個預測點的屬性資訊,確定M個預測值; 根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值。
- 根據請求項45所述的方法,其中,所述確定所述M個預測點的屬性加權平均值,包括: 根據所述M個預測點的分類資訊,確定目標加權平均方式; 使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值。
- 根據請求項46所述的方法,其中,所述目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。
- 根據請求項47所述的方法,其中,所述根據所述M個預測點的分類資訊,確定目標加權平均方式,包括: 若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述目標加權平均方式為第一種加權平均方式; 若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述目標加權平均方式為第二種加權平均方式,所述第一種加權平均方式與所述第二種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第一種加權平均方式與所述第二種加權平均方式不同。
- 根據請求項47所述的方法,其中,所述根據所述M個預測點的分類資訊,確定目標加權平均方式,包括: 若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述目標加權平均方式為第三種加權平均方式; 若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述目標加權平均方式為第四種加權平均方式,所述第三種加權平均方式與所述第四種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第三種加權平均方式與所述第四種加權平均方式不同。
- 根據請求項47所述的方法,其中,若所述目標加權計算方式為所述第一加權平均方式,則所述使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值,包括: 將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重; 根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
- 根據請求項47所述的方法,其中,若所述目標加權計算方式為所述第二加權平均方式,則所述根據所述預測值計算方式,以及所述使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值,包括: 針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重; 根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
- 根據請求項45所述的方法,其中,所述根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值,包括: 解碼點雲碼流,得到第二索引,所述第二索引用於指示目標預測值; 將所述一個預測值和所述M個預測值中,所述第二索引對應的目標預測值,確定為所述當前點的屬性預測值。
- 一種點雲編碼方法,其中,包括: 確定點雲中當前點和已編碼點的分類資訊,和/或所述已編碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別; 根據所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,所述K為正整數; 根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值; 根據所述當前點的屬性預測值,確定所述當前點的屬性殘差值。
- 根據請求項53所述的方法,其中,所述根據所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,包括: 確定所述當前點對應的參考點確定模式; 根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點。
- 根據請求項54所述的方法,其中,所述參考點確定模式為第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個。
- 根據請求項55所述的方法,其中,所述確定所述當前點對應的參考點確定模式,包括: 根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式。
- 根據請求項56所述的方法,其中,所述根據所述當前點的分類資訊,確定所述當前點對應的參考點確定模式,包括: 若所述當前點的類別為第一類別,則確定所述參考點確定模式為第一種參考點確定模式; 若所述當前點的類別為第二類別,則確定所述參考點確定模式為第二種參考點確定模式,所述第二種參考點確定模式與所述第一種參考點確定模式均為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意一個,且所述第二種參考點確定模式與所述第一種參考點確定模式不同。
- 根據請求項55所述的方法,其中,所述參考點確定模式為預設模式。
- 根據請求項55所述的方法,其中,所述確定所述當前點對應的參考點確定模式,包括: 獲取N個參考點候選確定模式,所述N個參考點候選確定模式為所述第一參考點確定模式、第二參考點確定模式和第三參考點確定模式中的任意N個模式,所述N為正整數; 從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式。
- 根據請求項59所述的方法,其中,所述從所述N個參考點候選確定模式中,確定一參考點候選確定模式作為所述參考點確定模式,包括: 確定所述N個參考點候選確定模式的代價; 將所述N個參考點候選確定模式中代價最小的參考點候選確定模式,確定為所述參考點確定模式。
- 根據請求項60所述的方法,其中,所述確定所述N個參考點候選模式的代價,包括: 按照編碼順序,從所述已編碼點中選擇距離所述當前點最近的P個點,所述P為正整數; 針對所述N個參考點候選確定模式中的第j個參考點候選確定模式,使用所述第j個參考點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個參考點候選確定模式下的屬性預測值,所述j為正整數; 根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價。
- 根據請求項61所述的方法,其中,所述根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述第j個參考點候選模式的代價,包括: 根據所述P個點在所述第j個參考點候選確定模式下的屬性預測值,確定所述P個點在所述第j個參考點候選確定模式下的屬性重建值; 根據所述P個點在所述第j個參考點候選確定模式下的屬性重建值,以及所述P個點的已編碼屬性值,確定所述第j個參考點候選確定模式的代價。
- 根據請求項55所述的方法,其中,所述方法還包括: 在點雲碼流中寫入第一標識,所述第一標識用於指示所述當前點對應的參考點確定模式。
- 根據請求項55至63任一項所述的方法,其中,若所述參考點確定模式為所述第一參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,包括: 按照編碼順序,在所述已編碼點中選出距離所述當前點最近的K個已編碼點,作為所述K個參考點。
- 根據請求項64所述的方法,其中,若所述參考點確定模式為所述第二參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,包括: 按照編碼順序,從所述已編碼點中選出分類資訊與所述當前點的分類資訊一致的K個已編碼點,作為所述K個參考點。
- 根據請求項55所述的方法,其中,若所述參考點確定模式為所述第三參考點確定模式,則所述根據所述參考點確定模式,以及所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,包括: 根據所述分類資訊和距離資訊中的至少一個,確定所述已編碼點的權重; 根據所述權重,確定所述已編碼點的得分; 根據所述得分,從所述已編碼點中確定所述K個參考點。
- 根據請求項66所述的方法,其中,所述根據所述分類資訊和距離資訊中的至少一個,確定所述已編碼點的權重,包括: 針對所述已編碼點中的第i個點,根據所述第i個點的分類資訊,確定所述第i個點的權重,所述i為正整數。
- 根據請求項67所述的方法,其中,所述根據所述第i個點的分類資訊,確定所述第i個點的權重,包括: 根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重。
- 根據請求項68所述的方法,其中,所述根據所述第i個點的分類資訊和所述當前點的分類資訊,確定所述第i個點的權重,包括: 若所述第i個點的分類資訊與所述當前點的分類資訊一致,則確定所述第i個點的權重為第一權重; 若所述第i個點的分類資訊與所述當前點的分類資訊不一致,則確定所述第i個點的權重為第二權重。
- 根據請求項69所述的方法,其中,所述根據所述權重,確定所述已編碼點的得分,包括: 根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分。
- 根據請求項70所述的方法,其中,所述根據所述第i個點與所述當前點之間的距離資訊,以及所述第i個點的權重,確定所述第i個點的得分,包括: 將所述第i個點與所述當前點之間的距離資訊、與所述第i個點的權重的乘積,確定為所述第i個點的得分。
- 根據請求項71所述的方法,其中,若所述第二權重大於所述第一權重,則所述根據所述得分,從所述已編碼點中確定所述K個參考點,包括: 將所述已編碼點中得分最小的K個點,確定為所述K個參考點。
- 根據請求項53至55任一項所述的方法,其中,所述根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值,包括: 從所述K個參考點中確定M個預測點,所述M為小於或等於K的正整數; 根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
- 根據請求項73所述的方法,其中,所述從所述K個參考點中確定M個預測點,包括: 確定所述當前點對應的預測點確定模式; 根據所述預測點確定模式,從所述K個參考點中確定M個預測點。
- 根據請求項74所述的方法,其中,所述預測點確定模式為第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個。
- 根據請求項75所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 根據所述當前點的分類資訊,確定所述預測點確定模式。
- 根據請求項76所述的方法,其中,所述根據所述當前點的分類資訊,確定所述預測點確定模式,包括: 若所述當前點的類別為第一類別,則確定所述預測點確定模式為第一種預測點確定模式; 若所述當前點的類別為第二類別,則確定所述預測點確定模式為第二種預測點確定模式,所述第二種預測點確定模式與所述第一種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第二種預測點確定模式與所述第一種預測點確定模式不同。
- 根據請求項75所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 根據所述K個參考點的分類資訊,確定所述預測點確定模式。
- 根據請求項78所述的方法,其中,所述根據所述K個參考點的分類資訊,確定所述預測點確定模式,包括: 若所述K個參考點中與所述當前點屬於同一類別的參考點的數量大於或等於第一閾值,則確定所述預測點確定模式為第三種預測點確定模式; 若所述K個參考點中與所述當前點屬於同一類別的參考點的數量小於第一閾值,則確定所述預測點確定模式為第四種預測點確定模式,所述第四種預測點確定模式與所述第三種預測點確定模式均為所述第一預測點確定模式、第二預測點確定模式、第三預測點確定模式中的任意一個,且所述第四種預測點確定模式與所述第三種預測點確定模式不同。
- 根據請求項75所述的方法,其中,所述預測點確定模式為預設模式。
- 根據請求項75所述的方法,其中,所述確定所述當前點對應的預測點確定模式,包括: 獲取Q個預測點候選確定模式,所述N為正整數; 從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式。
- 根據請求項81所述的方法,其中,所述從所述Q個預測點候選確定模式中,確定一預測點候選確定模式作為所述預測點確定模式,包括: 確定所述Q個預測點候選確定模式的代價; 將所述Q個預測點預測點候選確定模式中代價最小的預測點預測點候選確定模式,確定為所述預測點確定模式。
- 根據請求項82所述的方法,其中,所述確定所述Q個預測點候選確定模式的代價,包括: 按照編碼順序,從所述已編碼點中選擇距離所述當前點最近的P個點,所述P為正整數; 針對所述Q個預測點候選確定模式中的第j個預測點候選確定模式,使用所述第j個預測點候選確定模式對所述P個點進行預測,得到所述P個點在所述第j個預測點候選確定模式下的屬性預測值,所述j為正整數; 根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價。
- 根據請求項83所述的方法,其中,所述根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述第j個預測點候選模式的代價,包括: 根據所述P個點在所述第j個預測點候選確定模式下的屬性預測值,確定所述P個點在所述第j個預測點候選確定模式下的屬性重建值; 根據所述P個點在所述第j個預測點候選確定模式下的屬性重建值,以及所述P個點的已編碼屬性值,確定所述第j個預測點候選確定模式的代價。
- 根據請求項75所述的方法,其中,所述方法包括: 在點雲碼流中寫入第二標識,所述第二標識用於指示所述當前點對應的預測點確定模式。
- 根據請求項75至85任一項所述的方法,其中,若所述預測點確定模式為所述第一預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 將所述K個參考點,確定為所述M個預測點,其中M等於K。
- 根據請求項86所述的方法,其中,若所述預測點確定模式為所述第二預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 從所述K個參考點中選擇一個參考點,確定為預測點,其中M等於1。
- 根據請求項87所述的方法,其中,所述從所述K個參考點中選擇一個參考點,確定為預測點,包括: 將所述K個參考點中距離所述當前點最近的一個參考點,確定為所述預測點。
- 根據請求項87所述的方法,其中,所述從所述K個參考點中選擇一個參考點,確定為預測點,包括: 將所述K個參考點中與所述當前點的屬性資訊最接近的第一參考點,確定為所述預測點。
- 根據請求項89所述的方法,其中,所述方法還包括: 在點雲碼流中寫入第一索引,所述第一索引用於指示所述第一參考點。
- 根據請求項86所述的方法,其中,若所述預測點確定模式為所述第三預測點確定模式,則所述根據所述預測點確定模式,從所述K個參考點中確定M個預測點,包括: 將所述K個參考點中與所述當前點的分類資訊一致,且距離所述當前點最近的M個參考點,確定為所述M個預測點。
- 根據請求項73所述的方法,其中,若所述M大於1時,所述根據所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 根據所述M個預測點的分類資訊,確定預測值計算方式; 根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值。
- 根據請求項92所述的方法,其中,所述預測值計算方式為第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種。
- 根據請求項93所述的方法,其中,所述根據所述M個預測點的分類資訊,確定預測值計算方式,包括: 若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述預測值計算方式為第一種預測值計算方式; 若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述預測值計算方式為第二種預測值計算方式,所述第一種預測值計算方式與所述第二種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第一種預測值計算方式與所述第二種預測值計算方式不同。
- 根據請求項93所述的方法,其中,所述根據所述M個預測點的分類資訊,確定預測值計算方式,包括: 若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述預測值計算方式為第三種預測值計算方式; 若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述預測值計算方式為第四種預測值計算方式,所述第三種預測值計算方式與所述第四種預測值計算方式均為所述第一預測值計算方式和第二預測值計算方式和第三預測值計算方式中的任意一種,且所述第三種預測值計算方式與所述第四種預測值計算方式不同。
- 根據請求項93所述的方法,其中,若所述預測值計算方式為所述第一預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重; 根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
- 根據請求項93所述的方法,其中,若所述預測值計算方式為所述第二預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重; 根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述當前點的屬性預測值。
- 根據請求項93所述的方法,其中,若所述預測值計算方式為所述第三預測值計算方式,則所述根據所述預測值計算方式,以及所述M個預測點的屬性資訊,確定所述當前點的屬性預測值,包括: 確定所述M個預測點的屬性加權平均值,並將所述屬性加權平均值作為一個預測值; 根據所述M個預測點的屬性資訊,確定M個預測值; 根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值。
- 根據請求項98所述的方法,其中,所述確定所述M個預測點的屬性加權平均值,包括: 根據所述M個預測點的分類資訊,確定目標加權平均方式; 使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值。
- 根據請求項99所述的方法,其中,所述目標加權平均方式為第一加權平均方式和第二加權平均方式中的任意一種方式。
- 根據請求項100所述的方法,其中,所述根據所述M個預測點的分類資訊,確定目標加權平均方式,包括: 若所述M個預測點中與所述當前點的類別相同的預測點的個數大於或等於第二閾值,則確定所述目標加權平均方式為第一種加權平均方式; 若所述M個預測點中與所述當前點的類別相同的預測點的個數小於所述第二閾值,則確定所述目標加權平均方式為第二種加權平均方式,所述第一種加權平均方式與所述第二種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第一種加權平均方式與所述第二種加權平均方式不同。
- 根據請求項100所述的方法,其中,所述根據所述M個預測點的分類資訊,確定目標加權平均方式,包括: 若所述M個預測點和所述當前點的類別均為第一類別時,則確定所述目標加權平均方式為第三種加權平均方式; 若所述M個預測點和所述當前點的類別均為第二類別時,則確定所述目標加權平均方式為第四種加權平均方式,所述第三種加權平均方式與所述第四種加權平均方式均為所述第一加權平均方式和所述第二加權平均方式中的任意一種,且所述第三種加權平均方式與所述第四種加權平均方式不同。
- 根據請求項100所述的方法,其中,若所述目標加權計算方式為所述第一加權平均方式,則所述使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值,包括: 將所述M個預測點中各預測點與所述當前點之間距離的倒數,確定為所述M個預測點中各預測點的第一權重; 根據所述M個預測點中各預測點的第一權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
- 根據請求項100所述的方法,其中,若所述目標加權計算方式為所述第二加權平均方式,則所述根據所述預測值計算方式,以及所述使用所述目標加權平均方式,確定所述M個預測點的屬性加權平均值,包括: 針對所述M個預測點中的各預測點,根據所述預測點和所述當前點的位置資訊以及預設的坐標軸權重,確定所述預測點的第二權重; 根據所述M個預測點中各預測點的第二權重,對所述M個預測點的屬性資訊進行加權,得到所述M個預測點的屬性加權平均值。
- 根據請求項98所述的方法,其中,所述根據所述一個預測值和所述M個預測值,確定所述當前點的屬性預測值,包括: 將所述一個預測值和所述M個預測值中的目標預測值,確定為所述當前點的屬性預測值。
- 根據請求項105所述的方法,其中,所述方法還包括: 在點雲碼流中寫入第二索引,所述第二索引用於指示所述目標預測值。
- 一種點雲解碼裝置,其中,包括: 資訊確定單元,用於確定點雲中當前點和已解碼點的分類資訊,和/或所述已解碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別; 參考點確定單元,用於根據所述分類資訊和距離資訊中的至少一個,從所述已解碼點中確定所述當前點的K個參考點,所述K為正整數; 預測值確定單元,用於根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值; 重建單元,用於根據所述當前點的屬性預測值,確定所述當前點的屬性重建值。
- 一種點雲編碼裝置,其中,包括: 資訊確定單元,用於確定點雲中當前點和已編碼點的分類資訊,和/或所述已編碼點與所述當前點之間的距離資訊,所述分類資訊用於指示點所屬的類別; 參考點確定單元,用於根據所述分類資訊和距離資訊中的至少一個,從所述已編碼點中確定所述當前點的K個參考點,所述K為正整數; 預測值確定單元,用於根據所述K個參考點的屬性資訊,確定所述當前點的屬性預測值; 編碼單元,用於根據所述當前點的屬性預測值,確定所述當前點的屬性殘差值。
- 一種電子設備,其中,包括:處理器和記憶體; 所述記憶體用於儲存電腦程式; 所述處理器用於調用並運行所述記憶體中儲存的電腦程式,以執行如請求項1至52或53至106任一項所述的方法。
- 一種電腦可讀儲存媒介,其中,用於儲存電腦程式,所述電腦程式使得電腦執行如請求項1至52或53至106任一項所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/CN2022/109891 | 2022-08-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202425650A true TW202425650A (zh) | 2024-06-16 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3606067A4 (en) | VIDEO ENCODING METHOD, VIDEO DECODING METHOD, COMPUTER DEVICE AND STORAGE MEDIUM | |
EP3979647A4 (en) | CODING/DECODING METHOD AND DEVICE AND STORAGE MEDIUM | |
EP3438973A4 (en) | METHOD AND APPARATUS FOR BUILDING VOICE DECODING NETWORK AS PART OF DIGITAL VOICE RECOGNITION, AND RECORDING MEDIUM | |
EP3588914A4 (en) | DATA STORAGE METHOD, CODING DEVICE, AND DECODING DEVICE | |
EP4047597A4 (en) | METHOD FOR CONSTRUCTING A DECODING NETWORK, VOICE RECOGNITION METHOD, APPARATUS AND APPARATUS AND STORAGE MEDIUM | |
EP3979638A4 (en) | POINT CLOUD ENCODING AND DECODER METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIA | |
EP3813371A4 (en) | VIDEO CODING / DECODING PROCESS AND APPARATUS, COMPUTER DEVICE, AND INFORMATION MEDIA | |
EP3742727A4 (en) | VIDEO ENCODING METHOD, DEVICE, DEVICE AND STORAGE MEDIUM | |
EP3965325A4 (en) | METHOD, APPARATUS AND DEVICE FOR DATA TRANSMISSION, CODING AND DECODED, AND STORAGE MEDIUM | |
HUE063301T2 (hu) | Képjel dekódolási eljárás, képjel kódolási eljárás és tárolóeszköz | |
CL2018000887A1 (es) | Codificación en capas y estructuras de datos para representaciones comprimidas, ambisónicas de mayor orden de sonido o campo de sonido. | |
EP3806462A4 (en) | PICTURE DECODING AND PICTURE ENCODING METHODS, RELATED DEVICE AND STORAGE MEDIA | |
EP4084338A4 (en) | DECODING METHOD AND APPARATUS, NETWORK DEVICE AND RECORDING MEDIUM | |
EP3975558A4 (en) | VIDEO DECODING METHOD, VIDEO ENCODING METHOD, DEVICE AND FACILITIES, AND STORAGE MEDIA | |
KR102384691B9 (ko) | 디코딩 또는 인코딩을 위한 방법, 장치 및 매체 | |
EP3869805A4 (en) | METHOD AND DEVICE FOR VIDEO ENCODING, METHOD AND DEVICE FOR VIDEO DECODING, COMPUTER DEVICE AND STORAGE MEDIUM | |
ZA202101726B (en) | Decoding prediction method and apparatus, and computer storage medium | |
EP4037321A4 (en) | VIDEO CODING AND DECODING METHOD AND APPARATUS, STORAGE MEDIA AND COMPUTER DEVICE | |
EP3869806A4 (en) | VIDEO ENCODING AND VIDEO DECODING PROCESSES, DEVICE, COMPUTER DEVICE AND INFORMATION MEDIA | |
SG11202110220RA (en) | Point cloud encoding method and apparatus, point cloud decoding method and apparatus, and storage medium | |
SG11202004508PA (en) | Channel state information encoding method and apparatus, storage medium and processor | |
TWI799683B (zh) | 支付方法、裝置、設備、系統及存儲介質 | |
EP3920537A4 (en) | VIDEO DECODING METHOD AND DEVICE, VIDEO ENCODING METHOD AND DEVICE, STORAGE MEDIA AND ELECTRONIC DEVICE | |
TW202425629A (zh) | 點雲編解碼方法、裝置、設備及儲存媒介 | |
TW202425635A (zh) | 點雲編解碼方法、裝置、設備及儲存媒介 |