TW202106024A - 點雲處理 - Google Patents

Abstract

本發明的至少一實施例涉及編碼，傳送信號及解碼3D點雲之方法，其具有與點區域重建資訊及模式有關的不同層，一層與其本身資訊及模式結合，或結合的元資料包括資訊或模式的指數，該資訊或模式以有關於不同層的方式編碼或解碼。

Description

點雲處理

本發明的至少一實施例大致涉及點雲處理。

這節意欲向讀者介紹此技藝的各方面，其涉及至少一實施例的各方面，該實施例如以下所述及/或如申請專利範圍所述，在此的討論相信有助於讀者了解先前技術以更佳了解至少一實施例的各方面。

點雲使用在各種目的如文化傳統/建築物其中將物件如塑像或建築物掃瞄成立體圖(3D)以便在不傳送或探訪它之下只享該物件空間資訊，而且這也是保存物件資訊的方式，例如若物件被摧毀，如廟宇被地震毀壞，這種點雲通常是靜態，彩色及巨大的。

另一使用情況是拓樸及地圖其中使用3D表示以便地圖不受限於平面且包括浮雕，谷歌地圖是3D地的範例但是它使用網而不是點雲，然而點雲是3D地圖適合資料格式而且這種點雲通常是靜態，彩色及巨大的。

汽車工業及自動車也是它的領域其中使用點雲，自動車應該也能探索其環境以便根據鄰居的實際情況作出更好的駕駛，通常感測器如LIDAR(光探測及範圍)產生動態點雲供決策引擎使用，這些點雲不是用來供肉眼看，它通常很小，不一點是彩色，且是具有高頻捕捉的動態，這些點雲具有其它特徵如LIDAR提供的反射，因為該特徵對於感測到物件材料提供良好的資訊，因此有助於作出決定。

虛擬實境及沈浸世界最近成為熱門話題且被許多人視為2D平面視訊的未來替代者，基本觀念是觀看者在圍繞他的環境中，與電視成對比，觀看者只能看到觀看者前方的虛擬世界，依環境中觀看者的自由而定，沈浸中有數個階級變化，點雲良好的格式競選者用以分佈虛擬實境(VR)世界。

在許多應用中重要的是能分布動態點雲至終端用戶(或儲 存在伺服器)，方法是只消耗合理的位元率量(或儲應用的儲存空間)同時維持可接受的(或很好的)經驗品質，這些動態點雲的迅速壓縮是重點以維持許多沈浸世界的分布鏈更實際，因此由以上已發明出至少一實施例。

以下是發明的簡短內容以基本上了解本發明的一些方面，此內容不是本發明的廣泛知識，它不意欲識別本發明特徵或最重要元件，以下的發明內容只是以簡化的方式敍述本發明的一些方面作為以下詳細說明的前言。

根據至少一實施例的一方面，提供一種方法包括解碼一第一層影像及來自資料流的相關第一元資料，元資料包括一第一旗號，其指示待解碼之第一層影像是否根據一點區域重建方法，若致能第一旗號，該方法尚包括擷取第一點區域重建資訊及在該第一元資料之第一點區域重建模式；及應用該第一點區域重建模式在該第一層影像，以根據該第一點區域重建資訊而重建該3D點雲。

根據其它方面，若一指數，其允許從與另一層相關的元資料擷取這些資料，指示在目前層的元資料中，則在元資料中省略該點區域重建資訊及/或模式。

根據另一方面，提供一第二方法，該方法包括編碼一第一層影像及一資料流中相關之第一元資料，元資料包括：一第一旗號，其指示待解碼之第一層影像是否根據一點區域重建方法；及若致能第一旗號，一第一點區域重建資訊及第一點區域重建模式。

根據第二方法的其它方面，若一指數，其允許從與另一層相關的元資料擷取這些資料，指示在目前層的元資料中，則在元資料中省略該點區域重建資訊及/或模式。

根據另一方面，提供一種裝置，該裝置包括一處理器，該處理器能藉由執行上述方法之一而調配成編碼或解碼一3D點雲。

根據至少一實施例的另一方面，提供一種信號，其包括根據上述任一編碼實施例或變體而產生的資料。

根據至少一實施例的另一方面，格式化一位元流以包括根據上述任一編碼實施例或變體而產生的資料內容。

根據至少一實施例的另一方面，提供一電腦程式產品，其包括指令，當電腦執行該程式時，令電腦執行上述任何解碼實施例或變體。

以下將配合附圖及詳細說明，以更佳了解本發明的這些及其他方面。

B1,B2:2D限制盒

C:帆布

P1,P2:貼片

1000,2000:二層式點雲編碼結構

3000:影像式點雲編碼器

3100,3200,3300,3340,3500,3600,3700,3800:步驟

4000:影像式解碼器

4100:DMUX

4200:VDEC

4300:OMDEC

4400:PIDEC

4500:GGM

4600:TGM

5000:位元流

5100:SH

5110,5120,5130:GOFS

5121:HS

5122:OMS

5123:GVS

5124:PIS

5125:TVS

6000:系統

6010:處理器

6020:記憶體

6030:編碼器/解碼器

6040:儲存裝置

6050:通訊介面

6060:通訊頻道

6070:顯示介面

6080:訊訊介面

6090:週邊介面

6100:顯示器

6110:喇叭

6120:週邊設備

6130:RF,COMP,USB,HDMI

6140:連接裝置

700:方法

710,720,730,740,741,742,750,751,752,760:步驟

800:方法

810,820,830,840,841,842,850,851,852:步驟

圖中繪示一些實施例的範例，附圖顯示：

圖1繪示一示意方塊圖，其係根據至少一實施例的二層式點雲編碼結構的範例；

圖2繪示一示意方塊圖，其係根據至少一實施例的二層式點雲編碼結構的範例；

圖3繪示一示意方塊圖，其係根據至少一實施例的影像式點雲編碼器的範例；

圖3A繪示一帆布範例，帆布包括2個貼片及其2D限制盒；

圖4繪示一示意方塊圖，其係根據至少一實施例的影像式點雲解碼器的範例；

圖5繪示一示意圖，其係根據至少一實施例的底層BL的位元流表示的語法範例；

圖6繪示一系統範例的示意方塊圖，其中實現各方面及實施例；

圖7圖示地顯示根據本發明的解碼3D點雲的方法700；及

圖8圖示地顯示根據本發明的編碼3D點雲的方法800。

以下參考附圖以詳細描繪至少一實施例，其中顯示至少一實施例的範例，然而實施例可以許多替代形式實現且不應該將其解釋為制在所述的範例，因此不應該限制實施例在這些揭露的特別型式，相反的該 揭露是要含蓋所有的改良，同等者及替代者，只要其在本發明申請專利範圍界定的精神及範圍內。

當圖形以流程圖表示時，該了解的是它也提供對應裝置的方塊圖，類似的，當圖形以方塊圖表示時，該了解的是它也提供對應方法/製程裝置的流程圖。圖中類似或相同元件是以相同數字表示。

一些圖中表示的語法表廣泛使用在V-PCC用以定義位元流的結構以便符合V-PCC，在這些語法表，名詞「…」表示與V-PCC中的原始定義比較，語法的未改變部分且在圖中去除以利於閱讀，圖中的粗體名詞指示藉由解析位元流而得到該名詞的值，語法表的右欄指示編碼一語法元素資料的位元數目，例如u(4)指示使用4位元來編碼資料，u(8)指示8位元，ae(v)指示上下文調配算術熵編碼的語法元素。

以下所述及思考的方面可以多種不同形式實現，如以下圖1-8所示的一些實施例，但是其它實施例也在思考中，圖1-8的討論不是限制該等實作方式的範圍。

至少一方面大致涉及點雲編碼及解碼，及至少一其它方面大致涉及傳送產生或編碼的位元流，更明確的，本文所述的各種方法及其它方面可用以修正模組，例如，涉及元資料編碼的模組，如發生在圖3貼片資訊編碼器3700中的，及涉及元資料解碼的模組，如發生在圖4貼片資訊解碼器4400中的，或在圖4的幾何產生模組4500的重建過程中。

而且該方面不限於MPEG標準如MPEG-I部分5其涉及點雲壓縮，及應用在例如其它標準及推薦，不論它是現存或待開發的及任何該等標準及推薦的延伸(包括MPEG-I部分5)，除非另有指示或技術上 排除，本文所述的方面可個別或合併使用。

以下的影像資料是指資料，例如在一特定影像/視訊格式中的至少一個2D樣本陣列，特定影像/視訊格式指定有關於影像(或視訊)的像素值的資訊，特定影像/視訊格式也用來指定資訊其被顯示器及/或任何其它裝置用來將影像(或視訊)視覺化及/或解碼，例如影像通常包括一第一組件，在樣本的第一2D陣列形狀中，經常是影像亮度的表示，影像也包括第二組件及第三組件，在樣本的其它2D陣列形狀中，經常是影像色度的表示，一些實施例使用彩色樣本的一組2D陣列，如傳統的三色RGB來表示相同的資訊。

像素值藉由一組C值向量表示在至少一實施例，其中C是組件的數目，向量的各值通常用位元數表示以定義像素值的動態範圍，影像方塊表示表示一組像素其屬於一影像影像方塊(或影像方塊資料)的像素值是指屬於此影像方塊的像素值，影像方塊具有隨意的形狀，雖然通常是矩形，以3D立體空間中的3D樣本資料組表示點雲，其具有唯一的座標且也具有至少一特徵，此資料的3D樣本是由其空間位置(3D空間中的X,Y及Z座標)定義，及可能藉由至少一相關特徵如彩色，表示在RGB或YUV彩色空間中例如透明，反射，二組件正規向量或任何特徵其表示此樣本的特徵，例如3D樣本由6個組件(X,Y,Z,R,G,B)或同等者(X,Y,Z,y,U,V)定義，其中(X,Y,Z)定義3D空間中一點的座標及(R,G,B)或(y,U,V)定義此3D樣本的彩色，特徵的任何類型可出現多次，例如多重彩色特徵提供來自不同觀看點的彩色資訊。

依雲是否隨著時間而改變，點雲可以是靜態或動態，靜態 點雲或動態點雲的範例經常表示為點雲框，該注意的是若是動態點雲，點數大致不是常數，相反的它是大致隨著時間而變，更大致的，若隨著時間而變，例如點數，至少一點的位置，或任何點的任何特徵，則可將點雲視為動態，例如由6個組件(u,v,z,R,G,B)或同等者(u,v,Z,y,U,V)定義一2D樣本，(u,v)定義投影面的2D空間中的2D樣本的座標，Z是投影在此投影面(R,G,B)的3D樣本的深度值，或(y,U,V)定義此3D樣本的彩色。

根據本發明，旗號是資料流中的資訊編碼其指示條件是否致能，例如旗號是資訊其指示編碼或解碼資料流時，處理器是否執行一動作，在另一例，旗號是資訊其指示資料流中的位元序列是否遵守已知的語法，旗號也是第一資訊其指示第二資訊是否編碼在資料流中，當遵守條件時，即致能旗號，可用不同的方式及/或資料流中的序列將旗號編碼。

圖1繪示根據至少一實施例的二層式點雲編碼結構1000範例的示意方塊圖，該二層式點雲編碼結構1000提供輸入點雲框(IPCF)的位元流B表示，可能的該輸入點雲框(IPCF)表示動態點雲的框，接著在與來自另一框無關之下由二層式點雲編碼結構1000編碼該動態點雲的框，基本上該二層式點雲編碼結構1000能將位元流B結構化為底層BL及強化層EL，底層BL提供輸入點雲框的損失表示，及強化層EL藉由將底層BL未表示的隔離點編碼而提供高品質(可能無損失)的表示。

底層BL由圖3的影像式編碼器3000提供，該影像式編碼器3000提供幾何/質地影像以表示輸入點雲框IPCF的3D樣本的幾何/特徵，它允許丟棄隔離的3D樣本，底層BL被圖4的影像式解碼器4000解碼以提供立即重建的點雲框IRPCF，接著回到圖1的二層式點雲編碼1000，比較器COMP 比較輸入點雲框IPCF的3D樣本與立即重建的點雲框IRPCF的3D樣本以檢測/定位遺失/隔離的3D樣本，接著編碼器ENC編碼遺失的3D樣本及提供強化層EL，最後，由多工器MUX將底層BL及強化層EL多工在一起以位元流B，根據一實施例，編碼器ENC包括一檢測器於檢測及將立即重建的點雲框IRPCF的3D參考樣本R與遺失的3D樣本M結合，例如與遺失的3D樣本M有關3D參考樣本R是根據已知度量的最接近鄰居，根據實施例，編碼器ENC接著編碼遺失的3D樣本M的空間位置及其特徵，作為根據空間位置判定與3D參考樣本R的特徵之間的差，在一變體，這些差是分開編碼的，以遺失的3D樣本M為例，其空間座標x(M)，y(M)及z(M)，一x座標位置差Dx(M)，一y座標位置差Dy(M)，一z座標位置差Dz(M)，一R特徵組件差Dr(M)，一G特徵組件差Dg(M)及B特徵組件差Db(M)可由以下計算得到：

Dx(M)=x(M)-x(R)

其中x(M)是圖3提供的幾何影像中的3D樣本M，R的x座標，

Dy(M)=y(M)-y(R)

其中y(M)是圖3提供的幾何影像中的3D樣本M，R的y座標，

Dz(M)=z(M)-z(R)

其中z(M)是圖3提供的幾何影像中的3D樣本M，R的z座標，

Dr(M)=R(M)-R(R)

其中R(M)，R(R)分別是3D樣本M，R的彩色特徵的r彩色組件，

Dg(M)=G(M)-G(R)

其中G(M)，G(R)分別是3D樣本M，R的彩色特徵的g彩色組件，

Db(M)=B(M)-B(R)

其中B(M)，B(R)分別是3D樣本M，R的彩色特徵的b彩色組件。

圖2繪示根據至少一實施例的二層式點雲解碼結構2000的範例的示意方塊圖，二層式點雲解碼結構2000的動作依其能力而定，功能有限的二層式點雲解碼結構2000只能藉由使用解多工器DMUX而存取來自位元流B的底層BL，及接著藉由圖4的點雲解碼器4000解碼底層BL而提供輸入點雲框IPCF的真實(但是有遺失的)版本IRPCF，全功能的二層式點雲解碼結構2000藉由使用解多工器DMUX而存取來自位元流B的底層BL及強化層EL，圖4的點雲解碼器400判定來自底層BL的立即的重建點雲框IRPCF，解碼器DEC判定來自強化層EL的互補點雲框CPCF，合併器COM接著將立即的重建點雲框IRPCF及互補點雲框CPCF合併以因此提供輸入點雲框IPCF的高品質(但是可能有遺失的)的CRPCF表示(重建)。

圖3繪示根據至少一實施例的影像式點雲編碼器3000的範例的示意方塊圖，影像式點雲編碼器3000對於現存的視訊編碼起了重用以壓縮動態點雲的幾何及質地(特徵)資訊，藉由基本上將點雲資料轉成一組不同的視訊序列而完成它，尤其在一些實施例，使用現存的視訊編碼解碼器而產生2個視訊且壓縮它，其中的一個是用以捕獲點雲資料的及另一個是用以捕獲質地資訊，現存的視訊編碼解碼器是HEVC主要編碼器/解碼器(ITU-TH265 ITU的電信標準段(02/2018)，H系列：音訊視訊及多媒體系統，音訊視訊服務的內結構-移動視訊編碼，高效視訊編碼，推荐ITU-TH265)，通常也是分開產生及壓縮額外的元資料其用以解釋2個視訊，這種額外的元資料包括，例如佔領地圖OM及/或輔助貼片資訊，接著將產生的視訊位元流及元資料多工在一起以產生合併的位元流，該注意的在元資料通常表示全部資訊的小部分，資訊的主要部分在視訊位元流中。

點雲編碼/解碼過程的範例是測試模型類別2演譯法(也稱為V-PCC)實際上其MPEG草案標準定義在ISO/IEC JTC1/SC29/WG11 MPEG2019/w18180(2019,Marrakesh)，在步驟3100，模組PGM產生至少一貼片，方法是使用提供最佳壓縮的策略，將資料組的3D樣本，其表示輸入點雲框IPCF，分解在投影面的2D樣本上，貼片可定義為一組2D樣本，例如在V-PCC中，先估計每一3D樣本的法線，例如參考Hoppe等人(Hugues Hoppe,Tony DeRose,Tom Duchamp,John McDonald,Werner Stuetzle來自未組織點的表面重建，ACM SIGGRAPH 1992 Proceedings,71-78)，接著，結合各3D樣本與3D限制盒的6個定向平面之一，該3D限制盒包括輸入點雲框IPCF的3D樣本，接著藉由結合各3D樣本與3D限制盒的6個定向平面之一，該3D限制盒包括輸入點雲框IPCF的3D樣本，而得到輸入點雲框IPCF的初始聚集，更精準地，聚集各3D樣本及相關的定向平面，其具有最接近的法線(其將點法線及平面法線極大化)，接著將3D樣本投影在其相關平面，一組3D樣本，其平面形成一連接的區域，稱為連接組件，連接組件是一組至少一3D樣本，其具有類似法線及相同的相關定向平面，藉由根據其法線及於最接近的相鄰樣本的聚集，而重覆更新與各3D樣本相關的聚集，以便將初始聚集更細緻化，最後步驟由以下組成：產生來自各連接組件的貼片，其作法是投影各連接組件的3D樣本在定向平面，其與該連接組件相關.一貼片相關於輔助貼片資訊PI，其表示各貼片定義的輔助貼片資訊用來解釋投影2D樣本，其對應幾何及/或特徵資訊，在V-PCC中，例如輔助貼片資訊PI包括1)資訊指示包括連接組件的3D樣本的3D限制盒的6個定向平面之一；2)相對於平面法線的資訊；3)判定相對於貼片的連接組件的3D位置的資訊，其以深度，切線位 移及雙切線位移來表示；及4)資訊如投影面中的座標(u0,v0,u1,v1)，其定義包括貼片的2D限制盒。

在步驟3200，一貼片封裝模組PPM在不重疊下映射(放置)至少一產生的貼片在2D格(也稱為帆布)，其方式通常極小化未使用的空間，及保證2D格的每一TxT(例如16x16)方塊相關於唯一的貼片，2D格的已知極小方塊大小TxT指示放在此2D格上的不同貼片之間的極小距離，2D格的解析度是依輸入點雲尺寸及其寬度W和高度H而定，及方塊尺寸T可當成元資料傳送到解碼器，輔助貼片資訊PI尚包括相對於2D格與貼片之間結合的資訊，在V-PCC中，輔助資訊PI包括一方塊至貼片指數的資訊(方塊至貼片)其判定2D格與貼片指數之間的結合。

圖3A繪示帆布C的範例其包括2個貼片P1及P2及其相關的2D限制盒B1及B2，注意2個限制盒在帆布C重疊如圖3A所示，2D格(帆布的分割)只表示在限制盒內，但是帆布的分割也發生在限制盒外，相關於貼片的限制盒分割成TxT個方塊，通常T=16，TxT個方塊包含屬於一貼片的2D樣本，其可視為對應的佔據地圖OM中的佔據方塊，佔據地圖OM的佔據方塊接著指示方塊是否被佔據，該區域包含屬於貼片的2D樣本，在圖3A，佔據方塊由白色方塊表示，及未佔據方塊由淡灰色方塊表示，影像產生過程(步驟3300及3400)利用步驟3200計算出將至少一產生的貼片映射到2D格，以儲存輸入點雲框IPCF的幾何及質地為影像，在步驟3300，一幾何影像產生器GIG產生來自輸入點雲框IPCF，佔據地圖OM及輔助貼片資訊PI的至少一幾何影像GI，幾何影像產生器GIG利用佔據地圖資訊以檢測(定位)佔據方塊以及幾何影像GI中的非佔據像素，幾何影像GI表示輸入點雲框IPCF的幾何且 是WxH像素的單色影像，例如表示在YUV 420-8bit格式。

為了更好的處理將多重3D樣本投影(映射)在投影面的相同的2D樣本(沿著相同的投影方向(線))，可產生稱為層的多重影像，因此不同深度值D1,...,Dn，其相關於貼片的2D樣本及多重幾何影像，即接著產生。在V-PCC中，貼片的2D樣本投影在2層，第一層也稱為近層，可儲存，例如深度值D0，其相關於2D樣本且具有較小的深度，第二層稱為遠層，可儲存，例如深度值D1，其相關於2D樣本且具有較大的深度，或者第二層儲存深度值D1與深度值D0之間的差值，例如第二深度影像儲存的資訊在[0,△]中，其對應範圍[D0,D0+△]中的深度值，其中△是用戶定義的參數其敍述表面厚度，依此，第二層包含顯著的類似輪廓的高頻特徵，因此它明顯的顯示第二深度影像很難使用傳統的視訊編碼器來編碼，因此難以從該解碼第二深度影像重建深度值，因而導致重建的點雲框的幾何品質不良。

根據實施例，幾何影像產生模組GIG使用輔助貼片資訊PI而編碼(導出)深度值，其相關於第一及第二層的2D樣本，在V-PCC中，在3D樣本中貼片的位置，該3D樣本具有對應的連接組件，該位置是以深度δ(u,v)，切線位移(u,v)及雙切線位移(u,v)表示如下：

δ(u,v)=δ0+g(u,v)

s(u,v)=s0-u0+u

r(u,v)=r0-v0+v其中g(u,v)是幾何影像的亮度組件，(u,v)是像素，其相關於投影面上的3D樣本，(δ0,s0,r0)是連接組件的對應貼片的3D位置，而3D樣本屬於該連接組 件，及(u0,v0,u1,v1)是該投影面中的座標，其定義2D限制盒，其包括該連接組件相關的貼片投影，因此幾何影像產生模組GIG編碼(導出)相關於一層(第一或第二或二者)的深度值的2D樣本，作為亮度組件g(u,v)如以下所示：g(u,v)=δ(u,v)-δ0，該注意的是可利用此關係以重建來自重建的幾何影像g(u,v)的3D樣本位置(δ0,s0,r0)，該重建的幾何影像g(u,v)具有附加的輔助貼片資訊PI。

根據實施例，使用投影模式以指示第一幾何影像GI0儲存第一或第二層的2D樣本的深度值，及第二幾何影像GI1儲存的深度值與第二或第一層的2D樣本相關，例如當投影模式等於0時，則第一幾何影像GI0儲存儲存第一層的2D樣本的深度值，及第二幾何影像GI1儲存的深度值與第二層的2D樣本相關。相反的，當投影模式等於1時，則第一幾何影像GI0儲存儲存第二層的2D樣本的深度值，及第二幾何影像GI1儲存的深度值與第一層的2D樣本相關。

根據實施例，使用框投影模式以指示是否使用固定投影模式在所有貼片，或是否使用可變投影模式其中各貼片使用不同的投影模式，可將投影模式及/或框投影模式當成元資料傳送，框投影模式決策演譯法提供，例如V-PCC的2.2.1.3.1節。根據實施例，當框投影指示使用可變投影模式時，使用貼片投影模式以指示使用適合的模式來去除貼片的投影，將貼片投影模式當成元資料傳送，及可能的，資訊包括在輔助貼片資訊PI中，貼片投影模式決策演譯法提供，例如V-PCC的2.2.1.3.2節。

根據步驟3300的實施例，第一幾何影像中的像素值，例如GI0，對應貼片的2D樣本(u,v)，表示深度值相關於沿著投影線定義的至少 一之間3D樣本，其對應該2D樣本(u,v)，該之間3D樣本位於投影線且與2D樣本(u,v)共享相同的座標，2D樣本(u,v)的深度值D1編碼在第二幾何影像，例如GI1中，另外該之間3D樣本具有的深度值在深度值D0及深度值D1之間，指定位元相關於各該之間3D樣本，若該之間3D樣本存在，則指定位元設為1，其它情況則設為0，接著沿著該投影線的所有該指定位元串接以形成一編碼字，以下稱為強化三角深度(EDD)編碼，最後將所有的EDD編碼封裝在影像，例如在第一幾何影像GI1或佔據地圖OM。

在步驟3400，質地影像產生器TIG產生來自輸入點雲框IPCF的至少一質地影像TI，佔據地圖OM，輔助貼片資訊PI及重建點雲框的幾何，其導出自至少一解碼幾何影像DGI，視訊解碼器VDEC的輸出(圖4的步驟4200)，質地影像TI表示輸入點雲框IPCF的質地，及是WxH像素的影像，表示在，例如YUV420-8位元格式，質地影像產生器TG利用佔據地圖資訊以檢測(定位)佔據方塊及質地影像中的非空像素，質地影像產生器TIG調適成產生及結合質地影像TI與各幾何影像/層DGI。根據實施例，質地影像產生器TIG編碼(儲存)質地(特徵)值T0，其與第一層的2D樣本相關，如同第一質地影像TI0的像素值，及質地值T1，其與第二層的2D樣本相關，如同第二質地影像TI1的像素值，或者質地影像產生模組TIG編碼(儲存)質地值T1，其與第二層的2D樣本相關，如同第一質地影像TI0的像素值，及質地值D0，其與第一層的2D樣本相關，如同第二質地影像GI1的像素值，例如，可得到3D樣本的彩色如V-PCC的2.2.3,2.2.4,2.2.5,2.2.8或2.5節所述。

根據實施例，充墊過程應用在幾何及/或質地影像，使用充墊過程以填滿貼片之間空的空間以產生片斷的平滑影像，其適於視訊壓 縮，影像充墊的範例提供在V-PCC的2.2.6節及2.2.7節。在步驟3500，視訊編碼器VENC編碼產生的影像/層TI及GI，在步驟3600，編碼器OMENC編碼該佔據地圖為影像，詳如V-PCC的2.2.2節所述，可使用損失或無損失編碼，根據實施例，視訊編碼器ENC及/或OMENC是HEVC式編碼器，在步驟3700，編碼器PIENC編碼輔助貼片資訊PI及可能的額外的元資料，如幾何/質地影像的方塊尺寸T，寬度W及高度H，根據實施例，輔助貼片資訊是差分地編碼(如定義在V-PCC的2.4.1節)，在步驟3800，應用多工器在步驟3500，3600及3700產生的輸出，及結果是這些輸出多工在一起以產生表示底層BL的位元流，該注意的是元資料資訊表示整體位元流的小部分，使用視訊編碼解碼器以壓縮資訊的主要部分。

圖4根據至少一實施例繪示影像式點雲解碼器4000的範例的示意方塊圖，在步驟4100，應用解多工器DMUX以解多工表示該底層BL的位元流的編碼資訊，在步驟4200，視訊解碼器VDEC解碼該編碼資訊以導出至少一解碼幾何影像DGI及至少一解碼質地影像DTI，在步驟4300，解碼器OMDEC解碼該編碼資訊以導出解碼佔據地圖DOM。根據實施例，視訊解碼器VDEC及/或OMDEC是HEVC式解碼器，在步驟4400，解碼器PIDEC解碼該編碼資訊以導出輔助貼片資訊DPI，可能地，元資料的導出也是來自位元流BL，在步驟4500，幾何產生模組GGM導出重建點雲框IRPCF的幾何RG，該重建點雲框IRPCF來自至少一解碼幾何影像DGI，解碼佔據地圖DOM，解碼輔助貼片資訊DPI及可能的額外的元資料，幾何產生模組GGM以利用解碼佔據地圖資訊DOM以定位至少一解碼幾何影像DGI中的非空像素，與非空像素相關的重建3D樣本的3D座標接著從非空像素的座標及該重 建2D樣本的值導出。

根據實施例，幾何產生模組GGM從非空像素的座標導出重建3D樣本的3D座標，根據實施例，幾何產生模組GGM導出重建3D樣本的3D座標，該重建3D樣本來自非空像素的座標，至少一解碼幾何影像DGI，解碼輔助貼片資訊及可能的來自額外的元資料的其中之一的該非空像素的值，非空像素的使用是基於2D與3D樣本相關的像素，例如與V-PCC中的該投影相關，重建3D樣本的3D座標可如以下的用深度δ(u,v)，切線位移s(u,v)及雙切線位移r(u,v)表示：δ(u,v)=δ0+g(u,v) s(u,v)=s0-u0+u r(u,v)=r0-v0+v其中g(u,v)是解碼幾何影像DGI的亮度組件，(u,v)是與重建3D樣本相關的像素，(δ0,s0,r0)是一連接組件的3D位置，該連接組件屬於重建3D樣本，及(u0,v0,u1,v1)是投影面的座標，其定義一2D限制盒，其包括與該連接組件結合的貼片投影，在步驟4600，質地產生模組TGM導出重建點雲框IRPCF的質地，該重建點雲框IRPCF來自幾何RG及至少一解碼質地影像DTI。

圖5是根據至少一實施例繪示地示意表示底層BL的位元流的語法範例，位元流5000包括一位元流標頭SH及至少一框流群GOFS，框流群GOFS包括一標頭HS，至少一語法元素OMS，其表示一佔據地圖OM，至少一語法元素GVS，其表示至少一幾何影像(或視訊)，至少一語法元素TVS，其表示至少一質地影像(或視訊)，及至少一語法元素PIS，其表示輔助貼片資訊及其它額外的元資料，在一變體，框流群GOFS包括至少一框流。

圖6顯示一示意方塊圖以繪示一系統範例其中實現各方面及實施例，系統6000實現為至少一裝置包括以下所述的各組件及調配成執 行本文所述的至少一方面，設備的範例其形成所有或部分的系統6000包括個人電腦，筆記型電腦，智慧型手機，平板電腦，數位多媒體機上盒，數位電視接收器，個人視訊記錄系統，連接家用電器，連接車輛及其相關的處理系統，頭載顯示裝置(HMD)，看穿式眼鏡，投影器(信號燈)，「洞穴」(系統包括多重顯示器)，伺服器，視訊編碼器，視訊解碼器，後處理器用以處理來自視訊解碼器的輸出，前處理器用以提供輸入至視訊編碼器，網路伺服器，機上盒及任何其它裝置用以處理點雲，視訊或影像或其它通訊裝置，系統6000的元件，可單獨或合併地，具體化在單個積體電路(IC)，多個IC，及/或分離組件中。例如，在至少一實施例中，系統6000的處理元件及編碼器/解碼器元件係分佈於多個IC及/或分離組件上。在各種實施例中，系統6000例如係經由通訊匯流排或透過專用輸入及/或輸出埠以通訊方式耦合到類似系統或其他電子裝置。在各種實施例中，系統6000調配成用以實現在本發明中說明的至少其中之一。

系統6000包括至少一處理器6010調配成用以執行其中載入的指令，例如用以實現在本發明中說明的各種方面。處理器6010包括處理器1010包括嵌入式記憶體，輸入輸出介面及本領域已知的其他各種電路設計。系統6000包括至少一記憶體6020(例如依電性記憶體裝置，及/或不變性記憶體裝置)。系統6000包括一儲存裝置6040，其可包括不變性記憶體及/或依電性記憶體，包括(但不限於)電子可抹除可程式化唯讀記憶體(EEPROM)，唯讀記憶體(ROM)，可程式化唯讀記憶體(PROM)，隨機存取記憶體(RAM)，動態隨機存取記憶體(DRAM)，靜態隨機存取記憶體(SRAM)，快閃記憶體，磁碟驅動器，及/或光碟驅動器。作為非限定例，儲 存裝置6040包括內部儲存裝置，附接的儲存裝置及/或網路可存取儲存裝置。

系統包括一編碼器/解碼器模組6030，例如調配成用以處理資料以提供編碼視訊或解碼視訊，並且編碼器/解碼器模組6030可包括其本身的處理器及記憶體。編碼器/解碼器模組6030表示可包括在裝置中用以執行編碼及/或解碼功能的(數個)模組。眾所周知一裝置可包括編碼及解碼模組中的一者或兩者。另外如熟諳此藝者已知，編碼器/解碼器模組6030可實現為系統6000的分開元件，或可併入處理器6060內作為硬體及軟體的組合。

可將待載入到處理器6010或編碼器/解碼器6030上用以執行在本發明所述各種方面的程式碼儲存在儲存裝置6040中，並且後續載入到記憶體6020上由處理器6010執行。根據各種實施例，處理器6010，記憶體6020，儲存裝置6040及編碼器/解碼器模組6030中的一或多者在本發明所述過程的效能期間儲存各種項目中的一或多者。這類儲存的項目包括(但不限於)點雲框，編碼/解碼幾何/質地視訊/影像或編碼/解碼幾何/質地視訊/影像的一部分，位元流輸入視訊，解碼的視訊或部分解碼視訊，位元流，矩陣，變數，以及從方程式，公式，運算及運算邏輯的處理來的中間或最後結果。

在一些實施例中，使用處理器6010及/或編碼器/解碼器模組6030內部的記憶體以儲存指令及提供工作記憶體以用於編碼或解碼期間所需的處理。然而，在其他實施例中，使用處理裝置(例如，處理裝置可為處理器6010或編碼器/解碼器模組6030)外部的記憶體以用於這些功能中的一或多者。外部記憶體可為記憶體6020及/或儲存裝置6040，例如，動態依電性記憶體及/或不變性快閃記憶體。在數個實施例中，使用外部不變性快閃記憶體以儲存例如電視的作業系統。在至少一實施例中，快速外部動態依 電性記憶體如RAM係作為工作記憶體使用以用於視訊編碼及解碼操作，如用於MPEG-2(MPEG係指動態影像專家群，MPEG-2亦稱為ISO/IEC 13818，及13818-1亦稱為H.222，及13818-2亦稱為H.262)，HEVC(HEVC係指高效視訊編碼，亦稱為H.265及MPEG-H第2部分)，或VVC(多功能視訊編碼，正由聯合視訊專家小組JVET開發的新標準)。

可透過如方塊6130所示各種輸入裝置以提供輸入到系統6000的元件。這類輸入裝置包括(但不限於)(i)一射頻(RF)部分，其接收例如廣播公司透過空中傳送的RF信號，(ii)色差(COMP)輸入端子(或一組COMP輸入端子)，(iii)通用串列匯流排(USB)輸入端子，及/或(iv)高畫質多媒體介面(HDMI)輸入端子。

在各種實施例中，方塊6130的輸入裝置具有此技藝已知的相關聯各別輸入處理元件。例如，RF部分可與適用於以下功能的元件相關聯：(i)選擇一期望頻率(亦稱為選擇一信號，或將一信號限制頻寬到一頻帶)，(ii)將選取的信號降頻轉換，(iii)再次限制頻寬到較窄頻帶以選擇(例如)一信號頻帶，其在某些實施例可稱為通道，(iv)將降頻轉換及限制頻寬後的信號解調，(v)執行糾錯，及(vi)解多工以選擇期望的資料封包流。各種實施例的RF部分包括用以執行這些功能的一或多個元件，例如，選頻器，信號選擇器，頻寬限制器，頻道選擇器，濾波器，降頻轉換器，解調器，糾錯器，及多工解訊器。RF部分可包括調諧器以便執行各種這些功能，例如包括將接收到的信號降頻轉換到較低頻率(例如，中頻或近基頻)或降到基頻。在一機上盒實施例中，RF部分及其相關的輸入處理元件接收透過有線(例如纜線)媒體傳輸的RF信號，並藉由濾波，降頻轉換，及再次濾波到一期望頻 帶以執行頻率選擇。各種實施例重新安排上述(及其他)元件的順序，移除一些這類元件，及/或添加其他執行類似或不同功能的元件。添加元件可包括在現有元件之間插入元件，例如，插入放大器及類比至數位轉換器。在各種實施例中，RF部分包括天線。

另外，USB及/或HDMI端子可包括各別介面處理器，用以在USB及/或HDMI連接上將系統6000連接到其他電子裝置。應瞭解，輸入處理的各種方面，例如里德-所羅門糾錯，可視需要例如實現在分開的輸入處理IC內或在處理器6010內。同樣地，USB或HDMI介面處理的方面可視需要例如實現在分開的介面IC內或在處理器6010內。將解調，糾錯及解多工後的資料流提供到各種處理元件，例如包括處理器6060，及編碼器/解碼器6030，與記憶體及儲存元件結合操作，以視需要處理資料流用於輸出裝置上的呈現。可將系統6000的各種元件設置在一整合殼體內，在整合殼體內，可使用合適的連接安排6140，例如此項技藝已知的內部匯流排，包括IC間(I2C)匯流排、佈線及印刷電路板，將各種元件互連並在其間傳輸資料。

系統6000包括通訊介面6050，其允許經由通訊通道6060與其他裝置進行通訊。通訊介面6050可包括(但不限於)收發器，調配成用以在通訊通道6060上傳輸及接收資料。通訊介面6050可包括(但不限於)數據機或網路卡，並且通訊通道6060例如可實現在有線及/或無線媒體內。在各種實施例中，使用無線網路如Wi-Fi網路，例如IEEE 802.61(IEEE係指電氣及電子工程師協會)，將資料串流或以其他方式提供到系統6000。這些實施例的Wi-Fi信號係在適用於Wi-Fi通訊的通訊通道6060及通訊介面6050上接收。這些實施例的通訊通道6060通常係連接到存取點或路由器，以便提供存取到 外部網路(包括網際網路)，用以允許串流應用及其他在空中的通訊。其他實施例使用機上盒以提供串流資料到系統6000，以便在輸入方塊6130的HDMI連接上傳遞資料。更多其他實施例使用輸入方塊6130的RF連接以提供串流資料到系統6000。該了解的是可以多種方式傳送信號，例如至少一語法元素，旗號等可用以傳送信號資訊至各種實施例的對應解碼器。

系統6000可提供輸出信號到各種輸出裝置，包括顯示器6100，揚聲器6110，及其他周邊裝置6120。在實施例的各種範例中，其他周邊裝置6120包括下列中的一或多者：獨立式數位視訊光碟((DVR)，光碟播放器，立體聲系統，照明系統及其它裝置，其根據系統3000的輸出而提供功能。在各種實施例使用傳訊如AV.Link，消費性電子產品控制(CEC)或其他通訊協定，在系統6000與顯示器6600，揚聲器6110或其他周邊裝置6120之間通訊控制信號，以便利用或不用用戶干預以允許裝置對裝置的控制。輸出裝置可透過各別介面6070，6080及6090經由專用連接以通訊方式耦合至系統6000。或者，輸出裝置可使用通訊通道6060經由通訊介面6050以連接到系統6000。在一電子裝置例如電視中，顯示器6100及揚聲器6110可與系統6000的其他組件整合成單個單元。在各種實施例中，顯示介面6070包括顯示驅動器，例如時序控制器(T Con)晶片。例如若輸入6130的RF部分係分開的機上盒的一部分，則顯示器6100及揚聲器6110或者可與其他組件中的一或多者分開。在顯示器6100及揚聲器6110係外部組件的各種實施例中，可經由專用輸出連接，例如包括HDMI埠，USB埠，或COMP輸出，以提供輸出信號。

PLR表示點區域重建，PLR是一種重建方法可用以產生額外的3D樣本給點雲框，通常在投影2D到3D後及任何其它處理例如，幾何或質地平滑前，立即作PLR，PLR取一層3D樣本作為輸入及應用PLR元資料驅動的一組濾波器以產生額外的3D樣本以及其幾何及質地，PLR是區域的因為 PLR元資料會依帆布的TxT方塊而變，及該組濾波器使用小鄰居以產生額外的3D樣本，注意，相同的PLR元資料必須使用在編碼器及解碼器，在典型情況下，使用單一深度層及具有PLR的質地影像提供比雙深度層及質地影像更佳的BD率性能，PLR元資料的編碼藉由投影到深度及質地影像而使用比習知3D樣本編碼更少的fewer因而減少總位元率，同時額外的3D樣本補償因使用少數層而導致的品質損失，V-PCC包括PLR的實現其中由RDO(率扭曲最佳化)依編碼器而判定PLR，該PLR的實現定義多重模式，表示為PLRM(點區域重建模式)，用以重建(產生)點雲框的至少一3D樣本，由PLRM元資料的特定值判定各PLRM，該PLRM元資料定義如何使用濾波器，例如，在V-PCC的9.4.4節，在V-PCC的「7.4.35點區域重建語意」節由4個參數判定多重PLRM，該4個參數以位元流中的PLRM元資料來傳送：point_local_reconstruction_mode_interpolate_flag，此參數等於1指示在重建方法中使用點內插法，此參數等於0指示在重建方法中不使用點內插法；point_local_reconstruction_mode_filling_flag，此參數等於1指示在重建方法中使用填充模式，此參數等於0指示在重建方法中不使用填充模式；point_local_reconstruction_mode_minimum_depth_minus1：此參數指示最小深度值減1將使用在重建方法中；point_local_reconstruction_mode_neighbour_minus1：此參數指示2D相鄰區的尺寸減1將使用在重建方法中。

編碼PLR的語法詳如V-PCC的7.3.4.1節所述且定義在文件w18479，此語法敍述藉由方塊至貼片的資訊或貼片而由TxT方塊(佔據封裝方塊大小)傳送PLRM元資料，方塊至貼片結構指示TxT像素的各方塊其屬於的貼片，方塊至貼片方塊的16x16像素大小是V-PCC測試模型軟體中使用的典型值，該規格(及至少一實施例)支援方塊至貼片指數的其它方塊大小及PLRM元資料。根據本發明，編碼器能產生具有相關的PLR模式的數層，層的概念允許迅速的捕獲所有的3D點，及PLR方法允許減少編碼這種投影所需的位元率，目前的測試模型支援2層，在雙層模式加入使用PLR能增加點 雲的壓縮效率及令重建點雲更接近原始的，無語法且無方法編碼及解碼多重層，具有或沒有相關PLR元資料的層，無信號傳送方法用來結合PLR資訊及/或模式到不同的層影像，為了修正上述的現存語法，例如在V-PCC標準的文件w18479中，不是直接的如同任何修正意味著整個系統的調適，此外在完全不考慮其使用下每一層突然加入PLR資訊及模式會導致位元率過載，所以根據不同實施例沒有方案可以在投影的不同層上以迅速的使用PLR方法來編碼，信號傳送及解碼3D點雲，這種方案的詳情可參考圖7及8。

為了修正任何層數的PLR，需要修正實際單層模式及多層模式的各層，需要數個延伸：各層可用的各層可用的PLR每一方塊/每一貼片參數，各層可用的PLR資訊，每一層執行的PLR重建，該了解的是PLR資訊是指處理模式的PLR查詢表以及其它高階PLR參數，PLR資訊編碼在point_local_reconstruction_information語法結構中，依如何傳送PLR元資料而定，可能有數個實施例，例如各層具有其本身的PLR資訊及每一方塊/每一貼片模式，數層共享相同的PLR資訊，每層提供每一方塊/貼片模式，共享的PLR資訊及共享的DPLR模式。

為了使目的更明確，在圖7的xxx，語法顯示在相關的目前V-PCC語法(如文件w18479所示)，圖7根據本發明以圖形顯示解碼一3D點雲的方法，在步驟710，根據本發明編碼的資料流來自一源，資料流包括具有層影像資料的3D點雲編碼表示，在步驟720，層解碼自流，與元資料相關的層影像包括至少一PLR旗號其指示此層是否必須根據PLR方法而解碼，與此層相關的元資料解碼自該流，其已在不同時間及/或來自資料流中的不同位置解碼，在步驟730，執行測試以檢查PLR旗號是否致能(如旗號設定為1表示致能)，若PLR旗號失能，即使用傳統方法解投影該層，否則若PLR旗號致能，表示PLR方法應用在此層，必須擷取此層的PLR資訊及模式，在步驟740，執行測試以檢查元資料是否包括指數其指向與另一層相關的PLR資訊，若不包括，則在步驟741擷取來自元資料的PLR資訊及儲存它在記憶體且用指數表示允許擷取它，若在目前層的元資料中提供PLR資訊指數，則因 為此指數在步驟742而擷取來自記憶體的PLR資訊，在步驟750執行測試以檢查在元資料中是否提供PLR模式的指數，步驟750可出現在步驟740之前，之後或與其平行執行，若不提供PLR模式指數，則在步驟751，擷取來自元資料用於目前層的PLR模式及儲存在記憶體且以指數表示可擷取它，若在目前層的元資料中提供PLR模式指數，則因為此指數在步驟752而擷取來自記憶體的PLR模式，在步驟760，根據擷取的PLR資訊藉由應用擷取的模式在層的像素及使用PLR方法而解投影該層。

圖8是根據本發明圖示地顯示編碼3D點雲的方法800，在步驟810得到一層及編碼該層在資料流中，在以下步驟，與此層有關元資料編碼在資料流中，這些元資料的編碼是在該層及時且在該資料流中之前或之後，在步驟820，一PLR旗號其指示該層是否必須根據PLR方法解碼，則編碼在元資料中，若致能PLR旗號(步驟830，如旗號設定為1表示致能)，則在在步驟840執行測試以檢查目前層的PLR資訊是否已(或將要)編碼在與不同層相關的元資料中，若否，則在步驟841，編碼目前層的PLR資訊在與此目前層相關的元資料中，否則在步驟842，編碼允許指數擷取另一層的PLR資訊，在步驟850執行測試以檢查目前層的PLR資訊是否已(或將要)編碼在與不同層相關的元資料中，步驟850可以在步驟840之前或之後或與其平行的執行，若PLR模式未與另一層共享，則在在步驟851，編碼目前層的PLR資訊在與此目前層相關的元資料中，否則在步驟852，編碼允許指數擷取另一層的PLR模式。

以下詳細說明目前V-PCC規格(w18479)所述語法的提議改變，在實施例，各層具有其本身的PLR資訊及每一方塊/每一貼片模式的PLR，在此實施例，PLR參數是每一層的最佳化，在序列參數設定語法位準(w18497的7.3.4.1節)及可能性以致能每一層的PLR過程如以下所示：

sps_point_local_reconstruction_layer_enabled_flag[層]等於1指示在對應層指數的點雲重建過程中使用區域重建模式，sps_point_local_reconstruction_layer_enabled_flag[層]等於0指示在對應層指數的點雲重建過程中不使用區域重建模式。在貼片序列參數設定語法位準(w18497的7.3.5.3節)及可能性以定義每一層的PLR資訊如以下所示：

修正point_local_reconstruction_information(層)語法方法以儲存參數在點區域重建資訊陣列的指數層，該修正方法顯示在段錯誤！找不到參照來源。。貼片資料單元語法(w18479的7.3.6.3節)的修正如以下所示：

三角貼片資料單元語法(w18497的7.3.6.4節)的修正如以下所示：

修正該修正點區域重建語法(w18497的7.3.6.6節)以儲存所有的資料在二維陣列(層號及貼片指數)，提議的版本如以下所示：

以下修正必須應用在重建過程(如w18479的9.4.4節所述)。

在另一實施例，數層共享相同的PLR資訊，仍提供每一方塊/每一貼片模式的PLR給每一層，此實施例允許減少所需的位元率以傳送PLR資訊，代價是使用相同模式組用於數層(最後是所有的層其稍微減少解碼點雲的視覺品質)，傳送至少一組PLR資訊，由於PLR資訊的組數小於層數，所以用指數來指示各層使用的是那一組PLR資訊，在序列參數設定語法位準(w18479的7.3.4.1節)及可能性以致能每一層的PLR過程如以下所述：

sps_point_local_reconstruction_information_num_sets_minus1加1指示傳送許多組PLR資訊參數，極小值是1，極大值是層數，目前規格本文中的唯一改變w.r.t.是使用陣列(指數是id)以儲存PLR資訊。

在貼片序列參數設定語法位準(w18479的7.3.5.3節)及可能性以定義PLR資訊ID以指明對應層使用的PLR資訊如以下所述：

psps_point_local_reconstruction_information_set_id[層]參數指示PLR資訊組的指數其對應具有指數‘layer’的層，必須將以下修正應用在重建過程(如w18479的9.4.4節所述)。

在另一實施例，在多層之間共享PLR資訊及共享的每一方塊/貼片模式，這藉由減少傳送元資料的量尚可減少位元率，代價是稍微減少視覺品質及/或稍微增加複雜度。以下的節詳細說明除了上述實施例的提議改變，還增加了目前V-PCC規格(w18479)的提議改變。ps_point_local_reconstruction_information_num_sets_minus1加1指示傳送許多組PLR資訊參數，極小值是1，極大值是層數，目前規格本文中的唯一改變w.r.t.是使用額外的陣列(指數是id)以儲存PLR資訊，在貼片序列參數設定語法位準(w18479的的7.3.5.3)及可能性以指示對應該PLR資訊的識別碼，貼片資料單元語法(w18479的7.3.6.3節)的修正如以下所述：

pdu_point_local_reconstruction_data_num_sets_minus1指示每一貼片可用的PLR資料版本數目，pdu_point_local_reconstruction_data_set_id[貼片指數][層]參數指示PLR資料組識別碼以得到貼片「貼片指數」及層「層」的PLR資料，三角貼片資料單元語法(w18479的7.3.6.4節)的修正如以下所述：

以下修正必須應用在重建過程(如w18479的9.4.4節所述)

在一變體，與目前實施例相比，貼片資料單元及三角貼片資料已簡化，因為只有PLR資料必須在貼片位準擷取。

pfps_point_local_reconstruction_data_num_sets_minus1指示PLR資料的組數，pfps_point_local_reconstruction_data_set_id指示pfpa_point_local_reconstruction_data_num_sets_minus1的可能版本中應該 使用那一組PLR資料，在相同實施例的另一變體，每一序列及每一層只傳送PLR資料的組號即可減少高的位元率，“序列”在此使用的意義與HEVC標準中使用的相同。與目前實施例相比，貼片資料單元及三角貼片資料已簡化，因為只有PLR資料必須在貼片位準擷取。

psps_point_local_reconstruction_data_num_sets_minus1定義PLR資料的組數，psps_point_local_reconstruction_data_set_id指示psps_point_local_reconstruction_data_num_sets_minus1加1的可能版本中應該使用那一組PLR資料，重建過程的修正如以下所示：E3的pdu_point_local_reconstruction_data_set_id[f][p][l]初始化為：E3.V1的pfps_point_local_reconstruction_data_set_id[f][l]；即對於已知框，所有的貼片使用相同的設定識別碼；E3.V2的psps_point_local_reconstruction_data_set_id[l]；即對於所有的框，所有的貼片使用相同的設定識別碼，其中f對應框指數；p對應貼片指數；l對應層指數。與目前的實施例相比，PLR資料的組數如以下所示：在框位準(對於E3.V1)具有pfps_point_local_reconstruction_data_num_sets_minus1，或序列位準(對於E3.V2)具有psps_point_local_reconstruction_data_num_sets_minus1。

部分所述範例是針對方塊圖及操作流程圖其中各方塊表示一電路元件，模組或碼的一部分其包括至少一可執行指令用以實作方式特定邏輯功能，也應該注意的是在其它實作方式，方塊中的功能也不按照所示的順序，例如接連顯示的2個方塊事實上是大致同時執行，或者依涉及的功能，該等方塊是反向執行。在本文所述實施方式例如可實作方式在方法或過程，裝置，電腦程式產品，資料流或信號中，即使僅在單一形式 的實作方式的上下文中討論(例如，僅討論作為方法)，所討論特徵的實作方式亦可實現在其他形式(例如裝置或電腦程式)中。例如可將該等方法實現在裝置例如處理器中，處理器通常指處理裝置，例如包括電腦，微處理器，積體電路，或可程式化邏輯裝置。處理器亦包括通訊裝置。

此外該等方法藉由處理器執行指令而實現，及這種指令(及/或一實作方式產生的資料值)可儲存在電腦可讀取儲存媒體。電腦可讀取儲存媒體的型式是電腦可讀取程式產品，其實現在至少一電腦可讀取媒體及具有可在其上實現的電腦可讀取程式，其可由電腦執行。在此使用的電腦可讀取儲存媒體可視為一種非暫態儲存媒體，其功能為儲存資訊以及提供資訊的擷取。電腦可讀取儲存媒體，例如但不限於，電子，磁性，光學，電磁，紅內線或半導體系統，簡單裝置或複雜裝置或上述的任何合適組合，該了解的是在以下的說明中，雖然提供可應用實施例的電腦可讀取儲存媒體的更多特定範例，熟諳此藝者了解它只是說明性且不包括所有的：電腦磁片，硬碟，唯讀記憶體(ROM)，可抹除可程式唯讀記憶體(EPROM或快閃記憶體)，光碟唯讀記憶體(CD-ROM)，光學儲存裝置，磁性儲存裝置，或上述的任何合適組合。

指令形成一應用程式，其明確地實現在處理器可讀取媒體，指令例如在硬體，軟體，韌體或其組合中。例如在作業系統，分開的應用或其組合中找到指令，處理器的特徵因此為例如，一裝置調配成執行處理及一裝置其包括處理器可讀取媒體(如儲存裝置)，其具有指令用以執行處理。處理器可讀取媒體，額外地或取代指令，儲存一實作方式產生的資料值。裝置可實現在例如合適的硬體，軟體及韌體，這種裝置的範例包 括個人電腦，膝上型電腦，智慧型手機，平板電腦，數位多媒體機上盒，數位電視接收器，個人視訊錄影系統，連接的家用電器，頭載式顯示器(HMD，看穿式眼鏡)，投影器(資料投影器)，“洞穴”(系統包括多重顯示器)，伺服器，視訊編碼器，視訊解碼器，後處理器用以處理來自視訊解碼器的輸出，前處理器用以提供輸入至視訊編碼器，網路伺服器，機上盒及任何其它裝置用以處理點雲，視訊或影像或其它通訊裝置，明顯的，設備可以是移動及甚至安裝在車輛上。可藉由處理器6010或硬體或硬體及軟體的組合，以實現電腦軟體。作為非限定例，可由一或多個積體電路以實現該等實施例。記憶體6020可屬於適合技術環境的任何類型，並且可使用任何適當的資料儲存技術來實現，作為非限定範例，如光學記憶體裝置、磁性記憶體裝置、基於半導體的記憶體裝置、固定式記憶體，及可卸除式記憶體。處理器6010可屬於適合技術環境的任何類型，並且作為非限定範例，可涵蓋下列中的一或多者：微處理器，通用電腦，特殊用途電腦，及基於多核心架構的處理器。

如熟諳此藝者所顯而易見，實施方式可產生各式各樣的信號，係格式化用以攜帶例如可儲存或傳輸的資訊。資訊例如可包括用以執行方法的指令，或由所述實施方式中的一者所產生的資料。例如，可將信號格式化用以攜帶一所述實施例的位元流。可將此一信號例如格式化為電磁波(例如，使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼資料流及利用編碼資料流以調變載波。信號所攜帶的資訊例如可為類比或數位資訊。如眾所周知，信號可在各式各樣不同的有線或無線鏈結上傳輸。信號可儲存在處理器可讀取媒體上。在此使用的名詞只是用於說 明特殊實施例且不是意欲限定於此，本文使用的單數"a"，"an"及"the"除非另有說明，也意欲包括複數形式，另外將了解的是本文使用的名詞"包括"及/或"包含"明確的指出以下的出現例如特徵，整數，步驟，操作，元件及/或組件，但是不排除它的至少一其它特徵，整數，步驟，操作，元件，組件及/或群的出現或添加，此外當一元件"回應"或"連接"另一元件時，它是直接回應或連接其它元件，或存在的介入元件。對比的，當一元件"直接回應"或"直接連接"其它元件時，則不存在介入元件。

該了解的是以下文字「/」，「及/或」，及「至少一者」，例如「A/B」，「A及/或B」，及「A及B其中至少一者」，都是指包括選擇A，或選擇B，或A，B都選擇。在另一範例，以下文字「A，B，及/或C」及「A，B，C其中至少一者」都是指包括選擇A，或選擇B，或選擇C，或選擇A及B，或選擇A及C，或選擇B及C，或A，B，C都選擇。以上文字可適用在更多選項且相信可以被熟悉此技藝者了解。本文可使用各種數值，該特定值例如目的及方面不只限定在這些特定值。該了解的是然名詞使用第一，第二等來說明各元件，但是這些元件不受限於這些名詞，這些名詞只是用來區分不同來源的元件，例如第一元件可命名為第二元件，及同理在不違反本發明的教示下第二元件可命名為第一元件，且無意在第一元件及第二元件之間分順序。

提及“一個實施例”或“一實施例”或“一個實施方式”或“一實施方式”以及其別的變化，意指結合該實施例所描述的特定特徵、結構、特性等係包括在至少一實施例中。因此，本發明的申請從頭至尾在不同地方出現“在一個實施例中”或“在一實施例中”或“在一 個實施方式中”或“在一實施方式中”等說法，以及其他任何變化，不一定全指同一實施例。同理，提及“根據實施例/範例/實施方式”或“在實施例/範例/實施方式”以及其別的變化，意指結合該實施例所描述的特定特徵、結構或特性(在實施例/範例/實施方式中說明)係包括在至少一實施例/範例/實施方式中。因此，本發明的申請從頭至尾在不同地方出現“在一個實施例中”或“在一實施例中”或“在一個實施方式中”或“在一實施方式中”等說法，以及其他任何變化，不一定全指同一實施例。本文提及“根據實施例/範例/實施方式”或“在實施例/範例/實施方式”以及其別的變化，不意指都是相同的實施例/範例/實施方式，也不是意指分開或替代的實施例/範例/實施方式，更不排斥其它實施例/範例/實施方式。申請專利範圍中出現的標號只是用來說明不是用來限定申請專利範圍，雖然未明示，實施例/範例及變體可以任任何合或次組合來使用。

附圖呈現為流程圖時，應理解該圖亦提供對應裝置的方塊圖。同樣地，當附圖呈現為方塊圖時，應理解該圖亦提供對應方法/過程的流程圖。雖然部分圖形中的通信路徑出現箭頭顯示主要通信方向，該了解的是通信可出現在與箭頭相反的方向。各種實施方式涉及解碼。如使用在本發明案，“解碼”可涵蓋例如在接收的點雲框(可能包括收到的位元流其編碼至少一點雲框)上執行的全部或部分處理，用以產生適於顯示的最終輸出或進一步在重建點雲領域中處理。在各種實施例中，這類過程包括通常由影像解碼器執行的一或多個過程。作為另外的範例，在一實施例中，“解碼”只涉及熵解碼，在另一實施例中，“解碼”只涉及差分解碼，以及在另一實施例中，“解碼”涉及熵解碼與差分解碼的組合。基於特定描述 的上下文，是否希望“解碼過程”的說法特定地涉及一操作子集或一般性地涉及較廣泛的解碼過程將顯而易見，咸信為熟諳此藝者所完全理解。各種實施方式涉及編碼。與上述關於“解碼”的討論類似的方式，在本發明申請案中使用的“編碼”可涵蓋例如在輸入視訊序列上執行的全部或部分處理，例如在輸入點雲框上用以產生編碼的位元流。在各種實施例中，這類過程包括通常由影像解碼器執行的一或多個過程。作為進一步的範例，在一實施例中，“編碼”只涉及熵編碼，在另一實施例中，“編碼”只涉及差分編碼，以及在另一實施例中，“編碼”涉及差分編碼與熵編碼的組合。基於特定描述的上下文，是否希望“編碼過程”的說法特定地涉及一操作子集或一般性地涉及較廣泛的編碼過程將顯而易見，咸信為熟諳此藝者所完全理解。請注意，在本文中使用的語法元素例如旗號point_local_reconstruction_mode_present_flag係描述性用詞，因此，不排除使用其他語法元素名稱。

各種實施例涉及資料率失真優化。尤其，在編碼過程中，通常考慮到資料率與失真之間的平衡或折衷，常給定計算複雜性的約束。通常將資料率失真優化公式化為資料率失真函數最小化，該函數係資料率與失真的加權和。解決資料率失真優化問題有不同的方法，例如，該等方法可基於所有編碼選項的廣泛測試，包括考慮的所有模式或編碼參數值，完整評估其編碼成本及編碼及解碼後重建信號的相關失真。亦可使用更快的方法以節省編碼複雜性，尤其基於預測或預測殘餘信號而非重建信號以計算近似失真。亦可使用這兩種方法的混合，例如只使用近似失真用於某些可能的編碼選項，及使用完全失真用於其他編碼選項。其他方法只評估 可能編碼選項的子集。更一般地，許多方法採用各式各樣技術中的任一者以執行優化，但優化不一定係編碼成本與相關失真兩者的完整評估。

另外，本發明的申請可涉及“確定”各種資訊片段。確定資訊例如可包括下列中的一或多者；估算資訊、計算資訊、預測資訊，或從記憶體中擷取資訊。此外，本發明的申請可涉及“存取”各種資訊片段。存取資訊例如可包括下列中的一或多者：接收資訊、(例如從記憶體中)擷取資訊、儲存資訊、移動資訊、複製資訊、計算資訊、確定資訊、預測資訊，或估算資訊。另外，本發明申請案可涉及“接收”各種資訊片段。希望接收如同“存取”係一廣義用詞，接收資訊例如可包括下列中的一或多者：存取資訊，或(例如從記憶體中)擷取資訊。此外，例如在儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、拭除資訊、計算資訊、確定資訊、預測資訊或估算資訊的操作期間，通常在一方式或另一方式涉及“接收”。

而且，如在本文使用的“用信號發送(signal)”一詞尤其涉及向對應的解碼器指示某件東西。例如，在某些實施例中，編碼器用信號發送語法元素SE及/或PLR元資料中的一特定者。依此方式，在一實施例中，在編碼器及解碼器兩端皆使用相同參數(PLR元資料)。因此，例如編碼器可傳輸(顯性傳訊)一特定參數到解碼器，以便解碼器可使用相同特定參數。相反地，若解碼器已經具有該特定參數以及其他參數，則可使用傳訊而無需傳輸(隱含型傳訊)以簡單地允許解碼器知道並選擇該特定參數。藉由避免任何實際函數的傳輸，在各種實施例中實現節省位元。應了解可依各式各樣的方式以完成傳訊。例如，在各種實施例中，使用一或多個語 法元素、旗標等，將資訊用信號發送到對應的解碼器。雖然上述內容相關“signal”一詞的動詞形式(用信號發送)，但“signal”一詞在本文中亦可作為名詞(信號)使用。

已敍述數個實作方式，然而將了解的是可以作出各種改良，例如將不同實現的元件合併，補充，修正或移除產生其它實作方式，此外熟諳此藝者將了解其它結構及處理可替代上述揭露的，及最後的實作方式將執行至少實質上相同的功能及以至少實質上相同的方式，達成至少實質上與所述的實作方式相同的結果，因此這些及其它實作方式都在本發明涵蓋的範圍內。

700:方法

710,720,730,740,741,742,750,751,752,760:步驟

Claims (14)

1. 一種解碼3D點雲之方法，該方法包括：

   解碼一第一層影像及來自一資料流之相關第一元資料，該元資料包括一第一資訊，其指示該第一層影像是否將根據一點區域重建方法而解碼；及

   若致能該第一資訊：

   擷取第一點區域重建資訊及該第一元資料中之第一點區域重建模式；及

   應用該第一點區域重建模式在該第一層影像以根據該第一點區域重建資訊而重建該3D點雲。
2. 一種解碼3D點雲之裝置，該裝置包括一處理器，該處理器調配成：

   解碼一第一層影像及來自一資料流之相關第一元資料，該元資料包括一第一資訊，其指示該第一層影像是否將根據一點區域重建方法而解碼；及

   若致能該第一資訊：

   擷取第一點區域重建資訊及該第一元資料中之第一點區域重建模式；及

   根據該第一點區域重建資訊以應用該第一點區域重建模式在該第一層影像以重建該3D點雲。
3. 如申請專利範圍第1項之方法，尚包括或如申請專利範圍第2項之裝置，其中該處理器尚調配成：

   解碼一第二層影像及來自該資料流之相關第二元資料，該第二元資料 包括一第二資訊，其指示該第二層影像是否將根據一點區域重建方法及該第一點區域重建資訊之指數而解碼；及

   若致能該第二資訊：

   擷取該第二元資料中之第二點區域重建模式；及

   根據該第一點區域重建資訊以應用該第二點區域重建模式在該第二層影像以重建該3D點雲。
4. 如申請專利範圍第1或3項之方法，尚包括或如申請專利範圍第2或3項之裝置，其中該處理器尚調配成：

   解碼一第三層影像及來自該資料流之相關第三元資料，該第三元資料包括一第三資訊，其指示該第三層影像是否將根據一點區域重建方法及該第一或第二點區域重建模式之指數而解碼；及

   若致能該第三資訊：

   擷取該第三元資料中之第三點區域重建模式；及

   根據該第三點區域重建資訊以應用該第一或第二點區域重建模式在該第三層影像以重建該3D點雲。
5. 如申請專利範圍第1或3或4項之方法，尚包括或如申請專利範圍第2至4項中任一項之裝置，其中該處理器尚調配成：

   解碼一第四層影像及來自該資料流之相關第四元資料，該第四元資料包括一第四資訊，其指示該第四層影像是否將根據一點區域重建方法，該第一或第二或第三點區域重建模式之指數，及該第一或第二或第三點區域重建模式之指數而解碼；及

   若致能該第四資訊：

   根據該第一或第二或第三點區域重建資訊以應用該第一或第二或第三點區域重建模式在該第四層影像以重建該3D點雲。
6. 一種編碼3D點雲之方法，該方法包括：

   編碼一第一層影像及來自一資料流之相關第一元資料，該元資料包括：一第一資訊，其指示該第一層影像是否將根據一點區域重建方法而編碼；及若致能該第一資訊，一第一點區域重建資訊及一第一點區域重建模式。
7. 一種編碼3D點雲之裝置，該裝置包括一處理器調配成：

   編碼一第一層影像及來自一資料流之相關第一元資料，該元資料包括：一第一資訊，其指示該第一層影像是否將根據一點區域重建方法而解碼；及若致能該第一資訊，一第一點區域重建資訊及一第一點區域重建模式。
8. 如申請專利範圍第6項之方法，尚包括或如申請專利範圍第7項之裝置，其中該處理器尚調配成：

   編碼一第二層影像及該資料流中之相關第二元資料，該第二元資料包括：一第二資訊，其指示該第二層影像是否將根據一點區域重建方法而解碼；該第一點區域重建資訊之指數；及若致能該第二資訊，一第二點區域重建模式。
9. 如申請專利範圍第6或8項之方法，尚包括或如申請專利範圍第7或8項之裝置，其中該處理器尚調配成：

   編碼一第三層影像及該資料流中之相關第三元資料，該第三元資料包括：一第三資訊，其指示該第三層影像是否將根據一點區域重建方法而解 碼；該第一或第二點區域重建模式之指數；及若致能該第三資訊，一第三點區域重建資訊。
10. 如申請專利範圍第6或8或9項之方法，尚包括或如申請專利範圍第7至9項中任一項之裝置，其中該處理器尚調配成：

    編碼一第四層影像及該資料流中之相關第四元資料，該第四元資料包括：一第四資訊，其指示該第四層影像是否將根據一點區域重建方法而解碼；該第一或第二或第三點區域重建資訊之指數；及該第一或第二或第三點區域重建模式之指數。
11. 一種非暫態電腦可讀取儲存媒體，其包含資料內容，該資料內容係根據申請專利範圍第6及8至10項中任一項之方法而產生，或根據申請專利範圍第7至10項中任一項之裝置而產生，使用一處理器來播放該資料內容。
12. 一種電腦程式產品，包括指令，當一電腦執行程式時，該指令致給電腦執行如申請專利範圍第1及3至5項中任一項之方法。
13. 一種電腦程式產品，包括指令，當一電腦執行程式時，該指令致給電腦執行如申請專利範圍第6及8至10項中任一項之方法。
14. 一種信號，其包括視訊資料，該視訊資料係根據申請專利範圍第6及8至10項中任一項之方法而產生，或根據申請專利範圍第7至10項中任一項之裝置而產生，使用一處理器來播放該視訊資料。

Images