TWI797234B - 360度視訊編碼適應性訊框填裝 - Google Patents

Abstract

一種視訊碼化裝置可以被配置成週期性地選擇與RAS相關聯的訊框填裝配置（例如面部佈局和/或面部旋轉參數）。該裝置可以接收多個畫面，每一個畫面都可以包括多個面部。這些畫面可被分組成多個RAS。該裝置可以為第一RAS選擇成本最低的訊框填裝配置。作為範例，訊框填裝配置的成本可以基於第一RAS的第一畫面來確定。該裝置可以為第二RAS選擇訊框填裝配置。第一RAS的訊框填裝配置與第二RAS的訊框填裝配置可以是不同的。在視訊位元串流中可以用信號通告第一RAS的訊框填裝配置和第二RAS的訊框填裝配置。

Description

360度視訊編碼適應性訊框填裝

交叉引用

本申請要求享有2018年1月16日提交的美國臨時申請62/617,939以及2018年9月19日提交的美國臨時申請62/733,371的權益，該申請的內容在這裡被引入以作為參考。

360°視訊是在媒體行業中出現的一種快速增長的格式。360°視訊隨著虛擬實境（VR）裝置的可用性的不斷增長而得以實現。360°視訊可以為觀看者提供全新的存在感。與直線視訊（例如2D或3D）相比，360°視訊在視訊處理和/或遞送方面可能會產生困難的工程挑戰。要實現舒適和/或沉浸式的使用者體驗可能會需要高的視訊品質和/或低的潛伏期。360°視訊的龐大視訊尺寸可能會妨礙在尺度以高品質的方式遞送360°視訊。

一種視訊碼化(coding)裝置可以基於具有不同訊框填裝配置的參考畫面（picture）來以預測性的方式碼化360度視訊中的目前畫面。該目前畫面可以是具有一個或多個面部的訊框填裝畫面。目前畫面的訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以被識別，並且可以識別目前畫面的參考畫面的訊框填裝配置。基於對目前畫面的訊框填裝配置與參考畫面的訊框填裝配置的比較，可以確定是否轉換參考畫面的訊框填裝配置，以便匹配目前畫面。當參考畫面的訊框填裝配置不同於目前畫面的訊框填裝配置時，裝置可以轉換參考畫面的訊框填裝配置，以便匹配目前畫面的訊框填裝配置。該裝置可以基於參考畫面來預測目前畫面。

一種視訊碼化裝置可以被配置成確定是否轉換用於預測目前畫面的參考畫面的訊框填裝配置（例如面部佈局和/或面部旋轉參數）。在目前畫面的訊框填裝配置與參考畫面的訊框填裝配置不同時，該視訊碼化裝置可以確定轉換參考畫面的訊框填裝配置，以便匹配目前畫面的訊框填裝配置。該裝置可以基於與目前畫面和/或參考畫面相關聯的參數（例如畫面參數集合（PPS）識別符）來確定目前畫面的訊框填裝配置與參考畫面的訊框填裝配置不同。

一種視訊裝置可以確定與目前畫面相關聯的訊框填裝配置（例如面部佈局和/或面部旋轉參數）。與目前畫面相關聯的訊框填裝配置可以基於所接收的訊框填裝資訊來識別。該裝置可以確定是否接收與目前畫面相關聯的訊框填裝資訊。該裝置可以基於目前畫面的訊框類型來確定是否接收與目前畫面相關聯的訊框填裝資訊。例如，當目前畫面是訊框內碼化畫面時，該裝置可以確定接收與目前畫面相關聯的訊框填裝資訊。該裝置可以基於所接收的訊框填裝資訊來確定訊框填裝配置。該訊框填裝配置可以與目前畫面以及一個或多個後續畫面（例如，隨機存取分段（RAS）中的一個或多個畫面）相關聯。

一種視訊碼化裝置可以被配置成週期性地為360度視訊中的訊框選擇訊框填裝配置（例如面部佈局和/或面部旋轉參數）。該裝置可以接收多個畫面，每一個畫面都可以包括多個面部。這些畫面可被分組成多個RAS。訊框填裝資訊可以隨著RAS改變。該裝置可以為第一RAS選擇訊框填裝配置。該裝置可以為第二RAS選擇訊框填裝配置。第一RAS的訊框填裝配置與第二RAS的訊框填裝配置可以是不同的。在視訊位元串流中可以用信號通告第一RAS的訊框填裝配置和第二RAS的訊框填裝配置。在範例中，可以循環於預定的訊框填裝配置集合。

一種視訊碼化裝置可以被配置成為RAS選擇訊框填裝配置。該裝置可以確定RAS的第一畫面（例如訊框內碼化畫面）中的面部梯度。該梯度可以是占主導地位的梯度。該梯度可以在亮度樣本上計算。對於多個訊框填裝配置的每一個，該裝置可以確定與碼化第一畫面相關聯的潛在成本。該多個訊框填裝配置中的每一個的潛在成本可以基於面部梯度。該裝置可以選擇具有最低成本的訊框填裝配置。

現在將參考不同附圖來描述關於說明性實施例的具體實施方式。雖然該描述提供了關於可能的實施例的詳細範例，然而應該注意的是，這些細節旨在是範例性的，並且不會對本申請的範圍構成限制。

虛擬實境（VR）系統可以使用360度視訊來為使用者提供從水平方向上的360度角和垂直方向上的180度角觀看場景的能力。VR和360度視訊可能會是超高解析度（UHD）服務之後的媒體消費方向。可以從事關於全向媒體應用格式的需求和潛在技術方面的操作，以提升VR中的360度視訊的品質和/或將處理鏈標準化以實現用戶端的互動能力。自由視角電視（FTV）可以測試以下的一個或多個的性能：基於360度視訊（全向視訊）的系統和/或基於多視圖的系統。

VR處理鏈中的一個或多個方面的品質和/或體驗可以被改進。例如，與VR處理相關聯的捕獲、處理、顯示等等中的一個或多個方面的品質和/或體驗可以被改進。VR捕獲可以使用一個或多個相機來從一個或多個不同和/或發散的視圖(divergent view)（例如6-12個視圖）捕獲場景。這些視圖可被拼接在一起，以便形成高解析度（例如4K或8K）的360度視訊。在用戶端和/或使用者端，VR系統可以包括計算平臺、頭戴式顯示器（HMD）和/或頭部追蹤感測器。計算平臺可以接收和/或解碼360度視訊。該計算平臺可以產生用於顯示的視埠（例如在HMD上）。針對該視埠，可以渲染一個或多個畫面（例如兩個，每一個眼睛有一個）。在HMD中可以顯示畫面（例如用於立體觀看）。透鏡可以用於放大HDM中顯示的圖像，以便實現更好的觀看。頭部追蹤感測器可以追蹤觀察者的頭部的方位，和/或可以向系統回饋方位資訊（作為範例，以顯示針對該方位的視埠畫面）。

可產生360度視訊的投影表示。360度視訊可被壓縮和/或遞送，例如使用基於HTTP上的動態適應性串流（DASH）的視訊串流技術。作為範例，360度視訊遞送可以使用球面幾何結構來實施，以便表示360度資訊。例如，多個相機獲取到的同步的多個視圖可被拼接在球面上（例如作為一個整體結構）。該球面資訊可以經由幾何轉換（例如等距長方投影和/或方體映射投影）而被投影在2D平面表面上。

360度視訊可以用等距長方投影（ERP）來投影。第1A圖顯示了使用經度（φ）和緯度（θ）的範例球面取樣。第1B圖顯示了使用ERP而被投影在2D平面上的範例球面。經度φ可以處於範圍[-π，π]以內，並且可以被稱為偏航(yaw)。緯度θ可以處於範圍[-π/2，π/2]以內，並且在航空學中可被稱為俯仰。π是圓的圓周與它的直徑的比值。（x，y，z）可以表示3D空間中的點的座標。（ue，ve）可以表示使用了ERP的2D平面中的點的座標。作為範例，如（1）和（2）所示，ERP可以用數學方式來表示。

參考（1）和（2），W和H可以是2D平面畫面的寬度和高度。在第1A圖中可以看出，點P 可以是球面上的經度L4與緯度A1之間的交叉點。如第1B圖所示，藉由使用（1）和/或（2），可以將點P 映射到2D平面上的唯一點q 。第1B圖中的點q 可被反向投影到第1A圖顯示的球面上的點P （例如經由逆投影）。第1B圖中的視場（FOV）顯示了將球面中的FOV映射到2D平面的範例，其中沿著X軸的視角約為110度。

360度視訊可被映射到2D視訊。所映射的視訊可以用視訊編解碼器（例如H.264、HEVC）來編碼和/或可以被遞送到用戶端。在用戶端，基於使用者視埠（例如，藉由將等距長方畫面中屬於FOV的部分投影和/或顯示在HMD上），可以解碼和/或渲染等距長方視訊。球面視訊可被變換成2D平面畫面，以便用ERP來編碼。等距長方2D畫面的特性可以不同於非等距長方2D畫面（例如直線視訊）。可以與北極相對應的畫面的頂部部分以及可以與南極相對應的畫面的底部部分可以被拉伸。例如，和可以與赤道相對應的畫面的中間部分相比，畫面的頂部部分和底部部分可以被拉伸。拉伸畫面的頂部和底部部分可以指示2D球面域中的等量矩陣取樣是不均勻的。沿時間方向，2D等距長方畫面中的運動場有可能會很複雜。

ERP畫面的邊界（例如左邊界和右邊界）可被碼化（例如獨立碼化）。藉由對邊界進行碼化，可以在重建視訊中創建視覺偽像（例如“面部接縫”）。舉例來說，在使用重建視訊來渲染可顯示給使用者（例如經由HMD和/或經由2D螢幕）視埠的時候可以創建視覺偽像（例如“面部接縫”）。在邊界（例如畫面的左側和右側）上可以填充一個或多個亮度樣本（例如8個）。被填充的ERP畫面可以被編碼(encoded)。藉由使用以下的一項或多項，可以反向轉換具有填充物的重建ERP畫面：混合被複製的樣本或是裁剪被填充的區域。

360度視訊可以用方體映射投影來進行投影。ERP畫面的頂部和底部部分可以分別對應於北極和南極。ERP畫面的頂部和底部部分可以被拉伸（例如，在與畫面的中間部分相比較的時候）。拉伸ERP畫面的頂部和底部部分可以指示畫面的球面取樣密度是不均勻的。運動場可以描述相鄰ERP畫面之間的時間相關性。視訊編解碼器（例如MPEG-2、H.264和/或HEVC）可以使用平移模型來描述運動場。該平移模型可以表示或者不表示形狀變化的運動（例如平面ERP畫面中的形狀變化的運動）。

360度視訊可以用幾何投影格式來投影。幾何投影格式可以將360度視訊映射在一個或多個面部（例如多個面部）之上。作為範例，方體映射投影（CMP）可被用於投影360度視訊。第2A圖是關於CMP幾何圖形的例圖。如第2A圖所示，CMP可包括六個正方形面部。這些面部可被標記成PX、PY、PZ、NX、NY、NZ。P可以指正數，且N可以指代負數。X，Y和Z可以分別指代軸線。這些面部可以用數字0-5來標記，例如PX（0）、NX（1）、PY（2）、NY（3）、PZ（4）、NZ（5）。如果切球面的半徑是1，那麼每一個面部的橫向長度可以是2。具有CMP格式的面部可被一起填裝到畫面中。由於視訊編解碼器可不支援球面視訊，因此，CMP格式的面部可被填裝到畫面中。面部是可以旋轉的，例如角度的某數量。面部旋轉有可能會影響（例如最大化和/或最小化）相鄰面部之間的連續性。第2B圖是關於訊框填裝的例圖。如第2B圖所示，這些面部可被填裝到矩形畫面中。參考第2B圖，在面部上標記的面部索引可以分別指示面部的旋轉。例如，面部#3和#1可以分別逆時針旋轉270度和180度。其他面部可能不會旋轉。在第2B圖中可以看出，面部的3個頂部列可以是3D幾何圖形中的空間相鄰的面部，和/或可以具有連續紋理。在第2B圖中可以看出，3個面部的底部列可以是3D幾何圖形中的空間相鄰的面部，和/或可以具有連續的紋理。在3D幾何圖形中，頂部的面部列與底部的面列部既可以是空間連續的，也可以不是空間連續的。在這兩面部列之間有可能存在接縫（例如不連續邊界），例如在頂部的面部列與底部的面部列並非空間連續的時候。

在CMP中，面部中心的取樣密度可以是一（1）。如果面部中心的取樣密度是一（1），那麼朝著面部邊緣方向的取樣密度可能會增大。例如，與面部中心的紋理相比，面部邊緣周圍的紋理可以被拉伸。基於方體映射的投影（例如等角方體映射投影（EAC）和/或經過調整的方體映射投影（ACP））可以對面部進行調整。面部可以用函數（例如非線性翹曲函數）來調整。該函數可以在垂直和/或水平方向上被應用於面部。面部還可以用切線函數來調整（例如在EAC中）。面部可以用二階多項式函數來調整（例如在ACP中）。

藉由使用混合方體映射投影（HCP），可以對視訊進行投影。調整函數可被應用於面部。調整函數的參數可以針對面部而被調諧。調整函數可以針對面部的某個方向而被調諧（例如針對面部的每一個方向而被各別調諧）。基於立方體的投影可以填裝畫面的面部（例如與CMP相似）。在基於立方體的投影中有可能出現訊框填裝畫面內部的面部的不連續性。

360度視訊可以使用混合視訊編碼處理來編碼。在第3圖中示出了範例的360度視訊遞送實施方式。在第3圖中可以看出，360度視訊遞送可以包括360度視訊獲取，其可以用一個或多個相機來捕獲覆蓋球面空間的視訊。來自相機的視訊可被拼接在一起，以便形成原生(native)的幾何結構。作為範例，這些視訊可以採用等距長方投影（ERP）格式而被拼接在一起。原生的幾何結構可被轉換成一種或多種投影格式，以便進行編碼。視訊的接收器可以解碼和/或解壓縮該視訊。該接收器可以將視訊轉換成幾何圖形（例如用於顯示）。作為範例，該視訊可以根據使用者的視角並經由視埠投影而被渲染。

第4圖示出了範例的基於塊的混合視訊編碼系統400的框圖。輸入視訊訊號402可被以逐塊的方式處理。延伸塊大小（作為範例，其被稱為碼化單元或CU）可被用於壓縮高解析度（例如1080p和/或更高）的視訊訊號。CU可以包括多達64×64個像素。CU可被劃分成預測單元或PU。PU是可以各別預測的。對於輸入視訊塊（例如巨集塊（MB）或CU）來說，可執行空間預測460或運動預測462。空間預測（作為範例，或者是訊框內預測）可以使用源自相同視訊畫面和/或截割中的已碼化的相鄰塊的像素來預測目前視訊塊。空間預測可以減小視訊訊號中的空間冗餘度。運動預測（作為範例，其被稱為訊框間預測或時間預測）可使用源於已碼化視訊畫面的像素來預測目前視訊塊。運動預測可以減小視訊訊號中固有的時間冗餘度。指定視訊塊的運動預測信號可以藉由用於指示目前塊與其參考塊之間的運動量和/或運動方向的運動向量來通告。如果支援多個參考畫面（例如在H.264/AVC或HEVC中），那麼可以將視訊塊的參考畫面索引用信號通告解碼器。參考索引可以用於識別時間預測信號源於參考畫面儲存器464中的哪一個參考畫面。

在空間和/或運動預測之後，編碼器中的模式決定480可以選擇預測模式（例如基於速率-失真最佳化）。在416，從目前視訊塊中可以減去預測塊。預測殘差可以用變換模組404和量化模組406來去相關，以便實現目標位元速率。在410，經過量化的殘差係數可以被反量化，並且在412，可以被反變換，以便形成重建殘差。在426，該重建殘差可被添加回預測塊中，以便形成重建視訊塊。在466，環路內濾波器（例如去塊濾波器和/或適應性環路濾波器）可被應用於重建視訊塊(在將其放入參考畫面儲存器464之前)。參考畫面儲存器464中的參考畫面可被用於碼化以後的視訊塊。輸出視訊位元串流420可以被形成。碼化模式（例如訊框間或訊框內）、預測模式資訊、運動資訊和/或量化殘差係數可被發送至熵碼化單元408，以便藉由壓縮和填裝來形成位元串流420。

第5圖顯示了範例的基於塊的視訊解碼器的概括性框圖。在熵解碼單元508可以接收、解填裝和/或熵解碼視訊位元串流502。碼化模式和/或預測資訊可被發送至空間預測單元560（例如在訊框內碼化的情況下）和/或時間預測單元562（例如在訊框間碼化的情況下）。空間預測單元560和/或時間預測單元562可以形成預測塊。殘差變換係數可被發送至反量化單元510和反變換單元512，以便重建殘差塊。在526，預測塊和殘差塊可被相加。該重建的塊可以經歷環路內濾波566，並且可以被存入參考畫面儲存器564。參考畫面儲存器564中的重建視訊可被用於驅動顯示裝置和/或預測以後的視訊塊。

視訊編解碼器可被用於碼化視訊，例如2D平面直線視訊。視訊碼化可以利用空間和/或時間相關性來移除資訊冗餘度。在視訊碼化過程中可以應用一種或多種預測技術，例如訊框內預測和/或訊框間預測。訊框內預測可以使用與樣本值相鄰的重建樣本來預測該樣本值。第6圖顯示了可用於對目前變換單元（TU）進行訊框內預測的範例參考樣本（例如，R_0,0 到R_2N,0 和/或R_0,0 到R_0,2N ）。參考樣本可以包括位於目前TU的上方和/或左側的重建樣本。這些參考樣本可以來自左側和/或頂部的相鄰重建樣本。

裝置可以使用一種或多種訊框內預測模式來執行預測。裝置可以選擇使用某種訊框內預測模式。第7圖示出了訊框內預測方向的範例指示。一種或多種（例如三十五（35）種）訊框內預測模式可被用於執行預測。舉例來說，如第7圖所示，訊框內預測模式可以包括平面（0）、DC（1）和/或角度預測（2~34）。恰當的訊框內預測模式可被選擇。例如，視訊碼化裝置可以選擇恰當的訊框內預測模式。多種候選訊框內預測模式產生的預測可被比較。可選擇在預測樣本與原始樣本之間產生最小失真的候選訊框內預測模式。所選擇的訊框內預測模式可被碼化到位元串流中。

角度預測可被用於預測定向紋理。第8圖顯示了具有運動向量（MV）的訊框間預測的範例。參考畫面中的塊B0'和B1'可以是用於目前畫面中的塊B0和B1的相應參考塊。參考塊B0'可以部分位於參考畫面的邊界之外。填充可被用於填滿畫面邊界以外的未知樣本。第9圖顯示了用於畫面邊界以外的參考樣本的範例填充。作為範例，關於塊B0'的填充範例可以具有四個部分P0、P1、P2和P3。部分P0、P1和P2可以位於畫面邊界之外，並且可以被填滿（例如經由填充處理）。作為範例，部分P0可以用參考畫面的左上的樣本來填滿。部分P1可以藉由使用參考畫面的最頂列的垂直填充來填滿。部分P2可以藉由使用了該畫面的最左行的水平填充來填滿。

訊框間碼化（例如用於編碼運動向量資訊）可以包括使用運動向量預測和/或合併模式。運動向量預測可以使用來自相鄰PU或是在時間上並置的PU之MV來預測目前MV。視訊碼化裝置可以產生運動向量預測器候選列表。從該候選列表中可以選擇MV預測器。所選擇的MV預測器的索引可被碼化和/或用信號通告給視訊碼化裝置。視訊碼化裝置可以構建MV預測器列表。具有用信號通告的索引的條目可被用作目前PU的MV的預測器。合併模式可以使用和/或重用在空間和時間上相鄰的PU的MV資訊。用於目前PU的運動向量既可以被碼化，也可以不被碼化。視訊碼化裝置可以產生關於一個或多個運動向量合併候選的列表。第10圖示出了可以用於合併候選導出的空間鄰居（例如左下、左、右上、上、左上）的範例。從該列表中可以選擇運動向量合併候選。所選擇的合併候選的索引可被碼化。具有用信號通告的合併候選索引的條目可被用作目前PU的MV。

在視訊序列內部可以週期性地插入訊框內（I）訊框，其可以啟用隨機存取（RA）。兩個連續I訊框之間的預測結構可以是相似的（例如相同的）。完整長度的序列可被拆分(split)（例如被拆分成一組獨立的隨機存取分段（RAS））。RAS可以以I訊框為開始和/或結束。一個或多個RAS可以被平行編碼。

視訊碼化裝置可以基於跨分量線性模型（CCLM）來執行預測。例如，該視訊碼化裝置可以執行顏色轉換。作為範例，視訊碼化裝置可以執行紅綠藍（RGB）到YUV的顏色轉換。顏色轉換有可能會影響（例如增大和/或減小）不同通道之間的相關性。一個或多個視訊塊的亮度和色度通道可以被關聯。可使用基於CCLM的預測，來使用線性模型來預測源於相應亮度樣本的色度樣本。藉由使用（3），可以從相應的下樣本的（例如在視訊是4:2:0和/或4:2:2色度格式的情況下）和/或重構的亮度樣本值

預測出色度樣本值

（例如假設N×N個樣本之色度塊）。

經過下取樣的亮度樣本可以使用（4）來計算。

線性模型的參數可以藉由最小化相鄰重建樣本（例如頂部和左側的相鄰重建樣本）之間的回歸誤差來導出。線性模型的參數可以使用（5）和/或（6）來計算。

（5）

（6）

第11圖示出了與可用於導出α和β的頂部和左側相鄰重建樣本的位置相關聯的範例。相鄰的重建樣本在編碼器和/或解碼器可以是可用的。在編碼器和/或解碼器可以導出出α和β的值。α和β的值既有可能需要也有可能不需要用信號通告。

輸入視訊可以被球面旋轉（例如使用多達3個參數（例如偏航，俯仰和滾動（roll））））。該球面旋轉可以在編碼之前執行。視訊碼化裝置可以接收旋轉參數（例如經由補充增強資訊（SEI）消息和/或高級語法（HLS）參數）。該視訊碼化裝置可以執行反向球面旋轉（例如在解碼之後以及在顯示視訊之前）。

視訊碼化裝置可以使用以下的一項或多項來確定球面旋轉參數：多遍（multi-pass）編碼和/或準則。球面旋轉（例如最佳球面旋轉）可以用準則來確定。球面旋轉可以在視訊開端或是在規則的間隔上（例如每一組畫面（GOP）或是在每一個訊框內隨機存取點（IRAP）訊框上）被確定和/或應用。球面旋轉可被確定和/或應用於某種投影格式（例如任何投影格式）。如這裡該，某些投影格式可以包括多個面部（例如CMP）。如這裡該，訊框填裝佈局可以填裝具有不同方位和/或位置的面部（例如3×2佈局），這與輸入視訊的旋轉可以是等同的。不同的訊框填裝配置可以具有與球面旋轉相關聯的不同特性和/或碼化性能。

360°視訊的面部可以至少部分基於面部旋轉而被分組。由多個面部組成的投影格式可以使用3D幾何圖形中的相鄰（例如空間相鄰）面部群組來填裝。面部群組可以包括一個或多個相鄰面部（例如空間相鄰的面部）。舉例來說，基於立方體的幾何圖形可被填裝在3×2佈局中（例如三個面部的兩列(每一個)）。如這裡該，該列可以稱為面部列。在該範例中，面部列可以由三個面部的面部群組組成。多個（例如六個不同的）組合可以用於選擇三個面部的兩個面部群組。一個或多個面部可被旋轉。舉例來說，在與4×3佈局（例如第2B圖）相比較時，在3×2佈局中可以旋轉三個面部（例如旋轉90度、180度或270度）。旋轉面部有可能會影響碼化性能。舉例來說，如果將面部旋轉90度的倍數，那麼有可能會影響訊框內碼化性能。

面部群組可以採用某種方式來放置。在指定佈局內部，面部群組可以被不同方式地放置。例如，在以3×2佈局填裝的基於立方體的幾何圖形中，頂部和底部的面部列可以交換。面部列（例如每一個面部列）可以旋轉180度。如果頂部的面部列的底部部分具有與底部的面部列的頂部部分不同的運動特性，那麼面部尺寸不會是CTU尺寸的倍數。CU劃分可以與邊界對齊。面部列可被放置成致使位於邊界的任何一側的部分幾乎都不包含運動。

對於360視訊中的訊框來說，訊框填裝配置（例如面部佈局和/或面部旋轉參數）是可以改變的。訊框填裝配置可以在序列開端或者在規則的間隔上被確定（例如對每一個GOP，對每一個RAS和/或在每一個IRAP訊框）。對更新訊框（例如每一個更新訊框）可選擇訊框填裝配置（例如最佳訊框填裝配置）。作為範例，更新訊框可以是I訊框和/或IRAP訊框。如果在每一個訓練週期選擇了相同的參數，那麼可以固定連續和不連續面部邊界的位置。在訊框填裝畫面中，3D幾何圖形中的空間相鄰面部（例如兩個空間相鄰面部）可以是不連續的。如果存在面部邊界連續的參考畫面，那麼可以為位於目前畫面中的不連續面部邊界附近的區域執行預測。

視訊碼化裝置可以適應性地對視訊進行訊框填裝。適應性訊框填裝可以基於內容分析來執行。適應性訊框填裝可以針對包含了一個或多個面部的投影格式來執行。訊框填裝畫面中的面部可被重新排列。這些面部可以旋轉，例如旋轉90度的倍數。球面旋轉可以藉由將視訊旋轉一些角度（例如任意角度）來執行，這有可能涉及三角函數，例如正弦和/或餘弦。適應性訊框填裝可以與球面旋轉結合使用，這樣做可以減小用於球面旋轉搜尋的參數空間。作為範例，如這裡該，用於球面旋轉搜尋的旋轉參數搜尋範圍可以被減小（例如減小到3D空間的1/8）。適應性訊框填裝可用於確定旋轉參數值的剩餘組合。在適應性訊框填裝中，視訊碼化裝置可以以週期性的方式（例如在規則間隔上）週期性改變和/或更新填裝配置，由此可以減小接縫偽像的可見性。舉例來說，視訊碼化裝置可以在每一個I訊框改變和/或更新填裝配置。在訊框填裝配置之間（例如在兩個連續的之間），連續和不連續面部邊界的位置是可以改變的。

作為範例，用於360度視訊碼化的訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以基於內容分析來選擇。內容分析可以指示面部（例如訊框填裝畫面中的每一個面部）的方位（例如最佳方位）和/或位置。

視訊碼化裝置可以選擇面部群組。面部群組選擇可以考慮面部旋轉。可包含多個面部的投影格式可以用3D幾何圖形中的相鄰（例如空間相鄰）面部的群組來填裝。面部群組可以包括相鄰面部（例如訊框填裝畫面中的空間相鄰面部），其可被稱為面部群組。作為範例，基於立方體的幾何圖形可以用3×2佈局填裝，例如兩列各自包含三個面部。如這裡該，訊框填裝畫面中的列可被稱為面部列。面部列可包括三個面部的面部群組。六種不同的組合可以用於選擇三個面部的兩個面部群組。與4×3佈局（如第2B圖所示）相比較，在3×2佈局中可以旋轉三個面部（例如旋轉90°、180°或270°）。旋轉面部(例如將其旋轉90度的倍數）有可能會影響碼化性能（例如在訊框內碼化中）。

藉由放置面部群組，可以使得視訊碼化性能得以改善。在指定佈局內部，可以採用不同的方式來放置面部群組。舉例來說，在用3×2佈局填裝的基於立方體的幾何圖形中，頂部和底部的面部列可以交換。面部列可以旋轉180度。面部的佈置和面部旋轉有可能會影響碼化性能（例如在兩個面部列之間的不連續邊界上）。面部尺寸既可以是也可以不是CTU尺寸的倍數。如果頂部的面部列的底部部分與底部的面部列的頂部部分具有不同的運動特性，那麼CU劃分可以與邊界對齊。面部列可被佈置成致使位於邊界的任一側的部分都包含最小的運動（例如很少到沒有運動）。

訊框填裝配置（例如，面部佈局和/或面部旋轉參數）可被更新以及用信號通告，例如以週期性的方式。訊框填裝配置可以在序列開端或是在規則的間隔上被確定（例如對每一個GOP、對每一個RAS和/或在每一個IRAP訊框）。對更新訊框（例如每一個更新訊框）可選擇訊框填裝配置。為更新訊框選擇的訊框填裝配置可以是最佳的訊框填裝參數。如果連續選擇了相同的參數（例如在每一個更新訊框），那麼可以固定連續和不連續面邊界的位置。在訊框填裝畫面中，3D幾何圖形中的空間相鄰面部有可能是不連續的。如果使用具有連續面部邊界的參考畫面來預測目前畫面，那麼可以為處於目前畫面中的不連續面邊界附近的區域執行預測（例如可以減小接縫偽像的預測）。

畫面可被從一種訊框填裝配置（例如面部佈局和/或面部旋轉參數）轉換成另一種訊框填裝配置。畫面的面部可被旋轉一個角度。作為範例，包含在碼化畫面內部的面部可被分別旋轉不同的角度。在面部上可執行色度子樣本。如果執行色度子樣本，那麼面部旋轉有可能會影響色度樣本的預測。色度樣本的位置可以在被旋轉面部的水平和/或垂直方向上移動。色度平面可被重新取樣（例如在旋轉之後重新樣本）。作為補充或替換，不同的色度位置類型可以被使用。色度位置類型可以基於或者不基於面部的旋轉而改變。與色度樣本旋轉相關聯的技術可以被執行。

面部群組選擇可以考慮面部旋轉。舉例來說，在3×2佈局中有可能存在兩個面部群組的六種不同組合，其中每一個面部群組都包括三個面部。表1列出了使用第2圖所示的面部定義的面部群組的範例組合。與球面視訊的其他部分相比，球面視訊的某些部分有可能更易於碼化。將沿著赤道的三個面部分組在一起（例如在到相同的面部群組中）的組合可被考慮，並且可以減少所要考慮的組合的數量（例如減少到表1中的組合1-4）。 表1：用於選擇具有三個面部的兩個面部群組的組合。

表1中列出的組合可以對應於採用偏航、俯仰和/或滾動方式的90度、180度或270度球面旋轉。如果將適應性訊框填裝與球面旋轉結合使用，那麼球面旋轉範圍可以是3D幾何圖形的八分體（octant）。作為範例，球面旋轉範圍可被侷限於3D幾何圖形的一個八分體。球面旋轉參數搜尋可以被減小，例如減小8倍。

參考表1中的組合1-4，群組1中的三個赤道面部可被水平佈置。在訊框填裝畫面中，群組2中的剩餘的三個面部可以旋轉。±90度的旋轉有可能會影響碼化效率（例如在訊框內碼化中）。圖案可以包括對角線（例如從左上到右下）。圖案可以包括一個結構（例如規則結構，比方說定向梯度），該結構可以是使用了訊框內角度模式的預測。圖案可以包括反對角線（例如從右上到左下）。與第7圖中的模式2接近的預測方向可以使用位於目前塊的下方和左側的樣本。與第7圖中的模式34接近的預測方向分別可以使用位於目前塊的上方和右側的樣本。水平梯度可以用等式7來導出。垂直梯度可以用等式8來導出。對角梯度可以用等式9來導出。反對角梯度可以用等式10來導出。等式7-10可用於確定面部旋轉。

梯度可以是在面部之上計算的。梯度可以是在面部的個別樣本位置計算的。位於樣本位置的梯度值可被加在一起（例如用於計算整個面部之上的梯度）。梯度可以基於塊來計算。例如，所確定的可以是塊（例如每一個8×8的塊）中處於主導地位的梯度。在塊內部的樣本上可以累積梯度。累積的梯度值可被相互比較。作為範例，藉由比較塊的累積梯度值，可以確定塊的占主導地位的梯度。第12圖顯示了用於確定塊的占主導地位的梯度的範例技術。在第12圖中可以看出，α可以是用於在活動和非活動梯度間分類的參數。

對於面部來說，成本（例如碼化成本）可以被確定。面部的成本可以基於面部的梯度。對於面部來說，成本函數可以如下所示：

參考（11），

、

、

和

可以是指配給累積梯度或是占主導地位的梯度值的加權。舉例來說，當圖案的訊框內預測由反對角線組成時，可以使用以下一個或多個加權組：

，

。

組合的總的成本可以是面部的個別成本的總和。作為範例，參考表1，用於相應組合的每一個面部的成本可被加在一起，以便確定該組合的成本。組合的成本計算可以考慮面部（例如每一個面部）的方位。為了顧及不同的旋轉，面部的梯度可以不被計算（例如不被重新計算）。舉個例子，對於90度的旋轉來說，水平和垂直方向可以調換（例如垂直變成水平，水平變成垂直）。類似地，對於90°的旋轉來說，對角和反對角方向可以調換（例如對角變為反對角，反對角變為對角）。所選擇的可以是產生最低成本的組合。

在亮度分量上可以計算梯度。在亮度和兩個色度分量上可以計算個別的成本。總的成本可以藉由聚合來自分量的個別成本來獲取。例如，每一個分量的個別成本可以使用加權平均值來聚合。

面部群組可以採用某種方式來放置。作為範例，面部群組放置可以基於面部和/或面部群組內部的運動來確定。

面部群組可被指配給一列。舉例來說，面部群組可被指配給3×2佈局中的兩列之一。在已經選擇了兩個面部群組之後可以執行面部群組指配。面部列可被旋轉。作為範例，如果將面部列旋轉180度，那麼可以保留該列內部的面部的梯度之方向性。面部尺寸可以是或者不是CTU尺寸的倍數。CTU可以跨越面部列。如果CTU的多個部分的特性存在差異，那麼CU劃分將會產生較小的CU。被劃分的CU可以與相應面部列之間的邊界對齊。如果CTU的兩個部分的特性相似，那麼可以使用較大的CU。舉例來說，較大的CU可以跨越兩個面部列之間的邊界。碼化模式可以為訊框間碼化使用基於子CU的運動向量預測。大的CU的運動可以用更精細的粒度來細化（例如基於4×4的塊），這樣做可以避免將大的CU拆分成較小的CU。如果幾乎沒有運動，那麼可以應用大的CU細化。在所提供的組合中，具有三個赤道面部的群組不會旋轉180度。在表2中示出並且在第13圖中描繪了用於放置兩個面部列的範例組合。 表2：用於放置兩個面部群組的組合

運動估計可以是在面部群組上執行的。面部群組（例如每一個面部群組）的頂部和底部部分的運動量可被估計。面部群組放置可以基於運動估計來確定。作為範例，所執行的可以是簡單運動估計（例如使用固定塊尺寸以及僅僅是完整像素的運動補償）。運動向量分佈可被分析。中間運動向量可以被計算。訊框之間的差異可以被確定。舉例來說，兩個訊框之間的差異可以藉由以下方式來確定。

參考（12）和（13），

可以指示尺寸為W×H的群組中位於座標(i,j )和時間 t的樣本。φ(∙)可以用於指示距離測量函數，例如L1或L2範數。(∆x，∆y)可以指示在沒有使用運動估計的情況下可能等於(0，0)的運動向量。ε和Δt可以是分別指示了在訊框差異計算中使用的樣本數量和時間差的兩個參數。舉例來說，ε可被設定成是最小塊尺寸的倍數，例如4、8、16等等。Δt可以是0＜Δt＜T，其中T可以是適應性訊框填裝更新週期，其可被設定成T/2或GOP尺寸。

作為範例，面部群組的頂部和/或底部部分（G1和G2）內部的活動可被比較，以便選擇如何放置兩個面部群組（參見表2）。

面部接縫偽像有可能是可見的（例如在基於立方體的投影格式中）。基於立方體的投影格式不會具有處於訊框填裝畫面中的面部具有連續性的填裝配置。如果在訊框填裝畫面中，3D幾何圖形中的相鄰面部不是連續的，那麼面部接縫有可能是可見的。訊框填裝畫面中的不連續面部邊界可能會導致出現可見的面部接縫。

訊框填裝配置（例如面部佈局和/或面部旋轉參數）可被以週期性和/或非週期性的方式更新。舉例來說，訊框填裝參數可被週期性的方式或者在規則的間隔上更新。針對訊框填裝配置的更新可以修改連續或不連續的面部邊界的位置，由此可以修改可見的面部接縫的位置。更多的幾何圖形邊緣將會是可見的（例如因為相鄰面部的不連續性）。幾何圖形邊緣有可能在短時間是可見的。訊框填裝配置的更新週期有可能會很短。例如，訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以在以下各項中的每一項更新：GOP、RAS、訊框內週期等等。

參考畫面可以被識別，並且可以用於預測目前畫面。參考畫面能使目前畫面中的不連續面部邊界連續。舉例來說，如果使用參考畫面來預測目前畫面，那麼可以改善目前畫面的預測（例如對於位置是在目前畫面中的不連續面部邊界附近的區域而言）。目前畫面的接縫偽像的可見性可以被減小。考慮3×2佈局，如果使用第14圖所示的訊框填裝配置來填裝目前和參考畫面，那麼面部#1和面部#4之間的面部邊界有可能會改變（作為範例，如第14圖所示）。舉例來說，如第14圖所示，面部#1與面部#4之間的面部邊界在目前畫面中可以是不連續的，並且在參考畫面中可以是連續的。

目前畫面可以用與不同訊框填裝配置（例如面部佈局和/或面部旋轉參數）相關聯的參考畫面來預測。參考畫面可被用於預測目前畫面。參考畫面中的物件的位置、旋轉和/或形狀可以與目前畫面存在差異。在範例中（例如第14圖所示的範例中），在與目前畫面相比較時，在參考畫面可以中旋轉面部。在範例中（例如第14圖所示的範例中），在與目前畫面相比較時，面部可被放置在參考畫面中的不同位置。目前畫面中的面部與參考畫面中的面部之間的位置差異有可能很大（例如大於供運動補償使用的最大搜尋範圍）。在範例中，3D幾何圖形可被旋轉。如果旋轉了3D幾何圖形，那麼在與目前畫面相比較時，參考畫面的被投影面部中的物件有可能會扭曲，由此有可能影響時間相關性。作為範例，參考畫面的訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以被轉換，以便與目前畫面的訊框填裝配置相對齊。作為範例，在應用預測之前，可以將參考畫面轉換成目前畫面的訊框填裝配置。

如這裡上述，參考畫面的訊框填裝配置與目前畫面的訊框填裝配置可以是不同的。目前畫面和/或參考畫面的訊框填裝配置（例如訊框填裝和/或球面旋轉參數）可被確定是否存在差異。對於目前畫面和參考畫面來說，畫面參數集（PPS）id（例如pps_pic_parameter_set_id）可以被確定。目前畫面和參考畫面的一個或多個PPS id可以被比較。如果目前畫面的PPS id(一個或多個)與參考畫面的相同，那麼可以確定目前畫面和參考畫面的訊框填裝配置相同。如果目前畫面和參考畫面的PPS id(一個或多個)不同，那麼可以比較與目前畫面和參考畫面相關聯的訊框填裝配置。舉例來說，目前畫面和參考畫面的訊框填裝配置可逐個被各別比較。第15圖示出了與確定是否要對參考畫面的訊框填裝配置（例如訊框填裝和/或球面旋轉參數）進行轉換相關聯的範例。

具有不同參數值的一個或多個PPS集合可以使用相同的PPS id。當後續PPS集合與先前PPS集合具有相同的PPS id時，該後續PPS集合的內容可以取代先前PPS集合的內容。藉由施加位元串流一致性約束，可以禁止PPS集合使用與另一個PPS集合相同的PPS id（舉例，如果兩個PPS集合使用不同訊框填裝佈置）。訊框填裝配置（例如訊框填裝和/或球面旋轉參數）可被用信號通告（例如在PPS之外的高級語法結構中）。舉例來說，在適應性參數集（APS）和/或截割標頭中可以用信號通告訊框填裝配置。

面部群組選擇有可能會影響面部邊界的連續性。可能組合的子集（例如參見表1）可以被使用，這可能會影響連續面部的數量。面部群組組合的每一個的成本都可以被確定。在範例中，可選擇具有最低成本的組合。

訊框填裝配置（例如面部佈局和/或面部旋轉參數）被更新。舉例來說，在更新週期（例如每一個GOP、RAS和/或IRAP）中可以測試和排序可能的組合（參見表1）（例如基於其各自的成本）。可使用不同於在先前的更新週期中使用的訊框填裝配置的訊框填裝配置（例如排序最高的配置）。訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以取決於先前更新週期（例如先前的GOP、RAS和/或IRAP）的訊框填裝配置。從四個訊框填裝配置中可以選出兩個訊框填裝配置。

平行編碼可以被執行。藉由使用某一個訊框（例如視訊序列、GOP、RAS等等的第一個訊框），可以對不同訊框填裝配置組合基於其成本來進行排序。被排序的組合可被稱為C1、C2、C3、C4。對於一個訊框（例如第一個訊框），所使用的可以是排序最高的組合，例如C1。對後續的更新訊框，可以形成兩個組合集合，例如{C1,C2}和{C3,C4}。組合（例如，最佳化組合）可以藉由以下方式確定：

參考（14）：T 可以指示適應性訊框填裝更新週期，％可以是模數運算子，並且C可以是針對更新訊框計算的成本函數。

作為範例，用於360度視訊碼化的面部旋轉參數（例如球面旋轉參數）可以基於內容分析來選擇。內容分析可以指示球面旋轉（例如最佳化球面旋轉）。

球面旋轉有可能影響訊框填裝畫面的屬性。在訊框填裝畫面和/或具有不均勻取樣的基於立方體的投影格式（例如EAC、ACP和/或HCP）中，3D空間中的直線有可能受到面部的球面旋轉（例如面部旋轉）的影響。例如，訊框填裝畫面中的直線可以藉由使用一種球面旋轉投影而被投影為直線，並且不會藉由使用另一種球面旋轉而被投影為直線。所選擇的可以是將幾何失真最小化的球面旋轉。舉例來說，所選擇的可以是將線變直的球面旋轉。藉由執行內容分析，可以測量面部中的線條的曲率。內容分析可以包括邊緣偵測和/或使用霍夫變換(Hough transformation)。

在面部上可以執行邊緣偵測。邊緣偵測可以用於指示面部內部的結構（例如主要結構）。舉例來說，邊緣偵測可以包括基於梯度和/或拉普拉斯算子的邊緣偵測方法（例如Sobel，Robert，Prewitt或Canny）。作為範例，藉由應用濾波（例如在邊緣偵測之前應用），可以移除雜訊。在亮度分量上可以執行邊緣偵測。在亮度和色度分量上可以執行邊緣偵測（例如以替換的方式、以補充的方式和/或以各別的方式執行）。舉例來說，邊緣映射（例如最終邊緣映射）可以藉由聚合來自分量（例如每一個分量）的各別邊緣映射來確定。作為範例，個別邊緣映射可以使用個別邊緣映射的加權平均值來聚合。

霍夫變換可被應用於邊緣映射（例如在其上計算），以便識別面部中的線條（例如主線條）。霍夫變換可以使用二維陣列（例如霍夫空間累加器）來量化霍夫參數空間以及偵測線條的存在。霍夫空間累積器可以對應於不同的球面旋轉，和/或可以被分析以選擇球面旋轉（例如最佳的球面旋轉）。作為範例，所選擇的可以是將霍夫空間累積器中的峰值數量最小化和/或將這些峰值的強度最大化的球面旋轉。

訊框填裝配置（例如面部佈局和/或面部旋轉參數）可以是在序列和/或畫面級（例如使用HLS元素）用信號通告的。

面部可以被旋轉。面部旋轉有可能影響色度樣本的位置。畫面可以用一種或多種色度取樣格式來編碼。第16圖示出了畫面中的亮度和色度樣本的範例的標稱垂直和水平位置。如第16圖所示，該畫面可以用一種或多種色度取樣格式來編碼：第16A圖描繪了4:4:4色度取樣格式。第16B圖描繪了4:2:2色度取樣格式，並且第16C圖示出了4:2:0色度取樣格式。參考第16A圖至第16C圖，交叉代表亮度樣本的位置，圓圈表示色度樣本的位置。參考第16C圖，類型0的色度樣本位置是作為範例示出的。

第17A圖至第17D圖示出了在旋轉之後具有色度樣本類型0的4:2:0色度格式的色度樣本的範例標稱樣本位置。參考第17A圖至第17D圖，交叉代表亮度樣本的位置，且圓圈表示色度樣本的位置。第17A圖示出了標稱樣本位置。第17B圖示出了在逆時針旋轉90°之後的色度樣本的位置。第17C圖示出了在逆時針旋轉180°之後的色度樣本的位置。第17D圖示出了在逆時針旋轉270°之後的色度樣本的位置。

第18A圖至第18D圖示出了在旋轉之後具有色度樣本類型1的4:2:0色度格式的色度樣本的範例標稱樣本位置。參考第18A圖至第18D圖，交叉代表亮度樣本的位置，且圓圈代表色度樣本的位置。第18A圖示出了標稱樣本位置。第18B圖示出了在逆時針旋轉90°之後的色度樣本的位置。第18C圖示出了在逆時針旋轉180°之後的色度樣本的位置。第18D圖示出了在逆時針旋轉270°之後的色度樣本的位置。

第19A圖至第19D圖示出了在旋轉之後具有色度樣本類型2的4:2:0色度格式的色度樣本的範例標稱樣本位置。參考第19A圖至第19D圖，交叉代表亮度樣本的位置，且圓圈代表色度樣本的位置。第19A圖示出了標稱樣本位置。第19B圖示出了在逆時針旋轉90°之後的色度樣本的位置。第19C圖示出了在逆時針旋轉180°之後的色度樣本的位置。第19D圖示出了在逆時針旋轉270°之後的色度樣本的位置。

第20A圖至第20D圖示出了在旋轉之後具有色度樣本類型3的4:2:0色度格式的色度樣本的範例標稱樣本位置。參考第20A圖至第20D圖，交叉代表亮度樣本的位置，及圓圈代表色度樣本的位置。第20A圖示出了標稱樣本位置。第20B圖示出了在逆時針旋轉90°之後的色度樣本的位置。第20C圖示出了在逆時針旋轉180°之後的色度樣本的位置。第20D圖示出了在逆時針旋轉270°之後的色度樣本的位置。

如這裡所述，關於4:2:0色度取樣格式，第17A圖、第18A圖、第19A圖和第20A圖分別示出了用於常見色度樣本類型0、1、2和3的色度樣本的範例位置。如這裡所述，經過碼化的面部可被旋轉（例如用於轉換參考畫面的訊框填裝佈置）。在經過碼化的面部的旋轉之後，色度樣本的位置既有可能變得未對齊，也有可能變得沒有未對齊。例如，當色度取樣格式為4:4:4時，色度樣本的位置保持對齊。作為補充或替換，當色度取樣格式是4:2:2和/或4:2:0時，色度樣本的位置可能變得不對齊。作為範例，色度樣本的未對齊可以取決於旋轉的程度和/或旋轉的方向。

色度樣本位置可以與亮度樣本位置相對齊。例如，當使用4:4:4色度取樣格式時，色度樣本位置可以與亮度樣本位置相對齊。第21A圖至第21B圖示出了參考畫面中的色度樣本的範例位置。第21A圖至第21B圖示出了第14圖所示的範例場景的參考畫面中的色度樣本的位置。參考第21A圖至第21B圖，參考畫面可以使用色度樣本類型2。第21A圖示出了在訊框填裝轉換之前的參考畫面中的色度樣本的範例位置。第21B圖示出了在訊框填裝轉換之後的參考畫面中的色度樣本的範例位置。如第21A圖所示，面部內部的色度樣本可以與參考畫面中的左上的亮度樣本並置（例如，共位）。如第21B圖所示，例如，在訊框填裝轉換之後，面部內的色度樣本的位置不會與所轉換的參考畫面中的左上亮度樣本並置（例如共位）。面部內部的色度樣本的位置不與經過轉換的參考畫面中的左上亮度樣本並置（例如共位）的場景可被稱為色度樣本未對齊。

色度樣本未對齊是可以減少或避免的。色度平面可以被重新樣本，以使重新樣本的畫面中的色度位置與原始圖像（例如旋轉前的圖像）中定義的那些相對應。例如，色度平面可以在旋轉之後被重新樣本。對重新樣本可以使用一個或多個內插濾波器，例如基於雙線性、雙三次、Lanczos、樣條和/或DCT的內插濾波器(interpolation filter)。

色度樣本類型有可能受到或者不受面部旋轉的影響。不受旋轉影響的色度樣本類型（例如旋轉90°的倍數）可以用於重新樣本色度分量和/或360度視訊的訊框。不受旋轉影響的色度樣本類型（例如旋轉90°的倍數）可用於避免色度樣本未對齊（例如在4:2:0色度格式中）。分別如第17圖、第19圖和第20圖所示，用於色度樣本類型0、2和/或3的色度樣本的位置有可能受到旋轉（例如逆時針旋轉90°、180°和270°）的影響。如第18圖所示，色度樣本類型1可能不會受到旋轉的影響（例如逆時針旋轉90°、180°和270°）。如第18圖所示，色度樣本可以位於一個或多個（例如四個）亮度樣本的中心。所使用的可以是色度樣本類型1（例如在4:2:0色度樣本格式中）。

亮度樣本可被下取樣（例如在CCLM預測中）。下取樣的亮度值可被用作色度樣本的預測器。下取樣處理可以顧及色度位置類型。下取樣處理可以預測色度樣本。下取樣處理可以包括使用下取樣濾波器。下取樣濾波器可以假設色度樣本類型0。等式（4）是範例下取樣濾波器。如等式（15）中所示，等式（4）可以使用卷積運算來改寫。如等式（16）所示，等式（15）可以使用卷積核

。如這裡所述，卷積核是可以改變的（例如取決於色度樣本類型）。關於等式（16）-（26），係數

是用星號（*）表示。

卷積核

可以被等式（17）和/或（18）所示的卷積核取代（例如對於色度樣本類型3來說）。

卷積核

可以被另一個卷積核取代，例如等式（19）-（22）所示的卷積核（例如對於色度樣本類型1來說）。

卷積核

可以被另一個卷積核取代，例如等式（23）-（26）所示的卷積核（例如對於色度樣本類型2來說）。

下取樣濾波器（例如基於雙線性、雙三次、Lanczos、樣條或DCT的內插濾波器）可被用於下取樣。下取樣濾波器可以是在考慮了輸入信號的色度樣本類型的情況下應用的。該下取樣濾波器可以顧及垂直和/或水平方向上的色度偏移。該下取樣濾波器可以為亮度樣本使用加權。用於亮度樣本的下取樣濾波器的加權可以基於色度樣本類型。在位元串流中可以用信號通告色度樣本類型。用信號通告的色度樣本類型可被用於執行預測（例如CCLM預測）。色度樣本類型可被用於確定下取樣濾波器。該色度樣本類型可被用於確定垂直和/或水平方向上的色度偏移。色度樣本類型可以在序列級用信號通告（例如藉由使用語法）。表3示出了一種可以用於用信號通告色度樣本類型的範例語法。 表3：視訊參數集合

參考表3，與亮度取樣相對的色度取樣（作為範例，如表4中規定的那樣）可以用參數來指示，例如chroma_format_idc。chroma_format_idc的值可以處於0到3的範圍以內，包括0和3。表4示出了用於指示與亮度取樣相對的色度取樣的參數（例如chroma_format_id）和所導出的色度格式之間的範例關係。 表4：從chroma_format_idc中導出的色度格式

參考表3，是否存在色度樣本位置資訊可以用參數（例如chroma_loc_info_present_flag）來指示。舉例來說，當chroma_loc_info_present_flag等於1時，chroma_sample_loc_type是存在的。當chroma_loc_info_present_flag等於0時，chroma_sample_loc_type是不存在的。

參考表3和/或表4，以下的一項或多項都是可以應用的。當chroma_format_idc不等於1時，諸如chroma_loc_info_present_flag之類的參數可以等於0。色度樣本的位置可以用參數來指示，例如chroma_sample_loc_type。以下的一項或多項是可以應用的。如果chroma_format_idc等於1（舉例來說，如表4所示的那樣指示使用4:2:0色度格式），那麼chroma_sample_loc_type可以指示色度樣本的位置，其可以與第17A圖所示的位置相似。如果chroma_format_idc不等於1，那麼可以忽略諸如chroma_sample_loc_type之類的參數的值。當chroma_format_idc等於2（舉例來說，如表4中所示的那樣指示4:2:2色度格式）和/或3（如表4所示的那樣指示4:4:4色度格式）時，色度樣本的位置可以與圖16所示的位置相似。當chroma_format_idc等於0時（例如，如表4所示的那樣指示色度格式是單色），這時可不用信號通告色度樣本陣列。

作為範例，表3假設了使用VPS來攜帶色度樣本類型資訊。在其他高級參數集合（例如SPS和/或PPS）中可以攜帶與表3相似的語法結構。對於指定的chroma_sample_loc_type之值，一個或多個CCLM濾波器可用於執行CCLM。如果應用了一個以上的CCLM濾波器，那麼可以分別用信號通告要被應用於chroma_sample_loc_type的CCLM濾波器。CCLM濾波器可以與chroma_sample_loc_type一起用信號通告（例如在VPS、SPS和/或PPS中）。

表5示出了可以用於用信號通告色度樣本類型的範例語法。色度樣本類型可以基於標誌，例如CCLM賦能標誌。 表5：序列參數集合

參考表5，以下的一項或多項是可以應用的。諸如lm_chroma_enabled_flag之類的參數可以指示是否使用CCLM預測來執行色度訊框內預測。如果lm_chroma_enabled_flag等於0，那麼可以約束序列（例如目前序列）的語法元素，以免在畫面（例如目前畫面）解碼過程中使用CCLM預測。如果lm_chroma_enabled_flag不等於0，那麼可以在畫面（例如目前畫面）的解碼過程中使用CCLM預測。作為補充或替換，lm_chroma_enabled_flag有可能是不存在的（例如沒有用信號通告和/或沒有設定）。如果不存在lm_chroma_enabled_flag，那麼可以推斷出lm_chroma_enabled_flag的值等於0。SPS可被用於攜帶CCLM預測使能資訊。在其他高級參數集合（例如PPS）中可以攜帶與表5所示的範例相似的語法結構。

在訊框填裝畫面中可以定義色度樣本類型。色度樣本類型可以用面部坐標系來定義。如果使用面部坐標系來定義色度樣本類型，那麼可以根據訊框填裝畫面中的色度樣本類型和/或面部的旋轉來確定用於訊框填裝畫面中的特別面部的色度樣本的等同位置。如這裡所述，色度樣本類型可以在高級語法中用信號通告。在訊框填裝配置中可以用信號通告面部旋轉。舉例來說，如果在訊框填裝畫面中將面部逆時針旋轉270°，和/或在面部坐標系中使用色度樣本類型0，那麼訊框填裝畫面中的色度樣本可以與垂直和/或水平移動0.5個亮度樣本單位的左上方的亮度樣本（作為範例，如第17D圖所示）並置（例如處於共位），其可以對應於面部在訊框填裝畫面中的色度樣本類型3。考慮到面部旋轉（例如用於CCLM預測），可以針對訊框填裝畫面中的每一個面部來調整下取樣濾波器。亮度樣本所屬的面部（例如針對在CCLM預測中使用的每一個亮度樣本）可以被確定。下取樣濾波器可以基於所識別的面部、旋轉的量和/或方向、和/或用信號通告的色度樣本類型來選擇。作為補充或替換，在訊框填裝參數​​中可以用信號通告針對面部（例如用信號通告針對每一個別面部）的色度樣本類型。

這裡使用的360度視訊可以包括全向視訊、球面視訊、六個自由度的（6DoF）媒體和/或單像(monoscopic)和立體（3D）虛擬實境視訊等等。

第22A圖是示出了可以實施所揭露的一個或多個實施例的範例通信系統100的圖式。該通信系統100可以是為多個無線使用者提供語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統100可以藉由共用包括無線頻寬在內的系統資源而使多個無線使用者能夠存取此類內容。舉例來說，通信系統100可以採用一種或多種通道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）、零尾唯一字DFT擴展OFDM（ZT UW DTS-s OFDM）、唯一字OFDM（UW-OFDM）、資源塊過濾OFDM以及濾波器組多載波（FBMC）等等。

如第22A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路（PSTN）108、網際網路110以及其他網路112，然而應該瞭解，所揭露的實施例設想了任意數量的WTRU、基地台、網路和/或網路元件。每一個WTRU 102a、102b、102c、102d可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉例來說，任一WTRU 102a、102b、102c、102d都可被稱為“站”和/或“STA”，其可以被配置成傳輸和/或接收無線信號，並且可以包括使用者設備（UE）、行動站、固定或行動用戶單元、基於訂閱的單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網（IoT）裝置、手錶或其他可穿戴裝置、頭戴顯示器（HMD）、車輛、無人機、醫療裝置和應用（例如遠端手術）、工業裝置和應用（例如機器人和/或在工業和/或自動處理鏈環境中操作的其他無線裝置）、消費類電子裝置、以及在商業和/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、102d可被可交換地稱為UE。

通信系統100還可以包括基地台114a和/或基地台114b。每一個基地台114a、114b可以是被配置成藉由以無線方式與WTRU 102a、102b、102c、102d中的至少一個有無線介面來促使進存取一個或多個通信網路（例如CN106/115、網際網路110、和/或其他網路112）的任何類型的裝置。例如，基地台114a、114b可以是基地收發台（BTS）、節點B、e節點B、本地節點B、家庭e節點 B、gNB、NR節點B、網站控制器、存取點（AP）、以及無線路由器等等。雖然每一個基地台114a、114b都被描述成了單個元件，然而應該瞭解，基地台114a、114b可以包括任何數量的互連基地台和/或網路元件。

基地台114a可以是RAN 104/113的一部分，並且該RAN還可以包括其他基地台和/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等等。基地台114a和/或基地台114b可被配置成在被稱為胞元（未顯示）的一個或多個載波頻率上傳輸和/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合之中。胞元可以為可能相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如，與基地台114a相關聯的胞元可被分為三個扇區。由此，在一個實施例中，基地台114a可以包括三個收發器，也就是說，胞元的每一個扇區有一個。在實施例中，基地台114a可以採用多輸入多輸出（MIMO）技術，並且可以為胞元的每一個扇區利用多個收發器。例如，藉由使用波束成形，可以在期望的空間方向上傳輸和/或接收信號。

基地台114a、114b可以藉由空中介面116來與WTRU 102a、102b、102c、102d中的一個或多個進行通信，其中該空中介面可以是任何適當的無線通訊鏈路（例如射頻（RF）、微波、釐米波、微米波、紅外線（IR）、紫外線（UV）、可見光等等）。空中介面116可以使用任何適當的無線電存取技術（RAT）來建立。

更具體地說，如上所述，通信系統100可以是多重存取系統，並且可以採用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基地台114a與WTRU 102a、102b、102c可以實施無線電技術，例如通用行動電信系統（UMTS）陸地無線電存取（UTRA），其可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括如高速封包存取（HSPA）和/或演進型HSPA（HSPA+）之類的通信協定。HSPA可以包括高速下鏈（DL）封包存取（HSDPA）和/或高速UL封包存取（HSUPA）。

在實施例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如演進型UMTS陸地無線電存取（E-UTRA），其可以使用長期演進（LTE）和/或先進LTE（LTE-A）和/或先進LTA Pro（LTE-A Pro）來建立空中介面116。

在實施例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如NR無線電存取，其可以建立使用新型無線電（NR）的空中介面116。

在實施例中，基地台114a和WTRU 102a、102b、102c可以實施多種無線電存取技術。例如，基地台114a和WTRU 102a、102b、102c可以共同實施LTE無線電存取和NR無線電存取（例如使用雙連接（DC）原理）。由此，WTRU 102a、102b、102c利用的空中介面可以多種類型的無線電存取技術和/或向/從多種類型的基地台（例如eNB和gNB）發送的傳輸為特徵。

在其他實施例中，基地台114a和WTRU 102a、102b、102c可以實施無線電技術，例如IEEE 802.11（即無線保真度\（WiFi））、IEEE 802.16（全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球行動通信系統（GSM）、用於GSM演進的增強資料速率（EDGE）以及GSM EDGE（GERAN）等等。

第22A圖中的基地台114b可以是無線路由器、本地節點B、家庭e節點B或存取點，並且可以利用任何適當的RAT來促成局部區域中的無線連接，例如營業場所、住宅、車輛、校園、工業設施、空中走廊（例如供無人機使用）以及道路等等。在一個實施例中，基地台114b與WTRU 102c、102d可以實施IEEE 802.11之類的無線電技術來建立無線區域網路（WLAN）。在實施例中，基地台114b與WTRU 102c、102d可以藉由實施IEEE 802.15之類的無線電技術來建立無線個人區域網路（WPAN）。在再一個實施例中，基地台114b和WTRU 102c、102d可藉由利用基於蜂巢的RAT（例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等）來建立微微胞元或毫微微胞元。如第22A圖所示，基地台114b可以直連到網際網路110。由此，基地台114b不需要經由CN 106/115來存取網際網路110。

RAN 104/113可以與CN 106/115進行通信，該CN可以是被配置成向WTRU 102a、102b、102c、102d中的一個或多個提供語音、資料、應用和/或網際網路協定語音（VoIP）服務的任何類型的網路。該資料可以具有不同的服務品質（QoS）需求，例如不同的輸送量需求、潛伏期需求、容錯需求、可靠性需求、資料輸送量需求、以及行動性需求等等。CN 106/115可以提供呼叫控制、記帳服務、基於行動位置的服務、預付費呼叫、網際網路連接、視訊分發等等，和/或可以執行使用者驗證之類的高級安全功能。雖然在第22A圖中沒有顯示，然而應該瞭解，RAN 104/113和/或CN 106/115可以直接或間接地和其他那些與RAN 104/113採用相同RAT或不同RAT的其他RAN進行通信。例如，除了與可利用NR無線電技術的RAN 104/113相連之外，CN 106/115還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的別的RAN（未顯示）通信。

CN 106/115還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110和/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用了共同通信協定（例如TCP/IP網際網路協定族中的傳輸控制協定（TCP）、使用者資料報協定（UDP）和/或網際網路協定（IP））的全球性互聯電腦網路及裝置之系統。網路112可以包括由其他服務供應商擁有和/或操作的有線和/或無線通訊網路。例如，網路112可以包括與一個或多個RAN相連的另一個CN，其中該一個或多個RAN可以與RAN 104/113使用相同RAT或不同RAT。

通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模式能力（例如，WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器）。例如，第22A圖所示的WTRU 102c可被配置成與採用基於蜂巢的無線電技術的基地台114a通信，以及與可以採用IEEE 802無線電技術的基地台114b通信。

第22B圖是示出了範例WTRU 102的系統圖式。如第22B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統（GPS）晶片組136以及其他週邊設備138等。應該瞭解的是，在保持符合實施例的同時，WTRU 102還可以包括前述元件的任何子組合。

處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、多個微處理器、與DSP核心關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、其他任何類型的積體電路（IC）以及狀態機等等。處理器118可以執行信號解碼、資料處理、功率控制、輸入/輸出處理、和/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120，收發器120可以耦合至傳輸/接收元件122。雖然第22B圖將處理器118和收發器120描述成各別組件，然而應該瞭解，處理器118和收發器120也可以整合在一個電子填裝或晶片中。

傳輸/接收元件122可被配置成經由空中介面116來傳輸或接收往或來自基地台（例如基地台114a）的信號。舉個例子，在一個實施例中，傳輸/接收元件122可以是被配置成傳輸和/或接收RF信號的天線。作為範例，在實施例中，傳輸/接收元件122可以是被配置成傳輸和/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施例中，傳輸/接收元件122可被配置成傳輸和/或接收RF和光信號兩者。應該瞭解的是，傳輸/接收元件122可以被配置成傳輸和/或接收無線信號的任何組合。

雖然在第22B圖中將傳輸/接收元件122描述成是單個元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說，WTRU 102可以採用MIMO技術。由此，在一個實施例中，WTRU 102可以包括兩個或多個藉由空中介面116來傳輸和接收無線電信號的傳輸/接收元件122（例如多個天線）。

收發器120可被配置成對傳輸/接收元件122將要傳輸的信號進行調變，以及對傳輸/接收元件122接收的信號進行解調。如上所述，WTRU 102可以具有多模式能力。因此，收發器120可以包括使WTRU 102經由多種RAT（例如NR和IEEE 802.11）來進行通信的多個收發器。

WTRU 102的處理器118可以耦合到揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128（例如液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元），並且可以接收來自揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128（例如液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128輸出使用者資料。此外，處理器118可以從諸如非可移記憶體130和/或可移記憶體132之類的任何適當的記憶體中存取資訊，以及將資料存入這些記憶體。非可移記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或是其他任何類型的記憶存放裝置。可移記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。在其他實施例中，處理器118可以從那些並非實體位於WTRU 102的記憶體存取資訊，以及將資料存入這些記憶體(作為範例，在伺服器或家用電腦（未顯示）上)。

處理器118可以接收來自電源134的電力，並且可被配置分發和/或控制用於WTRU 102中的其他組件的電力。電源134可以是為WTRU 102供電的任何適當裝置。例如，電源134可以包括一個或多個乾電池組（如鎳鎘（Ni-Cd）、鎳鋅（Ni-Zn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池以及燃料電池等等。

處理器118還可以耦合到GPS晶片組136，該晶片組可被配置成提供與WTRU 102的目前位置相關的位置資訊（例如經度和緯度）。WTRU 102可以藉由空中介面116接收來自基地台（例如基地台114a、114b）的加上或取代GPS晶片組136資訊之位置資訊，和/或根據從兩個或多個附近基地台接收的信號時序來確定其位置。應該瞭解的是，在保持符合實施例的同時，WTRU 102可以經由任何適當的定位方法來獲取位置資訊。

處理器118還可以耦合到其他週邊設備138，其中該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或多個軟體和/或硬體模組。例如，週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機（用於照片和視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、Bluetooth®模組、調頻（FM）無線電單元、數位音樂播放機、媒體播放機、視訊遊戲機模組、網際網路瀏覽器、虛擬實境和/或增強實境（VR/AR）裝置以及活動追蹤器等等。週邊設備138可以包括一個或多個感測器，該感測器可以是以下的一個或多個：陀螺儀、加速度計、霍爾效應感測器、計磁器、方位感測器、接近感測器、溫度感測器、時間感測器；地理位置感測器、高度計、光感測器、觸摸感測器、計磁器、氣壓計、手勢感測器、生物測定感測器和/或濕度感測器。

WTRU 102可以包括全雙工無線電裝置，其中對於該無線電裝置來說，一些或所有信號（例如與用於UL（例如對傳輸而言）和下鏈（例如對接收而言）兩者的特定別訊框相關聯）的接收或傳輸可以是並行和/或同時的。全雙工無線電裝置可以包括經由硬體（例如扼流圈）或是憑藉處理器（例如各別的處理器（未顯示）或是憑藉處理器118）的信號處理來減小和/或實質消除自干擾的介面管理單元。在實施例中，WTRU 102可以包括傳輸或接收一些或所有信號（例如與用於UL（例如對傳輸而言）或下鏈（例如對接收而言）的特別子訊框相關聯）的半雙工無線電裝置。舉例而言，視訊碼化裝置可包括WTRU，例如WTRU 102。

第22C圖是示出了根據實施例的RAN 104和CN 106的系統圖式。如上所述，RAN 104可以在空中介面116上採用E-UTRA無線電技術來與WTRU 102a、102b、102c進行通信。該RAN 104還可以與CN 106進行通信。

RAN 104可以包括e節點B 160a、160b、160c，然而應該瞭解，在保持符合實施例的同時，RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b、160c都可以包括在空中介面116上與WTRU 102a、102b、102c通信的一個或多個收發器。在一個實施例中，e節點B 160a、160b、160c可以實施MIMO技術。由此，舉例來說，e節點B 160a可以使用多個天線來向WTRU 102a傳輸無線信號，和/或以及接收來自WTRU 102a的無線信號。

每一個e節點B 160a、160b、160c都可以關聯於特別胞元（未顯示），並且可被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程等等。如第22C圖所示，e節點B 160a、160b、160c彼此可以藉由X2介面進行通信。

第22C圖所示的CN 106可以包括行動性管理實體（MME）162、服務閘道（SGW）164以及封包資料網路（PDN）閘道（或PGW）166。雖然前述的每一個元件都被描述成是CN 106的一部分，然而應該瞭解，這其中的任一元件都可以由CN操作者之外的實體擁有和/或操作。

MME 162可以經由S1介面連接到RAN 104中的每一個e節點B 160a、160b、160c，並且可以充當控制節點。例如，MME 162可以負責驗證WTRU 102a、102b、102c的使用者，執行承載啟動/去啟動，以及在WTRU 102a、102b、102c的初始附著過程中選擇特別的服務閘道等等。MME 162還可以提供用於在RAN 104與採用其他無線電技術（例如GSM及/或WCDMA）的其他RAN（未顯示）之間進行切換的控制平面功能。

SGW 164可以經由S1介面連接到RAN 104中的每一個e節點B 160a、160b、160c。SGW 164通常可以路由和轉發往/來自WTRU 102a、102b、102c的使用者資料封包。SGW 164還可以執行其他功能，例如在eNB間的交接期間錨定使用者平面，在DL資料可供WTRU 102a、102b、102c使用時觸發傳呼，以及管理並儲存WTRU 102a、102b、102c的上下文等等。

SGW 164可以連接到PGW 146，該PGW 166可以為WTRU 102a、102b、102c提供至封包交換網路（例如網際網路 110）的存取，以便促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。

CN 106可以促成與其他網路的通信。例如，CN 106可以為WTRU 102a、102b、102c提供至電路切換式網路（例如PSTN 108）的存取，以便促成WTRU 102a、102b、102c與傳統的陸線通信裝置之間的通信。例如，CN 106可以包括一個IP閘道（例如IP多媒體子系統（IMS）伺服器）或與之進行通信，並且該IP閘道可以充當CN 106與PSTN 108之間的介面。此外，CN 106可以為WTRU 102a、102b、102c提供至其他網路112的存取，其中該網路可以包括其他服務供應商擁有和/或操作的其他有線及/或無線網路。

雖然在第22A圖至第22D圖中將WTRU描述成了無線終端，然而應該想到的是，在某些代表實施例中，此類終端與通信網路可以使用（例如臨時或永久性）有線通信介面。

在代表的實施例中，其他網路112可以是WLAN。

採用基礎架構基本服務集（BSS）模式的WLAN可以具有用於該BSS的存取點（AP）以及與該AP相關聯的一個或多個站（STA）。該AP可以存取或是有介面到分散式系統（DS）或是將訊務送入和/或送出BSS的別的類型的有線/無線網路。源於BSS外部而往STA的訊務可以藉由AP到達並可被遞送至STA。源自STA而往BSS外部的目的地的訊務可被發送至AP，以便遞送到相應的目的地。處於BSS內部的STA之間的訊務可以藉由AP來發送，例如在源STA可以向AP發送訊務並且AP可以將訊務遞送至目的地STA的情況下。處於BSS內部的STA之間的訊務可被認為和/或稱為點到點訊務。該點到點訊務可以在源與目的地STA之間（例如在其間直接）用直接鏈路建立（DLS）來發送。在某些代表實施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS（TDLS））。舉例來說，使用獨立BSS（IBSS）模式的WLAN可以不具有AP，並且處於該IBSS內部或是使用該IBSS的STA（例如所有STA）彼此可以直接通信。在這裡，IBSS通信模式有時可被稱為“專設(ad-hoc)”通信模式。

在使用802.11ac基礎設施操作模式或類似的操作模式時，AP可以在固定通道（例如主通道）上傳輸信標。該主通道可以具有固定寬度（例如20MHz的頻寬）或是經由傳訊動態設定的寬度。主通道可以是BSS的操作通道，並且可被STA用來與AP建立連接。在某些典代表實施例中，所實施的可以是具有衝突避免的載波感測多重存取（CSMA/CA），例如在802.11系統中。對於CSMA/CA來說，包括AP在內的STA（例如每一個STA）可以感測主通道。如果特別STA感測到/偵測到和/或確定主通道繁忙，那麼該特定STA可以回退。在指定的BSS中，在任何指定時間都有一個STA（例如只有一個站）可以進行傳輸。

高輸送量（HT）STA可以使用寬度為40MHz的通道來進行通信，例如經由將寬度為20MHz的主通道與寬度為20MHz的相鄰或不相鄰通道相結合來形成寬度為40MHz的通道。

超高輸送量（VHT）STA可以支援寬度為20MHz、40MHz、80MHz和/或160MHz的通道。40MHz和/或80MHz通道可以藉由組合連續的20MHz通道來形成。160MHz通道可以藉由組合8個連續的20MHz通道或者藉由組合兩個不連續的80MHz通道（這種組合可被稱為80+80配置）來形成。對於80+80配置來說，在通道編碼之後，資料可被傳遞並經過一個分段解析器，該分段解析器可以將資料分成兩個串流。在每一個串流上可以各別執行反向快速傅立葉變換（IFFT）處理以及時域處理。該串流可被映射在兩個80MHz通道上，並且資料可以由執行傳輸的STA來傳輸。在執行接收的STA的接收器上，用於80+80配置的上述操作可以是相反的，並且組合資料可被發送至媒體存取控制（MAC）。

802.11af和802.11ah支持次1GHz的操作模式。相對於802.11n和802.11ac中所使用的，在802.11af和802.11ah中通道操作頻寬和載波有所縮減。802.11af在TV白空間（TVWS）頻譜中支援5MHz、10MHz和20MHz頻寬，並且802.11ah支援使用非TVWS頻譜的1MHz、2MHz、4MHz、8MHz和16MHz頻寬。依照代表實施例，802.11ah可以支援儀錶類型控制/機器類型通信（例如巨集覆蓋區域中的MTC裝置）。MTC裝置可以具有某種能力，例如包含了支援（例如只支持）某些和/或有限頻寬在內的受限能力。MTC裝置可以包括電池，並且該電池的電池壽命高於臨界值（例如用於保持很長的電池壽命）。

可以支援多個通道和通道頻寬的WLAN系統（例如802.11n、802.11ac、802.11af以及802.11ah）包含了一個可被指定成主通道的通道。該主通道的頻寬可以等於BSS中的所有STA所支援的最大共同操作頻寬。主通道的頻寬可以由STA設定和/或限制，其中該STA源自在支援最小頻寬操作模式的BSS中操作的所有STA。在802.11ah的範例中，即使BSS中的AP和其他STA支持2 MHz、4 MHz、8 MHz、16 MHz和/或其他通道頻寬操作模式，但對支援（例如只支援）1MHz模式的STA（例如MTC類型的裝置）來說，主通道的寬度可以是1MHz。載波感測和/或網路分配向量（NAV）設定可以取決於主通道的狀態。如果主通道繁忙（例如因為STA（其只支援1MHz操作模式）對AP進行傳輸），那麼即使大多數的頻帶保持空閒並且可供使用，也可以認為整個可用頻帶繁忙。

在美國，可供802.11ah使用的可用頻帶是902 MHz到928 MHz。在韓國，可用頻帶是917.5MHz到923.5MHz。在日本，可用頻帶是916.5MHz到927.5MHz。依照國家碼，可用於802.11ah的總頻寬是6MHz到26MHz。

第22D圖是示出了根據實施例的RAN 113和CN 115的系統圖式。如上所述，RAN 113可以藉由空中介面116採用NR無線電技術來與WTRU 102a、102b、102c進行通信。RAN 113還可以與CN 115進行通信。

RAN 113可以包括gNB 180a、180b、180c，但是應該瞭解，在保持符合實施例的同時，RAN 113可以包括任何數量的gNB。每一個gNB 180a、180b、180c都可以包括一個或多個收發器，以便藉由空中介面116來與WTRU 102a、102b、102c通信。在一個實施例中，gNB 180a、180b、180c可以實施MIMO技術。例如，gNB 180a、180b、180c可以利用波束成形來向和/或從gNB 180a、180b、180c傳輸和/或接收信號。由此，舉例來說，gNB 180a可以使用多個天線來向WTRU 102a傳輸無線信號，和/或接收來自WTRU 102a的無線信號。在實施例中，gNB 180a、180b、180c可以實施載波聚合技術。例如，gNB 180a可以向WTRU 102a傳輸多個分量載波（未顯示）。這些分量載波的子集可以處於無授權頻譜上，而剩餘分量載波則可以處於授權頻譜上。在實施例中，gNB 180a、180b、180c可以實施協作多點（CoMP）技術。例如，WTRU 102a可以接收來自gNB 180a和gNB 180b（和/或gNB 180c）的協作傳輸。

WTRU 102a、102b、102c可以使用與可縮放參數配置相關聯的傳輸來與gNB 180a、180b、180c進行通信。例如，對於不同的傳輸、不同的胞元和/或不同的無線傳輸頻譜部分來說，OFDM符號間隔和/或OFDM子載波間隔可以是不同的。WTRU 102a、102b、102c可以使用不同或可縮放長度的子訊框或傳輸時間間隔（TTI）（例如包含了不同數量的OFDM符號和/或持續不同的絕對時間長度）來與gNB 180a、180b、180c進行通信。

gNB 180a、180b、180c可被配置成與採用分立配置和/或非分立配置的WTRU 102a、102b、102c進行通信。在分立配置中，WTRU 102a、102b、102c可以在不存取其他RAN（例如e節點B 160a、160b、160c）的情況下與gNB 180a、180b、180c進行通信。在分立配置中，WTRU 102a、102b、102c可以利用gNB 180a、180b、180c中的一個或多個作為行動錨點。在分立配置中，WTRU 102a、102b、102c可以使用無授權頻帶中的信號來與gNB 180a、180b、180c進行通信。在非分立配置中，WTRU 102a、102b、102c會在與別的RAN（例如e節點B 160a、160b、160c）進行通信/相連的同時與gNB 180a、180b、180c進行通信/相連。舉例來說，WTRU 102a、102b、102c可以藉由實施DC原理而以實質同時的方式與一個或多個gNB 180a、180b、180c以及一個或多個e節點B 160a、160b、160c進行通信。在非分立配置中，e節點B 160a、160b、160c可以充當WTRU 102a、102b、102c的行動錨點，並且gNB 180a、180b、180c可以提供附加的覆蓋和/或輸送量，以便為WTRU 102a、102b、102c提供服務。

每一個gNB 180a、180b、180c都可以關聯於特別胞元（未顯示），並且可以被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程、支援網路截割、實施雙連線性、實施NR與E-UTRA之間的交互工作、路由往使用者平面功能（UPF）184a、184b的使用者平面資料、以及路由往存取和行動性管理功能（AMF）182a、182b的控制平面資訊等等。如第22D圖所示，gNB 180a、180b、180c彼此可以藉由X2介面通信。

第22D圖所示的CN 115可以包括至少一個AMF 182a、182b，至少一個UPF 184a、184b，至少一個會話管理功能（SMF）183a、183b，並且有可能包括資料網路（DN）185a、185b。雖然每一個前述元件都被描述成CN 115的一部分，但是應該瞭解，這其中的任一元件都可以被CN操作者之外的其他實體擁有和/或操作。

AMF 182a、182b可以經由N2介面連接到RAN 113中的一個或多個gNB 180a、180b、180c，並且可以充當控制節點。例如，AMF 182a、182b可以負責驗證WTRU 102a、102b、102c的使用者、支援網路截割（例如處理具有不同需求的不同PDU會話）、選擇特別的SMF 183a、183b、管理註冊區域、終止NAS傳訊，以及行動性管理等等。AMF 182a、1823b可以使用網路截割，以便基於WTRU 102a、102b、102c使用的服務類型來定制為WTRU 102a、102b、102c提供的CN支援。作為範例，針對不同的用例，可以建立不同的網路截割，例如依賴於超可靠低潛伏期（URLLC）存取的服務、依賴於增強型大規模行動寬頻（eMBB）存取的服務、和/或用於機器類型通信（MTC）存取的服務等等。AMF 162可以提供用於在RAN 113與採用其他無線電技術（例如LTE、LTE-A、LTE-A Pro和/或諸如WiFi之類的非3GPP存取技術）的其他RAN（未顯示）之間切換的控制平面功能。

SMF 183a、183b可以經由N11介面連接到CN 115中的AMF 182a、182b。SMF 183a、183b還可以經由N4介面連接到CN 115中的UPF 184a、184b。SMF 183a、183b可以選擇和控制UPF 184a、184b，並且可以藉由UPF 184a、184b來配置訊務之路由。SMF 183a、183b可以執行其他功能，例如管理和分配UE IP位址、管理PDU會話、控制策略實施和QoS、以及提供下鏈資料通知等等。PDU會話類型可以是基於IP的、不基於IP的以及基於乙太網的等等。

UPF 184a、184b可以經由N3介面連接到RAN 113中的一個或多個gNB 180a、180b、180c，這樣可以為WTRU 102a、102b、102c提供至封包交換網路（例如網際網路110）的存取，以促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。UPF 184a、184b可以執行其他功能，例如路由和轉發封包、實施使用者平面策略、支援多連接(multi-homed)PDU會話、處理使用者平面QoS、緩衝下鏈封包、以及提供行動性錨定等等。

CN 115可以促成與其他網路的通信。例如，CN 115可以包括或者可以與充當CN 115與PSTN 108之間的介面的IP閘道（例如IP多媒體子系統（IMS）伺服器）進行通信。此外，CN 115可以為WTRU 102a、102b、102c提供針對其他網路112的存取，其可以包括其他服務供應商擁有和/或操作的其他有線或無線網路。在一個實施例中，WTRU 102a、102b、102c可以經由到UPF 184a、184b的N3介面以及介於UPF 184a、184b與DN 185a、185b之間的N6介面而藉由UPF 184a、184b連接到本地資料網路（DN）185a、185b。

有鑒於第22A圖至第22D圖以及關於第22A圖至第22D圖的相應描述，在這裡對照以下的一項或多項描述的一個或多個或所有功能可以由一個或多個模擬裝置（未顯示）來執行：WTRU 102a-d、基地台114a-b、e節點B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-ab、UPF 184a-b、SMF 183a-b、DN185 a-b和/或這裡描述的其他任何裝置。這些模擬裝置可以是被配置成模擬這裡一個或多個或所有功能的一個或多個裝置。舉例來說，這些模擬裝置可用於測試其他裝置和/或模擬網路和/或WTRU功能。

模擬裝置可被設計成在實驗室環境和/或操作者網路環境中實施其他裝置的一項或多項測試。例如，該一個或多個模擬裝置可以在被完全或部分作為有線和/或無線通訊網路一部分實施和/或部署的同時，執行一個或多個或所有功能，以便測試通信網路內部的其他裝置。該一個或多個模擬裝置可以在被臨時作為有線和/或無線通訊網路的一部分實施/部署的同時執行一個或多個或所有功能。該模擬裝置可以直接耦合到別的裝置以進行測試，和/或可以使用空中無線通訊來執行測試。

一個或多個模擬裝置可以在未被作為有線和/或無線通訊網路一部分實施/部署的同時，執行包括所有功能在內的一個或多個功能。例如，該模擬裝置可以在測試實驗室和/或未被部署（例如測試）的有線和/或無線通訊網路的測試場景中使用，以便實施關於一個或多個組件的測試。該一個或多個模擬裝置可以是測試裝置。模擬裝置可以使用直接的RF耦合和/或經由RF電路（作為範例，其可以包括一個或多個天線）的無線通信來傳輸和/或接收資料。

這裡描述的過程和技術可以在引入電腦可讀媒體中以供電腦或處理器運行的電腦程式、軟體和/或韌體中實施。關於電腦可讀媒體的範例包括但不侷限於電信號（經由有線和/或無線連接傳輸）和/或電腦可讀儲存媒體。關於電腦可讀儲存媒體的範例包括但不侷限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶裝置、磁媒體（例如內部硬碟和可移磁片，但是並不侷限於此）、磁光媒體、和/或光媒體（例如CD-ROM碟片和/或數位多用途碟片（DVD））。與軟體關聯的處理器可以用於實施在WTRU、終端、基地台、RNC或任何電腦主機使用的射頻收發器。

FOV‧‧‧視場 MV‧‧‧運動向量 N2、N3、S1、X2、Xn‧‧‧介面 100‧‧‧通信系統 102、102a、102b、102c、102d‧‧‧無線傳輸/接收單元（WTRU） 104/113‧‧‧無線電存取網路（RAN） 106/115‧‧‧核心網路（CN） 108‧‧‧公共交換電話網路（PSTN） 110‧‧‧網際網路 112‧‧‧其他網路 114a、114b‧‧‧基地台 116‧‧‧空中介面 118‧‧‧處理器 120‧‧‧收發器 122‧‧‧傳輸/接收元件 124‧‧‧揚聲器/麥克風 126‧‧‧小鍵盤 128‧‧‧顯示器/觸控板 130‧‧‧非可移記憶體 132‧‧‧可移記憶體 134‧‧‧電源 136‧‧‧全球定位系統（GPS）晶片組 138‧‧‧週邊設備 160a、160b、160c‧‧‧e節點B 162‧‧‧行動性管理實體（MME） 164‧‧‧服務閘道（SGW） 166‧‧‧封包資料網路（PDN）閘道（或PGW） 180a、180b、180c‧‧‧gNB 182a、182b‧‧‧路由往存取和行動性管理功能（AMF） 184a、184b‧‧‧路由往使用者平面功能（UPF） 183a、183b‧‧‧會話管理功能（SMF） 184a、184b‧‧‧路由往使用者平面功能（UPF） 185a、185b‧‧‧資料網路（DN） 402‧‧‧輸入視訊訊號 404‧‧‧變換模組 406‧‧‧量化模組 408‧‧‧熵碼化單元 420、502‧‧‧位元串流 460‧‧‧預測 462‧‧‧運動預測 464‧‧‧參考畫面儲存器 508‧‧‧熵解碼單元 510‧‧‧反量化單元

404:變換模組

406:量化模組

408:熵碼化單元

420、502:位元串流

460:預測

462:運動預測

464:參考畫面儲存器

508:熵解碼單元

510:反量化單元

512:反變換單元

560:空間預測單元

562:時間預測單元

第1A圖示出了採用經度和緯度的範例球面取樣。 第1B圖示出了具有等距長方(equirectangular)投影的範例2D規劃器（planner）。 第2A圖示出了與方體映射(cubemap)投影（CMP）相關聯的範例三維（3D）幾何結構。 第2B圖示出了用於與CMP相關聯的六個面部的範例二維（2D）規劃器。 第3圖示出了360度視訊系統的範例實施方式。 第4圖示出了關於編碼器的範例。 第5圖示出了關於解碼器的範例。 第6圖示出了訊框內預測中的範例參考樣本。 第7圖示出了關於訊框內預測方向的範例指示。 第8圖示出了關於具有一個運動向量的訊框間預測的範例。 第9圖示出了參考樣本的範例填充處理。 第10圖示出了與合併過程相關聯的範例。 第11圖示出了與跨分量的線性模型預測相關聯的範例。 第12圖示出了與確定占主導地位的梯度相關聯的範例。 第13A圖至第13D圖示出了關於面部群組定位的範例性組合。 第14圖示出了與訊框間預測相關聯的範例。 第15圖示出了與參考畫面轉換相關聯的範例。 第16A圖至第16C圖示出了與畫面的亮度和色度樣本相關聯的範例。 第17A圖至第17D圖示出了與畫面的亮度和色度樣本相關聯的範例。 第18A圖至第18D圖示出了與畫面的亮度和色度樣本相關聯的範例。 第19A圖至第19D圖示出了與畫面的亮度和色度樣本相關聯的範例。 第20A圖至第20D圖示出了與畫面的亮度和色度樣本相關聯的範例。 第21A圖至第21B圖示出了與面部旋轉之前和之後的畫面的色度樣本相關聯的範例。 第22A圖是可以實施所揭露的一個或多個實施例的範例通信系統的系統圖式。 第22B圖是可以在第22A圖所示的通信系統內部使用的範例無線傳輸/接收單元（WTRU）的系統圖式。 第22C圖是可以在第22A圖所示的通信系統內部使用的範例無線電存取網路（RAN）和範例核心網路（CN）的系統圖式。 第22D圖是可以在第22A圖所示的通信系統內部使用的另一個範例RAN和另一個範例CN的系統圖式。

402‧‧‧輸入視訊訊號

404‧‧‧變換模組

406‧‧‧量化模組

408‧‧‧熵碼化單元

420‧‧‧位元串流

460‧‧‧預測

462‧‧‧運動預測

464‧‧‧參考畫面儲存器

Claims (17)

1. 一種用於視訊碼化的裝置，包括：一處理器，該處理器被配置成：獲取被分組成複數隨機存取分段(RAS)的複數畫面，一畫面包括複數面部，其中週期性地更新對應於被分組成該複數RAS之該複數畫面的一訊框填裝配置；為一第一RAS獲取指示一面部佈局和一面部旋轉的一第一訊框填裝配置；為一第二RAS獲取與為該第一RAS的該第一訊框填裝配置不同的一第二訊框填裝配置；以及將為該第一RAS的該訊框填裝配置的一第一指示和為該第二RAS的該訊框填裝配置的一第二指示包含在一視訊位元串流中。
2. 如請求項1所述的裝置，其中為了獲取為該第一RAS的該第一訊框填裝配置，該處理器被配置成：確定包括在該第一RAS的一第一畫面中的用於一個或多個面部的一梯度；基於用於該一個或多個面部的該梯度來確定與在複數訊框填裝配置中碼化該第一畫面相關聯的潛在成本，其中該複數訊框填裝配置指示包括在該第一畫面中的該一個或多個面部的一位置和一旋轉；以及從該複數訊框填裝配置獲取一具有一最低成本的訊框填裝配置。
3. 如請求項2所述的裝置，其中該第一RAS的該第一畫面是一訊框內碼化畫面。
4. 如請求項2所述的裝置，其中用於包括在該第一RAS的該第一畫面中的一面部的該梯度是一占主導地位的梯度，以及其中用於包括在該第一RAS的該第一畫面中的該面部的該梯度是在亮度樣本上計算的。
5. 一種用於視訊碼化的方法，包括：獲取被分組成複數隨機存取分段(RAS)的複數畫面，一畫面包括複數面部，其中週期性地更新對應於被分組成該複數RAS之該複數畫面的一訊框填裝配置；為一第一RAS獲取指示一面部佈局和一面部旋轉的一第一訊框填裝配置；為一第二RAS獲取與為該第一RAS的該第一訊框填裝配置不同的一第二訊框填裝配置；以及將為該第一RAS的該訊框填裝配置的一第一指示和為該第二RAS的該訊框填裝配置的一第二指示包含在一視訊位元串流中。
6. 如請求項5所述的方法，其中為了獲取為該第一RAS的該訊框填裝配置，該方法包括：確定用於包括在該第一RAS的一第一畫面中的一個或多個面部的一梯度；基於用於該一個或多個面部的該梯度來確定與在複數訊框填裝配置中碼化該第一畫面相關聯的潛在成本，其中該複數訊框填裝配置指示包括在該第一畫面中的該一個或多個面部的一位置和一旋轉；以及從該複數訊框填裝配置中獲取一具有一最低成本的訊框填裝配置。
7. 如請求項6所述的方法，其中該第一RAS的該第一畫面是一訊框內碼化畫面。
8. 如請求項6所述的方法，其中用於包括在該第一RAS的該第一畫面中的一面部的該梯度是一占主導地位的梯度。
9. 如請求項6所述的方法，其中用於包括在該第一RAS的該第一畫面中的一面部的該梯度是在亮度樣本上計算的。
10. 一種用於視訊碼化的裝置，包括：一處理器，被配置成： 獲取對應於被分組成複數隨機存取分段(RAS)的複數畫面的複數訊框填裝配置的複數指示，其中一畫面包括複數面部；週期性地改變來自對應於被分組成該複數RAS之該複數畫面的該複數訊框填裝配置的一訊框填裝配置；以及基於該週期性地改變的訊框填裝配置，獲取與該畫面中的該複數面部相關聯的一面部邊界的位置。
11. 如請求項10所述的裝置，其中為了週期性地改變該複數訊框填裝配置，該處理器被配置成循環於該複數訊框填裝配置。
12. 如請求項10所述的裝置，其中該複數訊框填裝配置指示用於與該對應的複數RAS相關聯的一面部的一位置與一旋轉。
13. 如請求項10所述的裝置，其中該獲取的面部邊界的位置包括與該畫面內的該複數面部相關聯的連續與不連續的面部邊界的位置。
14. 一種用於視訊碼化的方法，包括：獲取對應於被分組成複數隨機存取分段(RAS)的複數畫面的複數訊框填裝配置的複數指示，其中一畫面包括複數面部；週期性地改變來自對應於被分組成該複數RAS之該複數畫面的該複數訊框填裝配置的一訊框填裝配置；以及基於該週期性地改變的訊框填裝配置，獲取與該畫面中的該複數面部相關聯的一面部邊界的位置。
15. 如請求項14所述的方法，其中週期性地改變該訊框填裝配置，更包括循環整個該複數訊框填裝配置。
16. 如請求項14所述的方法，其中該複數訊框填裝配置指示用於與該對應的複數RAS相關聯的一面部的一位置與一旋轉。
17. 如請求項14所述的方法，其中該獲取的面部邊界的位置包括與該畫面內的該複數面部相關聯的連續與不連續的面部邊界的位置。

Images