TWI774677B - 360度視訊編碼幾何轉換 - Google Patents

360度視訊編碼幾何轉換 Download PDF

Info

Publication number
TWI774677B
TWI774677B TW106117619A TW106117619A TWI774677B TW I774677 B TWI774677 B TW I774677B TW 106117619 A TW106117619 A TW 106117619A TW 106117619 A TW106117619 A TW 106117619A TW I774677 B TWI774677 B TW I774677B
Authority
TW
Taiwan
Prior art keywords
chroma
sample
geometry
fill
components
Prior art date
Application number
TW106117619A
Other languages
English (en)
Other versions
TW201811046A (zh
Inventor
何玉文
言 葉
阿梅德 哈姆扎
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW201811046A publication Critical patent/TW201811046A/zh
Application granted granted Critical
Publication of TWI774677B publication Critical patent/TWI774677B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

處理用於視訊編碼的360度視訊內容可以包括接收第一幾何體中的視訊內容。視訊內容可以包括與第一色度取樣方案相關聯的未對準的色度分量及亮度分量。未對準的色度分量及亮度分量可以被對準到與具有對準的色度分量及亮度分量的第二色度取樣方案相關聯的取樣網格。可以執行對視訊內容的幾何體轉換。第一幾何體中的可以包括對準的色度分量及亮度分量的視訊內容可以被轉換到第二幾何體。第一幾何體可以是拼接的幾何體，第二幾何體可以是編碼幾何體。第二幾何體中的轉換的視訊內容可以包括對準到與第二色度取樣方案相關聯的取樣網格的色度分量及亮度分量。

Description

360度視訊編碼幾何轉換
相關申請的交叉引用 本申請案要求2016年5月26日申請的美國臨時申請案序號62/342,089的權益，其內容藉由引用的方式結合於此，且本申請案要求先申請案的申請日的權益。
虛擬實境（VR）開始走出研究實驗室並走入人們的日常生活。VR有許多應用領域，包括但不限於醫療保健、教育、社交網路、工業設計/訓練、遊戲、電影、購物以及娛樂。VR正得到行業及消費者的關注，因為VR能夠帶來身臨其境的視覺體驗。VR可以創建圍繞觀察者的虛擬環境並產生觀察者身臨其境的真實感覺。VR系統可以支援經由姿勢、手勢、目光注視、語音等的互動。VR系統可以給使用者提供觸覺回饋並讓使用者能夠以自然的方式與VR世界中的物體進行交互。
處理用於視訊編碼的360度視訊內容可以包括接收第一幾何體中的360度視訊內容。360度視訊內容可以包括與第一色度取樣方案相關聯的未對準的色度分量及亮度分量。360度視訊內容可以藉由使用多個相機擷取視訊內容並將視訊內容拼接在一起以獲得第一幾何體的方式被接收。360度視訊內容可以在位元流中被接收。第一幾何體中的360度視訊內容的未對準的色度分量及亮度分量可以被對準到與具有對準的色度分量及亮度分量的第二色度取樣方案相關聯的取樣網格。在第二色度取樣網格中，色度分量可以與在相同樣本位置的亮度分量重疊（overlay）。可以執行對360度視訊內容的幾何轉換。在第一幾何體中的可以包括對準的色度分量及亮度分量的360度視訊內容可以被轉換為第二幾何體。在第二幾何體中的轉換的360度視訊內容可以包括對準到與第二色度取樣方案相關聯的取樣網格的色度分量及亮度分量。
第一色度取樣方案可以包括以下中的至少一者：具有類型0色度樣本位置的4:2:0色度格式、具有類型1色度樣本位置的4:2:0色度格式或具有類型3色度樣本位置的4:2:0色度格式。第二色度取樣方案可以包括以下中的至少一者：具有類型2色度樣本位置的4:2:0色度格式、4:4:4色度格式或4:2:2色度格式。第一幾何體可以是拼接的幾何體，以及第二幾何體可以包括編碼幾何體。第一及第二幾何體可以包括等量矩形格式或立方體貼圖格式中的至少一者。雖然作為示意性方式，這裡描述的處理用於視訊編碼的360度視訊內容是使用等量矩形及/或立方體貼圖格式，但是本領域中具有通常知識者可以理解可以互換地使用其他格式，例如單立方體格式、等面積格式、八面體格式、柱體格式等。
當第一幾何體中的360度視訊內容被轉換至第二幾何體時，可以應用逆重新對準濾波器來將第二幾何體的對準的色度分量恢復回具有與第一色度取樣方案相關聯的未對準的色度分量。可以在位元流中產生指示，且該指示可以被配置為表明第二幾何體的色度分量已經被恢復回具有與第一色度取樣方案相關聯的未對準的色度分量。可以在具有第一色度取樣方案的第二幾何體中執行360度視訊內容的訊框打包。
在色度分量在垂直方向上與亮度分量未對準的情況下，可以執行第一色度取樣方案到第二色度取樣方案的垂直相移以將色度分量與亮度分量垂直地對準。在色度分量與亮度分量未水平地對準的情況下，可以執行第一色度取樣方案到第二色度取樣方案的水平相移以將色度分量與亮度分量水平地對準。在色度分量與亮度分量未水平及垂直地對準的情況下，可以執行第一色度取樣方案到第二色度取樣方案的水平相移及垂直相移以將色度分量與亮度分量水平及垂直地對準。將未對準的色度分量及亮度分量對準可以包括應用具有重取樣濾波器或相位對準濾波器中的至少一者的濾波器。重取樣濾波器包括色度升取樣濾波器或內插濾波器中的至少一者。
對準未對準的色度/亮度分量可以分別包括以下中的一者或多者。可以在與視訊內容邊界之外的填充色度/亮度樣本相關聯的目前色度/亮度樣本位置確定目前色度/亮度樣本。可以基於第一幾何體導出填充色度/亮度樣本位置，且填充色度/亮度樣本位置可以與填充色度/亮度樣本相關聯，其是目前色度/亮度樣本位置的球形連續。可以導出填充色度/亮度樣本位置的填充色度/亮度樣本值，用於對準色度/亮度分量。
對準未對準的色度/亮度分量可以分別包括以下中的一者或多者。如果填充色度/亮度樣本在視訊內容面之外，則可以確定與目前色度/亮度樣本相關聯的填充色度/亮度樣本。可以計算填充色度/亮度樣本的3D位置。可以藉由將具有填充色度/亮度樣本的3D位置的幾何體投影應用到第一幾何體來識別2D平面位置。在識別的2D平面位置的填充樣本色度/亮度值可以被導出以用於對準色度/亮度分量。
現在參考各附圖描述範例性實施方式的詳細說明。雖然該說明提供了可能實施的詳細範例，但是應當注意這些細節只是示意性的且絕不限制本申請案的範圍。
VR系統可以使用360度視訊並可以為使用者提供在水平方向以360度角度以及在垂直方向以180度角度觀察場景的能力。VR及360度視訊可以用於超高畫質（UHD）服務以外的媒體消費。自由視角TV（FTV）可以測試解析度性能（例如基於360度視訊（全向視訊）的系統及基於多視域的系統）。
VR系統可以包括處理鏈，包括但不限於擷取、處理、顯示及/或應用。VR擷取可以使用多個相機系統以從不同的發散視圖（例如6-12個視圖）擷取場景。視圖可以被拼接在一起並可以形成高解析度（例如4K或8K）的360度視訊。在用戶端或使用者側，VR系統可以包括計算平臺、頭戴顯示（HMD）及/或頭部追蹤感測器。計算平臺可以接收、解碼（例如360度視訊）並產生用於顯示的視域。兩個圖像（一個圖像用於一隻眼）可以被呈現以用於視域。兩個圖像可以在HMD中被顯示以用於立體檢視。透鏡可以用於放大在HMD中顯示的圖像以用於更好的檢視。頭部追蹤感測器可以追蹤（例如持續追蹤）觀察者的頭部方位並可以饋送方位資訊給系統以顯示用於該方位的視域圖像。VR系統可以為觀察者提供觸摸裝置以與虛擬世界中的物體互動。
360度視訊遞送可以使用球體幾何結構來表示360度資訊。同步的多個視圖可以由多個相機擷取並可以在球體上被拼接（例如被拼接為一個整體結構）。球體資訊可以被投影到2D平面表面並可以使用給定的幾何體轉換過程（例如使用等量矩形投影方法）。幾何體轉換過程可以包括將360度視訊從一種圖像格式（例如等量矩形圖像格式）轉換為另一種圖像格式（例如，立方體貼圖圖像格式）。第1圖顯示在經度（ϕ）（例如L0-L6）及緯度（θ）（例如A0-A6）中的範例球體取樣。第2圖顯示使用等量矩形投影將第1圖的球體投影到2D平面。範圍在[-π, π]的經度ϕ已知為偏航角（yaw），以及範圍在[-π/2, π/2]的緯度θ已知為航空俯仰角，其中π是圓的周長與其直徑的比。(x,y,z)用於表示3D空間中的點座標，以及(ue,ve)用於表示2D平面中的點座標。等式（1）及（2）可以在數學上表示等量矩形投影： ue = (ϕ/(2*π) + 0.5) * W (1) ve = (0.5 – θ/π) * H (2)
W及H是2D平面圖像的寬度及高度。如第1圖所示，使用等式（1）及（2），在球體上的經度L4與緯度A1之間的交點P點被映射到2D平面中第2圖中的唯一點q。經由逆投影，2D平面中第2圖的q點可以被投影回第1圖的球體上的P點。第2圖中的視場（FOV）顯示球體中的FOV被映射到2D平面的範例，其中沿著X軸的視角大約是110度。
使用等量矩形投影，2D平面圖像可以被處理為2D視訊。視訊可以用視訊編解碼器（例如H.264或高效率視訊編碼（HEVC））而被編碼並可以被遞送給用戶端。在用戶端側，等量矩形視訊可以被解碼並可以被呈現（例如基於藉由將等量矩形圖像中的FOV的一部分投影並顯示到HMD的使用者的視域）。球形視訊可以用等量矩形投影被變換為2D平面圖像以用於編碼。等量矩形2D圖像的特性可以不同於2D圖像（例如所謂的直線視訊）。第3圖顯示範例等量矩形圖像。圖像的上部對應於北極，下部對應於南極，且它們被拉伸（例如，表明2D空間域中的等量矩形取樣不均勻）。第4圖顯示在球體中應用等緯度間隔取樣情況下的翹曲效應。取樣間隔S0、S1、S2及S3在緯度上可以是相等的。空間距離d0、d1、d2及d3可以表明當它們被投影到2D平面時的距離是不同的。靠近極地區域的物體在垂直方向上被擠壓。如果物體平移地在球體上從赤道移到極地，則物體的形狀可以被改變，因為在等量矩形投影之後物體穿過2D平面上的相應位置。在時間方向上2D平面中對應於此物體的運動場是複雜的。某一視訊編解碼器（例如MPEG-2, H.264或HEVC）可以使用平移模型來描述運動場，且可能不能有效表示這種形狀變化的運動。使用等量矩形投影，與更靠近赤道的區域相比，區域離極地越近，觀察者及/或內容提供方對其興趣越小（例如，觀察者不會長時間關注上面及下面的區域）。基於翹曲效應，在等量矩形投影之後，極地區域被拉伸以變為2D平面的大部分，且壓縮這些區域會消耗大量位元。降低頻寬的預處理（例如平滑兩極區域）可以用於等量矩形圖像編碼。不同的幾何結構可以用於表示360度視訊（例如立方體貼圖、柱體、金字塔等）。立方體貼圖具有6個面，每一個面是平面正方形。
360度相機及拼接軟體可以支援等量矩形格式。在立方體貼圖幾何體中編碼360度視訊可以使用等量矩形格式到立方體貼圖格式的轉換。在等量矩形與立方體貼圖之間存在關係。在第5圖中，存在六個面（例如，PX (0)、NX (1)、PY (2)、NY (3)、PZ (4)、NZ (5)）以及從球體中心（例如O）到面的中心的三條軸（例如X、Y、Z）。P代表正以及N代表負。PX表示從球體中心沿正X軸的方向，NX是PX的反向。類似的標記法可以用於PY、NY、PZ及NZ。對應於前、後、上、下、左及右面分別有六個面（例如，PX、NX、PY、NY、PZ、NZ）。這些面可以從0到5編索引（例如，PX (0)、NX (1)、PY (2)、NY (3)、PZ (4)、NZ (5)）。Ps (X_s, Y_s, Z_s)可以是在半徑為1的球體上的點。可以如下使用偏航角ϕ及俯仰角θ描述Ps： X_s = cos(θ)cos(ϕ) (3) Y_s = sin(θ) (4) Z_s = -cos(θ)sin(ϕ) (5)
Pf可以是當延長從球體中心到Ps的線時在立方體上的點，以及Pf可以在面NZ上。Pf的座標 (X_f, Y_f, Z_f)可以被計算為： X_f = X_s/|Z_s| (6) Y_f = Y_s/|Z_s| (7) Z_f = -1 (8)
其中|x|是變數x的絕對值。面NZ的2D平面中的Pf的座標(uc, vc)可以被計算為： uc = W*(1-X_f)/2 (9) vc = H*(1-Y_f)/2 (10)
使用等式（3）至（10），特定面上立方體貼圖中的座標(uc, vc)與球體上的座標(ϕ, θ)之間存在關係。從等式（1）及（2）可以知道等量矩形點(ue, ve)與球體上的點(ϕ, θ)之間的關係。等量矩形幾何體與立方體貼圖幾何體之間存在關係。從立方體貼圖到等量矩形的幾何體映射可以表示如下。立方體貼圖上的一個面上的給定點(uc, vc)在等量矩形平面上的輸出(ue, ve)可以計算如下。該面上的3D點P_f的座標可以根據等式（9）及（10）中的關係用(uc, vc)來計算。球體上的3D點P_s的座標可以根據等式（6）、（7）及（8）中的關係用P_f來計算。球體上的(ϕ, θ)可以根據等式（3）、（4）及（5）中的關係用P_s來計算。可以根據等式（1）及（2）中的關係從(ϕ, θ)來計算等量矩形圖像上的點(ue, ve)的座標。
為了使用立方體貼圖表示一個2D圖像中的360度視訊，立方體貼圖的六個面可以被打包為一個矩形區域。這可以稱為訊框打包。被訊框打包的圖像可以被處理（例如編碼）為一個2D圖像。可以使用不同的訊框打包配置（例如，3x2或4x3）。在3x2配置中，六個立方體貼圖面可以被打包為2列，一列中3個面。在4x3配置中，4個面（例如，PX、NZ、NX、PZ）可以被打包為一列（例如，中心列），以及面PY及NY可以被打包（例如分開打包）為兩個不同的列（例如上及下列）。第6圖顯示與第3圖中的等量矩形圖像對應的使用立方體貼圖投影的4x3訊框打包圖像的範例。
等量矩形格式中的360度視訊可以被輸入並轉換為立方體貼圖格式。針對立方體貼圖格式中的樣本位置(uc, vc)，可以計算等量矩形格式中對應的座標(ue, ve)。如果計算出的等量矩形中的座標(ue, ve)沒有在整數樣本位置，則可以使用內插濾波器（例如，使用來自相鄰整數位置的樣本得到在該分數位置處的樣本值）。
如第6圖所示，使用立方體貼圖，等量矩形格式中的翹曲效應（例如，在第3圖中天空（北極）及地面（南極）被拉伸）可以被避免（例如，在每個面內，物體與沒有翹曲的2D圖像是相同的）。針對立方體貼圖使用4x3訊框打包，可以用空間連續的方式放置立方體貼圖面。例如，第6圖中可以顯示對應於立方體貼圖中的6個面的6個子圖像。沒有圖像的部分601及602可以是用於填充在矩形圖像中的填充區域。
第7圖顯示360度視訊系統的範例工作流。例如，第7圖可以使用多個相機擷取360度視訊。擷取的視訊可以覆蓋球形空間。視訊可以在第一幾何體中被拼接在一起。第一幾何體可以是拼接的幾何體。拼接的幾何體可以是等量矩形格式。例如，視訊可以被拼接以產生等量矩形幾何體格式的視訊。等量矩形幾何體結構可以被轉換為另一種幾何體結構（第二幾何體結構）。第二幾何體可以是編碼幾何體，其可以用於編碼（例如使用視訊編解碼器編碼）。編碼幾何體可以是立方體貼圖格式。例如，等量矩形幾何體結構可以被轉換為立方體貼圖幾何體格式以用於編碼（例如，使用視訊編解碼器編碼）。編碼的視訊可以被遞送給用戶端，經由例如動態流或廣播來遞送。可以例如在接收器解碼該視訊。解壓縮的訊框可以被解包為幾何體，例如顯示幾何體。解壓縮的訊框可以被解包為的等量矩形幾何體格式。該幾何體可以用於呈現。例如，該幾何體可以用於根據使用者的視角以經由視域投影來呈現。
色度分量可以被子取樣為比亮度分量解析度小的解析度。色度子取樣可以減少用於編碼的視訊資料量、並可以節省頻寬及/或計算能力、且可以在不會影響（例如明顯影響）視訊品質的情況下這樣做。使用4:2:0色度格式，這兩個色度分量可以被子取樣為亮度解析度的1/4。例如，色度分量可以被水平子取樣為亮度解析度的1/2並且可以被垂直子取樣為亮度解析度的1/2。在色度子取樣之後，色度取樣網格可以不同於亮度取樣網格。在第7圖中，在整個處理流，在每個階段處理的360度視訊可以是色度格式，其中色度分量已經被子取樣。
360度視訊可以從等量矩形幾何體被轉換為立方體貼圖幾何體。在幾何體轉換期間可以維持亮度及色度取樣網格之間的相位關係。例如，針對4:2:0色度格式，第13圖中可以顯示亮度及色度之間的取樣網格關係。如第13圖所示，色度可以位於被標記為Dx (例如，D0、D1、…、D3)的網格中，亮度可以位於被標記為Ux (例如，U0、U1、…、U15)的網格中。如第13圖所示，色度取樣網格可以在水平方向與亮度取樣網格對準。第13圖中的色度取樣網格在垂直方向與亮度取樣網格未對準，且可以在垂直方向具有樣本偏移（例如，0.5個樣本偏移）。在轉換之後，色度網格相對於亮度樣本網格的相位可以與轉換之前的相同。例如，在轉換之後，色度分量及亮度分量可以與在相同樣本網格位置的亮度分量重疊。可以以下面的方式建模幾何體轉換過程： ve_L = f(vc_L) (11)
其中Vc_L可以是亮度分量的立方體貼圖上的點的縱坐標，ve_L可以是亮度分量的等量矩形上的點的縱坐標，以及f()可以是從立方體貼圖到等量矩形的幾何體轉換函數。如果色度的相移在垂直方向中是Δ，則相對於亮度的色度相位在轉換前後可以保持不變。 vc_C = vc_L + Δ (12) ve_C = ve_L + Δ = f(vc_L) + Δ (13)
其中vc_C可以是色度分量的立方體貼圖上的點的縱坐標，ve_C可以是色度分量的等量矩形上的點的縱坐標，以及f()可以是從立方體貼圖到等量矩形的幾何體轉換函數。如果使用相同的幾何體轉換過程分別轉換亮度及色度，則可以得到以下色度座標。 ve_C = f(vc_C) = f(vc_L + Δ) (14)
等式（14）可以或可以不等於等式（13），因為函數f()是非線性過程。如果色度取樣網格及亮度取樣網格是對準的，則等式（13）可以等於等式（14），這意味著分開的轉換可以保持相對相位關係。例如，如果針對水平及垂直方向Δ都為0，則色度取樣網格及亮度取樣網格可以對準。
在轉換中可以考慮針對這兩種幾何體的取樣網格中的取樣相位。如果在等量矩形或立方體貼圖中沒有正確處理取樣相位，則這會導致邊界未對準。第8圖顯示從第3圖中的等量矩形視訊轉換的範例4x3訊框打包立方體貼圖，且圖像解析度是2880x2160。第9圖中顯示兩個立方體貼圖面之間在801的垂直邊界未對準的放大版本。未對準區域可以由橢圓801及901標記。如第9圖所示，一棵樹可以出現在兩側903及905，該圖像可以看起來像是那裡有兩棵樹。第10圖顯示兩個面之間在803的水平邊界未對準的放大版本。在橢圓標記的區域803、1002、1004、1006及1008中，線1010、1012、1014及1016沒有對準，且人的下巴1018在這兩側重複出現。這是由於處理等量矩形及立方體貼圖的取樣網格的相位導致的。
如第11圖顯示的360視訊處理的範例工作流可以用於色度相位保持。可以接收第一幾何體中的360度視訊內容。360度視訊內容可以包括與第一色度取樣方案相關聯的未對準的色度分量及亮度分量。例如，如第11圖所示，可以在A點使用多個相機擷取360度視訊。擷取的視訊可以覆蓋球形空間。視訊可以被拼接一起以形成第一幾何體結構。第一幾何體可以是拼接的幾何體。該拼接的幾何體可以是等量矩形格式。例如，視訊可以被拼接以產生等量矩形幾何體格式的視訊。拼接的視訊可以與第一色度取樣方案相關聯。第一色度取樣方案可以具有未對準的色度分量及亮度分量。等量矩形幾何體結構可以被轉換為另一種幾何體結構（第二幾何體結構）。第二體幾何體可以是編碼幾何體，以用於編碼（例如使用視訊編解碼器編碼）。編碼幾何體可以是立方體貼圖格式。例如，等量矩形幾何體結構可以被轉換為立方體貼圖幾何體格式，以用於編碼（例如使用視訊編解碼器編碼）。編碼的視訊可以被遞送給用戶端，經由例如動態流或廣播遞送。視訊可以例如在接收器處被解碼。解壓縮的訊框可以被解包為例如顯示幾何體之類的幾何體。解壓縮的訊框可以被解包為等量矩形幾何體格式。該幾何體可以用於呈現。例如該幾何體可以用於根據使用者的視角經由視域來呈現。
幾何體轉換過程可以被應用以保持視訊的色度相位。視訊可以是4:2:0色度格式。如第11圖所示，在編碼前的預處理及解碼後的後處理中，幾何體轉換處理可以被執行為4:4:4色度格式的視訊。色度升取樣可以被應用到該視訊。例如，色度升取樣可以被應用到4:2:0色度格式的視訊以得到4:4:4格式的視訊（在1102）。幾何體轉換可以被應用到視訊。例如，幾何體轉換可以被應用到4:4:4格式的視訊，其中在色度與亮度分量之間沒有相移。獨立的幾何體轉換可以被分別應用到亮度及色度分量。在幾何體轉換之後，色度子取樣濾波器可以被應用以轉換該視訊。例如，色度子取樣濾波器可以被應用以將4:4:4格式的視訊轉換回4:2:0色度格式的視訊（在1104）。可以保持色度與亮度之間的相位關係。
如第13圖所示，可以使用4:2:0色度格式的視訊的亮度及色度取樣網格。色度取樣網格可以被標記為Dx，亮度取樣網格可以被標記為Ux。在預處理部分，從拼接處理輸出的圖像（在第11圖中的B點）可以與第一色度取樣方案相關聯。第一色度取樣方案可以具有未對準的色度分量及亮度分量。從拼接處理輸出的圖像可以從4:2:0色度格式的視訊被轉換為4:4:4色度格式的視訊，以對準未對準的色度分量及亮度分量。對準未對準的色度分量及亮度分量可以藉由應用色度升取樣濾波器來完成（在1102）。例如，在相位1/4及3/4的用於色度分量的HEVC運動補償中的內插濾波器可以用於色度垂直升取樣，以及在相位1/2的內插濾波器可以用於色度水平升取樣。濾波器可以包括4分接頭（tap）濾波器，如下所列： 1/4相位: { -4, 54, 16, -2 } 1/2相位: { -4, 36, 36, -4 } 3/4相位: { -2, 16, 54, -4 }。
對準未對準的色度分量及亮度分量可以包括應用與第二色度取樣方案相關聯的取樣網格。第二色度取樣方案可以具有對準的色度分量及亮度分量。第二色度取樣方案中的對準的色度分量及亮度分量可以是色度樣本分量可以與在相同取樣位置的亮度分量重疊。
轉換的4:4:4色度格式的圖像可以用於幾何體轉換。例如，幾何體轉換可以被應用到等量矩形圖像格式並可以將其轉換為立方體貼圖圖像格式。在轉換之後，可以應用色度降取樣濾波器。例如，色度降取樣濾波器可以將4:4:4色度格式的視訊轉換為4:2:0色度格式的視訊（在1104）。轉換的視訊格式可以在原始視訊格式中被使用。轉換的視訊格式可以用於編碼。例如，3分接頭濾波器{1, 6, 1}可以用於水平降取樣。2分接頭濾波器{1, 1}可以用於垂直降取樣。其他升取樣及降取樣濾波器可以用於將4:2:0色度格式轉換為4:4:4色度格式以及從4:4:4色度格式轉換為4:2:0色度格式。
在解碼之後，解碼的圖像可以被訊框解包為編碼幾何體結構。例如，編碼幾何體結構可以是立方體貼圖格式。在第11圖中的E’點的訊框解包的圖像可以從編碼幾何體被轉換為顯示幾何體。編碼幾何體的範例可以是立方體貼圖格式。顯示幾何體的範例可以是等量矩形格式。可以執行亮度升取樣。可以在幾何體轉換之前執行亮度升取樣。可以執行色度升取樣。例如在第11圖中的1108，可以從4:2:0色度格式的視訊到4:4:4色度格式的視訊執行色度升取樣。可以在幾何體轉換之前完成色度升取樣。獨立的幾何體轉換過程可以分別被應用於亮度及色度。亮度及色度樣本之間的相對相位關係可以被保持。可以依據視域投影過程是否支援4:4:4色度格式來應用色度降取樣。可以在轉換之後應用色度降取樣。如果視域投影過程不支援4:4:4格式的視訊，則可以應用色度降取樣濾波器（在1106）。如果視域投影過程支援4:4:4格式的視訊，則可以傳遞經過幾何體轉換的4:4:4色度格式的圖像以用於顯示。
對於4:2:0色度格式的視訊，相對於用於漸近視訊格式的亮度網格具有四種色度取樣網格佈置。這些在HEVC及H.264/AVC中被定義為色度樣本位置類型。色度樣本位置類型可以在表1中被定義。
表1: 色度樣本位置類型定義
Figure 106117619-A0304-0001
類型0色度樣本位置類型可以用於4:2:0色度格式的視訊。第13圖顯示用於4:2:0色度格式的視訊的範例類型0色度樣本位置類型。類型0色度樣本位置類型在垂直方向可以具有0.5個樣本的未對準。如第11圖中所示，將4:2:0色度格式的視訊升取樣為4:4:4色度格式可以減少亮度及色度之間的非零相對相位引起的幾何體轉換問題。可以使用重取樣濾波器。例如，可以在將色度樣本位置與亮度樣本位置對準的方向使用重取樣濾波器。可以在執行幾何體轉換之前使用重取樣濾波器。重取樣濾波器的範例可以是升取樣濾波器。可以分開執行對準亮度及色度分量。在幾何體轉換之後，可以在該方向中應用相應的重取樣濾波器以得到最終的色度分量。相應的重取樣濾波器的範例可以是降取樣濾波器。可以根據輸入的色度樣本位置類型來執行應用重取樣濾波器。
例如，如果輸入的色度樣本位置類型是0，則可以應用垂直升取樣。垂直升取樣可以將色度樣本位置與亮度樣本位置對準。可以在水平方向對準亮度及色度樣本位置，且可以跳過升取樣。例如，如果在水平方向亮度及色度樣本位置是對準的，則可以跳過水平升取樣。可以應用對色度分量的垂直降取樣。垂直降取樣可以導出在色度樣本位置類型0中的位置的色度樣本值。在幾何體轉換之後，可以應用對色度分量的垂直降取樣。這可以類似於（例如數學上等效於）執行4:2:2格式的幾何體轉換過程，其中色度分量在水平方向具有亮度分量的1/2解析度以及在垂直方向與亮度分量具有相同的解析度。如果輸入的色度樣本位置類型是1，則可以應用垂直及水平升取樣以將色度樣本位置與亮度樣本位置對準，這可以與4:4:4色度格式的轉換相同。對色度分量的垂直及/或水平降取樣可以被應用以導出色度樣本位置類型1中的色度位置的這些色度樣本值。在轉換之後，可以應用對色度分量的垂直及/或水平降取樣。如果輸入的色度樣本位置類型是2，則在水平或垂直方向都不使用重取樣，因為亮度及色度之間的相對相移在這兩個方向都等於0。在此情況中，可以在4:2:0色度格式中應用幾何體轉換。如果輸入的色度樣本位置類型是3，則可以應用水平升取樣以將色度樣本位置與亮度樣本位置對準。對色度分量的水平降取樣可以被應用以導出色度樣本位置類型3中的色度位置的這些色度樣本值。在轉換之後，可以應用對色度分量的水平降取樣。當在一方向（例如垂直、水平或這兩者）應用色度重取樣時，4分接頭¼及¾相位色度重取樣濾波器可以被應用。
如果色度樣本位置類型是2，則在4:2:0格式中可以執行幾何體轉換。使用色度樣本位置類型2可以表示更低的複雜度，因為色度分量的解析度更低。如果輸入的色度格式是4:2:0且色度樣本位置類型不等於2，則可以執行輸入的色度樣本位置類型到色度樣本位置類型2的轉換。該轉換可以藉由應用相位重新對準濾波器將色度樣本重新對準到色度樣本位置類型2使用的取樣網格來執行。可以應用相位重新對準濾波器，同時維持相同色度分量解析度。可以分開應用亮度及色度分量的幾何體轉換。相應的逆相位重新對準濾波器可以被應用到色度分量。在幾何體轉換之後，可以應用相應的逆相位重新對準濾波器。應用逆相位重新對準濾波器可以將色度樣本對準回原始輸入的色度樣本位置類型。在幾何體轉換之後的相應的逆相位重新對準過程可以被跳過，且使用色度樣本位置類型2的360度視訊可以被編碼。例如，可以在位元流中藉由將色度樣本位置類型更改為2並傳訊該色度樣本位置類型來編碼色度樣本位置類型2。
解碼器可以確定是否將信號從色度樣本位置類型2轉換為另一色度樣本位置類型。解碼器可以依據解碼器支援的色度樣本位置類型來確定是否轉換信號。例如，如果顯示器不支援色度樣本位置類型2，則可以在用戶端側執行逆相位重新對準。可以使用相位重新對準濾波器。例如，可以使用表2及表3中列出的重取樣濾波器。相位重新對準濾波器可以基於輸入的色度樣本位置類型。表2列出了可以用於將輸入的色度樣本位置類型轉換為類型2的範例相位重新對準濾波器。表3列出了可以用於將色度樣本位置類型2轉換為另一色度樣本位置類型的逆相位重新對準濾波器。4分接頭濾波器可以用作這些相位重新對準濾波器範例。可以使用更長或更短分接頭的濾波器。例如，可以使用不同分接頭的濾波器，只要它們具有如表2及表3中所示的相同的相位關係。
表2:可以用於從其他類型到類型2的色度樣本位置類型轉換的重取樣濾波器範例
Figure 106117619-A0304-0002
表3:可以用於從類型2到其他類型的色度樣本位置類型轉換的重取樣濾波器範例
Figure 106117619-A0304-0003
第12圖顯示360度視訊處理的範例工作流。色度樣本位置類型對準框可以在第12圖中的1202、1204、1206及1208顯示。色度樣本位置類型對準的一些或全部（例如在1204、1206及/或1208）可以被跳過。例如，如果色度樣本位置類型2中的360度視訊可以被編碼及/或在A’點被顯示，則可以跳過色度樣本位置類型對準過程中的一些或全部。
可以在位元流中產生指示。可以例如在E點從編碼器產生該指示。該指示可以表明在對360度視訊進行編碼之前可以是色度樣本的色度分量是否已經對準回輸入類型的色度分量。例如在編碼器中，可以在第一幾何體中接收360度視訊內容。第一幾何體中的視訊內容可以與具有未對準的色度分量及亮度分量的第一色度取樣方案相關聯。視訊內容可以將該未對準的色度分量及亮度分量對準到與具有對準的色度分量及亮度分量的第二色度取樣方案相關聯的取樣網格。在第一幾何體中的360度視訊內容可以被轉換為第二幾何體。第二幾何體可以具有被對準到與第二色度取樣方案相關聯的取樣網格的色度分量及亮度分量。如果在具有對準的色度分量及亮度分量的第二幾何體中的360度視訊內容被對準回輸入類型的視訊內容，則可以產生指示。輸入類型的視訊內容可以具有未對準的色度分量及亮度分量。
解碼器可以從編碼器接收該指示。如果解碼器接收到該指示，則解碼器可以基於顯示能力確定是否應用濾波器來對準色度分量。顯示能力可以與視域投影及/或顯示裝置（例如，在B’及/或A’點的HMD）相關聯。解碼器可以應用該濾波器來對準色度分量。例如，解碼器可以將視訊對準到色度樣本位置類型2。解碼器可以在將視訊轉換為顯示幾何體之前執行對準。
如果解碼器確定其可以支援色度樣本位置類型2中的360度視訊的顯示能力，則色度分量可以未對準回輸入類型。例如，解碼器可以跳過重新對準過程回到輸入類型（在1206）。如果解碼器確定其不支援色度樣本位置類型2中的360度視訊的顯示能力，則360度視訊中的色度分量可以被對準回輸入類型。例如，逆重新對準濾波器可以用於將具有第二色度取樣方案的360度視訊的對準的色度分量恢復回具有與第一色度取樣方案相關聯的未對準的色度分量。重新對準的視訊可以經過視域投影及/或顯示。
用於幾何體轉換的取樣網格可以解決使用轉換工具轉換的立方體貼圖的邊界未對準及/或視覺假影（例如如第8-10圖中所示）。邊界未對準及/或視覺假影由於不連續性會給壓縮性能帶來不利影響並降低最終顯示品質。如果未對準的立方體貼圖被轉換回等量矩形以用於顯示，則由於在逆轉換過程中誤差擴展而可能導致品質失真。等量矩形投影的取樣可以使用從拼接得到的等量矩形圖像並可以具有2:1的寬高比。圖像中的樣本可以在經度及緯度方向上被均勻取樣。如果等量矩形圖像被直接取樣，則水平及/或垂直方向在圓形特性上來說不是相同的。在水平方向，經度範圍從-180度到180度，且兩個邊界可以無縫連接。例如，在-180度經度的水平邊界可以與180度經度的邊界相同。在垂直方向，緯度範圍從90度到-90度，且90度緯度及-90度緯度不連接。90度緯度及-90度緯度在球體上遠離。例如，90度緯度及-90度緯度可以是球體上最遠的距離。90度緯度可以表示球體上的北極，-90度緯度可以表示球體上的南極。
可以取樣等量矩形圖像。例如，如第14圖所示，可以使用解析度12x6以取樣等量矩形圖像。第14圖顯示使用正方形取樣網格在水平及垂直方向中均勻取樣的範例網格佈置。第14圖顯示的正方形取樣網格可以被幾何體轉換工具使用。在1402的圓圈可以表示取樣位置。水平取樣可以在整個經度範圍[-180, 180]內。在緯度範圍(-90, 90]內的垂直取樣可以不覆蓋南極。南極可以位於等量矩形圖像的底部。在幾何體轉換中可以考慮這種情況。當點(ue, ve)具有分數精確度時，內插過程可以被應用以得到在分數位置的樣本值。藉由內插可以填充對應於南極的一條延長線。例如，可以使用該延長線的最近的相鄰水平線的平均值對該延長線進行內插。第15圖顯示覆蓋經度及緯度方向內的整個範圍的取樣網格佈置的範例。第15圖中的樣本的形狀可以是非正方形的。例如，樣本可以具有矩形形狀。非正方形樣本形狀可以藉由對垂直方向的有效取樣比水平方向更稀疏而偏向垂直方向。拼接不支援這種非正方形樣本形狀的格式。第16及17圖顯示以對稱方式覆蓋整個範圍的樣本佈置範例。垂直移位樣本可以使得在垂直方向的對稱取樣，同時覆蓋正方形網格的整個範圍。例如，0.5的垂直移位樣本可以使得在垂直方向的對稱取樣，同時覆蓋正方形網格的整個範圍。第16及17圖以示意性方式分別顯示0.5及0的水平移位。小於1的水平移位可以被使用，因為水平方向是圓對稱的。
第18圖顯示立方體貼圖的兩個範例取樣網格佈置。在一個面上，上邊界及下邊界不會直接連接，左邊界及右邊界不會直接連接。立方體貼圖的每個面可以不是圓形對稱的。每個面可以使用4x4的取樣解析度，如第18圖所示。在第18圖中，菱形網格1820可以顯示零相移的取樣網格佈置，其可以被幾何體轉換工具使用。使用立方體貼圖的一些或所有面的菱形取樣網格對於覆蓋兩個相鄰面之間的一些或所有邊界來說是困難且複雜的。第18圖中的圓形網格1804可以用於以對稱方式覆蓋一些或所有面。例如，圓形網格可以均勻覆蓋立方體貼圖中的樣本。取樣網格對於一些或所有面可以是相同的。
填充可以用於360度視訊處理。轉換過程可以使用色度升取樣及/或色度降取樣以支援色度格式轉換。例如，色度升取樣可以被應用以將4:2:0格式的視訊轉換為4:4:4格式，或反之使用色度降取樣。可以使用重取樣濾波器。可以應用幾何體轉換。例如，幾何體轉換可以被應用以將等量矩形圖像格式轉換為立方體貼圖圖像格式。在幾何體轉換中，如果等量矩形上的投影點不是整數位置，則可以應用內插濾波器。內插濾波器可以導出分數位置的樣本值。濾波器可以被應用於樣本。濾波器可以被應用於亮度及/或色度分量。亮度及色度樣本可以位於圖像邊界附近。圖像邊界外的樣本可以稱為填充色度樣本或填充亮度樣本。對於內插在整數位置的樣本值，填充（例如幾何體填充）可以用於導出圖像邊界外或位於不同面作為目前塊的樣本值。填充可以用於不同的幾何體。
第19圖顯示等量矩形圖像的範例填充。如果點在右邊界之外（在02），則可以藉由由於圓形特性重新繞到左邊界（在02’）來執行填充。例如，邊界之外的點的位置可以稱為相鄰樣本位置。例如，邊界之外的點可以稱為填充色度樣本或填充亮度樣本。例如，邊界之外的點可以稱為填充色度分量或填充亮度分量。右邊界及左邊界可以是球形連續的。如果點在下邊界之外（在06、08、10或12）填充可以沿著經度線到另一個半球（分別在06’、08’、10’或12’）。例如，位於下邊界的點可以在初始下邊界的180度被取代。如果點在上邊界之外（在20、22、26或28），填充可以沿著經度線到另一個半球（分別在20’、22’、26’或28’）。例如位於上邊界的點可以在初始上邊界的180度中被取代。第19圖中具有相同元件符號（例如02及02’、32及32’、42及42’、04及04’、34及34’、及44及44’，06及06’、08及08’、10及10’、12及12’、20及20’、22及22’、26及26’及/或28及28’）的箭頭可以表示球體上的連續性。如這裡所述，上邊界可以表示球體的北極，下邊界可以表示球體的南極。可以應用對稱取樣網格佈置。例如，可以應用第16圖中顯示的具有0.5相移的取樣網格佈置。可以基於圖像中的目前位置提供點(u, v)。例如，點(u, v)可以在等量矩形圖像之外。點(u, v)的位置可以稱為相鄰樣本位置、且可以用於導出填充樣本位置(up, vp)。點(up, vp)可以稱為填充樣本或參考樣本。等量矩形的點位置(up, vp)可以如下計算： 如果u ＜ 0或u ≥ W且0 ≤ v ＜ H, 則up = u%W, vp = v (15) 如果v ＜ 0, vp = -v – 1, 則up = (u + W/2)%W (16) 如果v ≥ H, vp = 2*H – 1 – v, 則up = (u + W/2)%W。 (17)
其中W及H可以表示等量矩形圖像的寬度及高度。例如，可以基於點(u, v)的位置計算填充樣本位置(up, vp)。例如，如果點(u, v)在右邊界或左邊界之外，則可以基於等式15來計算填充樣本(up, vp)。在右邊界或左邊界之外的點(u, v)的填充樣本(up, vp)可以分別對應於位於等量矩形圖像的左邊界或右邊界附近的點。可以基於可以對應於等式16或17的點(u, v)的位置計算其他填充樣本。
針對第20圖中顯示的填充，圓圈可以是球體的赤道，且正方形的四個邊可以是在赤道投影到的立方體貼圖的四個側面上的四條線。P可以表示立方體貼圖的面，Q可以表示P面的鄰面。Px (x∈[0,3])可以是P面上的取樣點，以及Qx (x∈[0,3])可以是相鄰Q面上的取樣點。例如，如果相鄰樣本P4、P5及P6是面邊界之外的樣本，且如果P4、P5及P6將在P面上被填充，則填充樣本K0、K1及K2可以分別表示P4、P5及P6在Q面上的投影。P4、P5及P6的點位置可以稱為相鄰樣本位置。填充樣本可以包括填充色度樣本及/或填充亮度樣本。如第20圖所示，K0及Q0可以不重疊。K1及Q1以及K2及Q2可以不重疊。填充樣本K0、K1及K2可以用於填充在P4、P5及P6的樣本。K0、K1及K2可以稱為位於其各自參考樣本位置的參考樣本。
填充可以被應用到點p(u, v)。p(u, v)可以位於幾何體結構中的視訊內容。點p(u, v)可以是目前樣本的相鄰樣本。填充樣本可以包括色度樣本及/填充亮度樣本。以下的一者或多者可以用於導出用於對準未對準的色度分量及/或亮度分量的色度樣本值或亮度樣本值。
可以基於在目前樣本位置的目前樣本來識別點p(u, v)。目前樣本可以包括目前色度樣本及/或目前亮度樣本。目前樣本位置可以包括目前色度樣本位置及/或目前亮度樣本位置。例如，在目前色度樣本位置的目前色度樣本可以在目前面位置中。目前色度樣本可以與填充色度樣本相關聯。點p(u, v)可以位於目前面邊界之外。點p(u, v)可以位於不同面中。可以依據點p(u, v)所屬的面來計算點p的3D位置Pf(X, Y, Z)。例如，如果點p的面是NZ，等式（6）、（7）及（8）可以用於計算3D位置(X, Y, Z)。可以基於計算出的3D位置(X, Y, Z)來確定新的面。可以用以下方式使用(X, Y, Z)將樣本用於填充： 如果(|X| ＞= |Y| 且 |X| ＞= |Z|且X＞0)，則面可以是PX； 如果(|X| ＞= |Y| 且 |X| ＞= |Z| 且X＜0)，則面可以是NX； 如果(|Y| ＞= |X| 且 |Y| ＞= |Z| 且Y＞0)，則面可以是PY； 如果(|Y| ＞= |X| 且 |Y| ＞= |Z| 且Y＜0)，則面可以是NY； 如果(|Z| ＞= |X| 且 |Z| ＞= |Y| 且Z＞0)，則面可以是PZ； 如果(|Z| ＞= |X| 且 |Z| ＞= |Y| 且Z＜0)，則面可以是NZ。
可以使用Ps(X’, Y’, Z’)計算點p的2D位置(u', v')。例如，可以基於新的面的位置計算點p的2D位置(u', v')。如果新的面位於NZ，等式（9）及（10）可以用於用(X’, Y’)計算填充樣本位置(u', v')。在(u', v')的填充樣本值可以被得到以對準未對準的色度分量及/或亮度分量。可以使用內插濾波器及(u', v')所屬的新的面的圖像來導出在(u', v')的填充樣本值。
在幾何體結構中點(u, v)的填充可以包括以下中的任一者。以下的一者或多者可以用於導出填充色度樣本值或填充亮度樣本值以用於對準未對準的色度分量及/或亮度分量。在目前色度樣本位置、與填充色度樣本相關聯的目前色度樣本可以被確定。要被填充的色度樣本可以位於圖像邊界或面之外。可以基於點(u, v)計算該點的3D位置Pf(X, Y, Z)。點(u, v)可以表示位於圖像邊界或面之外的點。可以基於要被填充的樣本的位置確定填充樣本位置。例如，可以藉由將填充色度樣本的3D位置的幾何體投影應用到幾何體結構來識別2D平面位置(u', v')。在填充樣本位置的填充樣本值，2D平面位置(u', v')，可以被導出以對準未對準的色度分量及/或亮度分量。可以使用內插濾波器及平面圖像來確定在2D平面位置(u', v')的樣本值。
這裡描述的幾何體填充可以在視訊編碼及/解碼中使用以用於各種目的。例如，填充可以用於運動補償、內預測（intra prediction）、迴路濾波、樣本適應性偏移（SAO）及/或適應性迴路濾波（ALF）。例如，當編碼或解碼等量矩形表示時，可以應用用於等量矩形圖像的填充。例如，可以類似於如這裡描述的填充樣本位置的推導來導出參考樣本位置。用於等量矩形圖像的填充可以被應用以用於編碼及/或解碼在2D等量矩形圖像的邊緣的填充。例如，當編碼或解碼立方體貼圖表示時，可以應用用於立方體貼圖的填充。可以在2D立方體貼圖圖像內的立方體貼圖面邊界處應用編碼及/或解碼用於立方體貼圖的填充。
相鄰樣本圖案可以用於內插過程。內插過程可以在幾何體轉換期間。對於目標幾何體中的樣本，可以確定多個相鄰樣本。可以從這些多個相鄰樣本確定目標樣本值。例如，可以藉由對多個相鄰樣本進行加權平均來確定目標樣本值。第21-29圖顯示範例相鄰樣本圖案。第21-29圖顯示用於幾何體轉換的範例取樣圖案。第21-29圖的每一幅圖顯示範例正方形1x1網格。第21圖顯示範例正方形2x2圖案。第22圖顯示範例旋轉網格超取樣（RGSS）圖案。第23圖顯示範例菱形圖案。第24圖顯示範例正方形3x3圖案。第25圖顯示範例具有中心的正方形2x2圖案。第26圖顯示具有中心的範例RGSS圖案。第27圖顯示具有中心的菱形圖案。第28圖顯示具有中心的範例正方形3x3圖案。第29圖顯示範例五點形圖案。如實心圓顯示的正方形的中心可以是目標樣本位置。空心圓可以是用於導出目標樣本的取樣位置。權重可以應用到每個取樣位置。例如，第21-24圖中的取樣位置圖案可以應用相等權重。第25-27及29圖中可以應用中心樣本位置的權重為1/4權重以及其餘位置為3/16權重。在第28圖中可以應用中心位置為1/8權重以及其餘位置的權重為7/64權重。不同的相鄰樣本圖案可以具有不同的特性。複雜相鄰樣本圖案可以得到不太主觀的雜訊且更少混疊的目標樣本。第22及26圖中顯示的RGSS圖案可以用於抗混疊取樣。第25-29圖中顯示的目標樣本及相鄰樣本圖案可以比第21-24圖中的更銳利。
性能及/或計算複雜度可能受到為幾何體轉換過程選擇的相鄰樣本圖案及內插濾波器的影響。相鄰樣本圖案可以基於內插濾波器來選擇及/或組合。相鄰樣本圖案可以與內插濾波器組合以實現期望的品質。例如，第22圖中顯示的相鄰樣本圖案可以與最鄰近的內插濾波器組合以實現一定的品質。可以基於所選擇的樣本圖案來選擇內插濾波器。更簡單的相鄰樣本圖案可以與更複雜內插濾波器組合以實現期望的品質。例如，雙線性或雙三次內插濾波器可以代表更複雜內插濾波器。
如第11圖所示，使用4：4：4格式的視訊的幾何體轉換可以被使用。使用4：4：4格式的視訊的幾何體轉換可以是複雜的。由於色度分量的更高解析度，使用4：4：4格式的視訊的幾何體轉換是複雜的。使用4：4：4格式計算的視訊的幾何體轉換的複雜度可以在不同級被降低。例如，幾何體轉換的複雜度在樣本級被降低。例如，幾何體轉換的複雜度在圖像級被降低。
在樣本級，可以儲存三種顏色分量的樣本。例如，可以在內部記憶體中以交錯方式儲存分量。顏色分量可以被儲存為Y0、Y1、Y2、...、YN-1、Cb0、Cb1、Cb2、...、CbN-1、及Cr0、Cr1、Cr2、...、CrN-1，其中N=W x H。可以以交錯方式儲存樣本資料，例如Y0、Cb0、Cr0、Y1、Cb1、Cr1、Y2、Cb2、Cr2、...、YN-1、CbN-1、CrN-1。
可以基於每樣本執行幾何體轉換過程。使用交錯佈置取得三種顏色分量的記憶體存取可以比每個分量分開儲存的方式更快。可以得到內插位置。可以使用得到的內插位置同時對三種分量內插應用單指令多資料(SIMD)。
幾何體轉換可以包括得到源幾何體中的相應樣本位置。幾何體幾何體轉換可以包括得到源幾何體中的相應樣本位置。幾何體轉換可以包括應用內插。如果源樣本位置具有分數精確度，內插可以使用相鄰樣本。用於得到相應取樣位置的相應源樣本位置可以對於視訊序列中的一些或所有圖像保持相同。如果執行用於視訊序列的幾何體轉換包括多個圖像，則源樣本位置可以保持相同。對於目標位置，源幾何體上的位置以及與這些位置相關聯的權重可以被預先計算。位置可以被儲存且可以被一些或所有後續的圖像使用。內插可以處理每一個圖像。內插可以用於每一個目標位置。可以藉由使用預先儲存的源幾何體樣本位置而將內插用於每一個目標位置。內插過程可以被加速。例如，可以使用平行處理技術（例如多執行緒）來加速內插過程。如第30圖所示，立方體貼圖的每個面可以被分成多個片。例如，立方體貼圖的每個面可以被分成5個片。6個面的一些或所有30（5x6）個片可以被內插。6個面的一些或所有30個片可以被平行內插。
第31圖顯示使用幾何體轉換工作流從第3圖的的等量矩形圖像轉換的範例立方體貼圖圖像。第32及33圖分別顯示在第31圖中顯示的範例放大垂直面邊界（在3101）及範例放大水平面邊界（在3103）。第31-33圖中顯示的邊界被對準（例如精確對準）。面邊界對準的立方體貼圖表示可以被有效壓縮，因為信號可以是連續的。當立方體貼圖表示被轉換回等量矩形表示時可以減少品質問題。
第34A圖顯示其中可以實施及/或使用所揭露的一個或多個實施方式的範例通信系統100的圖示。通信系統100可以是為多個無線使用者提供如語音、資料、視訊、訊息傳遞、廣播等內容的多重存取系統。該通信系統100經由共用包括無線頻寬的系統資源以使多個無線使用者能夠存取此類內容。舉例來說，通信系統100可以採用一種或多種通道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）等等。
如第34A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、102d（其一般或總體可以稱為WTRU 102）、無線電存取網路（RAN）103/104/105、核心網路106/107/109、公共交換電話網路（PSTN）108、網際網路110以及其他網路112，但是應該瞭解，所揭露的實施方式考慮了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c及/或102d的每一者可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。例如，WTRU 102a、102b、102c及/或102d可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備（UE）、行動站、固定或行動用戶單元、呼叫器、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、消費類電子裝置等等。
通信系統100還可以包括基地台114a及/或基地台114b。基地台114a、114b的每一者可以是被配置為經由與WTRU 102a、102b、102c及/或102d中的至少一者無線介接來促使存取一個或多個通信網路的任何類型的裝置，該通信網路諸如核心網路106/107/109、網際網路110及/或其它網路112。作為範例，基地台114a及/或114b可以是基地收發站（BTS）、節點B、e節點B、本地節點B、本地e節點B、網站控制器、存取點（AP）、無線路由器等等。雖然基地台114a、114b的每一者都被描述為是單一元件，但是應該瞭解，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，該RAN 103/104/105還可以包括其他基地台及/或網路元件（未顯示），例如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等等。基地台114a及/或基地台114b可以被配置為在被稱為胞元（未顯示）的特定地理區域內部傳輸及/或接收無線信號。胞元可被進一步劃分成胞元扇區。例如，與基地台114a相關聯的胞元可劃分為三個扇區。因此，在一個實施方式中，基地台114a可以包括三個收發器，也就是說，每一個收發器對應於胞元的一個扇區。在另一個實施方式中，基地台114a可以採用多輸入多輸出（MIMO）技術、並且因此可以將多個收發器用於胞元的每個扇區。
基地台114a、114b可以經由空中介面115/116/117以與WTRU 102a、102b、102c、102d中的一者或多者進行通信，該空中介面115/116/117可以是任何適當的無線通訊鏈路（例如射頻（RF）、微波、紅外線（IR）、紫外線（UV）、可見光等等）。該空中介面115/116/117可以使用任何適當的無線電存取技術（RAT）來建立。
更具體地說，如上所述，通信系統100可以是多重存取系統、並且可以採用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。舉例來說，RAN 103/104/105中的基地台114a與WTRU 102a、102b及/或102c可以實施諸如通用行動電信系統（UMTS）陸地無線電存取（UTRA）之類的無線電技術，並且該技術可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括諸如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）之類的通信協定。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。
在另一個實施方式中，基地台114a與WTRU 102a、102b及/或102c可以實施演進型UMTS陸地無線電存取（E-UTRA）之類的無線電技術，該技術可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面115/116/117。
在其它實施方式中，基地台114a及WTRU 102a、102b及/或102c可以實施無線電技術，該無線電技術諸如IEEE 802.16（全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球行動通信系統（GSM）、GSM增強資料速率演進（EDGE）、GSM EDGE（GERAN）等。
第34A圖中的基地台114b可以是例如無線路由器、本地節點B、本地e節點B或存取點、並且可以使用任何適當的RAT來促進例如營業場所、住宅、交通工具、校園等等的局部區域中的無線連接。在一個實施方式中，基地台114b與WTRU 102c、102d可以實施諸如IEEE 802.11之類的無線電技術來建立無線區域網路（WLAN）。在另一實施方式中，基地台114b與WTRU 102c、102d可以實施諸如IEEE 802.15之類的無線電技術來建立無線個人區域網路（WPAN）。在再一個實施方式中，基地台114b及WTRU 102c、102d可以使用基於蜂巢的RAT（例如WCDMA、CDMA2000、GSM、LTE、LTE-A等等）來建立微微胞元或毫微微胞元。如第34A圖所示，基地台114b可以具有與網際網路110的直接連接。因此，基地台114b未必需要經由核心網路106/107/109來存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，該核心網路 106/107/109可以是被配置為向WTRU 102a、102b、102c及/或102d中的一者或多者提供語音、資料、應用及/或網際網路協定語音（VoIP）服務的任何類型的網路。例如，核心網路 106/107/109可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等等、及/或執行使用者驗證之類的高階安全功能。雖然在第34A圖中沒有顯示，但是應該瞭解，RAN 103/104/105及/或核心網路106/107/109可以直接或間接地及其它那些與RAN 103/104/105使用相同RAT或不同RAT的RAN進行通信。例如，除了與使用E-UTRA無線電技術的RAN 103/104/105連接之外，核心網路106/107/109還可以與使用GSM無線電技術的另一RAN（未顯示）通信。
核心網路106/107/109還可以充當供WTRU 102a、102b、102c及/或102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球性互連電腦網路裝置系統，該協定可以是如傳輸控制協定（TCP）/網際網路協定（IP）互連網協定族中的TCP、使用者資料報協定（UDP）及/或IP。網路112可以包括由其他服務供應者擁有及/或操作的有線及/或無線通訊網路。例如，網路112可以包括與一個或多個RAN相連的另一個核心網路，該一個或多個RAN可以與RAN 103/104/105使用相同RAT或不同RAT。
通信系統100中的WTRU 102a、102b、102c及/或102d中的一些或所有可以包括多模能力，也就是說，WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器。例如，第34A圖所示的WTRU 102c可以被配置為與可以使用基於蜂巢的無線電技術的基地台114a通信、以及與可以使用IEEE 802無線電技術的基地台114b通信。
第34B圖顯示範例WTRU 102的系統圖。如第34B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統（GPS）晶片組136以及其他週邊設備138。應該瞭解的是，在保持符合實施方式的同時，WTRU 102還可以包括前述元件的任何子組合。此外，實施方式考慮了基地台114a及114b及/或基地台114a及114b可以代表的節點（例如但不限於收發站（BTS）、節點B、網站控制器、存取點（AP）、本地節點B、演進型本地節點B（e節點B）、本地演進型節點B（HeNB）、本地演進型節點B閘道以及代理節點等）可以包括第34B圖中顯示以及這裡描述的一些或所有元件。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器（DSP）、多個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、其他任何類型的積體電路（IC）、狀態機等等。處理器118可以執行信號解碼、資料處理、功率控制、輸入/輸出處理及/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120，收發器120可以耦合至傳輸/接收元件122。雖然第34B圖將處理器118及收發器120描述為是獨立元件，但是應該瞭解，處理器118及收發器120可以集成在一個電子封裝或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117來傳送信號至基地台（例如基地台114a）或從基地台（例如基地台114a）接收信號。舉個例子，在一個實施方式中，傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。在另一個實施方式中，作為範例，傳輸/接收元件122可以是被配置為傳輸及/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施方式中，傳輸/接收元件122可以被配置為傳輸及/或接收RF及光信號。應該瞭解的是，傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。
此外，雖然在第34B圖中將傳輸/接收元件122被描述為是單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說，WTRU 102可以使用MIMO技術。因此，在一個實施方式中，WTRU 102可以包括經由空中介面115/116/117來傳輸及接收無線電信號的兩個或更多個傳輸/接收元件122（例如多個天線）。
收發器120可以被配置為對傳輸/接收元件122將要傳輸的信號進行調變、以及對傳輸/接收元件122接收的信號進行解調。如上所述，WTRU 102可以具有多模能力。因此，收發器120可以包括使WTRU 102經由諸如UTRA及IEEE 802.11之類的多種RAT來進行通信的多個收發器。
WTRU 102的處理器118可以耦合至揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128（例如液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）、並且可以接收來自這些元件的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外，處理器118可以從任何類型的適當的記憶體（例如非可移記憶體130及/或可移記憶體132）中存取資訊、以及將資訊儲存至這些記憶體。該非可移記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或是其他任何類型的記憶儲存裝置。可移記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等等。在其它實施方式中，處理器118可以從那些並非實際位於WTRU 102的記憶體存取資訊、以及將資料儲存至這些記憶體，其中舉例來說，該記憶體可以位於伺服器或家用電腦（未顯示）上。
處理器118可以接收來自電源134的電力、並且可以被配置分配及/或控制用於WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當的裝置。舉例來說，電源134可以包括一個或多個乾電池組（如鎳鎘（Ni-Cd）、鎳鋅（Ni-Zn）、鎳氫（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。
處理器118還可以與GPS晶片組136耦合，該GPS晶片組136可以被配置為提供與WTRU 102的目前位置相關的位置資訊（例如經度及緯度）。作為來自GPS晶片組136的資訊的補充或替代，WTRU 102可以經由空中介面115/116/117接收來自基地台（例如基地台114a、114b）的位置資訊、及/或根據從兩個或多個附近基地台接收的信號時序來確定其位置。應該瞭解的是，在保持符合實施方式的同時，WTRU 102可以用任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138，這其中可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如，週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機（用於照片及/或視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍牙模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第34C圖是顯示根據一實施方式的RAN 103及核心網路 106的系統圖。如上所述，RAN 103可以使用UTRA無線電技術以經由空中介面115而與WTRU 102a、102b及/或102c進行通信。RAN 103還可以與核心網路106通信。如第34C圖所示，RAN 103可以包括節點B 140a、140b及/或140c，節點B 140a、140b及/或140c每一者可以包括經由空中介面115以與WTRU 102a、102b及/或102c通信的一個或多個收發器。節點B 140a、140b及/或140c的每一者可以與RAN 103中的特定胞元相關聯。RAN 103還可以包括RNC 142a及/或142b。應該理解的是，在保持符合實施方式的同時，RAN 103可以包括任何數量的節點B及RNC。
如第34C圖所示，節點B 140a及/或140b可以與RNC 142a進行通信。此外，節點B 140c可以與RNC 142b進行通信。節點B 140a、140b及/或140c可以經由Iub介面以與各自的RNC 142a、142b進行通信。RNC 142a、142b可以經由Iur介面彼此通信。RNC 142a、142b每一者可以被配置為控制與其相連的各自節點B 140a、140b及/或140c。另外，RNC 142a、142b每一者可被配置為執行或支援其他功能，例如外環功率控制、負載控制、允許控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第34C圖所示的核心網路106可以包括媒體閘道（MGW）144、行動交換中心（MSC）146、服務GPRS支援節點（SGSN）148及/或閘道GPRS支援節點（GGSN）150。雖然前述每個元件都被描述為是核心網路106的一部分，但是應該瞭解，核心網路操作者之外的其他實體也可以擁有及/或操作這其中的任一元件。
RAN 103中的RNC 142a可以經由IuCS介面而連接到核心網路106中的MSC 146。MSC 146可以連接到MGW 144。MSC 146及MGW 144可以為WTRU 102a、102b及/或102c提供針對PSTN 108之類的電路切換式網路的存取，以便促進WTRU 102a、102b及/或102c與傳統陸線通信裝置間的通信。
RAN 103中的RNC 142a還可以經由IuPS介面而連接到核心網路 106中的SGSN 148。該SGSN 148可以連接到GGSN 150。SGSN 148及GGSN 150可以為WTRU 102a、102b及/或102c提供針對網際網路110之類的封包交換網路的存取，以便促進WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。
如上所述，核心網路 106還可以連接到其它網路112，該其它網路112可以包括其他服務供應者擁有及/或操作的其他有線及/或無線網路。
第34D圖顯示根據實施方式的RAN 104以及核心網路107的系統圖。如上所述，RAN 104可以使用E-UTRA無線電技術以經由空中介面116而與WTRU 102a、102b及/或102c進行通信。RAN 104還可以與核心網路107通信。
RAN 104可以包括e節點B 160a、160b及/或160c，但是應該瞭解，在保持與實施方式相符的同時，RAN 104可以包括任何數量的e節點B。e節點B 160a、160b及/或160c每一者可以包括一個或多個收發器，用於經由空中介面116以與WTRU 102a、102b及/或102c通信。在一個實施方式中，e節點B 160a、160b及/或160c可以實施MIMO技術。因此，舉例來說，e節點B 160a可以使用多個天線以向WTRU 102a傳輸無線信號、及/或接收來自WTRU 102a的無線信號。
e節點B 160a、160b及/或160c的每一者可以與特定胞元（未顯示）相關聯、並且可以被配置為處理無線電資源管理決策、切換決策、上鏈及/或下鏈中的使用者排程等等。如第34D圖所示，e節點B 160a、160b及/或160c可以經由X2介面彼此通信。
第34D圖所示的核心網路107可以包括行動性管理閘道（MME）162、服務閘道（SGW）164以及封包資料網路（PDN）閘道166。雖然上述元件的每一者都被描述為是核心網路107的一部分，但是應該瞭解，核心網路操作者之外的其它實體同樣可以擁有及/或操作這其中的任一元件。
MME 162可以經由S1介面以與RAN 104中的e節點B 160a、160b及/或160c的每一者相連、並且可以充當控制節點。例如，MME 162可以負責認證WTRU 102a、102b及/或102c的使用者、啟動/停用承載、在WTRU 102a、102b及/或102c的初始連結期間選擇特定服務閘道等等。該MME 162還可以提供控制平面功能，用於在RAN 104與使用了GSM及/或WCDMA之類的其他無線電技術的其他RAN（未顯示）之間執行切換。
服務閘道164可以經由S1介面而連接到RAN 104中的e節點B 160a、160b及/或160c的每一者。該服務閘道164通常可以路由及轉發使用者資料封包至WTRU 102a、102b及/或102c/路由及轉發來自WTRU 102a、102b及/或102c的使用者資料封包。服務閘道164可以執行其他功能，例如在e節點B間切換期間錨定使用者平面、在下鏈資料可供WTRU 102a、102b及/或102c使用時觸發傳呼、管理及儲存WTRU 102a、102b及/或102c的上下文（context）等等。
服務閘道164還可以連接到PDN閘道166，其可以為WTRU 102a、102b、102c提供針對諸如網際網路110之類的封包交換網路的存取，以便促進WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。
核心網路107可以促成與其他網路的通信。例如，核心網路107可以為WTRU 102a、102b及/或102c提供針對PSTN 108之類的電路切換式網路的存取，以便促進WTRU 102a、102b及/或102c與傳統陸線通信裝置之間的通信。作為範例，核心網路107可以包括IP閘道（例如IP多媒體子系統（IMS）伺服器）或與之通信，其中所述IP閘道充當了核心網路107與PSTN 108之間的介面。此外，核心網路107可以為WTRU 102a、102b及/或102c提供針對其它網路112的存取，其中該其它網路112可以包括其他服務供應者擁有及/或操作的其他有線及/或無線網路。
第34E圖顯示根據一實施方式的RAN 105及核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術以經由空中介面117而與WTRU 102a、102b及/或102c通信的存取服務網路（ASN）。如以下進一步論述的那樣，WTRU 102a、102b及/或102c、RAN 105以及核心網路109的不同功能實體之間的通信鏈路可被定義為參考點。
如第34E圖所示，RAN 105可以包括基地台180a、180b及/或180c以及ASN閘道182，但是應該瞭解，在保持與實施方式相符的同時，RAN 105可以包括任何數量的基地台及ASN閘道。基地台180a、180b及/或180c的每一者可以與RAN 105中的特定胞元（未顯示）相關聯，並且每一者可以包括一個或多個收發器，用於經由空中介面117以與WTRU 102a、102b及/或102c進行通信。在一個實施方式中，基地台180a、180b及/或180c可以實施MIMO技術。舉例來說，基地台180a可以使用多個天線以向WTRU 102a傳輸無線信號、以及接收來自WTRU 102a的無線信號。基地台180a、180b及/或180c還可以提供行動性管理功能，例如切換觸發、隧道建立、無線電資源管理、訊務分類、服務品質（QoS）策略實施等等。ASN閘道182可以充當訊務聚合點、並且可以負責傳呼、用戶設定檔快取、路由至核心網路 109等等。
WTRU 102a、102b及/或102c與RAN 105之間的空中介面117可被定義為實施IEEE 802.16規範的R1參考點。另外，WTRU 102a、102b及/或102c的每一者可以與核心網路 109建立邏輯介面（未顯示）。WTRU 102a、102b及/或102c與核心網路109之間的邏輯介面可被定義為R2參考點，該R2參考點可以用於認證、授權、IP主機配置管理及/或行動性管理。
基地台180a、180b及/或180c的每一者之間的通信鏈路可被定義為R8參考點，該R8參考點包括了用於促成WTRU切換以及基地台之間的資料傳送的協定。基地台180a、180b及/或180c與ASN閘道182之間的通信鏈路可被定義為R6參考點。該R6參考點可以包括用於促成基於與WTRU 102a、102b及/或102c每一者相關聯的行動性事件的行動性管理。
如第34E圖所示，RAN 105可以連接到核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為R3參考點，作為範例，該R3參考點包含了用於促成資料傳送及行動性管理能力的協定。核心網路109可以包括行動IP本地代理（MIP-HA）184、認證、授權、記帳（AAA）伺服器186以及閘道188。雖然前述元件的每一者都被描述為是核心網路109的一部分，但是應該瞭解，核心網路操作者以外的實體可以擁有及/或操作這其中的任一元件。
MIP-HA可以負責IP位址管理、並且可以使WTRU 102a、102b及/或102c能夠在不同的ASN及/或不同的核心網路之間漫遊。MIP-HA 184可以為WTRU 102a、102b及/或102c提供針對網際網路110之類的封包交換網路的存取，以便促進WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。AAA伺服器186可以負責使用者認證以及支援使用者服務。閘道188可以促進與其他網路的交互作用。例如，閘道188可以為WTRU 102a、102b及/或102c提供對於PSTN 108之類的電路切換式網路的存取，以便促進WTRU 102a、102b及/或102c與傳統陸線通信裝置之間的通信。閘道188可以為WTRU 102a、102b及/或102c提供針對其它網路112的存取，其中該其它網路可以包括其他服務供應者擁有及/或操作的其它有線及/或無線網路。
雖然在第34E圖中沒有顯示，但是應該、可以及/或將瞭解，RAN 105可以連接到其它ASN，且核心網路109可以連接到其它核心網路。RAN 105與其它ASN之間的通信鏈路可被定義為R4參考點，該R4參考點可以包括用於協調WTRU 102a、102b及/或102c在RAN 105與其他ASN之間的行動性的協定。核心網路109與其它核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括用於促進本地核心網路與被訪核心網路之間互通的協定。
儘管上述按照特定組合描述了特徵及元素，但是本領域中具有通常知識者將理解的是每個特徵或元素可以被單獨使用或以與其它特徵及元素的任何組合來使用。此外，於此描述的方法可以在嵌入在電腦可讀媒體中由電腦或處理器執行的電腦程式、軟體或韌體中實施。電腦可讀媒體的範例包括電子信號（經由有線或無線連接傳送）以及電腦可讀儲存媒體。電腦可讀儲存媒體的範例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體儲存裝置、內部硬碟及可移磁片之類的磁性媒體、磁光媒體、以及CD-ROM光碟及數位多功能光碟（DVD）之類的光學媒體。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任何主機電腦中使用的射頻收發器。
100‧‧‧通信系統102a、102b、102c、102d‧‧‧無線傳輸/接收單元（WTRU）103、104、105‧‧‧無線電存取網路（RAN）106、107、109‧‧‧核心網路108‧‧‧公共交換電話網路（PSTN）110‧‧‧網際網路112‧‧‧其他網路114a、114b‧‧‧基地台115、116、117‧‧‧空中介面118‧‧‧處理器120‧‧‧收發器122‧‧‧傳輸/接收元件124‧‧‧揚聲器/麥克風126‧‧‧小鍵盤128‧‧‧顯示器/觸控板130‧‧‧非可移記憶體132‧‧‧可移記憶體134‧‧‧電源136‧‧‧全球定位系統（GPS）晶片組138‧‧‧週邊設備801‧‧‧橢圓803、1002、1004、1006、1008‧‧‧橢圓標記的區域901‧‧‧標記903、905‧‧‧兩側1010、1012、1014、1016‧‧‧線1018‧‧‧人的下巴1202、1204、1206及1208‧‧‧顯示
本文揭露的實施方式的更詳細的理解可以從下述結合附圖並且舉例給出的描述中得到。 第1圖顯示在經度（ϕ）及緯度（θ）上的範例球體取樣； 第2圖顯示使用等量矩形投影將第1圖的球體投影到2D平面； 第3圖顯示範例等量矩形圖像； 第4圖顯示在球體中使用等緯度間隔樣本的翹曲效應； 第5圖顯示使用立方體貼圖（cubemap）投影的球體幾何體表示； 第6圖顯示對應於第3圖中的等量矩形圖像的使用立方體貼圖投影的4x3訊框打包的圖像的範例； 第7圖顯示360度視訊系統的工作流； 第8圖顯示從第3圖中的等量矩形視訊轉換的範例4x3訊框打包立方體貼圖； 第9圖顯示第8圖的一部分（例如801）的範例放大圖； 第10圖顯示第8圖的一部分（例如803）的範例放大圖； 第11圖顯示360度視訊處理的示意性工作流； 第12圖顯示360度視訊處理的示意性工作流； 第13圖顯示亮度及色度取樣之間的範例樣本網格關係； 第14圖顯示使用12x6解析度的範例樣本網格； 第15圖顯示使用12x6解析度的範例樣本網格； 第16圖顯示使用12x6解析度的範例樣本網格； 第17圖顯示使用12x6解析度的範例樣本網格； 第18圖顯示立方體貼圖的兩種範例樣本網格佈置； 第19圖顯示用於等量矩形圖像的幾何填充的範例； 第20圖顯示用於立方體貼圖的面圖像的幾何填充的範例； 第21圖顯示正方形2x2相鄰樣本圖案； 第22圖顯示旋轉網格超取樣（RGSS）相鄰樣本圖案； 第23圖顯示菱形相鄰樣本圖案； 第24圖顯示正方形3x3相鄰樣本圖案； 第25圖顯示具有中心相鄰樣本的正方形2x2圖案； 第26圖顯示具有中心相鄰樣本的RGSS圖案； 第27圖顯示具有中心相鄰樣本的菱形圖案； 第28圖顯示具有中心的正方形3x3相鄰樣本圖案； 第29圖顯示五點形相鄰樣本圖案； 第30圖顯示使用每個面的配份（portioning）將幾何體轉換為多個片； 第31圖顯示使用幾何體轉換工作流從第3圖的等量矩形圖像轉換的立方體貼圖圖像； 第32圖是第31圖的一部分（例如3101）的放大視圖； 第33圖是第31圖的一部分（例如3103）的放大視圖； 第34A圖顯示其中可以實施一個或多個揭露的實施方式的範例通信系統的圖； 第34B圖顯示可以在第34A圖中顯示的通信系統中使用的範例無線傳輸/接收單元（WTRU）的系統圖； 第34C圖顯示可以在第34A圖中顯示的通信系統中使用的範例無線電存取網路及範例核心網路的系統圖； 第34D圖顯示可以在第34A圖中顯示的通信系統中使用的另一範例無線電存取網路及範例核心網路的系統圖； 第34E圖顯示可以在第34A圖中顯示的通信系統中使用的另一範例無線電存取網路及範例核心網路的系統圖。
1202、1204、1206及1208‧‧‧顯示

Claims (17)

  1. 一種用於視訊編碼之方法，包括：獲得在一第一幾何體中的一360度視訊內容，該360度視訊內容包括與一第一色度取樣方案相關聯的未對準的色度分量及亮度分量；將該未對準的色度分量及亮度分量對準到與具有對準的色度分量及亮度分量的一第二色度取樣方案相關聯的一取樣網格；以及將該第一幾何體中的包括該對準的色度分量及亮度分量的該360度視訊內容轉換到一第二幾何體。
  2. 如請求項1所述的方法，其中該第一色度取樣方案包括以下中的至少一者：具有一類型0色度樣本位置的一4：2：0色度格式、具有一類型1色度樣本位置的該4：2：0色度格式、或具有一類型3色度樣本位置的該4：2：0色度格式，以及其中該第二色度取樣方案包括以下中的至少一者：具有一類型2色度樣本位置的該4：2：0色度格式、一4：2：2色度格式、或一4：4：4色度格式。
  3. 如請求項1所述的方法，其中該第一幾何體包括一拼接的幾何體，以及該第二幾何體包括一編碼幾何體，以及其中在該第二色度取樣方案中，該色度分量可以與在相同取樣位置的該亮度分量重疊。
  4. 如請求項1所述的方法，其中該方法更包括：在將該第一幾何體中的該360度視訊內容轉換到該第二幾何體時，應用一逆重新對準濾波器以將該第二幾何體的該對準的色度分量恢復回具有與該第一色度取樣方案相關聯的該未對準的色度分量；以及執行具有該第一色度取樣方案的該第二幾何體中的該360度視訊內容的一訊框打包。
  5. 如請求項4所述的方法，其中該方法更包括： 在一位元流中產生一指示，該指示表明該第二幾何體的該色度分量已經被恢復回具有與該第一色度取樣方案相關聯的該未對準的色度分量。
  6. 如請求項1所述的方法，其中將該未對準的色度分量及亮度分量對準到與具有對準的色度分量及亮度分量的該第二色度取樣方案相關聯的該取樣網格更包括：在該色度分量與該亮度分量未垂直對準的一情況下，執行該第一色度取樣方案到該第二色度取樣方案的一垂直相移以將該色度分量與該亮度分量垂直對準；在該色度分量與該亮度分量未水平對準的一情況下，執行該第一色度取樣方案到該第二色度取樣方案的一水平相移以將該色度分量與該亮度分量水平對準；以及在該色度分量與該亮度分量未水平及垂直對準的一情況下，執行該第一色度取樣方案到該第二色度取樣方案的該水平相移及該垂直相移兩者，以將該色度分量與該亮度分量水平及垂直對準。
  7. 如請求項1所述的方法，其中將該未對準的色度分量及亮度分量對準包括應用具有一重取樣濾波器或一相位對準濾波器中的至少一者的一濾波器，其中該重取樣濾波器包括一色度升取樣濾波器或一內插濾波器。
  8. 如請求項1所述的方法，其中對準該未對準的色度分量包括：確定在一目前色度樣本位置的一目前色度樣本，該目前色度樣本與一視訊內容邊界之外的一填充色度樣本相關聯；基於該第一幾何體，導出與該填充色度樣本相關聯的一填充色度樣本位置，該填充色度樣本位置是該目前色度樣本位置的球體連續；以及導出在該填充色度樣本位置的一填充色度樣本值，以用於對準該色度分量。
  9. 如請求項1所述的方法，其中對準該未對準的色度分量包括： 確定與一目前色度樣本相關聯的一填充色度樣本是在一視訊內容面之外；計算該填充色度樣本的一3D位置；藉由將該填充色度樣本的該3D位置的一幾何體投影應用到該第一幾何體來識別該填充色度樣本的一2D平面位置；以及導出在所識別的2D平面位置的一填充樣本色度值，以用於對準該色度分量。
  10. 如請求項1所述的方法，其中該方法更包括：識別一圖像中的一目前樣本位置；確定一鄰近樣本位置是否在一內容邊界之外，其中該內容邊界包括一圖像邊界或一面邊界中的至少一者；在該鄰近樣本位置在該內容邊界之外的一情況下，基於該360度視訊內容的一圓形特性及一投影幾何體以導出一參考樣本位置；以及基於該參考樣本位置處理該360度視訊內容。
  11. 如請求項10所述的方法，其中導出該參考樣本位置更包括應用以下至少一者：一運動補償、一內預測、一迴路濾波、一樣本適應性偏移或一適應性迴路濾波。
  12. 一種用於視訊編碼之裝置，包括：一處理器，該處理器被配置為：獲得在一第一幾何體中的一360度視訊內容，該360度視訊內容包括與一第一色度取樣方案相關聯的未對準的色度分量及亮度分量；將該未對準的色度分量及亮度分量對準到與具有對準的色度分量及亮度分量的一第二色度取樣方案相關聯的一取樣網格；以及將該第一幾何體中的包括該對準的色度分量及亮度分量的該360度視訊內容轉換到一第二幾何體。
  13. 如請求項12所述的裝置，其中該第一色度取樣方案包括以下中的至少一者：具有一類型0色度取樣位置的一4：2：0色度格式、具有一類型1色度樣本位置的該4：2：0色度格式、或具有一類型3色度樣本位置的該4：2：0色度格式，以及其中該第二色度取樣方案包括以下中的至少一者：具有一類型2色度樣本位置的該4：2：0色度格式、一4：2：2色度格式、或一4：4：4色度格式，以及其中該第一幾何體包括一拼接的幾何體，以及該第二幾何體包括一編碼幾何體。
  14. 如請求項12所述的裝置，其中對準該未對準的色度分量，該處理器更被配置為：確定在一目前色度樣本位置的一目前色度樣本，該目前色度樣本與一視訊內容邊界之外的一填充色度樣本相關聯；基於該第一幾何體，識別與該填充色度樣本相關聯的一填充色度樣本位置，該填充色度樣本位置是該目前色度樣本位置的球體連續；以及導出在該填充色度樣本位置的一填充色度樣本值，以用於對準該色度分量。
  15. 如請求項12所述的裝置，其中對準該未對準的色度分量，該處理器更被配置為：確定與一目前色度樣本相關聯的一填充色度樣本在一視訊內容面之外；計算該填充色度樣本的一3D位置；藉由將該填充色度樣本的該3D位置的一幾何體投影應用到該第一幾何體來識別該填充色度樣本的一2D平面位置；以及導出在所識別的2D平面位置的一填充樣本色度值，以用於對準該色度分量。
  16. 一種電腦可讀儲存媒體，其儲存用於視訊編碼之指令，該指令配置一處理器，以執行如請求項1-11任一項所述的方法。
  17. 一種非暫態電腦儲存可讀儲存媒體，其儲存用於視訊編碼之指令，該指令配置一處理器，以執行如請求項1-11任一項所述的方法。
TW106117619A 2016-05-26 2017-05-26 360度視訊編碼幾何轉換 TWI774677B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662342089P 2016-05-26 2016-05-26
US62/342,089 2016-05-26

Publications (2)

Publication Number Publication Date
TW201811046A TW201811046A (zh) 2018-03-16
TWI774677B true TWI774677B (zh) 2022-08-21

Family

ID=59067890

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117619A TWI774677B (zh) 2016-05-26 2017-05-26 360度視訊編碼幾何轉換

Country Status (4)

Country Link
US (2) US11778231B2 (zh)
EP (1) EP3466075A1 (zh)
TW (1) TWI774677B (zh)
WO (1) WO2017205648A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
KR20230051319A (ko) 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
WO2018045108A1 (en) 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US10573076B2 (en) * 2016-12-14 2020-02-25 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN108537721B (zh) * 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
US10643301B2 (en) * 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10484682B2 (en) * 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
EP3729812A1 (en) * 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US11317114B2 (en) * 2018-03-19 2022-04-26 Sony Corporation Image processing apparatus and image processing method to increase encoding efficiency of two-dimensional image
WO2020001790A1 (en) 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
GB2590844B (en) * 2018-08-17 2023-05-03 Beijing Bytedance Network Tech Co Ltd Simplified cross component prediction
WO2020053804A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
CA3132485A1 (en) * 2019-03-12 2020-09-17 Tencent America LLC Method and apparatus for video encoding or decoding
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN114430901A (zh) 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
WO2021068921A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Motion vector handling in geometry partition mode
CN112788345B (zh) * 2019-11-11 2023-10-24 腾讯美国有限责任公司 视频数据解码方法、装置、计算机设备和存储介质
US11284141B2 (en) 2019-12-18 2022-03-22 Yerba Buena Vr, Inc. Methods and apparatuses for producing and consuming synchronized, immersive interactive video-centric experiences
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195573A1 (en) * 2014-01-07 2015-07-09 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
AU2014362246B2 (en) * 2013-12-13 2018-01-25 Vid Scale, Inc. Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation
EP3354029A4 (en) 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
WO2017093611A1 (en) * 2015-12-02 2017-06-08 Nokia Technologies Oy A method for video encoding/decoding and an apparatus and a computer program product for implementing the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195573A1 (en) * 2014-01-07 2015-07-09 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Also Published As

Publication number Publication date
US20230412839A1 (en) 2023-12-21
WO2017205648A1 (en) 2017-11-30
EP3466075A1 (en) 2019-04-10
TW201811046A (zh) 2018-03-16
US20190166382A1 (en) 2019-05-30
US11778231B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
TWI774677B (zh) 360度視訊編碼幾何轉換
JP7295178B2 (ja) ジオメトリ投影を使用する３６０度ビデオ符号化
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
US11212496B2 (en) Geometry conversion and frame packing associated with 360-degree videos
US20200322632A1 (en) Face discontinuity filtering for 360-degree video coding
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
WO2018170416A1 (en) Floating point to integer conversion for 360-degree video projection format conversion and spherical metrics calculation

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent