TWI728633B - 用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法 - Google Patents

用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法 Download PDF

Info

Publication number
TWI728633B
TWI728633B TW108148555A TW108148555A TWI728633B TW I728633 B TWI728633 B TW I728633B TW 108148555 A TW108148555 A TW 108148555A TW 108148555 A TW108148555 A TW 108148555A TW I728633 B TWI728633 B TW I728633B
Authority
TW
Taiwan
Prior art keywords
projection
pixel
frame
reconstructed
layout
Prior art date
Application number
TW108148555A
Other languages
English (en)
Other versions
TW202029741A (zh
Inventor
施正軒
李亞璇
林建良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202029741A publication Critical patent/TW202029741A/zh
Application granted granted Critical
Publication of TWI728633B publication Critical patent/TWI728633B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

視頻處理方法包括：接收位元流的一部分；對位元流的該部分進行解碼，以生成重構的基於投影的幀，該重構的基於投影的幀具有以360度虛擬實境投影的投影佈局封裝的投影面和填充區域；獲得經由位元流用信號傳送的色度採樣位置資訊；及執行混合處理，以通過將針對投影面中的第一色度樣本位置獲得的第一色度樣本值與針對填充區域中的第二色度樣本位置獲得的第二色度樣本值進行混合來生成目標色度樣本位置處的混合色度樣本值。根據色度採樣位置資訊確定目標色度樣本位置、第一色度樣本位置和第二色度樣本位置中的至少一個。

Description

用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影 面和至少一個填充區域的基於投影的幀的方法
交叉引用：本申請要求於2019年1月2日提交的第62/787,449號美國臨時申請的權益，並且該美國臨時申請通過引用併入本文中。
本發明涉及處理全向圖像/視頻內容，並且更具體地涉及用於處理基於投影的幀的方法，該基於投影的幀包括以360度虛擬實境(360 VR)投影佈局封裝(pack)的至少一個投影面和至少一個填充(padding)區域。
具有頭戴式顯示器(head-mounted displays，HMD)的虛擬實境(VR)與多種應用相關聯。向使用者顯示寬視野內容的能力可以用於提供沉浸式視覺體驗。必須在所有方向上捕獲真實世界環境，以產生對應于球面的全向圖像/視頻內 容。隨著攝像機裝備和HMD的進步，由於表示這種360度圖像/視頻內容所需要的高位元速率，VR內容的傳送可能很快變成瓶頸。當全向視頻的解析度為4K或更高時，資料壓縮/編碼對於降低位元速率至關重要。
通常，對應于球面的全向圖像/視頻內容被變換成圖像序列，圖像中的各個是基於投影的幀，其具有由佈置在360度虛擬實境(360VR)投影佈局中的一個或更多個投影面表示的360度圖像/視頻內容，並然後基於投影的幀的序列被編碼成位元流以進行傳輸。基於投影的幀在佈局邊界和/或面邊緣處可能具有圖像內容不連續性。因此，在壓縮之後，佈局邊界和/或面邊緣周圍的圖像品質可能較差。此外，通過重構的基於投影的幀的投影佈局轉換可能引入偽影，從而導致轉換的幀的圖像品質劣化。
所要求保護的發明的目的中的一個是提供用於處理基於投影的幀的方法，該基於投影的幀包括以360度虛擬實境(360 VR)投影佈局封裝的至少一個投影面和至少一個填充區域。
根據本發明的第一方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收位元流的一部分；對位元流的該部分進行解碼，以生成重構的基於投影的幀，該重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區 域；獲得經由位元流用信號傳送的色度採樣位置資訊；以及執行混合處理，以通過將針對在重構的基於投影的幀的所述至少一個投影面中的第一色度樣本位置獲得的第一色度樣本值與針對在重構的基於投影的幀的所述至少一個填充區域中的第二色度樣本位置獲得的第二色度樣本值進行混合來生成目標色度樣本位置處的混合色度樣本值，其中，根據色度採樣位置資訊來確定目標色度樣本位置、第一色度樣本位置和第二色度樣本位置中的至少一個。
根據本發明的第二方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收位元流；對位元流的一部分進行解碼，以生成第一重構的基於投影的幀，該第一重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；對第一重構的基於投影的幀執行混合處理，該混合處理包括：通過將針對第一重構的基於投影的幀的所述至少一個投影面中的第一像素位置獲得的第一像素值與針對第一重構的基於投影的幀的所述至少一個填充區域中的第二像素位置獲得的第二像素值進行混合來生成混合像素值；以及對位元流的另一部分進行解碼，以生成第二重構的基於投影的幀，其中，混合像素值由生成第二重構的基於投影的幀所涉及的幀間預測使用。
根據本發明的第三方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收位元流；對位元流的一部分進行解碼，以生成第一重構的基於投影的幀， 該第一重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；對第一重構的基於投影的幀執行混合處理，所述混合處理包括：通過將針對第一重構的基於投影的幀的所述至少一個投影面中的第一像素位置獲得的第一像素值與針對第一重構的基於投影的幀的所述至少一個填充區域中的第二像素位置獲得的第二像素值進行混合來生成混合像素值；以及對位元流的另一部分進行解碼，以生成第二重構的基於投影的幀，其中，第一重構的基於投影的幀用作由幀間預測所使用的參考幀，而混合像素值不被生成第二重構的基於投影的幀所涉及的幀間預測使用。
根據本發明的第四方面，公開了一種示例性視頻處理方法。該示例性視頻處理方法包括以下步驟：接收位元流的一部分；對位元流的該部分進行解碼，以生成重構的基於投影的幀，該重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；關於目標像素，在重構的基於投影的幀中找到多個對應像素，其中，目標像素和對應像素皆映射到球面上的同一點，對應像素包括第一像素和第二像素，第一像素位於重構的基於投影的幀的所述至少一個投影面內，而第二像素位於重構的基於投影的幀的所述至少一個填充區域內；通過將對應像素的像素值進行混合來生成混合像素值；以及通過混合像素值設置目標像素的像素值。
在閱讀了以下在多個附圖和圖片中例示的優選實施 方式的詳細說明之後，本發明的這些和其它目的對於本領域的普通技術人員無疑將變得顯而易見。
100、1000、1200:360 VR系統
102:源電子設備
104、1204:目的電子設備
112:視頻擷取裝置
114、1014:轉換電路
116:視頻編碼電路
103:傳輸裝置
122、1012:視頻解碼電路
124、1224:圖形渲染電路
126:顯示屏幕
123、919、1015、819:混合電路
115:填充電路
202:球面
204:立方體
206:CMP佈局
302、304、402、404、502、504:立方體佈局
800、900、1012:視頻解碼電路
802:熵解碼電路
804:逆量化電路
806:逆變換電路
808:重構電路
810:運動向量計算電路
813:運動補償電路
814:幀內預測電路
816:幀內/幀間模式選擇開關
818:環內濾波器
820:參考幀緩衝器
第1圖是例示了根據本發明的實施方式的第一360度虛擬實境(360 VR)系統的圖。
第2圖是例示了從球面的立方體貼圖(cubemap)投影獲得的立方體貼圖投影佈局的六個正方形投影面的圖。
第3圖是例示了根據本發明的實施方式的具有邊緣填充的立方體貼圖投影佈局的圖。
第4圖是例示了根據本發明的實施方式的具有邊界填充和邊緣填充的立方體貼圖投影佈局的圖。
第5圖是例示了根據本發明的實施方式的具有邊界填充和邊緣填充的另一立方體貼圖投影佈局的圖。
第6圖是例示了從投影面中的像素到填充區域中的其對應填充像素的映射的示例的圖。
第7圖是例示了從填充區域中的填充像素到投影面中的其對應像素的映射的示例的圖。
第8圖是例示了根據本發明的實施方式的具有環內混合的視頻解碼電路的圖。
第9圖是例示了根據本發明的實施方式的具有環外混合的視頻解碼電路的圖。
第10圖是例示了根據本發明的實施方式的第二360 VR系統 的圖。
第11圖是例示了混合同一源幀中的多個對應像素以得到目標像素的示例的圖。
第12圖是例示了根據本發明的實施方式的第三360 VR系統的圖。
第13圖是例示了4：2：0色度格式和四種色度樣本位置類型的圖。
第14圖是例示了從投影面中的色度樣本映射到填充區域中的其對應色度樣本的示例的圖。
第15圖是例示了從填充區域中的色度樣本映射到投影面中的其對應色度樣本的示例的圖。
第16圖是例示了混合同一源幀中的多個對應色度樣本以得到渲染處理或投影格式轉換處理所需要的目標色度樣本的示例的圖。
第17圖是例示了通過色度格式轉換處理中的色度採樣位置來設置混合處理中的色度採樣位置的示例的圖。
第18圖是例示了通過投影格式轉換處理中的色度採樣位置來設置混合處理中的色度採樣位置的示例的圖。
在以下描述和請求保護範圍中使用了指代特定部件的某些術語。本領域的技術入員將理解，電子裝置製造商可能通過不同的名稱來指代部件。本檔不旨在以名稱的差異來在部件之間進行區分，而是以功能的差異來在部件之間進行區分。 在以下描述中和在權利要求書中，術語“包括”和“包含”是以開放式方式使用的，從而應解釋成表示“包括但不限於......”。另外，術語“耦接”旨在表示間接或直接的電氣連接。因此，如果一個設備聯接到另一設備，則連接可能是通過直接電氣連接，或者通過經由其它設備和連接的間接電氣連接。
第1圖是例示了根據本發明的實施方式的第一360度虛擬實境(360 VR)系統的圖。360 VR系統100包括兩個視頻處理裝備(例如，源電子設備102和目的電子設備104)。源電子設備102包括視頻擷取裝置112、轉換電路114和視頻編碼電路116。例如，視頻擷取裝置112可以是用於提供與球面對應的全向圖像/視頻內容(例如，覆蓋整個環境的多個圖像)S_IN的一組攝像機。轉換電路114聯接在視頻擷取裝置112與視頻編碼電路116之間。轉換電路114根據全向圖像/視頻內容S_IN生成具有360度虛擬實境(360 VR)投影佈局L_VR的基於投影的幀IMG。例如，基於投影的幀IMG可以是包括在從轉換電路114生成的基於投影的幀的序列中的一個幀。
在本發明的一些實施方式中，轉換電路114可以支援色度格式轉換和投影格式轉換。例如，全向圖像/視頻內容S_IN可以被佈置成諸如等距柱狀投影(equirectangular projection，ERP)佈局的源投影佈局，並且轉換電路114可以對全向圖像/視頻內容S_IN執行投影格式轉換以生成具有目標360 VR投影佈局L_VR的基於投影的幀IMG。對於另一示例，全向圖像/視頻內容S_IN的各個像素可以包括具有第一色度格式(例如，4：4：4)的色度樣本，並且轉換電路114可以對全向圖像/視頻內 容S_IN執行色度格式轉換，使得要通過投影格式轉換來處理的全向圖像/視頻內容的各個像素可以包括具有第二色度格式(例如，4：2：0或4：2：2)的色度樣本。
視頻編碼電路116是基於視頻轉碼器架構而構建的，並且用於對基於投影的幀IMG進行編碼/壓縮以生成位元流BS的一部分。此外，視頻編碼電路116經由傳輸裝置103將位元流BS輸出到目的電子設備104。例如，基於投影的幀的序列可以被編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或存儲介質。
目的電子設備104可以是頭戴式顯示器(HMD)設備。如第1圖所示，目的電子設備104包括視頻解碼電路122、圖形渲染電路124和顯示屏幕126。視頻解碼電路122是基於視頻解碼器架構而構建的。因此，視頻解碼電路122從傳輸裝置103(例如，有線/無線通訊鏈路或存儲介質)接收位元流BS，並執行視頻解碼器功能以對接收到的位元流BS的一部分進行解碼以生成重構的基於投影的幀(解碼幀)IMG'。例如，視頻解碼電路122通過對接收到的位元流BS的不同部分進行解碼來生成重構的幀的序列，其中，重構的基於投影的幀IMG'是包括在重構的基於投影的幀的序列中的一個幀。在該實施方式中，要由編碼器側處的視頻編碼電路116編碼的基於投影的幀IMG具有帶有投影佈局的360 VR投影格式。因此，在由解碼器側處的解碼電路122對位元流BS進行解碼之後，重構的基於投影的幀IMG'是具有相同的360 VR投影格式和相同的投影佈局的重構的幀。圖形渲染電路124聯接在視頻解碼電路122與顯示屏幕126 之間。圖形渲染電路124根據重構的基於投影的幀IMG'來渲染輸出圖像資料並將其顯示在顯示屏幕126上。例如，可以經由圖形渲染電路124在顯示屏幕126上顯示與由重構的基於投影的幀IMG'承載的360度圖像/視頻內容的一部分相關聯的視口區域(viewport area)。
如上所述，轉換電路114根據360 VR投影佈局L_VR和全向圖像/視頻內容S_IN生成基於投影的幀IMG。如果360 VR投影佈局L_VR是沒有填充的緊湊的投影佈局，則投影面的封裝可能導致相鄰投影面之間的圖像內容不連續邊緣。
考慮一種情況，其中，360 VR投影佈局L_VR通過沒有填充的立方體貼圖投影(CMP)佈局來設置。因此，轉換電路114從球面的全向圖像/視頻內容S_IN獲得正方形投影面。即，球面的全向圖像/視頻內容經由立方體貼圖投影映射到正方形投影面上。第2圖是例示了從球面的立方體貼圖投影獲得的CMP佈局的六個正方形投影面的圖。球面202的全向圖像/視頻內容被映射到立方體204的六個正方形投影面(標記為“L”、“F”、“R”、“BK”、“T”和“B”)上。正方形投影面“L”表示立方體204的左面。正方形投影面“F”表示立方體204的前面。正方形投影面“R”表示立方體204的右面。正方形投影面“BK”表示立方體204的背面。正方形投影面“T”表示立方體204的頂面。正方形投影面“B”表示立方體204的底面。如第2圖所示，正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”以對應於展開的立方體的CMP佈局206佈置。要編碼的基於投影的幀IMG需要是矩形的。如果CMP佈局206直接用於創建基於投影的幀IMG，則 基於投影的幀IMG必須填充有虛設(dummy)區域(例如，黑色區域、灰色區域或白色區域)以形成用於編碼的矩形框架。因此，正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”可以以沒有填充的其它CMP佈局(例如，1×6立方體佈局、6×1立方體佈局、3×2立方體佈局或2×3立方體佈局)封裝。以這種方式，可以提高編碼效率。然而，當正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”以沒有填充的緊湊的CMP佈局封裝時，投影面的封裝不可避免地導致相鄰投影面之間的圖像內容不連續邊緣。因此，如果通過沒有填充的緊湊的CMP佈局設置360 VR投影佈局L_VR，則壓縮後的投影面之間的圖像內容不連續邊緣附近的圖像品質可能較差，並且壓縮後的佈局邊界(也可能是被視為圖像內容不連續邊緣)附近的圖像品質可能較差。具體來說，當正方形投影面以沒有填充的CMP佈局(例如1×6立方體佈局、6×1立方體佈局、3×2立方體佈局或2×3立方體佈局)封裝時，編碼後的基於投影的幀IMG由於CMP佈局的不連續佈局邊界和/或CMP佈局的不連續邊緣而可能具有偽影。例如，沒有填充的CMP佈局具有頂部不連續邊界、底部不連續邊界、左部不連續邊界和右部不連續邊界。另外，在以沒有填充的CMP佈局封裝的兩個相鄰正方形投影面之間存在至少一個圖像內容不連續邊緣。
為了解決上述問題，轉換電路114配備有用於生成填充區域的填充電路115，並且轉換電路114被佈置成採用通過具有填充的投影佈局所設置的360 VR投影佈局L_VR。在佈局邊界和/或不連續邊緣周圍，可以插入通過像素填充生成的另外 的填充區域，以減少接縫偽影(seam artifact)。
例如，僅能在不連續的邊緣添加像素填充。第3圖是例示了根據本發明的實施方式的具有邊緣填充的立方體貼圖投影佈局的圖。第3圖的子圖(A)例示了具有邊緣填充的3×2立方體佈局302。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“L”的底側與正方形投影面“T”的頂側連接，則在正方形投影面“L”與“T”之間存在圖像內容不連續邊緣。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“F”的底側與正方形投影面“BK”的頂側連接，則在正方形投影面“F”與“BK”之間存在圖像內容不連續邊緣。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“R”的底側與正方形投影面“B”的頂側連接，則在正方形投影面“R”與“B”之間存在圖像內容不連續邊緣。根據具有填充的3×2立方體投影佈局302，在正方形投影面“L”與“T”之間插入填充區域PR_DE1，在正方形投影面“F”與“BK”之間插入填充區域PR_DE2，並且在正方形投影面“R”與“B”之間插入填充區域PR_DE3。
在投影佈局302中，第一填充區域PR_DE1包括從正方形投影面“L”延伸的填充像素和從正方形投影面“T”延伸的填充像素，並且因此將正方形投影面“L”的底側與正方形投影面“T”的頂側隔離開。在投影佈局302中，第二填充區域PR_DE2包括從正方形投影面“F”延伸的填充像素和從正方形投影面“BK”延伸的填充像素，並且因此將正方形投影面“F”的底側與正方形投影面“BK”的頂側隔離開。在投影佈局302中，第三填 充區域PR_DE3包括從正方形投影面“R”延伸的填充像素和從正方形投影面“B”延伸的填充像素，並且因此將正方形投影面“R”的底側與正方形投影面“B”的頂側隔離開。一個正方形投影面的像素填充大小為SGB。因此，各個填充區域PR_DE1/PR_DE2/PR_DE3的寬度等於2*SGB。
第3圖的子圖(B)例示了具有邊緣填充的6×1立方體佈局304。在沒有填充的典型的6×1立方體投影佈局中，如果正方形投影面“R”的右側與正方形投影面“T”的左側連接，則在正方形投影面“R”與“T”之間存在圖像內容不連續邊緣。根據具有填充的6×1立方體投影佈局304，在正方形投影面“R”與“T”之間插入填充區域PR_DE。在投影佈局304中，填充區域PR_DE包括從正方形投影面“R”延伸的填充像素和從正方形投影面“T”延伸的填充像素，並且因此將正方形投影面“R”的右側與正方形投影面“T”的左側隔離開。一個正方形投影面的像素填充大小為SGB。因此，填充區域PR_DE的寬度等於2*SGB。
對於另一示例，可以在佈局邊界和不連續邊緣處添加填充。第4圖是例示了根據本發明的實施方式的具有邊界填充和邊緣填充的立方體貼圖投影佈局的圖。第4圖的子圖(A)例示了具有邊界填充和邊緣填充的3×2立方體佈局402。如果正方形投影面以沒有填充的典型的3×2立方體投影佈局封裝，則正方形投影面“L”、“F”和“R”的頂側形成頂部不連續邊界，正方形投影面“T”、“BK”和“B”的底側形成底部不連續邊界，正方形投影面“L”和“T”的左側形成左部不連續邊界，並且正方形投影面“R”和“B”的右側形成右部不連續邊界。具有邊界填充和邊緣 填充的3×2立方體佈局402可以從將邊界填充添加到具有邊緣填充的3×2立方體佈局302中來得出。因此，除了在不連續邊緣處的填充區域PR_DE1、PR_DE2、PR_DE3之外，具有邊界填充和邊緣填充的3×2立方體佈局402還具有與正方形投影面“L”、“F”和“R”的頂側連接的頂部填充區域PR_T，與方形投影面“T”、“BK”和“B”的底側連接的底部填充區域PR_B，與正方形投影面“L”和“T”的左側連接的左部填充區域PR_L以及與正方形投影面“R”和“B”的右側連接的右部填充區域PR_R。
頂部填充區域PR_T包括從正方形投影面“L”、“F”和“R”延伸的填充像素。底部填充區域PR_B包括從正方形投影面“T”、“BK”和“B”延伸的填充像素。左部填充區域PR_L包括從正方形投影面“L”和“T”延伸的填充像素。右部填充區域PR_R包括從正方形投影面“R”和“B”延伸的填充像素。一個正方形投影面的像素填充大小為SGB。因此，各個邊界填充區域PR_T/PR_B/PR_L/PR_R的寬度等於SGB。
第4圖的子圖(B)例示了具有邊界填充和邊緣填充的6×1立方體佈局404。如果正方形投影面以沒有填充的典型的6×1立方體投影佈局封裝，則正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的頂側形成頂部不連續邊界，正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的底側形成底部不連續邊界，正方形投影面“L”的左側形成左部不連續邊界，並且正方形投影面“B”的右側形成右部不連續邊界。具有邊界填充和邊緣填充的6×1立方體佈局404可以從將邊界填充添加到具有邊緣填充的6×1立方體佈局304中來得出。因此，除了在不連續邊緣處的填 充區域PR_DE之外，具有邊界填充和邊緣填充的6×1立方體佈局404還具有與正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的頂側連接的頂部填充區域PR_T、與方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的底側連接的底部填充區域PR_B、與正方形投影面“L”的左側連接的左部填充區域PR_L以及與正方形投影面“B”的右側連接的右部填充區域PR_R。
頂部填充區域PR_T包括從正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”延伸的填充像素。底部填充區域PR_B包括從正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”延伸的填充像素。左部填充區域PR_L包括從正方形投影面“L”延伸的填充像素。右部填充區域PR_R包括從正方形投影面“B”延伸的填充像素。一個正方形投影面的像素填充大小為SGB。因此，各個邊界填充區域PR_T/PR_B/PR_L/PR_R的寬度等於SGB。
對於又一示例，可以在佈局邊界、不連續邊緣和連續邊緣處添加填充。第5圖是例示了根據本發明的實施方式的具有邊界填充和邊緣填充的另一立方體貼圖投影佈局的圖。第5圖的子圖(A)例示了具有邊界填充和邊緣填充的另一3×2立方體佈局502。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“L”的右側與正方形投影面“F”的左側連接，則在正方形投影面“L”與“F”之間存在圖像內容連續邊緣。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“F”的右側與正方形投影面“R”的左側連接，則在正方形投影面“F”與“R”之間存在圖像內容連續邊緣。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“T”的右側與正方形投影面 “BK”的左側連接，則在正方形投影面“T”與“BK”之間存在圖像內容連續邊緣。在沒有填充的典型的3×2立方體投影佈局中，如果正方形投影面“BK”的右側與正方形投影面“B”的左側連接，則在正方形投影面“BK”與“B”之間存在圖像內容連續邊緣。
具有邊界填充和邊緣填充的3×2立方體佈局502可以從將更多填充添加到具有邊界填充和邊緣填充的3×2立方體佈局402中來得出。因此，除了在不連續邊緣處的填充區域PR_DE1、PR_DE2、PR_DE3和在不連續邊界處的填充區域PR_T、PR_B、PR_L、PR_R之外，具有邊界填充和邊緣填充502的3×2立方體佈局還具有與正方形投影面“L”的右側和正方形投影面“F”的左側連接的填充區域PR_CE1、與正方形投影面“F”的右側和正方形投影面“R”的左側連接的填充區域PR_CE2、與正方形投影面“T”的右側和正方形投影面“BK”的左側連接的填充區域PR_CE3以及與正方形投影面“BK”的右側和正方形投影面“B”的左側連接的填充區域PR_CE4。
在投影佈局502中，填充區域PR_CE1包括從正方形投影面“L”和“F”延伸的填充像素，並且因此將正方形投影面“L”的右側與正方形投影面“F”的左側隔離開。在投影佈局502中，填充區域PR_CE2包括從正方形投影面“F”和“R”延伸的填充像素，並且因此將正方形投影面“F”的右側與正方形投影面“R”的左側隔離開。在投影佈局502中，填充區域PR_CE3包括從正方形投影面“T”和“BK”延伸的填充像素，並且因此將正方形投影面“T”的右側與正方形投影面“BK”的左側隔離開。在投影佈局502中，填充區域PR_CE4包括從正方形投影面“BK”和“B”延伸 的填充像素，並且因此將正方形投影面“BK”的右側與正方形投影面“B”的左側隔離開。一個正方形投影面的像素填充大小為SGB。因此，各個填充區域PR_CE1/PR_CE2/PR_CE3/PR_CE4的寬度等於2*SGB。
第5圖的子圖(B)例示了具有邊界填充和邊緣填充的另一所提出的6×1立方體佈局504。具有邊界填充和邊緣填充的6×1立方體佈局504可以從將更多填充添加到具有邊界填充和邊緣填充的6×1立方體佈局404中來得出。因此，除了在不連續邊緣處的填充區域PR_DE和在不連續邊界處的填充區域PR_T、PR_B、PR_L、PR_R之外，具有邊界填充和邊緣填充的6×1立方體佈局還具有四個填充區域PR_CE1、PR_CE2、PR_CE3、和PR_CE4。一個正方形投影面的像素填充大小為SGB。因此，各個填充區域PR_CE1/PR_CE2/PR_CE3/PR_CE4的寬度等於2*SGB。
應當注意，上述具有填充的CMP佈局僅用於例示性目的，並不意味著對本發明的限制。相同的填充概念可以應用於其它投影佈局。即，可以通過將填充區域添加到其它投影格式的佈局(例如，等距柱狀投影(ERP)佈局、金字塔(pyramid)投影佈局、截頂方形金字塔(truncated square pyramid，TSP)投影佈局、球形分段投影(SSP)佈局、四面體(tetrahedron)投影佈局、基於四邊形石英(tetragon quartz-based)的投影佈局、二十面體(icosahedron)投影佈局或基於六邊形石英(hexagon quartz-based)的投影佈局)來獲得帶有填充的360 VR投影佈局。簡單地說，360 VR投影佈局L_VR可以通過任何 帶有填充的投影佈局來設置。
在第一示例性填充設計中，填充電路115將幾何填充應用於投影面，以確定包括在與投影面連接的填充區域中的像素的像素值。將球面上的區域的內容映射到填充區域上，其中，球面上的區域與從中獲得投影面的區域相鄰。
在第二示例性填充設計中，填充電路115通過複製包括在不與填充區域連接的不同投影面中的像素的像素值或者通過複製位於同一投影面的相對側的像素的像素值，來設置包括在連接到投影面的一側的該填充區域中的像素的像素值。
在第三示例性填充設計中，填充電路115通過複製包括在與填充區域連接的投影面中的邊緣像素的像素值來設置包括在該填充區域中的像素的像素值。
如上所述，目的電子設備104的視頻解碼電路122從傳輸裝置103(例如，有線/無線通訊鏈路或存儲介質)接收位元流BS，並且執行視頻解碼器功能以對接收到的位元流BS的一部分進行解碼，以生成重構的基於投影的幀IMG'，該重構的基於投影的幀IMG'是具有與源電子設備102的轉換電路114所採用的相同的360 VR投影佈局L_VR的重構的幀。在通過具有填充的投影佈局(例如，具有邊界填充的投影佈局、具有邊緣填充的投影佈局或具有邊界填充和邊緣填充的投影佈局)來設置360 VR投影佈局L_VR的情況下，重構的基於投影的幀IMG'具有位於投影佈局的佈局邊界和/或面邊緣處的填充區域。在一個實施方式中，視頻解碼電路122可以裁剪(crop)填充區域，使得僅重構非填充區域(例如，最初從360 VR投影獲得的投影 面中表示的全向圖像/視頻內容)。在另選的設計中，視頻解碼電路122可以啟用混合電路123以執行基於填充區域中的填充像素和非填充區域中的像素的混合。
例如，可以通過將投影面中的像素的原始像素值與填充區域中的對應填充像素的像素值進行混合來更新投影面中的像素的像素值。如果填充電路115使用幾何映射來生成填充像素，則需要從投影面中的像素到填充區域中的其對應填充像素的映射。第6圖是例示了從投影面中的像素到填充區域中的其對應填充像素的映射的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR。首先將投影面中的一個像素A映射到球面202上的3D點C1。接下來，通過基於立方體的投影將球面202上的3D點C1映射到填充區域中的填充像素A'。像素A的像素值和填充像素A'的像素值可以通過例如基於距離的加權函數進行混合，以生成用於更新像素A的原始像素值的混合像素值。
如果根據上述第一示例性填充設計通過對投影面應用幾何填充來獲得投影面的填充區域，則在填充區域中，填充像素A'可以位於非整數位置(即(x，y)，其中，x不是整數位置，和/或y不是整數位置)。特別是，由於幾何映射，填充像素A'的2D座標是從像素A的2D座標轉換的。即，可以將投影面中位於整數位置(即，(X，Y)，其中，X和Y是整數位置)的像素A映射到填充區域中位於非整數位置(即，(x，y)，其中，x不是整數位置，和/或y不是整數位置)的填充像素A'。由於在 填充區域中，位於非整數位置的填充像素A'的像素值不是可直接得到的，所以混合電路123可以通過使用插值濾波器(未示出)處理位於整數位置的相鄰填充像素來確定在填充區域中位於非整數位置的填充像素A'的像素值。
對於某些應用，可以在目的電子設備中實現轉換電路，以將具有第一360 VR投影格式的投影佈局的重構的幀轉換成具有第二360 VR投影格式的投影佈局的轉換的幀，所述第二360 VR投影格式與第一360 VR投影格式不同。例如，從解碼電路生成的重構的幀可以是具有以具有填充的立方體貼圖投影佈局封裝的投影面和填充區域的基於投影的幀，並且從轉換電路生成並由隨後的圖形渲染電路使用的轉換的幀可以是具有以沒有填充的典型等距柱狀投影(ERP)佈局封裝的投影面的基於投影的幀。可以將轉換的幀中位於整數位置(即(x，y)，其中，x和y是整數位置)的像素映射到重構的幀中位於非整數位置(即(x'，y')，其中，x'不是整數位置，和/或y'不是整數位置)的像素。即，當執行投影佈局轉換時，轉換電路可以通過重構的幀中位於非整數位置的像素的像素值來設置轉換的幀中位於整數位置的像素的像素值。由於在解碼幀中，位於非整數位置的像素的像素值不是可直接得到的，所以轉換電路可以通過使用插值濾波器處理重構的幀中位於整數位置的像素來確定重構的幀中位於非整數位置的像素的像素值。在重構的幀中具有非整數位置的像素在投影面的邊緣處或附近的情況下，由插值濾波器使用的像素可以包括從投影面中選擇的至少一個像素和從對應填充區域中選擇的至少一個像素。如上所 述，通過混合(例如，基於距離的加權)來更新投影面中的像素的像素值。然而，如果未通過混合(例如，基於距離的加權)來更新對應填充區域中的填充像素的像素值，則由於對投影面中像素的更新的像素值和對應填充區域中的填充像素的原始像素值執行插值而可能引入偽影。為了解決這個問題，可以執行混合以更新投影面中的像素的像素值以及對應填充區域中的填充像素的像素值。
可以通過將填充區域中的填充像素的原始像素值與投影面中的對應像素的像素值混合來更新填充區域中的填充像素的像素值。如果填充電路115使用幾何映射來生成填充像素，則需要從填充區域中的填充像素到投影面中的其對應像素的映射。第7圖是例示了從填充區域中的填充像素到投影面中的其對應像素的映射的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR。首先將填充區域中的一個填充像素B'映射到球面202上的3D點C2。接下來，通過基於立方體的投影將球面202上的3D點C2映射到投影面中的像素B。像素B的像素值和填充像素B'的像素值可以通過例如基於距離的加權函數進行混合，以生成用於更新填充像素B'的原始像素值的混合像素值。
如果根據上述第一示例性填充設計通過對投影面應用幾何填充來獲得投影面的填充區域，則在投影面中，像素B可以位於非整數位置(即(X，Y)，其中，X不是整數位置，和/或Y不是整數位置)。特別是，由於幾何映射，像素B的2D 座標是從填充像素B'的2D座標轉換的。即，可以將填充區域中位於整數位置(即，(x，y)，其中，x和y是整數位置)的填充像素B'映射到投影面中位於非整數位置(即，(X，Y)，其中，X不是整數位置，和/或Y不是整數位置)的像素B。由於在投影面中，位於非整數位置的像素B的像素值不是可直接得到的，所以混合電路123可以通過使用插值濾波器(未示出)處理位於整數位置的相鄰像素來確定投影面中位於非整數位置的像素B的像素值。
在第1圖示出的實施方式中，混合電路123是視頻解碼電路122的一部分。根據實際設計考慮，由混合電路123執行的混合處理可以為環內或環外的方式。
第8圖是例示了根據本發明的實施方式的具有環內混合的視頻解碼電路的圖。可以使用第8圖所示的視頻解碼電路800來實現第1圖所示的視頻解碼電路122。在該實施方式中，視頻解碼電路800被佈置成接收位元流BS作為輸入位元流，並且對接收到的位元流BS的一部分進行解碼，以生成被供應給下一級(例如，第1圖所示的圖形渲染電路124)的重構的基於投影的幀(解碼幀)IMG'。應當注意，第8圖所示的視頻解碼器架構僅是為了例示的目的，並不意味著對本發明的限制。如第8圖所示，視頻解碼電路800包括熵解碼電路(例如，可變長度解碼器)802、逆量化電路(以“IQ”表示)804、逆變換電路(以“IT”表示)806、重構電路808、運動向量計算電路(由“MV計算”表示)810、運動補償電路(由“MC”表示)813、幀內預測電路(由“IP”表示)814、幀內/幀間模式選擇開關816、至少一 個環內濾波器818、混合電路819以及參考幀緩衝器820。可以由第8圖所示的環內混合電路819來實現第1圖所示的混合電路123。
當塊被幀間編碼時，運動向量計算電路810參考由熵解碼電路802從位元流BS解析的資訊，以確定幀的正被解碼的當前塊與參考幀(該參考幀是重構的幀並被存儲在參考幀緩衝器820中)的預測塊之間的運動向量。運動補償電路813可以執行插值濾波以根據運動向量來生成預測塊。預測塊被供應給幀內/幀間模式選擇開關816。由於塊被幀間編碼，所以幀內/幀間模式選擇開關816將從運動補償電路813生成的預測塊輸出到重構電路808。當塊被幀內編碼時，幀內預測電路814生成到幀內/幀間模式選擇開關816的預測塊。由於塊被幀內編碼，所以幀內/幀間模式選擇開關816將從幀內預測電路814生成的預測塊輸出到重構電路808。
另外，通過熵解碼電路802、逆量化電路804和逆變換電路806獲得塊的解碼殘差。重構電路808將解碼殘差與預測塊組合以生成重構的塊。可以將重構的塊存儲到參考幀緩衝器820中，以成為可以用於對隨後的塊進行解碼的參考幀(其是重構的幀)的一部分。尤其是，存儲在參考幀緩衝器820中的各個參考幀可以由幀間預測使用。在將重構的塊存儲到參考幀緩衝器820中之前，環內濾波器818可以對重構的塊執行指定的環內濾波。例如，環內濾波器818可以包括去塊濾波器。此外，在將重構的塊存儲到參考幀緩衝器820中之前，混合電路819對重構的塊執行指定的混合。具體地，混合電路819對第一重構 的基於投影的幀IMG_R(該IMG_R是環內濾波器818的輸出)執行混合處理，並且將混合參考幀存儲到參考幀緩衝器820中，其中，混合電路819的輸出還用作被供應給下一級(例如，第1圖所示的圖形渲染電路124)的重構的基於投影的幀(解碼幀)IMG'。混合參考幀包括混合像素值，該混合像素值是通過將針對重構的基於投影的幀IMG_R的一個投影面中的第一像素位置獲得的第一像素值與針對重構的基於投影的幀IMG_R的一個填充區域中的第二像素位置獲得的第二像素值混合而生成的。當視頻解碼電路800對位元流BS的另一部分進行解碼以生成第二重構的基於投影的幀(該幀是環內濾波器818的輸出)時，混合參考幀(該混合參考幀從第一重構的基於投影的幀IMG_R得出)由幀間預測使用，使得混合像素值由生成第二重構的基於投影的幀所涉及的幀間預測使用。混合電路819可以由從位元流BS解析的控制資訊IMG_CTRL來控制。例如，控制資訊IMG_CTRL可以包括指示色度採樣位置資訊的標誌。
第9圖是例示了根據本發明的實施方式的具有環外混合的視頻解碼電路的圖。可以使用第9圖所示的視頻解碼電路900來實現第1圖所示的視頻解碼電路122。在該實施方式中，視頻解碼電路900被佈置成接收位元流BS作為輸入位元流，並且對接收到的位元流BS的一部分進行解碼，以生成被供應給下一級(例如，第1圖所示的圖形渲染電路124)的重構的基於投影的幀(解碼幀)IMG'。應當注意，第9圖所示的視頻解碼器架構僅是為了例示的目的，並不意味著對本發明的限制。視頻解碼電路800與900之間的主要區別在於，視頻解碼電路900具 有不將其輸出存儲到參考幀緩衝器820中的混合電路919。可以由第9圖所示的環外混合電路919來實現第1圖所示的混合電路123。
重構電路808將解碼殘差與預測塊組合以生成重構的塊。可以將重構的塊存儲到參考幀緩衝器820中，以成為可以用於對隨後的塊進行解碼的參考幀(該參考幀是重構的幀)的一部分。尤其是，存儲在參考幀緩衝器820中的各個參考幀可以由幀間預測使用。在將重構的塊存儲到參考幀緩衝器820中之前，環內濾波器818可以對重構的塊執行指定的環內濾波。例如，環內濾波器818可以包括去塊濾波器。混合電路919對重構的塊執行指定的混合。具體地，混合電路919對第一重構的基於投影的幀IMG_R(該IMG_R是環內濾波器818的輸出)執行混合處理，並且生成被供應給下一級(例如，第1圖所示的圖形渲染電路124)的重構的基於投影的幀(解碼幀)IMG'。重構的基於投影的幀IMG'是混合幀，該混合幀包括通過將針對第一重構的基於投影的幀IMG_R的一個投影面中的第一像素位置獲得的第一像素值與針對第一重構的基於投影的幀IMG_R的一個填充區域中的第二像素位置獲得的第二像素值混合而生成的混合像素值。當視頻解碼電路900對位元流BS的另一部分進行解碼以生成第二重構的基於投影的幀(該幀是環內濾波器818的輸出)時，第一重構的基於投影的幀IMG_R是存儲到參考幀緩衝器820中並由幀間預測使用的參考幀，而從混合電路919輸出的混合像素值未被生成第二重構的基於投影的幀所涉及的幀間預測使用。混合電路919可以由從位元流BS 解析的控制資訊IMG_CTRL來控制。例如，控制資訊IMG_CTRL可以包括指示色度採樣位置資訊的標誌。
在以上實施方式中，混合電路123是視頻解碼電路122的一部分。另選地，可以通過在目的電子設備中實現的不同功能塊來執行混合處理。
第10圖是例示了根據本發明的實施方式的第二360 VR系統的圖。360 VR系統100與1000之間的主要區別在於，目的電子設備1004具有沒有混合電路的視頻解碼電路1012以及具有混合電路1015的轉換電路1014。混合電路1015用於在投影格式轉換處理期間得出目標投影佈局中的目標像素。混合電路1015可以由從位元流BS解析的控制資訊INF_CTRL來控制。例如，控制資訊INF_CTRL可以包括指示色度採樣位置資訊的標誌。在該實施方式中，在目的電子設備1004中實現轉換電路1014，以將具有第一360 VR投影格式的投影佈局的重構的幀轉換成具有第二360 VR投影格式的投影佈局的轉換的幀，所述第二360 VR投影格式與第一360 VR投影格式不同。例如，從視頻解碼電路1012生成的重構的基於投影的幀(解碼幀)IMG'可以具有以具有填充的立方體貼圖投影佈局封裝的投影面和填充區域，而從轉換電路1014生成並由隨後的圖形渲染電路124使用的轉換的幀IMG"可以是具有以沒有填充的典型等距柱狀投影(ERP)佈局封裝的投影面的基於投影的幀。
第11圖是例示了混合同一源幀中的多個對應像素以得出目標像素的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR，並且要從轉換電路1014生成的轉換的幀IMG"處於沒有填充的ERP佈局中。關於轉換的幀IMG"中的目標像素PT，混合電路1015在從視頻解碼電路1012生成的重構的基於投影的幀IMG'中找到多個對應像素P和P'。目標像素PT以及對應像素P和P'被映射到球面202上的同一3D點C3，其中，一個對應像素P位於重構的基於投影的幀IMG'的一個投影面內，而另一對應像素P'位於重構的基於投影的幀IMG'的一個填充區域內。具體地，首先將轉換的幀IMG"中的目標像素PT映射到球面202上的3D點C3，並且然後將球面202上的3D點C3映射到重構的基於投影的幀IMG'中的兩個對應像素P和P'。混合電路1015通過混合對應像素P和P'的像素值來生成混合像素值，並且通過混合像素值來設置目標像素PT的像素值。
可以將轉換的幀IMG"中位於整數位置(即(x，y)，其中，x和y是整數位置)的像素映射到重構的基於投影的幀(解碼幀)IMG'中位於非整數位置(即(x'，y')，其中，x'不是整數位置，和/或y'不是整數位置)的像素。即，當執行投影佈局轉換時，轉換電路1015可以通過部分地基於重構的基於投影的幀IMG'中的位於非整數位置的像素的像素值的混合處理來設置轉換的幀IMG"中的位於整數位置的像素的像素值。由於在重構的基於投影的幀IMG'中，位於非整數位置的像素的像素值不是可直接得到的，所以轉換電路1015可以通過使用插值濾波器(未示出)處理重構的基於投影的幀IMG'中的位於整數位置的相鄰像素來確定重構的基於投影的幀IMG'中的位於非整數位置的像素的像素值。
第12圖是例示了根據本發明的實施方式的第三360 VR系統的圖。360 VR系統1000與1200之間的主要區別在於，目的電子設備1204有具有混合電路1015的圖形渲染電路1224。在該實施方式中，混合電路1015用於在渲染處理期間得出要顯示在顯示屏幕126上的目標像素。混合電路1015可以由從位元流BS解析的控制資訊INF_CTRL來控制。例如，控制資訊INF_CTRL可以包括指示色度採樣位置資訊的標誌。根據360 VR投影佈局L_VR，將圖像內容呈現在重構的基於投影的幀(解碼幀)IMG'中。由於重構的基於投影的幀IMG'具有封裝在其中的至少一個投影面和至少一個填充區域，所以混合電路1015可以用於通過混合一個投影面中的對應像素與一個填充區域中的對應像素，來得出要顯示在顯示屏幕126上的目標像素。
請結合第11圖參照第12圖。假設目標像素PT是要顯示在顯示屏幕126上的像素。混合電路1015在從視頻解碼電路1012生成的重構的基於投影的幀IMG'中找到多個對應像素P和P'。目標像素PT和對應像素P、P'被映射到球面202上的同一3D點C3，其中，一個對應像素P位於重構的基於投影的幀IMG'的一個投影面內，而另一對應像素P'位於重構的基於投影的幀IMG'的一個填充區域內。具體地，首先將要顯示在顯示屏幕126上的目標像素PT映射到球面202上的3D點C3，並且然後將球面202上的3D點C3映射到重構的基於投影的幀IMG'中的兩個對應像素P和P'。混合電路1015通過混合對應像素P和P'的像素值來生成混合像素值，並且通過混合像素值來設置目標像素PT的像素值。
可以將顯示屏幕126中位於整數位置(即(x，y)，其中，x和y是整數位置)的像素映射到重構的基於投影的幀(解碼幀)IMG'中的位於非整數位置(即(x'，y')，其中，x'不是整數位置，和/或y'不是整數位置)的像素。即，當執行像素渲染時，轉換電路1015可以通過重構的基於投影的幀IMG'中的位於非整數位置的像素的像素值來設置顯示屏幕126中的位於整數位置的像素的像素值。由於在重構的基於投影的幀IMG'中，位於非整數位置的像素的像素值不是可直接得到的，所以轉換電路1015可以通過使用插值濾波器(未示出)處理重構的基於投影的幀IMG'中的位於整數位置的相鄰像素來確定重構的基於投影的幀IMG'中的位於非整數位置的像素的像素值。
在對視頻序列進行編碼時，通常使用不同的色度格式(例如，4：4：4、4：2：2和4：2：0)。如第13圖的子圖(A)所示，在4：2：0色度格式中，與亮度平面(Y)相比，色度平面(Cb、Cr)在水平方向和垂直方向上均通過因數2進行降採樣。如第13圖的子圖(B)所示，色度樣本位置類型0、1、2和3指示色度樣本相對於亮度樣本的採樣位置。不同的色度樣本位置類型採用不同的色度樣本採樣位置。當要由混合電路123、819、919、1015處理的重構的基於投影的幀的各個像素由YCbCr色彩空間中的一個亮度樣本(Y)和兩個色度樣本(Cb、Cr)組成時，本發明提出了將色度採樣位置資訊通知給混合電路123、819、919、1015，使得混合處理可以在正確的色度樣本位置處生成混合色度樣本值。轉換電路114還被佈置成將標誌FL輸出到視頻編碼電路116，其中，標誌FL指示色度 採樣位置資訊(例如，色度樣本類型)。視頻轉碼器電路116還被佈置成將標誌FL編碼到位元流BS中，使得標誌FL經由位元流BS從源電子設備102被用信號傳送到目的電子設備104、1004、1204。視頻解碼電路122、1012從位元流BS解析標誌FL，並設置混合電路123、819、919、1015的控制資訊INF_CTRL。具體地，混合電路執行混合處理，以通過將針對在重構的基於投影的幀的第一投影面中的第一色度樣本位置獲得的第一色度樣本值與針對在重構的基於投影的幀的一個填充區域中的第二色度樣本位置獲得的第二色度樣本值混合來生成目標色度樣本位置處的混合色度樣本值，其中，根據色度採樣位置資訊來確定目標色度樣本位置、第一色度樣本位置和第二色度樣本位置中的至少一個，該色度採樣位置資訊是經由位元流從視頻解碼電路用信號傳送的，並在視頻解碼電路處從位元流解析。
在第一色度採樣位置信令設計中，經由位元流BS用信號傳送並混合處理所參考的色度採樣位置資訊是混合處理的標誌FL。即，尤其是，被編碼到位元流BS中的標誌FL被設置用於解碼器側混合處理。因此，明確指示了混合處理中的色度採樣位置。
第14圖是例示了從投影面中的色度樣本到填充區域中的其對應色度樣本的映射的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR。首先將投影面中的一個色度樣本A_Cb/Cr映射到球面202上的3D點C1_Cb/Cr，其中，色度樣 本A_Cb/Cr位於如由從位元流解析的混合處理的標誌FL(例如，色度樣本類型)所明確指示的色度樣本位置處。接下來，通過基於立方體的投影，將球面202上的3D點C1_Cb/Cr映射到填充區域中的色度樣本位置處的色度樣本A'_Cb/Cr。色度樣本A_Cb/Cr的色度樣本值和色度樣本A'_Cb/Cr的色度樣本值通過例如基於距離的加權函數進行混合，以生成用於更新色度樣本A_Cb/Cr的原始色度樣本值的混合色度樣本值。
在一種情況下，其中，由於色度樣本A'_Cb/Cr的色度樣本位置偏離了由色度樣本類型限定的(由標誌FL明確指示的)色度樣本位置，所以在填充區域中色度樣本A'_Cb/Cr不是可直接得到的。混合電路123、819、919可以通過使用插值濾波器(未示出)處理在填充區域和/或相鄰填充區域中可直接得到的相鄰色度樣本，來確定色度樣本A'_Cb/Cr的色度樣本值。
第15圖是例示了從填充區域中的色度樣本到投影面中的其對應色度樣本的映射的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR。首先將填充區域中的一個色度樣本B'_Cb/Cr映射到球面202上的3D點C2_Cb/Cr，其中，色度樣本B'_Cb/Cr位於如從位元流解析的混合處理的標誌FL(例如，色度樣本類型)所明確指示的色度樣本位置處。接下來，通過基於立方體的投影將球面202上的3D點C2_Cb/Cr映射到投影面中的色度樣本B_Cb/Cr。色度樣本B_Cb/Cr的色度樣本值和色度樣本B'_Cb/Cr的色度樣本值通過例如基於距離的加權函 數進行混合，以生成用於更新色度樣本B'_Cb/Cr的原始色度樣本值的混合色度樣本值。
在一種情況下，其中，由於色度樣本B_Cb/Cr的色度樣本位置偏離了由色度樣本類型限定的(由標誌FL明確指示的)色度樣本位置，所以在投影面中色度樣本B_Cb/Cr不是可直接得到的。混合電路123、819、919可以通過使用插值濾波器(未示出)處理在投影面和/或相鄰填充區域中可直接得到的相鄰色度樣本，來確定色度樣本B_Cb/Cr的色度樣本值。
第16圖是例示了混合同一源幀中的多個對應色度樣本以得出渲染處理或投影格式轉換處理所需要的目標色度樣本的示例的圖。假設通過如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的3×2立方體佈局402來設置360 VR投影佈局L_VR。關於轉換的幀IMG"或顯示屏幕中的目標色度樣本PT_Cb/Cr，混合電路1015在從視頻解碼電路1012生成的重構的基於投影的幀IMG'中找到多個對應色度樣本P_Cb/Cr和P'_Cb/Cr。目標色度樣本PT_Cb/Cr位於如從位元流解析的混合處理的標誌FL(例如，色度樣本類型)明確指示的色度樣本位置。目標色度樣本PT_Cb/Cr以及對應色度樣本P_Cb/Cr和P'_Cb/Cr被映射到球面202上的同一3D點C3_Cb/Cr，其中，一個對應色度樣本P_Cb/Cr位於重構的基於投影的幀IMG'的一個投影面內，而另一個對應色度樣本P'_Cb/Cr位於重構的基於投影的幀IMG'的一個填充區域內。具體地，首先將目標色度樣本PT_Cb/Cr映射到球面202上的3D點C3_Cb/Cr，並且然後將球面202上的3D點C3_Cb/Cr映射到重構的基於投影的幀IMG'中的 兩個對應色度樣本P_Cb/Cr和P'_Cb/Cr。混合電路1015通過將對應色度樣本P_Cb/Cr和P'_Cb/Cr的色度樣本值進行混合來生成混合色度樣本值，並且通過混合色度樣本值來設置目標色度樣本PT_Cb/Cr的色度樣本值。
在一種情況下，其中，由於對應色度樣本P_Cb/Cr和P'_Cb/Cr中的任一個的色度樣本位置偏離了由色度樣本類型限定的(由標誌FL明確指示的)色度樣本位置，所以在重構的基於投影的幀IMG'中，對應色度樣本P_Cb/Cr和P'_Cb/Cr不是可直接得到的。混合電路1015可以通過使用插值濾波器(未示出)處理在重構的基於投影的幀IMG'中可直接得到的相鄰色度樣本，來確定對應色度樣本P_Cb/Cr(或P'_Cb/Cr)的色度樣本值。
在第二色度採樣位置信令設計中，經由位元流BS用信號傳送並由混合處理參考的色度採樣位置資訊是在轉換電路114處執行的色度格式轉換處理(例如，4：4：4到4：2：0)的標誌FL。換句話說，解碼器側混合處理中的色度採樣位置與編碼器側色度格式轉換處理中的色度採樣位置一致。第17圖是例示了通過色度格式轉換處理中的色度採樣位置來設置混合處理中的色度採樣位置的示例的圖。由視頻擷取裝置112提供的全向圖像/視頻內容S_IN可以是4：4：4格式(YCbCr或RGB)。轉換電路114可以對全向圖像/視頻內容S_IN執行色度格式轉換處理，以提供4：2：0格式(YCbCr)的全向圖像/視頻內容。接下來，轉換電路114根據色度格式轉換處理的輸出來生成具有360 VR投影佈局L_VR的基於投影的幀IMG。標誌FL被設置成指示由色度格式轉換處理所採用的色度採樣位置(例如，色 度樣本類型0)，並且被編碼到位元流BS中。在視頻解碼電路122從位元流BS解析出色度格式轉換處理的標誌FL之後，通過標誌FL設置混合電路123、819、919、1015的控制資訊INF_CTRL，使得解碼器側混合處理中的色度採樣位置與編碼器側色度格式轉換處理中的色度採樣位置一致。
在第三色度採樣位置信令設計中，經由位元流BS用信號傳送並由混合處理參考的色度採樣位置資訊是在轉換電路114處執行的投影格式轉換處理的標誌FL。換句話說，解碼器側混合處理中的色度採樣位置與編碼器側投影格式轉換處理中的色度採樣位置一致。第18圖是例示了通過投影格式轉換處理中的色度採樣位置來設置混合處理中的色度採樣位置的示例的圖。由視頻擷取裝置112提供的全向圖像/視頻內容S_IN可以被佈置成諸如ERP佈局的源投影佈局。轉換電路114可以對全向圖像/視頻內容S_IN執行投影格式轉換處理，以生成以與源投影佈局不同的目標投影佈局的基於投影的幀IMG。例如，目標投影佈局(即，L_VR)可以是如第4圖的子圖(A)所示的具有邊界填充和邊緣填充的立方體貼圖投影佈局。標誌FL被設置成指示由投影格式轉換處理所採用的色度採樣位置(例如，色度樣本類型0)，並且被編碼到位元流BS中。在視頻解碼電路122從位元流BS解析出投影格式轉換處理的標誌FL之後，通過標誌FL設置混合電路123、819、919、1015的控制資訊INF_CTRL，使得解碼器側混合處理中的色度採樣位置與編碼器側投影格式轉換處理中的色度採樣位置一致。
本領域技術人員將容易地觀察到，在保持本發明的教 導的同時，可以對設備和方法進行多種修改和變更。因此，以上公開內容應被解釋為僅由所附權利要求的邊界和界限來限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100:360 VR系統
102:源電子設備
104:目的電子設備
112:視頻擷取裝置
114:轉換電路
116:視頻編碼電路
103:傳輸裝置
122:視頻解碼電路
124:圖形渲染電路
126:顯示屏幕
123:混合電路
115:填充電路

Claims (12)

  1. 一種視頻處理方法，所述視頻處理方法包括以下步驟：接收位元流的一部分；對所述位元流的所述部分進行解碼，以生成重構的基於投影的幀，所述重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；獲得經由所述位元流用信號傳送的色度採樣位置資訊；以及由混合電路執行混合處理，以通過將針對在所述重構的基於投影的幀的所述至少一個投影面中的第一色度樣本位置獲得的第一色度樣本值與針對在所述重構的基於投影的幀的所述至少一個填充區域中的第二色度樣本位置獲得的第二色度樣本值進行混合來生成目標色度樣本位置處的混合色度樣本值，其中，根據所述色度採樣位置資訊確定所述目標色度樣本位置、所述第一色度樣本位置和所述第二色度樣本位置中的至少一個。
  2. 如申請專利範圍第1項所述視頻處理之方法，其中，經由所述位元流用信號傳送並且所述混合處理所參考的所述色度採樣位置資訊是所述混合處理的標誌。
  3. 如申請專利範圍第1項所述視頻處理之方法，其中，經由所述位元流用信號傳送並且所述混合處理所參考的所述色度採樣位置資訊是色度格式轉換處理的標誌。
  4. 如申請專利範圍第1項所述視頻處理之方法，其中，經由所述位 元流用信號傳送並且所述混合處理所參考的所述色度採樣位置資訊是投影格式轉換處理的標誌。
  5. 如申請專利範圍第1項所述視頻處理之方法，其中，所述目標色度樣本位置與所述第一色度樣本位置相同，並且所述混合處理通過所述混合色度樣本值來更新所述第一色度樣本值。
  6. 如申請專利範圍第1項所述視頻處理之方法，其中，所述目標色度樣本位置與所述第二色度樣本位置相同，並且所述混合處理通過所述混合色度樣本值來更新所述第二色度樣本值。
  7. 如申請專利範圍第1項所述視頻處理之方法，其中，所述目標色度樣本位置與所述第一色度樣本位置和所述第二色度樣本位置不同。
  8. 一種視頻處理方法，所述視頻處理方法包括以下步驟：接收位元流；對所述位元流的一部分進行解碼，以生成第一重構的基於投影的幀，所述第一重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；以及由混合電路對所述第一重構的基於投影的幀執行混合處理，所述混合處理包括：通過將針對所述第一重構的基於投影的幀的所述至少一個投影面中的第一像素位置獲得的第一像素值與針對所述第一重構的基於投影的幀的所述至少一個填充區域中的第二像素位置獲得 的第二像素值進行混合來生成混合像素值；以及對所述位元流的另一部分進行解碼，以生成第二重構的基於投影的幀，其中，所述混合像素值由生成所述第二重構的基於投影的幀所涉及的幀間預測使用。
  9. 一種視頻處理方法，所述視頻處理方法包含以下步驟：接收位元流；對所述位元流的一部分進行解碼，以生成第一重構的基於投影的幀，所述第一重構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；以及由混合電路對所述第一重構的基於投影的幀執行混合處理，所述混合處理包括：通過將針對所述第一重構的基於投影的幀的所述至少一個投影面中的第一像素位置獲得的第一像素值與針對所述第一重構的基於投影的幀的所述至少一個填充區域中的第二像素位置獲得的第二像素值進行混合來生成混合像素值；以及對所述位元流的另一部分進行解碼，以生成第二重構的基於投影的幀，其中，所述第一重構的基於投影的幀用作由幀間預測使用的參考幀，而所述混合像素值不被生成所述第二重構的基於投影的幀所涉及的幀間預測使用。
  10. 一種視頻處理方法，所述視頻處理方法包括以下步驟：接收位元流的一部分；對所述位元流的所述部分進行解碼，以生成重構的基於投影的幀，所述重 構的基於投影的幀具有以360度虛擬實境(360 VR)投影的投影佈局封裝的至少一個投影面和至少一個填充區域；關於目標像素，在所述重構的基於投影的幀中找到多個對應像素，其中，可將所述目標像素和所述對應像素映射到球面上的同一點，所述對應像素包括第一像素和第二像素，所述第一像素位於所述重構的基於投影的幀的所述至少一個投影面內，而所述第二像素位於所述重構的基於投影的幀的所述至少一個填充區域內；通過將所述對應像素的像素值進行混合來生成混合像素值；以及通過所述混合像素值來設置所述目標像素的像素值。
  11. 如申請專利範圍第10項所述視頻處理之方法，其中，所述目標像素是渲染處理所需要的。
  12. 如申請專利範圍第10項所述視頻處理之方法，其中，所述目標像素是投影格式轉換處理所需要的。
TW108148555A 2019-01-02 2019-12-31 用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法 TWI728633B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962787449P 2019-01-02 2019-01-02
US62/787,449 2019-01-02
US16/729,514 US20200213570A1 (en) 2019-01-02 2019-12-30 Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US16/729,514 2019-12-30

Publications (2)

Publication Number Publication Date
TW202029741A TW202029741A (zh) 2020-08-01
TWI728633B true TWI728633B (zh) 2021-05-21

Family

ID=71121835

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108148555A TWI728633B (zh) 2019-01-02 2019-12-31 用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法

Country Status (6)

Country Link
US (1) US20200213570A1 (zh)
KR (1) KR102453512B1 (zh)
CN (1) CN112868237B (zh)
DE (1) DE112019004696T5 (zh)
TW (1) TWI728633B (zh)
WO (1) WO2020140892A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN113747179B (zh) * 2019-03-07 2023-08-08 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
WO2021051046A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Quantization parameter for chroma deblocking filtering
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220073745A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
JP7444997B2 (ja) * 2020-01-01 2024-03-06 バイトダンス インコーポレイテッド ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
CN113163184B (zh) * 2021-03-25 2022-11-18 复旦大学 一种面向vr自适应传输的投影算法
WO2023200249A1 (ko) * 2022-04-12 2023-10-19 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US20180249164A1 (en) * 2017-02-27 2018-08-30 Apple Inc. Video Coding Techniques for Multi-View Video

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
WO2017222301A1 (ko) 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2018064967A1 (en) * 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US11057643B2 (en) * 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10957044B2 (en) * 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10593012B2 (en) * 2017-03-22 2020-03-17 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN110574069B (zh) * 2017-04-27 2023-02-03 联发科技股份有限公司 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US20180249164A1 (en) * 2017-02-27 2018-08-30 Apple Inc. Video Coding Techniques for Multi-View Video

Also Published As

Publication number Publication date
CN112868237A (zh) 2021-05-28
KR20210070299A (ko) 2021-06-14
TW202029741A (zh) 2020-08-01
DE112019004696T5 (de) 2021-06-10
WO2020140892A1 (en) 2020-07-09
KR102453512B1 (ko) 2022-10-11
CN112868237B (zh) 2023-06-13
US20200213570A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
TWI728633B (zh) 用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法
US20200252650A1 (en) Video processing method for blocking in-loop filtering from being applied to at least one boundary in reconstructed frame and associated video processing apparatus
CN109983757B (zh) 全景视频回放期间的视图相关操作
US10911781B2 (en) Image processing device and image processing method for encoding/decoding omnidirectional images at different resolutions
US10574955B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
US20190281273A1 (en) Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
JP2021510281A (ja) ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器
US11477490B2 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
US11405629B2 (en) Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size and/or constrained projection face size and associated electronic device