TWI688258B - 一種用於重構的基於投影的幀的解塊方法 - Google Patents

一種用於重構的基於投影的幀的解塊方法 Download PDF

Info

Publication number
TWI688258B
TWI688258B TW108107825A TW108107825A TWI688258B TW I688258 B TWI688258 B TW I688258B TW 108107825 A TW108107825 A TW 108107825A TW 108107825 A TW108107825 A TW 108107825A TW I688258 B TWI688258 B TW I688258B
Authority
TW
Taiwan
Prior art keywords
block
projection
deblocking
spherical
edge
Prior art date
Application number
TW108107825A
Other languages
English (en)
Other versions
TW201946457A (zh
Inventor
林聖晏
林建良
施正軒
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201946457A publication Critical patent/TW201946457A/zh
Application granted granted Critical
Publication of TWI688258B publication Critical patent/TWI688258B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種應用於具有第一投影面和第二投影面的重構的基於投影的幀的解塊方法，包括：獲得用於第一塊的第一球面相鄰塊，其中第一塊的塊邊緣將被解塊濾波，並且選擇性地將解塊應用於第一塊的塊邊緣，以至少更新第一塊的像素的一部分。在第一投影面的面邊界和第二投影面的面邊界之間存在圖像內容不連續性。第一塊是第一投影面的一部分，第一塊的塊邊緣是第一投影面的面邊界的一部分。第一球面相鄰塊對應的球體上的區域與球體上獲得第一投影面的區域相鄰。

Description

一種用於重構的基於投影的幀的解塊方法
相關申請的交叉引用
本申請要求在2018年3月9日提出申請號為62/640,699的美國臨時專利申請以及在2018年8月28日提出申請號為62/723,522的美國臨時專利申請的優先權。上述包括申請號為62/640,699和申請號為62/723,522的美國臨時專利申請整體以引用方式併入本文中。
本發明涉及處理全向視訊內容，更具體地說，涉及採用360度虛擬實境(360-degree virtual reality，簡稱360VR)投影的投影佈局的重構的基於投影的幀的解塊方法。
具有頭戴式顯示器(Head-mounted display，簡稱HMD)的虛擬實境(virtual reality，簡稱VR)與各種應用相關聯。向使用者顯示寬視野內容的能力可用於提供沉浸式視覺體驗。真實世界環境必須在所有方向上捕獲，從而產生對應於球體的全向視訊。隨著攝像機裝備和HMD的進步，由於表示這種360度圖像內容所需的高位元速率，VR內容的傳送可能很快成為瓶頸。當全向視訊的解析度為4K或更高時，資料壓縮/編碼對於降低位元速率至關重要。
全向視訊的資料壓縮/編碼可通過傳統的視訊編解碼標準來實現，該 標準通常採用基於塊的編解碼技術來利用空間和時間冗餘。例如，基本方法是將源幀劃分為多個塊(或編解碼單元)，對每個塊執行幀內預測/幀間預測，變換每個塊的殘差，以及執行量化和熵編碼。此外，重構幀被生成以提供用於編碼後續塊的參考像素資料。對於某些視訊編碼標準，環內濾波器被用來增強重構幀的圖像品質。例如，視訊編碼器使用解塊濾波器來減少在基於塊的編解碼之後出現的塊狀偽像。視訊解碼器用於執行由視訊編碼器執行的視訊編碼操作的逆操作。因此，視訊解碼器還具有用於增強重構幀的圖像品質的環內濾波器。例如，視訊解碼器還使用解塊濾波器來減少塊狀偽像。
通常，對應於球體的全向視訊內容被變換為圖像序列，每個圖像是基於投影的幀，其具有由佈置在360VR投影佈局中的一個或多個投影面所代表的360度圖像內容，然後基於投影的幀的序列被編碼成位元流用於傳輸。然而，基於投影的幀可能在圖像邊界(即，佈局邊界)和/或面邊緣(即，面邊界)處具有圖像內容不連續性。然而，傳統的解塊濾波器設計不能處理不連續圖像邊界和/或不連續面邊緣處的解塊。
要求保護的本發明的目的之一是提供一種採用360VR投影的投影佈局的重構的基於投影的幀的解塊方法。比如，一種基於球面相鄰的解塊方法被解塊濾波器採用。
根據本發明的第一方面，公開了一種用於重構的基於投影的幀的示例性解塊方法。重構的基於投影的幀包括被打包在360VR投影的投影佈局多個投影面，從360VR投影獲得的球體的360度圖像內容被映射到投影面上。示例性解塊方法包括：藉由解塊濾波器獲得第一塊的第一球面相鄰塊，其中第一塊的塊邊緣被解塊濾波；以及選擇性地將解塊應用於第一塊的塊邊緣，以至少更新第 一塊的像素的一部分。投影面包括第一投影面和第二投影面，第一投影面的一個面邊界與第二投影面的一個面邊界連接，在第一投影面的所述一個面邊界與第二投影面的所述一個面邊界之間存在圖像內容不連續性。第一塊是第一投影面的一部分，第一塊的塊邊緣是第一投影面的所述一個面邊界的一部分，以及第一球面相鄰塊對應於球體上的區域與球體上獲得第一投影面的區域相鄰。
根據本發明的第二方面，公開了一種用於重構的基於投影的幀的示例性解塊方法。示例性解塊方法包括被打包在360VR投影的投影佈局中的至少一個投影面，從360VR投影獲得的球體的360度圖像內容被映射到所述至少一個投影面上。示例性解塊方法包括：藉由解塊濾波器獲得當前塊的球面相鄰塊，其中該當前塊的塊邊緣被解塊濾波；以及選擇性地將解塊應用於當前塊的塊邊緣，以至少更新當前塊的一部分像素。當前塊是在重構的基於投影的幀中打包的一個投影面的一部分，當前塊的塊邊緣是重構的基於投影的幀的圖像邊界的一部分，並且球面相鄰塊對應於球體上的區域與球體上獲得所述一個投影面的區域相鄰。
在結合下面附圖閱讀本發明的優選實施例的以下詳細描述之後，本發明之內容無疑將對本領域通常技術人員變得顯而易見。
100:360VR系統
102:源電子裝置
103:傳輸裝置
104:目標電子裝置
112:視訊擷取裝置
114:轉換電路
116:視訊編碼器
122:視訊解碼器
124:視訊渲染電路
126:顯示裝置
132、142:REC
134、144:DBF
136、146:DPB
138、148:MC
140、150:BUF
200:球體
201:立方體
202:立方體貼圖投影
204:緊湊立方體貼圖投影
S11、S12、S13、S14 S21、S22、S23、S24 S31、S32、S33、S34 S41、S42、S43、S44 S51、S52、S53、S54 S61、S62、S63、S64:面邊界
702:塊行
704:塊列
1302、1304、1306、1308、1312 1314、1316、1318、1320、1322 1702、1802、1804、1806、1808 1901、1902、1904、1906、1908:步驟
第1圖示出根據本發明實施360度虛擬實境系統的圖。
第2圖示出根據本發明的實施例基於立方體投影的圖。
第3圖示出根據本發明實施例第一類型濾波處理的圖。
第4圖示出根據本發明實施例第二類型濾波處理的圖。
第5圖示出根據本發明實施例第三類型濾波處理的圖。
第6圖示出根據本發明實施例第四類型濾波處理的圖。
第7圖示出根據本發明實施例基於球面相鄰的解塊概念的圖。
第8圖示出根據本發明實施例第2圖中緊湊立方體貼圖投影佈局中打包的正方形投影面之間的圖像內容連續性關係的圖。
第9圖示出根據本發明實施例藉由基於面的方案找到的球面相鄰塊的圖。
第10圖示出根據本發明實施例以即時方式查找球面相鄰塊的像素的操作的圖。
第11圖示出根據本發明實施例由基於幾何的方案找到的球面相鄰像素的圖。
第12圖示出根據本發明實施例產生插值像素值用於一點的示例的圖。
第13圖示出根據本發明實施例第一基於球面相鄰解塊方法的圖。
第14圖示出根據本發明實施例第一運動向量調整方案的圖。
第15圖示出根據本發明實施例第二運動向量調整方案的圖。
第16圖示出根據本發明實施例藉由幾何變換找到的調整後的運動向量的圖。
第17圖示出根據本發明實施例第二基於球面相鄰解塊方法的流程圖。
第18圖示出根據本發明實施例第三基於球面相鄰解塊方法的流程圖。
第19圖示出根據本發明實施例第四基於球面相鄰解塊方法的流程圖。
第20圖示出根據本發明實施例混合過程的圖。
貫穿以下描述和申請專利範圍使用的特定術語，其涉及特定組件。如本領域技術人員將理解的，電子裝置製造商可通過不同的名稱來指涉同一組件。本文檔無意區別名稱不同但功能相同的組件。在以下描述和申請專利範圍中，術語“包括”和“包含”以開放式的方式使用，因此應該被解釋為表示“包括但不限於......”。而且，術語“耦合”旨在表示間接或直接電子連接。因此，如果一個裝置耦合到另一個裝置，則該連接可以通過直接電子連接，或通過經由其他裝 置和連結的間接電子連接。
第1圖示出根據本發明的實施例360 VR系統的圖。360 VR系統100包括兩個視訊處理裝置(例如，源電子裝置102和目標電子裝置104)。源電子裝置102包括視訊擷取裝置112，轉換電路114和視訊編碼器116。例如，視訊擷取裝置112可以是用於提供對應於一個球體的全向圖像內容(例如，覆蓋整個周圍環境的多個圖像)S_IN的一組攝影機。轉換電路114耦合在視訊擷取裝置112和視訊編碼器116之間。轉換電路114根據全向圖像內容S_IN生成具有360 VR投影佈局L_VR的基於投影的幀IMG。例如，基於投影的幀IMG可以是包括在從轉換電路114生成的基於投影的幀序列中的一幀。視訊編碼器116是用於編碼/壓縮基於投影的幀IMG以生成位元流BS的一部分的編碼電路。此外，視訊編碼器116經由傳輸裝置103將位元流BS輸出到目標電子裝置104。例如，基於投影的幀序列可被編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或存儲介質。
目標電子裝置104可以是頭戴式顯示器(head-mounted display，簡稱HMD)裝置。如第1圖所示，目標電子裝置104包括視訊解碼器122，圖形渲染電路124和顯示裝置126。視訊解碼器122是用於從傳輸裝置103(例如，有線/無線通信鏈路或存儲介質)接收位元流BS的解碼電路，並對接收的位元流BS的一部分進行解碼，以生成解碼幀IMG'。例如，視訊解碼器122藉由對接收的位元流BS進行解碼來生成解碼幀序列，其中解碼幀IMG'是包括在解碼幀序列中的一幀。在該實施例中，由編碼器側的視訊編碼器116編碼的基於投影的幀IMG具有360VR投影佈局L_VR。因此，在解碼器側的視訊解碼器122對位元流BS的一部分進行解碼之後，解碼幀IMG'是具有相同360 VR投影佈局L_VR的解碼的基於投影的幀。圖形渲染電路124耦合在視訊解碼器122和顯示裝置126之間。圖形渲染電路124根據解碼幀IMG'在顯示裝置126上渲染並顯示輸出圖像資料。例如，與由解碼幀IMG'承載的360度圖像內容的一部分相關聯的視口區域可以經由圖形渲染 電路124顯示在顯示裝置126上。
視訊編碼器116可採用基於塊的編碼方案來編碼基於投影的幀IMG。因此，視訊編碼器116具有解塊濾波器(de-blocking filter，由“DBF”表示)134以減少在基於塊的編碼之後出現的塊狀偽像。具體地，從重構電路(reconstr uction circuit，由“REC”表示)132生成的重構的基於投影的幀R可被用作用於編碼後續塊的參考幀，並且經由解塊濾波器134被存儲到參考幀緩衝器(reference frame buffer，由“DPB”表示)136中。例如，運動補償電路(motion compensati on circuit，由“MC”表示)138可使用在參考幀中找到的塊來充當已預測的塊。另外，可選的塊緩衝器(由“BUF”表示)140可用於存儲在解塊濾波器134處執行的解塊濾波處理所需的資料。重構的基於投影的幀R由視訊編碼器116的內部解碼環路生成。換句話說，重構的基於投影的幀R是從基於投影的幀IMG的編碼資料重構，因此具有與基於投影的幀IMG相同的360 VR投影佈局L_VR。應注意的是，視訊編碼器116可包括實現指定的編碼功能所需的其他電路塊(未示出)。
視訊解碼器122用於執行由視訊編碼器116執行的視訊編碼操作的逆操作。因此，視訊解碼器122具有解塊濾波器(由“DBF”表示)144以減少塊狀偽像。具體地，從重構電路(由“REC”表示)142生成的重構的基於投影的幀R'可以被用作用於解碼後續塊的參考幀，並且經由解塊濾波器144存儲在參考幀緩衝器中(由“DPB”表示)。例如，運動補償電路(由“MC”表示)148可使用在參考幀中找到的塊來充當已預測的塊。另外，可選的塊緩衝器(由“BUF”表示)150可用於存儲在解塊濾波器144處執行的解塊濾波處理所需的資料。重構的基於投影的幀R'從基於投影的幀IMG的編碼資料重構，因此具有與基於投影的幀IMG相同的360 VR投影佈局L_VR。另外，解碼幀IMG'可藉由使重構的基於投影的幀R'經過解塊濾波器144來生成。應注意的是，視訊解碼器122可包括實現指定的解碼功能所需的其他電路塊(未示出)。
在一個示例性設計中，解塊濾波器134/144可由用於在塊邊緣上執行解塊濾波處理的專用硬體來實現。在另一示例性設計中，解塊濾波器134/144可由通用處理器實現，該通用處理器執行程式碼以在塊邊緣上執行解塊濾波處理。然而，這些僅用於說明目的，並不意味著是對本發明的限制。
如上所述，轉換電路114根據360VR投影佈局L_VR和全向圖像內容S_IN生成基於投影的幀IMG。在360VR投影佈局L_VR是基於立方體的投影佈局的情況下，藉由球體上的全向圖像內容S_IN的基於立方體的投影，從立方體的不同面導出六個正方形投影面。第2圖示出根據本發明的實施例基於立方體投影的圖。球體200上的360度圖像內容被投影到立方體201的六個面上，包括頂面，底面，左面，正面，右面和背面。具體地，球體200的北極區域的圖像內容被投影到立方體201的頂面上，球體200的南極區域的圖像內容被投影到立方體201的底面上，並且球200的赤道區域的圖像內容被投影到立方體201的左面，正面，右面和背面上。
被打包在立方體投影的投影佈局中正方形投影面分別從立方體201的六個面導出。例如，在二維(two-dimensional，簡稱2D)平面上的正方形投影面(標記為“頂”)是從三維(three-dimensional，簡稱3D)空間中的立方體201的頂面導出的，2D平面上的正方形投影面(標記為“背”)是從3D空間中的立方體201的背面導出的，2D平面上的正方形投影面(標記為“底”)是從3D空間中的立方體201的底面導出的，2D平面上的正方形投影面(標記為“右”)是從3D空間中的立方體201的右面導出的，2D平面上的正方形投影面(標記為“正”)是從3D空間中的立方體201的正面導出的，並且2D平面上的正方形投影面(標記為“左”)是從3D空間中的立方體201的左面導出的。
當360VR投影佈局L_VR由第2圖中所示的立方體貼圖投影(cubemap projection，簡稱CMP)佈局202設置時，對應於展開的立方體的正方形投影面 “頂”，“背”，“底”，“右”，“正”和“左”被打包在CMP佈局202中。然而，要編碼的基於投影的幀IMG需要是矩形的。如果CMP佈局202直接用於創建基於投影的幀IMG，則基於投影的幀IMG的虛擬區域(例如，黑色區域，灰色區域或白色區域)必須被填充以形成用於編碼的矩形幀。或者，基於投影的幀IMG可具有以緊湊投影佈局佈置的投影圖像資料，以避免使用虛擬區域(例如，黑色區域，灰色區域或白色區域)。如第2圖所示，正方形投影面“頂”，“背”和“底”被旋轉，然後被打包在緊湊CMP佈局204中。因此，正方形投影面“頂”，“背”，“底”，“右”，“左”被佈置在CMP佈局204中，其為3×2佈局。以這種方式，編碼效率可被提高。
然而，根據緊湊CMP佈局204，正方形投影面的打包可能產生相鄰正方形投影面之間的圖像內容不連續邊緣。如第2圖所示，具有緊湊CMP佈局204的基於投影的幀IMG具有頂部子幀(其是由正方形投影面“右”，“前”和“左”組成的一個3×1面行)和底部子幀(其是由正方形投影面“底”，“背”和“頂”組成的另一個3x1面行)。在頂部子幀和底部子幀之間存在圖像內容不連續邊緣。具體地，正方形投影面“右”的面邊界S13與正方形投影面“底”的面邊界S62連接，正方形投影面“正”的面邊界S23與正方形投影面“背”的面邊界S52連接。正方形投影面“左”的面邊界S33與正方形投影面“頂”的面邊界S42連接，在面邊界S13和S62之間存在圖像內容不連續，有圖像面邊界S23和S52之間的內容不連續，並且在面邊界S33和S42之間存在圖像內容不連續性。
此外，根據緊湊CMP佈局204，正方形投影面的打包可能產生相鄰正方形投影面之間的圖像內容連續性邊緣。關於頂部子幀，正方形投影面“右”的面邊界S14與正方形投影面“正”的面邊界S22連接，並且正方形投影面“正”的面邊界S24與正方形投影面“左”的面邊界S32連接，其中在面邊界S14和S22之間存在圖像內容連續性，並且在面邊界S24和S32之間存在圖像內容連續性。關於底部子幀，正方形投影面“底”的面邊界S61與正方形投影面“背”的面邊界S53連接，並且 正方形投影面“背”的面邊界S51與正方形投影面“頂”的面邊界S43，其中在面邊界S61和S53之間存在圖像內容連續性，並且在面邊界S51和S43之間存在圖像內容連續性。
此外，緊湊CMP佈局204具有頂部不連續邊界(其由正方形投影面“右”，“正”和“左”的面邊界S11，S21，S31組成)，底部不連續邊界(由正方形投影面“底”，“背”和“頂”的面邊界S64，S54，S44組成)，左邊不連續邊界(由正方形投影面“右”和“底”的面邊界S12，S63組成)，右邊不連續邊界(由正方形投影面“左”和“頂”的面邊界S34，S41組成)。
典型的解塊濾波器對重構幀中的編碼塊的左邊緣和上邊緣應用解塊，並且對位於重構幀的圖像邊界處的塊邊緣不應用解塊。然而，具有緊湊CMP佈局204的重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的圖像內容不連續邊緣是由面打包而不是基於塊的編解碼引起的。重構的基於投影的幀R/R'的圖像品質將藉由典型的解塊濾波器降級，該解塊濾波器應用典型的解塊濾波處理於位於重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的圖像內容不連續邊緣處的塊邊緣。為了解決該問題，本發明提出了一種創新基於球面相鄰的解塊方法，該方法可在編碼器側解塊濾波器134和解碼器側解塊濾波器144中實現。當應用解塊於位於重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的圖像內容不連續邊緣處的塊邊緣時，所提出的基於球面鄰域的解塊方法能夠減少接縫偽像，並且能夠應用解塊於位於重構的基於投影的幀R/R'的圖像邊界處的塊邊緣。下面參考附圖描述所提出的基於球面相鄰的解塊方法的進一步細節。
根據所提出的基於球面相鄰的解塊方法，解塊濾波器134/144被配置為可支援4種類型的濾波處理。例如，當塊邊緣位於投影面的左面邊界上時，第一類型濾波處理被採用來控制塊的塊邊緣的解塊；當塊邊緣位於投影面的頂面 邊界上時，第二類型濾波處理被採用來控制塊的塊邊緣的解塊；當塊邊緣位於投影面的右面邊界上時，第三類型濾波處理被採用來控制塊的塊邊緣的解塊；當塊邊緣位於投影面的底面邊界上時，第四類型濾波處理被採用來控制塊的塊邊緣的解塊。因此，基於要被解塊的塊邊緣所在的面邊界，解塊濾波器134/144選擇第一類型濾波處理，第二類型濾波處理，第三類型濾波處理和第四類型濾波處理中的一種以控制塊邊緣的解塊。
第3圖示出根據本發明的實施例第一類型濾波處理的圖。第一類型濾波處理被應用於兩個4×4塊，其中塊BK_Q具有像素q0,0-q3,3並且表示重構的基於投影的幀R/R'中的具有將被解塊濾波的塊邊緣的當前塊(具體地，具有將被解塊濾波的左塊邊緣EG_L的當前塊)，以及塊BK_P具有像素p0,0-p3,3並且表示相鄰塊。左塊邊緣EG_L位於投影面的左面邊界上。第一類型濾波處理是在每一側讀取4個像素和寫入3個像素，以及應用於兩個塊BK_Q和BP_P中的每一行(row)。
第4圖示出根據本發明的實施例第二類型濾波處理的圖。第二類濾波器處理被應用於兩個4×4塊，其中塊BK_Q表示重構的基於投影的幀R/R'中的具有將被解塊濾波的塊邊緣的當前塊(具體地，具有將被解塊濾波的頂塊邊緣EG_T的當前塊)，塊BK_P表示相鄰塊。頂塊邊緣EG_T位於投影面的頂面邊界上。第二類濾波器處理是在每一側讀取4個像素並寫入3個像素，以及應用於兩個塊BK_Q和BP_P中的每一列(column)。
第5圖示出根據本發明的實施例第三類型濾波處理的圖。第三類型濾波器處理應用於兩個4×4塊，其中塊BK_Q具有像素q0,0-q3,3，並且表示在重構的基於投影的幀R/R'中具有將被解塊濾波的塊邊緣的當前塊(具體地，具有將被解塊濾波的右塊邊緣EG_R的當前塊)，以及塊BK_P具有像素p0,0-p3,3，並且表示相鄰塊。右塊邊緣EG_R位於投影面的右面邊界上。第三類型濾波處理是在每一側讀取4個像素並寫入3個像素，並且應用於兩個塊BK_Q和BP_P中的每一行(r ow)。
第6圖示出根據本發明的實施例第四類型濾波處理的圖。第四類型濾波處理被應用於兩個4×4塊，其中塊BK_Q具有像素q0,0-q3,3，並且表示在重構的基於投影的幀R/R'中具有將被解塊濾波的塊邊緣的當前塊(具體地，具有將被解塊濾波的底塊邊緣EG_B的當前塊)，以及塊BK_P具有像素p0,0-p3,3並且表示相鄰塊。底塊邊緣EG_B位於投影面的底面邊界上。第四類型濾波處理是在每一側讀取4個像素並寫入3個像素，並且應用於兩個塊BK_Q和BP_P中的每一列(column)。
根據所提出的基於球面相鄰的解塊方法，相鄰塊(例如，BK_P)是在將被解塊濾波的塊邊緣(例如，EG_L，EG_T，EG_R或EG_B)位於不連續圖像邊界(例如，第2圖中所示的S11，S21，S31，S12，S63，S64，S54，S44，S34或S41)或不連續的面邊緣(例如，第2圖中所示的S13，S23，S33，S62，S52或S42)的條件下找到的球面相鄰塊。因此，解塊濾波器134/144被設置為處理球面相鄰塊的搜索/生成。請參考第7圖結合第2圖。第7圖示出根據本發明的實施例基於球面相鄰的解塊概念的圖。佈置在緊湊CMP佈局204中的正方形投影面“正”的塊行(row)702包括多個塊，每個塊在面邊界S21上具有頂塊邊緣。佈置在緊湊CMP佈局204中的正方形投影面“頂”的塊列(column)704包括多個塊，每個塊在面邊界S41上具有右塊邊緣。由於佈置在緊湊CMP佈局204中的正方形投影面“頂”是從立方體201的頂面導出的，並且佈置在緊湊CMP佈局204中的正方形投影面“正”是從立方體201的正面導出的，在正方形投影面“正”的面邊界S21與正方形投影面“頂”的面邊界S41之間存在圖像內容連續性。因此，關於要被解塊濾波的當前塊BK_Q，塊列704中的塊BK_P是塊行702中的塊BK_Q的“實際”相鄰塊，並且根據所提出的基於球面相鄰的解塊方法藉由當前塊BK_Q的解塊濾波處理來選擇。更具體地，球面相鄰塊BK_P所對應的球體200上的區域與球體2 00上獲得投影面(其包括將被解塊濾波的當前塊BK_Q)的區域相鄰。由於360 VR內容的固有幾何連續性特徵被投射到打包在360 VR佈局中的投影面上，因此球面相鄰塊可被找到，使用所提出的基於球面相鄰的解塊方法的解塊濾波器134/144被允許應用解塊於重構的基於投影的幀R/R'的圖像邊界上的塊邊緣，並且可應用解塊於重構的基於投影的幀R/R'內的不連續面邊緣上的塊邊緣(例如，重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的圖像內容不連續性邊緣)。
在一個示例性設計中，球面相鄰塊可藉由使用基於面的方案來找到。因此，球面相鄰塊由被打包在重構幀中的投影面中的塊的副本直接設置。在多個投影面被打包在投影佈局中的情況下，球面相鄰塊在另一投影面中被找到，該另一投影面與將被解塊濾波的當前塊所在的一個投影面不同。在僅單個投影面被打包在投影佈局中的另一種情況下，找到球面相鄰塊在將被解塊濾波的當前塊所在的相同投影面中找到。
第8圖示出打包在緊湊CMP佈局204中的正方形投影面之間的圖像內容連續性關係的圖。重構的基於投影的幀R/R'的頂部子幀SF_T包括正方形投影面“右”，“正”和“左”。重構的基於投影的幀R/R'的底部子幀SF_B包括正方形投影面“頂”，“背”和“底”。由相同附圖標記所標記的面邊界之間存在圖像內容連續性。例如，以底部子幀SF_B中的正方形投影面“頂”為例，頂部子幀SF_T中與標記為“4”的面邊界相鄰的實際相鄰投影面是正方形投影面“左”，頂部子幀SF_T中與標記為“3”的面邊界相鄰的實際相鄰投影面是正方形投影面“正”，並且在頂部子幀SF_T中與標記為“2”的面邊界相鄰的實際相鄰投影面是正方形投影面“右”。當正方形投影面“頂”中的當前塊BK_Q在標記為“4”的面邊界上具有頂塊邊緣時，藉由複製在標記為“4”的面邊界上具有頂塊邊緣的塊，球面相鄰塊BK_P(其是當前塊BK_Q的頂塊邊緣的解塊濾波處理所需的)從正方形投影面“左”找 到。當正方形投影面“頂”中的當前塊BK_Q在標記為“3”的面邊界上具有右塊邊緣時，藉由複製在標記為“3”的面邊界上具有頂塊邊緣的塊，球面相鄰塊BK_P(其是當前塊BK_Q的右塊邊緣的解塊濾波處理所需的)從正方形投影面“正”找到。當正方形投影面“頂”中的當前塊BK_Q在標記為“2”的面邊界上具有底塊邊緣時，藉由複製在標記為“2”的面邊界上具有頂塊邊緣的塊，球面相鄰塊BK_P(其是當前塊BK_Q的底塊邊緣的解塊濾波處理所需的)從正方形投影面“右”找到。
第9圖示出根據本發明的實施例由基於面的方案找到的球面相鄰塊的圖。正方形投影面“右”的塊列S11中的每個塊在正方形投影面“右”的左面邊界上具有左塊邊緣。相鄰塊列R1包括從正方形投影面“背”的塊行S1中的塊複製的球面相鄰塊。因此，藉由使用塊列S11的塊和相鄰塊列R1的球面相鄰塊，解塊濾波處理被執行用於頂部子幀的左邊界上的每個塊邊緣。
正方形投影面“左”的塊列S15中的每個塊在正方形投影面“左”的右面邊界上具有右塊邊緣。相鄰塊列R5包括從正方形投影面“背”的塊行S5中的塊複製的球面相鄰塊。因此，藉由使用塊列S15的塊和相鄰塊列R5的球面相鄰塊，解塊濾波處理被執行用於頂部子幀的右邊界上的每個塊邊緣。
正方形投影面“右”的塊行S12中的每個塊在正方形投影面“右”的頂面邊界上具有頂塊邊緣。相鄰塊行R2包括從正方形投影面“頂”的塊行S2中的塊複製的球面相鄰塊。正方形投影面“正”的塊行S13中的每個塊在正方形投影面“正”的頂面邊界上具有頂塊邊緣。相鄰塊行R3包括從正方形投影面“頂”的塊列S3中的塊複製的球面相鄰塊。正方形投影面“左”的塊行S14中的每個塊在正方形投影面“左”的頂面邊界上具有頂塊邊緣。相鄰塊行R4包括從方形投影面“頂”的塊列S4中的塊複製的球面相鄰塊。應當注意的是，當設置球面相鄰塊時，可能需要適當的旋轉來旋轉從一個投影面獲得的複製塊。
藉由使用塊行S12的塊和相鄰塊行R2的球面相鄰塊，或者藉由使用塊 行S13的塊和相鄰塊行R3的球面相鄰塊，或者藉由使用塊行S14的塊和相鄰塊行R4的球面相鄰塊，解塊濾波處理被執行用於頂部子幀的頂邊界上的每個塊邊緣。
正方形投影面“右”的塊行S10中的每個塊在正方形投影面“右”的底面邊界上具有底塊邊緣。相鄰塊行R8包括從正方形投影面“底”的塊行S8中的塊複製的球面相鄰塊。正方形投影面“正”的塊行S9中的每個塊在正方形投影面“正”的底面邊界上具有底塊邊緣。相鄰塊行R7包括從方形投影面“底”的塊列S7中的塊複製的球面相鄰塊。正方形投影面“左”的塊行S16中的每個塊在方形投影面“左”的底面邊界上具有底塊邊緣。相鄰塊行R6包括從正方形投影面“底”的塊行S6中的塊複製的球面相鄰塊。應當注意的是，當設置球面相鄰塊時，可能需要適當的旋轉來旋轉從一個投影面獲得的複製塊。
藉由使用塊行S10的塊和相鄰塊行R8的球面相鄰塊，或者藉由使用塊行S9的塊和相鄰塊行R7的球面相鄰塊，或者藉由使用塊行S16的塊和相鄰塊行R6的球面相鄰塊，解塊濾波處理被執行用於頂部子幀的底部邊界上的每個塊邊緣。
在解塊濾波過程期間，子幀邊界上的相同塊邊緣可被訪問兩次。為了避免兩次對同一塊邊緣應用解塊，如果塊邊緣已被濾波，則跳過該塊邊緣的濾波處理。例如，相鄰塊列R1包括從正方形投影面“背”的塊行S1中的塊複製的球面相鄰塊，並且藉由使用塊列S11的塊和相鄰塊列R1的球面相鄰塊，解塊濾波處理被執行用於頂部子幀的左邊界上的每個塊邊緣。因此，解塊濾波處理可以更新相鄰塊列R1中的球面相鄰塊中包括的像素的一部分，並且可以將相鄰塊列R1中的球面相鄰塊的更新的像素寫入到正方形投影面“背”的塊列S1中以替換塊行S1中的原始像素。在完成對頂部子幀的左邊界上的每個塊邊緣的解塊濾波之後，不需要對塊行S1中的每個塊的底塊邊緣應用解塊濾波處理，因為事實上在正方形投影面“右”的左面邊界和正方形投影面“背”的底面邊界之間存在相同的 邊緣。
在本發明的一些實施例中，基於面的方案找到球面相鄰塊，並在解塊濾波處理之前將找到的球面相鄰塊的像素存儲到塊緩衝器140/150中。在解塊濾波處理之後，存儲在塊緩衝器140/150中的所有濾波後的球面相鄰塊可被直接丟棄，或者可被存儲在塊緩衝器140/150中的新的球面相鄰塊替換/重寫。在緩衝區大小和計算複雜性之間存在折衷。為了減少塊緩衝器140/150的記憶體使用，球面相鄰塊可藉由基於面的方案以即時方式找到，並且球面相鄰塊中的像素可被找到和在需要時動態地載入。換句話說，在解塊濾波處理期間，球面相鄰像素可根據需要被找到並載入。當球面相鄰像素的即時計算在解塊濾波器134和144中的一個或兩個中實現時，塊緩衝器140可以從視訊編碼器116中省略，和/或塊緩衝器150可以從視訊解碼器122中省略。然而，由於使用基於面的方案根據需要找到所需的球面相鄰像素的即時計算，基於球面相鄰的解塊濾波方法的執行時間可能更長。
第10圖示出根據本發明的實施例以即時方式找到球面相鄰塊的像素的操作的圖。在該實施例中，參考塊BK_REF(其包括當前塊BK_CUR的解塊濾波處理所需的球面相鄰塊的像素)的三個參數SP，D1和D2應當在解塊濾波處理之前被設置。由於當前塊BK_CUR的左塊邊緣和參考塊BK_REF的底塊邊緣之間的圖像內容連續性，當前塊BK_CUR和參考塊BK_REF是實際相鄰塊，因此如第10圖所示當前塊BK_CUR和參考塊BK_REF共用相同的塊邊緣EGBK。在該示例中，當前塊BK_CUR是緊湊CMP佈局204中的正方形投影面“右”的一部分，並且參考塊BK_REF是緊湊CMP佈局204中的正方形投影面“背”的一部分。根據基於面的方案，參考塊BK_REF被選擇作為當前塊BK_CUR的球面相鄰塊。參數SP的設置表示像素的位置，該像素包括在正方形投影面“背”中，位於第一濾波器線，並且最接近塊邊緣EGBK。應當注意的是，由於解塊濾波處理被應用於塊邊 緣EGBK，所以第一濾波器線包括位於當前塊BK_CUR的最頂部像素行的4個像素和位於參考塊BK_REF的最右側像素列的4個像素。參數D1的設置表示用於找到濾波器線中的下一個像素的像素偏移值。參數D2的設置表示用於找到下一個濾波器線的線偏移值。解塊濾波器134/144根據參數SP，D1和D2從正方形投影面“背”中的參考塊BK_REF動態地讀取每個球面相鄰像素。因此，塊緩衝器140可從視訊編碼器116中省略，並且塊緩衝器150可從視訊解碼器122中省略。以這種方式，視訊編碼器116和視訊解碼器122的製造成本可以降低。
在另一示例性設計中，球面相鄰塊可藉由使用基於幾何的方案找到。根據基於幾何的方案，藉由3D投影找到包括在球面相鄰塊中的球面相鄰像素。在多個投影面被打包在投影佈局中的情況下，基於幾何的方案將幾何映射應用於投影面(其包括將被解塊濾波的當前塊)的擴展區域上的投影像素(pixel(s))以找到在另一個投影面(其是實際的相鄰面)的點(point(s))，並從該點導出包括在球面相鄰塊中的球面相鄰像素。在僅單個投影面被打包在投影佈局中的另一種情況下，基於幾何的方案將幾何映射應用於投影面的擴展區域上的投影像素，以在同一投影面上找到點，並且從該點導出球面相鄰像素。
第11圖示出根據本發明的實施例由基於幾何的方案找到的球面相鄰像素的圖。將被解塊濾波的當前塊位於面B(例如，立方體201的底面)。為了確定面B的擴展區域B'上的投影像素(其是球面相鄰像素)Q的像素值，面A(例如，立方體201的正面)上的點P被找到。如第11圖所示，點P是面A和直線
Figure 108107825-A0305-02-0019-22
(從投影中心O(例如，球體200的中心)到投影像素Q)的交點。點P的像素值用於設置投影像素Q的像素值。在點P是面A的整數位置像素的情況下，投影像素Q的像素值直接由整數位置像素的像素值設置。在點P不是面A的整數位置像素的另一種情況下，插值被執行以確定點P的像素值。第12圖示出根據本發明的實施例生成插值像素值用於點P的示例的圖。在該示例中，點P附近的四個最接近的整 數位置像素A1，A2，A3和A4的像素值藉由插值被混合，以生成插值像素值以用作點P的像素值。投影像素Q的像素值由點P的插值像素值設置。然而，該插值設計僅用於說明目的，並不意味著是對本發明的限制。實際上，基於幾何的方案使用的插值濾波器可以是最近鄰濾波器，雙線性濾波器，雙三次濾波器或Lancz os濾波器，這取決於實際的設計考慮因素。
在本發明的一些實施例中，基於幾何的方案找到球面相鄰塊，並在解塊濾波處理之前將找到的球面相鄰塊的像素存儲到塊緩衝器140/150中。在解塊濾波處理之後，存儲在塊緩衝器140/150中的所有已濾波的球面相鄰塊可被直接丟棄，或者可以由存儲在塊緩衝器140/150中的新的球面相鄰塊替換/重寫，或者可以被進一步用於混合。在緩衝區大小和計算複雜性之間存在折衷。為了減少塊緩衝器140/150的記憶體使用，球面相鄰塊可以藉由基於幾何的方案以即時方式找到，並且球面相鄰塊中的像素可在需要時被動態地找到和載入。換句話說，在解塊濾波處理期間，球面相鄰像素可根據需要被找到並載入。當球面相鄰像素的動態計算是在解塊濾波器134和144中實現時，塊緩衝器140可從視訊編碼器116中省略，並且塊緩衝器150可從視訊解碼器122中省略。然而，基於球面相鄰的解塊濾波方法的執行時間可能更長，這是由於即時計算是使用基於幾何的方案來根據需要找到所需的球面相鄰像素。
第13圖示出根據本發明的實施例第一基於球面相鄰的解塊方法的流程圖。解塊濾波器134/144的處理流程包括第13圖的子圖(a)中所示的第一階段，以及第13圖的子圖(b)所示的第二階段。根據第一階段，基於球面相鄰的解塊方法應用於重構的基於投影的幀R/R'內的所有塊邊緣，除了位於重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的不連續邊緣上的塊邊緣之外。換句話說，基於球面相鄰的解塊方法的第一階段被應用於不在任何子幀邊界上的每個塊。在步驟1302，2D平面上的相鄰塊被找到用於具有不在任何子幀邊界上的塊邊緣 的當前塊。在步驟1304，塊邊緣的邊界強度(boundary strength，簡稱Bs)被計算出。塊邊緣的邊界強度表示兩個相鄰塊的不連續程度。邊界強度的值取決於當前塊和相鄰塊的屬性，並按如下方式分配。
Figure 108107825-A0305-02-0021-1
解塊濾波器134/144可包括亮度濾波器和色度濾波器。當Bs=2時，亮度濾波器被開啟，以及色度濾波器被開啟。當Bs=1時，亮度濾波器被開啟，以及色度濾波器被關閉。當Bs=0時，亮度濾波器被關閉，以及色度濾波器被關閉。在步驟1306，由於Bs≧1或Bs≧2，亮度濾波器和色度濾波器中的一個或者兩個被致能。在步驟1308，由於Bs=0，亮度濾波器和色度濾波器中沒有濾波器被致能。
根據第二階段，基於球面相鄰的解塊方法被應用於重構的基於投影的幀R/R'的圖像邊界上的塊邊緣，和重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的不連續邊緣上的塊邊緣。換句話說，基於球面相鄰的解塊方法的第二階段被應用於任何子幀邊界上的每個塊。在步驟1312，藉由複製打包在重構的基於投影的幀R/R'的正方形投影面中找到的塊以及適當地旋轉已複製的塊，球面相鄰塊(其是當前塊的解塊濾波處理所需的)被存儲到塊緩衝器140/1 50中。適當的旋轉是為了確保球面相鄰塊相對於將被解塊濾波的塊邊緣具有正確的圖像內容連續性。以第9圖中所示的相鄰塊列R1中一個球面相鄰塊為例，正方形投影面“背”的塊行S1中的塊被複製，然後球面相鄰塊經由逆時針旋轉已複製的塊90度來獲得。
在步驟1314，運動向量(motion vector，簡稱MV)調整處理被執行於球面相鄰塊(其是幀間塊)的運動向量，以生成球面相鄰塊的調整後的運動向量。因此，解塊濾波器134/144可進一步被佈置為在邊界強度確定之前處理運動向量調整。儘管運動向量調整可能導致更高的計算複雜度，但是參與確定邊界強度的相鄰塊的運動向量可以更準確。
在一個示例性設計中，球面相鄰塊的調整後的運動向量可基於投影佈局的幀打包資訊生成。例如，旋轉角度根據投影佈局的幀打包資訊被確定，並且調整後的運動向量藉由旋轉球面相鄰塊的運動向量旋轉角度來獲得。第14圖圖示根據本發明的實施例第一運動向量調整方案的圖。當解塊濾波處理被應用於包括在正方形投影面“底”中並且具有位於面邊界S63上的塊邊緣的塊時，球面相鄰塊在正方形投影面“正”中被找到。如第14圖所示，球面相鄰塊從包括在正方形投影面“正”中的塊獲得，其中一個塊具有運動向量MV1，另一個塊具有運動向量MV2，而又一個塊具有運動向量MV3。因此，一個球面相鄰塊的原始運動向量是MV1，另一個球面相鄰塊的原始運動向量是MV2，而又一個球面相鄰塊的原始運動向量是MV3。根據緊湊CMP佈局204的幀打包資訊，運動向量可以被逆時針旋轉0度，90度，180度或270度，這取決於填充中在緊湊CMP佈局204中的面的位置。在該示例中，旋轉角度被設置為逆時針旋轉90度。因此，一個球面相鄰塊的調整後的運動向量MV1'是藉由對原始運動向量MV1應用90度逆時針旋轉來獲得的，另一球面相鄰塊的調整後的運動向量MV2'是藉由對原始運動向量MV2應用90度逆時針旋轉來獲得的，並且又一個球面相鄰塊的調整後的運 動向量MV3'是藉由對原始運動向量MV3應用90度逆時針旋轉來獲得的。
在另一示例性設計中，球面相鄰塊的調整後的運動向量可藉由3D投影生成。例如，幾何變換被應用於球面相鄰塊的原始運動向量，以確定球面相鄰塊的調整後的運動向量。在多個投影面被打包在投影佈局中的情況下，投影面(其包括將被解塊濾波的當前塊)的擴展區域上的投影運動向量是藉由將幾何變換應用於另一投影面中的球面相鄰塊的運動向量來確定的，其中投影運動向量被用作球面相鄰塊的調整後的運動向量。在僅單個投影面被打包在投影佈局中的另一種情況下，投影面(包括要被解塊濾波的當前塊)的擴展區域上的投影運動向量是藉由將幾何變換應用於相同投影面的球面相鄰塊的運動向量來確定的，其中投影運動向量被用作球面相鄰塊的調整後的運動向量。
第15圖示出根據本發明的實施例第二運動向量調整方案的圖。當解塊濾波處理被應用於包括在正方形投影面“底”中並且具有位於面邊界S63上的塊邊緣的塊時，球面相鄰塊在正方形投影面“正”中被找到。如第15圖所示，球面相鄰塊從包括在正方形投影面“正”中的塊獲得，其中一個塊具有運動向量MV1，另一個塊具有運動向量MV2，而又一個塊具有運動向量MV3。因此，一個球面相鄰塊的原始運動向量是MV1，另一個球面相鄰塊的原始運動向量是MV2，而又一個球面相鄰塊的原始運動向量是MV3。運動向量MV可藉由幾何變換函數GT來調整。因此，調整後的運動向量MV'是從運動向量MV和幾何變換函數GT獲得，即MV'=GT(MV)。在該示例中，一個球面相鄰塊的調整後的運動向量MV1'是藉由將幾何變換應用於原始運動向量MV1來獲得的，另一球面相鄰塊的調整後的運動向量MV2'是藉由將幾何變換應用於原始運動向量MV2來獲得的，以及又一球面相鄰塊的調整後的運動向量MV3'是藉由將幾何變換應用於原始運動向量MV3來獲得的。
第16圖示出根據本發明的實施例藉由幾何變換找到的調整後的運動 向量的圖。將被解塊濾波的當前塊位於面B(例如，立方體201的底面)。為了確定球面相鄰塊的調整後的運動向量，幾何變換被應用於在面A(例如，立方體201的正面)中找到的球面相鄰塊的原始運動向量，以將球面相鄰塊的原始運動向量從面A投影到面B的擴展區域B'。點O表示投影中心(例如，球體200的中心)。面B的擴展區域B'上的投影運動向量被用作球面相鄰塊的調整後的運動向量。在第16圖中，球面相鄰塊的原始運動向量由實線箭頭符號表示，並且球面相鄰塊的調整後運動向量由虛線箭頭符號表示。以這種方式，第1圖中所示的調整後的運動向量MV1'-MV3'可藉由分別將幾何變換應用於原始運動向量MV1-MV3來獲得。
在步驟1314生成調整後的運動向量之後，調整後的運動向量參與邊界強度的確定。在步驟1316，塊邊緣的邊界強度被計算。如上所述，塊邊緣的邊界強度表示兩個相鄰塊的不連續程度。邊界強度的值取決於當前塊和相鄰塊的屬性。例如，上述條件可被檢查以設置邊界強度的值，其中球面相鄰塊的調整後的運動向量被用於邊界強度確定。
解塊濾波器134/144可包括亮度濾波器和色度濾波器。當Bs=2時，亮度濾波器被開啟，以及色度濾波器被開啟。當Bs=1時，亮度濾波器被開啟，以及色度濾波器被關閉。當Bs=0時，亮度濾波器被關閉，以及色度濾波器被關閉。在步驟1318，由於Bs≧1或Bs≧2，亮度濾波器和色度濾波器中的一個或者兩個被致能。在步驟1320，由於Bs=0，亮度濾波器和色度濾波器中沒有濾波器被致能。
藉由複製被打包在重構的基於投影的幀R/R'的正方形投影面中找到的塊以及適當地旋轉已複製的塊，球面相鄰塊(其是當前塊的解塊濾波處理所需的)被存儲到塊緩衝器140/150中。在步驟1322，反向旋轉應被用於存儲在塊緩衝器140/150中的球面相鄰塊，並且被打包在重構的基於投影的幀R/R'中的正 方形投影面中的源塊由反向旋轉的球面相鄰塊替換/重寫。在由於Bs≠0而由解塊濾波器140/150的亮度濾波器更新塊邊緣兩側的像素或由於BS>1而由解塊濾波器140/150的色度濾波器更新塊邊緣兩側的像素的情況下，塊緩衝器140/150中的球面相鄰塊的像素被更新，然後被寫回以替換打包在重構的基於投影的幀R/R'中的正方形投影面中的源像素。
根據第13圖中所示的基於球面相鄰的解塊方法，根據與傳統解塊濾波相同的處理流程，在重構的基於投影的幀R/R'內部但不在子幀邊界內的塊邊緣可藉由2D平面上對應的相鄰塊被濾波。根據與傳統解塊不同的處理流程，子幀邊界上的塊邊緣可藉由其對應的球面相鄰塊(其可藉由基於面的方案或基於幾何的方案被找到)被濾波。
第17圖示出根據本發明的實施例第二基於球面相鄰的解塊方法的流程圖。基於球面相鄰的解塊方法如第17圖所示是從第13圖所示的處理流程的組合藉由額外的步驟1702來導出的。包含在重構的基於投影的幀R/R'裡的塊邊緣被逐一處理。因此，步驟1702檢查塊邊緣是否位於重構的基於投影的幀R/R'的圖像邊界上，或者位於重構的基於投影的幀R/R'的頂部子幀和底部幀之間的不連續邊緣上。也就是說，步驟1702檢查塊邊緣是否位於子幀邊界之一上。當塊邊緣不位於任何子幀邊界上時，流程前進到步驟1302，使得第13圖的子圖(a)中所示的相同處理流程被執行用於當前塊邊緣。當塊邊緣位於子幀邊界上時，流程前進到步驟1312。因此，第13圖的子圖(b)中所示的相同處理流程被執行用於當前塊邊緣。
第18圖示出根據本發明的實施例第三基於球面相鄰的解塊方法的流程圖。在重構的基於投影的幀R/R'中包括的塊邊緣被逐一處理。當塊邊緣位於子幀邊界上時，流程前進到步驟1312。因此，第13圖的子圖(b)中所示的相同處理流程被執行用於當前塊邊緣。
當塊邊緣不在子幀邊界上並且不在面邊界上時(步驟1702和1802)，相鄰塊在2D平面上被找到(步驟1808)。接下來，邊界強度(Bs)的值被計算用於塊邊緣(步驟1304)。
當正方形投影面對“右”，“正”，“左”，“底”，“背”和“頂”被打包在第2圖所示的緊湊CMP佈局204中時。在面邊界S14和S22之間存在圖像內容連續性，在面邊界S24和S32之間存在圖像內容連續性，在面邊界S61和S53之間存在圖像內容連續性，並且在面邊界S51和S43之間存在圖像內容連續性。當塊邊緣不在子幀邊界上但在面邊界上時(步驟1702和1802)，這意味著塊邊緣在面邊界S14，S22，S61，S53，S24，S32，S51，S43之一上。在步驟1804，相鄰塊在2D平面上被找到。應當注意的是，由於在2D平面上當前塊與相鄰塊之間存在圖像內容連續性的事實，在2D平面上找到的相鄰塊是球面相鄰塊。也就是說，藉由上述基於面的方案找到的球面相鄰塊與在2D平面上找到的相鄰塊相同。在步驟1806，上述運動向量調整被執行以調整相鄰塊的運動向量。在步驟1304，相鄰塊的調整後的運動向量參與塊邊緣的邊界強度(Bs)的確定。
根據第18圖中所示的基於球面相鄰的解塊方法，根據與傳統解塊濾波流程相同的處理流程，在重構的基於投影的幀R/R'內部但不在面邊界上的塊邊緣可藉由在2D平面上其對應的相鄰塊被濾波，並且，根據與傳統的解塊濾波流程不同的處理流程，面邊界上的塊邊緣可藉由其對應的球面相鄰塊被濾波。
第19圖示出根據本發明的實施例第四基於球面相鄰的解塊方法的流程圖。包含在重構的基於投影的幀R/R'中的塊邊緣被逐一處理。步驟1901檢查塊邊緣是否位於重構的基於投影的幀R/R'的圖像邊界上，或者位於重構的基於投影的幀R/R'的頂部子幀和底部子幀之間的不連續邊緣上。也就是說，步驟1901檢查塊邊緣是否位於子幀邊界上。當塊邊緣不位於任何子幀邊界上時，流程前進到步驟1302。因此，第13圖的子圖(a)中所示的相同處理流程被執行用於塊邊緣。
當塊邊緣位於子幀邊界之一上時，流程前進到步驟1902。在該實施例中，球面相鄰塊藉由基於面的方案和基於幾何的方案之一以即時方式被找到。球面相鄰塊中的像素被找到並在需要時被動態地載入(步驟1902)。在步驟1904，修改後的邊界強度(Bs)確定過程被執行。例如，修改後的邊界強度確定過程可包括將上述運動向量調整應用於球面相鄰塊的原始運動向量，以生成參與確定邊界強度的調整後的運動向量，和/或無論球面相鄰塊的性質如何藉由一預定義的常數值直接設置邊界強度的該值。例如，位於子幀邊界上的所有塊邊緣的邊界強度由相同的預定義的常數值“1”設置。又例如，位於子幀邊界上的所有塊邊緣的邊界強度由相同的預定義的常數值“2”設置。再例如，位於子幀邊界上的所有“幀內”塊邊緣的邊界強度由相同的預定義的常數值“2”設置，並且位於子幀邊界的所有“幀間”塊邊緣的邊界強度由相同的預定義的常數值“1”設置。在步驟1906，由於Bs
Figure 108107825-A0305-02-0027-24
1或Bs
Figure 108107825-A0305-02-0027-23
2，亮度濾波器和色度濾波器中的一個或兩個被致能。在步驟1908，由於Bs=0，亮度濾波器和色度濾波器中沒有一個被致能。
當當前塊的球面相鄰塊藉由基於幾何的方案被找到時，包括在球面相鄰塊中的濾波後的球面相鄰像素可在濾波處理之後被直接丟棄。或者，包括在球面相鄰塊中的濾波後的球面相鄰像素可以與重構的基於投影的幀R/R'中的塊的像素混合，以更新重構的基於投影的幀R/R'中的塊的像素。因此，解塊濾波器134/144可進一步被佈置為在解塊後處理混合。
第20圖示出根據本發明的實施例混合過程的圖。藉由基於幾何的方案找到的球面相鄰塊中包括的球面相鄰像素T'和包含在重構的基於投影的幀R/R'中的正方形投影面“頂”中包括的塊的像素T被映射到球體200上的相同點S。在完成正方形投影面“正”中的塊的頂塊邊緣的解塊濾波之後，球面相鄰像素T'的像素值q被用來藉由混合函數p'=p * w+q*(l-w)更新像素T的像素值p，其中p'表示像素T的更新後的像素值，並且w表示[0,1]之間的加權值。
在上述實施例中，所提出的基於球面相鄰的解塊方法被解塊濾波器134/144採用來控制位於具有打包在基於立方體的投影佈局(例如，緊湊CMP佈局204)中的投影面的重構的基於投影的幀R/R'的子幀邊界(或面邊界)上的塊邊緣的解塊濾波。然而，這僅用於說明目的，並不意味著是對本發明的限制。或者，所提出的基於球面相鄰的解塊方法可被解塊濾波器134/144採用來控制位於重構的基於投影的幀R/R'的圖像邊界上的塊邊緣和/或在具有被打包在不同的投影佈局中的投影面的重構的基於投影的幀R/R'內部的不連續的面邊緣(即，不連續的面邊界)的解塊濾波。例如，360VR投影佈局L_VR可以是等距矩形投影(equirectangular projection，簡稱ERP)佈局，填充的等距矩形投影(padded equirectangular projection，簡稱PERP)佈局，八面體投影佈局，二十面體投影佈局，截斷正方形金字塔(truncated square pyramid，簡稱TSP)佈局，分段球體投影(segmented sphere projection，簡稱SSP)佈局或旋轉球體投影佈局。
本領域之習知技藝者易知，可在保持本發明之教示內容之同時對裝置及方法作出諸多修改及變動。因此，以上公開內容應被視為僅受隨附申請專利範圍之限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
201:立方體
204:緊湊立方體貼圖佈局
702:塊行
704:塊列
S21、S41:面邊界

Claims (26)

  1. 一種用於重構的基於投影的幀的解塊方法，該重構的基於投影的幀包括打包在一360度虛擬實境投影的一投影佈局的複數個投影面，從該360度虛擬實境投影獲得的一球體的一360度圖像內容被映射到該等投影面，包括：經由一解塊濾波器獲得一第一球面相鄰塊，該第一球面相鄰塊用於具有將被解塊濾波的一塊邊緣的一第一塊；以及選擇性地將解塊應用於該第一塊的該塊邊緣以至少更新該第一塊的一部分像素；其中，該等投影面包括一第一投影面和一第二投影面，該第一投影面的一面邊界與該第二投影面的一面邊界相連接，在該第一投影面的該面邊界和該第二投影面的該面邊界之間存在圖像內容不連續性，該第一塊是該第一投影面的一部分，該第一塊的該塊邊緣是該第一投影面的該面邊界的一部分，以及該第一球面相鄰塊對應的該球體上的一區域與該球體上獲得該第一投影面的一區域相鄰。
  2. 如申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，其中獲得該第一球面相鄰塊的步驟包括：直接使用從該等投影面其中之一投影面選擇的複數個像素作為包含在該第一球面相鄰塊的複數個球面相鄰像素。
  3. 如申請專利範圍第2項所述之用於重構的基於投影的幀的解塊方法，其中，一第二塊是該等投影面該其中之一投影面的一部分，用來設置該等球面相鄰像素的該等像素被包含在該第二塊中，以及該解塊方法進一步包括： 跳過該第二塊的一塊邊緣的解塊以回應該解塊已被應用到該第一塊的該塊邊緣的情況，其中該第一塊的該塊邊緣和該第二塊的該塊邊緣是同一塊邊緣。
  4. 根據申請專利範圍第2項所述之用於重構的基於投影的幀的解塊方法，其中，直接使用從該一個投影面選擇的該等像素作為該等球面相鄰像素的步驟包括：設置一第一參數，該第一參數用於指示包含在該等投影面的該其中之一投影面的一像素的一位置，位於一第一濾波器綫，以及最接近將被進行解塊濾波的該塊邊緣；設置一第二參數，該第二參數用於指示用於在一濾波器綫找到一下一像素的一第一位移值；設置一第三參數，該第三參數用於指示用於找到一下一濾波器綫的一第二位移值；以及根據該第一參數、該第二參數和該第三參數從該等投影面的該其中之一投影面動態讀取該等球面相鄰像素中的每一個。
  5. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，其中，獲得該第一球面相鄰塊包括：將幾何映射應用於該第一投影面的一擴展區域的複數個投影的像素上以在該等投影面中一個投影面上找到複數個點；以及從該等點中導出包含在該第一球面相鄰塊中的複數個球面相鄰像素。
  6. 根據申請專利範圍第5項所述之用於重構的基於投影的幀的解塊方 法，其中在選擇性地將解塊應用於該第一塊的該塊邊緣的過程中該第一球面相鄰塊被動態找到。
  7. 根據申請專利範圍第5項所述之用於重構的基於投影的幀的解塊方法，其中，選擇性地將解塊應用於該第一塊的該塊邊緣的步驟包括：將解塊應用於該第一塊的該塊邊緣以回應該第一塊的該塊邊緣的一面邊界強度，包括：更新包含在該第一球面相鄰塊中的該等球面相鄰像素的一部分以產生複數個濾波的球面相鄰像素；以及該解塊方法進一步包括：藉由混合獲得用於一第一像素的一像素值和獲得用於一第二像素的一像素值來生成該第一像素的一更新後的像素值，其中該第一像素位於包含在該等投影面的一個投影面的一位置，該第二像素是該等濾波的球面相鄰像素之一，以及該第一像素和該第二像素被映射於該球體上的同一點。
  8. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，其中，該第一球面相鄰塊是具有一運動向量的一幀間塊，以及選擇性地將解塊應用於該第一塊的該塊邊緣的步驟包括：調整該第一球面相鄰塊的一原始運動向量以產生該第一球面相鄰塊的一調整後的運動向量；確定該第一塊的該塊邊緣的一邊界強度，其中該調整後的運動向量參與該邊界強度的確定；以及根據該邊界強度選擇性地將解塊應用於該第一塊的該塊邊緣。
  9. 根據申請專利範圍第8項所述之用於重構的基於投影的幀的解塊方法，其中調整該第一球面相鄰塊的該原始運動向量以產生該調整後的運動向量的步驟包括：根據該投影佈局的幀打包資訊來確定一旋轉角度；以及將該原始運動向量旋轉該旋轉角度以產生該調整後的運動向量。
  10. 根據申請專利範圍第8項所述之用於重構的基於投影的幀的解塊方法，其中調整該第一球面相鄰塊的該原始運動向量以產生該調整後的運動向量的步驟包括：將幾何變換應用於該等投影面的一個投影面的該球面相鄰塊的該原始運動向量以在該第一投影面的一擴展區域確定一投影的運動向量，其中該投影的運動向量被用作該調整後的運動向量。
  11. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，其中選擇性地將解塊應用於該第一塊的塊邊緣的步驟包括：藉由一預定義的常數值直接設置該第一塊的該塊邊緣的一邊界強度，不考慮該第一球面相鄰塊的屬性；以及根據該邊界強度選擇性地將解塊應用於該第一塊的該塊邊緣。
  12. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，進一步包括：獲得一第二球面相鄰塊，該第二球面相鄰塊用於具有將被解塊濾波的一塊邊緣的一第二塊；以及 選擇性地將解塊應用於該第二塊的該塊邊緣以至少更新該第二塊的一部分像素；其中該第二塊是該等投影面其中之一投影面的一部分，該第二塊的該塊邊緣是該重構的基於投影的幀的一圖像邊界的一部分，以及該第二球面相鄰塊對應的該球體上的一區域與該球體上獲得的該等投影面該其中之一投影面的一區域相鄰。
  13. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，進一步包括：獲得一相鄰塊，該相鄰塊用於具有將被解塊濾波的一塊邊緣的一第二塊，其中該等投影面進一步包括一第三投影面，該第一投影面的另一面邊界和該第三投影面的一面邊界相連接，該第一投影面的該另一面邊界和該第三投影面的該一面邊界之間存在圖像內容連續性，該第二塊是該第一投影面的一部分，以及該第二塊的該塊邊緣是該第一投影面的該另一面邊界的一部分；調整該相鄰塊的一原始運動向量以產生該相鄰塊的一調整後的運動向量，該相鄰塊是一幀間塊；確定該第二塊的該塊邊緣的一邊界強度，其中該調整後的運動向量參與該邊界強度的確定；以及根據該邊界強度選擇性地將解塊應用於該第二塊的該塊邊緣。
  14. 根據申請專利範圍第13項所述之用於重構的基於投影的幀的解塊方法，其中調整該相鄰塊的該原始運動向量以產生該相鄰塊的該調整後的運動向量的步驟包括： 將幾何變換應用於該第三投影面的該相鄰塊的該原始運動向量以在該第一投影面的一擴展區域確定一投影的運動向量，其中該投影的運動向量被用作該調整後的運動向量。
  15. 根據申請專利範圍第1項所述之用於重構的基於投影的幀的解塊方法，其中選擇性地將解塊應用於該第一塊的該塊邊緣的步驟包括：當該第一投影面的該面邊界是一左面邊界時，使用一第一類型濾波處理用於控制該第一塊的該塊邊緣的解塊；當該第一投影面的該面邊界是一頂面邊界時，使用一第二類型濾波處理用於控制該第一塊的該塊邊緣的解塊；當第一投影面的該面邊界是一右面邊界時，使用一第三類型濾波處理用於控制該第一塊的該塊邊緣的解塊；以及當第一投影面的該面邊界是一底面邊界時，使用一第四類型濾波處理用於控制該第一塊的該塊邊緣的解塊。
  16. 一種用於重構的基於投影的幀的解塊方法，該重構的基於投影的幀包括打包在一360度虛擬實境投影的一投影佈局的至少一個投影面，從該360度虛擬實境投影獲得的一球體的一360度圖像內容被映射到該至少一個投影面，包括：經由一解塊濾波器獲得一球面相鄰塊，該球面相鄰塊用於具有將被解塊濾波的一塊邊緣的一當前塊；以及選擇性地將解塊應用於該當前塊的該塊邊緣以至少更新該當前塊的一部分像素；其中，該當前塊是打包在該重構的基於投影的幀的一投影面的一部分，該當 前塊的該塊邊緣是該重構的基於投影的幀的一圖像邊界的一部分，以及該球面相鄰塊對應的該球體上的一區域與該球體上獲得該一投影面的一區域相鄰。
  17. 根據申請專利範圍第16項所述之用於重構的基於投影的幀的解塊方法，其中獲得該球面相鄰塊的步驟包括：直接使用從打包在該重構的基於投影的幀的該至少一個投影面選擇的複數個像素來作為包含在該球面相鄰塊中的複數個球面相鄰像素。
  18. 根據申請專利範圍第17項所述之用於重構的基於投影的幀的解塊方法，其中一另一塊是該至少一個投影面的一部分，被用於設置該等球面相鄰塊的該等像素被包含在該另一塊，以及該解塊方法進一步包括：跳過該另一塊的一塊邊緣的解塊以回應該解塊已被應用到該當前塊的該塊邊緣的情況，其中該當前塊的該塊邊緣和該另一塊的該塊邊緣是同一塊邊緣。
  19. 根據申請專利範圍第17項所述之用於重構的基於投影的幀的解塊方法，其中直接使用從打包在該重構的基於投影的幀中的該至少一個投影面選擇的該等像素作為該等球面相鄰像素的步驟包括：設置一第一參數，該第一參數用於指示包含在該至少一個投影面的一像素的一位置，位於一第一濾波器綫，以及最接近將被進行解塊濾波的該塊邊緣；設置一第二參數，該第二參數用於指示用於在一濾波器綫找到一下一像素的一第一位移值； 設置一第三參數，該第三參數用於指示用於找到一下一濾波器綫的一第二位移值；以及根據該第一參數、該第二參數和該第三參數從該至少一個投影面動態讀取該等球面相鄰像素中的每一個。
  20. 根據申請專利範圍第16項所述之用於重構的基於投影的幀的解塊方法，其中獲得該球面相鄰塊的步驟包括：將幾何映射應用於該一投影面的一擴展區域的複數個投影的像素上以在至少一個投影面上找到複數個點；以及從該等點中導出包含在該球面相鄰塊中的複數個球面相鄰像素。
  21. 根據申請專利範圍第20項所述之用於重構的基於投影的幀的解塊方法，其中在選擇性將解塊應用於該當前塊的該塊邊緣的過程中該球面相鄰塊被動態找到。
  22. 根據申請專利範圍第20項所述之用於重構的基於投影的幀的解塊方法，其中選擇性地將解塊應用於該當前塊的該塊邊緣的步驟包括：將解塊應用於該當前塊的該塊邊緣以回應該當前塊的該塊邊緣的一面邊界強度，包括：更新包含在該球面相鄰塊中的該等球面相鄰像素的一部分以產生複數個濾波的球面相鄰像素；以及該解塊方法進一步包括：藉由混合獲得用於一第一像素的一像素值和獲得用於一第二像素的一像素值來生成該第一像素的一更新後的像素值，其中該第一像素位於包 含在該一投影面的一位置，該第二像素是該等濾波的球面相鄰像素之一，以及該第一像素和該第二像素被映射於該球體上的同一點。
  23. 根據申請專利範圍第16項所述之用於重構的基於投影的幀的解塊方法，其中選擇性地將解塊應用於該當前塊的該塊邊緣的步驟包括：調整該球面相鄰塊的一原始運動向量以產生該球面相鄰塊的一調整後的運動向量，其中該球面相鄰塊是一幀間塊；確定該當前塊的該塊邊緣的一邊界強度，其中該調整後的運動向量參與該邊界強度的確定；以及根據該邊界強度選擇性地將解塊應用於該當前塊的該塊邊緣。
  24. 根據申請專利範圍第23項所述之用於重構的基於投影的幀的解塊方法，其中調整該球面相鄰塊的該原始運動向量以產生該調整後的運動向量的步驟包括：根據該投影佈局的幀打包資訊來確定一旋轉角度；以及將該原始運動向量旋轉該旋轉角度以產生該調整後的運動向量。
  25. 根據申請專利範圍第23項所述之用於重構的基於投影的幀的解塊方法，其中調整該球面相鄰塊的該原始運動向量以產生該調整後的運動向量的步驟包括：將幾何變換應用於該至少一個投影面的該球面相鄰塊的該原始運動向量以在該一投影面的一擴展區域確定一投影的運動向量，其中該投影的運動向量被用作該調整後的運動向量。
  26. 根據申請專利範圍第16項所述之用於重構的基於投影的幀的解塊方法，其中選擇性地將解塊應用於該當前塊的塊邊緣的步驟包括：藉由一預定義的常數值直接設置該當前塊的該塊邊緣的一邊界強度，無論該球面相鄰塊的屬性如何；以及根據該邊界強度選擇性地將解塊應用於該當前塊的該塊邊緣。
TW108107825A 2018-03-09 2019-03-08 一種用於重構的基於投影的幀的解塊方法 TWI688258B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862640699P 2018-03-09 2018-03-09
US62/640,699 2018-03-09
US201862723522P 2018-08-28 2018-08-28
US62/723,522 2018-08-28

Publications (2)

Publication Number Publication Date
TW201946457A TW201946457A (zh) 2019-12-01
TWI688258B true TWI688258B (zh) 2020-03-11

Family

ID=67843620

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108107825A TWI688258B (zh) 2018-03-09 2019-03-08 一種用於重構的基於投影的幀的解塊方法

Country Status (5)

Country Link
US (1) US10659780B2 (zh)
EP (1) EP3707897A4 (zh)
CN (1) CN111656777B (zh)
TW (1) TWI688258B (zh)
WO (1) WO2019170154A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US11184641B2 (en) * 2017-05-09 2021-11-23 Koninklijke Kpn N.V. Coding spherical video data
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
KR20210094646A (ko) * 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리
WO2021163845A1 (en) * 2020-02-17 2021-08-26 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn) -based filter

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503456A (zh) * 2011-05-10 2014-01-08 联发科技股份有限公司 用于减少环内滤波缓冲区的方法及其装置
TW201813380A (zh) * 2016-07-15 2018-04-01 聯發科技股份有限公司 一種濾波３６０度視訊邊界的方法及裝置
TW201813383A (zh) * 2016-08-22 2018-04-01 聯發科技股份有限公司 視訊編碼方法和設備和相關的視訊解碼方法和設備

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006007309A1 (en) * 2004-06-22 2006-01-19 Thomson Research Funding Corporation Method and apparatus for deblocking of motion compensated pictures
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
MY167341A (en) * 2011-09-09 2018-08-16 Sun Patent Trust Low complex deblocking filter decisions
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
CN104113765A (zh) * 2014-07-28 2014-10-22 北京大学深圳研究生院 一种视频编、解码方法和装置
EP3301929A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
US20180192074A1 (en) * 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503456A (zh) * 2011-05-10 2014-01-08 联发科技股份有限公司 用于减少环内滤波缓冲区的方法及其装置
TW201813380A (zh) * 2016-07-15 2018-04-01 聯發科技股份有限公司 一種濾波３６０度視訊邊界的方法及裝置
TW201813383A (zh) * 2016-08-22 2018-04-01 聯發科技股份有限公司 視訊編碼方法和設備和相關的視訊解碼方法和設備

Also Published As

Publication number Publication date
TW201946457A (zh) 2019-12-01
US20190281293A1 (en) 2019-09-12
CN111656777B (zh) 2021-11-19
WO2019170154A1 (en) 2019-09-12
EP3707897A1 (en) 2020-09-16
CN111656777A (zh) 2020-09-11
US10659780B2 (en) 2020-05-19
EP3707897A4 (en) 2021-02-03

Similar Documents

Publication Publication Date Title
TWI688258B (zh) 一種用於重構的基於投影的幀的解塊方法
TWI685244B (zh) 用於重構的基於投影的幀的適應性環路濾波方法
US10986371B2 (en) Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
TWI650996B (zh) 視頻編碼或解碼方法及裝置
CN112868237B (zh) 视频处理方法
US20180192074A1 (en) Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
CN109716766A (zh) 一种滤波360度视频边界的方法及装置
US20170118475A1 (en) Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
CN107888928B (zh) 运动补偿预测方法和设备
US11128874B2 (en) Motion compensating prediction method and device
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
CN109804631B (zh) 一种用于编码和解码视频信号的装置和方法
CN107948547B (zh) 全景视频拼接的处理方法、装置及电子设备
TWI756526B (zh) 用於重構的基於投影的幀的樣本適應性偏移濾波方法
US11477490B2 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
TW201921917A (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
CN112313958A (zh) 用于编码和解码视频信号的装置和方法