TWI719614B

TWI719614B - 用於視頻編解碼中的虛擬邊界的環路內濾波的方法和裝置

Info

Publication number: TWI719614B
Application number: TW108131376A
Authority: TW
Inventors: 林聖晏; 劉琳; 林建良
Original assignee: 聯發科技股份有限公司
Priority date: 2018-08-31
Filing date: 2019-08-30
Publication date: 2021-02-21
Also published as: WO2020043191A1; TW202025739A; CN112544078B; EP3827592A4; CN112602328A; TWI729478B; WO2020043192A1; CN112602328B; CN112544078A; TW202013965A; EP3827592A1; EP3834412A1; EP3834412A4

Abstract

公開了對視頻序列進行編解碼的方法和裝置，其中，來自視頻序列的圖片包括一個或更多個不連續邊緣。然後，將與環路濾波器相關聯的環路濾波處理應用於當前重構像素，以生成經濾波的重構像素，其中，如果環路濾波處理跨當前圖片的虛擬邊界，則使用一個或更多個替代參考像素來替換位於虛擬邊界的與當前重構像素不同的一側中的非預期參考像素，並且所述一個或更多個替代參考像素是根據虛擬邊界的與當前重構像素相同的一側中的第二重構像素生成的。根據另一方法，根據球面鄰近參考像素獲得參考像素，以進行環路濾波處理。

Description

用於視頻編解碼中的虛擬邊界的環路內濾波的方法和裝置

本發明涉及用於包含一個或更多個虛擬邊界的圖片（諸如360度虛擬實境（VR360）圖片）的圖片處理。特別地，本發明涉及用於包含一個或更多個虛擬邊界的圖片的不連續邊緣或虛擬邊界處的環路內濾波處理，諸如VR360視頻編解碼。

360度視頻（也稱為沉浸式視頻）是一種新興技術，其可以提供“身臨其境的感覺”。通過利用對全景（特別是360度視野）進行覆蓋的環繞場景圍繞用戶來實現沉浸感。可以通過立體渲染進一步改善“身臨其境的感覺”。因此，全景視頻被廣泛用於虛擬實境（VR）應用中。

可以使用360度球面全景相機或者被佈置成繞360度對所有視野進行覆蓋的多個圖片來捕獲360度虛擬實境（VR）圖片。三維（3D）球面圖片很難使用常規圖片/視頻處理設備進行處理或存儲。因此，通常使用3D到2D投影方法（諸如等角矩形投影（EquiRectangular Projection）（ERP）和立方體貼圖投影（CubeMap Projection）（CMP））將360度VR圖片轉換為二維（2D）格式。除了ERP和CMP投影格式外，還有許多其它VR投影格式，諸如已在該領域中廣泛使用的八面體投影（OHP）、二十面體投影（ISP）、分段球面投影（SSP）和旋轉球面投影（RSP）。

與常規的2D視頻序列相比，VR360視頻序列通常需要更多的存儲空間。因此，通常將視訊壓縮應用於VR360視頻序列，以減少用於存儲的存儲空間或用於資料流/傳輸的位元速率。

高效視頻編解碼（HEVC）標準是在ITU-T視頻編解碼專家組（VCEG）和ISO/IEC運動圖像專家組（MPEG）標準化組織的聯合視頻專案下開發的，尤其是與被稱為視頻編解碼聯合協作團隊（JCT-VC）具有合作夥伴關係。可以使用HEVC對VR360視頻序列進行編解碼。然而，本發明也可以適用於其它編解碼方法。

在HEVC中，一個片（slice）被劃分為多個編碼樹單元（CTU）。針對彩色圖片，可以將彩色片劃分為多個編解碼樹塊（CTB）。CTU進一步被劃分為多個編解碼單元（CU），以適應各種局部特徵。HEVC支援多種幀內預測模式，並且針對幀內編解碼CU，會發出信號通知選定的幀內預測模式。除了編解碼單元的概念外，HEVC中還引入了預測單元（PU）的概念。一旦完成了CU分層樹的分割，則根據預測類型和PU劃分，將每個葉CU進一步分割為一個或更多個預測單元（PU）。預測後，與CU相關聯的殘差被劃分為變換塊（稱為變換單元（TU）），以用於變換處理。

雖然編解碼處理可以有效地減少傳輸所需的頻寬或存儲所需的容量，但是編解碼處理通常會產生被稱為編解碼偽影的編解碼雜訊。為了減輕編解碼偽影，已經引入了諸如去塊濾波器、SAO（樣本自適應偏移）和ALF（自適應環路濾波器）之類的各種濾波技術。濾波處理通常應用於重構圖片，處理後的重構圖片能用作後續的參考圖片。換句話說，濾波處理在編解碼環路內部。因此，這種濾波處理也被稱為環路內濾波。

在HEVC中，在圖片被重構後應用去塊濾波器（de-blocking filter）。對編解碼單元、預測單元或變換單元之間的邊界進行濾波以減輕由基於塊的編解碼引起的塊偽影。邊界可以是垂直邊界或水平邊界。第1A圖和第1B圖中分別示出了針對垂直邊界（110）和水平邊界（120）的去塊濾波處理中涉及的邊界像素。針對垂直邊界（即，第1A圖中的線110），將水平濾波器應用於每條水平線中的一些邊界樣本。例如，可以將水平去塊濾波器應用於垂直邊界的左側上的p00、p01和p02以及垂直邊界的右側上的q00、q01和q02。類似地，針對水平邊界（即，第1B圖中的線120），將垂直濾波器應用於每條垂直線中的一些邊界樣本。例如，可以將垂直去塊濾波器應用于水平邊界的頂側上的p00、p01和p02以及水平邊界的底側上的q00、q01和q02。換句話說，在垂直於邊界的方向上應用去塊濾波器。

針對每個四樣本長度邊界計算邊界強度值Bs，並且Bs可以取3個可能值。在去塊處理中分別處理亮度分量和色度分量。針對亮度分量，只能對Bs值等於1或2的塊邊界進行濾波。在色度分量的情況下，只能對Bs值等於2的邊界進行濾波。

針對亮度分量，針對每個四樣本長度邊界檢查附加條件，以確定是否應當應用去塊濾波，並且如果應用去塊濾波，則進一步確定應當應用正常濾波器還是強濾波器。

針對正常濾波模式下的亮度分量，可以修改邊界每一側處的兩個樣本。在強濾波模式下，可以修改邊界每一側處的三個樣本。

針對色度分量，當邊界強度大於1時，只能修改邊界每一側處的一個樣本。

開發了SAO處理以補償由編解碼處理引起的像素強度偏移。HEVC採用的SAO處理包含兩種方法。一種方法是帶偏移（BO），並且另一種方法是邊緣偏移（EO）。BO用於根據像素強度將像素分類為多個帶，並且將偏移應用於一個或更多個帶中的像素。EO用於根據當前像素與各鄰近像素（neighbour）之間的關係將像素分類到類別中，並將偏移應用於每個類別中的像素。有4種EO模式（0°、90°、135°和45°），以及不處理（OFF）。四種EO類型如第2圖所示。

在對區域中的所有像素進行分類時，針對每個類別中的像素獲得並發送一個偏移。SAO處理應用於亮度分量和色度分量，並且該分量中的每個分量被獨立處理。針對除了EO的類別4（其中類別4被迫使用零偏移）之外的每個類別的所有像素，都獲得一個偏移。下面的表1列出了EO像素分類，其中“C”表示要被分類的像素。如表1所示，與確定類別相關聯的條件涉及根據EO類型將當前像素值與兩個相應的鄰近者值進行比較。可以根據比較結果（即“>”，“>”或“ =”）來確定類別。每個類別在當前像素與鄰近像素之間的相對強度方面具有特殊含義。例如，類別0與“谷”相對應，其中，中心像素的強度低於兩個鄰近像素。類別3與“峰”相對應，其中，中心像素的強度高於兩個鄰近像素。類別1和類別2與具有向上斜坡（類別2）或向下斜坡（類別1）的平坦段相對應。表1

自適應環路濾波器（ALF）是具有自我調整濾波器大小的濾波器，其被應用到重構像素。在HEVC標準發展期間對ALF進行了評估，但HEVC未採用ALF。然而，被稱為VVC（多功能視頻編解碼）的新興視頻編解碼標準正在考慮ALF。為了優化性能，ALF使用維納濾波技術來獲得濾波器係數。此外，針對不同的圖片區域允許多個濾波器。例如，如第3圖所示，ALF可以是5×5濾波器或7×7濾波器，其中“C”指示正在被濾波的當前重構像素。

根據傳統方法，在不考慮重構的VR360圖片內的可能的不連續邊緣的情況下，將諸如去塊、SAO和ALF之類的環路濾波器應用於該VR360圖片。例如，基於立方體貼圖的投影使用立方體上的六個面來表示VR360視頻中的一幀。這六個面與從立方體展開（lift off）並適合不同佈局（諸如1×6、6×1、2×3或3×2佈局）的面相對應。在各種立方體貼圖佈局中，由於編解碼效率，經常使用3×2佈局。第4圖例示了3×2立方體貼圖佈局形成的示例。佈局410與從立方體展開的六個面相對應，其中圖像412與正面相對應，連接到圖像412左側的三個圖像414與在水平方向上連接到正面412的其它三個面相對應，圖像416與立方體頂部的面相對應，並且圖像418與立方體底部的面相對應。因此，包括圖像414和圖像412的四個圖像在水平方向上是連續的，並且包括圖像416、圖像412和圖像418的三個圖像在垂直方向上是連續的。4×3佈局410包含一些空白區域，這對於編解碼是無效率的。佈局420與3×2立方體貼圖佈局相對應，其中三個圖像414和三個垂直連接的圖像（圖像416、412和418）鄰接。與三個圖像414相對應的頂部子幀在水平方向上是連續的。同樣，與三個圖像412、416和418相對應的底部子幀在水平方向上是連續的。然而，頂部子幀與底部子幀之間的邊緣422是不連續的。換句話說，與來自3D投影的佈局格式相對應的VR360圖片可能在圖片內包含不連續邊緣。

除了VR360圖片之外，其它圖片格式也可能在圖片內包含不連續邊緣。例如，畫中畫（PIP）格式是一種流行的格式，其用於在同一螢幕上同時顯示兩個視頻（例如，主視頻和子視頻）。因此，針對每個PIP 幀，與兩個視頻相關聯的圖片之間可能存在不連續性。在VR360圖片以及PIP幀中，存在跨不連續邊緣的環路濾波處理的問題。

第5A圖至第5C圖例示了應用於重構的VR360圖片的環路內濾波器的示例。第5A圖例示了去塊濾波器的示例，其中，將去塊濾波器應用於當前塊510。將去塊濾波器應用於當前塊510與上方的鄰近塊512之間的水平邊界516。去塊濾波器還應用於當前塊510與左側的鄰近塊514之間的垂直邊界518。

第5B圖例示了SAO處理的示例。基於每個編碼樹單元（CTU）520的統計來獲得偏移補償參數。在統計獲得期間，將BO和EO分類應用於所有像素。針對每個BO和EO類別，確定偏移值。在收集了CTU的統計之後，可以將SAO應用於CTU中的重構像素。

第5C圖例示了用於重構的VR360圖片的ALF處理的示例。可以通過5×5濾波器對重構像素530進行濾波，或者可以通過7×7濾波器對重構像素532進行濾波。如前所述，可以使用維納濾波器技術來設計濾波器參數，以將原始圖片與重構圖片之間的誤差最小化。針對每個重構像素，自我調整選擇濾波器大小以實現最佳性能。

如第4圖中的佈局420所示，立方體貼圖的3×2佈局包含頂部子幀與底部子幀之間的不連續邊緣。邊界422的一側上的像素可能與邊界422的另一側上的像素完全不同。因此，當將環路內濾波器應用於緊鄰邊界或靠近邊界的重構像素時，可能會導致不良結果。第6圖例示了應用於重構像素622的SAO濾波器的示例，其中指示了不連續邊緣610。針對重構像素622例示了不連續邊緣處的SAO操作620。虛線框624指示了3×3 SAO窗口。對於水平邊界610，90°、135°以及45°的SAO濾波處理將利用來自不連續邊界的另一側的參考像素。儘管不連續邊緣的另一側上的鄰近像素626（被稱為非預期像素）靠近正被濾波的重構像素622，但鄰近像素626與重構像素622有很大不同。在這種情況下，用於邊界像素的SAO處理可能會產生不良結果。

因此，期望開發出克服與用於VR360圖片的環路內濾波器有關的問題的技術。

公開了對視頻序列進行編解碼的方法和裝置，其中，來自所述視頻序列的圖片包括一個或更多個不連續邊緣。根據該方法，接收當前圖片中的重構的經濾波的單元，其中，所述重構的經濾波的單元與環路濾波器相關聯，並且所述重構的經濾波的單元包括第一重構像素，所述第一重構像素用於將與所述環路濾波器相關聯的環路濾波處理應用於當前重構像素。然後，將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨所述當前圖片的虛擬邊界，則使用一個或更多個替代參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且所述一個或更多個替代參考像素是根據所述虛擬邊界的與所述當前重構像素相同的一側中的第二重構像素生成的。提供了包括所述經濾波的重構像素的經處理的當前圖片。所述視頻序列可以與360度虛擬實境（VR360）視頻相對應。所述環路濾波器屬於包括去塊濾波器、SAO（樣本自適應偏移）以及ALF（自適應環路濾波器）的組。

在一個實施方式中，所述替代參考像素是通過對所述虛擬邊界的與所述當前重構像素相同的一側中的最近的第二重構像素進行擴展來生成的。在另一實施方式中，所述替代參考像素是通過將位於所述虛擬邊界的不同側中的非預期參考像素的位置剪輯到位於所述虛擬邊界的與所述當前重構像素相同的一側中並且最靠近所述非預期參考像素的修改位置來生成的。

在一個實施方式中，所述替代參考像素是在將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素時即時生成的。

在另一實施方式中，所述替代參考像素是在將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素之前生成的。所生成的替代參考像素可以存儲在一個或更多個額外的線緩衝區(line buffer)中。針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小與等於或小於最大濾波器大小的一半的最大整數相對應。例如，當所述環路濾波器與去塊濾波器相對應時，對於所述當前圖片的亮度分量，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小等於4。在另一示例中，當所述環路濾波器與SAO（樣本自適應偏移）濾波器相對應時，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小等於1。在又一示例中，當所述環路濾波器與ALF（自適應環路濾波器）相對應時，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小小於或等於5，以用於對所述當前圖片的亮度分量進行分類。

根據本發明的另一種方法，將與環路濾波器相關聯的環路濾波處理應用於當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨VR360圖片的虛擬邊界，則使用一個或更多個球面鄰近參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個球面鄰近參考像素對應於與所述重構的經濾波的單元的包含所述當前重構像素的部分相鄰的3D空間中的幾何上連續的鄰近參考像素，並且所述一個或更多個球面鄰近參考像素以及所述重構的經濾波的單元的包含所述當前重構像素的部分位於所述VR360圖片的不同面中。

可以發出信號通知控制標誌，以指示是否允許跨片、圖塊或CTU（編碼樹單元）邊界應用所述環路濾波處理。如果所述控制標誌指示禁止跨片、圖塊或CTU邊界應用所述環路濾波處理，則在所述當前重構像素以及所述一個或更多個球面鄰近參考像素在同一片、圖塊或CTU邊界中時，將所述環路濾波處理應用於所述當前重構像素。

以下描述是實施本發明的最佳構想模式。進行該描述是為了例示本發明的一般原理，並且不應被認為是限制性的。通過參考所附權利要求書來最佳確定本發明的範圍。

將容易理解，如本文的附圖中一般性描述和例示的，可以以各種不同的配置來佈置和設計本發明的部件。因此，如附圖所示的對本發明的系統和方法的實施方式的以下更詳細的描述並非旨在限制本發明所要求保護的範圍，而僅僅代表本發明的選定實施方式。

在整個說明書中，對“一個實施方式”、“實施方式”或類似語言的引用意味著結合該實施方式描述的特定特徵、結構或特性可以被包括在本發明的至少一個實施方式中。因此，在整個說明書中，在各處出現的短語“在一個實施方式中”或“在實施方式中”並不一定都指同一實施方式。

此外，在一個或更多個實施方式中，所描述的特徵、結構或特性可以以任何合適的方式組合。然而，相關領域的技術人員將認識到，可以在不具有特定細節中的一個或更多個的情況下，或者在具有其它方法、部件等的情況下實施本發明。在其它情況下，未示出或未詳細描述公知的結構或操作，以避免模糊本發明的方面。

通過參考附圖將最好地理解本發明的所示實施方式，其中，相似的部分始終由相似的數位表示。以下描述僅旨在作為示例，並且簡單地例示了與本文所要求保護的本發明一致的裝置和方法的某些選定實施方式。

在說明書中，出現在附圖和說明書中的相似附圖標記指定不同視圖中的對應要素或相似要素。

如前所述，當將環路內濾波器應用於VR360視頻中的不連續邊界時，用於不連續邊界一側上的重構像素的濾波處理可能需要使用不連續邊界另一側上的一個或更多個重構像素（被稱為非預期像素）。由於不連續邊界兩側上的像素之間的不連續性，將非預期像素用於環路內濾波處理可能會引起明顯的偽影。因此，根據本發明的方法，如果環路內濾波處理跨不連續邊界，則修改環路內濾波處理。VR360視頻或PIP中的不連續邊界或邊緣在本公開中也被稱為虛擬邊界。在本公開中，環路內濾波器可以被稱為環路濾波器。在本公開中，環路內濾波處理可以被稱為環路濾波處理。

當執行濾波處理時，如果參考像素和當前像素位於不同的子幀（即，不連續邊緣/虛擬邊界的不同側）中，則將當前子幀（即，不連續邊緣/虛擬邊界的與當前像素相同的一側）中的最近像素作為根據本發明實施方式的替代參考像素。

可以即時獲得或預先獲得替代參考像素。如果像素是預先獲得的，則將需要額外的記憶體緩衝區來存儲該像素。

該方法適用於去塊濾波器、ALF和SAO濾波器以及其它類型的環路內濾波器。

第7圖例示了根據本發明實施方式的用於跨不連續邊緣或虛擬邊界進行環路濾波處理的參考像素擴展710的示例。在第7圖中，來自頂部子幀的像素被擴展以形成替代參考像素（被標記為點填充區域1），並且來自底部子幀的像素被擴展以形成替代參考像素（被標記為點填充區域2）。在第7圖中，針對頂部子幀和底部子幀，示出了虛擬邊界（712a和712b）。當虛擬邊界的同一側上的像素被擴展以形成替代參考像素時，使用當前子幀中的最近像素。換言之，頂部子幀的底線向下擴展以形成參考像素區域1，並且底部子幀的頂線向上擴展以形成參考像素區域2。當環路濾波處理需要來自不連續邊緣或虛擬邊界另一側的參考像素時，當前子幀（即，在不連續邊緣/虛擬邊界的與當前像素相同的一側上）中的最近像素被用作替代參考像素。在第7圖中，VR360圖片由頂部子幀和底部子幀組成。正如所理解的，根據本發明實施方式，以3×2立方體貼圖佈局為例來例示參考像素擴展。參考像素擴展可以應用於其它VR360佈局格式，諸如根據八面體投影（OHP）、二十面體投影（ISP）、分段球面投影（SSP）和旋轉球面投影（RSP）獲得的佈局格式。VR360圖片中可能有多於一個虛擬邊界。此外，虛擬邊界可以沿其它方向而不是垂直/水平方向。當環路濾波處理涉及非預期參考像素（即，虛擬邊界另一側上的參考像素）時，可以對與要被濾波的當前重構像素相同的一側上的參考像素進行擴展，以形成替代參考像素。

如前所述，針對非VR360圖片，也可能出現圖片內的不連續邊緣（即，虛擬邊界）。例如，在畫中畫視頻中，圖片還包括圖片內的不連續邊緣。本發明的環路濾波處理也可以應用於PIP視頻。

在另一實施方式中，當執行濾波處理時，如果參考像素（即，非預期參考像素）和當前像素位於虛擬邊界的不同側處，則可以將參考像素位置剪輯到位於虛擬邊界的與當前像素相同的一側並且最靠近參考像素（即，非預期參考像素）的位置。這種方法類似於從虛擬邊界擴展像素。

在一個實施方式中，如果提前獲得像素，則可以使用floor（max_𝑓𝑖𝑙𝑡𝑒𝑟_𝑠𝑖𝑧𝑒_𝑜𝑓_𝑎𝑙𝑙_𝑓𝑖𝑙𝑡𝑒𝑟𝑠/2）*2個額外的線緩衝區來存儲替代參考像素。floor（．）表示返回小於或等於其輸入變數的最大整數的floor函數。額外的緩衝區由對應子幀（即，在不連續邊緣/虛擬邊界的與當前像素相同的一側上）中的最近像素填補。在執行濾波處理時，將使用額外的緩衝區中的替代參考像素。

第8圖例示了根據本發明實施方式的分配一個或更多個額外的線緩衝區以存儲不連續邊緣或虛擬邊界（810a和810b）的兩側上的參考像素的示例。如第8圖所示，多個額外的線緩衝區（即，floor（max_filter_size_of_all_filters/2））用於存儲區域1中的參考像素，並且多個額外的線緩衝區（即，floor（max_ filter_size_of_all_filters/2））用於存儲區域2中的參考像素。當將環路濾波處理應用於頂部子幀中的重構像素時（該環路濾波處理需要來自不連續邊緣或虛擬邊界另一側（即，底部子幀）的參考像素），存儲在額外的緩衝區1中的像素用作替代參考像素。類似地，當將環路濾波處理應用於底部子幀中的重構像素時（該環路濾波處理需要來自不連續邊緣或虛擬邊界的另一側（即，頂部子幀）的參考像素），存儲在額外的緩衝區2中的像素用作替代參考像素。

第9圖例示了根據本發明實施方式的用於去塊濾波處理的額外的線緩衝區的示例。示出了不連續邊緣或虛擬邊界（910a和910b）。正在被濾波的當前塊912的塊邊緣與不連續邊緣或虛擬邊界910b對齊。去塊濾波處理所需的在塊邊緣另一側上的所有參考像素在不連續邊緣或虛擬邊界910b的另一側上。因此，根據本發明的實施方式，存儲在額外的線緩衝區2中的替代參考像素914被用於去塊濾波處理。如圖1所示，根據HEVC標準的用於亮度分量的去塊濾波器利用了遠離塊邊界的多達4個像素。因此，針對亮度分量，在虛擬邊界的每一側上可以有4排（line）用於去塊處理的額外的線緩衝區。

第10圖例示了根據本發明實施方式的用於SAO濾波處理的額外的線緩衝區的示例。示出了不連續邊緣或虛擬邊界（1010a和1010b）。用於SAO濾波處理的中心像素位於不連續邊緣或虛擬邊界1010b附近。針對90°濾波器，頂部的鄰近像素在不連續邊緣或虛擬邊界1010b的另一側上。根據本發明的實施方式，存儲在額外的線緩衝區2中的替代參考像素被用於SAO濾波處理。針對45°SAO濾波器，右上方參考像素在不連續邊緣或虛擬邊界1010b的另一側上。根據本發明的實施方式，存儲在額外的線緩衝區2中的替代參考像素被用於SAO濾波處理。針對135°SAO濾波器，左上方參考像素在不連續邊緣或虛擬邊界1010b的另一側上。根據本發明的實施方式，存儲在額外的線緩衝區2中的替代參考像素被用於SAO濾波處理。因此，針對亮度分量，在虛擬邊界的每一側上可以有1排用於SAO處理的額外的線緩衝區。

針對ALF濾波處理，第11圖示出了亮度ALF處理1110和色度ALF處理1120的處理流程。針對亮度ALF處理，如步驟1112所示，將每個處理單元輸入到處理中。處理單元可以與圖片、片、CTU行或CTU相對應。在步驟1114中執行分類。在步驟1116中獲得濾波器，並且在步驟1118中應用濾波器處理。針對色度ALF處理，如步驟1122所示，將每個處理單元輸入到處理中。在步驟1124中獲得濾波器，並且在步驟1126中應用濾波器處理。第12圖例示了分類處理的示例。針對亮度分量中的每個CTB，首先執行分類方法，並且根據像素紋理特徵和像素位置將像素分類為16個組。4×4塊1220中的像素共用相同的分類結果。在8×8視窗1210內計算水平和垂直的一維拉普拉斯值。對8×8塊內的水平方向和垂直方向的一維拉普拉斯值分別求和。

針對每個分類組，可以通過求解維納-霍夫方程來獲得一個濾波器。因此，在一種分類方法中可以獲得16個濾波器（即，一組一個濾波器）。

維納-霍夫方程：

在上式中，變數或參數描述如下： 1. 像素位置

屬於分類R，並且

是R中的像素的數量。 2.

：原始像素。 3.

：圖片緩衝區中的重構像素。 4. 濾波器係數：

。 5. 濾波器位置偏移：

，其中

表示第n個濾波器係數位置相對於r的像素位置偏移。

第13A圖例示了在虛擬邊界處以及在虛擬邊界附近的ALF濾波處理的分類的示例。示出了不連續邊緣或虛擬邊界（1310a和1310b）。針對分類A，8×8塊的下5行在不連續邊緣或虛擬邊界1310a之外。根據本發明的實施方式，額外的線緩衝區1中的參考像素被用作用於分類處理的替代參考像素。針對分類B，8×8塊的上2行在不連續邊緣或虛擬邊界1310b之外。根據本發明的實施方式，額外的線緩衝區2中的參考像素被用作用於分類處理的替代參考像素。在虛擬邊界的每一側中，ALF分類所需的額外的線緩衝區數小於或等於5排。

第13B圖例示了針對7×7和5×5 ALF的在虛擬邊界處的ALF濾波處理的示例。示出了不連續邊緣或虛擬邊界（1310a和1310b）。針對7×7濾波器A和5×5濾波器A，中心像素與不連續邊緣或虛擬邊界1310a相鄰。根據本發明的實施方式，額外的線緩衝區1中的參考像素被用作用於ALF濾波處理的替代參考像素。針對7×7濾波器B和5×5濾波器B，中心像素與不連續邊緣或虛擬邊界1310b相鄰。根據本發明的實施方式，額外的線緩衝區2中的參考像素被用作用於ALF濾波處理的替代參考像素。

儘管第13B圖中的示例例示了中心像素與虛擬邊界相鄰的情況，但是當中心像素靠近虛擬邊界時，所需的參考像素可能是跨虛擬邊界的。例如，如果選擇了7×7濾波器並且中心像素距虛擬邊界1個像素，則與虛擬邊界相鄰的3個參考像素以及來自虛擬邊界另一側的距虛擬邊界1個像素距離處的1個參考像素將參與ALF處理。如果選擇了7×7濾波器並且中心像素距虛擬邊界2個像素，則來自虛擬邊界另一側的與虛擬邊界相鄰的1個參考像素將參與ALF處理。如果選擇了7×7濾波器並且中心像素距虛擬邊界3個像素，則將沒有來自虛擬邊界另一側的參考像素參與ALF處理。

根據另一種方法，使用來自球面鄰近者的參考像素。基於VR360圖片的幾何連續性，可以在同一圖片中獲得的球面鄰近者被用於濾波處理。可以在3D視覺的對應面中獲得對應鄰近者。第14圖示出了來自用於SAO處理的球面鄰近者的參考像素的示例。針對與虛擬邊界1410相鄰的中心像素1412，針對90°、135°或45°SAO處理，SAO涉及在當前像素下方的像素行1420中的1個像素。當鄰近像素1420跨虛擬邊界不連續時，與SAO濾波器的中心行1440相鄰的像素來自底部子幀左邊緣上的像素1430。可以通過將各個面映射到立方體貼圖投影的立方體來感知這種連續性。換句話說，針對90°、135°或45°SAO處理，經濾波的單元的一部分（即，3×3視窗的頂行中的一個像素）位於虛擬邊界的與正在被濾波的當前重構像素相同的一側中，並且經濾波的單元的另一部分（即，3×3視窗的底行中的一個像素）位於虛擬邊界的正在被濾波的當前重構像素的另一側上。然而，球面鄰近參考像素（即，像素1430）是與重構的經濾波的單元的包含當前重構像素的部分相鄰的3D空間中的幾何上連續的鄰近參考像素。除了立方體投影外，還有許多其它VR360投影佈局。可以通過將投影佈局映射回對應多面體的表面來識別從該多面體展開的面之間的球面連續性。

在某些情況下，可以將濾波處理限制為不跨重構的圖片中的片、圖塊或CTU邊界進行處理。例如，針對去塊濾波器，控制標誌“

”可以用於控制是否可以跨片邊界執行濾波處理。如果該控制設置為真，則可以跨片邊界執行濾波處理。如果該控制設置為假，則無法跨片邊界執行濾波處理。因此，它應該檢查鄰近塊和當前塊是否位於同一片中。如果它們位於同一片中，則可以執行濾波處理，否則，會禁用濾波處理。

第15A圖例示了用於3×2立方體貼圖佈局的VR360圖片的常規檢查處理的示例。頂部子幀與底部子幀之間的虛擬邊界1510用白線指示。面邊緣用黑色虛線指示。正在被濾波的CU 1520的頂部CU邊緣與虛擬邊界對齊。此外，CU也位於具有在垂直方向上穿過該CU中部的面邊緣的兩個面之間。由於兩個子塊的球面鄰近子塊來自3×2立方體貼圖佈局的不同位置，因此用於頂部CU邊緣的去塊處理被分為兩個子塊（即1522和1524）。根據傳統方法，去塊處理涉及來自其它面的兩個塊（即，1526和1528）。此外，塊1526和1528屬於不同的片。因此，控制標誌被設置為禁用環路濾波處理（即，該示例中的去塊處理）。

在去塊濾波器的傳統實現中，檢查操作（即，檢查當前塊和鄰近塊是否位於同一片中）只能在CU的左上方的塊處執行，因為CU中的其它塊的所有鄰近塊位於同一片中。然而，在VR360圖片中，考慮到球面鄰近者，CU可以位於多個面中，並且鄰近塊可以位於不同的片中。第15B圖例示了考慮了球面鄰近者的檢查處理的示例。塊1536的球面鄰近者位於底部子幀的左上角處，其與當前塊位於同一片中。因此，環路濾波處理可以應用於塊1522，因為塊1522的球面鄰近者在同一片中。在這種情況下，即使將控制標誌設置為禁用跨片邊界的環路濾波處理，由於環路濾波處理不跨片邊界，所以環路濾波處理仍可以應用於塊1522。然而，針對塊1524，其球面鄰近者位於頂部子幀的右上角。因此，如果將控制標誌設置為禁用跨片邊界的環路濾波處理，則環路濾波處理不應用於塊1524。

應該對每個塊執行檢查操作以確保編解碼正確性。因此，如果諸如ALF、SAO或其它濾波器之類的濾波處理受到控制標誌的限制，則應當在每個濾波器單元處執行檢查操作以確保編解碼正確性。

該方法適用於去塊濾波器、ALF和SAO濾波器以及其它類型的環路濾波器。

第16圖例示了根據本發明實施方式的用於視頻序列的編解碼系統的示例性流程圖，該視頻序列包括視頻序列的圖片中的一個或更多個不連續邊緣，其中，通過使用替代參考像素來跨虛擬邊界應用環路濾波處理。流程圖以及本公開的其它後續流程圖中所示的步驟可以被實現為程式碼，該程式碼可在編解碼器側和/或解碼器側的一個或更多個處理器（例如，一個或更多個CPU）上執行。流程圖中所示的步驟也可以基於硬體（諸如被佈置成執行流程圖中的步驟的一個或更多個電子設備或處理器）來實現。根據該方法，在步驟1610中，接收當前圖片中的重構的經濾波的單元，其中，該重構的經濾波的單元與環路濾波器相關聯，並且該重構的經濾波的單元包括第一重構像素，用於將與該環路濾波器相關聯的環路濾波處理應用於當前重構像素。在步驟1620中，將與環路濾波器相關聯的環路濾波處理應用於當前重構像素，以生成經濾波的重構像素，其中，如果環路濾波處理跨當前圖片的虛擬邊界，則使用一個或更多個替代參考像素來替換位於虛擬邊界的與當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個替代參考像素是根據虛擬邊界的與當前重構像素相同的一側中的第二重構像素生成的。在步驟1630中，提供包括經濾波的重構像素的經處理的當前圖片。

第17圖例示了根據本發明實施方式的用於VR360視頻的編解碼系統的示例性流程圖，其中通過使用球面鄰近參考像素來跨虛擬邊界應用環路濾波處理。根據該方法，在步驟1710中，接收VR360圖片中的重構的經濾波的單元，其中，該重構的經濾波的單元與環路濾波器相關聯，並且該重構的經濾波的單元包括第一重構像素，用於將與該環路濾波器相關聯的環路濾波處理應用於當前重構像素。在步驟1720中，將與環路濾波器相關聯的環路濾波處理應用於當前重構像素，以生成經濾波的重構像素，其中，如果環路濾波處理跨VR360圖片的虛擬邊界，則使用一個或更多個球面鄰近參考像素來替換位於虛擬邊界的與當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個球面鄰近參考像素與3D空間中的幾何上連續的鄰近參考像素相對應，其中重構的經濾波的單元的部分包含當前重構像素，並且所述一個或更多個球面鄰近參考像素和該重構的經濾波的單元的包含當前重構像素的部分位於VR360圖片的不同面中。在步驟1730中，提供包括經濾波的重構像素的經處理的VR360圖片。

上面所示的流程圖旨在用作示例以例示本發明的實施方式。本領域技術人員可以在不脫離本發明的精神的情況下，通過修改各個步驟、拆分或組合步驟來實踐本發明。

呈現以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的背景下提供的本發明。對所描述的實施方式的各種修改對於本領域技術人員將是顯而易見的，並且本文中限定的一般原理可以應用於其它實施方式。因此，本發明並不旨在限於所示出和所描述的特定實施方式，而是符合與本文所公開的原理和新穎特徵一致的最廣範圍。在以上詳細描述中，例示了各種具體細節以便提供對本發明的透徹理解。然而，本領域技術人員將理解可以實踐本發明。

如上所述的本發明的實施方式可以以各種硬體代碼、軟體代碼或兩者的組合來實現。例如，本發明的實施方式可以是被集成到視訊壓縮晶片中的一個或更多個電子電路或者被集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施方式還可以是要在數位訊號處理器（DSP）上執行以執行本文描述的處理的程式碼。本發明還可以涉及要由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（FPGA）執行的許多功能。這些處理器可以被配置為通過執行對本發明體現的特定方法進行限定的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。可以以不同的程式設計語言和不同的格式或樣式來開發軟體代碼或固件代碼。也可以針對不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、樣式和語言以及將代碼配置為執行根據本發明的任務的其它手段將不脫離本發明的精神和範圍。

在不脫離本發明的精神或基本特徵的情況下，可以以其它特定形式實施本發明。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附權利要求書而不是前述描述來指示。落入權利要求等同含義和範圍內的所有改變均應包含在其範圍之內。

110、518:垂直邊界 120、516:水平邊界 410、420:佈局 412、414、416、418:圖像 422:邊緣 510、912:當前塊 512、514:鄰近塊 520:編碼樹單元（CTU） 530、532、622:重構像素 610:不連續邊緣 620:SAO操作 624:虛線框 626:鄰近像素 710:參考像素擴展 712a、712b、810a、810b、910a、910b、1010a、1010b、1310a、1310b、1410、1510:虛擬邊界 914:替代參考像素 1110、1120:流程 112-1118、1122-1126、1610-1630、1710-1730:步驟 1210:視窗 1220、1526、1528、1536:塊 1420:像素行 1430:像素 1440:中心行 1520:CU 1522、1524:子塊

第1A圖例示了針對垂直邊界的去塊濾波處理中涉及的邊界像素的示例。第1B圖例示了針對水平邊界的去塊濾波處理中涉及的邊界像素的示例。第2圖示出了用於SAO（樣本自我調整偏移）的4個EO（邊緣偏移）定向圖案（0°、90°、135°和45°）。第3圖例示了包括5×5濾波器和7×7濾波器的ALF的示例，其中，“C”指示正在被濾波的當前重構像素。第4圖例示了4×3和3×2立方體貼圖佈局形成的示例。第5A圖例示了應用於3×2佈局的VR360圖片的塊的去塊濾波器的示例。第5B圖例示了應用於3×2佈局的VR360圖片的像素的SAO處理的示例。第5C圖例示了針對重構的VR360圖片使用5×5或7×7濾波器的ALF處理的示例。第6圖例示了應用於不連續邊緣處的重構像素的SAO濾波器的示例。第7圖例示了根據本發明實施方式的用於跨不連續邊緣或虛擬邊界進行環路濾波處理的參考像素擴展710的示例。第8圖例示了根據本發明實施方式的分配一個或更多個額外的線緩衝區以存儲不連續邊緣或虛擬邊界（810a和810b）的兩側上的參考像素的示例。第9圖例示了根據本發明實施方式的用於去塊濾波處理的額外的線緩衝區的示例。第10圖例示了根據本發明實施方式的用於SAO濾波處理的額外的線緩衝區的示例。第11圖例示了亮度ALF處理和色度ALF處理的示例性處理流程。第12圖例示了分類處理的示例，其中針對亮度分量中的每個CTB，首先執行分類方法，並且根據像素紋理特徵和像素位置將像素分類為16個組。第13A圖例示了在虛擬邊界處以及在虛擬邊界附近的ALF濾波處理的分類的示例。第13B圖例示了針對7×7和5×5 ALF的在虛擬邊界處的ALF濾波處理的示例。第14圖例示了來自用於SAO處理的球面鄰近者的參考像素的示例。第15A圖例示了用於3×2立方體貼圖佈局的VR360圖片的常規檢查處理的示例。第15B圖例示了根據本發明實施方式的考慮了球面鄰近者的檢查處理的示例。第16圖例示了根據本發明實施方式的用於VR360視頻的編解碼系統的示例性流程圖，其中通過使用替代參考像素來跨虛擬邊界應用環路濾波處理。第17圖例示了根據本發明實施方式的用於VR360視頻的編解碼系統的示例性流程圖，其中，通過使用球面鄰近參考像素來跨虛擬邊界應用環路濾波處理。

1610-1630:步驟

Claims

一種對視頻序列進行編解碼的方法，其中，來自所述視頻序列的圖片包括一個或更多個不連續邊緣，所述方法包括以下步驟：接收當前圖片中的重構的經濾波的單元，其中，所述重構的經濾波的單元與環路濾波器相關聯，並且所述重構的經濾波的單元包括第一重構像素，用於將與所述環路濾波器相關聯的環路濾波處理應用於當前重構像素；將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨所述當前圖片的虛擬邊界，則使用一個或更多個替代參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個替代參考像素是根據所述虛擬邊界的與所述當前重構像素相同的一側中的第二重構像素生成的；以及提供包括所述經濾波的重構像素的經處理的當前圖片；其中，所生成的替代參考像素存儲在一個或更多個額外的線緩衝區中，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小與等於或小於最大濾波器大小的一半的最大整數相對應。
如申請專利範圍第1項所述之方法，其中，所述視頻序列與360度虛擬實境(VR360)視頻相對應。
如申請專利範圍第1項所述之方法，其中，所述環路濾波器屬於包括以下項的組：去塊濾波器、SAO(樣本自適應偏移)濾波器以及ALF(自適應環路濾波器)。
如申請專利範圍第1項所述之方法，其中，所述替代參考像素是通過對所述虛擬邊界的與所述當前重構像素相同的一側中的最近的第二重構像素進行擴展來生成的。
如申請專利範圍第1項所述之方法，其中，所述替代參考像素是通過將位於所述虛擬邊界的不同側中的非預期參考像素的位置剪輯到位於所述虛擬邊界的與所述重構的經濾波的單元相同的一側中並且最靠近所述非預期參考像素的修改位置來生成的。
如申請專利範圍第1項所述之方法，其中，所述替代參考像素是在將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素時即時生成的。
如申請專利範圍第1項所述之方法，其中，所述替代參考像素是在將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素之前生成的。
如申請專利範圍第1項所述之方法，其中，當所述環路濾波器與去塊濾波器相對應時，對於所述當前圖片的亮度分量，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小等於4。
如申請專利範圍第1項所述之方法，其中，當所述環路濾波器與SAO(樣本自我調整偏移)濾波器相對應時，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小等於1。
如申請專利範圍第1項所述之方法，其中，當所述環路濾波器與ALF(自我調整環路濾波器)相對應時，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小小於或等於5，以用於對所述當前圖片的亮度分量進行分類和濾波。
一種對視頻序列進行編解碼的裝置，其中，來自所述視頻序列的圖片包括一個或更多個不連續邊緣，所述裝置包括被配置為執行以下項的一個或更多個電子設備或處理器：接收當前圖片中的重構的經濾波的單元，其中，所述重構的經濾波的單元與環路濾波器相關聯，並且所述重構的經濾波的單元包括第一重構像素，用於將與所述環路濾波器相關聯的環路濾波處理應用於當前重構像素；將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨所述當前圖片的虛擬邊界，則使用替代參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且其中，所述替代參考像素是根據所述虛擬邊界的與所述當前重構像素相同的一側中的第二重構像素生成的；以及提供包括所述經濾波的重構像素的經處理的當前圖片；其中，所生成的替代參考像素存儲在一個或更多個額外的線緩衝區中，針對所述虛擬邊界的每一側的所述一個或更多個額外的線緩衝區的大小與等於或小於最大濾波器大小的一半的最大整數相對應。
一種對360度虛擬實境(VR360)視頻進行編解碼的方法，所述方法包括以下步驟：接收VR360圖片中的重構的經濾波的單元，其中，所述重構的經濾波的單元與環路濾波器相關聯，並且所述重構的經濾波的單元包括第一重構像素，所述第一重構像素用於將與所述環路濾波器相關聯的環路濾波處理應用於當前重構像素；將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨所述VR360圖片的虛擬邊界，則使用一個或更多個球面鄰近參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個球面鄰近參考像素對應於與所述重構的經濾波的單元的包含所述當前重構像素的部分相鄰的3D空間中的幾何上連續的鄰近參考像素，並且所述一個或更多個球面鄰近參考像素以及所述重構的經濾波的單元的包含所述當前重構像素的部分位於所述VR360圖片的不同面中；以及提供包括所述經濾波的重構像素的經處理的VR360圖片。
如申請專利範圍第12項所述之方法，其中，所述環路濾波器屬於包括以下項的組：去塊濾波器、SAO(樣本自適應偏移)和ALF(自適應環路濾波器)。
一種對360度虛擬實境(VR360)視頻進行編解碼的裝置，所述裝置包括被配置為執行以下項的一個或更多個電子設備或處理器：接收VR360圖片中的重構的經濾波的單元，其中，所述重構的經濾波的單元與環路濾波器相關聯，並且所述重構的經濾波的單元包括第一重構像素，所述第一重構像素用於將與所述環路濾波器相關聯的環路濾波處理應用於當前重構像素；將與所述環路濾波器相關聯的所述環路濾波處理應用於所述當前重構像素，以生成經濾波的重構像素，其中，如果所述環路濾波處理跨所述VR360圖片的虛擬邊界，則使用一個或更多個球面鄰近參考像素來替換位於所述虛擬邊界的與所述當前重構像素不同的一側中的非預期參考像素，並且其中，所述一個或更多個球面鄰近參考像素對應於與所述重構的經濾波的單元的包含所述當前重構像素的部分相鄰的3D空間中的幾何上連續的鄰近參考像素，並且所述一個或更多個球面鄰近參考像素以及所述重構的經濾波的單元的包含所述當前重構像素的部分位於所述VR360圖片的不同面中；以及提供包括所述經濾波的重構像素的經處理的VR360圖片。