TW202114415A

TW202114415A - 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置

Info

Publication number: TW202114415A
Application number: TW109124913A
Authority: TW
Inventors: 賴貞延; 陳慶曄; 莊子德
Original assignee: 聯發科技股份有限公司
Priority date: 2019-07-25
Filing date: 2020-07-23
Publication date: 2021-04-01
Also published as: EP3997874A4; US20220272332A1; US11641465B2; EP3997874A1; CN113994670A; WO2021013178A1; MX2022000987A; CN113994670B; TWI751623B; KR20220036977A

Abstract

公開了用於重建視訊的環路濾波處理的方法和裝置。根據此方法，如果不允許對目標邊界使用環路濾波器，則在目標邊界的頂部、底部、左側和右側禁用目標環路濾波器。根據另一種方法，跨虛擬邊界改變CC-ALF（跨分量自適應環路濾波器）的形狀。根據另一種方法，CC-ALF和亮度ALF以相同的方式處理不可用的樣本。

Description

具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置

本發明涉及視訊編解碼系統中的自適應環路濾波器（ALF）處理。特別地，本發明涉及在視訊編碼器或解碼器中具有虛擬邊界的跨分量ALF處理。

運動估計是一種有效的幀間編解碼技術，以利用視訊序列中的時間冗餘。運動補償的幀間編解碼已在各種國際視訊編解碼標準中廣泛使用。各種編解碼標準中採用的運動估計通常是基於塊的技術，其中，針對每個宏塊或類似塊配置確定運動資訊，例如編解碼模式和運動矢量。另外，還自適應地應用幀內編解碼，其中在不參考任何其他圖片的情況下處理圖片。通常通過變換、量化和熵編解碼來進一步處理幀間預測殘差或幀內預測殘差，以生成壓縮視訊位元流。在編碼過程中，特別是在量化過程中，會引入編解碼偽像。為了減輕編解碼偽像，已存在將附加處理應用於重建視訊，以增強新型編解碼系統中的圖像品質。通常以環內操作來配置附加處理，以便編碼器和解碼器可以導出相同的參考圖片以實現改進的系統性能。

第1A圖示出了併入了包括自適應環路濾波器（ALF）在內的環路處理的示例性自適應幀間/幀內視訊編解碼系統。對於幀間預測，運動估計（ME）/運動補償（MC）112用於基於來自其他圖片的視訊資料提供預測資料。開關114選擇幀內預測110或幀間預測資料，並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。然後，通過變換（T）118，然後是量化（Q）120處理預測誤差。然後，由熵編碼器122對經過變換和量化的殘差進行編碼，以形成與壓縮視訊資料相對應的視訊位元流。然後，將與變換係數相關聯的位元流與諸如運動、模式以及與圖像區域相關聯的其他資訊之類的輔助資訊打包在一起。輔助資訊也可以經過熵編碼以減少所需的帶寬。因此，如第1A圖所示，與輔助資訊相關的資料被提供給熵編碼器122。當使用幀間預測模式時，也必須在編碼器端重建參考圖片。因此，通過逆量化（IQ）124和逆變換（IT）126處理經變換和量化的殘差以恢復殘差。然後在重建（REC）128處將殘差加回到預測資料136以重建視訊資料。重建視訊資料可以存儲在參考圖片緩衝器134中，並用於其他幀的預測。

如第1A圖所示，輸入視訊資料在編解碼系統中經歷了一系列處理。由於一系列處理，來自REC 128的重建視訊資料可能會遭受各種損害。因此，在將重建視訊資料存儲在參考圖片緩衝器134中之前，將各種環路處理應用於重建視訊資料，以提高視訊品質。在視訊編解碼系統中，已經使用諸如去塊濾波器（DF）130、樣本自適應偏移（SAO）131和自適應環路濾波器（ALF）132之類的各種環路濾波器來增強圖片品質。

第1B圖中示出了第1A圖的編碼器的相應解碼器。視訊位元流由熵解碼器142解碼以恢復經變換和量化的殘差。在解碼器側，僅執行運動補償（MC）113，而不執行ME / MC。解碼過程類似於編碼器端的重建循環。恢復的經過變換和量化的殘差、SAO / ALF資訊以及其他系統資訊用於重建視訊資料。 DF 130、SAO 131和ALF 132對重建視訊進行進一步處理，以生成最終的增強解碼視訊。

跨分量 ALF 處理

在JVET-O0636（Kiran Misra等人，“Cross-Component Adaptive Loop Filter for chroma”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29/ WG 11的聯合視訊專家小組（JVET），第15次會議：Gothenburg, SE，2019年7月3日至12日，文檔：JVET-O0636）中，提出了跨分量自適應環路濾波（Cross-Component Adaptive Loop Filter，簡寫為CC-ALF）。 CC-ALF利用亮度樣本值來改善（refine）每個色度分量。第2A圖示出了根據JVET-O0636的關於其他環路濾波的CC-ALF的結構。在第2A圖中，在各個SAO（210、212和214）之後執行ALF處理。在常規的視訊編解碼系統中，僅使用ALF亮度（ALF Luma）220和ALF色度（ALF Chroma）230。在JVET-0636中，使用兩個附加的ALF濾波器，即CC ALF Cb 222和CC ALF Cr 224來導出調整信號，以分別使用加法器240和242將其加到經ALF處理的Cb和Cr上。

在CC-ALF中，根據JVET-O0636，通過將線性菱形濾波器應用於每個色度分量（component）的亮度通道，如第2B圖所示。濾波器係數在APS中傳輸，縮放係數為2¹⁰ ，並為定點表示（fixed point representation）取整。用可變的塊大小控制濾波器的應用，並通過為每個樣本塊接收的上下文編碼標誌發信。對於每個色度分量，在切片級別接收塊大小以及CC-ALF啟用標誌。 JVET-O0636中還公開了CC-ALF的語法和語義。

虛擬邊界以減少行緩衝器的使用

為了消除SAO和ALF的行緩衝區要求，我們引入了虛擬邊界（VB）的概念。如第3圖所示，VB是向上移位N個像素的水平最大編解碼單元（LCU）邊界。對於每個LCU，SAO和ALF可以在下層LCU出現之前處理VB之上的像素，但是直到下層LCU出現之後，才可以處理VB之下的像素，這是由DF引起的。考慮到HM-4.0中的DF，建議的VB和水平LCU邊界之間的間隔設置為亮度的三個像素（即第3圖中的N = 3）和色度的一個像素（即第3圖中的N = 1）。對SAO和ALF進行了修改，以確保VB一側上的每個要處理的像素都不需要從VB另一側進行任何資料訪問，除非可以在不使用任何其他行緩衝區的情況下及時獲得資料。

在第11屆JVET會議上，下一代視訊編解碼標準(通用視訊編解碼(VVC))的草案中採用了基於4x4塊自適應的ALF。對於一個4x4的塊，需要一個8x8的窗口來計算塊的屬性，並且濾波器足跡(filter footprint)是1個7x7菱形濾波器(用於亮度)和一個5x5菱形濾波器(用於色度)。因此，所需的沒有虛擬邊界的行緩衝器是在4個亮度DF行緩衝器和2個色度DF行緩衝器之上附加的7個亮度行緩衝器和3個色度行緩衝器。虛擬邊界的概念仍然可以在VVC中應用，以減少行緩衝器的使用。在以上描述中，最大編解碼單元(LCU)在VVC中被重命名為編解碼樹單元(CTU)。但是，提出了一些修改以適合當前ALF設計的功能。

非線性 ALF 操作

在VTM3.0(VVC(通用視訊編解碼)測試模型3.0版)中，自適應迴圈濾波器的濾波處理如下執行：

, (1)

在上式中，樣本

是輸入樣本，

是濾波的輸出樣本(即濾波結果)，而

表示濾波係數。由於ALF被應用於重建樣本，所以樣本

對應於重建樣本。在ALF處理的中心位置處的中心重建像素對應於(i，j)=(0，0)，即I(i，j)。實際上，在VTM3.0中，它是使用整數算法實現的定點精度計算(fixed point precision computation)：

, (2)

在上式中，L表示濾波器長度，其中w(i，j)是定點精度的濾波器係數。

可以如下重新編寫公式(1)，而不會影響編解碼效率：

, (3)

在上式中，

是與公式(1)中相同的濾波器係數，除了w(0,0)，它在公式(3)中等於1，而在公示(1)中等於

)。

使用上面的公式(3)的濾波器公式，當相鄰樣本值(

與正在被濾波的當前樣本值(

)完全不同時，我們可以通過使用簡單的限幅函數來減少相鄰樣本值(

的影響，從而輕鬆地引入非線性以提高ALF的效率。

在JVET-M0385((J. Taquet等人，“Non-Linear Adaptive Loop Filter ”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11的聯合視訊探索小組(JVET)，第13次會議：馬薩諸塞州馬拉喀什，2019年1月9日至18日，文檔：JVET-M0385)中，公開了一種非線性ALF。它在測試軟體VTM3.0中對自適應迴圈濾波器的輸入樣本值引入了自適應限幅操作。這種自適應限幅的目的是引入一些非線性，以限制要濾波的輸入樣本值與該濾波器的其他相鄰輸入樣本值之間的差異。

根據JVET-M0385，對ALF濾波器的操作進行了如下修改：

, (4)

在上式中，O’(x,y) 對應於修改後的ALF濾波器輸出，I(x，y)對應於ALF之前的樣本，

是限幅函數，而

是限幅參數，它取決於

處的濾波器係數。編碼器執行優化以找到最佳的

。

在根據JVET-M0385的實施方式中，為每個ALF濾波器指定限幅參數

，其中每個濾波器係數發信一個限幅值。這意味著每個亮度濾波器在位元流中發信12個限幅值，而色度濾波器則發信6個限幅值。

為了限制信令成本和編碼器複雜性，限幅值被限制為JVET-M0385中的一小部分可能值。此外，僅將4個可能的值用於幀間切片，將3個可能的值用於幀內切片。

由於亮度的局部差異的方差通常比色度的高，因此亮度和色度濾波器使用了兩個不同的集合。此外，每個組中都包含最大樣本值，因此可以在不需要時禁用限幅。

表1提供了根據JVET-M0385提出的一組限幅值。表 1: 允許的限幅值

	幀內	幀間
亮度	{ 10, 102, 1024 }	{ 6, 32, 181, 1024 }
色度	{ 4, 24, 1024 }	{ 4, 25, 161, 1024 }

使用與集合中的限幅值的索引相對應的Golomb編碼在切片標頭中對限幅值進行編碼。

使用虛擬邊界降低了 ALF 的緩衝器要求

在JVET-M0301((A. Kotra等人，“Non-CE: Loop filter line buffer reduction ”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11的聯合視訊探索小組(JVET)，第13次會議：馬薩諸塞州馬拉喀什，2019年1月9日至18日，文檔：JVET-M0301)中，公開了一種降低ALF(自適應迴圈濾波器)的行緩衝器需求的機制。該貢獻使用虛擬邊界(VB)的概念，虛擬邊界是向上移動“N”個樣本的水平CTU邊界。修改後的ALF塊分類和修改後的ALF濾波應用於虛擬邊界附近的樣本，以減少所需的行緩衝器數量。修改後的ALF塊分類僅使用VB之上的樣本對給定的4 x 4塊(VB之上)進行分類。類似地，對於VB以下的4×4塊的分類，使用了屬於VB以下的線的樣本。修改後的ALF濾波使用了原始ALF濾波器的條件禁用(conditional disabling)和截斷版本的組合。

在虛擬邊界處截斷的 ALF 濾波

濾波器的截斷版本用於對屬於接近虛擬邊界的行的亮度樣本進行濾波。濾波器的這些截斷版本可用於N = 4和N = 6的情況。同樣，濾波器的截短版本也用於色度ALF濾波。

對於截斷的ALF，必須對係數進行歸一化，即，其餘係數的總和必須與原始係數的總和相同。第4A-F圖示出了在虛擬邊界處用於截斷的亮度ALF濾波器處理的係數歸一化的示例。第4A圖示出了對於頂部像素（即，像素c0）在虛擬邊界之外的情況的修改後的ALF係數。係數c2修改為c2'，其中c2'= c2 + c0。第4B圖示出了底部像素（即，c0）在虛擬邊界之外的情況。第4C圖示出了對於前兩行（即，像素c0、c1、c2和c3）在虛擬邊界之外的情況的修改後的ALF係數。因此，將係數c5、c6和c7修改為c5’、c6’和c7’，其中c5’= c5 + c1，c6’=c6 + c2 + c0和c7’= c7 + c3。第4D圖示出了對於底部兩行（即，像素c0、c1、c2和c3）在虛擬邊界之外的情況的修改後的ALF係數。第4E圖示出了對於前三行（即，像素c0至c8）在虛擬邊界之外的情況的修改後的ALF係數。因此，將係數c10、c11和c12修改為c10'、c11'和c12'，其中c10'= c10 + c4 + c8，c11'= c11 + c5 + c7 + c1 + c3和c12'= c12 + 2 * c6 + 2 * c2 + 2 * c0。第4F圖示出了針對底部三行（即，像素c0至c8）在虛擬邊界之外的情況的修改後的ALF係數。

第5A-D圖示出了在虛擬邊界處的截斷的色度ALF濾波器處理的示例。第5A圖示出了對於頂部像素（即，像素c0）在虛擬邊界之外的情況的修改後的ALF係數。係數c2修改為c2'，其中c2'= c2 + c0。第5B圖示出了底部像素（即，c0）在虛擬邊界之外的情況。第5C圖示出了針對頂部兩行（即，像素c0、c1、c2和c3）在虛擬邊界之外的情況的修改後的ALF係數。因此，將係數c5和c6修改為c5'和c6'，其中c5'= c5 + c1 + c3，c6'= c6 + 2 * c2 + 2 * c0。第5D圖示出了底部兩行（即像素c0、c1、c2和c3）在虛擬邊界之外的情況的修改後的ALF係數。

在切片（ slice ） / 磚塊 (brick)/ 圖塊（ tile ）邊界處的虛擬邊界和 360 視訊虛擬邊界

在JVET-O0016（M. Zou等人，“JVET AHG report: Implementation studies (AHG16)”，ITU-T SG 16 WP 3和ISO / IEC JTC 1/ SC 29 / WG 11聯合視訊探索小組（JVET），第15次會議：Gothenburg, SE，2019年7月3日至12日，文件：JVET-O0016）中，報告了沿切片/磚塊/圖塊邊界和360視訊虛擬邊界的ALF行緩衝區（line buffer）問題。 360視訊也稱為360度視訊或360度VR（虛擬現實）視訊。採用ALF虛擬邊界來消除ALF行緩衝區的要求，其中虛擬邊界位於圖片底部CTU行的CTU之外，位於底部CTU邊界上方的4個亮度行處。在根據VVC測試模型6（VTM6）的規範文本草案中，如果CTU的底部CTU邊界也是切片/磚塊/圖塊邊界（禁用跨越這些邊界的環路濾波器）或360視訊虛擬邊界，則CTU不存在ALF虛擬邊界。對於360視訊，360圖片可能包含一個或多個“虛擬邊界”，它們對應於面之間的不連續邊緣。由於根據當前VVC規範禁用了ALF虛擬邊界，因此具有以下後果：．對於解碼器，不事先知道切片/磚塊/圖塊的邊界（即低延遲應用程式）意味著需要恢復ALF行緩衝區。為了處理當前CTU底線的ALF濾波（例如底部CTU邊界上方的亮度線5、6和7），解碼器需要知道當前底部CTU邊界是否與其他類型的邊界重合。但是，該資訊是未知的，直到下一個切片/磚塊/圖塊被解碼。．即使切片/磚塊/圖塊的邊界是預先已知的（例如，CABAC解碼在幀級別完全解耦（decouple）），解碼器也需要一直（大約預留6％）以68行每64x64 VDPU（視訊解碼器處理單元？）的速度運行環路濾波器（去塊、SAO和ALF），以避免使用ALF線路緩衝區。

在JVET-O0625（H. Liu等人， “Non-CE5: Padding method for samples at variant boundaries in ALF”， ITU-T SG 16 WP 3和ISO/ IEC JTC 1 / SC 29 / WG 11聯合視訊探索小組（JVET），第15次會議：Gothenburg, SE，2019年7月3日至12日，文檔：JVET-O0016）中，提出了兩種方法來解決上述問題： 1. ALF虛擬邊界適用於CU，其底部邊界是切片/磚塊/虛擬邊界，而與跨邊界樣本的使用無關。 2. 在對稱的兩邊填充方法中，當一個樣本位於兩個邊界處時，例如，上邊的一個邊界和下邊的一個邊界，則根據較近的邊界確定要填充的樣本數如第6A-B圖所示。同時，當導出分類資訊時，僅使用第6A-B圖中的上下邊界之間的4條線。第6A圖示出了在要濾波的當前樣本（即，c12）的切片/磚塊/虛擬邊界或360度虛擬邊界（610）下方三行的示例。對稱填充將填充切片/磚塊/虛擬邊界或360度虛擬邊界（610）下方的三行以及上方的三個對應行，其中填充的樣本以方框填充，並用斜線填充。第6B圖示出了示例，其中兩行在要濾波的當前樣本（即，c12）的切片/磚塊/虛擬邊界或360度虛擬邊界（610）之下。對稱填充將填充切片/磚塊/虛擬邊界或360度虛擬邊界（620）下方的兩行以及上方的兩個對應行，其中填充的樣本顯示在以斜線填充的框中。

在本申請中，解決了各種其他ALF邊界問題，並公開了用於提高性能，統一多個系統或簡單地進行ALF邊界處理的解決方案。

公開了用於重建視訊的環路濾波器處理的方法和裝置。根據該方法，接收重建像素。將目標環路濾波器應用於重建樣本，如果不允許對目標邊界使用環路濾波器，則會在目標邊界的頂部、底部、左側和右側禁用目標環路濾波器。提供經濾波的重建樣本以用於視訊解碼輸出或用於進一步的視訊編碼或解碼過程。

在一個實施例中，目標環路濾波器對應於去塊濾波器。在另一個實施例中，目標環路濾波器對應於自適應環路濾波器，樣本自適應偏移或兩者的組合。

在一個實施例中，目標邊界對應於切片邊界、圖塊邊界或兩者。在另一個實施例中，目標邊界對應於圖塊邊界、圖片邊界或360虛擬邊界。

在另一種方法中，接收彩色圖片中的重建色度樣本和相關重建亮度樣本。將第一ALF（自適應環路濾波器）應用於目標重建色度樣本的重建色度樣本，以生成第一濾波色度樣本。將第二ALF應用於相關重建亮度樣本，以生成用於目標重建色度樣本的第二濾波的色度樣本，其中，確定虛擬邊界，並且一組相關重建亮度樣本位於對應的目標重建色度樣本的虛擬邊界的另一側，所述一組相關重建亮度樣本被從第二ALF處理的輸入中排除。通過組合第一濾波的色度樣本和第二濾波的色度樣本來生成最終的濾波的色度樣本，其中將最終的濾波的色度樣本用作視訊解碼輸出或用於進一步的視訊編碼或解碼過程。

在一個實施例中，第二ALF被配置為排除與位於一組相關重建亮度樣本的對稱位置上的一個或多個對稱相關重建亮度樣本相對應的輸入。在另一實施例中，第二ALF對應於不輸入所述一組相關重建亮度樣本的截斷的對稱濾波器。在另一個實施例中，提供了第二ALF的修改後的濾波形狀，其中修改後的濾波形狀（filter shape）是從默認濾波形狀修改而來的。

根據另一種方法，接收彩色圖片中的重建色度樣本和相關重建亮度樣本。亮度ALF被應用於相關重建亮度樣本以生成濾波的亮度樣本。將第一ALF應用於相關重建亮度樣本，以生成針對目標重建色度樣本的第一濾波色度樣本，其中，如果跨目標邊界的環路濾波器處理被禁用，則以與所述亮度ALF處理相同的方式針對所述第一ALF生成相應的相關重建亮度樣本，然後將第一濾波的色度樣本與基於重建色度樣本導出的第二濾波的色度樣本合併以形成最終的濾波的色度樣本。最終的濾波的色度樣本和濾波的亮度樣本用作視訊解碼輸出，或用於進一步的視訊編碼或解碼過程。

在一個實施例中，目標邊界對應於切片邊界、圖塊邊界、磚塊邊界或圖片。在另一個實施例中，目標邊界對應於360虛擬邊界。

在一個實施例中，如果一個或多個相應的相關重建亮度樣本不可用，則所述第一ALF和所述亮度ALF均使用重複填充來生成所述一個或多個相應的相關重建亮度樣本。在另一個實施例中，如果一個或多個相應的相關重建亮度樣本不可用，則禁用所述第一ALF和所述亮度ALF。當這些相應的相關重建亮度樣本在邊界之外時，所述一個或多個相應的相關重建亮度樣本不可用。在又一個實施例中，所述第一ALF和所述亮度ALF均根據ALF虛擬邊界處理生成相應的相關重建亮度樣本，其中從所述第一ALF和所述亮度ALF中排除所述一個或多個相應的相關重建亮度樣本以及所述一個或多個相應的相關重建亮度樣本在對稱位置處的一個或多個對稱的相關重建亮度樣本。

以下描述是實施本發明的最佳構想模式。進行該描述是出於說明本發明的一般原理的目的，而不應被認為是限制性的。本發明的範圍最好通過參考所附的申請專利範圍來確定。

方法 1 ：禁用跨邊界環路濾波器時，禁用 ALF

為了應用JVET-O0625的第一種方法並增強跨邊界的樣本的使用（即，禁用跨那些邊界的環路濾波器），提出了幾種方法。在一個實施例中，當跨那些邊界的環路濾波器不被允許時，對於切片或磚塊中的最後4×4塊行禁用ALF。在另一個實施例中，該概念被擴展為處理垂直邊界，該垂直邊界可以是切片/磚塊/圖塊/圖片的垂直邊界。在另一個實施例中，當不允許跨那些邊界的環路濾波器時，ALF不對切片/磚塊/圖塊中的頂部和底部4×4塊行進行濾波。在另一個實施例中，當不允許跨那些邊界的環路濾波器時，ALF也不對切片/磚塊/圖塊中最左邊和最右邊的4x4塊列進行濾波。在另一個實施例中，圖片中的頂部和底部4×4塊行不被ALF濾波。在另一個實施例中，圖片中最左邊和最右邊的4×4塊行不被ALF濾波。

在一個實施例中，當跨那些邊界的環路濾波器被禁用時，伴隨環路濾波處理被禁用，針對那些邊界禁用不同的環路濾波處理。例如，當針對一個切片的跨邊界的環路濾波器被禁用時，則僅頂部和左側切片邊界不會被去塊濾波器（deblocking filter，簡寫為DF）和样本自適應偏移（SAO）濾波。因此，ALF也未應用於頂部和左側切片邊界。在另一示例中，當針對一個切片的那些邊界上的環路濾波器被禁用時，則包括上、左、右和下邊界在內的所有切片邊界都不會被去塊濾波器和樣本自適應偏移所濾波。因此，ALF也未在所有切片邊界上應用。

在另一個實施例中，所提出的方法可以應用於360虛擬邊界。對於一些360虛擬邊界，在2D空間域中表示的一張圖片中的相鄰樣本（例如，跨越兩個面之間的不連續邊界的相鄰樣本）實際上不是3D空間域中的相鄰樣本（即，非空間相鄰）。因此，相鄰樣本不應用於濾波處理。在這種情況下，可以禁用ALF，以避免使用錯誤的相鄰樣本。 360虛擬邊界可以是水平或垂直邊界。因此，如果是水平邊界，則分別與該邊界之上和之下的4×4塊行相對應的兩個4×4塊行不被ALF濾波。如果它是垂直邊界，則最接近此邊界的兩個4x4塊列不會被ALF濾波。

上面提到的4x4塊可以是ALF處理中的MxN塊，其中M和N可以是任何整數。

方法 2 ：簡化的 CC-ALF 作為多個輸入 ALF

在CC-ALF中，為色度分量添加了一個附加濾波器，並且濾波的輸出將為原始色度濾波器輸出和附加濾波器輸出的加權和。在一個實施例中，僅具有來自相應亮度樣本的輸入的一個附加濾波器抽頭（tap）被添加到原始色度濾波器，而不是將具有來自相應亮度樣本的輸入的一個附加濾波器添加到原始色度濾波器。在另一個實施例中，非線性限幅（clip）操作也可以應用於該濾波器抽頭。在一個實施例中，可以為該濾波器抽頭發信限幅索引。在另一個實施例中，非線性限幅操作不能應用於該濾波器抽頭。因此，不需要為該濾波器抽頭發送限幅索引信號。

在一個實施例中，在ALF濾波器參數中發信一個標誌，以指示是否使用了該濾波器抽頭。根據色度格式確定相應的亮度樣本。例如，如果視訊格式為YUV444，則對應的亮度樣本與待處理的色度樣本的空間位置相同。如果視訊格式為YUV422或YUV420，則對應的亮度樣本可以是待處理色度樣本的對應亮度樣本中的預定空間位置。例如，對於YUV420，一個色度樣本有四個對應的亮度樣本。來自亮度分量的用於色度分量的附加濾波器抽頭的輸入可以是這四個樣本之一。該選擇可以在視訊編碼標準中預定義。在另一個實施例中，相應的亮度樣本是所有相應的亮度樣本的加權和。例如，YUV420的這四個亮度樣本的平均值，YUV420的兩個左亮度樣本的平均值或YUV422的兩個亮度樣本的平均值。

在另一個實施例中，CC-ALF中的附加濾波器中的濾波器係數的精度與原始設計一致。

在另一個實施例中，所提出的方法被應用於亮度ALF。因此，為亮度ALF添加了來自色度輸入的兩個附加色度抽頭。在一個實施例中，僅為亮度ALF添加一個附加濾波器抽頭，並且該附加濾波器抽頭的輸入是色度分量的加權和。

方法 3 ：具有虛擬邊界處理的 CC-ALF

在ALF中，為了消除行緩衝區要求，引入了虛擬邊界。虛擬邊界的位置是CTU行（row）邊界上方的4條亮度線和CTU行邊界上方的兩條色度線。應用CC-ALF時，應避免跨虛擬邊界使用亮度樣本。例如，在原始設計中，如第2B圖所示，使用了一個5x6的菱形濾波器來得出色度分量的經交叉色濾波的信號。在本示例中，5x6菱形濾波器可以視為默認濾波形狀。儘管5×6菱形濾波器用作CC-ALF的示例，但是本發明不限於該特定濾波形狀。如果濾波器覆蓋區（filter footprint）中相應亮度樣本的相鄰亮度樣本位於虛擬邊界的另一側，則應更改濾波處理或濾波形狀，以避免使用位於虛擬邊界另一側的樣本。在一個實施例中，當僅一個亮度行位於虛擬邊界的另一側時，將濾波形狀減小為5x4菱形濾波器。換句話說，排除虛擬邊界另一側的一個亮度行和位於CC-ALF的對應對稱位置的一個亮度行用於濾波處理。如果在虛擬邊界的另一側有兩個亮度行，則濾波形狀將減小為5x2菱形濾波器。換句話說，虛擬邊界另一側的兩個亮度行和位於CC-ALF的對應對稱位置的兩個亮度行被排除用於濾波處理。在另一個實施例中，填充技術被用來生成位於虛擬邊界另一側的樣本，而不是改變濾波器的形狀。填充技術可以是重複圖案、偶數對稱圖案、奇數對稱圖案或ALF虛擬邊界處理中使用的方法。在另一實施例中，當在虛擬邊界的另一側上存在至少一個亮度樣本時，CC-ALF被禁用。

方法 4 ：具有切片 / 磚塊 / 圖塊 / 圖片 / 360 邊界處理的 CC-ALF

在切片/磚塊/磚塊邊界處，當跨那些邊界的環路濾波器被禁用時，用於在CC-ALF中生成相應的亮度樣本的過程應該與用於在亮度ALF中生成相應的亮度樣本的過程相同。。在一個實施例中，當跨（外部）切片/磚塊/圖塊邊界的環路濾波器被禁用時，具有VB（虛擬邊界）的ALF被用於在亮度ALF中生成對應的亮度樣本。因此，帶有VB的ALF用於在CC-ALF中生成相應的亮度樣本。在一個實施例中，當跨切片/磚塊/圖塊邊界的環路濾波器被禁用時，如果亮度ALF需要邊界之外的不可用樣本，則對於那些樣本禁用亮度ALF。因此，對於那些相應的色度樣本，CC-ALF也被禁用。在一個實施例中，當跨切片/磚塊/圖塊邊界的環路濾波器被禁用時，使用重複填充（repetitive padding）以在亮度ALF中生成對應的亮度樣本。因此，重複填充也用於在CC-ALF中生成相應的亮度樣本。換句話說，應用填充來替換亮度ALF和CC-ALF中邊界之外的相應亮度樣本。替換的相應亮度樣本是不可用的樣本。所提出的方法也可以應用於圖片邊界或360虛擬邊界。

可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，可以在編碼器和/或解碼器的環路濾波模組中實現任何所提出的方法。可替代地，任何提出的方法可以被實現為耦合到編碼器和/或解碼器的環路濾波模組的電路。

第7圖示出了根據本發明實施例的重建視訊的示例性環路濾波處理的流程圖，其中，如果不允許目標邊界使用環路濾波器，則在目標邊界的頂部、底部、左側和右側禁用目標環路濾波器。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟710中接收重建像素。在步驟720中將目標環路濾波器應用於重建樣本，其中，如果不允許環路濾波器用於目標邊界，則在目標邊界的頂部、底部、左側和右側禁用目標環路濾波器。然後在步驟730中提供濾波的重建樣本用於視訊解碼輸出或進一步的視訊編碼或解碼處理。

第8圖示出了根據本發明實施例的重建視訊的示例性ALF的流程圖，其中CC-ALF形狀在虛擬邊界上改變。根據該方法，在步驟810中接收彩色圖片中的重建色度樣本和相關重建亮度樣本。首先，在步驟820中，將ALF應用於重建色度樣本，用於目標重建色度樣本生成第一濾波的色度樣本。在步驟820中，將第二ALF應用於相關重建亮度樣本，以生成用於目標重建色度樣本的第二濾波的色度樣本，其中，確定虛擬邊界，並且一組相關重建亮度樣本位於目標重建色度樣本的虛擬邊界的另一側，從第二ALF的輸入中排除所述一組相關重建亮度樣本。在步驟840中，通過組合第一濾波的色度樣本和第二濾波的色度樣本來產生最終濾波的色度樣本，其中，最終濾波的色度樣本被用作視訊解碼輸出或用於進一步的視訊編碼或解碼過程。

第9圖示出了根據本發明實施例的重建視訊的示例性ALF的流程圖，其中CC-ALF和亮度ALF以相同的方式處理不可用的樣本。根據該方法，在步驟910中接收彩色圖片中的重建色度樣本和相關重建亮度樣本。在步驟920中將亮度ALF應用於相關重建亮度樣本以生成濾波的亮度樣本。在步驟930中，將第一ALF應用於相關重建亮度樣本以生成用於目標重建色度樣本的第一濾波的色度樣本，其中，如果跨目標邊界的環路濾波器處理被禁用，則以與所述亮度ALF處理相同的方式針對所述第一ALF生成相應的相關重建亮度樣本，其中將第一濾波的色度樣本與基於重建色度樣本導出的第二濾波的色度樣本合併以形成最終的濾波的色度樣本；以及其中最終的濾波的色度樣本和濾波的亮度樣本用作視訊解碼輸出，或用於進一步的視訊編碼或解碼處理。要注意的是，所述不可用樣本是目標邊界之外的相關重建亮度樣本。

所示的流程圖旨在說明根據本發明的視訊編碼的示例。所屬領域具有通常知識者可以修改每個步驟、重新佈置步驟、拆分步驟或組合步驟以實踐本發明，而不背離本發明的精神。在本公開中，已經使用特定的語法和語義來說明用於實現本發明的實施例的示例。所屬領域具有通常知識者可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。

呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明無意限於所示出和描述的特定實施例，而是與與本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式代碼。本發明的實施例還可以是要在數位信號處理器（DSP）上執行以執行本文描述的處理的程式代碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列（FPGA）執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。可以以不同的程式語言和不同的格式或樣式來開發軟體代碼或韌體代碼。也可以為不同的目標平台編譯軟體代碼。然而，不同的代碼格式、軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。

在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。

110:幀內預測 112:運動估計/運動補償 114:開關 116、240、242:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:重建 130:去塊濾波器 131:樣本自適應偏移 132:自適應環路濾波器 134:參考圖片緩衝器 136:預測資料 142:熵解碼器 210:SAO亮度 212:SAO Cb 214:SAO Cr 220:ALF亮度 222:CC ALF Cb 224:CC ALF Cr 230:ALF色度 710~730、810~840、910~930:步驟

第1A圖示出了結合了DF、SAO和ALF環路處理的示例性自適應幀間/幀內視訊編碼系統。第1B圖示出了結合了DF、SAO和ALF環路處理的示例性自適應幀間/幀內視訊解碼系統。第2A圖示出了關於根據JVET-O0636的其他環路濾波器的CC-ALF的結構，其中在各個SAO之後執行ALF處理。第2B圖示出了根據JVET-O0636應用於每個色度分量的亮度通道的菱形濾波器。第3圖示出了通過將水平LCU邊界向上移動N個像素而得到的VB的示例。第4A-F圖示出了在虛擬邊界處的截斷的亮度ALF濾波器處理的係數歸一化的示例，其中第4A圖示出了在頂部像素在虛擬邊界之外的情況下的修改後的ALF係數；第4B圖示出底部像素在虛擬邊界之外的情況；第4C圖示出了在前兩行在虛擬邊界之外的情況下的修改後的ALF係數；第4D圖示出了底部兩行在虛擬邊界之外的情況下的修改後的ALF係數；第4E圖示出了對於前三行在虛擬邊界之外的情況的修改後的ALF係數；第4F圖示出了底部三行在虛擬邊界之外的情況下的修改後的ALF係數。第5A-D圖示出了在虛擬邊界處的截斷的色度ALF濾波器處理的示例，其中第5A圖示出了在頂部像素在虛擬邊界之外的情況下的修改後的ALF係數；第5B圖示出底部像素在虛擬邊界之外的情況；第5C圖示出了在前兩行在虛擬邊界之外的情況下的修改後的ALF係數；第5D圖示出了底部兩行在虛擬邊界之外的情況下的修改後的ALF係數。第6A-B圖示出了對稱兩邊填充方法的示例，其中第6A圖示出了三行在切片/磚塊/虛擬邊界或360度虛擬邊界以下的示例；第6B圖示出了兩行在切片/磚塊/虛擬邊界或360度虛擬邊界以下的示例。第7圖示出了根據本發明的實施例的重建視訊的示例性環路濾波處理的流程圖，其中，如果對於目標邊界不允許環路濾波器，則在目標邊界的頂部、底部、左側和右側禁用目標環路濾波器。第8圖示出了根據本發明實施例的重建視訊的示例性ALF處理的流程圖，其中CC-ALF形狀在虛擬邊界上改變。第9圖示出了根據本發明的實施例的重建視訊的示例性ALF處理的流程圖，其中CC-ALF和亮度ALF以相同的方式處理不可用的樣本。

810~840:步驟

Claims

一種用於視訊編解碼的方法，該方法包括：接收重建樣本；將目標環路濾波器應用於重建樣本，其中，如果對於目標邊界環路濾波是不允許的，則在該目標邊界的頂部、底部、左側和右側禁用該目標環路濾波器；和提供經濾波的重建樣本以用於視訊解碼輸出或進一步的視訊編碼或解碼處理。
如請求項1所述之方法，其中該目標環路濾波器對應於去塊濾波器、自適應環路濾波器、樣本自適應偏移或自適應外觀濾波器與樣本自適應偏移的組合。
如請求項1所述之方法，其中該目標邊界對應於切片邊界、圖塊邊界或兩者。
如請求項1所述之方法，其中該目標邊界對應於圖塊邊界、圖片邊界或360虛擬邊界。
一種用於視訊編解碼的方法，該方法包括：在彩色圖片中接收重建色度樣本和相關重建亮度樣本；將第一自適應環路濾波器應用於該重建色度樣本，用於目標重建色度樣本生成第一濾波的色度樣本；將第二自適應環路濾波器應用於該相關重建亮度樣本，以生成用於該目標重建色度樣本的第二濾波的色度樣本，其中，確定虛擬邊界，並且一組該相關重建亮度樣本位於該目標重建色度樣本的該虛擬邊界的另一側，從該第二自適應環路濾波器的輸入中排除該組相關重建亮度樣本；以及通過組合該第一濾波的色度樣本和該第二濾波的色度樣本來產生最終濾波的色度樣本，其中，該最終濾波的色度樣本被用作視訊解碼輸出或用於進一步的視訊編碼或解碼處理。
如請求項5所述之方法，其中，該第二自適應環路濾波器被配置為排除與位於該組相關重建亮度樣本的對稱位置處的一個或多個對稱相關重建亮度樣本相對應的該輸入。
如請求項5所述之方法，其中，該第二自適應環路濾波器對應於截斷的對稱濾波，而沒有與該組相關重建亮度樣本相對應的該輸入。
如請求項5所述之方法，其中，提供了該第二自適應環路濾波器的修改的濾波形狀，其中，該修改的濾波形狀是從默認濾波形狀修改而來的。
一種用於視訊編解碼的方法，該方法包括：接收彩色圖片中的重建色度樣本和相關重建亮度樣本；將亮度自適應環路濾波器應用於該相關重建亮度樣本，以生成濾波的亮度樣本；將第一自適應環路濾波器應用於該相關重建亮度樣本，以生成針對目標重建色度樣本的第一濾波的色度樣本，其中，如果跨目標邊界的環路濾波處理被禁用，則以與該亮度自適應環路濾波器相同的方式生成用於該第一自適應環路濾波器的相應的相關重建亮度樣本，其中將該第一濾波的色度樣本與基於該重建色度樣本得出的第二濾波的色度樣本合併以形成最終的濾波的色度樣本；以及其中，該最終的濾波的色度樣本和該濾波的亮度樣本用作視訊解碼輸出或用於進一步的視訊編碼或解碼處理。
如請求項9所述之方法，其中該目標邊界對應於切片邊界、圖塊邊界、磚塊邊界或圖片。
如請求項9所述之方法，其中，如果一個或多個相應的相關重建亮度樣本不可用，則該第一自適應環路濾波器和該亮度自適應環路濾波器都應用重複填充以生成該一個或多個相應的相關重建亮度樣本。
如請求項9所述之方法，其中，如果一個或多個相應的相關重建亮度樣本不可用，則該第一自適應環路濾波器和該亮度自適應環路濾波器均被禁用。
如請求項9所述之方法，其中，該第一自適應環路濾波器和該亮度自適應環路濾波器均根據自適應環路濾波器虛擬邊界處理生成該相應的相關重建亮度樣本，其中從該第一自適應環路濾波器和該亮度自適應環路濾波器中排除該一個或多個相應的相關重建亮度樣本以及該一個或多個相應的相關重建亮度樣本在對稱位置處的一個或多個對稱的相關重建亮度樣本。